京セラは2023年7月10日、東京都内で開催された「Unity産業DXカンファレンス」で、「Unityを活用した協働用ロボットのデジタルツインの取組」と題した講演を行った。
Unityで京セラロボティクス事業部の実験場を再現
京セラグループは2029年3月期までに売上高3兆円、税引き前利益率20％の達成を目指している。売上拡大に向け、長年培ってきた多様な技術リソースの活用により、社会課題の解決を目的とした新事業の創出を進めているところだ。
その一環として、労働力不足解消をテーマに、産業用ロボットの一種で人と同じ空間で作業を行える協働ロボットやAI（人工知能）、クラウド技術を組み合わせた事業としてロボティクス事業を立ち上げた。そのビジネスは協働ロボットの売り切り販売とクラウドサービスの継続課金から成る。協働ロボットの売り切り販売は、社外のロボット／メーカーの既製品を仕入れ販売する。これはクラウドサービスを提供するために必要な、現場に設置するロボットの提供となる。クラウドサービスはAIと3Dビジョンを使ってロボットを知能化し利用シーンを広げる継続課金型のサービスだ。協働ロボットとクラウドサービスのイメージ［クリックで拡大］ 出所：京セラ
ロボティクス事業では、導入現場のアセスメントから協働ロボットへの「ティーチング（機械学習）」までを京セラのエンジニアが担当し、顧客はiPad／iPhoneのアプリケーションから作業（京セラではジョブと呼称）をオーダーするだけで知能化されたロボットを使える。同事業で活用しているAIと3Dビジョンにより、協働ロボットがバラ積みの物体や不定形部品に対応できるようにし、クラウドサービスで複数ロボットへの作業の同時オーダーや運用管理を可能にする。加えて、AIコントローラーによる協働ロボットの実行データをクラウドに収集して継続学習してからAIの推論アルゴリズムに反映することで、現地の環境変化に応じた安定した運用と最適化も実現している。
さらに、ゲームエンジンのUnityを用いて、顧客の環境情報（光源や設備の配置など）を仮想空間上に再現し、物理現象に関するデータを取得している。得られた物理現象のデータは、仮想システム上で協働ロボットの制御設計やデータ処理を行う際に活用している。その後、仮想システム上で設計の妥当性が確認された協働ロボットの制御設計とデータ処理を実空間のシステムに反映。続いて、このシステムを用いて協働ロボットの制御設計や堅牢性などを実空間で確認する。
京セラ ロボティクス事業部 システム開発チームの森口航平氏
Unityを利用する理由について、京セラ ロボティクス事業部 システム開発チームの森口航平氏は「Unity向けの販売Webサイト『Unity Asset Store』で配布されている豊富なアセットを活用できる他、既存のロボットのシミュレーターよりも光の反射や影、オブジェクトのインタラクションの表現などに優れる。さらに、ロボットと多様な周辺機器との関係性を表現するための仮想環境を構築するのに適している」と話す。
ロボティクス事業部は2021年からUnityの使用を開始した。当初は少人数の開発スタッフがUnityにロボットのモデルを取り込んで少し動かす程度で、シミュレーターとして活用していくには作り込みが必要だった。
解決策として、Unityの日本法人であるUnity Japanのサポートプログラム「サクセスプラン（Integrated Success）」を活用し、3Dモデルの取り込みやテクスチャーの設定方法、光の反射など、ビジュアル面の設定方法のレクチャーを受けた。加えて、Unity以外の外部ツール（ROS1／ROS2、MATLAB）との連携方法や、Web上に知見が少ないUnityのプラグイン「Pixyz Plugin」「SensorSDK」などの活用方法についてサポートしてもらったという。
こういったサポートを受けた後、2022年の春から3カ月間をかけて、Unityを用いて仮想環境の構築に取り組んだ。仮想環境の構築では、京セラのロボティクス事業部の実験場を再現しロボットの設置環境を検証することを目的とした。具体的には、iPad ProのLiDAR（Light Detection and Ranging、ライダー）で対象の実験場をスキャンして3Dモデル化した。しかし、スキャン結果のOBJファイルは被写体のテクスチャが細かく分割された複数のJPEGファイルで構成され、そのまま加工することが難しかった。
そこで、スキャンしたデータと実験場の平面図を参考に、3Dモデリングソフトを用いて、被写体の形状に近い3Dモデルを配置するとともに、フロアの壁、窓、天井、柱を再現し、仮想空間上に実験場を構築した。仮想空間上の実験場はUnityに取り込み、さまざまな位置や角度から完成度を確認するとともに、実際の実験場と比較した。
その結果、床の反射やフェンスのアクリルの表現、部屋の明るさなどで現実の環境に近い環境を実現できたという。また、複数の協働ロボットを配置した仮想空間の実験場でアバターを自由に動かし、特定のエリアにアバターが入ると対象の協働ロボットが停止するという取り組みを行い、実験場の安全性を検証している。
しかしながら、モデリングやテクスチャの大部分は手作業だったため、森口氏は「この工程を簡単に行える方法について考えている」と述べている。
