WISS 2022

倉庫環境のデジタルツインを用いたフォークリフト遠隔操作のユーザインタ
フェース
荻野 由真 ∗

谷合 廣紀 ∗

入江 英嗣 ∗

坂井 修一 ∗

概要. 本研究ではフォークリフトの遠隔操作システムにおけるユーザインタフェースとして，作業を行う倉庫環境のデジタルツインを用いる操作手法を提案する．フォークリフトは物流の現場で生産物の移動や積み下ろしに使われる車両だが，フォークリフトを用いた作業は事故の危険を伴うことが問題となっている．フォークリフトの運転手に危険が及ばず安全に業務を行えるようにするため，フォークリフトを遠隔から操作できるシステムを実現する．提案手法におけるユーザインタフェースでは，デジタルツイン内の特定地点や車載カメラ映像における荷物の位置を目標として指示し，遠隔操作を実行する．より細かな車両の動作が求められる場合は，デジタルツイン内の仮想フォークリフトの操縦による遠隔操作を行うことで，通信の遅延による影響を受けずに柔軟な操作を実行できる．ユーザインタフェースはソフトウェアとして実装し，シミュレーション環境で遠隔操作の動作を確認した．

1

はじめに産業において物流は重要な役割を果たしており，物流の効率化が経済活動に与える影響は大きい．フォークリフトは物流において広く運用されている車両であり，集配の拠点となる倉庫環境で生産物の移動や積み下ろしをするのに使われる．
フォークリフトの運転には危険が伴い，衝突・横転・転落などで運転手が死傷する恐れがある．また，倉庫環境では重量のある物品が取り扱われており，荷崩れによる事故も起こりうる．これらの危険を回避する方策として， フォークリフトを遠隔で操作できるシステムを構築することがあげられる．そこで本研究では，フォークリフトの遠隔操作におけるユーザインタフェースとして，端末上に表示した倉庫環境のデジタルツインを利用してフォークリフトへの操作指示を与える手法を提案する．

2

関連研究

フォークリフトの遠隔操作に関する研究として，端末上から目的地や取得する荷物を指示し，対象までフォークリフトを自動運転させる手法が提案されている [4]．このような手法はフォークリフトの操縦に関する技能を必要とせず平易に利用できるが，自動運転が対応できず車両が停止した場合は人が介入して問題を解消しなければならない．
また他の遠隔操作の形態として，オペレーターがハンドル型コントローラーなどを用いてアクセルやステアリングの情報を車両に入力する遠隔操縦があ
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京大学大学院情報理工学系研究科

げられる．遠隔操縦では，オペレーターの視界が車載カメラの映像のみに制限されることや， オペレーターのテレプレゼンスの確保が課題となる．これらの課題に対し， 複数の車載カメラの映像を適応的に切り替えることでオペレーターに分かりやすい情報提示を行う手法や，音声・車輪の位置などの物理的な情報をオペレーターにフィードバックする手法が提案されている [1][2]．一方で，遠隔操縦ではオペレーターと車両の間で通信が行われるため，車両への入力やオペレーターへのフィードバックを伝達する際に通信による遅延が発生することが安全上の大きな問題点となる．しかし，遅延に対する明確な対処法は定まっていない．

3
3.1

提案手法
システムの構成

フォークリフト遠隔操作システムの構成を図 1 に示す． フォークリフトにはオペレーターに映像を提示するための車載カメラが設置されている．また，センサーとして 2D・3DLiDAR，深度カメラが設置されており，自己位置推定や障害物の検知に使用される．フォークリフトの走行の制御や経路計画はロボット開発用プラットフォームである ROS[3] 上のプログラムが行う．車両に速度やステアリングの指示を与えるコントローラーと，センサー・車載カメラも ROS 上で動作する．ユーザインタフェースは
ラップトップ PC 上で動作するソフトウェアである．
フォークリフトが作業を行う倉庫環境の地図データを予め測定しておき，インタフェース上にはその地図データを元にモデリングを行い作成したデジタルツインを表示する．インタフェース上の入力は ROSによる通信を介して車両に反映される．

WISS 2022

仮想フォークリフトの操縦による遠隔操作

図 1. システムの構成

3.2

ユーザインタフェースの設計

提案手法においてユーザインタフェース上で実行する操作の方式は， 目標指示による遠隔操作と，仮想フォークリフトの操縦による遠隔操作の二種類からなる．以下でそれぞれの方式について説明する．
目標指示による遠隔操作
フォークリフトの基本的な動作として特定の地点までの移動と荷物の取得を想定し，これらの動作の実行には目標指示による遠隔操作の方式を用いる．
特定地点までの移動は，デジタルツインの空間内でユーザが床面上の任意の座標と到達時の車両の方向を指定することで実行される (図 2 左)． フォーク
リフトの制御用 ROS プログラムはユーザの指定した情報に基づいて経路を計算し，目標地点までの移動を行う．
荷物の取得の指示については特定地点までの移動とは異なる様式で行う．フォークリフトが扱う荷物は専用の棚に置かれることが一般的であり，棚のどの位置に荷物が存在するかは作業の状況に応じて動的に変化する．このため事前に作成されたデジタルツインデータのみでは荷物の状態の変化に対応できない．そこで，車載カメラの映像を用いて指示を行うようにする．車載カメラの映像に，谷合によるセマンティックセグメンテーションの手法 [5] を用いて荷物が存在する領域を重畳したものをインタフェース上に表示する (図 2 右)．ユーザが目的の荷物を選択することで，フォークリフトによる荷物の取得動作が行われる．

倉庫環境の構造や障害物の配置が原因で目標地点への経路形成に失敗する場合や，より細かな操作をする場合は，仮想フォークリフトの操縦による遠隔操作を行う．操作の手順として，まずユーザはデジ
タルツイン内の仮想フォークリフトを操縦し， 物理エンジンに基づく走行シミュレーションを行う．開始地点から目標地点までの走行シミュレーション中に障害物への衝突が発生しなければ， 辿った経路は安全とみなし，経路情報を実世界の車両に伝達して同一の経路を実際に走行させる．図 3 に操作のイメージを示す．
インタフェース上でアクセルやステアリングをリアルタイムで入力する遠隔操縦の手法と比較して，この方式では通信の遅延による影響を受けないことが利点となる．また，デジタルツイン内では車両周囲の状況を任意の視点から確認することが可能であるため，操縦がしやすいという利点もある．

図 3. デジタルツイン内の仮想フォークリフトの操縦

3.3

ユーザインタフェースのソフトウェアと，デジタ
ルツインの 3D モデルデータはゲームエンジンである Unity3D によって作成した． 仮想フォークリフ
トの走行シミュレーションも Unity3D 内の物理エンジンによって行われる．また，実世界のフォークリフトの動作をシミュレーションするために，ROSで利用できるロボット用シミュレータの gazebo を使用した．ユーザインタフェースと gazebo を接続し，目標指示による遠隔操作がシミュレーション内で動作することを確認した．

4

図 2. 目標指示におけるインタフェース

実装

おわりに

本研究ではフォークリフトの遠隔操作におけるユーザインタフェースとして，倉庫環境のデジタルツイン上で車両への指示を行う手法を提案した．今後の展望として，実際の作業環境に近い条件下で実験を行いシステムの使用感や作業効率を評価する．
また，歩行者や他の車両などの動的な障害物が存在する状況を考慮した遠隔操作の手法について検討していく．

倉庫環境のデジタルツインを用いたフォークリフト遠隔操作のユーザインタフェース

謝辞
本研究の一部は株式会社小松製作所との共同研究によります．

参考文献[1] H. S. Ahn, et al. Development of user interfaces
for an internet-based forklift teleoperation systemwith telepresence. In Proceedings of AustralasianConference on Robotics Automation, 2014.
[2] J. Y. Chew, et al. Adaptive attention-based human machine interface system for teleoperation of

未来ビジョン
フォークリフトは物流に欠かせない存在だが，一方でフォークリフトの運転手は人手不足の傾向にあり，人員の確保が物流業界における課題となっている．フォークリフトを用いた作業に危険が伴うことに加え，フォークリフトの操縦は習熟するのが難しいという点が人手不足の一因として考えられる．習熟の度合いによらず容易に遠隔操作が行えるシステムを将来的に実用化することで，安全面や技能に関する課題を取り払い，人員の確保につながることが期待できる．
また，さらなる展望として，遠隔操作システムの実用化によってフォークリフト運転手の働

industrial vehicle. Scientiﬁc reports, 11(1):1–14,2021.
[3] M. Quigley, et al. ROS: an open-source RobotOperating System. In ICRA workshop on open
source software, Vol. 3, p. 5. Kobe, Japan, 2009.
[4] M. R. Walter, et al. A situationally aware voicecommandable robotic forklift working alongsidepeople in unstructured outdoor environments.
Journal of Field Robotics, 32(4):590–628, 2015.
[5] 谷合 廣紀. 車載カメラとエッジ計算機による運転事故防止技術. 東京大学学術機関リポジトリ, 2019.

き方が多様化することが考えられる．例えば，荒天や猛暑のときは遠隔操作システムを用いて自宅からリモート勤務する，繁忙期の現場では遠隔操作オペレーターを増員することによって手軽かつ柔軟に対応を行う，などの運用が想定できる．
本研究をさらに発展させていくことでフォークリフトを使った業務に変革をもたらし，物流業界に貢献していきたい．