立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (C) ]重機の遠隔操作の高効率化を目指した外部カメラ配置の導出と拡張現実技術を用いた視覚支援
Derivation of the External Camera Placement and Development of Augmented Reality
Visual Support System for High Efficiency Teleoperation of Heavy Machines
2187005

研究代表者

早稲田大学大学院
創造理工学研究科

博士後期課程佐藤隆

哉[研究の内容，成果][研 究 の 目 的]
日本は災害大国として知られており，東日本〈研究 1：外部カメラの最適・好適配置の導出〉

大震災や熊本地震などの未曽有の災害が発生し先行研究において，広視野かつ 3D の車載映ている。災害現場での作業は，2 次災害の危険像を提供したものがあるが，そのような場合でがあるため，建設機械等を用いた重機の遠隔操も把持や配置等の奥行感が必要な手先作業時に作が採用される。その遠隔操作の問題点として，は外部カメラが必要であることが明らかとなっ平時に用いられる搭乗操作と比較すると，作業ている。そのため，本研究では，奥行感が必要効率が半分以下まで低下することがあげられる。

な手先作業に着目し，外部カメラの最適・好適

そのため，先行研究ではドローンや画像処理を配置をスケールモデルおよび実機を用いて導出用いて任意の第三者視点からの映像を提供するした。

研究がなされている。しかし，どのような視点(1) 仮説から提供すべきかといった最適・好適配置に関外部カメラの最適・好適配置を導出するにあしては検討がなされていない。また，我々の研たり，その仮説を人間工学の知見を基に立てた。

究グループでは，高効率な遠隔操作を実現する

ヒトには，物体を最も認知しやすい映像である

ため作業前に環境情報を提供する映像提示手法

典型的景観が存在する。この典型的景観の特徴を構築し，操作者が容易に移動経路や把持方略として，① オクルージョンが最も少ないこと，などのプランニングを行えるようになった。し② その許容範囲は ±30˚ であること，③ 物体

かし，そのプランニングを作業中に忘却してしの大きさによる影響は小さいこと，が知られてまい，作業効率が低下することがあった。

いる。そのため，手先作業時における最適配置

上記より，本報告書では以下の 2 つを研究目的として研究を行った。

は，典型的景観の特徴①から，パン角が 90˚，チルト角が 90˚ の映像，好適配置は典型的景観

1．外部カメラの最適・好適配置の導出の特徴②から，パン角が 90˚±30˚，チルト角が2．プランニングリマインダの開発

90˚±30˚ となる映像となると仮説を立てた。なお，ズーム率に関しては典型的景観の特徴③より本研究では対象外とした。
(2) スケールモデルを用いた導出

研究初期段階では，実機を用いた繰り返し実― 1 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

験は，安全面および経済面から現実的ではない

値 は 90˚，そ の 許 容 範 囲 で あ る 好 適 配 置 はため，小型のスケールモデルを作成し，それを30˚〜135˚ となった。その理由としては，正確用いてカメラ配置を変更し，最適・好適配置をな位置決めをせずに配置をしたことが考えられ導出した。

る。実験 B より，把持・配置におけるチルト・実験方法

角の最適配置は 60˚，その許容範囲である好適パン角・チルト角それぞれにおける最適・好配置は 60˚±30˚ となった。その理由として，チ適配置を導出するため，チルト角を固定しパンルト角が 60˚ の時の映像は配置場所が 3 次元的角を変更した実験 A と，パン角を固定しチルに把握できることがあげられる。

ト角を変更した実験 B を行った。タスクは，(3) 実機を用いた導出

どちらの実験においても移動し，物体を把持し，現場に適応するためには実機での導出が必須運搬し，最後に配置するものとした (図 1)。

であるため，実機を用いた実験を行った。

その際，操作者は車載映像と，把持時における・実験方法

外部カメラ，配置時における外部カメラを見な

土木研究所より提案されている重機の遠隔操がら作業を行った (図 2)。

作におけるモデルタスクを参考に設定した。図・実験結果

3 に示すように掘削および配置の作業をカメラ

実験 A より，把持におけるパン角の最適配配置を変更しながら行った (図 4)。なお，操置 は 90˚，そ の 許 容 範 囲 で あ る 好 適 配 置 は

作者は車載映像と外部カメラからの映像を見な

90˚±30˚ となった。配置におけるパン角の最適がら実験を行った。初心者および熟練者を被験者として実験を行った。

Fig. 1

Experimental task (scale model)

Fig. 2

Interface― 2 ―Fig. 3

Experimental task (actual machine)

Fig. 4

Camera conditions of the experiment立石科学技術振興財団

助成研究成果集(第29号) 2020

・実験結果 (初心者)
掘削時におけるパン角の最適配置は 60˚，好適配置は 45˚〜90˚ となった。その理由として，パン角が 60˚ の時の映像は配置場所が 3 次元的に把握できることがあげられる。また，90˚ より大きいパン角では，バケットの先端がオクルージョンにより視認できないため，上記の好適配置になったと考えられる。配置時におけるパン角の最適配置は 45˚，その許容範囲である
好適配置は 45˚〜135˚ となった。その理由としてどのパン角においてもオクルージョンにより配置場所が視認できなかったことがあげられる。
また，掘削・配置時におけるチルト角の最適配置は 60˚，また 45˚〜90˚ であれば作業効率に大きな影響がないことがわかった。
・実験結果 (熟練者)
掘削時におけるパン角の最適配置は 90˚，好適配置は 60˚〜90˚ となった。初心者と最適配置が異なるが，その理由として，初心者は 1 つのFig. 5 Developed AR reminder system

映像から 3 次元的に把握可能なパン角が 60˚ の時が最適となったが，熟練者では奥行方向以外ナビゲーションシステム等は開発されている。の情報は車載映像から取得できるため，より奥

しかし，これらのナビゲーションシステムは 1

行方向がわかりやすい 90˚ が最適配置となった

つの作業状態のみにしか対応していない。重機ことがあげられる。配置時におけるパン角の最の遠隔操作では，対象物まで移動し，リーチン

適配置は 45˚，その許容範囲である好適配置はグを行い，対象物を把持し，運搬し，配置する

45˚〜135˚ と初心者と同じ結果となった。また，といった作業を連続的に行う必要がある。その掘削時におけるチルト角は初心者と同様の結果ため，連続的な作業状態の変化に対応可能なリ(最適配置は 60˚，また 45˚〜90˚ であれば作業効マインダ手法が必要である。さらに，認知負荷率に大きな影響がない) となることがわかった。

が高いと特定の映像のみに着目し，他の映像を配置時におけるチルト角の最適配置は 90˚，好無視してしまう Cognitive Tunneling といった適配置は 60˚〜90˚ となった。この理由として，現象が発生する。よって，低認知負荷でリマイ

初心者は十分に配置場所と対象物の位置関係をンドする必要がある。以上より，(1) 連続的な把握せずに作業を行っていたが，熟練者は作業作業状態の変化に対応可能，かつ (2) 低認知により精度を求めるため，その位置関係がわか負荷なリマインドが可能なプランニングリマイ

りやすい 90˚ の映像が最適配置となったことがンダを開発した (図 5)。

考えられる。

(1) 連続的な作業状態の変化への対応

作業状態により必要な情報が異なるため，そ〈研究 2：プランニングリマインダの開発〉の情報を AR で表示する。

先 行 研 究 に お い て，移 動 経 路 を 拡 張 現 実

・移動：移動の目的は対象物付近まで行くこと(AR : Augmented Reality) を用いて提示する― 3 ―であるため，移動経路が重要となる。よって，

立石科学技術振興財団

助成研究成果集(第29号) 2020で構築したプランニングリマインダ手法により，移動経路を表示する。
・リーチング・運搬：リーチングと運搬の目的

低認知負荷かつ高効率な作業を実現可能であるは手先を対象物もしくは配置位置付近までことが示唆された。今後は，1．では手先作業もっていくことである。そのため，どちらに時以外における外部カメラの最適・好適配置をおいても腕の動きが重要となる。したがって，

導 出 し，2．で は，熟 練 者 や 実 機 で の 実 験 を手先動作を表示する。

行っていく予定である。

・把持・配置：把持と配置の目的は対象物を掴むもしくは放すことである。そのため，どちらにおいても現在の手先位置と把持時もしくは配置時の最終的な手先位置との関係が重要となる。以上より，最終的な手先位置を表示[成果の発表，論文等]〈論文誌〉
・佐藤隆哉，亀﨑允啓，山田充，橋本毅，菅野重樹，岩田浩康，“無人化施工の掘削・リリース作業における側面カメラの最適および好適配置の実験的導する。

出”，日 本 機 械 学 会 論 文 集，Vol. 85，No. 876，pp.

(2) 低認知負荷なリマインド

ヒトの認知可能な時間には限界があり，また

1-12，2019．
DOI : 10.1299/transjsme.19-00066

高認知負荷では記憶が困難であるため，操作者〈査読付き国際会議〉が記憶可能な時間内かつ低認知負荷である時に・Ryuya Sato, Mitsuhiro Kamezaki, Satoshi Niuchi,

AR を提示する。

Shigeki Sugano, and Hiroyasu Iwata, “Derivation of
an Optimum and Allowable Range of Pan and Tilt

・実験

Angles in External Sideway Views for Grasping andスケールモデル上の 1 本の棒を掴んで指定さPlacing Tasks in Unmanned Construction Based on

れた場所まで運搬する実験を，16 名の被験者

Human Object Recognition,” 2019 IEEE/SICEに対して行った。操作者は車載映像 1 つと外部International Symposium on System Integrations(SII 2019), pp. 776-781, 2019, Paris, France. (口頭)

カメラからの映像 2 つを見ながら，遠隔操作を・Ryuya Sato, Mitsuhiro Kamezaki, Mitsuru Yamada,行った。AR 群 (8 名) には提案するリマイン

Takeshi Hashimoto, Shigeki Sugano, and Hiroyasu

ダ手法を適応し，コントロール群には AR 提示を行わなかった。

Iwata, “Experimental Investigation of Optimum andAllowable Range of Side Views for Teleoperated
Digging and Release Works by Using Actual Con-・実験結果

struction Machinery,” 2019 IEEE/SICE Internation-

移動とリーディング・運搬時，作業全体の作業時間が有意に低減できることが，また，移動時と作業全体の認知負荷を有意に低減できることがそれぞれわかった。また，誤接触回数も有意に低減できることがわかった。

al Symposium on System Integrations (SII 2019),
pp. 788-793, 2019, Paris, France. (口頭)〈査読あり国内会議〉
・佐藤隆哉，亀﨑允啓，山田充，橋本毅，菅野重樹，
岩田浩康，“重機の遠隔操作性向上のためのマルチカメラ最適配置に関する研究 ―― 第二報

掘削・配置作業におけるパン・チルト角が及ぼす作業効率への影響の実験的検証 ――”，第 24 回ロボティク[今後の研究の方向，課題]

スシンポジア講演論文集，pp. 14-17，2019 年，富山．(口頭)

本研究では，1．手先作業時における外部カ・佐藤隆哉，亀﨑允啓，山田充，橋本毅，菅野重樹，岩田浩康，“無人化施工における奥行感の把握が必メラの最適・好適配置を導出し，2．低認知負

要な手先作業時における外部カメラの最適・好適配

荷なプランニングリマインダ手法を構築した。

置の実験的導出”，第 19 回建設ロボットシンポジウ

1．で導出した最適・好適配置を基に無人化施

ム 論 文 集 (SCR2019)，paper no. O3-01，2019 年，
福岡．(口頭)工の現場で外部カメラを配置すれば作業効率を〈査読なし国内会議〉向上可能であることが示唆された。また，2．

・佐藤隆哉，亀﨑允啓，山下雄輝，菅野重樹，岩田浩― 4 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

康，“重機の遠隔操作における作業状態の変化に適岩田浩康，“重機の遠隔操作性向上のためのマルチ応可能な拡張現実技術を用いた低認知負荷リマイン

カメラ最適配置に関する研究 ―― 第三報 搭乗操

ド手法の構築”，日本機械学会ロボティクス・メカ

作熟練者における掘削・配置作業でのパン・チルト

ト ロ ニ ク ス 講 演 会 2019 論 文 集 (Robomecʼ19)，角が及ぼす作業効率への影響の実験的検証 ――”，

paper no. 1P2-D07，2019 年，広島．(ポスター)

第 37 回日本ロボット学会学術講演会，paper no.

・佐藤隆哉，亀﨑允啓，山田充，橋本毅，菅野重樹，― 5 ―2A1-05，2019 年，東京．(口頭)