<第 19 回 ITS シンポジウム 2021>

投影変換による自動車の遠隔操作用カメラ映像の遅延補償に関する研究
松原航大*1

大前学*1

慶應義塾大学大学院 政策・メディア研究科*1
無人自動運転移動サービスでは管理者は，カメラ映像等を用いて遠隔監視や遠隔操作を行う必要がある．
通信遅延が発生すると適切な操作ができなくなる恐れがあり，現在は低速度域での実証に留まっている．本
研究では，中高速度域においても安定して操作できる遠隔操作の実現を目指し，取得したカメラ映像を投影変換し，遅延時間分の移動量に応じて映像の視点を変更することで，遅延補償を行った．これによりオペレータはカメラ映像が遅延している場合でも，常に現在時刻の車両位置に近い視点のカメラ映像を用い運転することが可能となる．本論文では，提案する手法を説明し，実験による評価結果を報告する．

Compensation of Camera Image Latency in Remotely Operated
Vehicle using Projection Transformation
Kodai Matsubara*1

Manabu Omae*1

Keio University Graduate School of Media and Governance*1
Mobility service that uses unmanned, autonomous driving technology requires remote monitoring by supervisor．
Since continuous and real-time camera images are required for remote monitoring and remote control, autonomous
mobility service is currently only limited to low-speed range．In this research, we aim to realize a new remote control
support system which can be driven even in the middle and high-speed range by compensating camera image latency.
Projection transformation is used to alter the perspective of the acquired image．As a result, even if the camera image isdelayed, the operator can always drive using a camera image with a perspective close to that of the actual vehicle.
Keyword: Remotely Operated Vehicle, Low Speed Automated Driving, Image Processing

1. まえがき
本論文では，カメラ映像を使用した車両の遠隔操作において， 投影変換によりカメラ映像の遅延補償を行う遠隔操作支援手法を提案する．
近年，人口減少や少子高齢化が進行し，地方圏の地域交通をめぐる環境は，利用者の減少によりますます厳しくなることが予想される．そのため公共交通や幹線道路から，家庭や目的地までの数 km 程度の限定地域で自動走行を行うラストワンマイル自動走行の実証が進められている．このような自動運転システムは，『高齢者や子育て世代， 車いす利用者等の移動制約者にも優しい移動手段の提供と移動制約者の QOL(quality of life)向上に貢献する』とされている[1]． 政府の官民 ITS 構想・ロードマップでは，限定地域での無人自動運転移動サービスの実現
は 2020 年（度）までに市場化が目標とされ，社会実装に向けた様々な実証が行われている[2]．たとえば，沖縄県北谷町，福井県永平寺町では，電磁誘導線を追従する小型カートが利用され，事業化を見据えた実証実験が行われている[3]．
無人自動運転移動サービスの実証では，ドライバーが乗車していないため，遠隔地からカメラ映像等を用いて監視を行い，問題が発生した際には遠隔地から管理者がカメラ映像をもとに遠隔操作を行っている．しかし，遠隔監視や遠隔操作には連続的なカメラ映像が要求されるため，通信遅延が発生すると，適切な操縦操作を行うことができなくなる恐れがある．

本研究の対象は，このような無人自動運転移動サービスであり，その遠隔操作用カメラ映像の遅延補償に焦点を当てている．遠隔型自動運転システムを用いた利便性の高い移動サービスを実現するためには，現状の低速度域だけでなく，通信遅延による安全面等への影響も大きくなる中高速度域においても実証を進める必要がある．文献[4]は，カメラ映像を使用した低速車両の遠隔操作において，人間が許容できる限界の遅延時間を明らかにするという目的のもと，遠隔操作シミュレータにより映像遅延が操作性にどの程度影響するのかについて分析している．
実験結果から，映像の遅延時間が大きくなるにつれ，ハンドル操作がふらつき，目標コースに対する横偏差が大きくなることを明らかにしている．また，横偏差の RMS 値の平均から導出した許容できる映像の遅延時間は時速 10 ㎞の場合 800ms であり，速度が高くなると許容できる映像遅延時間が短くなると述べられている．
本研究では，中高速度域においても安定して操作できる遠隔操作の実現を目指し，取得したカメラ映像を投影変換し，遅延時間分の移動量に応じて映像の視点を変更することで，遅延補償を行った．本論
文の構成は以下の通りである．第 2 章では，本研究で構築した映像の視点移動を用いた遠隔操作支援手法について述べる．第 3 章では，構築した遠隔操作支援手法を用いた評価実験とその結果について報告する．第 4 章では，作成した周囲の物体情報を用いた視点移動画像について述べる．
2. 遠隔操作支援手法の構築
この章では，自動車の遠隔操作用カメラ映像の遅延補償を実現する遠隔操作支援手法について説明する．以下の各節では， 構築した遠隔操作支援手法について，その概要，投影変換手法， 視点移動位置と角度の決定手法， 視点移動映像の提示手法について述べる．
2.1 遠隔操作支援手法の概要
カメラを使用した遠隔操作システムの場合，通信遅延が発生すると実車が通り過ぎた位置の遅延したカメラ画像が遠隔側へ送信される．そこで本研究では，RTK-GNSS から得られる現在の実車の絶対位置座標と角度を用い，遅延したカメラ映像から現在の車両位置と角度に応じたカメラ視点を透視投影変換により再現する．これによりオペレータはカメラ映像が遅延している場合でも，常に実車に近い視点のカメラ映像を用い実車を運転することが可能となる．
本研究の画像の視点変更は，以下の手順で行われる．
① 遅延したカメラ画像から現在の実車の位置と角度に対応したカメラ画像を生成するため，RTKGNSS から得られる現在の実車の絶対位置座標と角度を用い，画像の視点移動先を決定する．
② 透視投影変換の逆変換を行い，遅延したカメラ画像の各画像座標点を世界座標点へ変換する．
③ ②で求めた各世界座標点を世界座標系で①で求めた視点移動先へ移動する．
④ 透視投影変換を行い，各世界座標点を画像座標点へ変換する．
なお，カメラ映像を見ているオペレータが道路の形状を見て運転する場合，道路平面を遅延なく正しくオペレータに提示する必要があり，透視投影変換を実施する際，カメラ映像により取得される画像の全領域を地表面だと仮定している．また，RTKGNSS などの車両情報は別回線で送ることを想定しているため、遅延がないものと仮定している．
2.2 投影変換手法
この節ではカメラ画像の視点を移動するために用いる投影変換手法について述べる．
2.2.1 透視投影変換の原理
本研究では，カメラ画像を世界座標系へ変換し，画像の視点を移動し，透視投影変換を行い，再度カメラ座標系に変換する．透視投影は，3 次元の物体を見たとおりに 2 次元平面に描画するためのレンダリング手法である． 透視投影変換の式は画像座標点
𝑢，𝑣 ，内部パラメータ𝑨，外部パラメータ 𝑅|𝑡 ，世界座標点 𝑋，𝑌，𝑍 を用いて式(1)のように表せる．
𝑢𝑠 𝑣
1

𝐴 𝑅|𝑡𝑋𝑌𝑍
1(1)外部パラメータは世界座標点をカメラ座標点に変換し，内部パラメータはカメラ座標点を画像座標点へ変換する．このように透視投影変換を行うことで，任意の世界座標点をカメラ座標点へ変換することができる．

2.2.2 透視投影変換の逆変換手法
この項では，画像座標点を世界座標点へ変換する
透視投影変換の逆変換手法について述べる．透視投
影変換の逆変換には，スケールファクタを算出し，内部パラメータと外部パラメータの逆行列を用いる．
スケールファクタとは，カメラ光軸と同一法線を持つ平面上にある物体の移動距離と，画像画面上での同一物体の移動距離を比率で表したものである．カメラ画像の全領域を地表面と仮定すると，スケールファクタの算出には，画像座標点に対応する世界座標点とカメラ位置の距離を求める必要がある．図 1に画像座標点に対応する世界座標点と地表面でのカメラ位置の距離の関係を示す．カメラ位置を𝑎，カメラの焦点距離を𝑓 ，カメラの高さをℎ，画像座標点を𝑏，画像座標点𝑏に対応する世界座標点を𝑐，光軸と撮像面の交わる点を𝑑，𝑏 から𝑑の距離を𝑦，𝑑に対応する世界座標点を𝑒，𝑐から𝑒の距離を𝑘，床面上でのカメラ位置を𝑎´，𝑎´と𝑐の距離を𝑍とする．∠𝑏𝑎𝑑の角度𝜙は以下の式(2)で示すことができる．
𝑦𝜙 𝑡𝑎𝑛(2)𝑓により𝜃度回転させた座標を 𝑥 ́ ，𝑦 ́ 及び 𝑥́ ， 𝑦́とする．X 軸方向の視点移動距離𝑋，Y 軸方向の視点移動距離𝑌は以下の式(5)(6)で表すことができる．
𝑋 𝑥́
𝑥́
(5)
𝑦́(6)
𝑌 𝑦́
遅延したカメラ画像視点を𝑋，及び𝑌移動させることで，現在の実車位置に合わせたカメラ画像を生成することができる．
カメラ画像の遅延時間前に RTK-GNSS から取得した車角を𝜃 ，現在の実車角を𝜃 とすると，遅延した𝜃 度回転することで現在の実車カメラ画像を𝜃角に合わせたカメラ画像を生成することができる.
透視投影変換時に，以下の式(7)で示す Y 軸周りの回転行列𝑅を導入することにより，実車角の変化に応じたカメラ視点の回転を実現した.
𝜃cos 𝜃𝑅sin 𝜃0𝜃010sin 𝜃0cos 𝜃𝜃(7)𝜃

図 2 に作成した視点移動画像を示す．

∠𝑎́ 𝑎𝑏の角度𝜃は以下の式(3)で示すことができる．
𝑍𝑘(3)𝜙ℎ
したがって，距離 Z は以下の式(4)で求めることができる．
𝑍 ℎ ∙ tan 𝜃(4)𝜃tan

Fig.2 Image Created by Proposed Method
2.4 視点移動映像の提示手法
この項では，遠隔操作支援手法の視点移動映像の提示手法について述べる．遅延が生じた際，一定のFig.1 Relationship of Image coordinates and 3D映像品質で実車実験を行うためには同間隔で視点移
Coordinates
動画像をオペレータに提示する必要がある．本研究で提示する視点移動映像は 83ms おきに画像を提示
2.3 視点移動位置と角度の決定手法
する 12fps とした．
遅延したカメラ画像から現在の実車位置のカメラ視点移動映像の提示の手順を以下に示す．
画像を生成するためには，実車位置と実車角の変化① 車載のネットワークカメラ画像を MJPG 形式で取に応じてカメラ画像の視点を移動する必要がある．
得する．
RTK-GNSS から取得した現在の実車の座標を 𝑥 ，𝑦 ， ② カメラ画像取得終了時の時刻を記録する．
③ 第 2.2 節で示す投影変換手法により，実車位置カメラ画像の遅延時間前の実車の座標を 𝑥 ， 𝑦 ，と角度の変化に応じた視点移動画像を生成する．
実車角を𝜃とする． 𝑥 ，𝑦 と 𝑥 ， 𝑦 を回転行列④ 視点移動画像の生成終了時の時刻を記録し，視点移動画像の作成に要した時間𝑡を算出する．
⑤ 83 𝑡 msの間視点移動映像提示プログラムをフレームレート同期のためスリープさせる．
⑥ 視点移動画像をオペレータに提示する
3. 評価実験
この章では，第 2 章で説明した遠隔操作支援手法を用いた評価実験について報告する．評価実験の目的は，映像遅延下の遠隔操作における被験者のコース追従性や操縦操作を評価し，様々な速度で遠隔操作支援手法の有効性を明らかにすることである．
3.1 遠隔操作シミュレータの構築
実環境における映像遅延については，通信環境や映像の圧縮・展開に起因するため，自由に数値を設定することができない．また，通信遅延存在下で実車を用いて中高速度域で遠隔操作を行うのは危険である．そこで筆者らは実験車での遠隔操作を模擬したシミュレータを構築した．シミュレータでは，ハンドル型の入力装置を用い， 1 画面のディスプレイに，カメラ映像の代わりに CG を表示する．ここで，映像の更新に遅延を入れることで，映像遅延下での遠隔操作を模擬できる．
図 3 に構築したシミュレータの写真を示す．操作者の入力に基づき，車両運動計算プログラムが，車両運動を計算し，位置，向きを更新する．逐次更新されたシミュレーションモデルの車両の位置，向きの情報を配列型の変数に保持し，遅延相当の時間後に描画に用いることで，映像が遅延した状況を模擬している．車両運動のモデルには，実験車両の諸元を持つ平面二輪モデルを使用している．速度制御については，パドル入力により，目標速度を指定し，車両側で速度制御を行っている．

Fig.3 Remote Control Simulator
3.2 実験方法
第 3.1 項で説明した遠隔操作シミュレータにより，慶應義塾大学新川崎タウンキャンパス内走路を模した周回コースを遠隔操作する．提案する手法の有効性を示すためにシミュレータに表示される CG を入力画像とした遠隔操作支援手法をオペレータに提示する場合としない場合の軌跡とハンドルの操作量を比較する．コースは，1 周約 340m であり，遅延時間は 1000ms として，連続周回走行を行う．直線部は10km/h，20km/h，30km/h，40 km/h のいずれかの速度で，カーブ部では常に 10km/h で走行するように指示した．図 4 にコース全体像や走行速度の切替箇所を示す．
被験者は，普通自動車免許を所有する大学生，大学院生 4 名であり，実験に関する説明を行った後，ハンドル型の入力装置を使用してシミュレータ内で示されたコースを走行する．初めにすべての被験者に対し，操作方法の確認を目的に，遅延がない状態で，コースを 3 周走行する事前練習を行った．次に遅延時間 1000ms として，時速 10km/h，20km/h で遠隔操作支援手法を用いずに走行した．最後に時速10km/h，20km/h，30km/h，40km/h で遠隔操作支援手法を提示して走行した．

Fig.4 Experimental Course for Evaluation
3.3 実験結果
遠隔操作シミュレータで遠隔操作を行った際の車両モデルの軌跡とハンドルの操作量を評価した．図5 に遠隔操作支援手法を用いずに直線部を時速10km/h で走行した軌跡を示す．軌跡から全ての被験者がふらつくまたはコースをはみ出すことを確認した．図 6 に被験者 A の速度別の軌跡を示す．遠隔操作支援手法を用いた場合にはコース追従性が改善され，時速 40km/h であっても問題なく走行できることがわかる．
表 1 に被験者 4 名の走行時にハンドル型コントローラを用い入力したハンドル角の絶対値の平均値(deg)を示す． 時速 10km/h では被験者 A，B，C，Dの遠隔操作支援手法を用いた場合のハンドルの操作量は，遠隔操作支援手法を用いなかった場合に比べ約 54%減少している．また時速 40km/h でも遠隔操作支援手法を用いた場合のハンドルの操作量は，時速10km/h で遠隔操作支援手法を用いなかった場合に比べ約 33%減少している．以上の結果から遠隔操作支援手法を用いることでカメラ映像の遅延が補償されることによりふらつきが軽減され，コース追従性が改善された．

場合にはふらつきが軽減されていることがわかる．
表 2 に被験者 4 名の走行時にハンドル型コントロー
ラを用い入力したハンドル角の絶対値の平均値(deg)を示す．被験者 A，B，C，D の遠隔操作支援手法を用いた場合のハンドルの操作量は，遠隔操作支援手法を用いなかった場合に比べ約 54%減少し，ふらつきも同様に減少している． 遠隔操作支援手法を用いることで被験者 4 名の内，運転経験が豊富な 3名については時速 10km の場合，カメラ映像の遅延が1 秒であっても問題なく走行することができた．
100

遠隔操作支援手法を用いなかった場合の軌跡

80

Fig.5 Trajectories at 10km/h Without Proposed Method

遠隔操作支援手法を用いた場合の軌跡

Y[m]6040200‐20‐50‐40‐30‐20‐1001020

X[m]Fig.7 Trajectories at 10km/h (A)Table2 Average Absolute Value of Steering-Wheel Angle
Fig.6 Trajectories at Various speeds With ProposedMethod (A)Table1 Average Absolute Value of Steering-Wheel Angle

ハンドル角の絶対遠隔操作

遠隔操作

値の平均値

支援なし

支援あり

被験者 A

50

11

被験者 B

2119

被験者 C

1510ハンドル角

遠隔操作

遠隔操作支

遠隔操作

被験者 D

24

11の絶対値の支援なし

援あり

支援あり

平均値

2813

平均値

10km/h

10km/h

40km/h

被験者 A

170

6994

被験者 B

925595

被験者 C

905971

被験者 D

185

63

100

平均値

1346290

3.4 実車実験
シミュレータでの評価に加え，実験車にて遠隔操作した際の実車の軌跡とハンドルの操作量を評価した．この実験では，安全に考慮し，図 5 に示す直線部のみで時速 10 ㎞/h で走行した． 尚被験者はシミ
ュレータ実験と異なる 4 名で実施し，カメラ映像の遅延時間は１秒とした． 図 7 に被験者 A の軌跡を示す．遠隔操作支援手法を用いなかった場合には，大きくふらついているが，遠隔操作支援手法を用いた

4. 周囲物体情報を用いた視点移動画像の作成
この章では LiDAR から得られる周囲の物体情報を用いた視点移動画像について述べる．評価実験ではオペレータは道路の形状を見て運転すると仮定し，画像の全領域を地表面として扱い投影変換を行った．
実験の被験者からは，提示画面の遅延が補償されることにより，操作性が向上した等の好意的な意見が多くありました．しかし，提案する手法では道路面以外の障害物や標識を正しく変換できないため，カメラ映像が見にくいという意見があった．
道路面以外を正しく変換する視点移動画像の生成には，カメラ画像に映る非平面物体を検出する必要がある．そのため，LiDAR から得られる周囲の物体情報を用いて，画像の全領域を正しくオペレータに提示するように遠隔操作支援手法を改善した．図 8 に

LiDAR を用いた構造物の検出方法を示す．LiDAR を用いることで地表面と高さのある構造物の平面を抽出した。構造物の平面は地表面と区別して一つの平面として投影変換を行うことで視点移動画像を作成した．図 9，10 に周囲物体情報を用いなかった視点移動画像と周囲物体情報を用いた視点移動画像を示す．
周囲物体情報を用いることで、遠隔操作を行うオペ
レータは道路の形状を見てコースを追従するだけでなく，カメラ映像から標識の認知，障害物の回避など様々なタスクを行えるようになると考える．

した．
・ 提案する遠隔操作支援手法を用いることで，通信遅延存在下での遠隔操作時に提示するカメラ映像の遅延が補償されることにより，中速度域においてもコース追従性が改善し，ふらつきが軽減される．
・ 提案する遠隔操作支援手法を用いることで，カメラ映像の遅延が 1 秒であっても時速 10km/hで実車にて 4 名中 3 名が問題なく走行できた．
・ LiDAR から得られる周囲物体情報を用いることで画像の全領域を正しくオペレータに提示できることを確認した．
今後は周囲物体情報を用いた遠隔操作支援手法の評価を行っていきたいと考えている．

Fig.8 Structure Detection using Lidar参考文献[1] 経済産業省：更なる自動走行技術の活用について，首相官邸ホームページ,
https://www.kantei.go.jp/jp/singi/keizaisaisei/wg/
kaikaku/dai5/siryou1.pdf，(参照 2021.11.01)．
[2] 高度情報通信ネットワーク社会推進戦略本部：
官民 ITS 構想・ロードマップ，首相官邸ホームページ，
http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20210615/roadmap.pdf，(参照 2021.11.01)．
[3] 国土交通省:ラストワンマイル自動運転について， 国土交通省ホームページ，
http://www.mlit.go.jp/common/001178889.pdf,(参照 2021.11.01)．
[4] 水島 知央， 神蔵 貴久， 大前 学:遠隔型自動運転システムにおける遠隔操作時の映像遅延が操舵の操作に与える影響の評価，自動車技術会論文集，Vol.50,No.3, pp.970-976, (2019)．
[5] MathWorks:単一カメラ キャリブレーター ア
プリ，MathWorks ホームページ，
https://jp.mathworks.com/help/vision/ug/singlecamera-calibrator-app.html，(参照 2021.11.01)．

Fig.9 Proposed Method Without Surrounding Object
Information

Fig.10 Proposed Method With Surrounding Object
Information
5．まとめ
本論文は，ラストワンマイル自動走行等の遠隔型自動運転システムにおいて中高速度域での遠隔操作の実現を目的として，投影変換によりカメラ映像の遅延補償を行う遠隔操作支援手法を評価した．評価
実験の結果，本論文の実験条件，被験者条件，カメラ映像の遅延時間において，以下のことを明らかに