(57)【要約】【課題】遠隔操作を行う操作者に対し、車両の周辺を示す適切な画像を表示する。【解決手段】遠隔操作装置（１）は、操作対象の車両を遠隔操作する遠隔操作装置である。当該遠隔操作装置は、車両により撮像された車両の周辺の周辺画像を取得する取得手段（１１）と、道路の画像を予め保持する保持手段（１２）と、取得された周辺画像の視界の程度を推定し、前記推定された視界の程度が小さくなるほど合成割合が大きくなるように、取得された周辺画像に、保持された画像のうち車両の現在位置に対応する画像を合成して表示する表示制御手段（１１）と、を備える。【選択図】図１
2019029922.tif 000002
【特許請求の範囲】
【請求項１】
操作対象の車両を遠隔操作する遠隔操作装置であって、
前記車両により撮像された前記車両の周辺の周辺画像を取得する取得手段と、
道路の画像を予め保持する保持手段と、
前記取得された周辺画像の視界の程度を推定し、前記推定された視界の程度が小さくなるほど合成割合が大きくなるように、前記取得された周辺画像に、前記保持された画像のうち前記車両の現在位置に対応する画像を合成して表示する表示制御手段と、
を備えることを特徴とする遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象の車両を遠隔操作する遠隔操作装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、遠隔操作を行う操作者に対して、車両の周辺を示す動画像を表示する装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０７１７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、例えば霧等により車両周辺の視界が悪い場合の対策について考慮されていないという技術的問題点がある。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、遠隔操作を行う操作者に対し、車両の周辺を示す適切な画像を表示することができる遠隔操作装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る遠隔操作装置は、操作対象の車両を遠隔操作する遠隔操作装置であって、前記車両により撮像された前記車両の周辺の周辺画像を取得する取得手段と、道路の画像を予め保持する保持手段と、前記取得された周辺画像の視界の程度を推定し、前記推定された視界の程度が小さくなるほど合成割合が大きくなるように、前記取得された周辺画像に、前記保持された画像のうち前記車両の現在位置に対応する画像を合成して表示する表示制御手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る遠隔操作装置の要部構成を示すブロック図である。
【図２】実施形態に係る遠隔操作装置により表示される画像の一例である。
【発明を実施するための形態】
【０００８】
実施形態に係る遠隔操作装置について、図１及び図２を参照して説明する。
【０００９】
（構成）
実施形態に係る遠隔操作装置の構成について、図１を参照して説明する。図１は、実施形態に係る遠隔操作装置の要部構成を示すブロック図である。
【００１０】
図１において、遠隔操作装置１は、画像処理・合成部１１、記憶部１２、走行環境検知部１３、車両動作（発進／停止）検知部１４、車両動作（右左折）検知部１５、車両位置・向き検知部１６及びモニタ２０を備えて構成されている。当該遠隔操作装置１は、操作対象の車両（図示せず）を遠隔操作可能に構成されている。ただし、本実施形態では、モニタ２０に表示される画像に係る画像処理について主に説明し、その他の部分についての説明は省略する。尚、その他の部分については既存の技術を適用可能である。
【００１１】
記憶部１２は、例えば晴れの昼に車載カメラにより撮影された道路の映像を、保存したカメラ映像として記憶する。該保存したカメラ映像は、当該遠隔操作装置１の操作対象の車両の車載カメラにより撮影された映像に限らず、他の車両の車載カメラにより撮影された映像であってよい。
【００１２】
当該遠隔操作装置１の操作対象の車両には、例えば赤外線センサ等の光センサ、雨滴センサ、車速センサ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｈｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機、例えばジャイロセンサ、磁方位センサ等の内界センサ、例えばミリ波レーダ等の周辺認識センサ、等が搭載されている。
【００１３】
走行環境検知部１３は、操作対象の車両に搭載された光センサ及び雨滴センサ各々の出力を無線通信により取得する。ここで、光センサの出力は、例えば光センサから出射された光うち該光センサ近傍に存在する散乱粒子（例えば霧等）により後方散乱された光に応じて変化する。このため、光センサの出力により示される値が大きいほど、光センサ近傍に（即ち、操作対象の車両の近傍に）、散乱粒子が多くなる。つまり、光センサの出力により示される値が大きいほど、操作対象の車両周辺の視界が悪くなることを意味する。
【００１４】
車両動作（発進／停止）検知部１４は、操作対象の車両に搭載された車速センサの出力を無線通信により取得するとともに、当該遠隔操作装置１の、例えばアクセルペダル、ブレーキペダル等のペダルの操作量を示す信号を取得する。
【００１５】
車両動作（右左折）検知部１５は、操作対象の車両に搭載された車速センサの出力を無線通信により取得するとともに、当該遠隔操作装置１のステアリングホイール（所謂ハンドル）の操作量を示す信号を取得する。
【００１６】
車両位置・向き検知部１６は、操作対象の車両に搭載されたＧＰＳ受信機及び内界センサ各々の出力を無線通信により取得するとともに、マップ（地図情報）を取得する。尚、マップは、例えば当該遠隔操作装置１の記憶部１２に予め記憶されており、該記憶部１２から取得されてもよいし、当該遠隔操作装置１とは異なる装置（例えば地図情報用のサーバ等）から取得されてもよい。
【００１７】
走行環境検知部１３は、光センサの出力又は雨滴センサの出力を示す信号を出力する。ここで、走行環境検知部１３は、雨滴センサの出力が、例えば雨滴が検出されていないことを示す場合は、光センサの出力を示す信号を出力する。他方、走行環境検知部１３は、雨滴センサの出力が、例えば雨滴が検出されたことを示す場合は、雨滴センサの出力を示す信号を出力する。
【００１８】
車両動作（発進／停止）検知部１４は、車速センサの出力を示す信号及びペダルの操作量を示す信号を出力する。車両動作（右左折）検知部１５は、車速センサの出力を示す信号及びステアリングホイールの操作量を示す信号を出力する。車両位置・向き検知部１６は、ＧＰＳ受信機及び内界センサ各々の出力を示す信号及びマップを示す信号を出力する。
【００１９】
（画像処理）
次に、上述の如く構成された遠隔操作装置１において画像処理・合成部１１が実施する画像処理について説明する。該画像処理において、画像処理・合成部１１は、当該遠隔操作装置１の操作対象の車両の車載カメラにより撮影されたリアルタイムの映像に、該車両周辺の視界の程度が小さくなるほど大きくなる合成割合で、保存したカメラ映像を合成する。
【００２０】
画像処理・合成部１１は、光センサの出力又は雨滴センサの出力を示す信号に基づいて、当該遠隔操作装置１の操作対象の車両周辺の視界の程度を推定する。上述の如く、光センサの出力により示される値が大きいほど、操作対象の車両周辺の視界が悪くなる。このため、光センサの出力により示される値が大きいほど、推定される視界の程度は小さく（即ち悪く）なる。また、雨滴センサの出力により示される値が大きいほど、雨量が多いので、操作対象の車両周辺の視界が悪くなる。このため、雨滴センサの出力により示される値が大きいほど、推定される視界の程度は小さく（即ち悪く）なる。
【００２１】
画像処理・合成部１１は、操作対象の車両の車載カメラにより撮影されたリアルタイムの映像を無線通信により取得する。画像処理・合成部１１は、ＧＰＳ受信機及び内界センサ各々の出力を示す信号に基づいて、操作対象の車両の位置及び向き（好適には、車載カメラの光軸方向）を求める。加えて、画像処理・合成部１１は、車速センサの出力を示す信号、ペダルの操作量を示す信号及びステアリングホイールの操作量を示す信号に基づいて、該求められた操作対象の車両の位置及び向きを補正する。そして、画像処理・合成部１１は、操作対象の車両の位置及び向きとマップとに基づいて、記憶部１２の保存したカメラ映像から、リアルタイムの映像の現在のフレーム画像に対応するフレーム画像を抽出する。
【００２２】
画像処理・合成部１１は、リアルタイムの映像の現在のフレーム画像に、推定された視界の程度が小さくなるほど大きくなる合成割合で、上記抽出されたフレーム画像を合成して合成画像を生成する。該生成された合成画像はモニタ２０に表示される。尚、採り得る「合成割合」は、ゼロを含んでいてよい。つまり、視界の程度によっては、合成画像として、リアルタイムの映像の現在のフレーム画像と同じ画像が生成されてよい。
【００２３】
また、画像処理・合成部１１は、リアルタイムの映像及び操作対象の車両の周辺認識センサの出力の少なくとも一方に基づいて検出された、例えば障害物情報等をオーバーレイ情報として、モニタ２０に表示された合成画像上に表示する。
【００２４】
ここで、モニタ２０に表示される画像について、図２を参照して説明を加える。図２は、実施形態に係る遠隔操作装置により表示される画像の一例である。図２（ａ）、（ｂ）及び（ｃ）各々において、点線の枠が、上記オーバーレイ情報の一例である。
【００２５】
視界が比較的悪い場合、操作対象の車両の周辺道路のうち該車両に比較的近い部分が比較的鮮明である画像がモニタ２０に表示されることが、当該遠隔操作装置１の操作者にとって望ましい。このため、画像処理・合成部１１は、例えば図２（ｂ）及び（ｃ）に示すように、リアルタイムの映像の現在のフレーム画像（図２の“リアル画像”に相当）のうち、底辺から合成割合で定められた領域に、保存したカメラ映像から抽出されたフレーム画像（図２の“録画画像”に相当）を合成する。
【００２６】
（技術的効果）
当該遠隔操作装置１では、上述の如く、リアルタイムの映像の現在のフレーム画像に、推定された視界の程度が小さくなるほど大きくなる合成割合で、保存した映像から抽出されたフレーム画像が合成されモニタ２０に表示される。このため、視界が比較的悪い場合であっても、当該遠隔操作装置１の操作者に操作対象の車両の周辺を示すことができる。加えて、該操作者は、モニタ２０に表示された画像からリアルタイムの情報も得ることができる。従って、当該遠隔操作装置１によれば、操作者に、操作対象の車両の周辺を示す適切な画像を表示することができる。
【００２７】
＜変形例＞
（１）保存したカメラ映像として、車載カメラにより撮影された映像が用いられる場合、該映像に撮影時に存在した歩行者や車両等が映っている場合がある。撮影時に存在した歩行者や車両等が映っている映像のフレーム画像が、リアルタイムの映像の現在のフレーム画像に合成されてしまうと、当該遠隔操作装置１の操作者を惑わす可能性がある。そこで、画像処理・合成部１１は、上述の画像処理の際に、保存したカメラ映像から抽出されたフレーム画像に、撮影時に存在した歩行者や車両等が映っている場合、該歩行者や車両等が消えるような処理を該抽出されたフレーム画像に施してよい。
【００２８】
このように構成すれば、当該遠隔操作装置１の操作者が、保存したカメラ映像の撮影時に存在した歩行者や車両等によって惑わされることを防止することができる。
【００２９】
（２）当該遠隔操作装置１により、例えば夜間に操作対象の車両を遠隔操作する場合、リアルタイムの映像と保存したカメラ映像との明暗度の差が比較的大きいと考えられる。このため、何らの対策も採らなければ、当該遠隔操作装置１の操作者にとって見にくい映像がモニタ２０に表示される可能性がある。そこで、画像処理・合成部１１は、上述の画像処理の際に、上記明暗度の差が小さくなるように、保存したカメラ映像から抽出されたフレーム画像に対し、例えばカラーグレーディングや色補正を施してよい。
【００３０】
このように構成すれば、当該遠隔操作装置１の操作者にとって見やすい画像をモニタ２０に表示することができる。
【００３１】
以上に説明した実施形態及び変形例から導き出される発明の態様を以下に説明する。
【００３２】
発明の一態様に係る遠隔操作装置は、操作対象の車両を遠隔操作する遠隔操作装置であって、前記車両により撮像された前記車両の周辺の周辺画像を取得する取得手段と、道路の画像を予め保持する保持手段と、前記取得された周辺画像の視界の程度を推定し、前記推定された視界の程度が小さくなるほど合成割合が大きくなるように、前記取得された周辺画像に、前記保持された画像のうち前記車両の現在位置に対応する画像を合成して表示する表示制御手段と、を備える。
【００３３】
保持手段に保持されている「道路の画像」は、典型的には、例えば晴天の日中等の視界が良好な状態で、遠隔操作装置の操作者に表示される画像と同じ視点から撮像された道路の画像を意味する。上記「道路の画像」は、例えば地図情報等に基づいて生成されたコンピュータグラフィックス等であってもよい。
【００３４】
当該遠隔装置では、操作対象の車両により（例えば該車両に搭載されたカメラにより）撮像された周辺画像と、保持手段に保持されている道路の画像とが合成される。このとき単純に周辺画像と道路の画像とが合成されてしまうと次のような問題が生じる。即ち、道路の画像は、操作態様の車両が走行している道路の現在の状況を示すものではない。このため、道路の画像の合成割合が比較的高いと、表示された画像から得られる道路の現在の状況に係る情報が比較的少なくなってしまう。
【００３５】
ここで、例えば視界が比較的悪い場合は、周辺画像から得られる情報は比較的少ないので、道路の画像の合成割合が比較的高くても問題はないと考えられる。他方、視界が比較的良い場合は、周辺画像から得られる情報が比較的多いので、道路の画像の合成割合は比較的小さいことが望ましいと考えられる。
【００３６】
そこで、当該遠隔装置では、周辺画像から推定された視界の程度が小さくなるほど（即ち、視界が悪くなるほど）合成割合が大きくなるように、周辺画像に道路の画像が合成される。このように構成すれば、視界が比較的悪い場合であっても、少なくとも道路の形状や構造については操作者に明示される。従って、当該遠隔操作装置によれば、操作者に対し、操作対象の車両の周辺を示す適切な画像を表示することができる。
【００３７】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔操作装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００３８】
１…遠隔操作装置、１１…画像処理・合成部、１２…記憶部、１３…走行環境検知部、１４…車両動作（発進／停止）検知部、１５…車両動作（右左折）検知部、１６…車両位置・向き検知部、２０…モニタ
【図１】
2019029922.tif 000003
【図２】
2019029922.tif 000004