(57)【要約】【課題】走行又は駆動している移動体に複数のカメラを取り付け、複数のカメラの撮像画像を合成して、仮想視点から見たときの合成画像を表示する際に、移動体と、移動平面との接触領域の実画像を映し出すようにする。【解決手段】本発明に係る移動体表示システムは、移動体に取り付けられ、当該移動体の周辺を撮像する複数のカメラと、複数のカメラの撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、複数のカメラの全部又は一部のカメラの撮像画像に含まれている、移動体の移動平面と移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部と、合成移動体画像生成部により生成された合成移動体画像を表示する表示部とを備える。【選択図】      図１
2020195008.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取り付けられ、当該移動体の周辺を撮像する複数のカメラと、
前記複数のカメラの撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、
前記複数のカメラの全部又は一部の前記カメラの撮像画像に含まれている、前記移動体の移動平面と前記移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部と、
前記合成移動体画像生成部により生成された前記合成移動体画像を表示する表示部と
を備えることを特徴とする移動体表示システム。
【請求項２】
前記移動体が、作業車両であり、
前記接触領域が、前記作業車両の作業部位と地面との接触領域である
ことを特徴とする請求項１に記載の移動体表示システム。
【請求項３】
前記移動体が、車両あるいは船舶であることを特徴とする請求項１に記載の移動体表示システム。
【請求項４】
前記複数のカメラが、魚眼カメラであり、
前記合成周辺画像生成部が、前記合成周辺画像として、前記移動体を中心とした全周画像を生成する
ことを特徴とする請求項１〜３のいずれかに記載の移動体表示システム。
【請求項５】
移動体の周辺を撮像する複数のカメラから取得した複数の撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、
前記複数のカメラの全部又は一部の前記カメラの撮像画像に含まれている、前記移動体の移動平面と前記移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項６】
コンピュータを、
移動体の周辺を撮像する複数のカメラから取得した複数の撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、
前記複数のカメラの全部又は一部の前記カメラの撮像画像に含まれている、前記移動体の移動平面と前記移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部と
して機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体表示システム、画像処理装置及び画像処理プログラムに関し、例えば、移動体に取り付けられた複数のカメラの撮像画像を合成し、仮想視点から俯瞰した合成画像を表示する移動体表示システムに適用し得るものである。
【背景技術】
【０００２】
例えば車両等の移動体に取り付けられた複数のカメラの撮像画像を合成し、仮想視点から見たときの合成画像を、モニタ等の表示部に表示する技術として、例えば特許文献１や特許文献２などがある。
【０００３】
特許文献１の記載技術は、車両運転の際、運転手の安全確認を補助するために、例えば仮想視点を自車両の上方に設定し、各カメラの撮像画像の画素と、合成画像の画素との対応関係を記述したマッピングテーブルを用いて、各カメラの撮像画像をマッピングして合成画像を生成するものである。仮想視点は自由に設定切り替えが可能であり、仮想視点の位置に応じたマッピングテーブルを用いている。また、合成画像において、自車両が存在する領域に、イラスト画像を合成することで、自車両を示すイラスト画像と、その周囲に存在する障害物などを表示することができるので、車両を後退させるようなときの安全確認を補助することができる。
【０００４】
特許文献２の記載技術は、複数のカメラの撮像画像を合成する際に、画像領域の継ぎ目となる領域が不連続となってしまうので、これを回避して見易い画像を表示するものである。具体的には、各カメラの２次元撮像画像を３次元投影面形状にマッピングする際、視点や視線方向から見た投影画像データに変換するときの変換情報や、画像領域の重複部分の合成方法を、車両の状態情報等に応じて常時変更するものである。
【０００５】
上述したように、特許文献１や特許文献２等の従来技術は、車両周囲の状況を映し出した画像であり、例えば車両周囲の障害物や駐車用の白線等を表示することはできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開ＷＯ００／６４１７５
【特許文献２】特開２０１０−１２８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、路面を走行している車両に用いる場合に、その路面とタイヤとの接触領域の実画像や、又例えば、土砂を掻き落とすブルドーザ等の作業車両に用いる場合、土砂とブレード部分との接触領域（作業接触領域）の実画像を合成画像で映し出すことができないという課題がある。
【０００８】
そのため、走行又は駆動している移動体に複数のカメラを取り付け、複数のカメラの撮像画像を合成して、仮想視点から見たときの合成画像を表示する際に、移動体と、移動平面との接触領域の実画像を映し出すことができる移動体表示システム、画像処理装置及び画像処理プログラムが求められている。
【課題を解決するための手段】
【０００９】
かかる課題を解決するために、第１の本発明に係る移動体表示システムは、（１）移動体に取り付けられ、当該移動体の周辺を撮像する複数のカメラと、（２）複数のカメラの撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、（３）複数のカメラの全部又は一部のカメラの撮像画像に含まれている、移動体の移動平面と移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部と、（４）合成移動体画像生成部により生成された合成移動体画像を表示する表示部とを備えることを特徴とする。
【００１０】
第２の本発明に係る画像処理装置は、（１）移動体の周辺を撮像する複数のカメラから取得した複数の撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、（２）複数のカメラの全部又は一部のカメラの撮像画像に含まれている、移動体の移動平面と移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部とを備えることを特徴とする。
【００１１】
第３の本発明に係る画像処理プログラムは、コンピュータを、（１）移動体の周辺を撮像する複数のカメラから取得した複数の撮像画像に基づいて、変更可能な仮想視点から見たときの合成周辺画像を生成する合成周辺画像生成部と、（２）複数のカメラの全部又は一部のカメラの撮像画像に含まれている、移動体の移動平面と移動体との接触領域を含む接触領域近傍画像と、所定の移動体モデルとを含む合成移動体画像を生成する合成移動体画像生成部として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、走行又は駆動している移動体に複数のカメラを取り付け、複数のカメラの撮像画像を合成して、仮想視点から見たときの合成画像を表示する際に、移動体と、移動平面との接触領域の実画像を映し出すことができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る移動体表示システムの全体構成を示す構成図である。
【図２】実施形態における複数のカメラの設置方法を示す車両の平面図である。
【図３】実施形態における複数のカメラの設置方法を示す車両の左側面図である。
【図４】実施形態における複数のカメラの設置方法を示す車両の後方部の図である。
【図５】実施形態に係るカメラにより撮像された撮像画像の一例を示す図である。
【図６】実施形態に係る移動体表示システムにおける移動体表示処理の動作を示すフローチャートである。
【図７】実施形態に係る合成画像における境界角度の調整方法を説明する説明図である。
【図８】実施形態に係るマスク領域の設定方法を説明する説明図である。
【図９】実施形態と従来技術のマスク領域への車両モデルの貼り付けを説明する説明図である。
【図１０】変形実施形態における複数のカメラの設置方法を示す車両の平面図及び左側面図である。
【図１１】変形実施形態に係るカメラにより撮像された撮像画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
（Ａ）主たる実施形態
以下では、本発明に係る移動体表示システム、画像処理装置及び画像処理プログラムの実施形態を、図面を参照しながら詳細に説明する。
【００１５】
（Ａ−１）実施形態の構成
（Ａ−１−１）移動体表示システムの構成
図１は、この実施形態に係る移動体表示システムの全体構成を示す構成図である。
【００１６】
図１において、この実施形態に係る移動体表示システム１は、複数（図１では４台）のカメラ１１（１１−１〜１１−４）、画像処理装置１２、表示部１３を有する。
【００１７】
移動体表示システム１は、移動体に取り付けられた複数のカメラ１１−１〜１１−４により撮像された撮像画像を合成し、仮想視点から見たときの俯瞰的な合成画像を表示部１３に表示する。
【００１８】
後述するように、最終的な合成画像の生成後、当該合成画像の座標系において、仮想視点の位置を、任意の位置に設定又は変更することができる。したがって、設定した仮想視点から、走行している移動体自体の様子を含む俯瞰的な合成画像を表示することができる。
【００１９】
ここで、移動体の種類は、特に限定されるものではなく様々なものに広く適用することができ、例えば、自動車、船舶、航空機、ドローン等のような無人飛行体、監視用ロボット等を適用することができる。より具体的には、自動車については、一般道路を走行可能な自動車であってもよいし、例えばブルドーザ、ショベルカー、ホイールローダー、ロードローラー等のような車両系建設機械や、トラクタ等の車両系農業機械など（以下では、車両系建設機械や車両系農業機械等を含む車両を「作業車両」とも呼ぶ。）としてもよい。また、船舶については、ヨットやクルーザーなどの一般的な船舶であってもよいし、消防艇等のような特殊船舶であってもよい。さらに、移動体に人が乗り込み、人が移動体の走行操作を行なう有人型の移動体であっても良いし、遠隔的に移動体の走行を操作する遠隔操作型（無人型）の移動体であっても良い。なお、車両に本発明を適用する場合は、当該車両が走行している路面等が移動平面である。また船舶に本発明を適用する場合、当該船舶が浮かんでいる水面が移動平面であり、接触領域近傍画像とは、当該船舶の喫水線近傍の船体と水面を含んだ画像である。この実施形態では、移動体が自動車等の車両であり、遠隔操作可能なものであることを例示して説明する。
【００２０】
カメラ１１−１〜１１−４は、移動体としての自動車車両（以下、「車両」と呼ぶ。）に取り付けられて、当該車両の周囲を撮像し、その撮像画像を画像処理装置１２に与える。
【００２１】
カメラ１１−１〜１１−４の数は、４台に限定されるものではない。２台又は３台のカメラ１１であってもよいし、５台以上のカメラ１１であってもよい。この実施形態では、車両の前方方向、後方方向、右側方向、左側方向を撮像することを想定し、これら４方向のそれぞれを撮像するため４台のカメラ１１−１〜１１−４を車両に取り付ける場合を例示する。
【００２２】
カメラ１１−１〜１１−４は、例えば、魚眼レンズを用いたカメラや、広角レンズを用いたカメラなどを適用することができる。より具体的には、各カメラ１１−１〜１１−４が、１００°程度の画角若しくはそれ以上の画角を持つものとすることで、各カメラ１１が、車両周辺の状況を撮像する範囲を十分にカバーして撮像できる。
【００２３】
なお、各カメラ１１の撮像画像を合成して合成画像を実際に生成するためには、車両に取り付けるカメラ１１の設置位置やカメラ１１の撮像角度等を調整することが必要となる。また、各カメラ１１の撮像画像を合成する際、画像のつなぎ目の画像を正確に合成するために、各カメラ１１の内部パラメータや外部パラメータ等の較正（キャリブレーション）等をする必要がある。
【００２４】
画像処理装置１２は、複数のカメラ１１−１〜１１−４のそれぞれから各撮像画像が入力し、各カメラ１１−１〜１１−４からの２次元の撮像画像を合成して、３次元の合成画像を生成するものである。
【００２５】
なお、画像処理装置１２の処理を行なうハードウェアは、例えば、コンピュータ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等を有する集積回路装置を用いることができ、コンピュータがＲＯＭに格納される処理プログラム（例えば、画像処理プログラム等）を実行することにより、画像処理装置１２の各種機能が実現される。
【００２６】
図１に示すように、画像処理装置１２は、合成周辺画像生成部１２１と、合成画像生成部１２２とを有する。
【００２７】
合成周辺画像生成部１２１は、複数のカメラ１１−１〜１１−４により撮像された車両周辺を映し出した画像（撮像画像）を取得し、各撮像画像を合成して、車両周囲を映し出す全方位の第１の合成画像を生成するものである。
【００２８】
ここで、合成周辺画像生成部１２１による第１の合成画像の生成方法は、様々な画像処理方法を適用することができる。例えば、予め設けられた３次元モデルを用意しておき、複数のカメラ１１−１〜１１−４により撮像された撮像画像（２次元画像）を、３次元モデルに座標変換して、３次元画像の第１の合成画像を生成する方法を用いることができる。より具体的には、例えば、下に凸の半円球の球面上に形成された３次元モデルを用いる。半円球球面の３次元モデルの曲面角度は、合成する第１の合成画像に応じて適宜設定するようにしてもよい。３次元モデルはメッシュが形成されており、当該３次元モデルの座標系における各画素の座標値（例えば、Ｘ軸の値、Ｙ軸の値、Ｚ軸の値）が設定されている。また、各カメラの撮像画像については、カメラ画像の座標系における画素の座標値（ｘ軸の値、ｙ軸の値）が設定されており、各カメラ撮像画像の各画素の座標値を、３次元モデルの各画素の座標値に投影変換することで、各カメラの撮像画像の各画素を、３次元モデルにおける対応する画素にマッピングする。このようにすることで、複数のカメラ１１１−１〜１１１−４の撮像画像の各画素が３次元モデルの各画素にマッピングされて、第１の合成画像が生成される。
【００２９】
合成画像生成部１２２は、合成周辺画像生成部１２１により生成された第１の合成画像において、走行する車両部分と当該車両が走行している移動平面との接触領域を含む接触領域近傍画像を生成する接触領域近傍画像生成部１２２ａを有する。
【００３０】
ここで、接触領域近傍画像とは、接触対象と、当該移動体の一部分とが接触している部分（接触部分）とその近傍を含む画像領域を含む画像を意図する。また、接触対象とは、移動体又は移動体の一部が、接触している若しくは接触可能性のある対象をいう。接触対象は、例えば、移動している移動体又は当該移動体の一部が接触している移動平面や、又例えば、移動体としての工作車両が、工作作業として働きかける対象等が挙げられる。
【００３１】
なお、この実施形態では、接触対象が移動平面である場合を例示して説明する。移動平面とは、移動している移動体と係わりのある面を意図しており、以下に例示する。
【００３２】
例えば、道路を走行している車両を移動体とする場合、その車両が走行している路面が移動平面であり、その道路の路面等と、走行している車両のタイヤ等とが接触している部分及びその近傍部分を含む領域が接触領域近傍画像となる。又例えば、水上を走行する船舶を移動体とする場合、その船舶が走行している水面が移動平面となり、水面に浮かんでいる船舶の喫水線近傍の船体と、水面とが接触している部分及びその近傍部分を含む領域が接触領域近傍画像となる。
【００３３】
又例えば、移動体がロードローラーやブルドーザ等のように工作作業を行なう工作車両の場合には、ロードローラーやブルドーザ等の工作車両が走行している路面、及び又は、工作作業を行なう工作車両が働きかける対象（例えば、ブルドーザが土砂をかき分けるときには、その対象である土砂等）を接触対象とし、ロードローラーのローラ部分と路面とが接触している部分や、ブルドーザのブレードと土砂等とが接触している部分を含む領域が接触領域近傍画像となる。なお、工作車両を移動体とする場合に、接触対象を、路面等の移動平面とするか、及び又は、工作作業対象とするかについては目的に応じて適宜決めることができ、同様に、接触対象とこれに接触する移動体の一部分（すなわち接触領域近傍画像）を、どの部分とするかについても目的に応じて適宜決めることができる。
【００３４】
例えば、ロードローラーやブルドーザ等のような車両系建設機械を遠隔操作するような場合、車両が路面を整地している様子や、車両が掘削している様子などのように、工作作業の様子を操作者が捉えながら、遠隔操作することが求められる。また例えば、これに限らず、車両の運転操作では、移動平面に対して車両が働きかけている細かい様子を確認した上で、車両を操作することが必要となる場合があり、そのような場合には、移動平面と車両との接触領域とその近傍を含む画像が表示されることが望まれる。
【００３５】
しかし、従来技術では、車両に搭載した複数の１１−１〜１１−４は移動平面（例えば道路の路面等）を撮像することはできるが、移動平面を含む撮像画像は、自車両から少し離れた位置に存在している移動平面（例えば路面等）であり、移動平面と車両の一部分とが接触している部分を捉えることはできない。したがって、各撮像画像を合成して得た合成画像も、車両から少し離れた位置の移動平面を映しだすことはできるが、移動平面と車両の一部分とが接触している部分を含む接触領域近傍画像を映し出すことはできない。
【００３６】
そこで、この実施形態では、合成画像生成部１２２が、移動平面と車両の一部分とが接触している接触部分を含む接触領域近傍画像を確保した上で、合成画像を生成するようにする。
【００３７】
さらに、合成画像生成部１２２は、マスク領域決定部１２２ｂと、車両モデル形成部１２２ｃとを有する。マスク領域決定部１２２ｂは、合成周辺画像生成部１２１により生成された第１の合成画像において、上述した接触領域近傍画像の領域を有効に機能させた上で、自車両が存在する領域のうち、最終的な合成画像において非表示とする領域をマスク領域として決定する。また、車両モデル形成部１２２ｃは、マスク領域決定部１２２ｂにより決定されたマスク領域に、例えばＣＧ（コンピュータグラフィックス）等で事前に設けられた車両モデルなどを貼り付けて決定する。合成画像生成部１２２は、このようにして、最終的に生成された第２の合成画像を、表示部１３に与える。
【００３８】
表示部１３は、例えばディスプレイ等を適用することができ、合成画像生成部１２２により生成された合成画像を出力（表示）する。
【００３９】
ここで、画像処理装置１２により生成された合成画像は、ケーブル等の回線を通じて表示部１３に与えられるようにしても良いし、又は、通信回線を介して表示部１３に与えられるようにしても良い。より具体的には、例えば、表示部１３が、車両に搭載され、画像処理装置１２の近傍に設けられ、合成画像がケーブル等を介して表示部１３に与えられるようにしても良い。これにより、当該車両の運転者に当該車両周辺の合成画像を見せることができる。又例えば、有線回線や無線回線等の通信回線を通じて合成画像が表示部１３に与えられる場合には、車両から遠隔に設置された表示部１３に合成画像が表示される。なお、この場合、合成画像を送受信する通信手段が必要となるが、この通信手段については本発明の主旨から離れるため、ここでの詳細な説明は省略する。
【００４０】
（Ａ−１−２）カメラの取付方法
次に、複数のカメラ１１−１〜１１−４を車両に取り付ける設置例を、図面を参照ながら詳細に説明する。
【００４１】
以下では、道路の路面を走行する車両２について、路面３と車両２の右側にあるタイヤ２１−１及び２１−３との接触している様子と、路面３と車両２の左側にあるタイヤ２１−２及び２１−４との接触している様子とを捉えることが可能な合成画像（第２の合成画像）を生成する場合を想定して説明する。
【００４２】
換言すると、路面３と、車両２の各タイヤ２１−１〜２１−４とが接触している状況を表示できるようにし、接触領域近傍画像に含める対象が、路面３と各タイヤ２１−１〜２１−４とである場合を例示する。
【００４３】
図２は、実施形態における複数のカメラ１１−１〜１１−４の設置方法を示す車両の平面図であり、図３は、実施形態における複数のカメラ１１−１〜１１−４の設置方法を示す車両の左側面図であり、図４は、実施形態における複数のカメラ１１−１〜１１−４の設置方法を示す車両の後方部の図である。なお、図２〜図４に示す矢印Ａは、車両２の前方を示している。
【００４４】
図２〜図４に示すように、カメラ１１−１〜１１−４のうち、カメラ１１−１は車両２の前方に設けられ、カメラ１１−２は車両２の後方に設けられ、カメラ１１−３は車両２の右側に設けられ、カメラ１１−４は車両２の左側に設けられる。
【００４５】
図４において、車両２の右側のカメラ１１−３は、比較的、車両２の前方側に設けており、車両２の左側のカメラ１１−４は、比較的、車両の後方側に設けているが、これは各カメラ１１−３及び１１−４の画像に応じて調整可能であり、このような配置に限定されるものではない。
【００４６】
カメラ１１−１〜１１−４のうち、カメラ１１−３が、車両２のタイヤ２１−１及びタイヤ２１−３と、路面３との接触状況を撮像し、カメラ１１−４が、車両のタイヤ２１−２及びタイヤ２１−４と、路面３との接触状況を撮像する。
【００４７】
車両２へのカメラ１１−１〜１１−４の設置位置は、車両２のタイヤ２１−１〜２１−４と路面３との接触状況を撮像可能な位置であれば、特に限定されないが、この実施形態では、車両２の屋根部に延長部材２２−１〜２２−４を設置する場合を例示する。具体的には、車両２の屋根部に、車両２の外方向に延ばした延長部材２２−１〜２２−４を取り付け、その延長部材２２−１〜２２−４の先端側にカメラ１１−１〜１１−４を固定する。
【００４８】
このとき、各延長部材２２−１〜２２−４の先端側に固定された各カメラ１１−１〜１１−４は、各カメラ１１−１〜１１−４の撮像範囲に係る角度（画角）を調整することができるようにしてもよい。つまり、この例の場合、少なくとも、車両２の右側に設置するカメラ１１−３が、路面３と、タイヤ２１−１及びタイヤ２１−３を含む画像を撮像し、車両２の左側に設置するカメラ１１−４が、路面３と、タイヤ２１−２及びタイヤ２１−４を含む画像を撮像することが望まれる。
【００４９】
そのため、図４に例示するように、カメラ１１−１〜１１−４の設置の際、合成画像の合成処理前に、少なくとも、カメラ１１−３（又はカメラ１１−４）が、路面３と、タイヤ２１−１及びタイヤ２１−３（又はタイヤ２１−２及びタイヤ２１−４）と接触領域Ｒを含む画像を、車両が走行中に常時撮像できるようにカメラの外方向への突き出し距離及び設置角度を調整し、カメラ１１−３とカメラ１１−４の画角調整できるようにする。
【００５０】
図５は、実施形態に係るカメラ１１−３により撮像された撮像画像の一例を示す図である。
【００５１】
図５に示すように、図５中において、車両２は右から左に向けて（矢印Ａ方向）に走行しているときのカメラ１１−３の撮像画像例であり、この場合、カメラ１１−３の撮像画像には、路面３とタイヤ２１−１との接触領域Ｒ１と、路面３とタイヤ２１−３との接触領域Ｒ２とが含まれている。
【００５２】
より具体的に説明すると、図５に例示する撮像画像の下方側に存在している矩形部分は、車両２の右側部に相当する画像であり、その車両２の右側部の画像の上方には、路面３と接触しているタイヤ２１−１及びタイヤ２１−３の画像が映っている。
【００５３】
図５に示すように、車両２の走行に伴い、接触領域Ｒ１とＲ２に映り込んでいるタイヤ２１−１とタイヤ２１−３が回転している様子が映し出されており、路面３に接触しているタイヤ２１−１及びタイヤ２１−３が路面３に対して働きかけている様子を認識することができる。
【００５４】
なお、図５は、車両の右側に設置したカメラ１１−３の撮像画像例を示しているが、車両２の左側に設置したカメラ１１−４の撮像画像も同様に接触領域Ｒの画像が含まれるようにする。
【００５５】
（Ａ−２）実施形態の動作
次に、この実施形態に係る移動体表示システム１における移動体表示処理の動作を、図面を参照しながら説明する。
【００５６】
図６は、実施形態に係る移動体表示システム１における移動体表示処理の動作を示すフローチャートである。
【００５７】
［ステップＳ１０１］
まず、複数のカメラ１１−１〜１１−４を車両２に取り付け、各カメラ１１−１〜１１−４のうち一部のカメラ１１−３及び１１−４が、路面３とタイヤ２１−１〜２１−４との接触状況を確認できるように調整する（ステップＳ１０１）。
【００５８】
この例の場合、車両２の屋根部の前方、後方、右側、左側に、車両２の外方向に延設するように、延長部材２２（２２−１〜２２−４）を固定し、延長部材２２−１〜２２−４の先端側に、対応するカメラ１１（１１−１〜１１−４）を固定する。このように、各延長部材２２−１〜２２−４を設けることにより、各カメラ１１−１〜１１−４が、路面３とタイヤ２１との接触状況などを捉えて撮像することができる。
【００５９】
なお、この実施形態では、延長部材２２を設け、カメラ１１の撮像画角の範囲内に移動平面としての路面３とタイヤ２１とが映り込むようにする場合を例示した。しかし、魚眼カメラや広角カメラ等のように、カメラ１１の画角が１００°以上であり、延長部材２２を設けなくても、カメラ１１の画像に移動平面としての路面３とタイヤ２１とが含まれるのであれば、延長部材２２を設けないようにしてもよい。その逆に、例えば移動体が作業車両である場合であって、路面の整地の様子や掘削の様子などを見ながら運転操作するような場合には、延長部材２２を設け、延長部材２２の先端側にカメラ１１を固定して、接触対象と当該接触対象と接触し得る作業部位との接触部分を覗き込むような位置にカメラ１１を設置することができる点で、延長部材２２は有効に機能する。特に、一般道路を走行する自動車には長尺物等の積載物に関する規制があるが、作業車両には延長部材２２を設けることが可能であるので、移動体を作業車両とする場合には特に有効である。
【００６０】
また、ステップＳ１０１では、延長部材２２（２２−１〜２２−４）の先端側に設けたカメラ１１（１１−１〜１１−４）のカメラ角度を調整する。この例の場合、車両２の右側と左側のカメラ１１−３と１１−４が、路面３とタイヤ２１−１〜２１−４との接触状況を捉えるように、カメラ１１−３及び１１−４のカメラ角度を調整する。なお、合成画像（第２の合成画像）において、カメラ撮像画像のつなぎ目で歪みのない画像とするため、接触状況を捉えない前方のカメラ１１−１及び後方のカメラ１１−２のカメラ角度も調整することが望ましい。
【００６１】
［ステップＳ１０２］
車両２の右側及び左側のカメラ１１−３及び１１−４の撮像画像に、接触領域Ｒが映り込んでいるかを確認して、接触領域Ｒを特定する（ステップＳ１０２）。例えば、図５に例示するようなカメラ１１−３の撮像画像に、目的対象とする接触領域Ｒ１及びＲ２が映り込んでいるかを確認して特定する。
【００６２】
例えば、接触領域Ｒ（Ｒ１及びＲ２）を撮像しているカメラ１１−３の撮像画像において、目的とする接触領域Ｒの位置座標値を指定するようにしてもよい。より具体的には、当該撮像画像において、接触領域Ｒを含む矩形領域の４つの角の位置座標の値（座標値）を指定したり、接触領域Ｒの外周（境界線）を画像領域に沿って領域指定等するようにしてもよい。このようにすることで、カメラ１１による２次元画像の座標系において、接触領域Ｒを含む領域画像を特定することができる。
【００６３】
［ステップＳ１０３］
合成周辺画像生成部１２１における合成画像（第１の合成画像）を生成する際の、所定のキャリブレーション処理を行なう（ステップＳ１０３）。
【００６４】
所定のキャリブレーション処理は、複数のカメラ１１−１〜１１−４の撮像画像を合成して、車両周辺の３次元の合成画像（第１の合成画像）を生成する際、各撮像画像の２次元座標系の画素の座標値と、３次元モデルの３次元座標系の画素の座標値とを対応付けるための処理である。これにより、合成画像において、ある画像領域とこれに隣接する画像領域との境界であるつなぎ目で生じ得る画像歪みを抑制することができる。
【００６５】
［ステップＳ１０４］
次に、複数のカメラ１１−１〜１１−４の撮像画像が合成周辺画像生成部１２１に入力し、合成周辺画像生成部１２１が、４つの撮像画像（２次元画像データ）の各画素を、半円球の球面に形成した３次元モデル（メッシュ形状モデル）の各画素にマッピングして、３次元の第１の合成画像を生成する（ステップＳ１０４）。
【００６６】
［ステップＳ１０５］
合成周辺画像生成部１２１により生成された第１の合成画像は、合成画像生成部１２２に与えられ、合成画像生成部１２２の接触領域近傍画像生成部１２２ａにおいて、各撮像画像間の境界角度が調整されて、接触領域近傍画像が生成する（ステップＳ１０５）。
【００６７】
接触領域近傍画像生成部１２２ａは、第１の合成画像において接触領域近傍画像が映し出されるようにするため、４つの撮像画像についてある撮像画像と、これに隣接する撮像画像との境界角度を調整する。
【００６８】
図７は、実施形態に係る合成画像における境界角度の調整方法を説明する説明図である。
【００６９】
ここでは、説明を容易にするために、図７（Ａ）に示すように、仮想視点Ｖの位置が、車両２の中央の位置から上方に延びた位置にあるものとする。この場合、仮想視点Ｖの位置から車両２を俯瞰的に見た合成画像は、図７（Ｂ）の例示するような図となる。なお、図７（Ｂ）では、前方画像、後方画像、右側画像、左側画像のそれぞれの隣接する画像との境界角度Ｘは、魚眼カメラや広角カメラ等のレンズの外周部分の歪みの影響を軽減する目的で４５°程度とする場合を例示している。
【００７０】
しかし、接触領域Ｒを撮像している画像は、右側のカメラ１１−３と左側のカメラ１１−４であるので、境界角度Ｘが一定値であるときには、接触領域Ｒを含む接触領域近傍画像が、正しく映り込まないことが生じ得る。例えば、前方画像と左側画像との境界に、左側画像に映っている接触領域Ｒの一部が含まれるようなときには、接触領域Ｒの画像に歪みが生じたり、接触領域Ｒの一部が欠けた画像等となってしまい、接触領域近傍画像の画像品質を確保することができない場合がある。
【００７１】
そこで、この実施形態では、図７（Ｃ）に示すように、合成画像において、接触領域Ｒを撮像したカメラ１１−３及び１１−４の撮像画像の境界角度が大きくなるように、合成周辺画像生成部１２１が各撮像画像の境界角度を調整する。
【００７２】
例えば、ステップＳ１０２で、カメラ１１−４の撮像画像において、接触領域Ｒを含む画像領域を画定した矩形領域の４つの角の位置座標の値（座標値）や、接触領域Ｒの外周（境界線）を画定する領域指定等が行なわれている。また、３次元モデルを用いて、２次元の撮像画像の画素の座標値を、３次元の合成画像の画素の座標値に投影変換することにより、合成周辺画像生成部１２１は、３次元の合成画像の座標系において、撮像画像において指定した接触領域を含む画像領域に対応する画像領域（すなわち、接触領域近傍画像の領域）を示す座標値を認識することができる。つまり、合成周辺画像生成部１２１は、３次元座標系における接触領域近傍画像の座標値を認識することができる。
【００７３】
したがって、合成周辺画像生成部１２１は、合成画像の３次元座標系における接触領域近傍画像の領域を示す座標値に基づいて、接触領域近傍画像の領域が、境界付近に存在する場合には、当該カメラの撮像画像の境界角度が大きくなるように調整する。
【００７４】
換言すると、接触領域近傍画像の領域を示す座標値を用いて、接触領域近傍画像を含む撮像画像の境界角度が大きくなるように設定し、逆に接触領域近傍画像を含んでいない撮像画像の境界角度を小さくするように設定する。
【００７５】
なお、各撮像画像の境界角度の調整は、例えば合成画像において接触領域近傍画像が映り込むように、作業者等の人手により調整するようにしてもよい。その場合、調整された調整後の座標値（合成画像の座標系における接触領域近傍画像の座標値であっても良いし、撮像画像の座標系における接触領域を含む座標値であってもよい）を設定値として記憶しておくようにしてもよい。これにより、仮想視点の位置が変わったときでも、変更後の仮想視点から見たときの、変更後の合成画像において、見方が変わった接触領域近傍画像を映し出すことができる。なお、この仮想視点の変更は、表示部１３にタッチパネルとしての操作機能を持たせることや、図示しない操作インタフェースを用意することで、実行することができる。
【００７６】
［ステップＳ１０６、Ｓ１０７］
合成画像生成部１２２のマスク領域決定部１２２ｂは、第１の合成画像において、接触領域近傍画像の領域を有効に保持した上で、自車両が存在する領域のうち、最終的な合成画像において非表示とする領域を、マスク領域として設定する（ステップＳ１０６）。
【００７７】
そして、車両モデル形成部１２２ｃは、マスク領域決定部１２２ｂにより決定されたマスク領域に、例えばＣＧ等で事前に設けられた車両モデルなどを貼り付ける（ステップＳ１０７）。
【００７８】
ここで、車両モデルは、予めＣＧ等で形成されたものを保持しておくようにしてよい。車両モデルは、例えばイラスト画像や実画像等としても良く、又例えば、イラスト画像や実画像等とした車両モデルのうち、一部又は全部をスケルトンモデルとしたものであってもよい。このように、車両モデルのうち、接触領域近傍画像に近い部分をスケルトンとすることにより、合成画像において、接触領域近傍の画像を明確に映し出すことができる。その結果、視聴者は、接触領域近傍画像に映し出される、例えば路面３とタイヤ２１の接触状況を確実に把握することができる。さらに、例えば、ＣＡＤやＣＡＭ等によりサーフェスモデルやソリッドモデルを自車両の３次元モデルとしても良い。
【００７９】
図８は、実施形態に係るマスク領域の設定方法を説明する説明図である。
【００８０】
各カメラ１１−１〜１１−４は自車両の全景を撮像していないので、各カメラ１１−１〜１１−４の撮像画像を合成すると、図８においてハッチをかけたハッチ部分Ｍには、第１の合成画像への投影変換により非表示とすべき領域（例えば撮像画像が無い領域等を含む）が生成されてしまう。したがって、最終的に、仮想視点から俯瞰した、画像品質の良い合成画像を生成するために当該ハッチ部分Ｍをマスク領域（以下、「マスク領域Ｍ」と呼ぶ。）とする。
【００８１】
ここで、この実施形態では、右側のカメラ１１−３及び左側のカメラ１１−４が接触対象としての路面（移動平面）３と、タイヤ２１−１〜２１−４との接触部分を撮像しているので、マスク領域Ｍの大きさは、概ね自車両が存在する領域の大きさよりも小さくなり、マスク領域Ｍは、概ね自車両の存在領域の内側に存在するようになる。なお、マスク領域Ｍは、少なくとも非表示とすべき領域を含むとともに、接触領域Ｒを除くようにして設定することが望ましい。図８では、説明を簡単にするため、マスク領域Ｍを矩形形状とした場合を例示しているが、マスク領域Ｍは矩形形状とすることに限定されず、画像における、非表示とすべき領域と接触領域の位置を考慮し、マスク領域Ｍを画定する座標値を設定したり、マスク領域Ｍの外周（境界線）を指定する等して、マスク領域Ｍを設定してもよい。
【００８２】
図９は、実施形態と従来技術のマスク領域への車両モデルの貼り付けを説明する説明図である。
【００８３】
図９（Ａ）は、従来技術によるマスク領域と車両モデルとの関係を示しており、図９（Ｂ）は、この実施液体に係るマスク領域と車両モデルとの関係を示している。
【００８４】
図９（Ａ）に示すように、従来の場合、合成画像において非表示とすべき領域が多いため、マスク領域Ｍも大きくなっている。車両モデル５１はマスク領域Ｍを覆い隠すようにして合成画像に貼り付けるので、マスク領域Ｍをマスクするための車両モデル５１も大きくなってしまい、例えば、路面３との接触している領域を見ることはできない。
【００８５】
これに対して、図９（Ｂ）に示すように、この実施形態によれば、マスク領域Ｍの大きさは、概ね自車両が存在する領域の大きさよりも小さくなり、マスク領域Ｍは、概ね自車両の存在領域の内側に存在するようになる。したがって、マスク領域Ｍに車両モデル５２を貼り付けた場合でも、接触領域近傍画像Ｒは、実画像として合成画像に映し出されるので、視聴者は、実画像である接触領域近傍画像Ｒを見ることができる。
【００８６】
［ステップＳ１０８、Ｓ１０９］
画像処理装置１２により生成された第２の合成画像が、表示部１３に与えられ（ステップＳ１０８）、表示部１３に、第２の合成画像が表示される（ステップＳ１０９）。
【００８７】
画像処理装置１２により生成された第２の合成画像は、変更可能な仮想視点から見た、走行している車両（車両モデル５２）を含む俯瞰的な画像と、路面３と車両２のタイヤとの接触領域近傍画像とを含んだものとなる。したがって、路面３を走行している車両２を俯瞰して見ることができると共に、路面３と接触している車両２の一部分（タイヤ）の接触状況を確認することができる。
【００８８】
（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、走行又は駆動している移動体に複数のカメラを取り付け、複数のカメラの撮像画像を合成して、仮想視点から見たときの合成画像を表示する際に、移動体と、移動平面との接触領域の実画像を映し出すことができる。
【００８９】
（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用可能である。
【００９０】
（Ｂ−１）上述した実施形態では、移動体が路面を走行する車両である場合を例示して、路面とタイヤとの接触箇所の実画像を合成画像で映し出す場合を例示した。この場合、車両の右側のカメラと左側のカメラが、タイヤと路面との接触部分を撮像するようにしたが、これに限定されない。
【００９１】
例えば、図１０に例示するような、遠隔運転するロードローラー２Ａに、複数のカメラを取り付けて合成画像を生成する場合にも適用できる。遠隔操作者は、表示部を通じて合成画像（第２の合成画像）を見ながら、ロードローラー２Ａを遠隔操作する場合を想定している。なお、ロードローラー２Ａを遠隔操作するシステムの詳細な説明は省略している。この例の場合、走行しているロードローラー２Ａの前方に設けられている作業部位であるローラ部２５と路面３との接触領域Ｒを、前方のカメラ１１１が撮像しているものとする。
【００９２】
図１１は、前方のカメラ１１−１の撮像画像が、路面３とローラ部２５との接触領域Ｒを撮像した撮像画像であり、図１１に例示する前方のカメラ１１−１の撮像画像は、上述した実施形態で説明した第１の合成画像や第２の合成画像の一部画像として用いられる。
【００９３】
図１１に例示した前方のカメラ１１−１の撮像画像を利用して、第１の合成画像や第２の合成画像が生成されることにより、それら第１の合成画像や第２の合成画画像には、仮想視点から見た、走行するロードローラー２Ａを含む俯瞰した画像と、ロードローラー２Ａのローラ部２５と路面３との接触領域近傍画像とを含むものとなる。従って、路面３を走行しているロードローラー２Ａを仮想視点から俯瞰した様子を見ることができると共に、路面３を整地するロードローラー２Ａの工作作業の詳細な様子を見ることができる。
【００９４】
図１１に例示する接触領域近傍画像Ｒが合成画像に含まれるので、ロードローラー２Ａが整地する路面３のうち、既にローラ部２５で整地化した後の路面３１と、まだ整地化していない路面３との境界を、合成画像を通じて確認することができる。そのため、ロードローラー２Ａのローラ部２５による路面３の整地状況の詳細な様子を確認することができる。換言すると、仮想視点から俯瞰的に走行しているロードローラー２Ａの走行状況や走行方向等の正確性を確認しながら、ロードローラー２Ａによる工作作業の詳細な状況を同時に確認できして、遠隔操作者はロードローラー２Ａを遠隔操作することができる。
【００９５】
具体的には、変更可能な仮想視点から俯瞰的にロードローラー２Ａも映し出された合成画像が映し出されることで、走行しているロードローラー２Ａの走行方向などを俯瞰して見ることができる。それに加えて、最終的な合成画像に合成されている接触領域近傍画像が映し出されることで、例えば、ロードローラー２Ａが蛇行せずにまっすぐ走行しているか、ロードローラー２Ａが何度も同じ箇所を整地していないか、整地漏れをしている箇所はないかなどを遠隔操作者は確認することができ、ロードローラー２Ａを遠隔操作することができる。
【００９６】
また上述した実施形態と同様の処理を行なうことにより、例えば移動体が船舶である場合に、船体と岸壁との接触領域近傍画像（実画像）を獲得し、接岸する船舶の様子を確認するようにしてもよい。
【００９７】
あるいは、航空機、ドローン等のような無人飛行体についても着陸脚の領域等について本発明の処理を行うことにより、着陸脚と滑走路や着陸床との接触領域近傍画像（実画像）を獲得し、離発着等の様子を確認するようにしてもよい。
【００９８】
（Ｂ−２）上述した実施形態において、複数の撮像画像を合成して合成画像を生成する画像処理には、様々な技術を広く適用することができる。例えば、特許文献１や特許文献２に開示されている技術やその改良技術を適用することができる。
【符号の説明】
【００９９】
１…移動体表示システム、１１（１１−１〜１１−４）…カメラ、１２…画像処理装置、１２１…合成周辺画像生成部、１２２…合成画像生成部、１２２ａ…接触領域近傍画像生成部、１２２ｂ…マスク領域決定部、１２２ｃ…車両モデル形成部、１３…表示部、２及び２Ａ…移動体、Ｒ…接触領域近傍画像。
【図１】
2020195008.tif 000003
【図２】
2020195008.tif 000004
【図３】
2020195008.tif 000005
【図４】
2020195008.tif 000006
【図５】
2020195008.tif 000007
【図６】
2020195008.tif 000008
【図７】
2020195008.tif 000009
【図８】
2020195008.tif 000010
【図９】
2020195008.tif 000011
【図１０】
2020195008.tif 000012
【図１１】
2020195008.tif 000013