(57)【要約】【課題】立体物の像歪みを低減した視点変換画像を生成することができる。【解決手段】画像処理装置は、入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、座標変換情報を補正する補正部と、を備え、補正部は、座標変換情報のうち、撮影画像において立体物が存在する領域に対応する情報を補正し、視点変換画像生成部は、補正部により補正された座標変換情報を用いて撮影画像の座標変換を行う。【選択図】図９
2018014583.tif 000002
【特許請求の範囲】
【請求項１】
入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、
前記座標変換情報を補正する補正部と、を備え、
前記補正部は、前記座標変換情報のうち、前記撮影画像において立体物が存在する領域に対応する情報を補正し、
前記視点変換画像生成部は、前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記座標変換情報は、前記撮影画像の座標と前記視点変換画像の座標との変換テーブルである画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記座標変換情報は、前記撮影画像の座標と三次元空間上の座標との変換テーブルであり、
前記視点変換画像生成部は、前記座標変換情報を用いて座標変換した前記三次元空間上の前記撮影画像を、さらに座標変換することにより前記視点変換画像を得る、画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記座標変換情報は、予め設定された複数の座標対応点の前記撮影画像の座標系における座標と他の座標系における座標との対応関係を表す座標変換テーブルであり、
前記補正部は、
前記撮影画像において前記立体物が存在する領域、および前記立体物の接地点を特定し、
前記座標変換テーブルにおいて、前記複数の座標対応点のうち前記撮影画像において前記立体物が存在する領域内の座標対応点を補正対象座標対応点として、前記補正対象座標対応点の前記他の座標系における座標を、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標に基づき補正する、画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記補正部は、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標と、前記補正対象座標対応点の前記他の座標系における座標とを、０以上１以下の実数である重み係数を用いて加重平均することにより、前記補正対象座標対応点の前記他の座標系における座標を補正する、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記補正部は、前記重み係数を、補正前の前記他の座標系における前記立体物の面積と補正後の前記他の座標系における前記立体物の面積との差分が、前記視点変換画像における予め定めた割合に相当する面積に達しない最大の値となるように設定する、画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記補正部はさらに、前記補正対象座標対応点の前記他の座標系における座標を、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標を回転中心として回転させた座標に補正する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
車両に設置されたカメラで車両の周囲を撮影し、撮影して得られた画像を車内に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、運転者は車両周辺の様子をリアルタイムに視認性高く確認することができる。特許文献１には、仮想的に設定した視点の位置に応じて、撮影して得られた画像を投影する座標を変形させる構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３８６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている発明では、撮影して得られた画像に立体物が含まれている場合に立体物に像歪みが発生する。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によると、画像処理装置は、入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、前記座標変換情報を補正する補正部と、を備え、前記補正部は、前記座標変換情報のうち、前記撮影画像において立体物が存在する領域に対応する情報を補正し、前記視点変換画像生成部は、前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う。
【発明の効果】
【０００６】
本発明によれば、立体物の像歪みを低減した視点変換画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】車両２０に搭載される画像処理装置１００のブロック図である。
【図２】車両２０を上部から見下ろした図である。
【図３】車両２０を側面から見た図である。
【図４】カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。
【図５】テーブルデータ１２１の一例を示す図である。
【図６】図６（Ａ）は、図２〜３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ｂ）は、図２〜３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。
【図７】距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像の一例を示す図である。
【図８】図８（Ａ）は図６（Ａ）と同様の撮影画像３０１に、補正対象座標対応点を重畳した図である。図８（Ｂ）は図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ０ｖを重畳した図である。
【図９】テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。
【図１０】仮想視点２５の視点変換画像３１１を本提案手法により補正した画像の例を示す図である。
【図１１】図２〜３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。
【図１２】補正結果の一例を示す図である。
【図１３】画像処理装置１００の動作を表すフローチャートである。
【図１４】第２の実施の形態における画像処理装置１００のブロック図である。
【図１５】テーブルデータ１２１Ａの一例を示す図である。
【図１６】テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
以下、図１〜図１２を参照して、画像処理装置の第１の実施の形態を説明する。
【０００９】
図１は、車両２０に搭載される画像処理装置１００のブロック図である。車両２０は、画像処理装置１００と、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄと、距離検出部１１４と、表示部１３とを備える。以下では、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄとをまとめて、カメラ１０Ａ〜１０Ｄと呼ぶ。画像処理装置１００は、カメラ１０Ａ〜１０Ｄが撮影した画像を用いて、車両２０の周囲をカメラ１０Ａ〜１０Ｄの設置位置とは異なる仮想的な位置（以下、仮想視点）に仮想的なカメラを設置して撮影した場合に得られる画像（以下、視点変換画像）を表示部１３に出力する。本実施の形態では、車両２０は静止している、または画像処理装置１００の処理が十分高速である、などの理由により画像処理装置１００の処理は、車両２０の移動を考慮する必要がないとする。さらに本実施の形態では、仮想視点は予め設定された複数からユーザが選択するものとし、ユーザは任意に仮想視点を設定できないものとする。
【００１０】
なお以下に説明する第１の実施の形態では、仮想視点に設置する仮想的なカメラの光軸は鉛直下方向、または水平方向を向くものとして説明するが、仮想的なカメラの光軸の向きはこれに限定しない。以下に説明する座標変換の回転軸を１軸追加することにより、仮想的なカメラの光軸の向きを自由に設定できる。
【００１１】
画像処理装置１００は、ＣＰＵなどから構成される制御部１１と、フラッシュメモリやＲＯＭなどから構成される記憶部１２とを備える。
【００１２】
制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２、テーブル補正部１１３、距離取得部１１４Ａ、変形合成部１１５、表示制御部１１６およびバス１１７として機能する。以下では、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄをまとめて画像取得部１１１Ａ〜１１１Ｄと呼ぶ。
【００１３】
記憶部１２には、制御部１１により実行されるプログラム、および後述するテーブルデータ１２１が記憶される。テーブルデータ１２１は、俯瞰画像や鳥瞰画像などの視点変換画像を生成する際に用いられるルックアップテーブルであり、画像処理装置１００を含むシステムの設計段階において、車両２０に設置するカメラ１０Ａ〜１０Ｄおよび仮想視点の位置や角度、撮像条件により予め作成される。
【００１４】
第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄは、それぞれ前カメラ１０Ａ、左カメラ１０Ｂ、右カメラ１０Ｃ、後カメラ１０Ｄにより撮影される画像を取得する。
【００１５】
モード切替部１１２は、不図示の仮想視点切替えスイッチへの入力を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点切替えスイッチは、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、予め設定された組み合わせから選択するものである。モード切替部１１２は、取得した仮想視点切替えスイッチへの入力をテーブル補正部１１３に出力する。
【００１６】
テーブル補正部１１３は、モード切替部１１２の出力に基づき、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。すなわち、テーブルデータ１２１はカメラごと、仮想視点ごとに設けられる。また、後述するように距離取得部１１４Ａの出力に基づきテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。
【００１７】
距離取得部１１４Ａは、距離検出部１１４が検出した、水平方向および垂直方向に分解能を持った奥行き情報を取得する。以下では、距離取得部１１４Ａが取得する奥行き情報を距離画像と呼ぶ。
【００１８】
変形合成部１１５は、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像と、テーブル補正部１１３により補正されたテーブルデータとを用いて、視点変換画像を生成する。
【００１９】
表示制御部１１６は、変形合成部１１５により生成された視点変換画像を表示部１３に出力し表示させる。
【００２０】
バス１１７は、上述した制御部１１の各ブロックにおいて生成もしくは取得された情報が書き込まれまたは読み出される。
【００２１】
表示部１３は、例えばＬＣＤディスプレイやプロジェクタ、または車両２０に搭載されたカーナビゲーション装置の表示部である。表示部１３は表示制御部１１６から出力された情報を表示する。
【００２２】
距離検出部１１４は、車両周囲の物体の奥行き情報を、水平方向および垂直方向に分解能を持った情報として検出する。検出手段としては、レーザレーダ、ソナー、ＴｏＦ（Time of Flight）などの測距デバイスを用いるのでもよいし、ステレオカメラを用いた三角測量、単眼カメラのＳｆＭ（Structure from Motion）により推定するのでもよいし、事前に周囲の立体形状を測量し、ＧＰＳ（Global Positioning System）を用いて自車位置を推定して自車と物体との奥行き情報を求めてもよい。距離検出部１１４の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１２に格納される。
【００２３】
（動作環境）
図２〜図３は、画像処理装置１００が動作する状況を説明する図である。図２は画像処理装置１００を搭載する車両２０を上部から見下ろした図、図３は車両２０を側面から見た図である。車両２０の前方正面の地面にはマーカー２２が設置され、車両２０の前方左には樹木、すなわち立体物２１がある。図２〜図３に破線で示すカメラは、仮想的に設置されるカメラ、すなわち仮想視点を表している。
【００２４】
車両２０の前部には前カメラ１０Ａが設置され、その光軸は車両２０の前方の路面２３に向けられており、立体物２１および路面上のマーカー２２をその撮影範囲内に捉えている。また同様に、車両２０の左部、右部および後部には、それぞれ左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄが設置され、それらの光軸はそれぞれ車両２０の左方、右方、後方の路面２３に向けられている。
【００２５】
カメラ１０Ａ〜１０Ｄは広角のレンズを備え、それぞれ約１８０度の画角を有する。カメラ１０Ａ〜１０Ｄ、および距離検出部１１４の設置位置および設置角度は、車両２０の設計段階において予め定められ既知である。なお、距離取得部１１４Ａは、図２〜図３において、画像処理装置１００に内包されるように示しているが、画像処理装置１００の外部に設置されてもよいし、カメラ１０Ａ〜１０Ｄの各近傍に複数台を設置してもよい。
【００２６】
仮想視点２５は、車両２０の前方上部から真下を撮像し、車両２０の前方を俯瞰する視点である。仮想視点２６は、車両２０の右前方から左前方を望む視点である。以下では、まず図２〜３に示す状況において仮想視点２５から得られる画像の作成方法を説明する。次に、仮想視点２６から得られる画像の作成方法を説明する。ただし画像処理装置１００はカメラ１０Ａ〜１０Ｄを備えるが、前カメラ１０Ａの撮影画像を変換する場合を代表して説明する。
【００２７】
仮想視点２５から得られる画像の作成方法を説明する。
（座標変換）
図４は、カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。カメラ座標系とは、画像を撮影するカメラを基準とする座標系である。図４には前カメラ１０Ａを基準とするカメラ座標系Ｒの３軸、すなわちＸｒ、Ｙｒ、Ｚｒが図示される。仮想視点座標系とは、モード切替部１１２への入力によって決定される仮想視点を基準とする座標系である。図４には仮想視点２５を基準とする仮想視点座標系Ｖの３軸、すなわちＸｖ、Ｙｖ、Ｚｖが図示される。ワールド座標系は、車両２０が走行する路面を基準に設定された座標系である。図４にはワールド座標系Ｗの３軸、すなわちＸｗ、Ｙｗ、Ｚｗが図示される。ＸｗおよびＹｗは路面に平行であり、Ｚｗ＝０の平面に路面が含まれる。
【００２８】
カメラ座標系Ｒの１軸であるＺｒは前カメラ１０Ａの光軸と一致、すなわち撮像素子と直交し、他の２軸であるＸｒおよびＹｒは、前カメラ１０Ａの撮像素子の長辺および短辺と平行である。カメラの焦点距離ｚｒを用いて表すと、撮影画像３０１を構成する各画素の位置は、Ｚｒ＝ｚｒに位置するＸｒＹｒ平面上の座標データで表現される。すなわち、カメラ座標系Ｒは、撮影画像３０１の座標系と等しい。
【００２９】
仮想視点座標系の１軸であるＺｖは仮想視点２５に置かれた仮想的なカメラの光軸と一致、すなわち仮想的な撮像素子と直交し、他の２軸であるＸｖおよびＹｖは、仮想的な撮像素子の長辺および短辺と平行である。仮想視点２５に置かれるカメラの焦点距離ｚvを用いて表すと、視点変換画像３１１を構成する各画素の位置は、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上の座標データで表現される。すなわち、仮想視点座標系Ｖは、視点変換画像３１１の座標系と等しい。
【００３０】
ある点Ｐをワールド座標系ＷではＰｗと呼び、その座標を（ｘｗ、ｙｗ、ｚｗ）と表す。前カメラ１０Ａにより点Ｐｗを撮影した際の撮影画像における点ＰをＰｒと呼び、点Ｐｒの座標を（ｘｒ、ｙｒ、ｚｒ）と表す。仮想視点２５から得られる画像における点ＰをＰｖと呼び、Ｐｖの座標を（ｘｖ、ｙｖ、ｚｖ）と表す。
【００３１】
ワールド座標系Ｗにおける点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）をカメラ座標系Ｒの点Ｐｒの座標（ｘｒ、ｙｒ、ｚｒ）に座標変換するには、たとえば、式（１）に示すようなアフィン変換が用いられる。
【００３２】
【数１】
2018014583.tif 000003
【００３３】
ここで、Ｍｒは、式（２）に示されるような４ｘ４の透視投影変換行列である。
【００３４】
【数２】
2018014583.tif 000004
【００３５】
式（２）において、Ｒｒは３ｘ３の回転行列、Ｔｒは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｒおよび平行移動行列Ｔｒは、ワールド座標系上でのカメラ１０Ａの設置位置および設置角度、カメラ１０Ａの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
【００３６】
また、ワールド座標系Ｗの点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）を仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換するには、たとえば、式（３）に示すようなアフィン変換が用いられる。
【００３７】
【数３】
2018014583.tif 000005
【００３８】
ここで、Ｍｖは、式（４）に示されるような４ｘ４の透視投影変換行列である。
【００３９】
【数４】
2018014583.tif 000006
【００４０】
式（４）において、Ｒｖは３ｘ３の回転行列、Ｔｖは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｖおよび平行移動行列Ｔｖは、ワールド座標系上での仮想視点２５の位置および角度、仮想視点２５の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
【００４１】
上述した式（１）と式（３）とを組み合わせると、カメラ座標系Ｒの点Ｐｒの座標を仮想視点座標系Ｖの点Ｐｖの座標に座標変換するための式（５）が得られる。
【００４２】
【数５】
2018014583.tif 000007
【００４３】
式（５）では、透視投影変換行列Ｍｒの逆行列によりカメラ座標系Ｒの点Ｐｒの座標をワールド座標系の点Ｐｗの座標に座標変換し、その点Ｐｗの座標を透視投影変換行列Ｍｖにより仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換している。式（５）による座標変換結果を用いて、視点変換画像３１１の点Ｐｖの画素値を、対応する撮影画像３０１の点Ｐｒの画素値から算出することができる。
【００４４】
（テーブルデータ１２１）
記憶部１２に格納されるそれぞれのテーブルデータ１２１は、あらかじめ計算された撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を複数組について記述したものである。すなわち、カメラ座標系Ｒの所定の点Ｐｒ１の座標（ｘｒ１，ｙｒ１）、Ｐｒ２の座標（ｘｒ２，ｙｒ２）、・・・をそれぞれ上述の式（５）で仮想視点座標系Ｖの対応点への座標に変換して得られたものである。ここで、２つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この座標対応情報がテーブルデータ１２１として作成されている。なお、テーブルデータ１２１においては、カメラ１０Ａの焦点距離等が固定されているものとしてＺｒ座標の情報は省略されている。
【００４５】
以降の説明では、撮影画像３０１および視点変換画像３１１の画素のうち、テーブルデータ１２１に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。すなわち、撮影画像３０１および視点変換画像３１１には、複数の座標対応点が予め設定されている。テーブルデータ１２１を予め記憶部１２に記憶しておき、視点変換画像３１１を作成する際に参照することで、数式５の演算回数を低減し、座標変換の処理時間を短縮することができる。なお、テーブルデータ１２１に予め記憶しておく座標対応情報が増加するほど、テーブルデータ１２１のデータ量が増加する。テーブルデータ１２１のデータ量を削減するため、撮影画像３０１の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Ｐｖの画素値を算出する。
【００４６】
図５は、テーブルデータ１２１の一例を示す図である。テーブルデータ１２１は、撮影画像３０１の離散的な画素の座標と、その座標に対応する視点変換画像３１１の画素の座標との対応関係を定義する座標対応テーブルである。図５では、対応関係番号１、２、…、ｎの各画素の座標対応情報が示されている。画像処理装置１００は、撮影画像３０１の各画素の座標ごとにテーブルデータ１２１を参照して、対応する視点変換画像３１１の画素の座標を演算する。
【００４７】
（テーブルデータを用いた処理例）
図６（Ａ）は、図２〜３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ａ）において格子状に規則的に配置される「×」印は、上述した座標対応画素を表している。図６（Ａ）の下部には前カメラ１０Ａ付近の路面２３やマーカー２２が撮影され、図６（Ａ）の上部ほど前カメラ１０Ａから遠い路面２３が撮影されている。図６（Ａ）の左上部には車両２０の左前方に存在する立体物２１が撮影されている。
【００４８】
図６（Ｂ）は、図２〜３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。図６（Ｂ）における「×」印も、上述した座標対応画素を表している。ただし図６（Ｂ）は後述するテーブルデータ１２１の補正を行わず、記憶部１２に保存されたテーブルデータ１２１をそのまま用いた場合の例である。視点変換画像３１１は、撮影画像３０１を用いて、Ｚｖ＝０の平面に画像を投影し生成しており、視点変換画像３１１のうち立体物２１の像については拡大されるような像歪みを生じている。以下では、テーブルデータ１２１を補正することで像歪みを低減する補正処理を説明する。
【００４９】
なお、図６（Ｂ）の視点変換画像３１１の左下部および右下部の画像は、カメラ１０Ｂおよび１０Ｃから取得された画像の一部を利用して作成されている。カメラ１０Ａが撮像する被写体領域とカメラ１０Ｂが撮像する被写体領域とが重なる領域は、たとえば、二つのカメラ１０Ａおよび１０Ｂから取得した画像をαブレンディングにより合成する。
【００５０】
（補正対象の特定）
図７は、距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像６０の一例を示す図である。距離検出部１１４は、一般的なカメラと同様に水平方向・垂直方向に分解能を持ち、この分解能に応じた撮像面上の各位置における被写体の奥行き情報を取得して距離取得部１１４Ａに出力する。距離取得部１１４Ａは、距離検出部１１４からの奥行き情報を取得することで、図７のような距離画像６０を取得することができる。距離画像６０では、たとえば各画素の白から黒の輝度の濃淡により、距離検出部１１４の撮像面上の各位置における被写体の奥行き情報を表している。なお図７では図面の表現の制約により４種類のハッチングを用いて奥行きを表現しているが、距離検出部１１４の奥行きの分解能はより高いものとする。また図７では説明の簡易化のために、距離検出部１１４とカメラ１０Ａとが同一の設置位置、光軸方向および画角を持つものとして距離画像６０を例示している。
【００５１】
距離取得部１１４Ａにより取得される距離画像６０において、図４におけるＺｗ＝０である路面２３および路面上のマーカー２２は、画像下部から上部にかけて奥行き情報が連続的に変化している。一方、立体物２１は画像下部から上部にかけて奥行きの変化がほとんどなく、立体物２１の基部から頂部まで距離検出部１１４からの距離は略同一である。そのため、距離画像６０において奥行き情報が周囲と異なる境界を抽出することにより、高さを持つ立体物、すなわち図７の例における立体物２１を検出することが可能である。また、検出した立体物２１の下方、奥行き情報が周囲と連続的となる接地点６１は、立体物２１と路面２３との交点として検出することができる。以下では、距離画像６０における接地点６１の座標をＰ０ｄと呼ぶ。
【００５２】
前述のとおり、距離検出部１１４と前カメラ１０Ａとの位置関係および姿勢関係は既知である。そのため、距離検出部１１４により得られた距離画像６０における座標を前カメラ１０Ａにより得られた撮影画像３０１の座標に変換することで、撮影画像３０１上の立体物２１の領域を特定することができる。同様に撮影画像３０１における立体物２１の接地点６１の座標も特定できる。以下では、撮影画像３０１における立体物２１の接地点６１の座標をＰ０ｒと呼び、視点変換画像における接地点６１の座標をＰ０ｖと呼ぶ。
【００５３】
テーブル補正部１１３は、撮影画像３０１上の立体物２１の領域に含まれる座標対応点を像歪みを低減するための補正対象として、テーブルデータ１２１を補正する。以下では、補正対象の座標対応点を「補正対象座標対応点」と呼ぶ。ただし補正対象座標対応点は、撮影画像３０１上の立体物２１の領域に含まれるか否かだけでなく、撮影画像３０１の輝度情報を加味して決定してもよい。
【００５４】
図８（Ａ）は、図６（Ａ）と同様の撮影画像３０１に、補正対象ではない座標対応点を図６（Ａ）と同様に「×」として重畳し、補正対象座標対応点を「＊」として重畳した図である。図８（Ｂ）は、図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ０ｖを重畳した図である。
【００５５】
（仮想視点２５用のテーブルデータ１２１の補正）
図９は、テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、上記の補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１を補正する。具体的には、補正対象座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉについて、これらの視点変換画像上の座標、すなわち仮想視点座標系Ｖにおける座標である、（ｘｖ＿ｏ１，ｙｖ＿ｏ１）、（ｘｖ＿ｏ２，ｙｖ＿ｏ２）、（ｘｖ＿ｏ３，ｙｖ＿ｏ３）、・・・、（ｘｖ＿ｏｉ，ｙｖ＿ｏｉ）を、（ｘｖ＿ｏ１’，ｙｖ＿ｏ１’）、（ｘｖ＿ｏ２’，ｙｖ＿ｏ２’）、（ｘｖ＿ｏ３’，ｙｖ＿ｏ３’）、・・・、（ｘｖ＿ｏｉ’，ｙｖ＿ｏｉ’）にそれぞれ補正する。こうして補正された補正後のテーブルデータ１２１を用いて変形合成部１１５が視点変換画像を生成することにより、図６（Ｂ）に例示した立体物２１の像歪みを低減する。
補正対象座標対応点の座標を補正する一例として、式（６）を示す。
【００５６】
【数６】
2018014583.tif 000008
【００５７】
式（６）では、各補正対象座標対応点の視点変換画像上の補正前の座標（ｘｖ，ｙｖ）と接地点Ｐ０ｖの座標（ｘｏ，ｙｏ）とを重み係数ｗを用いて加重平均することにより、各補正対象座標対応点の補正後の座標（ｘｖ’，ｙｖ’）を算出している。ここで、重み係数ｗは０以上１以下の値であり後述する処理により決定される。
【００５８】
図１０に、ｗ＝０．７５とした視点変換画像の補正結果の一例を示す。図中、立体物２１の像歪みは図６（Ｂ）と比較して低減しており、使用者にとって物体を視認しやすい表示を実現している。ただしこのとき、もともと立体物２１が歪んで表示されていた領域９１は、カメラ１０Ａからは死角となり撮像できていない領域（以下、欠損領域と呼ぶ）である。この欠損領域の表示方法としては、図１０に例示するように画像情報が欠損した領域として表示してもよいし、別のカメラ（例えばカメラ１０Ｂ）が撮像している領域であれば、そのカメラの撮影画像から補完してもよいし、車両２０が移動している状況でかつ過去フレーム画像で撮像しているのであれば、過去フレームの撮影画像から補完してもよい。
【００５９】
重み係数ｗの決定方法は以下のとおりである。すなわち、重み係数ｗは最大の１に近いほど視点変換画像における像歪みが低減されるが、重み係数ｗが大きいほど欠損領域が増加する。そこで、欠損領域が視点変換画像において予め定めた割合、たとえば３０％を超えない最大の重み係数ｗを算出し、これを用いることとする。換言すると、テーブル補正部１１３は、補正前の視点変換画像における立体物２１の面積、すなわち欠損領域の面積と、補正後の視点変換画像における立体物２１の面積との差分が、予め定めた割合（たとえば３０％）に相当する面積に達しない範囲で最大の値となるように、重み係数ｗを設定することができる。
【００６０】
テーブル補正部１１３は、この重み係数ｗと上述した式（６）を用いてテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。変形合成部１１５は、補正されたテーブルデータ１２１を用いて仮想視点２５から得られる視点変換画像３１１を作成する。
【００６１】
（仮想視点２６の視点変換画像）
仮想視点２６から得られる画像の作成方法を、仮想視点２５の場合との差異点を中心に説明する。仮想視点２６から得られる画像の作成方法と、仮想視点２５から得られる画像の作成方法との違いは、テーブルデータ１２１の補正方法である。すなわち、補正対象座標対応点の決定方法は同じであるが、補正後の座標の算出方法が異なる。
【００６２】
図１１は、図２〜３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。図１１では、図６（Ｂ）と同様に立体物２１の像は大きく歪んでいる。テーブル補正部１１３は、テーブルデータ１２１を以下のように補正することにより、図１１に例示した立体物２１の歪みを軽減する。
【００６３】
（仮想視点２６用のテーブルデータ１２１の補正）
テーブル補正部１１３は、まずテーブルデータ１２１を用いて、視点変換画像１００１における立体物２１の接地点６１に対応する点Ｐ０ｖ（ｘｏ，ｙｏ）の座標を算出する。次に、既知である仮想視点２６と前カメラ１０Ａとの位置関係および姿勢関係、ならびに仮想視点２６に置かれる仮想的なカメラの焦点距離ｚｖに基づき、図１１に示した点Ｐｃ（ｘｃ，ｙｃ）の座標を算出する。すなわち、ワールド座標系Ｗにおける前カメラ１０Ａの座標を、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上に平行投影した座標、すなわち視点変換画像１００１における前カメラ１０Ａの位置に対応する点Ｐｃ（ｘｃ，ｙｃ）の座標を算出する。そして、点Ｐ０ｖと点Ｐｃを結ぶ直線Ｌ１と図示水平方向の直線Ｌ２とのなす角度θを得る。路面に対して直立する立体物２１は、視点変換画像１００１において、カメラ１０Ａから見て接地面６１を起点に放射状に歪んで変換される点に注目しているため、このように角度θを求めた。テーブルデータ１２１を補正する一例として、θの回転行列を用いた式（７）を示す。
【００６４】
【数７】
2018014583.tif 000009
【００６５】
αおよびβは重み係数であり、０以上１以下の値であり後述する処理により決定される。式（７）では、視点変換画像上の補正前の座標（ｘｖ，ｙｖ）から補正後の座標（ｘｖ’，ｙｖ’）への補正において、重み係数βにより立体物２１を接地点Ｐ０ｖを回転中心として図示鉛直方向に回転させる度合いを決定し、重み係数αにより接地点Ｐ０ｖに近づける度合いを決定している。式（７）における処理を換言すると、式（６）に示したように加重平均処理と接地点Ｐ０ｖを中心とした回転処理を複合したものである。
【００６６】
図１２に、α＝β＝０．７５としたときの補正結果の一例を示す。図１０に示した補正画像と同様に、立体物２１の像歪みを低減している。すなわち本実施形態では、前述のような方法により、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、立体物の領域に含まれる補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１が補正される。その結果、図１０および図１２に示すように、像歪みを低減し違和感の少ない映像を提供することが可能となる。なお、図１２では補正前に立体物２１が表示されていた領域は欠損領域９１として表示しているが、別カメラの撮影画像や過去フレームの撮影画像から補完してもよい。
【００６７】
（フローチャート）
以上説明した視点変換画像の作成処理を図１３のフローチャートを用いて説明する。
【００６８】
ステップＳ１２０１では、テーブル補正部１１３は、モード切替部１１２の設定を読み込み、その設定に対応する４つのカメラ１０Ａ〜１０Ｄそれぞれのテーブルデータ１２１を読み込む。次にステップＳ１２０２に進む。
【００６９】
ステップＳ１２０２では、テーブル補正部１１３は、距離検出部１１４が検出した車両２０の周囲の距離情報である距離画像を距離取得部１１４Ａを介して取得し、ステップＳ１２０３に進む。
【００７０】
ステップＳ１２０３では、テーブル補正部１１３は、ステップＳ１２０２において取得した距離画像から立体物を検出する。さらに検出した立体物が存在する距離画像上の領域、および立体物の接地点の座標を記録する。たとえば、図７の左側に示すように下方から上方にかけて距離が変化しない領域があれば立体物として検出する。次にステップＳ１２０４に進む。
【００７１】
ステップＳ１２０４では、ステップＳ１２０３において立体物が検出されたか否かを判断し、立体物が検出されたと判断する場合はステップＳ１２０５に進み、立体物が検出されないと判断する場合はステップＳ１２１０に進む。
【００７２】
ステップＳ１２０５では、ステップＳ１２０３において検出した、距離画像における立体物の領域および立体物の接地点の座標を、撮影画像３０１における立体物の領域および立体物の接地点の座標Ｐ０ｒに変換する。次にステップＳ１２０６に進む。
【００７３】
ステップＳ１２０６では、ステップＳ１２０１において読み込んだテーブルデータ１２１のうち補正対象となるデータ、すなわちステップＳ１２０５において算出した撮影画像３０１における立体物の領域に含まれるデータを抽出する。次にステップＳ１２０７に進む。
【００７４】
ステップＳ１２０７では、補正モードが俯瞰モードと鳥瞰モードのいずれであるかを判断する。俯瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直な場合に選択されるモードであり、鳥瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直ではない場合に選択されるモードである。本実施の形態では仮想視点２５が設定された場合には俯瞰モードが選択され、仮想視点２６が設定された場合には鳥瞰モードが選択される。俯瞰モードであると判断する場合はステップＳ１２０８に進み、鳥瞰モードであると判断する場合はステップＳ１２０９に進む。
【００７５】
ステップＳ１２０８では、式６を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。ステップＳ１２０９では、式７を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。
【００７６】
ステップＳ１２１０では、変形合成部１１５によりテーブル補正部１１３からテーブルデータ１２１を読み込み、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像３０１を用いて視点変換画像を生成する。立体物が検出されていた場合は、テーブルデータ１２１はＳ１２０８もしくはＳ１２０９により補正されており、立体物の歪みが低減された視点変換画像が生成される。そして、表示制御部１１６を介して表示部１３に表示する。
【００７７】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１００は、入力された撮影画像３０１を所定の座標変換情報、すなわちテーブルデータ１２１を用いて座標変換した視点変換画像を生成する視点変換画像生成部、すなわち変形合成部１１５と、テーブルデータ１２１を補正するテーブル補正部１１３と、を備える。テーブル補正部１１３は、テーブルデータ１２１のうち、撮影画像３０１において立体物が存在する領域に対応する座標対応情報を補正する。視点変換画像生成部、すなわち変形合成部１１５は、テーブル補正部１１３により補正されたテーブルデータ１２１を用いて撮影画像３０１の座標変換を行う。
【００７８】
画像処理装置１００をこのように構成したので、立体物の像歪みを低減した視点変換画像を生成することができる。また、テーブルデータ１２１のうち立体物が存在する領域に対応する情報に限定して補正しているので、テーブルデータ１２１の全体を補正する場合に比べて処理を高速化できる。
【００７９】
（２）座標変換情報、すなわちテーブルデータ１２１は、撮影画像３０１の座標と視点変換画像の座標との変換テーブルである。そのため変形合成部１１５は、テーブルデータ１２１を参照することで容易に視点変換画像を作成することができる。
【００８０】
（３）座標変換情報、すなわちテーブルデータ１２１は、予め設定された複数の座標対応点の撮影画像３０１の座標系、すなわちカメラ座標系Ｒにおける座標と、他の座標系である仮想視点座標系Ｖにおける座標との対応関係を表す変換テーブルである。テーブル補正部１１３は、撮影画像３０１において立体物が存在する領域、たとえば図７において破線で囲んだ立体物２１の領域、および立体物の接地点Ｐ０ｄ、たとえば図７における接地点６１を特定する。テーブル補正部１１３は、テーブルデータ１２１において、複数の座標対応点のうち撮影画像３０１において立体物が存在する領域内の座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉを補正対象座標対応点として、これらの補正対象座標対応点の仮想視点座標系Ｖにおける座標を、立体物の接地点Ｐ０ｒに対応する座標対応点の仮想視点座標系Ｖにおける座標Ｐ０ｖに基づき補正する。そのため、視点変換画像において歪みのない立体物２１の接地点６１を基準としてテーブルデータ１２１を補正することができる。
【００８１】
（４）テーブル補正部１１３は、重み係数ｗを、補正前の他の座標系における立体物の面積と補正後の他の座標系における立体物の面積との差分が、視点変換画像における予め定めた割合、たとえば３０％に相当する面積に達しない最大の値に設定する。そのため、欠損領域を予め定めた割合以下に留めつつ、立体物の像歪みを低減することができる。
【００８２】
（５）テーブル補正部１１３はさらに、他の座標系における座標（ｘｖ’、ｙｖ’）を、立体物の接地点に対応する他の座標系における座標Ｐ０ｖ（ｘｏ、ｙｏ）を回転中心として回転させた座標に補正する。そのため、視点変換画像において立体物が倒れ込むようむ描画されることを抑制することができる。
【００８３】
（変形例１）
テーブル補正部１１３が距離画像から立体物を検出すると、撮影画像３０１において当該立体物が撮像されている位置に応じて、仮想視点の位置をカメラ１０の近くに変更してもよい。さらに、仮想視点に設置される仮想的なカメラの光軸の向きをカメラ１０の光軸の向きに近づけてもよい。
【００８４】
（変形例２）
テーブル補正部１１３が距離画像から検出した立体物が、複数のカメラにより撮影される領域に存在する場合は、各々の撮影画像３０１から生成される視点変換画像のうち、像歪みのより少ない視点変換画像を選択して本発明の補正処理を適用してもよい。
【００８５】
（変形例３）
画像処理装置１００は、第１〜第４の画像取得部を備えたが、画像取得部を１つのみ備え、複数のカメラから順次画像が入力されてもよい。また、画像処理装置１００に接続されるカメラの数は少なくとも１つあればよく、５以上であってもよい。
【００８６】
（変形例４）
上述した第１の実施の形態は、各カメラ１０Ａ〜１０Ｄ及び距離検出部１１４が毎時刻動作しており、視点変換画像を動画像として表示する場合にも適用することができる。また、車両２０もしくは立体物２１が動くことにより、点Ｐ０ｖ及び点Ｐ０ｖが変化している状況でも、適用することができる。その場合は、例えば変換画像において動く立体物の像のブレを防止することを目的として、以下のように演算を行ってもよい。すなわち、テーブル補正部１１３は補正するテーブルデータ１２１の履歴を保存し、次のテーブルデータ１２１の補正時にテーブルデータ１２１の履歴を用いた加重平均などにより、各補正対象座標対応点の補正後の座標（ｘｖ’，ｙｖ’）を算出してもよい。
【００８７】
（第２の実施の形態）
図１４〜図１６を参照して、画像処理装置１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、ユーザが仮想視点を自由に設定可能な点で、第１の実施の形態と異なる。
【００８８】
（第２の実施の形態の概要）
第１の実施の形態におけるテーブルデータ１２１は、式（５）により表される撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を示すものであったが、後述する第２の実施の形態におけるテーブルデータ１２１Ａは、式（１）により表される撮影画像上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。本実施の形態では、テーブルデータ１２１Ａを補正することにより３次元区間上に投影される撮影画像が変形される。変形合成部１１５Ａは、３次元区間上に投影された撮影画像を仮想視点から撮影した画像、すなわち視点変換画像を作成する。
【００８９】
（構成）
図１４は、第２の実施の形態における画像処理装置１００のブロック図である。各ブロックの動作および機能のうち、第１の実施の形態との差異点を説明する。第２の実施の形態における画像処理装置１００は、制御部１１Ａと、記憶部１２Ａとを備える。
【００９０】
制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２Ａ、テーブル補正部１１３Ａ、距離取得部１１４Ａ、変形合成部１１５Ａ、表示制御部１１６およびバス１１７として機能する。
【００９１】
記憶部１２Ａには、制御部１１により実行されるプログラム、およびテーブルデータ１２１Ａが記憶される。テーブルデータ１２１Ａは、車両２０が備えるカメラと同じ数、すなわち４つのみ備えられる。第２の実施の形態におけるテーブルデータ１２１Ａは、仮想視点の位置や姿勢等に関する情報を含まないからである。テーブルデータ１２１Ａの構成は後述する。
【００９２】
モード切替部１１２Ａは、ユーザによる不図示の仮想視点設定部への設定を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点設定部は、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、ユーザが自由に設定できるものである。モード切替部１１２Ａは、取得した仮想視点設定部の設定を変形合成部１１５に出力する。
【００９３】
テーブル補正部１１３Ａは、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。テーブル補正部１１３は、距離取得部１１４Ａの出力に基づき第１の実施の形態と同様にテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。
【００９４】
変形合成部１１５Ａは、テーブル補正部１１３により補正されたテーブルデータを用いて、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像を３次元空間上に投影する。そして変形合成部１１５は、モード切替部１１２が出力する仮想視点設定部の設定に基づき、３次元空間上に投影された撮影画像を対象に式（３）により表される座標変換処理を行い視点変換画像を取得する。
【００９５】
（テーブルデータ１２１Ａ）
図１５は、テーブルデータ１２１Ａの一例を示す図である。テーブルデータ１２１Ａは、式（１）により表される撮影画像３０１上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。ただし本実施の形態では、３次元空間上の点ＰｗのＺｗ座標の値は全てゼロである。すなわちテーブルデータ１２１Ａは、撮影画像３０１上の点Ｐｒと三次元空間上のＺｗ＝０の平面上の点Ｐｗとの対応関係を示す。
【００９６】
（テーブルデータ１２１Ａの補正）
図１６は、テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、立体物２１の補正対象座標対応点の３次元空間上の座標である、（ｘｗ＿ｏ１，ｙｗ＿ｏ１，ｚｗ＿ｏ１）、（ｘｗ＿ｏ２，ｙｗ＿ｏ２，ｚｗ＿ｏ２）、（ｘｗ＿ｏ３，ｙｗ＿ｏ３，ｚｗ＿ｏ３）、・・・を、（ｘｗ＿ｏ１’，ｙｗ＿ｏ１’，ｚｗ＿ｏ１’）、（ｘｗ＿ｏ２’，ｙｗ＿ｏ２’，ｚｗ＿ｏ２’）、（ｘｗ＿ｏ３’，ｙｗ＿ｏ３’，ｚｗ＿ｏ３’）、・・・に補正する。ただし補正前後のいずれもＺｗ座標はゼロとする。すなわち当該補正は三次元空間上のＺｗ＝０の平面上に限られるものであり、補正に用いる計算式は第１の実施の形態と同様である。
【００９７】
上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）座標変換テーブル１２１は、撮影画像３０１の座標と三次元空間上の座標との変換テーブルである。視点変換画像生成部、すなわち変形合成部１１５は、座標変換テーブル１２１を用いて座標変換した三次元空間上の撮影画像を、さらに座標変換することにより視点変換画像を得る。そのため、事前に想定していない仮想視点がユーザにより設定された場合にも座標変換テーブル１２１を用いて視点変換画像を作成することができる。
【００９８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００９９】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【０１００】
Ｒ  …  カメラ座標系
Ｖ  …  仮想視点座標系
Ｗ  …  ワールド座標系
ｗ  …  重み係数
１２、１２Ａ  …  記憶部
２０  …  車両
２１  …  立体物
２５、２６  …  仮想視点
１００  …  画像処理装置
１１１Ａ〜１１１Ｄ  …  画像取得部
１１４  …  距離検出部
１１４Ａ  …  距離取得部
１１５  …  変形合成部
１１５Ａ  …  変形合成部
１２１、１２１Ａ  …  テーブルデータ
３０１  …  撮影画像
３１１  …  視点変換画像
【図１】
2018014583.tif 000010
【図２】
2018014583.tif 000011
【図３】
2018014583.tif 000012
【図４】
2018014583.tif 000013
【図５】
2018014583.tif 000014
【図６】
2018014583.tif 000015
【図７】
2018014583.tif 000016
【図８】
2018014583.tif 000017
【図９】
2018014583.tif 000018
【図１０】
2018014583.tif 000019
【図１１】
2018014583.tif 000020
【図１２】
2018014583.tif 000021
【図１３】
2018014583.tif 000022
【図１４】
2018014583.tif 000023
【図１５】
2018014583.tif 000024
【図１６】
2018014583.tif 000025