(57)【要約】【課題】空間解像度が低い距離情報を用いて高精度な視点変換画像を生成することができる。【解決手段】画像処理装置は、第１の空間解像度を有する撮影画像を取得する画像取得部と、第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、距離画像に基づき立体物領域の奥行き情報を算出する距離算出部と、撮影画像を座標変換するための座標変換情報を距離算出部が算出した立体物領域の奥行き情報に基づき補正する補正部と、補正部により補正された座標変換情報を用いて撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える。【選択図】図３
2019012915.tif 000002
【特許請求の範囲】
【請求項１】
第１の空間解像度を有する撮影画像を取得する画像取得部と、
前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、
前記撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、
前記距離画像に基づき前記立体物領域の奥行き情報を算出する距離算出部と、
前記撮影画像を座標変換するための座標変換情報を前記距離算出部が算出した前記立体物領域の奥行き情報に基づき補正する補正部と、
前記補正部により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像認識部は、前記撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき前記立体物領域を含む複数の領域の輪郭を抽出する画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
前記補正部は、前記立体物領域の奥行き情報に基づき前記変換先座標を補正する画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記座標変換情報は、前記撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成され、
前記画像認識部は、前記撮影画像に含まれる被写体ごとに前記撮影画像を複数の領域に分割し、
前記補正部は、前記距離画像に基づき前記複数の領域が前記立体物領域であるか否かをそれぞれ判断し、前記立体物領域であると判断した領域内の前記変換元座標に対応する前記変換先座標を補正する画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
前記補正部は、前記変換元座標を前記立体物領域の輪郭の近傍に補正する画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記補正部は、前記立体物領域の輪郭の近傍であって前記立体物領域の外部および内部に前記変換元座標を配置する画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記座標変換情報は前記撮影画像の被写体が基準高さ平面内に存在することを前提に算出されており、
前記補正部は、前記距離算出部が算出した前記立体物領域の奥行き情報を用いて前記被写体の前記基準高さ平面からの高さ、および前記被写体の前記基準高さ平面上の位置を算出し、
前記補正部は、視点変換の基準位置、算出した前記被写体の前記基準高さ平面からの高さ、および算出した前記被写体の前記基準高さ平面上の位置を用いて前記座標変換情報を補正する画像処理装置。
【請求項８】
第１の空間解像度を有する撮影画像を取得することと、
前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得することと、
前記撮影画像において立体物に対応する立体物領域を含む領域の抽出を行うことと、
前記距離画像に基づき前記立体物領域の奥行き情報の算出を行うことと、
前記撮影画像を座標変換するための座標変換情報を前記算出された前記立体物領域の奥行き情報に基づき補正を行うことと、
前記補正により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成することとを含む画像変換方法。
【請求項９】
請求項８に記載の画像変換方法において、
前記立体物領域を含む領域の抽出は、前記撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき実行される画像変換方法。
【請求項１０】
請求項８に記載の画像変換方法において、
前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
前記立体物領域における奥行き情報に基づき前記変換先座標を補正する画像変換方法。
【請求項１１】
請求項１０に記載の画像変換方法において、
前記座標変換情報は、前記撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成され、
前記撮影画像に含まれる被写体ごとに前記撮影画像を複数の領域に分割し、
前記距離画像に基づき前記複数の領域が前記立体物領域であるか否かをそれぞれ判断し、前記立体物領域であると判断した領域内の前記変換元座標に対応する前記変換先座標を補正する画像変換方法。
【請求項１２】
請求項８に記載の画像変換方法において、
前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
前記立体物領域の奥行き情報に基づく補正には、前記変換元座標を前記立体物領域の輪郭の近傍に補正することが含まれる画像変換方法。
【請求項１３】
請求項１２に記載の画像変換方法において、
前記立体物領域の奥行き情報に基づく補正には、前記立体物領域の輪郭の近傍であって前記立体物領域の外部および内部に前記変換元座標を配置することが含まれる画像変換方法。
【請求項１４】
請求項８に記載の画像変換方法において、
前記座標変換情報は前記撮影画像の被写体が基準高さ平面内に存在することを前提に算出されており、
前記座標変換情報の補正は、算出した前記立体物領域の奥行き情報を用いて前記被写体の前記基準高さ平面からの高さ、および前記被写体の前記基準高さ平面上の位置を算出し、視点変換の基準位置、算出した前記被写体の前記基準高さ平面からの高さ、および算出した前記被写体の前記基準高さ平面上の位置を用いて行われる画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像変換方法に関する。
【背景技術】
【０００２】
車両に設置されたカメラで車両の周囲を撮影し、撮影して得られた画像を車内に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、運転者は車両周辺の様子を視認性高く確認することができる。特許文献１には、車両に搭載されたカメラが撮像した撮像画像のデータを取得する撮像画像取得手段と、表示する映像の仮想視点を設定する視点設定手段と、前記撮像画像を投影するために予め定義された、曲面を有する基準曲面座標系の少なくとも一部を、当該基準曲面座標系に対する前記仮想視点の位置に応じて変形し、変形座標系を得る座標系変形手段と、前記撮像画像のデータを前記変形された変形座標系に投影し、前記設定された仮想視点から車両及び当該車両の周囲を見た映像を生成する投影手段と、前記生成された前記映像を表示用画面に表示させる表示制御手段と、を有する車両用表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３８６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている発明では、撮影して得られた画像に立体物が含まれている場合に視点変換画像において立体物に像歪みが発生する。距離センサを併用して歪みが低減された像を表示する手法が広く知られているが、距離センサの空間解像度と視点変換画像において立体物に生じる像歪みとは一般に密接に関連する。すなわち、空間解像度が低い距離情報を用いて高精度な視点変換画像を生成することは困難である。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による画像処理装置は、第１の空間解像度を有する撮影画像を取得する画像取得部と、前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、前記撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、前記距離画像に基づき前記立体物領域の奥行き情報を算出する距離算出部と、前記撮影画像を座標変換するための座標変換情報を前記距離算出部が算出した前記立体物領域の奥行き情報に基づき補正する補正部と、前記補正部により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える。
本発明の第２の態様による画像変換方法は、第１の空間解像度を有する撮影画像を取得することと、前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得することと、前記撮影画像において立体物に対応する立体物領域を含む領域の抽出を行うことと、前記距離画像に基づき前記立体物領域の奥行き情報の算出を行うことと、前記撮影画像を座標変換するための座標変換情報を前記算出された前記立体物領域の奥行き情報に基づき補正を行うことと、前記補正により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成することとを含む。
【発明の効果】
【０００６】
本発明によれば、空間解像度が低い距離情報を用いて高精度な視点変換画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置１００のハードウエア構成図
【図２】図２（ａ）は距離検出部１４により得られた距離画像の概念図、図２（ｂ）は理想的な高い空間解像度を有する距離センサを用いて得られた距離画像の概念図、図２（ｃ）は濃淡と距離の関係を示す図
【図３】第１の実施の形態における画像処理装置１００の機能ブロック図
【図４】画像処理装置１００を搭載する車両２０を上部から見下ろした図
【図５】車両２０を側面から見た図
【図６】カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図
【図７】テーブルデータ１２１の一例を示す図
【図８】第１の実施の形態におけるテーブルデータ１２１の補正の一例を示す図
【図９】図９（ａ）は前カメラ１０Ａの撮影画像９００を示す図、図９（ｂ）は距離検出部１４が取得した距離画像９１０を示す図、図９（ｃ）は理想的な距離センサで取得した距離画像９２０を示す図
【図１０】図１０（ａ）は図９（ｂ）の符号９１１付近を拡大し、樹木２１の輪郭を重畳した図、図１０（ｂ）は図１０（Ａ）において距離が異なる領域の境界を示す図、図１０（ｃ）は図１０（ｂ）にテーブルデータ１２１の座標対応画素を重畳した図
【図１１】図１１（ａ）はセグメント分割の例を示す図、図１１（ｂ）はセグメントに記号を付した図
【図１２】第１の実施の形態における画像処理装置１００の動作を示すフローチャート
【図１３】変形例１におけるテーブルデータ１２１Ａの一例を示す図
【図１４】図１４（ａ）は輪郭に対して座標対応点が疎に設定されている場合を示す図、図１４（ｂ）は図１４（ａ）におけるＰＱ間の理想的な奥行き情報を示す模式図、図１４（ｃ）は図１４（ａ）におけるＰＱ間の奥行き情報を示す模式図
【図１５】図１５（ａ）は第２の実施の形態によるテーブル補正部１１３により補正された座標対応点を示す図、図１５（ｂ）は図１５（ａ）におけるＰＱ間の奥行き情報を示す模式図
【図１６】第２の実施の形態における画像処理装置１００の機能ブロック図
【図１７】第２の実施の形態におけるテーブルデータ１２１の補正の一例を示す図
【図１８】第２の実施の形態における画像処理装置１００の動作を示すフローチャート
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
以下、図１〜図１２を参照して、画像処理装置の第１の実施の形態を説明する。
【０００９】
図１は、車両２０に搭載される画像処理装置１００のハードウエア構成図である。車両２０は、画像処理装置１００と、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄと、表示部１３と、距離検出部１４とを備える。以下では、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄとをまとめて、カメラ１０と呼ぶ。カメラ１０が撮影して得られた画像を撮影画像と呼ぶ。撮影画像の解像度は、たとえばカメラ１０に内蔵される撮像素子の数により決定され、たとえば１９２０ｘ１０８０の解像度を有する。以下ではこの解像度を空間解像度とも呼ぶ。
【００１０】
カメラ１０と距離検出部１４は同期して動作しており、同一のタイミングで周囲の情報を取得する。画像処理装置１００は、カメラ１０が撮影した画像を用いて、車両２０の周囲をカメラ１０の設置位置とは異なる仮想的な位置（以下、仮想視点）に仮想的なカメラを設置して撮影した場合に得られる画像（以下、視点変換画像）を表示部１３に出力する。カメラ１０の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１０４に格納される。
【００１１】
表示部１３は、例えばＬＣＤディスプレイやプロジェクタ、または車両２０に搭載されたカーナビゲーション装置の表示部である。表示部１３はインタフェース１０５から出力された情報を表示する。
【００１２】
距離検出部１４は、車両周囲の物体の奥行き情報を、水平方向および垂直方向、すなわち２次元に分解能を持った情報として検出する。距離検出部１４は、たとえばＬＩＤＡＲ（Light  Detection  and  Ranging）である。以下では、距離検出部１４が取得する２次元に分解能を有する距離情報を「距離画像」と呼ぶ。距離検出部１４の視野は、カメラ１０の少なくとも一部と重複する。本実施の形態では、前カメラ１０Ａの視野と距離検出部１４の視野が一致しているとする。ただし距離検出部１４が取得する距離画像の解像度は、カメラ１０の解像度よりも低い。たとえばカメラ１０は水平方向ｘ垂直方向が１９２０ｘ１０８０の解像度を有する場合に、距離検出部１４は２５ｘ２５の解像度を有する。すなわち撮影画像の空間解像度を第１の空間解像度、距離画像の空間解像度を第２の空間解像度と呼ぶと、第２の空間解像度は第１の空間解像度よりも低い。なお以下では、距離画像における奥行き方向の分解能を「距離分解能」と呼び空間解像度と区別する。なお距離検出部１４の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１０４に格納される。
【００１３】
図２（ａ）は、距離検出部１４により得られた距離画像の概念図、図２（ｂ）は理想的な高い空間解像度を有する距離センサを用いて得られた距離画像の概念図、図２（ｃ）は図２（ａ）および図２（ｂ）における濃淡と距離の関係を示す図である。ただし図２（ｂ）を撮影する高解像度な距離センサは説明のために示しており、前述の車両２０には搭載されない。図２（ａ）および図２（ｂ）は、障害物が存在しない大地において、水平線に向けて設置された距離検出部１４および理想的な距離センサから得られた距離画像の概念図である。すなわち図示下部は近傍なので距離が近く、図示上部は水平線または空であり距離が遠いことを示している。
【００１４】
図２（ａ）および図２（ｂ）のいずれも、上端は黒で下端は白である。しかしその濃度の変化の様子が異なる。図２（ａ）では右端のグラフに示すように段階的に濃度が変化するが、図２（ｂ）では連続的に濃度が変化する。これは図２（ｂ）の情報を取得した装置の方が空間解像度が高いからである。このように本実施の形態では低い空間解像度を有するセンサを使用するが、後述する工夫により図２（ｂ）に示す空間解像度が高いセンサを使用する場合に近い結果が得られる。図１に戻って説明を続ける。
【００１５】
画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶部１０４と、インタフェース１０５とを備える。ＣＰＵ１０１は中央演算処理装置であり、ＲＯＭ１０２に格納されるプログラムをＲＡＭ１０３に展開して実行することにより、後述する機能を発揮する。記憶部１０４は不揮発性の記憶装置であり、たとえばフラッシュメモリやハードディスクドライブである。インタフェース１０５は、画像処理装置１００における他の装置との情報の出入り口であり、インタフェース１０５に入力された情報はＣＰＵ１０１へ出力される。画像処理装置１００は、このインタフェース１０５を用いて、カメラ１０で得られた撮影画像や、距離検出部１４で得られた距離画像を取得し、ＣＰＵ１０１に入力する。インタフェース１０５は、シリアルポートなどであり、ＡＤコンバータなどが含まれてもよい。
【００１６】
図３は、画像処理装置１００が備える機能を機能ブロックとして表した機能ブロック図である。画像処理装置１００は、その機能として画像認識部１１１と、距離修正部１１２と、テーブル補正部１１３と、対応付け部１１４と、画像変換部１１５と、表示制御部１１７とを備える。図２に示すテーブルデータ１２１は、記憶部１０４に格納される情報である。テーブルデータ１２１は、俯瞰画像や鳥瞰画像などの視点変換画像を生成する際に用いられるルックアップテーブルである。テーブルデータ１２１は、画像処理装置１００を含むシステムの設計段階において、車両２０に設置するカメラ１０および仮想視点の位置や角度、撮像条件により予め作成される。テーブルデータ１２１は、カメラ１０のそれぞれについて視点変換を行う視点ごとに存在するが、以下ではあるカメラ１０Ａのある１つの仮想視点についてのみ説明する。
【００１７】
画像認識部１１１は、カメラ１０の撮影画像を処理対象とし、撮影画像に含まれる被写体ごとの輪郭を抽出して撮影画像を複数の領域に分割するセグメント分割処理を行う。なお、以下の説明では、画像認識部１１１が行うセグメント分割処理によって撮影画像内に設定される各領域を「セグメント」と称する。本処理における被写体の輪郭の抽出は、既知の輪郭検出に基づく方法や、撮影画像の色情報を解析し、輝度、色相、彩度、および明度の類似性から撮影画像を複数の領域に分割して各領域の輪郭を抽出する方法を採用することができる。距離修正部１１２は、画像認識部１１１の認識結果において立体物に対応するセグメント、すなわち被写体が立体物である領域が存在する場合に、当該セグメントについて、後述するそれぞれの座標対応点を対象として距離検出部１４の測定値である距離を補正する。距離修正部１１２により補正された距離を、以後は「立体物距離」と呼ぶ。テーブル補正部１１３は、距離修正部１１２が算出した立体物距離を用いてテーブルデータ１２１を書き換える。
【００１８】
対応付け部１１４は、記憶部１０４に格納されカメラ１０および距離検出部１４の車両２０への取付け位置、および取付け姿勢に基づき、撮影画像と距離画像の対応付けを行う。たとえば対応付け部１１４は、撮影画像におけるある領域に対応する距離画像における領域を算出する。ただし本実施の形態では、前述のとおりカメラ１０Ａと距離検出部１４の視野が一致する。そのためカメラ１０Ａの撮影画像と距離画像との対応付けは容易に行うことができる。画像変換部１１５は、テーブル補正部１１３により書き換えられたテーブルデータ１２１を用いてカメラ１０の撮影画像を変換し、それぞれのカメラ１０の撮影画像を組み合わせて視点変換画像を生成する。表示制御部１１７は、画像変換部１１５により生成された視点変換画像を表示部１３に出力し表示させる。
【００１９】
（動作環境）
図４および図５は、画像処理装置１００が動作する環境を説明する図である。図４は画像処理装置１００を搭載する車両２０を上部から見下ろした図であり、図５は車両２０を側面から見た図である。車両２０は、車両通行帯を示す白線である直線ＬＬおよび直線ＬＲに挟まれた領域に存在する。車両２０の前方正面の地面にはマーカー２２が設置され、車両２０の前方左には樹木、すなわち立体物２１がある。
【００２０】
車両２０の前部には前カメラ１０Ａが設置され、その光軸は車両２０の前方の路面に向けられており、立体物である樹木２１および路面上のマーカー２２をその撮影範囲内に捉えている。また同様に、車両２０の左部、右部および後部には、それぞれ左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄが設置され、それらの光軸はそれぞれ車両２０の左方、右方、後方の路面に向けられている。カメラ１０は広角のレンズを備え、それぞれ約１８０度の画角を有する。カメラ１０、および距離検出部１４の設置位置および設置角度は、車両２０の設計段階において予め定められ既知である。
【００２１】
図５に示す仮想視点２５は、車両２０の前方上部から真下を撮像し、車両２０の前方を俯瞰する視点である。以下では図５に示す状況において仮想視点２５から得られる画像の作成方法を説明する。ただし画像処理装置１００はカメラ１０Ａ〜１０Ｄを備えるが、前カメラ１０Ａの撮影画像を変換する場合を代表して説明する。
【００２２】
仮想視点２５から得られる画像の作成方法を説明する。
（座標変換）
図６は、カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。カメラ座標系とは、画像を撮影するカメラを基準とする座標系である。図６には前カメラ１０Ａを基準とするカメラ座標系Ｒの３軸、すなわちＸｒ、Ｙｒ、Ｚｒが図示される。仮想視点座標系とは、あらかじめ定められた仮想視点を基準とする座標系である。図６には仮想視点２５を基準とする仮想視点座標系Ｖの３軸、すなわちＸｖ、Ｙｖ、Ｚｖが図示される。ワールド座標系は、車両２０が走行する路面を基準に設定された座標系である。図６にはワールド座標系Ｗの３軸、すなわちＸｗ、Ｙｗ、Ｚｗが図示される。ＸｗおよびＹｗは路面に平行であり、Ｚｗ＝０の基準高さ平面２３０に路面が含まれる。
【００２３】
カメラ座標系Ｒの１軸であるＺｒは前カメラ１０Ａの光軸と一致、すなわち撮像素子と直交し、他の２軸であるＸｒおよびＹｒは、前カメラ１０Ａの撮像素子の長辺および短辺と平行である。カメラの焦点距離ｚｒを用いて表すと、撮影画像３０１を構成する各画素の位置は、Ｚｒ＝ｚｒに位置するＸｒＹｒ平面上の座標データで表現される。すなわち、カメラ座標系Ｒは、撮影画像３０１の座標系と等しい。
【００２４】
仮想視点座標系の１軸であるＺｖは仮想視点２５に置かれた仮想的なカメラの光軸と一致、すなわち仮想的な撮像素子と直交し、他の２軸であるＸｖおよびＹｖは、仮想的な撮像素子の長辺および短辺と平行である。仮想視点２５に置かれるカメラの焦点距離ｚvを用いて表すと、視点変換画像３１１を構成する各画素の位置は、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上の座標データで表現される。すなわち、仮想視点座標系Ｖは、視点変換画像３１１の座標系と等しい。
【００２５】
ある点Ｐをワールド座標系ＷではＰｗと呼び、その座標を（ｘｗ、ｙｗ、ｚｗ）と表す。前カメラ１０Ａにより点Ｐｗを撮影した際の撮影画像における点ＰをＰｒと呼び、点Ｐｒの座標を（ｘｒ、ｙｒ、ｚｒ）と表す。仮想視点２５から得られる画像における点ＰをＰｖと呼び、Ｐｖの座標を（ｘｖ、ｙｖ、ｚｖ）と表す。
【００２６】
ワールド座標系Ｗにおける点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）をカメラ座標系Ｒの点Ｐｒの座標（ｘｒ、ｙｒ、ｚｒ）に座標変換するには、たとえば、式（１）に示すようなアフィン変換が用いられる。
【００２７】
【数１】
2019012915.tif 000003
【００２８】
ここで、Ｍｒは、式（２）に示されるような４ｘ４の透視投影変換行列である。
【００２９】
【数２】
2019012915.tif 000004
【００３０】
式（２）において、Ｒｒは３ｘ３の回転行列、Ｔｒは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｒおよび平行移動行列Ｔｒは、ワールド座標系上でのカメラ１０Ａの設置位置および設置角度、カメラ１０Ａの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
【００３１】
また、ワールド座標系Ｗの点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）を仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換するには、たとえば、式（３）に示すようなアフィン変換が用いられる。
【００３２】
【数３】
2019012915.tif 000005
【００３３】
ここで、Ｍｖは、式（４）に示されるような４ｘ４の透視投影変換行列である。
【００３４】
【数４】
2019012915.tif 000006
【００３５】
式（４）において、Ｒｖは３ｘ３の回転行列、Ｔｖは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｖおよび平行移動行列Ｔｖは、ワールド座標系上での仮想視点２５の位置および角度、仮想視点２５の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
【００３６】
上述した式（１）と式（３）とを組み合わせると、カメラ座標系Ｒの点Ｐｒの座標を仮想視点座標系Ｖの点Ｐｖの座標に座標変換するための式（５）が得られる。
【００３７】
【数５】
2019012915.tif 000007
【００３８】
式（５）では、透視投影変換行列Ｍｒの逆行列によりカメラ座標系Ｒの点Ｐｒの座標をワールド座標系の点Ｐｗの座標に座標変換し、その点Ｐｗの座標を透視投影変換行列Ｍｖにより仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換している。式（５）による座標変換結果を用いて、視点変換画像３１１の点Ｐｖの画素値を、対応する撮影画像３０１の点Ｐｒの画素値から算出することができる。
【００３９】
ただしカメラ１０の撮影画像からは被写体までの距離情報が得られないので、たとえば点Ｐｗが路面上、すなわちｚw＝０の平面上にあると仮定することで視点変換画像３１１の点Ｐｖの画素値を算出することができる。そして路面上にない被写体が撮影された領域のみ視点変換画像３１１の点Ｐｖの画素値を改めて計算する。たとえば撮影画像３０１における点Ｐｒが路面上の点Ｐｗではなく、Ｚw＝ｚw1（≠０）の平面上に存在する点Ｐｗ1であった場合は、視点変換画像３１１における対応点は点Ｐｖではなく点Ｐｖ1となる。カメラ１０の撮影画像の被写体が路面上に存在するか否かは、被写体までの距離により判断可能である。また被写体が路面上に存在しない場合は、その距離情報を用いることで視点変換画像３１１における対応点を算出可能である。
【００４０】
図６を参照して対応点の算出の一例を説明すると、まずワールド座標系におけるカメラ座標系Ｒの原点位置、および点Ｐｒの座標の幾何的な関係、および距離修正部１１２が算出した被写体までの距離情報を用いて点Ｐｗ1の座標を算出する。すなわち、点Ｐｗ1の基準高さ平面上の位置である点Ｐｗ1のＸ座標とＹ座標、および被写体の基準高さ平面２３０からの高さである点Ｐｗ1のＺ座標であるｚw1の値を算出する。そして、カメラ２５の位置、および算出した点Ｐｗ1の位置から視点変換画像３１１における対応点Ｐv1の座標を算出してテーブルデータ１２１を補正する。
【００４１】
（テーブルデータ１２１）
記憶部１０４に格納されるそれぞれのテーブルデータ１２１は、あらかじめ被写体がすべて路面上に存在するとの仮定の下で計算された撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を複数組について記述したものである。換言すると、テーブルデータ１２１は、被写体が基準高さ平面２３０内に存在することを前提に算出されている。すなわち、カメラ座標系Ｒの所定の点Ｐｒ１の座標（ｘｒ１，ｙｒ１）、Ｐｒ２の座標（ｘｒ２，ｙｒ２）、・・・をそれぞれ上述の式（５）で仮想視点座標系Ｖの対応点への座標に変換して得られたものである。ここで、２つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この座標対応情報がテーブルデータ１２１として作成されている。なお、テーブルデータ１２１においては、カメラ１０Ａの焦点距離等が固定されているものとしてＺｒ座標の情報は省略されている。
【００４２】
以降の説明では、撮影画像３０１および視点変換画像３１１の画素のうち、テーブルデータ１２１に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。すなわち、撮影画像３０１および視点変換画像３１１には、複数の座標対応点が予め設定されている。テーブルデータ１２１を予め記憶部１０４に記憶しておき、視点変換画像３１１を作成する際に参照することで、上述の式（５）の演算回数を低減し、座標変換の処理時間を短縮することができる。なお、テーブルデータ１２１に予め記憶しておく座標対応情報が増加するほど、テーブルデータ１２１のデータ量が増加する。テーブルデータ１２１のデータ量を削減するため、撮影画像３０１の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Ｐｖの画素値を算出する。なおテーブルデータ１２１は、カメラ１０のレンズの歪みなどを考慮して作成されてもよい。
【００４３】
上述のとおり、テーブルデータ１２１は、あらかじめ被写体がすべて路面上に存在するとの仮定の下で計算されている。そのため、被写体が路面上に存在しない場合、すなわち高さを有する立体物である場合は、距離情報に基づき計算を行いテーブルデータ１２１を書き換える必要がある。以下ではこのテーブルデータ１２１の書き換えを、テーブルデータ１２１の補正とも呼ぶ。本実施の形態では、テーブル補正部１１３がテーブルデータ１２１を補正する。すなわちテーブル補正部１１３は、テーブルデータ１２１における立体物２１の領域に含まれる座標対応点を補正する。以下では、補正対象の座標対応点を「補正対象座標対応点」と呼ぶ。
【００４４】
図７は、テーブルデータ１２１の一例を示す図である。テーブルデータ１２１は、撮影画像３０１の離散的な画素の座標と、その座標に対応する視点変換画像３１１の画素の座標との対応関係を定義する座標対応テーブルである。図７では、対応関係番号１、２、…、ｎの各画素の座標対応情報が示されている。画像処理装置１００は、撮影画像３０１の各画素の座標ごとにテーブルデータ１２１を参照して、対応する視点変換画像３１１の画素の座標を演算する。
【００４５】
図８は、テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。またテーブルデータ１２１の補正に必要な立体物距離も併記している。すなわち図８に示す表は説明のために例示したにすぎず、この表そのものがＲＡＭ１０３や記憶部１０４に格納される必要はない。本実施の形態では、テーブル補正部１１３がテーブルデータ１２１の各座標対応点に関する座標対応情報のうち、上記の補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１を補正する。具体的には、補正対象座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉについて、これらの視点変換画像上の座標、すなわち仮想視点座標系Ｖにおける座標である、（ｘｖ＿ｏ１，ｙｖ＿ｏ１）、（ｘｖ＿ｏ２，ｙｖ＿ｏ２）、（ｘｖ＿ｏ３，ｙｖ＿ｏ３）、・・・、（ｘｖ＿ｏｉ，ｙｖ＿ｏｉ）を、（ｘｖ＿ｏ１’，ｙｖ＿ｏ１’）、（ｘｖ＿ｏ２’，ｙｖ＿ｏ２’）、（ｘｖ＿ｏ３’，ｙｖ＿ｏ３’）、・・・、（ｘｖ＿ｏｉ’，ｙｖ＿ｏｉ’）にそれぞれ補正する。前述のとおりテーブル補正部１１３は、立体物距離を用いて上述する補正を行う。
【００４６】
仮にカメラ１０Ａの撮影画像の全領域に立体物が撮影されていた場合は、テーブルデータ１２１の全ての座標対応点について視点変換画像上の座標が書き換えられることとなる。しかしこの場合でも、テーブルデータ１２１における撮影画像上の座標は書き換えられない。
【００４７】
（距離画像と補正の必要性）
図９（ａ）は前カメラ１０Ａの撮影画像９００を示す図、図９（ｂ）は距離検出部１４が取得した距離画像９１０を示す図、図９（ｃ）は理想的な距離センサで取得した距離画像９２０を示す図である。図９（ａ）に示すように撮影画像９００には、図示左手に立体物である樹木２１があり、図示中央の下から上へ白線ＬＬおよび白線ＬＲが延びている。また図示下部にはマーカー２２があり、上部には地平線３５がある。距離検出部１４が取得した距離画像９１０では、図２にて示したように地面までの距離が段階的に変化しており、樹木２１は符号９１１で示すように十字の形状で示される。これは、距離検出部１４の空間解像度が低いためである。仮に同一の環境において理想的な距離センサを用いると、図９（ｃ）に示す距離画像９２０が得られる。距離画像９２０では樹木２１は符号９２１で示すように樹木２１の形状どおりに示される。
【００４８】
図１０（ａ）は、図９（ｂ）の符号９１１付近を拡大し、符号２１Ａで示す樹木２１の輪郭を重畳した図である。図１０（ｂ）は、図１０（Ａ）において距離が異なる領域の境界を示す図である。図１０（ｃ）は、図１０（ｂ）にテーブルデータ１２１の座標対応画素を重畳した図である。ただし図１０（ｃ）における座標対応画素は、バツ印、丸印、三角印の３種類で示している。バツ印は適切な距離情報が得られている点を示し、丸印は適切な距離よりも遠い点を示し、三角印は適切な距離よりも近い点を示す。たとえば符号９１２で示す丸印は、樹木２１の一部なので樹木２１の他の部位と略同一の距離に認識されるべきである。
【００４９】
しかし図１０（ａ）を参照すると明らかなように、丸印９１２は樹木２１よりも遠い距離にあると認識されている。また符号９１３で示す三角印の点は、図１０（ａ）および図８を参照すると樹木２１ではなく地面中の点であり、樹木２１よりも遠いと認識されるべきである。しかし三角印９１３は樹木２１と同じ距離にあると認識されている。そこで、距離修正部１１２は後述する処理により図１０（ｄ）に示すように距離情報を補正する。すなわち距離修正部１１２により図８に示した立体物距離が算出されるので、テーブル補正部１１３はこの立体物距離を用いてテーブルデータ１２１を補正する。これによりテーブルデータ１２１の全ての座標対応画素において適切な変換が行われる。
【００５０】
（画像認識部の動作例）
図９（ａ）および図１１を参照して画像認識部１１１の動作例を説明する。画像認識部１１１は、図９（ａ）に示すカメラ１０Ａの撮影画像を処理対象として、前述の色情報を用いた手法等によるセグメント分割処理により、撮影画像を複数の領域、すなわちセグメントに分割する。図１１（ａ）では樹木２１が符号１１０１で示す１つの領域と認識されており、マーカー２２が符号１１０２で示すように４つの領域に認識されている。図１１（ｂ）は、図１１（ａ）に示すそれぞれのセグメントに便宜的に記号を付した図である。図１１（ｂ）に示すように、画像認識部１１１により撮影画像はＡ〜Ｉの９のセグメントに分割されている。ただしこのセグメント分割では、立体物と路面との区別はされていない。
【００５１】
（距離修正部の動作）
距離修正部１１２は、セグメントごとに、そのセグメント内の座標対応点の距離を次の３つのいずれかの方法で修正する。第１の方法は単純平均である。距離修正部１１２は、セグメント内の全ての座標対応点の距離情報の平均値を算出し、この平均値を処理対象セグメント内の全ての座標対応点の立体物距離とする。すなわち第１の方法によればセグメント内の全ての座標対応点は同一の立体物距離を有する。
【００５２】
第２の方法は１次近似である。距離修正部１１２は、セグメント内の座標対応点について、それぞれの座標値と距離情報の相関を一次関数で近似する。そして距離修正部１１２は、その近似式に基づきそれぞれの座標対応点の立体物距離を決定する。すなわち第２の方法によれば、たとえば車両２０に対して斜めに正対する壁の距離などを正確に算出できる。第３の方法は多次元近似である。第３の方法は第２の方法における近似を２次以上の多次元関数とするものである。第３の方法によれば、複雑な形状を有する物体の距離も正確に算出できる。
【００５３】
（画像処理装置の動作）
図１２を参照して視点変換画像を表示部１３に表示する際の画像処理装置１００の動作を説明する。以下に説明する画像処理装置１００の動作は、所定の時間ごと、たとえば１６ｍｓごとに実行が開始される。以下に説明する処理の各ステップの実行主体はＣＰＵ１０１である。
【００５４】
まずステップＳ５０１では、ＣＰＵ１０１は距離検出部１４から距離画像を取得する。続くステップＳ５０２ではＣＰＵ１０１は、カメラ１０から撮影画像を取得する。続くステップＳ５０３ではＣＰＵ１０１は、画像認識部１１１にステップＳ５０２において取得した距離画像を処理させてセグメント分割を実行させる。本ステップの実行例は図１１で説明したとおりである。続くステップＳ５０４ではＣＰＵ１０１は、以下に説明するステップＳ５０５〜Ｓ５０８をＳ５０３において算出されたそれぞれのセグメントに対して実行する。全てのセグメントに対して平行してＳ５０５〜Ｓ５０８の処理を実行してもよいが、ここでは処理対象を変化させて１つずつ順番に処理するとして説明する。また処理対象とするセグメントを処理対象セグメントと呼ぶ。
【００５５】
ステップＳ５０５ではＣＰＵ１０１は、処理対象セグメント内の距離情報に基づき、そのセグメントが立体物に対応する領域であるか、それとも路面に対応する領域であるかを判断する。この判断は例えば以下のように行うことができる。すなわち、カメラ１０Ａの取り付け位置および取り付け姿勢は既知なので、対応付け部１１４により、撮影対象を路面と仮定して撮影画像内の位置と距離の関係を予め算出できる。そしてセグメント内の距離情報と、そのセグメントの撮影画像内の位置から算出される前述の距離との差を比較することにより、そのセグメントにおける被写体が路面であるか否かを判断できる。ＣＰＵ１０１は、そのセグメントにおける被写体が立体物であると判断する場合はステップＳ５０６に進み、そのセグメントにおける被写体が路面であると判断する場合はステップＳ５０８に進む。なお距離が無限大または測定不能であることにより、処理対象セグメントの被写体が空であると判断する場合もステップＳ５０８に進む。
【００５６】
ステップＳ５０６ではＣＰＵ１０１は、距離修正部１１２を用いて処理対象セグメント内の全ての座標対応点の距離情報を修正、すなわち立体物距離を算出する。続くステップＳ５０７ではＣＰＵ１０１は、テーブル補正部１１３にテーブルデータ１２１における処理対象セグメント内の全ての座標対応点について書き換えを行わせてステップＳ５０９に進む。ただし本ステップにおいて補正されたテーブルデータ１２１は、後述するステップＳ５１０の実行が完了すると破棄されるものであり、いわば本ステップの処理はテーブルデータ１２１の一時的なコピーに対する補正である。ステップＳ５０５において処理対象セグメントが路面であると判断されると実行されるステップＳ５０８ではＣＰＵ１０１は、テーブル補正部１１３にテーブルデータ１２１を補正させることなくステップＳ５０９に進む。すなわちＳ５０８では特段の処理を行わないので、ステップＳ５０５において路面であると判断された場合はそのままＳ５０９に進んでもよい。
【００５７】
ステップＳ５０７およびステップＳ５０８の次に実行されるステップＳ５０９では、ＣＰＵ１０１は全てのセグメントを処理対象としたか否かを判断する。ＣＰＵ１０１は、処理対象としていないセグメントが存在すると判断する場合はそのセグメントを処理対象に設定してステップＳ５０５に戻る。ＣＰＵ１０１は、全てのセグメントを処理対象にしたと判断する場合はステップＳ５１０に進む。ステップＳ５１０では、画像変換部１１５がステップＳ５０７において補正されたテーブルデータ１２１を用いてカメラ１０の撮影画像を変換する。そして表示制御部１１７がこの変換された画像を表示部１３に出力して図１２に示す処理を終了する。
【００５８】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１００は、第１の空間解像度を有する撮影画像を取得するインタフェース１０５と、第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得するインタフェース１０５と、撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部１１１と、距離画像に基づき立体物領域の奥行き情報を算出する距離修正部１１２と、撮影画像を座標変換するための座標変換情報であるテーブルデータ１２１を距離修正部１１２が算出した立体物領域の奥行き情報に基づき補正するテーブル補正部１１３と、テーブル補正部１１３により補正されたテーブルデータ１２１を用いて撮影画像を座標変換した視点変換画像を生成する画像変換部１１５と、を備える。そのため、空間解像度が低い距離情報である距離画像を用いて高精度な視点変換画像を生成することができる。
【００５９】
（２）画像認識部１１１は、撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき立体物領域を含む複数のセグメントの輪郭を抽出する。そのため画像認識部１１１は撮影画像を容易に立体物領域を含む複数のセグメントに分割することができる。
【００６０】
（３）テーブルデータ１２１は、撮影画像上の変換元座標と視点変換画像上の変換先座標との組み合わせを複数含む。テーブル補正部１１３は、距離画像における立体物領域の距離情報に基づき、図８に示すように変換先座標、すなわち視点変換画像上の座標を補正する。そのため距離画像の解像度を疑似的に向上させることができる。
【００６１】
（４）テーブルデータ１２１は、撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成される。画像認識部１１１は、撮影画像に含まれる被写体ごとに撮影画像を複数のセグメントに分割する。テーブル補正部１１３は、距離画像に基づき複数のセグメントが立体物領域であるか否かをそれぞれ判断し（図１２のＳ５０５）、立体物領域であると判断したセグメント内の変換元座標に対応する変換先座標をテーブルデータ１２１において補正する（Ｓ５０７）。そのため、立体物ではない領域についてはテーブルデータ１２１の補正を行う必要がなく、処理時間を短縮することができる。
【００６２】
（５）テーブルデータ１２１は撮影画像の被写体が基準高さ平面内に存在することを前提に算出されている。テーブル補正部１１３は、距離修正部１１２が算出した立体物領域の奥行き情報を用いて被写体の基準高さ平面２３０からの高さ、および被写体の基準高さ平面上の位置を算出する。さらにテーブル補正部１１３は、視点変換の基準位置、算出した被写体の基準高さ平面からの高さ、および算出した被写体の基準高さ平面上の位置を用いてテーブルデータ１２１を補正する。
【００６３】
（変形例１）
第１の実施の形態におけるテーブルデータ１２１は、式（５）により表される撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を示すものであった。しかしテーブルデータ１２１は、式（１）により表される撮影画像上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものであってもよい。変形例１におけるテーブルデータを第１の実施の形態におけるテーブルデータ１２１と区別するために以下ではテーブルデータ１２１Ａと呼ぶ。本変形例においては、テーブルデータ１２１Ａを補正することにより３次元区間上に投影される撮影画像が変形される。画像変換部１１５は、３次元空間上に投影された撮影画像を仮想視点から撮影した画像、すなわち視点変換画像を作成する。
【００６４】
図１３は、テーブルデータ１２１Ａの一例を示す図である。テーブルデータ１２１Ａは、式（１）により表される撮影画像３０１上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。ただし本実施の形態では、補正前のテーブルデータ１２１Ａにおいて、３次元空間上の点ＰｗのＺｗ座標の値は全てゼロである。すなわち補正前のテーブルデータ１２１Ａは、撮影画像３０１上の点Ｐｒと三次元空間上のＺｗ＝０の平面上の点Ｐｗとの対応関係を示す。
【００６５】
本変形例によれば、事前に想定していない仮想視点がユーザにより設定された場合にもテーブルデータ１２１Ａを用いて視点変換画像を作成することができる。
【００６６】
（変形例２）
上述した第１の実施の形態では、テーブルデータ１２１は被写体がすべて路面上に存在するとの仮定の下であらかじめ作成されていた。しかしテーブルデータ１２１をあらかじめ作成せず随時作成してもよい。この場合は、図１２に示す処理においてテーブルデータ１２１が作成される。すなわちステップＳ５０７およびステップＳ５０８において、テーブルデータ１２１の該当する箇所が作成される。
【００６７】
（変形例３）
上述した第１の実施の形態では、車両２０は前カメラ１０Ａ、左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄの４つのカメラを備えた。しかし車両２０は少なくとも１つのカメラを備えればよい。また車両２０は５つ以上のカメラを備えてもよい。
【００６８】
（変形例４）
上述した第１の実施の形態では、画像認識部１１１がセグメント分割処理を行うことで撮影画像を複数の領域に分割し、その中で立体物に対応する領域の座標対応点を処理対象として、テーブル補正部１１３がテーブルデータ１２１の補正を行うこととした。しかし、画像認識部１１１は撮影画像内で立体物に対応する領域のみを特定してもよい。例えば、距離画像において奥行き情報が段階的に変化していない部分を抽出し、その部分に対応する同一被写体の領域を撮影画像において特定することで、立体物に対応する領域を撮影画像内で特定することが可能である。
【００６９】
（第２の実施の形態）
図１４〜図１８を参照して、画像処理装置１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、テーブルデータ１２１の撮影画像上の座標の値も修正される点が、第１の実施の形態と異なる。
【００７０】
（第２の実施の形態の概要）
第１の実施の形態では、抽出された輪郭に対してもともと座標対応点が密に設定されていた。しかし抽出された輪郭に対して座標対応点が疎に設定されている場合は、第１の実施の形態における効果は限定的になる。そこで本実施の形態では抽出された立体物の輪郭に対応させて、新たに座標対応点を設定する。
【００７１】
図１４は、第１の実施の形態を適用した場合に生じうる問題点を示す図である。図１４（ａ）は輪郭に対して座標対応点が疎に設定されている場合を示す例である。図１４（ｂ）は図１４（ａ）におけるＰＱ間の理想的な奥行き情報を示す模式図であり、図１４（ｃ）は図１４（ａ）におけるＰＱ間の奥行き情報を示す模式図である。ただし図１４（ｂ）および図１４（ｃ）において、図示上方向が距離が遠いことを示しており、白丸は輪郭を示している。図１４（ｂ）に示すように、理想的には輪郭を境に距離情報が明確に変化することが望ましい。しかし距離情報は座標対応点にのみ設定され、座標対応点と座標対応点との間の点は補間処理がされるので、いわば距離情報は図１４（ｃ）に示すように理想とは異なってしまう。
【００７２】
図１５（ａ）は第２の実施の形態によるテーブル補正部１１３により補正された座標対応点を示す図であり、図１５（ｂ）は図１５（ａ）におけるＰＱ間の奥行き情報を示す模式図である。本実施の形態では、図１５（ａ）に示すように座標対応点が立体物領域の輪郭の近傍であって輪郭の両側、すなわち立体物領域の外部と内部にそれぞれ設定される。そのため図１５（ｂ）に示すように距離が輪郭付近で急激に変化し、図１４（ｂ）に示した理想的な距離とおおよそ一致する。なお図１５では図示の都合により輪郭と座標対応点の間が空いているが、可能な限り輪郭と座標対応点を密接させることが望ましい。
【００７３】
（構成）
第２の実施の形態における画像処理装置１００の構成、および車両２０のハードウエア構成は、第１の実施の形態と同様である。ただし画像処理装置１００のＲＯＭ１０２に格納されるプログラムの動作が後述するように異なる。
【００７４】
図１６は、画像処理装置１００が備える機能を機能ブロックとして表した機能ブロック図である。画像処理装置１００は、第１の実施の形態における機能に加えて、座標対応点設定部１１８をさらに備える。座標対応点設定部１１８は、画像認識部１１１が分割したセグメントの輪郭の近傍に座標対応点を設定する。ただし座標対応点設定部１１８は、既存の座標対応点の座標を修正してもよいし、新たに座標対応点を加えてもよい。
【００７５】
（テーブルデータの補正）
図１７は、テーブルデータ１２１から補正対象座標対応点および新たに設定された座標対応点を抽出し、補正前後の座標を示した図である。図１７は、第１の実施の形態における図８に対応する。以下では主に図８との相違点を説明する。第２の実施の形態では、撮影画像上の座標も補正されうる。たとえば図１７の対応番号「ｏ２」では撮影画像上の座標のＸｒ座標およびＹｒ座標の両方が補正され、対応番号「ｏ３」では撮影画像上の座標のＹｒ座標が補正されている。また対応関係番号「ｏ４」は補正前には存在していないことからわかるように、新たに設定された座標対応点である。
【００７６】
（画像処理装置の動作）
図１８を参照して第２の実施の形態における画像処理装置１００の動作を説明する。ただし第１の実施の形態と共通する動作は説明を省略する。ステップＳ５０５までの処理は第１の実施の形態と同様なので、説明および図示を省略する。
【００７７】
ステップＳ５０５において立体物であると判断すると、ステップＳ５２１に進み、路面または空であると判断する場合はステップＳ５０８に進む。ステップＳ５２１においてＣＰＵ１０１は、座標対応点設定部１１８に処理対象のセグメントの輪郭の近傍であって当該セグメントの内部と外部に座標対応点を設定させる。
【００７８】
続くステップＳ５２２ではＣＰＵ１０１は、距離修正部１１２にステップＳ５２１において設定した座標対応点のうち、セグメントの外部に存在する座標対応点の距離情報を設定させる。この座標対応点の距離は、輪郭の外側に元々存在する座標対応点の距離に基づいて決定してもよいし、その座標対応点が路面に存在すると仮定して決定してもよい。続くステップＳ５０６ＡではＣＰＵ１０１は、距離修正部１１２を用いて処理対象セグメント内の全ての座標対応点の距離情報を修正、すなわち立体物距離を算出する。ただし処理対象セグメント内の全ての座標対応点には、ステップＳ５２１において新たに設定された座標対応点も含まれる。ステップＳ５０７以降の処理は第１の実施の形態と同様なので説明を省略する。
【００７９】
上述した第２の実施の形態によれば、次の作用効果が得られる。
（５）距離修正部１１２は、撮影画像上の変換元座標と視点変換画像上の変換先座標との組み合わせを複数含む。テーブル補正部１１３は、変換元座標を立体物領域の輪郭の近傍に補正する。そのため座標対応点が距離修正部１１２において密に設定されていない場合であっても、座標対応点を被写体の輪郭の近傍に補正することで、視点変換画像における立体形状の再現を高精度化することができる。
【００８０】
（６）テーブル補正部１１３は、立体物領域の輪郭の近傍であって立体物領域の外部および内部に変換元座標を配置する。そのため図１５に示すように立体形状の再現をさらに高精度化することができる。
【００８１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００８２】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【００８３】
１０      …  カメラ
１４      …  距離検出部
１００    …  画像処理装置
１０１    …  ＣＰＵ
１０４    …  記憶部
１０５    …  インタフェース
１１１    …  画像認識部
１１２    …  距離修正部
１１３    …  テーブル補正部
１１４    …  対応付け部
１１５    …  画像変換部
１１８    …  座標対応点設定部
１２１    …  テーブルデータ
【図１】
2019012915.tif 000008
【図２】
2019012915.tif 000009
【図３】
2019012915.tif 000010
【図４】
2019012915.tif 000011
【図５】
2019012915.tif 000012
【図６】
2019012915.tif 000013
【図７】
2019012915.tif 000014
【図８】
2019012915.tif 000015
【図９】
2019012915.tif 000016
【図１０】
2019012915.tif 000017
【図１１】
2019012915.tif 000018
【図１２】
2019012915.tif 000019
【図１３】
2019012915.tif 000020
【図１４】
2019012915.tif 000021
【図１５】
2019012915.tif 000022
【図１６】
2019012915.tif 000023
【図１７】
2019012915.tif 000024
【図１８】
2019012915.tif 000025