(57)【要約】  本技術は、起立物を認識しやすくすることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。処理対象の対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、対象画像における被写体位置を移動させる移動変換が行われる。本技術は、例えば、車両その他の移動体に搭載されたカメラユニットで撮影された画像の画像処理等に適用することができる。
2018221209.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
を備える画像処理装置。
【請求項２】
前記移動変換部は、前記被写体距離に応じて、前記被写体距離が、前記移動変換の前より短くなるように、前記被写体位置を移動させる前記移動変換を行う
請求項１に記載の画像処理装置。
【請求項３】
前記移動変換部は、前記被写体距離が長いほど、前記消失点に近づくように、前記被写体位置を移動させる前記移動変換を行う
請求項２に記載の画像処理装置。
【請求項４】
前記移動変換部は、前記被写体距離が閾値以上の前記被写体位置を移動させる前記移動変換を行う
請求項３に記載の画像処理装置。
【請求項５】
前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
請求項１に記載の画像処理装置。
【請求項６】
前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
請求項５に記載の画像処理装置。
【請求項７】
前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
請求項７に記載の画像処理装置。
【請求項９】
処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うことと
を含む画像処理方法。
【請求項１０】
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、起立物を認識しやすくすることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、車載カメラに関連する車載カメラ関連技術としては、広角レンズを用いて撮影された撮影画像の歪みを補正する歪み補正処理（例えば、特許文献１及び２）や、レンズ歪みパラメータと消失点位置を求めるカメラキャリブレーション（例えば、特許文献３）がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-081496号公報
【特許文献２】特開2013-110712号公報
【特許文献３】特開2011-185753号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば、自動車では、フロントグリルに設定されたカメラ（フロントカメラ）で前方の画像を撮像し表示するようなシステムや、リアのナンバープレートやトランクの開閉操作の取っ手等に設置されたカメラ（リアカメラ）で後方の画像を撮像し表示するようなシステム（ビューイングシステム：viewing system）がある。【０００５】
Viewing systemで提供される画像（以下、viewing画像ともいう）は、車載カメラで撮影された撮影画像を用いて生成される。例えば、viewing systemでは、車載カメラで撮影された撮影画像を、ドライバの視点等の所定の視点から見た視点変換画像に変換する視点変換を行い、その視点変換により得られる視点変換画像を、viewing画像として表示することができる。【０００６】
撮影画像の視点変換は、例えば、撮影画像のアフィン変換により行うことができるが、アフィン変換は、撮影画像に映る被写体が、すべて、例えば、道路等の定義した任意の平面又は曲面内に存在することを仮定してその面に対象の像が存在することを前提に行われる。そのため、例えば被写体が道路上の平面内に存在することを前提とした場合、視点変換の対象となる撮影画像に、道路上の面にない立体物となる車両（自動車や自動二輪車等）や、歩行者、その他の、道路上に起立する起立物が、被写体として映っている場合、視点変換により得られる視点変換画像に映る起立物は、道路に対して倒れた状態（傾斜した状態）の画像に変換されることになる。【０００７】
以上のように、視点変換画像において、起立物が倒れた状態で映る場合には、視点変換画像を見る運転者等のユーザが、起立物を、起立物（あるいは立体物）として認識しにくくなることがある。【０００８】
本技術は、このような状況に鑑みてなされたものであり、起立物を認識しやすくすることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の画像処理装置又はプログラムは、処理対象の対象画像を取得する取得部と、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部とを備える画像処理装置又はそのような画像処理装置としてコンピュータを機能させるためのプログラムである。【００１０】
本技術の画像処理方法は、処理対象の対象画像を取得することと、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うこととを含む画像処理方法である。【００１１】
本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、処理対象の対象画像が取得され、前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換が行われる。【００１２】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術によれば、起立物を認識しやすく表示することが可能となる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理システムが搭載され得る移動体の外観構成例を示す斜視図である。
【図３】画像処理部２２の構成例を示すブロック図である。
【図４】カメラユニット１０での撮影画像の撮影の様子と、その撮影によって得られる撮影画像との例を示す図である。
【図５】視点変換部４３の視点変換を説明する図である。
【図６】移動変換部４４の移動変換を説明する図である。
【図７】移動変換部４４の移動変換を説明する図である。
【図８】移動変換部４４の移動変換を説明する図である。
【図９】移動変換部４４の移動変換を説明する図である。
【図１０】視点変換画像の移動変換により得られる移動変換画像の例を示す図である。
【図１１】移動変換に用いる変換特性の切り替えの例を説明する図である。
【図１２】画像処理システムの処理の例を説明するフローチャートである。
【図１３】ステップＳ１２の画像処理の例を説明するフローチャートである。
【図１４】視点変換と画像の見え方との例を示す図である。
【図１５】視点変換と画像の見え方との他の例を示す図である。
【図１６】撮影画像に映る起立物としてのパイロンを説明する図である。
【図１７】等距離射影方式のカメラユニット１０で撮影される撮影範囲と撮影画像との例を示す図である。
【図１８】撮影画像の射影変換及び視点変換により得られる視点変換画像と、視点変換で行われる仮想的なカメラユニットの設定との例を示す図である。
【図１９】視点変換画像に映るパイロンが倒れる方向を説明する図である。
【図２０】移動変換の対象の視点変換画像と、その視点変換画像の移動変換により得られる移動変換画像のとの例を示す図である。
【図２１】画像処理部２２で行われる画像変換を説明する図である。
【図２２】画像処理部２２で行われる画像変換を、さらに説明する図である。
【図２３】画像処理部２２で行われる移動変換を説明する図である。
【図２４】閾値THrの決定方法の例を説明する図である。
【図２５】変換特性の切り替えの例を説明する図である。
【図２６】変換特性が切り替え可能な場合の、画像処理部２２で行われる画像変換を説明する図である。
【図２７】変換特性が切り替え可能な場合の、重畳部４７でのOSD情報の重畳の例を説明する図である。
【図２８】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜本技術を適用した画像処理システム＞
【００１８】
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００１９】
図１において、画像処理システムは、カメラユニット１０、操作部２１、画像処理部２２、設定記憶メモリ２３、画像出力部２４、及び、表示部２５を有する。
【００２０】
カメラユニット１０は、光学系１１、イメージセンサ１２、及び、画質制御部１３を有する。
【００２１】
光学系１１は、図示せぬレンズや絞り等の光学部品で構成され、被写体からの光を、イメージセンサ１２に入射させる。
【００２２】
イメージセンサ１２は、画像を撮影する。すなわち、イメージセンサ１２は、光学系１１から入射する光を受光して光電変換することにより、その光に対応する電気信号としての画像信号を生成する。イメージセンサ１２の撮影によって得られる画像である撮影画像（の画像信号）は、イメージセンサ１２から画質制御部１３に供給される。
【００２３】
画質制御部１３は、イメージセンサ１２が撮影画像を撮影するときの制御、例えば、露出時間の制御や、ビニングの制御等を行う。また、画質制御部１３は、イメージセンサ１２から供給される撮影画像に、NR(Noise Reduction)や、現像（デモザイク）等の画質に関係する信号処理を施し、画像処理部２２に供給する。
【００２４】
操作部２１は、ユーザによって操作され、その操作に対応する操作信号を、画像処理部２２に供給する。ここで、操作部２１の操作には、物理的な操作（例えば、タッチパネルへのタッチ等）の他、コマンド等となる音声の発話や、ジェスチャ、視線の移動等の、物理的な操作の代替手段となるユーザのあらゆる行動が含まれる。
【００２５】
画像処理部２２は、カメラユニット１０（の画像制御部１３）から供給される撮影画像に画像処理を施し、その画像処理によって得られる画像を、画像出力部２４に供給する。
【００２６】
画像処理部２２の画像処理は、操作部２１からの操作信号や、設定記憶メモリ２３に記憶された情報に応じて行われる。
【００２７】
設定記憶メモリ２３は、画像処理部２２の画像処理の設定その他の必要な情報を記憶する。
【００２８】
画像出力部２４は、画像処理部２２から供給される画像を、表示部２５に出力して表示させる表示制御を行う。
【００２９】
表示部２５は、例えば、LCD(Liquid Crystal Display)その他の表示デバイスで構成され、画像出力部２４が出力する画像を、例えば、viewing画像として表示する。
【００３０】
ここで、図１において、画質制御部１３から画像処理部２２への撮影画像の供給は、ディジタル伝送で行われることとする。画質制御部１３から画像処理部２２への撮影画像の供給が、ディジタル伝送で行われる場合には、画質制御部１３と画像処理部２２とを接続する接続線を比較的長く引き回しても、画質制御部１３と画像処理部２２との間のディジタル伝送において、撮影画像の画像信号の劣化がないからである。
【００３１】
なお、仮に、画像処理部２２から画像出力部２４への撮影画像の供給が、アナログ伝送で行われる場合、画質出力部２４以前でディジタル信号をアナログ信号に変換する必要があり、その際、画像リサイズによる解像度低下等の画質の低下が伴うケースが多い。この場合には、カメラユニット１０を、光学系１１ないし画質制御部１３に、画像処理部２２を含めて構成するとともに、画質制御部１３から画像処理部２２への画像の供給を、ディジタル伝送で行うこととする。カメラユニット１０に、画像処理部２２を含めることで、画質制御部１３と画像処理部２２とを接続する接続線を短く構成し、画像信号の劣化を抑制する他、ディジタル信号をそのまま画質制御部１３から画像処理部２２に入力し、画像切り出し等の処理を行った後、アナログ信号への変換を行うことで、解像度低下を抑制することができるからである。
【００３２】
また、図１では、画像処理部２２の画像処理後の画像を、viewing画像として表示することとしたが、画像処理部２２の画像処理後の画像は、viewing画像として表示する他、その他の運転アシストの用に供することができる。
【００３３】
＜画像処理システムが搭載され得る移動体の構成例＞
【００３４】
図２は、図１の画像処理システムが搭載され得る移動体の外観構成例を示す斜視図である。
【００３５】
ここで、図１の画像処理システムが搭載され得る移動体としては、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等を採用することができる。
【００３６】
図２では、図１の画像処理システムが搭載され得る移動体として、自動車である車両３０が採用されている。
【００３７】
車両３０の前方中央部には、カメラユニット３１が設けられ、後方中央部には、カメラユニット３２が設けられている。また、車両３０の前方に向かって左側のサイドミラーが設けられる部分には、カメラユニット３３が設けられ、右側のサイドミラーが設けられる部分には、カメラユニット３４が設けられている。なお、図２において、点線は、カメラユニット３１ないし３４の撮影範囲を表している。
【００３８】
カメラユニット３１は、車両３０の前方を撮影し、カメラユニット３２は、車両３０の後方を撮影する。カメラユニット３３は、車両３０の左方を撮影し、カメラユニット３４は、車両３０の右方を撮影する。
【００３９】
カメラユニット３１ないし３４については、なるべく広い撮影範囲の撮影をすることができるように、例えば、魚眼レンズ等の広角レンズを採用することができる。
【００４０】
以下、カメラユニット３１ないし３４のうちの、例えば、後方中央部のカメラユニット３２として、カメラユニット１０が採用され、図１の画像処理システムが、車両３０に搭載されていることとして、図１の画像処理システムの説明を行う。
【００４１】
ここで、図２に示したように、カメラユニット３１ないし３４が搭載された車両３０について、例えば、駐車のアシスト等のために、車両３０を上方から見たviewing画像である俯瞰画像を生成する場合、カメラユニット３１として、そのカメラユニット３１の取り付け位置を中心とする画角が180度に近い広角の画像を撮影することができる、魚眼レンズ等を採用した超広角カメラを採用し、車両３０の周囲の画像を撮影する必要がある。カメラユニット３２ないし３４についても同様である。
【００４２】
また、例えば、車両３０の左右の後方から接近する他の車両等を、ユーザが確認することができるように、広範囲の画像を生成する場合には、車両３０の後方中央部のカメラユニット３２、並びに、車両３０の左右のカメラユニット３３及び３４を用いて、広角の画像を撮影する必要がある。
【００４３】
車両３０には、用途ごと等に、撮影可能な画像の画角が異なる複数のカメラユニットを設けることができるが、この場合、車両３０に設けるカメラユニットの数が多くなる。
【００４４】
そこで、車両３０には、広角の画像を撮影することができるカメラユニットをより少ない数だけ設け、すなわち、例えば、カメラユニット３１ないし３４の４台を設け、そのカメラユニット３１ないし３４で撮影される広角の画像から、様々なviewing画像を生成することが望ましい。
【００４５】
但し、カメラユニット３１ないし３４で撮影される広角の画像は、例えば、魚眼レンズを用いて撮影されるため、人が視覚で知覚する画像との比較で歪みを有する。そのため、カメラユニット３１ないし３４で撮影される広角の画像から、ユーザに提示されるviewing画像を生成する場合には、ユーザが見やすいように、広角の画像の歪みを必要に応じて補正すること、すなわち、射影方式を変換することが必要になる。
【００４６】
人が日常で見慣れた世界を表現する画像の射影方式としては、中心射影方式が適している。例えば、ピンフォールカメラで撮影される画像の射影方式は、中心射影方式である。
【００４７】
一方、カメラユニット３１ないし３４において、例えば、魚眼レンズが採用され、広角な画像が撮影される場合には、カメラユニット３１ないし３４で撮影される画像の射影方式は、例えば、等距離射影方式である。
【００４８】
したがって、ユーザが見やすいviewing画像を生成するには、カメラユニット３１ないし３４で撮影された等距離射影方式の画像を、中心射影方式の画像に射影変換する必要がある。
【００４９】
但し、等距離射影方式の画像を、中心射影方式の画像に射影変換することにより得られる射影変換後の画像は、パースペクティブの問題で、視覚的な奥行き感が喪失した画像になる。さらに、射影変換後の画像では、地面に起立する起立物が傾斜した状態になることがあり、また、光軸から離れるほど、さらに遠方に広がるような状態になる。
【００５０】
中心射影方式の画像については、像高（光軸からの距離）h1は、式h1=f×tanθで表され、等距離射影方式の画像については、像高h2は、式h2=fθで表される。ここで、fは、画像を撮影するときのレンズの焦点距離を表し、θは、レンズに入射する光線と光軸とがなす角度を表す。
【００５１】
式h1=f×tanθ及び式h2=fθから、等距離射影方式から中心射影方式への射影変換は、式h1=f×tan(h2/f)で表される。したがって、等距離射影方式の画像を、中心射影方式の画像に射影変換することにより得られる射影変換後の画像では、等距離射影方式の画像の像高h2が大の位置ほど、像高h1が、より大の位置に移動する。すなわち、等距離射影方式の画像において、光軸から離れた位置ほど、射影変換後の画像において、光軸からより離れた位置に移動する。
【００５２】
したがって、例えば、俯瞰画像を生成する場合等に、等距離射影方式から中心射影方式に射影変換を行った射影変換後の画像について、その画像を撮影する仮想的なカメラユニットの光軸を下方に向ける視点変換を行うと、その視点変換後の画像では、道路（路面）上の立体物が、光軸からより離れた位置に映り、外側（光軸から離れる方向）に引き伸ばされたようになりやすい。
【００５３】
画像処理部２２では、以上のような射影変換や、その他の画像処理が行われる。
【００５４】
＜画像処理部２２の構成例＞
【００５５】
図３は、図１の画像処理部２２の構成例を示すブロック図である。
【００５６】
図３において、画像処理部２２は、画像取得部４１、射影変換部４２、視点変換部４３、移動変換部４４、切り替え部４５、表示領域切り出し部４６、及び、重畳部４７を有する。
【００５７】
画像取得部４１は、カメラユニット１０の画質制御部１３から供給される撮影画像を、画像処理の処理対象となる対象画像として取得し、射影変換部４２に供給する。
【００５８】
射影変換部４２は、画像取得部４１から供給される対象画像としての撮影画像の射影方式を変換する。
【００５９】
すなわち、カメラユニット１０（図１）の光学系１１を構成するレンズとしては、例えば、撮影画像として、広い撮影範囲を撮影した画像を得ることができるように、魚眼レンズ等の広角レンズが採用され、カメラユニット１０では、例えば、等距離射影方式の撮影画像が撮影される。
【００６０】
等距離射影方式の撮影画像に映る被写体の像は歪むため、射影変換部４２は、等距離射影方式の撮影画像を、例えば、像が歪まない中心射影方式の撮影画像に変換する射影変換を行う。射影変換部４２の射影変換は、カメラユニット１０の光学系１１を構成するレンズの像高特性を考慮して行われる。
【００６１】
射影変換部４２は、画像取得部４１からの対象画像としての撮影画像の射影変換により得られる射影変換画像を、視点変換部４３に供給する。
【００６２】
なお、ここでは、射影変換部４２の射影変換において、等距離射影方式の撮影画像を、中心射影方式の撮影画像に変換することとしたが、射影変換の対象となる撮影画像の射影方式は、等距離射影方式に限定されるものではない。同様に、射影変換後の撮影画像（射影変換画像）の射影方式は、中心射影方式に限定されるものではなく、例えば、立体射影方式その他の消失点が存在する任意の射影方式を採用することができる。
【００６３】
視点変換部４３は、射影変換部４２から供給される射影変換画像を、所定の視点から見た視点変換画像に変換する視点変換を行う。
【００６４】
ここで、視点には、視点位置と視線方向が含まれる。カメラユニット１０で撮影された撮影画像の視点としての視点位置と視線方向は、それぞれ、カメラユニット１０の位置とカメラユニット１０の光軸方向で表される。
【００６５】
視点変換部４３は、例えば、仮想的なカメラユニットを設定（想定）し、射影変換画像を、その仮想的なカメラユニットから見た（撮影した）視点変換画像に変換する視点変換を行う。
【００６６】
例えば、仮想的なカメラユニットは、その仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように設定される。
【００６７】
したがって、視点変換部４３の視点変換は、仮想的なカメラユニットから撮影を行ったときの光軸が、視点変換画像における消失点に合致するように行われる。
【００６８】
ここで、光軸が、視点変換画像における消失点に合致するとは、光軸と視点変換画像との交点が、視点変換画像における消失点に一致することを意味する。
【００６９】
視点変換部４３は、射影変換画像の視点変換により得られる視点変換画像を、移動変換部４４に供給する。
【００７０】
なお、ここでは、射影変換を行った後に、視点変換を行うが、射影変換及び視点変換の順番は、逆でもよい。すなわち、視点変換を行った後に、射影変換を行うことができる。
【００７１】
移動変換部４４は、視点変換部４３から供給される視点変換画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、視点変換画像における被写体位置を移動させる移動変換を行う。本実施形態においては視点変換画像における消失点から被写体が映る被写体位置までの被写体距離を変換領域のパラメータと定義しているが、距離ではなく等価の異なるパラメータを用いて定義しても良い。例えば仮想的なカメラユニットから撮影を行ったときの光軸が、視点変換画像における消失点に合致する場合、仮想的なカメラユニットの方角は被写体距離と置き換えることができる。
【００７２】
例えば、移動変換部４４は、視点変換画像について、被写体距離に応じて、被写体距離が、移動変換の前より短くなるように、被写体位置を移動させる移動変換を行う。
【００７３】
ここで、移動変換部４４は、切り替え部４５から供給される変換特性に従って、移動変換を行う。変換特性は、移動変換の前の被写体距離と、移動変換の後の被写体距離との関係を表す。
【００７４】
移動変換部４４は、視点変換画像の移動変換により得られる移動変換画像を、表示領域切り出し部４６に供給する。
【００７５】
切り替え部４５は、設定記憶メモリ２３に記憶された変換特性を取得し（読み出し）、移動変換部４４に供給する。
【００７６】
ここで、設定記憶メモリ２３には、例えば、複数（種類）の変換特性を記憶させることができる。切り替え部４５は、例えば、ユーザの操作、すなわち、操作部２１から供給される操作信号に応じて、設定記憶メモリ２３から読み出す変換特性を切り替え、切り替え後の変換特性を、移動変換部４４に供給する。
【００７７】
したがって、画像処理部２２では、ユーザの操作に応じて、移動変換に用いる変換特性を切り替えることができる。
【００７８】
表示領域切り出し部４６は、移動変換部４４から供給される移動変換画像から、表示部２５に表示させる表示領域の画像を、切り出し画像として切り出し、重畳部４７に供給する。
【００７９】
ここで、表示領域切り出し部４６では、移動変換画像の一部の画像の他、移動変換画像の全部を、切り出し画像として切り出すことができる。
【００８０】
重畳部４７は、表示領域切り出し部４６から供給される切り出し画像に、OSD(On Screen Display)で表示するOSD情報を必要に応じて重畳し、画像出力部２４に供給する。なお、射影変換部４２の射影変換、視点変換部４３の視点変換、移動変換部４４の移動変換、及び、表示領域切り出し部４６の切り出し画像の切り出しの処理は、どのような順番で行ってもよいし、これらの処理のすべてを包括的に一度の処理で行ってもよい。
【００８１】
＜カメラユニット１０での撮影画像の撮影＞
【００８２】
図４は、カメラユニット１０での撮影画像の撮影の様子と、その撮影によって得られる撮影画像との例を示す図である。
【００８３】
カメラユニット１０は、車両３０の後方中央部に、光軸をやや下方に向けて設置されている。
【００８４】
車両３０は、３車線の道路上に存在し（又は３区画の駐車場の道路上に存在し）、車両３０の後方の左右には、道路上の、車線を区分する車線区分線の近くに、起立物としてのパイロンが置かれている。
【００８５】
なお、車線を区分する区画線には、車道中央線や、車線境界線、車道外側線等があるが、ここでは、まとめて、車線区分線ということとする。
【００８６】
以上のような状況において、カメラユニット１０が撮影する撮影画像は、図４に示すように、車両３０の後方の道路と、その道路上に置かれた起立物としてのパイロンとが映った画像になる。
【００８７】
撮影画像では、カメラユニット１０の光軸が、車両３０の後方に続く道路の車線区分線の消失点と合致するとは限らない。
【００８８】
光軸が消失点に合致しない場合、撮影画像では、例えば、消失点に向かう車線区分線等の、実世界で直線状になっている被写体の直線性が保たれず、撮影画像を見るユーザに違和感を感じさせることがある。
【００８９】
そこで、視点変換部４３（図３）では、仮想的なカメラユニットが、その仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように設定され、撮影画像（射影変換部４２の射影変換により得られる射影変換画像）が、仮想的なカメラユニットから撮影したような視点変換画像に視点変換される。
【００９０】
ここで、カメラユニット１０が撮影する撮影画像は、例えば、広角の画像であり、図４の撮影画像に映る範囲よりも広い画角の範囲が映った画像であるが、図面では、そのような広い画角の範囲が映った画像のうちの、一部の範囲が映り、かつ、消失点を含む部分を、撮影画像として示す。したがって、実際には、図４に撮影画像として示す矩形の外側にも、撮影画像としての画像は続いている。視点変換画像やその他の画像についても同様である。
【００９１】
＜視点変換部４３の視点変換＞
【００９２】
図５は、視点変換部４３の視点変換を説明する図である。
【００９３】
視点変換部４３は、上述のように、仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように、仮想的な視点の設定、すなわち、仮想的なカメラユニットの設定を行う。
【００９４】
図５では、仮想的なカメラユニットが、カメラユニット１０よりも、車両３０の前方に位置し、光軸が道路と平行になるように設定されている。言い換えれば、仮想的なカメラユニットは、カメラユニット１０よりも、撮影画像に映るパイロンや道路等の被写体から遠ざかり、かつ、光軸が、カメラユニット１０よりも上を向くように設定されている。
【００９５】
視点変換部４３は、撮影画像（射影変換部４２の射影変換により得られる射影変換画像）を、仮想的なカメラユニットから撮影したような視点変換画像に視点変換する。視点変換部４３の視点変換は、例えば、アフィン変換によって行うことができる。
【００９６】
以上のように、撮影画像を、光軸が視点変換画像における消失点に合致する仮想的なカメラユニットから撮影した視点変換画像に視点変換することにより、視点変換画像では、例えば、図５に示すように、消失点に向かう車線区分線等の、実世界で直線状になっている被写体の直線性が保たれる。その結果、視点変換画像を見るユーザに違和感を感じさせることを抑制することができる。
【００９７】
ところで、本実施の形態では、射影変換画像に映る被写体の奥行き情報がなく、そのため、射影変換画像の視点変換は、３次元空間における被写体の位置を考慮しない、例えば、アフィン変換等によって行われる。
【００９８】
視点変換としてのアフィン変換は、その視点変換の対象の射影変換画像に映る被写体が、すべて、道路上の平面内に存在することを前提に行われる。そのため、仮想的なカメラユニットが、射影変換画像に映るパイロンや道路等の被写体から遠ざかる位置に設定される場合、射影変換画像の視点変換によって得られる視点変換画像では、消失点から離れた位置（実世界で、カメラユニット１０に近い位置）の左右にある起立物が、道路に倒れた状態になる。
【００９９】
例えば、図５に示した視点変換画像では、実世界で、カメラユニット１０に近い位置の左右にある起立物としてのパイロンが、図４に示した視点変換前の撮影画像の場合よりも、道路に倒れた状態になっている。
【０１００】
以上のように、視点変換画像において、起立物が倒れた状態で映る場合には、ユーザが、視点変換画像を見たときに、起立物を、起立物（あるいは立体物）として認識しにくくなることがある。
【０１０１】
そこで、画像処理部２２（図３）では、ユーザが起立物を認識しやすくするために、移動変換部４４が移動変換を行う。
【０１０２】
＜移動変換部４４の移動変換＞
【０１０３】
図６、図７、図８、及び、図９は、移動変換部４４の移動変換を説明する図である。
【０１０４】
すなわち、図６は、視点変換により、起立物が倒れた状態になった視点変換画像の例を示す図である。
【０１０５】
図６の視点変換画像では、道路上の、カメラユニット１０の手前側の左右の位置それぞれに、起立物としてのパイロンが１個ずつ置かれ、奥側の中央の位置に、起立物としての２個のパイロンが置かれている。
【０１０６】
視点変換画像において、手前側の左右の位置に置かれた起立物としてのパイロンは、視点変換によって倒れた状態になっており、起立物として認識しにくい表示になっている。
【０１０７】
図７は、図６の視点変換画像を対象とする移動変換の例を示す図である。
【０１０８】
移動変換部４４の移動変換では、視点変換画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、視点変換画像における被写体位置が移動される。
【０１０９】
図７の視点変換画像では、手前側の左右の位置に置かれた起立物としてのパイロン（の先端）の被写体距離（消失点からパイロンまでの距離）は、距離r1になっている。
【０１１０】
図７では、かかる視点変換画像を対象とする移動変換によって、手前側の左右の位置に置かれたパイロンの移動変換前の被写体距離r1に応じて、パイロンの移動変換後の被写体距離が、移動変換前の被写体距離r1より短い距離R1になるように、手前側の左右の位置に置かれたパイロンの被写体位置が移動される。
【０１１１】
ここで、視点変換において、仮想的なカメラユニットが、撮影画像に映るパイロンや道路等の被写体から遠ざかる位置に設定される場合には、視点変換画像において、消失点の近くに映る起立物（仮想的なカメラユニットから遠方にある起立物）は、倒れた状態にならないが、消失点から離れた位置に映る起立物は、消失点から離れるほど倒れた状態になる。
【０１１２】
そこで、移動変換では、消失点の近くに映る被写体については、被写体位置を移動させず、消失点から離れた位置に映る被写体については、消失点から離れるほど、被写体位置を、消失点に向かって近づけるように移動させる。
【０１１３】
図８は、図６の視点変換画像の移動変換によって得られる移動変換画像の例を示す図である。
【０１１４】
移動変換によれば、視点変換画像において、図６で説明したように、視点変換によって倒れた状態になっている、手前側の左右の位置に置かれた起立物としてのパイロンが、図８に示すように起きた状態になる。
【０１１５】
したがって、視点変換画像の移動変換によって得られる移動変換画像では、手前側の左右の位置に置かれたパイロンが、道路上の起立物として認識しやすくなる。
【０１１６】
なお、移動変換において、被写体位置を位置Ａから位置Ｂに移動させることは、例えば、被写体位置Ａの画素の画素値を、被写体位置Ｂの画素の画素値に変更することにより行うことができる。
【０１１７】
また、移動変換は、移動変換前の被写体距離と、移動変換後の被写体距離との関係を表す変換特性に従って行うことができる。
【０１１８】
図９は、変換特性の例を示す図である。
【０１１９】
図９において、横軸は、移動変換前の被写体距離rを表し、縦軸は、移動変換後の被写体距離Rを表す。
【０１２０】
図９の変換特性は、移動変換前の被写体距離rが閾値THr以下である場合については、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっており、移動変換前の被写体距離rが閾値THrより大である場合については、移動変換後の被写体距離Rが、移動変換前の被写体距離rより短くなっている。
【０１２１】
図９の変換特性によれば、移動変換前の被写体距離rが閾値THr以下の被写体位置は、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなるように移動される。したがって、移動変換前の被写体距離rが閾値THr以下の被写体位置は、実質的に移動しない。
【０１２２】
また、図９の変換特性によれば、移動変換前の被写体距離rが閾値THrを超える被写体位置は、その被写体距離rに応じて、移動変換後の被写体距離Rが、移動変換前の被写体距離rよりも、より短くなるように、消失点に向かって移動される。
【０１２３】
すなわち、移動変換前の被写体距離rが閾値THrを超える被写体位置は、その被写体距離rに応じて、被写体距離rが大であるほど、消失点に近づく程度（距離）が大になるように移動される。
【０１２４】
図１０は、図５に示した視点変換画像の移動変換により得られる移動変換画像の例を示す図である。
【０１２５】
図５で説明したように、視点変換画像では、カメラユニット１０に近い位置の左右にある起立物としてのパイロンが、道路に倒れた状態になっている。
【０１２６】
かかる視点変換画像の移動変換を、例えば、図９の変換特性に従って行うことにより、図１０に示すように、視点変換画像において道路に倒れた状態のパイロンが起きた状態になった移動変換画像を得ることができる。
【０１２７】
＜変換特性の切り替え＞
【０１２８】
図１１は、移動変換に用いる変換特性の切り替えの例を説明する図である。
【０１２９】
図３で説明したように、切り替え部４５は、例えば、ユーザの操作等に応じて、設定記憶メモリ２３から読み出して移動変換部４４に供給する変換特性を切り替えることができる。
【０１３０】
図１１では、変換特性として、第１の特性と第２の特性とが用意されている。
【０１３１】
変換特性としての第１の特性では、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっている。したがって、第１の特性に従った移動変換では、被写体位置は、その被写体位置に移動されるので、実質的に移動しない。
【０１３２】
変換特性としての第２の特性では、図９の変換特性と同様に、移動変換前の被写体距離rが閾値THr以下である場合には、移動変換後の被写体距離Rが、移動変換前の被写体距離rに等しくなっており、移動変換前の被写体距離rが閾値THrより大である場合には、移動変換後の被写体距離Rが、移動変換前の被写体距離rより短くなっている。
【０１３３】
第１の特性に従った移動変換によれば、視点変換画像と同様の移動変換画像、すなわち、図１１に示すように、起立物としてのパイロンが視点変換により倒れた状態になったままの移動変換画像を得ることができる。
【０１３４】
第２の特性に従った移動変換によれば、図１１に示すように、視点変換により倒れた状態になった起立物としてのパイロンが起きた状態になった移動変換画像を得ることができる。
【０１３５】
なお、切り替え部４５で切り替えの対象とする変換特性としては、第１及び第２の特性の他、閾値THrが第２の特性と異なる特性や、閾値THr以降の被写体距離rとRとの関係が第２の特性とは異なる特性（閾値THr以降の被写体距離rとRとの関係が、第２の特性よりも急峻又は緩やかに変換する特性）を採用することができる。
【０１３６】
変換特性を切り替えることにより、移動変換により得られる移動変換画像において、視点変換により倒れた状態になった起立物を起こす程度を調整することができる。
変換特性は、本発明のカメラシステムが搭載された車が出荷前に（工場において）/販売される前に（販売店において）調整されても良い。また、販売後に車のユーザが変換特性を調整できるようにしても良い。車のユーザが変換特性を調整する場合は、ユーザごとにその調整値を保存しておいて、ユーザに応じて適宜読み出すような処理を行っても良い。
【０１３７】
ここで、変換特性の切り替えによれば、移動変換画像における起立物を起こす程度の調整の他、移動変換画像に映る範囲の画角を調整することができる。
【０１３８】
すなわち、例えば、上述の第１及び第２の特性を切り替える場合には、第１及び第２の特性のいずれの特性であっても、消失点から閾値THr以内の被写体位置は、実質的に移動しないので、移動変換画像において、消失点を中心とする半径THrの円内の領域については、見え方は同一である。
【０１３９】
一方、視点変換画像において、消失点から閾値THrを超える被写体位置は、第１の特性では、実質的に移動しないが、第２の特性では、被写体距離rが遠いほど、消失点の方向に移動される。
【０１４０】
したがって、第１の特性に従った移動変換により得られる移動変換画像と、第２の特性に従った移動変換により得られる移動変換画像とでは、消失点を中心とする半径THrの円の外側の領域については、その領域に映る範囲が変化する。
【０１４１】
すなわち、第１の特性では、被写体位置は、移動しないが、第２の特性では、被写体位置は、被写体距離rが遠いほど、消失点の方向に移動されるため、第２の特性に従った移動変換により得られる移動変換画像には、第１の特性に従った移動変換により得られる移動変換画像よりも広い画角の範囲が映る。
【０１４２】
したがって、変換特性を切り替えることによって、移動変換画像に映る範囲の画角を切り替える（調整する）ことができる。
【０１４３】
＜画像処理システムの処理＞
【０１４４】
図１２は、図１の画像処理システムの処理の例を説明するフローチャートである。
【０１４５】
ステップＳ１１において、カメラユニット１０は、撮影画像を撮影し、画像処理部２２に供給して、処理は、ステップＳ１２に進む。
【０１４６】
ステップＳ１２では、画像処理部２２は、カメラユニット１０からの撮影画像を取得し、その撮影画像に画像処理を施す。そして、画像処理部２２は、画像処理の結果得られる画像を、画像出力部２４に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
【０１４７】
ステップＳ１３では、画像出力部２４が、画像処理部２２からの画像処理後の画像を、表示部２５に出力することで表示させ、処理は終了する。
【０１４８】
図１３は、図１２のステップＳ１２の画像処理の例を説明するフローチャートである。
【０１４９】
ステップＳ２１において、画像取得部４１は、カメラユニット１０から供給される撮影画像を、画像処理の処理対象となる対象画像として取得し、射影変換部４２に供給して、処理は、ステップＳ２２に進む。
【０１５０】
ステップＳ２２では、射影変換部４２は、画像取得部４１からの対象画像としての撮影画像の射影変換を行い、その射影変換により得られる射影変換画像を、視点変換部４３に供給して、処理は、ステップＳ２３に進む。
【０１５１】
ステップＳ２３では、視点変換部４３は、仮想的なカメラユニットを設定（想定）し、射影変換部４２からの射影変換画像の視点変換を、仮想的なカメラユニットの光軸が、視点変換画像における消失点に合致するように行う。そして、視点変換部４３は、射影変換画像の視点変換により得られる視点変換画像を、移動変換部４４に供給し、処理は、ステップＳ２３からステップＳ２４に進む。
【０１５２】
ステップＳ２４では、切り替え部４５が、設定記憶メモリ２３から変換特性を取得し、移動変換部４４に供給して、処理は、ステップＳ２５に進む。
【０１５３】
ステップＳ２５では、移動変換部４４は、直前のステップＳ２４で切り替え部４５から供給された変換特性（最新の変換特性）に従って、視点変換部４３からの視点変換画像の移動変換を行う。そして、移動変換部４４は、視点変換画像の移動変換により得られる移動変換画像を、表示領域切り出し部４６に供給し、処理は、ステップＳ２５からステップＳ２６に進む。
【０１５４】
ステップＳ２６では、表示領域切り出し部４６は、移動変換部４４からの移動変換画像から、表示部２５に表示させる表示領域の画像を、切り出し画像として切り出す。そして、表示領域切り出し部４６は、切り出し画像を、重畳部４７に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
【０１５５】
ステップＳ２７では、切り替え部４５が、移動変換に用いられる変換特性を切り替えるかどうかを判定する。
【０１５６】
ステップＳ２７において、移動変換に用いられる変換特性を切り替えると判定された場合、すなわち、例えば、変換特性を切り替えるように、操作部２１が操作された場合、処理は、ステップＳ２４に戻る。
【０１５７】
ステップＳ２４では、切り替え部４５は、設定記憶メモリ２３から前回取得した変換特性とは異なる変換特性を新たに取得して、移動変換部４４に供給し、以下、同様の処理が繰り返される。
【０１５８】
ここで、以上のように、切り替え部４５が新たに取得した変換特性が移動変換部４４に供給されることで、移動変換に用いられる変換特性が切り替えられる。
【０１５９】
一方、ステップＳ２７において、移動変換に用いられる変換特性を切り替えないと判定された場合、すなわち、例えば、変換特性を切り替えるように、操作部２１が操作されなかった場合、処理は、ステップＳ２８に進む。
【０１６０】
ステップＳ２８では、重畳部４７が、表示領域切り出し部４６からの切り出し画像に、OSD情報を必要に応じて重畳し、画像出力部２４に供給して、処理はリターンする。なお、ステップＳ２２の射影変換、ステップＳ２３の視点変換、ステップＳ２４及びＳ２５の変換特性の取得及びその変換特性を用いての移動変換、並びに、ステップＳ２６の切り出し画像（表示領域の画像）の切り出しの処理は、どのような順番で行ってもよいし、これらの処理のすべてを包括的に一度の処理で行ってもよい。
【０１６１】
＜視点変換と画像の見え方＞
【０１６２】
図１４は、視点変換と画像の見え方との例を示す図である。
【０１６３】
すなわち、図１４は、中心射影方式で撮影された撮影画像と、その撮影画像の視点変換により得られる視点変換画像との例を示している。
【０１６４】
図１４のＡは、カメラユニット１０が中心射影方式の撮影を行う場合の撮影状況（を表す平面図）と、カメラユニット１０で撮影される撮影画像との例を示している。なお、図１４の撮影状況を示す図は、平面図である。
【０１６５】
図１４のＡでは、起立物としてのパイロンが置かれている道路が中心射影方式で撮影され、道路と、その道路上に置かれたパイロンとが映った撮影画像が得られている。
【０１６６】
図１４のＢは、仮想的なカメラユニットを、被写体（パイロン）に近づく位置（本実施の形態では、車両３０の後方）に設定した場合の撮影状況と、仮想的なカメラユニットが被写体に近づく位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。
【０１６７】
仮想的なカメラユニットが被写体に近づく位置に設定された場合、図１４のＢの視点変換画像に示すように、消失点から離れた位置のパイロンが、内側（消失点側）に倒れた状態になる。
【０１６８】
図１４のＣは、仮想的なカメラユニットを、被写体から遠ざかる位置（本実施の形態では、車両３０の前方）に設定した場合の撮影状況と、仮想的なカメラユニットが被写体から遠ざかる位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。
【０１６９】
仮想的なカメラユニットが被写体から遠ざかる位置に設定された場合、図１４のＣの視点変換画像に示すように、消失点から離れた位置のパイロンが、外側（消失点側とは反対側）に倒れた状態になる。
【０１７０】
図１５は、視点変換と画像の見え方との他の例を示す図である。
【０１７１】
すなわち、図１５は、中心射影方式で撮影された撮影画像と、その撮影画像の視点変換により得られる視点変換画像との他の例を示している。
【０１７２】
図１５のＡは、カメラユニット１０が中心射影方式の撮影を行う場合の撮影状況（を側面から見た図）と、カメラユニット１０で撮影される撮影画像との例を示している。なお、図１５の撮影状況を示す図は、車両３０の前方に向かって撮影状況を左側から見た図である。
【０１７３】
図１５のＡでは、図１４のＡの場合と同様に、起立物としてのパイロンが置かれている道路が中心射影方式で撮影され、道路と、その道路上に置かれたパイロンとが映った撮影画像が得られている。
【０１７４】
図１５のＢは、仮想的なカメラユニットを、カメラユニット１０の下側に移動した位置（本実施の形態では、道路に近づく方向）に設定した場合の撮影状況と、仮想的なカメラユニットが下側に移動した位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。
【０１７５】
仮想的なカメラユニットが下側に移動した位置に設定された場合、図１５のＢの視点変換画像に示すように、消失点から離れた位置のパイロンが、（やや）内側に倒れた状態になる。
【０１７６】
図１５のＣは、仮想的なカメラユニットを、カメラユニット１０の上側に移動した位置（本実施の形態では、道路から遠ざかる方向）に設定した場合の撮影状況と、仮想的なカメラユニットが上側に移動した位置に設定された場合の、撮影画像の視点変換により得られる視点変換画像との例を示している。
【０１７７】
仮想的なカメラユニットが上側に移動した位置に設定された場合、図１５のＣの視点変換画像に示すように、消失点から離れた位置のパイロンが、（やや）外側に倒れた状態になる。
【０１７８】
図１６は、撮影画像に映る起立物としてのパイロンを説明する図である。
【０１７９】
図１６は、起立物としてのパイロンが置かれた道路を撮影する場合の撮影状況と、その撮影により得られる撮影画像との例を示している。なお、図１６では、撮影状況を示す図として、平面図と、車両３０の前方に向かって撮影状況を左側から見た図とが示されている。
【０１８０】
道路に起立する起立物としてのパイロンが映った１枚の撮影画像だけでは、その撮影画像に映るパイロンが、道路上に置かれた起立物であるのか、又は、起立物としてのパイロンを道路上に射影した射影像であるのかを区別することはできない。
【０１８１】
すなわち、起立物としてのパイロンが置かれた道路を撮影しても、パイロンの射影像が描かれた道路を撮影しても、同様の撮影画像が得られる。
【０１８２】
図１７は、等距離射影方式のカメラユニット１０で撮影される撮影範囲と撮影画像との例を示す図である。
【０１８３】
車両３０の近傍（カメラユニット１０の近傍でもある）を撮影画像の画角に収めるため、カメラユニット１０では、例えば、魚眼レンズのような、等距離射影方式の広角レンズが採用される。
【０１８４】
等距離射影方式では、広い画角の撮影画像を撮影することができるが、撮影画像に映る被写体に、等距離射影方式に起因する歪みが生じる。例えば、直線である車線が湾曲する。
【０１８５】
さらに、等距離射影方式の撮影画像では、図１７に示すように、車両３０の近傍の被写体（例えば、パイロン）は、大きく映るが、車両３０から離れた被写体は、車両３０から離れるほど、実際の見え方よりも小さく映る。
【０１８６】
したがって、等距離射影方式の撮影画像では、その撮影画像に映る被写体までの距離感がつかみにくいことがある。
【０１８７】
そこで、画像処理部２２では、射影変換及び視点変換が行われる。
【０１８８】
図１８は、図１７の撮影画像の射影変換及び視点変換により得られる視点変換画像と、視点変換で行われる仮想的なカメラユニットの設定との例を示す図である。
【０１８９】
射影変換では、等距離射影方式の撮影画像が、中心射影方式の射影変換画像に変換され、これにより、撮影画像に映る被写体に生じていた歪みが補正される。
【０１９０】
視点変換では、車両３０の近傍の被写体を画角内に収めるため、仮想的なカメラユニットが、図中、点線の矢印で示すように、被写体から遠ざかる位置、すなわち、図１７のカメラユニット１０の位置より車両３０の前方の位置に設定され、視点変換画像が求められる。
【０１９１】
以上により、等距離射影方式で生じる歪みが補正され、かつ、車両３０の近傍にある被写体が映った視点変換画像を得ることができる。
【０１９２】
しかしながら、視点変換において、仮想的なカメラユニットが被写体から遠ざかる位置に設定される場合には、視点変換で得られる視点変換画像において、図１４のＣに示したように、特に、車両３０の近傍に位置する起立物としてのパイロンが、外側に倒れた状態になる。
【０１９３】
すなわち、図１６で説明したように、撮影画像だけでは、その撮影画像に映るパイロンが、道路上に置かれた起立物であるのか、又は、起立物としてのパイロンを道路上に射影した射影像であるのかを区別することはできない。
【０１９４】
そして、撮影画像（射影変換画像）の視点変換としての、例えば、アフィン変換は、撮影画像に映るパイロンが、パイロンの射影像であることを前提として行われる。
【０１９５】
そのため、視点変換により得られる視点変換画像に映るパイロンは、倒れた状態になる。
【０１９６】
図１９は、視点変換画像に映るパイロンが倒れる方向を説明する図である。
【０１９７】
図１９のＡは、視点変換画像に映るパイロンが、内側（消失点側）に倒れる場合を説明する図である。すなわち、図１９のＡは、撮影状況を示す平面図、及び、視点変換画像の例を示す図である。
【０１９８】
視点変換において、図１９のＡに示すように、仮想的なカメラユニットの撮影範囲の境界を表す画角線に対して、撮影画像に映るパイロンの射影の向きが、画角線の内側（仮想的なカメラユニットの光軸側）を向いている場合（パイロンの射影の向きが画角からはみ出さない場合）、視点変換画像では、パイロンが内側に倒れた状態になる。
【０１９９】
仮想的なカメラユニットが、被写体に近づく位置に設定される場合、画角線に対して、パイロンの射影の向きが、画角線の内側を向くことがある。
【０２００】
図１９のＢは、視点変換画像に映るパイロンが、外側（消失点と反対側）に倒れる場合を説明する図である。すなわち、図１９のＢは、撮影状況を示す平面図、及び、視点変換画像の例を示す図である。
【０２０１】
視点変換において、図１９のＢに示すように、仮想的なカメラユニットの撮影範囲の境界を表す画角線に対して、撮影画像に映るパイロンの射影の向きが、画角線の外側（仮想的なカメラユニットの光軸側と反対側）を向いている場合（パイロンの射影の向きが画角からはみ出す場合）、視点変換画像では、パイロンが外側に倒れた状態になる。
【０２０２】
仮想的なカメラユニットが、被写体から遠ざかる位置に設定される場合、画角線に対して、パイロンの射影の向きが、画角線の外側を向くことがある。
【０２０３】
図２０は、移動変換の対象の視点変換画像と、その視点変換画像の移動変換により得られる移動変換画像のとの例を示す図である。
【０２０４】
図２０の視点変換画像では、道路上に置かれた起立物としてのパイロンが、外側に倒れた状態で映っている。
【０２０５】
そして、その視点変換画像の移動変換が行われ、消失点から閾値THr以内の被写体距離にある被写体は、視点変換画像に映ったままで、かつ、消失点から閾値THrを超える被写体距離にある被写体は、消失点に近づけられた移動変換画像が得られている。
【０２０６】
移動変換画像では、消失点から閾値THrを超える被写体距離にある被写体が、消失点に近づけられているので、外側に倒れた状態のパイロンが、移動変換前よりも起きた状態になっている。したがって、移動変換画像によれば、その起立物が認識しやすくなる。
【０２０７】
なお、移動変換において、消失点から閾値THr以内の被写体距離にある被写体をそのままとすることで、ユーザは、消失点から閾値THr以内の被写体距離にある被写体については、射影変換で歪みが補正された状態の被写体を見ることができる。
【０２０８】
また、本実施の形態では、移動変換において、被写体位置を、消失点に近づけるように移動することにより、外側に倒れた状態の起立物としてのパイロンを起きた状態にすることとしたが、移動変換では、その他、被写体距離に応じて、被写体位置を、消失点から遠ざかるように移動することができる。
【０２０９】
移動変換において、被写体位置を、消失点から遠ざかるように移動する場合には、内側に倒れた状態の起立物を起きた状態にすることができる。
【０２１０】
＜画像処理部２２で行われる画像変換の説明＞
【０２１１】
図２１は、画像処理部２２で行われる画像変換を説明する図である。
【０２１２】
なお、ここでは、画像変換とは、画像処理部２２で行われる射影変換、視点変換、及び、移動変換のそれぞれ、又は、射影変換、視点変換、及び、移動変換のうちの２以上をまとめた変換を意味する。
【０２１３】
また、画像変換の対象の画像を、入力画像ともいい、入力画像の画像変換により得られる画像を、出力画像もいう。
【０２１４】
画像変換では、入力画像Inputの各座標（位置）の点（画素）を、出力画像Outputのどの座標の点（画素）に対応させるかを表す座標対応情報に従って、入力画像Inputが出力画像Outputに変換される。
【０２１５】
座標対応情報は、例えば、LUT（Look Up Table）や数式の形で保持することができる。すなわち、座標対応情報は、LUTとしてメモリ（例えば、設定記憶メモリ２３）に記憶しておくことや、画像処理部２２において、数式に従って生成する（演算により求める）ことができる。
【０２１６】
なお、画像変換では、座標対応情報に従って、入力画像Inputを変換した後、その変換後の画像の一部を切り出す切り出し処理を行い、その切り出し処理後の画像を、画像変換の結果得られる出力画像Outputとすることができる。
【０２１７】
図２２は、画像処理部２２で行われる画像変換を、さらに説明する図である。
【０２１８】
図２２において、画像Image0は、撮影画像であり、画像Image1は、撮影画像Image0の射影変換及び視点変換を行って得られる視点変換画像である。また、画像image2は、視点変換画像Image1の移動変換を行って得られる移動変換画像である。
【０２１９】
撮影画像Image0を、視点変換画像Image1に変換する座標対応情報を、座標対応情報1とするとともに、視点変換画像Image1を、移動変換画像Image2に変換する座標対応情報を、座標対応情報2とする。
【０２２０】
画像処理部２２では、座標対応情報1と座標対応情報2、又は、座標対応情報1と座標対応情報2を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成し、その座標対応情報1と座標対応情報2、又は、座標対応情報3に従って、撮影画像Image0を移動変換画像Image2に変換することができる。
【０２２１】
ここで、例えば、座標対応情報1及び座標対応情報2が行列で表される場合、座標対応情報3は、座標対応情報1としての行列と座標対応情報2としての行列との積としての行列で表すことができる。
【０２２２】
また、実際の実装では、画像処理部２２は、撮影画像Image0から、座標対応情報1に従って、視点変換画像Image1を生成し、その後、視点変換画像Image1から、座標対応情報2に従って、移動変換画像Image2を生成するのではなく、例えば、撮影画像Image0から、座標対応情報3に従って、移動変換画像Image2を、直接生成することができる。この場合、視点変換画像Image1は生成されない。
【０２２３】
図２３は、画像処理部２２で行われる移動変換を説明する図である。
【０２２４】
ここで、移動変換の対象の視点変換画像Image1については、左上の点を原点とし、横軸をU軸とするとともに、縦軸をV軸とする２次元座標系によって、視点変換画像Image1の各点（画素）の座標を表す。
【０２２５】
また、視点変換画像Image1の移動変換により得られる移動変換画像Image2については、左上の点を原点とし、横軸をX軸とするとともに、縦軸をY軸とする２次元座標系によって、移動変換画像Image2の各点（画素）の座標を表す。
【０２２６】
いま、視点変換画像Image1の消失点の座標を(Uvp,Vvp)と表し、U軸の方向を基準（０度）として、反時計回りの角度αの方向にある、消失点(Uvp,Vvp)からの距離（被写体距離）がrの点（の座標）を、(Us,Vt)と表す。
【０２２７】
同様に、移動変換画像Image2の消失点の座標を(Xvp,Yvp)と表し、X軸の方向を基準として、反時計回りの角度αの方向にある、消失点(Xvp,Yvp)からの距離がRの点を、(Xs,Yt)と表す。
【０２２８】
移動変換では、視点変換画像Image1の点(Us,Vt)が、移動変換画像Image2の点(Xs,Yt)に変換される。このように、移動変換において、点(Us,Vt)が点(Xs,Yt)に変換される関係にあることを、点(Us,Vt)が点(Xs,Yt)と対応する、（点(Us,Vt)と点(Xs,Yt)とが対応する）、ともいう。
【０２２９】
対応する点(Us,Vt)及び点(Xs,Yt)については、式（１）が成り立つ。
【０２３０】
Us-Uvp=r×cosα，Vt-Vvp=r×sinα
Xs-Xvp=R×cosα，Yt-Yvp=R×sinα
・・・（１）
【０２３１】
式（１）の距離（被写体距離）rとRとの関係として、図９に示したような変換特性を採用することにより、視点変換画像Image1の消失点(Uvp,Vvp)から、閾値THr以内の被写体距離rにある点(Us,Vt)は、その点(Us,Vt)と同一の、移動変換画像Image2の点(Xs,Yt)に移動される。また、視点変換画像Image1の消失点(Uvp,Vvp)から、閾値THrを超える被写体距離rにある点(Us,Vt)は、被写体距離rが大であるほど、移動変換画像Image2の消失点(Xvp,Yvp)の方向に近づいた点(Xs,Yt)に移動される。その結果、視点変換画像Image1において、消失点(Uvp,Vvp)から遠い位置の、倒れた状態になった起立物が起きた状態になる。
【０２３２】
ここで、例えば、図２３に示すように、変換特性において、閾値THr以下の被写体距離rについては、被写体距離r及びRの関係は、式r=Rで表すことができる。また、閾値THrを超える被写体距離rについては、被写体距離r及びRの関係は、例えば、a,b,cを所定の係数として、式r=aR2+bR+cで表すことができる。係数a,b,cを変えることにより、変換特性を切り替えることができる。
【０２３３】
また、変換特性は、視点変換画像Image1における被写体距離rと、移動変換画像Image2における被写体距離Rとを、いわば直接的に関係付けるが、被写体距離rと被写体距離Rとは、その他、例えば、角度αをパラメータとして関係付けることができる。
【０２３４】
図２４は、閾値THrの決定方法の例を説明する図である。
【０２３５】
閾値THrは、例えば、ユーザの操作に応じて決定することができる。また、閾値THrは、例えば、視点変換画像に映る起立物に応じて決定することができる。
【０２３６】
すなわち、図２４は、起立物が置かれた道路（駐車場）の例を示す平面図である。
【０２３７】
図２４に示すように、道路上の、カメラユニット１０が設けられた車両３０の車幅の両端から500mm以内等の所定の距離内に、パイロン等の起立物を置き、視点変換画像において、45度等の所定の角度だけ倒れた状態になる起立物が映る点と、視点変換画像の消失点との距離を、閾値THrに決定することができる。
【０２３８】
図２５は、変換特性の切り替えの例を説明する図である。
【０２３９】
図１１で説明したように、移動変換に用いる変換特性は、切り替えることができる。
【０２４０】
図２５では、移動変換に用いる変換特性として、変換特性p及びp'が用意されている。
【０２４１】
変換特性p及びp'では、移動変換前の（視点変換画像における）被写体距離rが、閾値THr以下である場合には、移動変換前の被写体距離rと、移動変換後の（移動変換画像における）被写体距離Rとが一致している。
【０２４２】
そして、変換特性p及びp'では、移動変換前の被写体距離rが、閾値THrを超える場合には、移動変換後の被写体距離Rが、移動変換画像の消失点に近づくように、移動変換が行われる。
【０２４３】
但し、閾値THrを超える被写体距離rについては、被写体距離rが大になるほど、変換特性p'よりも変換特性pの方が、被写体距離Rの変化の割合が小になるようになっている。
【０２４４】
したがって、移動変換に変換特性pを用いる場合には、変換特性p'を用いる場合に比較して、移動変換において、被写体位置が、消失点の方向により近づくように（倒れた状態の起立物がより起きた状態になるように）移動される。
【０２４５】
図２５では、変換特性p及びp'の閾値THrが同一になっているので、変換特性pとp'との切り替えによれば、消失点から閾値THrの距離の範囲の見え方を変化させずに、移動変換により得られる移動変換画像において、視点変換により倒れた状態になった起立物を起こす程度を変化させるとともに、移動変換画像に映る範囲の画角を調整することができる。
【０２４６】
図２６は、変換特性が切り替え可能な場合の、画像処理部２２で行われる画像変換を説明する図である。
【０２４７】
図２６では、図２２と同様に、画像Image0，Image1，Image2は、それぞれ、撮影画像視点変換画像、移動変換画像である。また、図２６において、画像Image2'は、移動変換画像Image2とは別の移動変換画像である。
【０２４８】
ここで、撮影画像Image0を、視点変換画像Image1に変換する座標対応情報を、座標対応情報1とする。また、視点変換画像Image1を、図２５の変換特性pに従って、移動変換画像Image2に変換する座標対応情報を、座標対応情報2とする。さらに、視点変換画像Image1を、図２５の変換特性p'に従って、移動変換画像Image2'に変換する座標対応情報を、座標対応情報2'とする。
【０２４９】
画像処理部２２では、座標対応情報1をメモリに記憶しておくか、又は、数式に従って生成し、かつ、座標対応情報2、又は、座標対応情報1と座標対応情報2を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成するとともに、座標対応情報2'、又は、座標対応情報1と座標対応情報2'を掛け合わせた座標対応情報3をメモリに記憶しておくか、又は、数式に従って生成することにより、変換特性pとp'とを切り替えて、図２２で説明したように、画像変換を行うことができる。
【０２５０】
図２７は、変換特性が切り替え可能な場合の、重畳部４７（図３）でのOSD情報の重畳の例を説明する図である。
【０２５１】
変換特性が切り替え可能な場合、重畳部４７は、移動変換に用いられる変換特性に応じて異なるOSD情報を生成し、移動変換画像（から、表示領域切り出し部４６で切り出された切り出し画像）に重畳する。
【０２５２】
図２７は、車両３０が後進するときに、車両３０の運転をアシストするガイドラインとしてのOSD情報と、そのOSD情報を移動変換画像に重畳して得られる重畳画像との例を示している。
【０２５３】
すなわち、図２７のＡは、移動変換に、図２５の変換特性pが用いられる場合のOSD情報（変換OSD情報）と、そのOSD情報が重畳された重畳画像の例を示している。
【０２５４】
図２７のＢは、移動変換に、図２５の変換特性p'が用いられる場合のOSD情報と、そのOSD情報が重畳された重畳画像の例を示している。
【０２５５】
重畳部４７では、例えば、視点変換画像に適切な（マッチした）ガイドラインとしてのOSD情報（以下、標準OSD情報ともいう）（図示せず）が用意され、移動変換に用いられる変換特性に応じて、標準OSD情報が変換される。
【０２５６】
例えば、移動変換に、図２５の変換特性pが用いられる場合には、標準OSD情報は、図２６の座標対応情報2に従って変換され、移動変換に、図２５の変換特性p'が用いられる場合には、標準OSD情報は、図２６の座標対応情報2'に従って変換され、変換OSD情報とされる。
【０２５７】
変換OSD情報は、移動変換により得られる移動変換画像に適切なOSD情報（移動変換画像と整合がとれたOSD情報）となる。
【０２５８】
その後、変換特性p又はp'に従った標準OSD情報の変換によって得られる変換OSD情報は、その変換特性p又はp'に従った移動変換により得られる移動変換画像に重畳される。
【０２５９】
図２５で説明したように、移動変換に変換特性pを用いる場合には、変換特性p'を用いる場合に比較して、移動変換において、被写体位置が、消失点の方向により近づくように移動される。
【０２６０】
そのため、図２７においても、図２７のＡの変換特性pが用いられる場合の変換OSD情報であるガイドラインを構成する、特に、下部の線Ｌは、図２７のＢの変換特性p'が用いられる場合よりも、消失点に近づいた状態になっている。
【０２６１】
なお、本技術は、移動体に搭載され得る画像処理システムの他、画像を加工するアプリケーション、その他の画像を扱う任意の装置に適用することができる。
【０２６２】
＜本技術を適用したコンピュータの説明＞
【０２６３】
次に、上述した画像処理部２２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２６４】
図２８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２６５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２６６】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２６７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２６８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２６９】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２７０】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２７１】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２７２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２７３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２７４】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２８０】
なお、本技術は、以下の構成をとることができる。
【０２８１】
＜１＞
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
を備える画像処理装置。
＜２＞
前記移動変換部は、前記被写体距離に応じて、前記被写体距離が、前記移動変換の前より短くなるように、前記被写体位置を移動させる前記移動変換を行う
＜１＞に記載の画像処理装置。
＜３＞
前記移動変換部は、前記被写体距離が長いほど、前記消失点に近づくように、前記被写体位置を移動させる前記移動変換を行う
＜２＞に記載の画像処理装置。
＜４＞
前記移動変換部は、前記被写体距離が閾値以上の前記被写体位置を移動させる前記移動変換を行う
＜３＞に記載の画像処理装置。
＜５＞
前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
＜５＞に記載の画像処理装置。
＜７＞
前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
＜７＞に記載の画像処理装置。
＜９＞
処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うことと
を含む画像処理方法。
＜１０＞
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２８２】
１０  カメラユニット，  １１  光学系，  １２  イメージセンサ，  １３  画質制御部，  ２１  操作部，  ２２  画像処理部，  ２３  設定記憶メモリ，  ２４  画像出力部，  ２５  表示部，  ３０  車両，  ３１ないし３４  カメラユニット，  ４１  画像取得部，  ４２  射影変換部，  ４３  視点変換部，  ４４  移動変換部，  ４５  切り替え部，  ４６  表示領域切り出し部，  ４７  重畳部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2018221209.tif 000003
【図２】
2018221209.tif 000004
【図３】
2018221209.tif 000005
【図４】
2018221209.tif 000006
【図５】
2018221209.tif 000007
【図６】
2018221209.tif 000008
【図７】
2018221209.tif 000009
【図８】
2018221209.tif 000010
【図９】
2018221209.tif 000011
【図１０】
2018221209.tif 000012
【図１１】
2018221209.tif 000013
【図１２】
2018221209.tif 000014
【図１３】
2018221209.tif 000015
【図１４】
2018221209.tif 000016
【図１５】
2018221209.tif 000017
【図１６】
2018221209.tif 000018
【図１７】
2018221209.tif 000019
【図１８】
2018221209.tif 000020
【図１９】
2018221209.tif 000021
【図２０】
2018221209.tif 000022
【図２１】
2018221209.tif 000023
【図２２】
2018221209.tif 000024
【図２３】
2018221209.tif 000025
【図２４】
2018221209.tif 000026
【図２５】
2018221209.tif 000027
【図２６】
2018221209.tif 000028
【図２７】
2018221209.tif 000029
【図２８】
2018221209.tif 000030
【国際調査報告】
2018221209.tif 000031
2018221209.tif 000032