(57)【特許請求の範囲】
【請求項１】
車両に設置した複数の撮影手段により撮影した画像を、上記車両の上方に設定した視点位置から見下ろした画像に視点変換し、表示手段に表示する車両用画像処理装置であって、
上記車両の前進時には、車両前方が上になるように上記表示手段に表示し、上記車両の後退時には、前進時の画像を上下反転させた画像を上記表示手段に表示可能となっており、
前進、後進のシフトチェンジ操作に基づいて、上記前進時の画像と、後退時の画像とを自動的に切り換える手段を有することを特徴とする車両用画像処理装置。
【請求項２】
上記後退時の画像として、上記前進時の画像の上下左右を反転させた画像を表示可能であることを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】
上記後退時の画像の車両の向きとして、上記前進時の画像と同一か、上記前進時の画像を上下反転させた画像か、上記前進時の画像の上下左右を反転させた画像かを選択可能な手段を有することを特徴とする請求項１記載の車両用画像処理装置。
【請求項４】
表示画像上もしくは上記表示画像の近傍に、上記車両のシフト状態を示す画像を表示する手段を有することを特徴とする請求項１記載の車両用画像処理装置。
【請求項５】
上記車両の進行方向を示す図形を、上記車両を示す図形上に重ねて表示する手段を有することを特徴とする請求項１記載の車両用画像処理装置。
【請求項６】
上記撮影手段により撮影された撮影画像について、上記撮影手段の内部への出射角を上記撮影手段の外部からの入射角未満として画像変換する画像変換手段を有し、この画像変換された画像を上記視点変換することを特徴とする請求項１記載の車両用画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両用画像処理装置に係り、特に、車両に設置した複数の撮影手段で撮影した画像を、車両上方に設定した視点位置から見下ろした画像に変換し、複数の変換画像を１つの画像に合成して表示器に表示する車両用画像処理装置に関する。
【０００２】
【従来の技術】
近年、車両に設置したカメラ（電子式のカメラ）によって車両の周辺を撮影し、監視することによって、安全運転を支援する装置が実用化され、普及しつつある。
このような技術は、例えば特開２００１−３３９７１６号公報に記載されている。
この従来技術は、視点位置をダイナミックに変更して、運転者からの死角を低減したり、運転操作を容易にするため、車内に設置した表示装置に運転状況に応じて最適な合成画像を表示しようとする車両周辺監視装置および方法である。
【０００３】
【発明が解決しようとする課題】
上記従来技術を用いて、駐車場に車両を駐車する場合、運転者は、上記公報の図１２に示されているように、車両が上方を向くように該車両の全周囲が表示された表示装置の表示画面を見ながら、車両の前進と後退を繰り返して運転をする。この場合、実際の車両の進行方向と、表示画面中に表示された車両の進行方向との対応関係の把握が難しいという問題がある。
【０００４】
本発明は、上述の課題を解決し、実際の車両の進行方向と、表示車両の進行方向との対応関係を容易に把握することができる車両用画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この目的を達成するため、本発明においては、車両に設置した複数の撮影手段により撮影した画像を、上記車両上方に設定した視点位置から見下ろした画像に視点変換し、表示手段に表示する車両用画像処理装置であり、上記車両の前進時には、車両前方が上になるように上記表示手段に表示し、上記車両の後退時には、前進時の画像を上下反転させた画像を上記表示手段に表示可能であり、前進、後進のシフトチェンジ操作に基づいて、上記前進時の画像と、後退時の画像とを自動的に切り換える手段を有することを特徴とする。
【０００６】
【発明の効果】
本発明によれば、実際の車両の進行方向と、表示画面中に表示された車両の進行方向との対応関係を容易に把握することができる車両用画像処理装置を提供することができる。
【０００７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【０００８】
図１は、本発明の実施の形態の車両用画像処理装置の構成例を示すブロック図である。
【０００９】
１０１はプランビュー画像作成装置、１０２はシフトポジション取得装置、１０３は表示モード設定装置、１０４は画像処理装置、１０５は画像表示装置（モニター装置など）である。
【００１０】
図２、図３は、それぞれ画像表示装置１０５の表示画面を示す図で、車両の近傍の障害物等を含む全周囲の表示を示す図である。
【００１１】
２００は車両を示す図形である。ここでは、車両はワゴン車の例を示し、車両を示す図形２００の上部が車両前部である。２０１はシフトインジケータの表示（車両のシフト状態を示す画像）、２０２は車両の進行方向を示す図形、２０３は他の車両等の障害物である。図３において、２０４は画像表示装置１０５の表示画面以外の領域である。なお、車両を示す図形２００および車両の進行方向を示す図形２０２は、表示が固定の図形に限らず、表示の変化する画像であってもよい。
【００１２】
プランビュー画像作成装置１０１は、車両に取付けられたカメラ（ここでは図示省略）から映像を取得し、図２、図３に示すごとく、自車両を真上から見たような、プランビュー画像（平面画像）を作成する（図２、図３はそれぞれ別の表示例）。なお、プランビュー画像の具体的な作成手順と、プランビュー画像作成装置１０１の具体的構成については、後述する。
【００１３】
図１のプランビュー画像作成装置１０１が作成した画像は、そのまま画像表示装置１０５の表示画面に映すと、図２、図３に示すように、車両を表す図形２００の車両前部が上を向いているものとする。以下、車両を表す図形２００に関して、上下という表現を用いるときには、このルールに従うものとする。
【００１４】
車両の運転者は、表示モード設定装置１０３を用いて、車両がどのような状態のときに、プランビュー画像がどのような形態で表示されるかを設定することができる。例えば、オートマチックトランスミッションを備えた車両において、シフトセレクタがＤ（ドライブ）レンジになっている場合は、車両が上を向いた表示（上述のようにプランビュー画像作成装置１０１の出力する映像そのものの表示）を行ない、車両のシフトセレクタがＲ（リバース）レンジの場合は、車両が下を向いた表示（プランビュー画像作成装置１０１の出力する映像を上下反転させたもの）を行なう、というような設定ができる。
【００１５】
運転者は、シフトセレクタが、Ｄ、Ｒ、Ｐ（パーキング）、Ｎ（ニュートラル）レンジのそれぞれの場合に、表示画像を、上下反転、左右反転、もしくは上下左右反転させるかを設定することができる。または、画像そのものを表示しないことを選択することができる。この設定については、運転者の好みに大きく左右されるので、自由に設定できるようになっている。
【００１６】
なお、マニュアルトランスミッションを備えている車両の場合は、オートマチックトランスミッション車のＤ、Ｒ、Ｐ、Ｎレンジに変えて、前進するギヤ（１〜６）、ニュートラル、リバースの３モードについて表示方法を設定できるようになっている。表示モード設定装置１０３は、スイッチから構成されていてもよいし、タッチパネルから構成されていてもよいし、ジョイスティックとボタンによって操作される構成であってもよい。
【００１７】
運転者が設定した動作モードは、画像処理装置１０４内の読み出し可能なメモリ（図示省略）に記憶される。該メモリに記憶された内容は、運転者により次に再設定されるまで維持されるようになっている。シフトポジション取得装置１０２によって取得したシフトポジションに応じて、画像処理装置１０４により、設定された動作モードが自動的に選択され、読み出され、プランビュー画像作成装置１０１の作成した画像に対して、設定した画像処理（上下反転、左右反転、上下左右反転、もしくは何もしない）が画像処理装置１０４により行なわれる。もしくは、もっと単純に、例えば表示モード設定装置１０３に上下反転スイッチと左右反転スイッチの２つを取付けておき、必要に応じて、運転者が操作する形態であってもよい。
【００１８】
また、画像処理装置１０４は、現在、車両のギヤがどこに入っているかがわかる画像、すなわち、車両のシフト状態を示す画像であるシフトインジケータの表示２０１（図２、図３）を描画する。この場合、プランビュー画像に重畳する形か（図２）、画像表示装置１０５の表示画面以外の種々の表示手段により、該表示画面の近傍に表示する形で（図３に概略を例示）描画する。この描画は、図２、図３で示したように、シフトインジケータの表示２０１でもよいし、前進／後退がわかる程度の簡単なものでもよい。この描画は、通常、前述の画像反転処理の後に行なう。
【００１９】
また、これとは独立して、運転者がアクセルを踏んだとき、あるいは、ブレーキを離したとき、さらにはハンドルを操作したときに、画像内において車両がどちらに進むかがわかるように、図２、図３に示す如く、矢印（あるいは三角形）など、車両の進行方向を示す図形２０２を、表示画像内の車両を示す図形２００に重畳するように（図２）描画する。この車両の進行方向を示す図形２０２の描画は、シフトインジケータの表示２０１と同様に、画像表示装置１０５の表示画面以外の種々の表示手段により、該表示画面の近傍に描画してもよい（図３）。図２、図３では、シフトインジケータの表示２０１の描画、車両の進行方向を示す図形２０２の描画とが、同じ領域（図２では表示画像の中、図３では表示画像の外）に行なわれているが、もちろん、シフトインジケータの表示２０１は表示画像中に、車両の進行方向を示す図形２０２は表示画像の外に描画されていてもよい。あるいは逆に、車両の進行方向を示す図形２０２は表示画像中に、シフトインジケータの表示２０１は表示画像の外に描画されていてもよい。また、サイドブレーキが引かれていて、ギヤがＮ（ニュートラル）もしくはＰ（パーキング）レンジにある場合には、車両は動かないので、車両の進行方向を示す図形２０２の描画は行なわなくてもよい。シフトインジケータの表示２０１および車両の進行方向を示す図形２０２の描画、非描画や、描画位置は、表示モード設定装置１０３のメニュー内で設定できるようになっていてもよいし、あるいは、それぞれの機能を割り付けたスイッチを設けて、必要に応じて運転者が操作するようになっていてもよい。
【００２０】
以上のようにして、画像処理装置１０４内で、合成処理し、描画した完成画像は、画像表示装置１０５の表示画面に表示され、運転者に提示される。
【００２１】
このように、本実施の形態では、車両に設置した複数のカメラで撮影した複数の画像を、車両上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して画像表示装置１０５の表示画面に表示する車両用画像処理装置であって、表示画面に表示されている車両の進行方向が容易に認識できるように、車両の進行方向を示す図形２０２を表示するものである。
【００２２】
以下、運転者が車両を後退させる場合に表示する画像を上記のように選択可能にする理由について説明する。
【００２３】
車両の後退中に表示する画像の選択ができるように、車両を含み車両の全周囲を表示装置に表示する場合、上記従来技術の図１２に示されているように、「車両前方がディスプレイの上方を向くように表示する」という方法があり、車両が前進している場合には、この表示方法で運転者のほとんどは違和感を感じない。
【００２４】
しかしながら、車両が後退をしている場合には、この表示方法のままで画像を表示すると、違和感を感じる運転者がいる。このような運転者は、例えばルームミラーやサイドミラーなどに後方の情景を写したように見えるように、前進している場合に表示される画像の上下を入れ替えて「車両後方がディスプレイの上方を向くように表示する」という表示方法を好んだり、運転者が後方を振り返って見たときの風景に見えるように、前進している場合に表示される画像の上下左右を入れ替えて「車両後方がディスプレイの上方を向くように表示する」という表示方法を好んだりする。
【００２５】
本構成の車両用画像処理装置によれば、運転者は車両を後退させる場合に表示する画像について、自分の好みに合う画像提示を選択することができるので、運転者の運転操作における負担を軽減することができる。
【００２６】
図４は上記図１に示したプランビュー画像作成装置１０１の具体的構成を示すブロック図である。図に示すように、画像を出力する実カメラ（撮影手段）１１と、実カメラ１１で撮影された撮影画像について実カメラ１１の内部への出射角を実カメラ１１の外部からの入射角未満として画像変換する画像変換手段１２と、画像変換手段１２で画像変換された画像変換画像を視点変換する視点変換手段１３とを有する。なお、図４では、実カメラ１１は１個図示しているだけであるが、本実施の形態において、実際には、車両の周囲を撮影するために実カメラ１１を複数個設置する（図示省略）。図４の視点変換手段１３で視点変換された複数の視点変換画像は、図１の画像処理装置１０４で１つの画像に合成され、その合成された画像が画像表示装置１０５に表示される。
【００２７】
つぎに、図５、図６により図４に示した視点変換装置の画像変換手段１２による画像変換について説明する。図に示すように、実カメラモデル１１ａのカメラ本体２１外の光線２５（図６）は必ず代表点２２（レンズの焦点位置や中心点を用いることが多い）を通り、カメラ本体２１内の光線２６（図６）はカメラ本体２１内に設けられた撮像面２３に入る。そして、実カメラモデル１１ａ（実カメラ１１）の向きを示すカメラ光軸２４に垂直に撮像面２３が設けられ、また撮像面２３の中心をカメラ光軸２４が通るように、撮像面２３が配置されている。もちろん、シミュレートする対象の実カメラ１１の特性によっては、撮像面２３の中心をカメラ光軸２４が通らなくともよいし、撮像面２３とカメラ光軸２４が垂直でなくともよい場合もある。また、代表点２２と撮像面２３との距離は計算の都合上単位距離（１）とするのがよい。また、ＣＣＤカメラなどをシミュレートする場合には、撮像面２３はシミュレートする対象の実カメラ１１の画素数を再現するように格子状に分割される。最終的には、光線２６が撮像面２３のどの位置（画素）に入射するかのシミュレーションを行なうことになるため、代表点２２と撮像面２３との距離および撮像面２３の縦横の長さの比率だけが問題になり、実距離は問題にならない。
【００２８】
そして、画像変換手段１２は、実カメラ１１で撮影された撮影画像について、実カメラモデル１１ａ（図５）のカメラ本体２１の内部への出射角αＯ、βＯ（出射角αＯはカメラ光軸２４に対する光線２６の角、出射角βＯはカメラ光軸２４に直交する軸に対する光線２６の角）を実カメラモデル１１ａのカメラ本体２１の外部からの入射角αＩ、βＩ（入射角αＩはカメラ光軸２４に対する光線２５の角、入射角βＩはカメラ光軸２４に直交する軸に対する光線２５の角）未満として画像変換する。
【００２９】
すなわち、光線２５は必ず代表点２２を通り光線２６となる。また、極座標系の考え方を用いると、光線２５は代表点２２を原点に入射角αＩ、βＩの２つの角度で示すことができる。そして、光線２５は代表点２２を通過する際に、次式によって定まる出射角αＯ、βＯを有する光線２６となる。
【００３０】
（αＯ，βＯ）＝ｆ(αＩ，βＩ)              （１）
このとき、αＯ＜αＩの関係式が常に成立するようにする。この場合、光線２５は代表点２２を通過する際に(１)式によって方向が変えられ、光線２６は撮像面２３と交点２７において交わる。例えば、ＣＣＤカメラをシミュレートしている場合には、交点２７の座標（位置）から撮像面２３上のどの画素に光線２６が入射するかを求めることができる。
【００３１】
なお、撮像面２３の設定によっては光線２６と撮像面２３とが交わらない場合もあるが、この場合には光線２５は実カメラモデル１１ａには映らないということになる。
【００３２】
また、シミュレーションする対象の実カメラ１１の最大画角をＭ（度）とした場合には、カメラ本体２１内部に入射を許される光線２５はαＩ＜(Ｍ／２)を満たす必要がある。この条件を満たさない光線２５は実カメラモデル１１ａに映らないということになる。このときの出射角αＯの最大値はｆ(Ｍ／２)で計算される。また、(１)式の関数ｆ(αＩ，βＩ)を決定した上で、代表点２２と撮像面２３との距離（前述の通り単位距離とするのがよい）と撮像面２３の縦横の長さとを決定し、実カメラモデル１１ａの撮像範囲を規定する。なお、図５に示すように、最大出射角θＯｍａｘの大きさは最大入射角θＩｍａｘの大きさよりも小さい。
【００３３】
以上の手順により、代表点２２に入射した光線２５が実カメラモデル１１ａの撮像面２３上のどの画素（位置）に入射するかを計算することができ、実カメラ１１で撮影された撮影画像すなわち光線２５が代表点２２を通って直進したときの撮影画像について画像変換して、画像変換画像を得ることができる。したがって、(１)式によって実カメラ１１に入射する光線の入射角αＩ、βＩと画像変換画像の画素（位置）との関係を求めることができる。
【００３４】
また、(１)式とともに、次式を用いることによって実カメラモデル１１ａの撮像面２３上の任意の点に入射する光線２６が代表点２２に対してどの方向から入射したかを計算することが可能になる。
【００３５】
（αＩ，βＩ）＝ｆi(αＯ，βＯ)            （２）
また、最も簡単な(１)式の例は、次のような入射角αＩ、βＩと出射角αＯ、βＯとが比例関係を持つ式である。
【００３６】
αＯ＝ｋαＩ                              （３）
βＯ＝βＩ                                （４）
ここで、ｋは実カメラモデル１１ａのレンズ特性を決定するパラメータであり、ｋ＜１である。仮にｋ＝１の場合には、従来のピンホールカメラモデルと同じ動作となる。実際のレンズの歪曲収差特性はレンズの目的（設計意図）によるが、通常の広角レンズはパラメータｋを、１＜ｋ＜０の範囲で適当に設定することで近似することができ、ピンホールカメラモデルを用いたカメラシミュレーションよりも正確なカメラシミュレーションが可能となる。
【００３７】
また、レンズシミュレーションをより精密に行ないたい場合には、関数ｆ(αＩ，βＩ)を(３)式、(４)式に示すような比例関係ではなく、実カメラ１１のレンズ特性を実際に測定し、実カメラ１１のレンズ特性を示す関数で画像変換する。この場合、もちろん出射角αＯを入射角αＩ未満とする。
【００３８】
以上の画像変換を行なったのちに、視点変換を行なう。最も単純な視点変換は、空間上にカメラモデルと投影面を置き、カメラで撮影した映像を投影面に対して投影することで実現される。
【００３９】
つぎに、図７により図４に示した視点変換装置の視点変換手段１３による視点変換について説明する。まず、実空間に合わせて仮想空間を設定し、仮想空間上に位置および向きを合わせて実カメラ１１と仮想カメラ３２とを配置する。つぎに、投影面を設定する。図７ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。つぎに、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の位置および向きの情報と合わせ、投影面と光線３５との交点３３を求める。つぎに、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、図５、６で説明した画像変換後の画像変換画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色および輝度とする。
【００４０】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒など。もちろん黒以外でもよい）を用いるものとする。
【００４１】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色および輝度をブレンディングし、画素Ｖの色および輝度とする。この場合、ブレンディングの比率は等しくする。また、色および輝度のブレンディンクの手法としてはアルファブレンディングなどの手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００４２】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色および輝度を確定することで仮想カメラ３２の画像すなわち視点変換画像を作成することができ、空間上の実カメラ１１の画像すなわち画像変換画像を視点変換画像へと視点変換することができる。
【００４３】
この手法は撮影画像を投影面に対して単純に投影する方法に比べ、仮想カメラ３２の特性や位置が自由に設定でき、かつ仮想カメラ３２の特性や位置の変化にも容易に対応できる。
【００４４】
なお、仮想カメラ３２の各画素は基本的に実カメラ１１の画素との対応になり、その対応は仮想カメラ３２および実カメラ１１の位置および向きおよび投影面の設定が変わらない限り変わらないので、計算能力に余裕のない処理装置を用いる場合には、対応関係を変換テーブルとして保存し、実行時に参照してもよい。また、仮想カメラ３２の画素数が増加するにつれ、変換テーブルの容量も比例して増加するので、仮想カメラ３２の画素数が多い場合には、大容量のメモリを持つ処理装置（コンピュータ）を用いるよりも、視点変換の計算を高速に行なうことができる処理装置を用いた方がコスト的に有利になる。
【００４５】
このような視点変換装置においては、出射角αＯの変化に対する撮像面２３上の位置の変化は、撮像面２３の中心部と輪郭部とでほぼ同じであるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも補正関数を算出するためにパターン画像を撮影する必要がないから、容易に視点変換することができる。また、出射角αＯと入射角αＩとが比例する関数で画像変換したときには、画像変換された画像変換画像の中心部と輪郭部では同倍率となるから、歪みの少ない視点変換画像を得ることができる。また、実カメラ１１のレンズ特性を示す関数で画像変換したときには、実カメラ１１のレンズ（収差）による歪みの少ない視点変換画像を得ることができる。また、視点変換手段１３は視点変換画像の各画素の色および輝度を画像変換画像の各画素の中心点に位置する色および輝度としているから、色および輝度の平均値などの計算を行なう必要がないので、視点変換時の計算量を少なくすることができる。
【００４６】
なお、本実施の形態の車両用画像処理装置は、車両に設置した複数の撮影手段（図４の実カメラ１１）により撮影した画像を、上記車両の上方に設定した視点位置から見下ろした画像に視点変換し、表示手段に表示する車両用画像処理装置であって、上記車両の前進時には、車両前方が上になるように上記表示手段に表示し、上記車両の後退時には、前進時の画像を上下反転させた画像を上記表示手段に表示可能となっており、前進、後進のシフトチェンジ操作に基づいて、上記前進時の画像と、後退時の画像とを自動的に切り換える手段を有する。このような構成により、実際の車両の進行方向と、表示画面上に表示された車両の進行方向との対応関係を容易に把握することができる。また、車両に複数個設置した撮影手段で、上記車両の周囲を撮影し、上記撮影された画像について、それぞれ、上記撮影手段の内部への出射角を上記撮影手段の外部からの入射角未満として画像変換し、上記画像変換された画像をそれぞれ視点変換し、上記視点変換された複数の視点変換画像を合成し、上記合成した画像と、上記車両を示す図形（図２、図３の２００）と、上記車両の進行方向を示す図形（図２、図３の２０２）を表示することを特徴とする車両用画像処理装置である。このような構成により、歪みの少ない視点変換画像を得ることができ、しかも容易に視点変換することができるとともに、車両の進行する方向を画面内に明示することができるので、運転者の運転操作の負担を軽減できる。
【００４７】
また、本実施の形態の車両用画像処理装置は、車両に設置され、上記車両の周辺を撮影した画像を出力する複数個の撮影手段と、上記撮影手段で撮影された撮影画像について、上記撮影手段の内部への出射角を上記撮影手段の外部からの入射角未満として画像変換する画像変換手段（図４の１２）と、上記画像変換手段で変換された画像変換画像を視点変換する視点変換手段（図４の１３）と、上記視点変換手段で視点変換された複数の視点変換画像を合成する画像合成手段（図１の画像処理装置１０４）と、上記合成した画像と、上記車両を示す図形と、上記車両の進行方向を示す図形を表示する表示手段（図１の画像表示装置１０５、図４の１５）とを有することを特徴とする車両用画像処理装置である。このような構成により、歪みの少ない視点変換画像を得ることができ、しかも容易に視点変換することができるとともに、車両の進行する方向を画面内に明示することができるので、運転者の運転操作の負担を軽減できる。
【００４８】
また、本実施の形態の車両用画像処理装置において、上記画像変換手段は、上記出射角を上記入射角未満とし、かつ上記出射角と上記入射角とが比例する関数で画像変換することを特徴とする車両用画像処理装置である（図５、図６参照）。このような構成により、画像変換された画像変換画像の中心部と輪郭部では同倍率となり、歪みの少ない視点変換画像を得ることができる。
【００４９】
また、本実施の形態の車両用画像処理装置置において、上記画像変換手段は、上記出射角を上記入射角未満とし、かつ上記撮影手段のレンズ特性を示す関数で画像変換することを特徴とする車両用画像処理装置である。このような構成により、レンズによる歪みの少ない視点変換画像を得ることができる。
【００５０】
また、本実施の形態の車両用画像処理装置において、上記視点変換手段は、上記視点変換画像の各画素の色および輝度を、上記視点変換画像の各画素に対応する上記画像変換画像の各画素の中心点に位置する色および輝度とすることを特徴とする車両用画像処理装置である（図７参照）。このような構成により、色および輝度の平均値などの計算を行なう必要がないから、視点変換時の計算量を少なくすることができる。
【００５１】
また、本実施の形態の車両用画像処理装置において、上記車両の後退中に表示する画像を、上記進行方向を示す図形のみが異なる上記車両の前進中に表示する画像と同一画像とするか（図２、図３参照）、上記進行方向を示す図形以外も異なる画像とするかの選択をする手段を有することを特徴とする車両用画像処理装置である。このような構成により、運転者は自分の好みに合う画像提示を選択することができるので、運転者の運転操作における負担を軽減することができる。
【００５２】
また、本実施の形態の車両用画像処理装置において、上記車両の前進中に表示する画像と、上記車両の後退中に表示する画像とを、シフトチェンジの操作に基いて、自動的に切り換える手段を有することを特徴とする車両用画像処理装置である。このような構成により、運転者がシフトチェンジの操作によって、車両の前進中に表示する画像と、後退中に表示する画像とを切り換える必要がなく、自動的に切り換わるので、便利であり、運転者の運転操作における負担を軽減することができる。
【００５３】
また、本実施の形態の車両用画像処理装置において、上記車両の後退中に表示する画像は、上記進行方向を示す図形のみが異なる上記車両の前進中に表示する画像と同一画像か、上記車両の前進中に表示する画像の上下を反転させた画像か、あるいは上記車両の前進中に表示する画像の上下左右を反転させた画像であることを特徴とする車両用画像処理装置である。このような構成により、運転者は自分の好みに合う画像提示を見ることができるので、運転者の運転操作における負担を軽減することができる。
【００５４】
また、本実施の形態の車両用画像処理装置において、上記車両の後退中に表示する画像について、上記進行方向を示す図形のみが異なる上記車両の前進中に表示する画像と同一画像か、上記車両の前進中に表示する画像の上記上下を反転させた画像か、上記車両の前進中に表示する画像の上記上下左右を反転させた画像かを選択する手段（図１の表示モード設定装置１０３および画像処理装置１０４）を有することを特徴とする車両用画像処理装置である。このような構成により、運転者は自分の好みに合う画像提示を選択することができるので、運転者の運転操作における負担を軽減することができる。
【００５５】
また、本実施の形態の車両用画像処理装置において、表示画像上もしくは上記表示画像の近傍に、上記車両のシフト状態を示す画像（図２、図３のシフトインジケータの表示２０１）を表示する手段（図１のシフトポジション取得装置１０２、画像処理装置１０４および画像表示装置１０５）を有することを特徴とする車両用画像処理装置である。このような構成により、運転者は車両の操作時、シフト状態を知ることができるので、便利であり、運転者の運転操作における負担を軽減することができる。
【００５６】
また、本実施の形態の車両用画像処理装置において、アクセル、ブレーキ、ハンドルの少なくとも１つの操作により、上記車両がどの方向に進むのかを、表示画像上（図２）もしくは上記表示画像の近傍（図３）に、上記車両の進行方向を示す図形により表示する手段（図１の画像処理装置１０４および画像表示装置１０５）を有することを特徴とする車両用画像処理装置である。このような構成により、運転者は車両の操作時、車両の進行方向を容易に知ることができるので、便利であり、運転者の運転操作における負担を軽減することができる。
【００５７】
また、本実施の形態の車両用画像処理装置において、上記車両の進行方向を示す図形を、上記車両を示す図形上に重ねて表示（図２参照）する手段（図１の画像処理装置１０４および画像表示装置１０５）を有することを特徴とする車両用画像処理装置である。このような構成により、車両の進行方向を示す図形が見やすく、便利であり、運転者の運転操作における負担を軽減することができる。
【００５８】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態の車両用画像処理装置の構成例を示すブロック図である。
【図２】図１の画像表示装置の表示画面の例を示す図である。
【図３】図１の画像表示装置の表示画面の別の例を示す図である。
【図４】本発明に係る視点変換装置を示すブロック図である。
【図５】図４に示した視点変換装置の画像変換手段による画像変換についての説明図である。
【図６】図４に示した視点変換装置の画像変換手段による画像変換についての説明図である。
【図７】図４に示した視点変換装置の視点変換手段による視点変換についての説明図である。
【符号の説明】
１１…実カメラ
１１ａ…実カメラモデル
１２…画像変換手段
１３…視点変換手段
２１…カメラ本体
２２…代表点
２３…撮像面
２４…カメラ光軸
２５…光線
２６…光線
２７…交点
３２…仮想カメラ
３３…交点
３４…光線
３５…光線
１０１…プランビュー画像作成装置
１０２…シフトポジション取得装置
１０３…表示モード設定装置
１０４…画像処理装置
１０５…画像表示装置
２００…車両を示す図形
２０１…シフトインジケータの表示
２０２…車両の進行方向を示す図形
２０３…障害物
２０４…画像表示装置の表示画面以外の領域
【図１】
0003855814.tif 000002
【図２】
0003855814.tif 000003
【図３】
0003855814.tif 000004
【図４】
0003855814.tif 000005
【図５】
0003855814.tif 000006
【図６】
0003855814.tif 000007
【図７】
0003855814.tif 000008