(57)【特許請求の範囲】
【請求項１】
車両に設けられ、前記車両の周囲を撮影する撮影手段と、
前記撮影手段で撮影された画像を、前記車両の上方から見た画像に視点変換する視点変換手段と、
前記視点変換手段で視点変換された画像を、前記車両から一定距離以内の範囲の第１の領域と、該第１の領域以外の第２の領域に分割する画像分割手段と、
前記画像分割手段で分割された前記第２の領域の画像を圧縮する画像圧縮手段と、
前記画像圧縮手段で圧縮された画像と、前記第１の領域の画像とを合成する画像合成手段と、
前記画像合成手段で合成された画像を表示する画像表示手段と
を有することを特徴とする車両用画像処理装置。
【請求項２】
前記画像分割手段の分割のオン／オフ、前記画像圧縮手段の圧縮のオン／オフ、前記画像分割手段の分割の方法、前記画像圧縮手段の圧縮の方法の少なくとも一つを選択する手段を有することを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】
前記画像圧縮手段の圧縮を、前記車両の近傍では変形が少なく、前記車両から離れるに従って変形が大きくなるような関数に従い、行なうことを特徴とする請求項１または２記載の車両用画像処理装置。
【請求項４】
前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して横方向にのみ行なうことを特徴とする請求項１乃至３のいずれか記載の車両用画像処理装置。
【請求項５】
前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して縦方向にのみ行なうことを特徴とする請求項１乃至３のいずれか記載の車両用画像処理装置。
【請求項６】
前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して横方向および縦方向に行なうことを特徴とする請求項１乃至３のいずれか記載の車両用画像処理装置。
【請求項７】
高さのある物体の検出を行なうセンサを有し、前記物体が検出された方向にのみ、前記画像分割手段の分割、前記画像圧縮手段の圧縮を行なうことを特徴とする請求項１乃至６のいずれか記載の車両用画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両用画像処理装置に関する。
【０００２】
【従来の技術】
従来の視点変換装置においては、カメラのシミュレーションにはピンホールカメラモデルが用いられることが多かった。このピンホールカメラモデルにおいては、図１１に示すように、カメラ本体１内に入る光は必ず代表点２（レンズの焦点位置やレンズの中心点を用いることが多い）を通り、直進してカメラ本体１内に設けられた撮像面３に入る。そして、代表点２を通る光は直進するから、カメラ本体１の外部からの光線の入射角とカメラ本体１の内部への光線の出射角とは等しい。したがって、カメラの撮影範囲は最大入射角θＩｍａｘの大きさと撮像面３の位置および大きさとで決定され、最大出射角θＯｍａｘの大きさは最大入射角θＩｍａｘの大きさと等しい。
【０００３】
しかし、カメラのシミュレーションにピンホールカメラモデルを用いたときには、出射角の変化に対する撮像面３上の位置の変化は、撮像面３の中心部よりも輪郭部の方が大きくなるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像に歪みが生ずる。
【０００４】
このような画像の歪みを補正する技術として特開平５−２７４４２６号公報に記載された技術がある。この従来技術では、予め決められたパターンを撮影し、パターンを撮影したパターン画像と上記パターンとを比較してパターン画像の歪みを求め、パターン画像の歪みを元に撮影画像（画像データ）の歪みを補正するための補正関数を算出して、撮影画像の歪みを取り除いている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術を視点変換装置に適用したときには、補正関数を算出するためにパターン画像を撮影する必要があり、レンズ特性や撮影位置が異なるたびにパターン画像を撮影しなければならないから、面倒である。
【０００６】
本発明は上述の課題を解決するためになされたもので、歪みの少ない視点変換画像を得ることができ、しかも容易に視点変換することができる車両用画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、前記課題を解決するため、車両に設けられ、前記車両の周囲を撮影する撮影手段と、前記撮影手段で撮影された画像を、前記車両の上方から見た画像に視点変換する視点変換手段と、前記視点変換手段で視点変換された画像を、前記車両から一定距離以内の範囲の第１の領域と、それ以外の第２の領域に分割する画像分割手段と、前記画像分割手段で分割された前記第２の領域の画像を圧縮する画像圧縮手段と、前記画像圧縮手段で圧縮された画像と、前記第１の領域の画像とを合成する画像合成手段と、前記画像合成手段で合成された画像を表示する画像表示手段とを有することを特徴とする。
【００２２】
【発明の効果】
本発明によれば、歪みの少ない視点変換画像を得ることができ、しかも容易に視点変換することができる車両用画像処理装置を提供することができる。
【００３６】
【発明の実施の形態】
図１は本発明の車両用画像処理装置に用いる視点変換装置を示すブロック図である。図に示すように、画像を出力する実カメラ（撮影手段）１１と、実カメラ１１で撮影された撮影画像について実カメラ１１の内部への出射角を実カメラ１１の外部からの入射角未満として画像変換する画像変換手段１２と、画像変換手段１２で画像変換された画像変換画像を視点変換する視点変換手段１３と、視点変換手段１３で視点変換された視点変換画像を表示する表示手段１４とを有する。
【００３７】
つぎに、図２、図３により図１に示した視点変換装置の画像変換手段１２による画像変換について説明する。図に示すように、実カメラモデル１１ａのカメラ本体２１外の光線２５（図３）は必ず代表点２２（レンズの焦点位置や中心点を用いることが多い）を通り、カメラ本体２１内の光線２６（図３）はカメラ本体２１内に設けられた撮像面２３に入る。そして、実カメラモデル１１ａ（実カメラ１１）の向きを示すカメラ光軸２４に垂直に撮像面２３が設けられ、また撮像面２３の中心をカメラ光軸２４が通るように、撮像面２３が配置されている。もちろん、シミュレートする対象の実カメラ１１の特性によっては、撮像面２３の中心をカメラ光軸２４が通らなくともよいし、撮像面２３とカメラ光軸２４が垂直でなくともよい場合もある。また、代表点２２と撮像面２３との距離は計算の都合上単位距離（１）とするのがよい。また、ＣＣＤカメラなどをシミュレートする場合には、撮像面２３はシミュレートする対象の実カメラ１１の画素数を再現するように格子状に分割される。最終的には、光線２６が撮像面２３のどの位置（画素）に入射するかのシミュレーションを行なうことになるため、代表点２２と撮像面２３との距離および撮像面２３の縦横の長さの比率だけが問題になり、実距離は問題にならない。
【００３８】
そして、画像変換手段１２は、実カメラ１１で撮影された撮影画像について、実カメラモデル１１ａ（図２）のカメラ本体２１の内部への出射角αＯ、βＯ（出射角αＯはカメラ光軸２４に対する光線２６の角、出射角βＯはカメラ光軸２４に直交する軸に対する光線２６の角）を実カメラモデル１１ａのカメラ本体２１の外部からの入射角αＩ、βＩ（入射角αＩはカメラ光軸２４に対する光線２５の角、入射角βＩはカメラ光軸２４に直交する軸に対する光線２５の角）未満として画像変換する。
【００３９】
すなわち、光線２５は必ず代表点２２を通り光線２６となる。また、極座標系の考え方を用いると、光線２５は代表点２２を原点に入射角αＩ、βＩの２つの角度で示すことができる。そして、光線２５は代表点２２を通過する際に、次式によって定まる出射角αＯ、βＯを有する光線２６となる。
【００４０】
（αＯ，βＯ）＝ｆ(αＩ，βＩ)              （１）
このとき、αＯ＜αＩの関係式が常に成立するようにする。この場合、光線２５は代表点２２を通過する際に(１)式によって方向が変えられ、光線２６は撮像面２３と交点２７において交わる。例えば、ＣＣＤカメラをシミュレートしている場合には、交点２７の座標（位置）から撮像面２３上のどの画素に光線２６が入射するかを求めることができる。
【００４１】
なお、撮像面２３の設定によっては光線２６と撮像面２３とが交わらない場合もあるが、この場合には光線２５は実カメラモデル１１ａには映らないということになる。
【００４２】
また、シミュレーションする対象の実カメラ１１の最大画角をＭ（度）とした場合には、カメラ本体２１内部に入射を許される光線２５はαＩ＜(Ｍ／２)を満たす必要がある。この条件を満たさない光線２５は実カメラモデル１１ａに映らないということになる。このときの出射角αＯの最大値はｆ(Ｍ／２)で計算される。また、(１)式の関数ｆ(αＩ，βＩ)を決定した上で、代表点２２と撮像面２３との距離（前述の通り単位距離とするのがよい）と撮像面２３の縦横の長さとを決定し、実カメラモデル１１ａの撮像範囲を規定する。なお、図２に示すように、最大出射角θＯｍａｘの大きさは最大入射角θＩｍａｘの大きさよりも小さい。
【００４３】
以上の手順により、代表点２２に入射した光線２５が実カメラモデル１１ａの撮像面２３上のどの画素（位置）に入射するかを計算することができ、実カメラ１１で撮影された撮影画像すなわち光線２５が代表点２２を通って直進したときの撮影画像について画像変換して、画像変換画像を得ることができる。したがって、(１)式によって実カメラ１１に入射する光線の入射角αＩ、βＩと画像変換画像の画素（位置）との関係を求めることができる。
【００４４】
また、(１)式とともに、次式を用いることによって実カメラモデル１１ａの撮像面２３上の任意の点に入射する光線２６が代表点２２に対してどの方向から入射したかを計算することが可能になる。
【００４５】
（αＩ，βＩ）＝ｆi(αＯ，βＯ)            （２）
また、最も簡単な(１)式の例は、次のような入射角αＩ、βＩと出射角αＯ、βＯとが比例関係を持つ式である。
【００４６】
αＯ＝ｋαＩ                              （３）
βＯ＝βＩ                                （４）
ここで、ｋは実カメラモデル１１ａのレンズ特性を決定するパラメータであり、ｋ＜１である。仮にｋ＝１の場合には、従来のピンホールカメラモデルと同じ動作となる。実際のレンズの歪曲収差特性はレンズの目的（設計意図）によるが、通常の広角レンズはパラメータｋを、１＜ｋ＜０の範囲で適当に設定することで近似することができ、ピンホールカメラモデルを用いたカメラシミュレーションよりも正確なカメラシミュレーションが可能となる。
【００４７】
また、レンズシミュレーションをより精密に行ないたい場合には、関数ｆ(αＩ，βＩ)を(３)式、(４)式に示すような比例関係ではなく、実カメラ１１のレンズ特性を実際に測定し、実カメラ１１のレンズ特性を示す関数で画像変換する。この場合、もちろん出射角αＯを入射角αＩ未満とする。
【００４８】
以上の画像変換を行なったのちに、視点変換を行なう。最も単純な視点変換は、空間上にカメラモデルと投影面を置き、カメラで撮影した映像を投影面に対して投影することで実現される。
【００４９】
つぎに、図４により図１に示した視点変換装置の視点変換手段１３による視点変換について説明する。まず、実空間に合わせて仮想空間を設定し、仮想空間上に位置および向きを合わせて実カメラ１１と仮想カメラ３２とを配置する。つぎに、投影面を設定する。図４ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。つぎに、仮想カメラ３２の画素の一つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の位置および向きの情報と合わせ、投影面と光線３５との交点３３を求める。つぎに、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、図２、３で説明した画像変換後の画像変換画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色および輝度とする。
【００５０】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒など。もちろん黒以外でもよい）を用いるものとする。
【００５１】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色および輝度をブレンディングし、画素Ｖの色および輝度とする。この場合、ブレンディングの比率は等しくする。また、色および輝度のブレンディンクの手法としてはアルファブレンディングなどの手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００５２】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色および輝度を確定することで仮想カメラ３２の画像すなわち視点変換画像を作成することができ、空間上の実カメラ１１の画像すなわち画像変換画像を視点変換画像へと視点変換することができる。
【００５３】
この手法は撮影画像を投影面に対して単純に投影する方法に比べ、仮想カメラ３２の特性や位置が自由に設定でき、かつ仮想カメラ３２の特性や位置の変化にも容易に対応できる。
【００５４】
なお、仮想カメラ３２の各画素は基本的に実カメラ１１の画素との対応になり、その対応は仮想カメラ３２および実カメラ１１の位置および向きおよび投影面の設定が変わらない限り変わらないので、計算能力に余裕のない処理装置を用いる場合には、対応関係を変換テーブルとして保存し、実行時に参照してもよい。また、仮想カメラ３２の画素数が増加するにつれ、変換テーブルの容量も比例して増加するので、仮想カメラ３２の画素数が多い場合には、大容量のメモリを持つ処理装置（コンピュータ）を用いるよりも、視点変換の計算を高速に行なうことができる処理装置を用いた方がコスト的に有利になる。
【００５５】
このような視点変換装置においては、出射角αＯの変化に対する撮像面２３上の位置の変化は、撮像面２３の中心部と輪郭部とでほぼ同じであるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも補正関数を算出するためにパターン画像を撮影する必要がないから、容易に視点変換することができる。また、出射角αＯと入射角αＩとが比例する関数で画像変換したときには、画像変換された画像変換画像の中心部と輪郭部では同倍率となるから、歪みの少ない視点変換画像を得ることができる。また、実カメラ１１のレンズ特性を示す関数で画像変換したときには、実カメラ１１のレンズ（収差）による歪みの少ない視点変換画像を得ることができる。また、視点変換手段１３は視点変換画像の各画素の色および輝度を画像変換画像の各画素の中心点に位置する色および輝度としているから、色および輝度の平均値などの計算を行なう必要がないので、視点変換時の計算量を少なくすることができる。
【００５６】
また、本発明に係る視点変換プログラムにおいては、コンピュータを、画像を出力する実カメラ（撮影手段）１１で撮影された撮影画像について(１)式（αＯ＜αＩ）により画像変換する画像変換手段、およびこの画像変換手段で画像変換された画像変換画像を視点変換する視点変換手段として機能させる。ここで、画像変換手段は図２、図３によって説明したように画像変換する。また、視点変換手段は図４によって説明したように視点変換する。そして、コンピュータに視点変換プログラムを実行させて得られた視点変換画像を表示手段に表示する。
【００５７】
このような視点変換プログラムをコンピュータで実行したときには、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも容易に視点変換することができる。
【００５８】
《車両用画像処理装置》
次に、例えば自動車等の車両に設置した複数個のカメラで撮影した映像を、上記のようにして変換し、合成して車両上空からの画像（平面図）を作成し、車両の運転者に提示する車両用画像処理装置について述べる。
このような車両用画像処理装置においては、その原理上、変換の基準面（地面）にあるもの（例えば路面のペイント等の高さのない物体など）は正しく変換されるが、高さのあるものは歪んで表示される。また、カメラから離れたものほど、歪みは大きくなり、表示器の表示に違和感を与えたり、距離感を喪失したりする問題点があった。
以下、表示器の表示画面の一部に対し、画像処理を行ない、上記表示上の違和感、距離感の喪失といった問題を軽減でき、その結果、より自然な画像が得られる車両用画像処理装置について説明する。
【００５９】
図５は本発明に係る車両用画像処理装置の構成を示すブロック図である。
１０１はプランビュー画像（平面画像）作成装置、１０２はプランビュー画像作成装置１０１により作成された画像を複数に分割する画像分割装置、１０３は画像分割装置１０２により分割された領域の画像の圧縮を行なう画像圧縮装置、１０４は画像を表示する（運転者に提示する）画像表示装置、１０５は画像分割装置１０２、画像圧縮装置１０３の圧縮モード（分割、圧縮の方式、方法）選択装置である。
【００６０】
まず、車両に取り付けられたカメラ（図示省略）で取得した映像を用いて、プランビュー作成装置１０１により、車両上空からのプランビュー画像を作成する。このプランビュー作成装置１０１は、具体的には、前述の図１〜図４を用いて説明した視点変換装置を使用して作成した。なお、視点変換した画像の合成手段については、図１において図示省略したが、視点変換手段１３と表示手段１４との間に合成手段を設ければよい。
【００６１】
すなわち、まず、プランビュー作成装置１０１において作成した画像を、例えば車両からの距離によって、画像分割装置１０２により複数に分割する。
図６〜８は画像の分割の例を示す図である。図中、２００は車両である。ここでは、ワゴン車の例を示し、車両２００の上部が車両前部である。
図６は、車両２００の横方向について、車両２００から一定距離以内の範囲をＡ、それ以上の範囲をＢ１、Ｂ２として分割した例を示す。
図７は、車両２００の縦方向について、車両２００から一定距離以内の範囲をＣ、それ以上の範囲をＤ１、Ｄ２として分割した例を示す。
図８は、車両２００の横方向および縦方向について、車両２００から一定距離以内の範囲をＥ、それ以上の範囲をＦ１、Ｆ２、Ｇ１、Ｇ２、Ｈ１〜Ｈ４として分割した例を示す。
なお、図８において、画像を分割する際、基準となる車両２００からの距離は、縦方向と横方向とで異なっていてもよい。
【００６２】
図６〜８において、車両２００から一定距離以内の範囲Ａ（図６）、Ｃ（図７）、Ｅ（図８）については、表示の圧縮を行なわない範囲とし、それ以外の範囲については、表示の圧縮を行なう範囲とする。なお、車両２００からの一定距離、つまり、表示の圧縮を行なわない範囲Ａ、Ｃ、Ｅの大きさは、０であってもよい。すなわち、少なくとも車両２００を含む範囲を除いて圧縮する。
【００６３】
以下、各例について具体的に説明する。
すなわち、図６は横方向にのみ、画像の圧縮を行なう場合を示す。
図６の場合、範囲Ａについては、プランビュー画像作成装置１０１で作成した画像をそのまま表示する。範囲Ｂ１、Ｂ２においては、画像圧縮装置１０３により、横方向に圧縮し、画像表示装置１０４により表示する。このとき、圧縮の方法に関しては、単純に横方向の範囲（幅）を１／ｎに圧縮してもよいし、車両２００から離れるに従って、圧縮の度合いが大きくなるような方式に従って圧縮してもよい。
【００６４】
図７は縦方向にのみ、画像の圧縮を行なう場合を示す。
図７の場合、範囲Ｃについては、プランビュー画像作成装置１０１で作成した画像をそのまま表示する。範囲Ｄ１、Ｄ２においては、縦方向に圧縮して表示する。このとき、圧縮の方法に関しては、単純に縦方向の範囲を１／ｎに圧縮してもよいし、車両２００から離れるに従って、圧縮の度合いが大きくなるような方式に従って圧縮してもよい。
【００６５】
図８は縦横両方向に、画像の圧縮を行なう場合を示す。
図８の場合、範囲Ｅについては、プランビュー画像作成装置１０１で作成した画像をそのまま表示する。範囲Ｆ１、Ｆ２においては、縦方向に圧縮して表示する。このとき、圧縮の方法に関しては、単純に縦方向の範囲を１／ｎに圧縮してもよいし、車両２００から離れるに従って、圧縮の度合いが大きくなるような方式に従って圧縮してもよい。範囲Ｇ１、Ｇ２においては、横方向に圧縮して表示する。このとき、圧縮の方法に関しては、単純に横方向の範囲を１／ｎに圧縮してもよいし、車両２００から離れるに従って、圧縮の度合いが大きくなるような方式に従って圧縮してもよい。範囲Ｈ１、Ｈ２、Ｈ３、Ｈ４においては、横方向と縦方向に圧縮して表示する。このとき、圧縮方法に関しては、単純に縦方向に１／ｎ、横方向に１／ｍに圧縮してもよいし、車両２００から離れるに従って、圧縮の度合いが大きくなるような方式に従って圧縮してもよい。
【００６６】
画像の分割と圧縮については、運転者がそれぞれのモードを自由に選べるものとする。運転者は、圧縮モード選択装置１０２で、分割・圧縮モードを複数の中から選択できる。
例えば、図６で示したように、横方向にだけ分割・圧縮を行なうモードと、図７で示したように、縦方向にだけ分割・圧縮を行なうモードと、図８で示したように、縦横両方向について分割・圧縮を行なうモードと、画像の圧縮をしないモード（すなわち、従来の表示方法）を切り替えたり、画像の圧縮するための式を複数の式の中から切り替えたりすることができる。また、分割を行なう境界線の位置についても、運転者がメニューから選択することができる。圧縮モード選択装置１０２は、通常のスイッチでもよいし、タッチパネルでもよいし、ジョイスティックとボタンで決定する方式でもよい。
【００６７】
以上のように作成された画像は、その画像の一部を圧縮するため、画像の寸法が元画像よりも小さくなる。したがって、画像表示装置１０４に表示する際に問題になることが考えられるが、プランビュー画像作成手段１０１で画像を作成する際に、圧縮することを勘案し、大きめに画像を作成し、なるべく表示画面いっぱいに表示することにより問題を解消することができる。また、画像の圧縮については、毎回同じ計算をすることになるので、一度だけ計算を行ない、２回目からは計算結果を格納したテーブルを参照することで計算を省略してもよい。
上記により作成された提示画像は、画像表示装置１０４を介して運転者に提示される。本構成においては、プランビュー画像作成装置１０１で作成された画像の一部を上記のように圧縮することにより、カメラから離れたものや、高さのあるものの表示の歪みを軽減し、表示の違和感、距離感の喪失という問題を軽減し、その結果、より自然な画像を運転者に提示することができる。
【００６８】
なお、図５〜図８に示した車両用画像処理装置は、車両に設けられ、前記車両の周囲を撮影する撮影手段（図１の実カメラ１１参照）と、前記撮影手段で撮影された画像を、前記車両の上方から見た画像に視点変換する視点変換手段（プランビュー画像作成装置１０１）と、前記視点変換手段で視点変換された画像を、前記車両から一定距離以内の範囲の第１の領域（図６の範囲Ａ、図７の範囲Ｃ、図８の範囲Ｅ）と、それ以外の第２の領域（図６の範囲Ｂ１、Ｂ２、図７のＤ１、Ｄ２、図８のＦ１、Ｆ２、Ｇ１、Ｇ２、Ｈ１〜Ｈ４）に分割する画像分割手段（画像分割装置１０２）と、前記画像分割手段で分割された前記第２の領域の画像を圧縮する画像圧縮手段（画像圧縮装置１０３）と、前記画像圧縮手段で圧縮された画像と、前記第１の領域の画像とを合成する画像合成手段（図５では図示省略されている。画像圧縮装置１０３と画像表示装置１０４との間に設けられている）と、前記画像合成手段で合成された画像を表示する画像表示手段（画像表示装置１０４）とを有する。
【００７０】
また、前記画像分割手段の分割のオン／オフ、前記画像圧縮手段の圧縮のオン／オフ、前記画像分割手段の分割の方法、前記画像圧縮手段の圧縮の方法の少なくとも一つを選択する手段（圧縮モード選択装置１０５）を有する。
【００７２】
また、前記画像圧縮手段の圧縮を、前記車両の近傍では変形が少なく、前記車両から離れるに従って変形が大きくなるような関数に従い、行なうようにしてもよい。
【００７３】
また、前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して横方向にのみ行なう（図６の場合）。
【００７４】
また、前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して縦方向にのみ行なう（図７の場合）。
【００７５】
また、前記画像分割手段の分割、前記画像圧縮手段の圧縮を、前記車両に対して横方向および縦方向に行なう（図８の場合）。
【００７６】
次に、図５〜８に示した車両用画像処理装置の別の構成例について説明する。
図９はこの車両用画像処理装置の構成を示すブロック図である。
１０６は距離測定装置である。
【００７７】
プランビュー作成装置１０１において作成された画像における、分割方法と圧縮方法は、図５の装置と同様に、運転者がメニューより選択、決定する。
【００７８】
距離測定装置１０６は、車両の周辺の高さのある物体の検出と、その物体までの距離の測定を行なう。この距離測定装置１０６は、例えばレーダや、ステレオカメラなどの手段を用いて実現する。例えば、現在、画像の分割モードが図６に示したような横方向の分割が選択されており、距離測定装置１０６により車両の左後方に、高さのある物体を検出したとする。そして、車両の右側には、何も検出されていないものとする。このとき、画像分割手段１０２により、図１０に示すように、表示を圧縮しない範囲Ａ’と、表示を圧縮する範囲Ｂ’とに分割される。図１０中の分割線３０１は、距離測定装置１０６で検出した物体３０２との距離を基準として設定される。車両２００の右側には、高さのある物体が検出されないため、表示を圧縮する範囲は設定されない。仮に、左右両方に物体が検出された場合は、車両２００の右側についても、同じように分割線を設定し、表示を圧縮する範囲を作成する。画像の圧縮方法については、図５の装置と同様である。
【００７９】
上記で説明したのは図６（横方向のみ分割・圧縮）の場合であったが、画像の分割・圧縮モードが、図７（縦方向のみ）、図８（縦横両方向）の場合であっても、検出された物体を基準として、上記と同様に分割を行ない、画像圧縮装置１０４によって表示の圧縮処理を行なう。
【００８０】
上記図５の車両用画像処理装置と、この図９の車両用画像処理装置との差異は、上記図５の装置においては、運転者が設定した各種設定により、必ず領域の分割・圧縮が行なわれるのに対し、この図９の装置では、距離測定装置１０６により物体を検出した場合だけ、領域の分割・圧縮を行ない、物体を検出しない場合には、領域の分割・圧縮を行なわない点にある。
上記により作成された提示画像は、画像表示装置１０４を介して運転者に提示される。本構成においては、高さのある物体の検出を行なうセンサである距離測定装置１０６を有し、上記物体が検出された方向にのみ、プランビュー画像作成装置１０１で作成された画像の一部の圧縮を行なうことにより、カメラから離れたものや、特に高さのあるもの表示の歪みを軽減し、表示の違和感、距離感の喪失という問題を軽減し、その結果、より自然な画像を運転者に提示することができる。
【００８１】
なお、図９、図１０に示した車両用画像処理装置は、高さのある物体の検出を行なうセンサ（距離測定装置１０６）を有し、前記物体が検出された方向にのみ、前記画像分割手段の分割、前記画像圧縮手段の圧縮を行なう。
【００８２】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】  本発明の車両用画像処理装置に用いる視点変換装置を示すブロック図である。
【図２】図１に示した視点変換装置の画像変換手段による画像変換についての説明図である。
【図３】図１に示した視点変換装置の画像変換手段による画像変換についての説明図である。
【図４】図１に示した視点変換装置の視点変換手段による視点変換についての説明図である。
【図５】本発明に係る車両用画像処理装置の構成を示すブロック図である。
【図６】図５に示した車両用画像処理装置において、画像の分割の例を示す図である。
【図７】図５に示した車両用画像処理装置において、画像の分割の例を示す図である。
【図８】図５に示した車両用画像処理装置において、画像の分割の例を示す図である。
【図９】本発明に係る車両用画像処理装置の図５とは別の構成を示すブロック図である。
【図１０】図９に示した車両用画像処理装置において、画像の分割の例を示す図である。
【図１１】ピンホールカメラモデルを示す図である。
【符号の説明】
１１…実カメラ
１１ａ…実カメラモデル
１２…画像変換手段
１３…視点変換手段
１４…表示手段
２１…カメラ本体
２２…代表点
２３…撮像面
２４…カメラ光軸
２５…光線
２６…光線
２７…交点
３２…仮想カメラ
３３…交点
３４…光線
３５…光線
１０１…プランビュー画像作成装置
１０２…画像分割装置
１０３…画像圧縮装置
１０４…画像表示装置
１０５…圧縮モード選択装置
１０６…距離測定装置
２００…車両
３０１…分割線
３０２…検出物体
【図１】
0003960092.tif 000002
【図２】
0003960092.tif 000003
【図３】
0003960092.tif 000004
【図４】
0003960092.tif 000005
【図５】
0003960092.tif 000006
【図６】
0003960092.tif 000007
【図７】
0003960092.tif 000008
【図８】
0003960092.tif 000009
【図９】
0003960092.tif 000010
【図１０】
0003960092.tif 000011
【図１１】
0003960092.tif 000012