(57)【要約】【課題】ハードウェアのコストを低減する。【解決手段】自車両１０１の周囲を撮像するカメラ１０２と、カメラ１０２により撮像された撮像画像を処理する画像処理部１０４と、画像処理部１０４により処理された処理画像を提示する画像提示装置１０７とを備え、画像処理部１０４は、カメラ１０２により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、第１の２次元変数と第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成する。【選択図】    図１
2005062992.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周囲を撮像する撮像装置と、
前記撮像装置により撮像された撮像画像を処理する画像処理部と、
前記画像処理部により処理された処理画像を提示する画像提示装置とを備え、
前記画像処理部は、
前記撮像装置により撮像された前記撮像画像上の各画素を第１の２次元変数に対応させ、
仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、
前記第１の２次元変数と前記第２の２次元変数との変数変換を行い、
向き、範囲の少なくとも一方を変更した処理画像を生成することを特徴とする画像生成装置。
【請求項２】
前記画像処理部は、前記各画素を２つの角度変数に対応させることを特徴とする請求項１記載の画像生成装置。
【請求項３】
自車両の周囲を撮像する撮像装置により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、
仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、
前記第１の２次元変数と前記第２の２次元変数との変数変換を行い、
向き、範囲の少なくとも一方を変更した処理画像を生成することを特徴とする画角変換手法。
【請求項４】
コンピュータを、自車両の周囲を撮像する撮像装置により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、前記第１の２次元変数と前記第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成するように機能させるための画角変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置および画角変換手法並びに画角変換プログラムに関するものである。
【背景技術】
【０００２】
下記特許文献１には、車両の外部監視装置が記載されている。この装置では、車両の側面前端両側にカメラを設置し、通常のサイドミラーと同様な車両の側後方の映像と、運転者にとって死角となる領域の映像とを広角に撮像する。そして、画像モニタは、通常、車両の側後方の映像を表示し、必要に応じて死角領域の監視画像を表示する。
【０００３】
【特許文献１】特開２０００−１７７４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車両周囲の必要十分な視角をモニタする画像を提供するためには、カメラの数を増大させるか、カメラの向きを可変にする機構を設けたり、撮影範囲の変更するためにズーム機構を設けたりする必要があり、ハードウェアのコストが増大する。
【０００５】
本発明の目的は、上記問題を解決し、ハードウェアのコストを低減し得る画像生成装置および画角変換手法並びに画角変換プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、自車両の周囲を撮像する撮像装置により撮像された撮像画像を処理する画像処理部は、撮像装置により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、第１の２次元変数と第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成するという構成になっている。
【発明の効果】
【０００７】
本発明によれば、ハードウェアのコストを低減できる画像生成装置および画角変換手法並びに画角変換プログラムを実現することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図１は本発明の実施の形態の画像生成装置の構成を説明する図で、（ａ）は上面図、（ｂ）は側面図である。  
図１において、１０１は自車両、１０２は電子式のカメラ、１０３はカメラ１０２の撮像範囲、１０４は画像処理部、１０５は撮像範囲指示装置、１０６は必要撮像範囲、１０７は画像提示装置である。  
図１に示すように、自車両１０１にカメラ１０２が取り付けられている。カメラ１０２は撮像範囲１０３の画像を撮像する。画像処理部１０４は、カメラ１０２の画像を取得することができ、かつ、撮像範囲指定装置１０５によって指示された必要撮像範囲１０６にあたる画像を、カメラ１０２の画像を用いて作成し、画像提示装置１０７を通じて運転者に提示する。  
必要撮像範囲１０６は、撮像範囲１０３に収まる範囲内で、例えば死角領域等、各走行状況における判断に有効な画像範囲であり、任意の方向、任意の範囲で決定することができる。必要撮像範囲１０６の方向および範囲は撮像範囲指定手段１０５で指示される。撮像範囲指示手段１０５は運転者の手動で操作するスイッチでも良いし、他の車載装置からの出力でもよい。例えば、自車両の速度や進行方向、ＧＰＳ装置により検知される走行場所を元に必要な撮像方向、撮像範囲を決定するような装置が、必要撮像範囲１０６を設定する。
【０００９】
カメラ１０２は図１においては自車両１０１の後方に取り付けられているが、カメラ１０２の目的は自車両１０１の周囲の視界の補助であるから、必要があれば、カメラ１０２の自車両１０１への取り付け位置は、自車両１０１の側面、前面などでも良い。この画像生成装置の基本的な動作は、カメラ１０２の自車両１０１への取り付け位置によらない。
【００１０】
画像処理部１０４内では、後で詳しく説明する画角変換手法を用いて、指定された必要撮像範囲１０６の画像を計算／作成する。
【００１１】
以下、本発明の実施の形態の画角変換手法の手順について説明する。  
まず、本発明の実施の形態におけるカメラモデルについて説明する。  
図２、図３は本実施の形態におけるカメラモデルを説明する図で、図２はカメラの出力する画面（すなわち、画像）を説明する図である。画面は画素（すなわち、ピクセル）の集合で構成される。各ピクセルは一般的なコンピュータグラフィックスの座標系で示され、例えば横６４０ピクセル、縦４８０ピクセルの場合、左上を（０，０）、右下を（６３９，４７９）とする直交するＸＹ座標である。次に、各ピクセルを極座標で表す。画面上の中央に点Ｃを置き、点Ｃから右方向へ基準線ＣＬを引く。画面上の任意の点Ｐ（ｘ，ｙ）を取り、点Ｃおよび基準線ＣＬを用いると、線分Ｃ−Ｐの長さＬＣＰ、および線分Ｃ−Ｐと基準線ＣＬとのなす角度ＡＰで表すことができる。ＬＣＰは常に正の値をとり、ＡＰは基準線ＣＬから反時計回りを正の方向とする。  
（ｘ，ｙ）と（ＬＣＰ，ＡＰ）の関係は、画面の横方向のピクセル数をwidth、縦方向のピクセル数をheightとすると、以下の式で表すことができる。（ｘ，ｙ）はピクセル位置を示すため、ｘ，ｙともに常に整数で、通常の実数座標系との変換式とは異なる。  
ｘ＝ＬＣＰ×cos(ＡＰ)＋(width／２)    (小数点以下切り捨て)
ｙ＝ＬＣＰ×sin(ＡＰ)＋(height／２)    (小数点以下切り捨て)
ＬＣＰ＝［(ｘ−width／２＋０．５)２＋(ｙ−height／２＋０．５)２］１／２
ＡＰ＝arccos［(ｘ−width／２＋０．５)／ＬＣＰ］    (ｙ＜height／２のとき)
ＡＰ＝arccos［(ｘ−width／２＋０．５)／ＬＣＰ］＋π    (ｙ＞＝height／２のとき)
この式を便宜的に、
(ＬＣＰ，ＡＰ)＝ｆｓ(ｘ，ｙ)
(ｘ，ｙ)＝ｆｓｉ(ＬＣＰ，ＡＰ)
と表す。
【００１２】
次に、図３に示すように、空間上の点ＬＣと方向Ｄを考える。方向Ｄと垂直な面ＳＶを取り、面ＳＶ上に方向ＤＶを取る。図３上では、面ＳＶは円形の有限な大きさで描かれているが、実際には平面である。点ＬＣをカメラ位置とし、方向Ｄをカメラの向きとする。点ＬＣから方向Ｒを取る。方向Ｒは方向Ｄ、方向ＤＶを基準に、角度ａと角度ｂで表すことができる。角度ａは方向Ｄと方向Ｒのなす角度、角度ｂは方向Ｒ上の点から面ＳＶ上に垂線を下ろし、その交点と点ＬＣを結んだ線分と方向ＤＶのなす角度である。角度ｂは面ＳＶ上の角度である。ここで、方向Ｒをカメラに入射する光線が来る方向と考える。カメラの画素と各画素に入射する光線の方向の対応関係を以下の式で定義する。  
ＬＣＰ＝ｆ(ａ)
ＡＰ＝ｂ＋constant(定数)
図２と図３の物理的なつながりはなく、概念的に上記の式で対応づける。この対応付けをすることで、２次元の式でカメラの計算を行うことが可能となる。  
関数ｆ（ｕ）（ｕは独立変数。以下同じ）を適切に設定することで、カメラのレンズ特性を簡易的にシミュレートすることができる。ここでレンズ特性とは、レンズゆがみおよび画角を指す。例えば、理想的な特性を持つレンズであれば、
ＬＣＰ＝ｋ×ａ    (ｋ：定数)
となる関数ｆ（ｕ）を設定すれば良い。また、ピンホールカメラをシミュレートしたい場合には、
ＬＣＰ＝ｋ×tan(ａ)    (ｋ：定数)
となる関数ｆ（ｕ）を設定する。実際のレンズ特性を測定し、関数ｆ（ｕ）を定めても良い。
【００１３】
本実施の形態では、関数ｆ（ｕ）を前述のように
ＬＣＰ＝ｋ×ａ    (ｋ：定数)
と設定する。定数ｋを適切に設定することで、カメラの画角を再現することができる。ここでＡＰとｂの関係式を関数ｆ（ｕ）にまとめて、
(ＬＣＰ，ＡＰ)＝ｆ(ａ，ｂ)
(ａ，ｂ)＝ｆｉ(ＬＣＰ，ＡＰ)
と置く。関数ｆｉ（ｕ）は関数ｆ（ｕ）の逆関数である。  
以上より、カメラ向きに対する方向（ａ，ｂ）から入射する光線と、カメラの画像上の画素との対応関係は、
(ｘ，ｙ)＝ｆｓｉ［ｆ(ａ，ｂ)］
(ａ，ｂ)＝ｆｉ［ｆｓ(ｘ，ｙ)］
となる。カメラに対して方向（ａ，ｂ）に入射する光線が意味する情報は、色情報である。
【００１４】
以上でカメラモデルを定義した。図４〜図６は本実施の形態における画角変換手法を説明する図である。次に、図４〜図６を用いて、このカメラモデルを使った画角変換手法について説明する。  
カメラモデルを２つ用意し、それぞれをカメラモデル１、カメラモデル２とする。図２にならって、それぞれのカメラ位置をＬＣ１、ＬＣ２で表し、カメラ向きや他の定義、関係式も同じように番号をつけて区別する。カメラモデル１は実際に設置されているカメラを再現するもので、カメラモデル２は仮想的なカメラ（以下、仮想カメラと称す）である。仮想カメラの画像が、最終的に得たい画角変換後の画像となる。各カメラモデルの関係式ｆｓ（ｕ），ｆｓｉ（ｕ），ｆ（ｕ），ｆｉ（ｕ）は適切に設定されているものとし、カメラモデル１の各式はｆｓ１（ｕ），ｆｓｉ１（ｕ），ｆ１（ｕ），ｆｉ１（ｕ）とし、カメラモデル２の各式はｆｓ２（ｕ），ｆｓｉ２（ｕ），ｆ２（ｕ），ｆｉ２（ｕ）とする。  
本実施の形態で使用する仮想カメラは実カメラと同じ位置にあり、実カメラの撮像範囲の一部分を撮影する向きを向いているとする。これにより、カメラモデル１とカメラモデル２は、空間上の同じ位置に設置される（ＬＣ１＝ＬＣ２）。カメラの向きはそれぞれ任意であるが、カメラモデル１の方向Ｄ１を基準にすると、カメラモデル２の方向Ｄ２を、角度ａｄおよび角度ｂｄで示すことができる（図３の定義を参照）。  
ここで、カメラモデル２の画素Ｐ２（ｘ２，ｙ２）に注目する。Ｐ２はカメラ画像上の任意の画素でよい。画素Ｐ２に対応する光線の向きＲは、向きＤ２を基準にして、
(ａ２，ｂ２)＝ｆｉ２［ｆｓ２(ｘ２，ｙ２)］
で示される。  
向きＲは、向きＤ１を基準にしても表すことができる。向きＲを向きＤ１を基準に表した場合の値を（ａ１，ｂ１）と置く。向きＤ２は向きＤ１を基準に（ａｄ，ｂｄ）で表されているから、この角度を用いた変換式
(ａ１，ｂ１)＝ｆｔ［(ｄａ，ｄｂ)，(ａ２，ｂ２)］
が記述できる。次に、カメラモデル１に向きＲから入射する光線について考える。向きＲを向きＤ１を基準に表現すると（ａ１，ｂ１）になるので、向きＲと対応するカメラモデル１上の画素Ｐ１（ｘ１，ｙ１）は、
(ｘ１，ｙ１)＝ｆｓｉ１［ｆ１(ａ１，ｂ１)］
となる。以上をまとめると、
(ｘ１，ｙ１)＝ｆｓｉ１(ｆ１(ｆｔ((ｄａ，ｄｂ)，ｆｉ２(ｆｓ２(ｘ２，ｙ２)))))
となり、仮想カメラの画素Ｐ２（ｘ２，ｙ２）と、実カメラの画素Ｐ１（ｘ１，ｙ１）の対応が求まる。  
この計算を仮想カメラの全画素に対して行えば、実カメラの画素を用いて、仮想カメラの仮想画像を生成することができる。  
このとき、仮想カメラの処理も前記のカメラモデルを用いて行うため、広角の実カメラから画像を生成する場合も、広角レンズによる画像歪みに影響されることなく、歪みのない仮想カメラ画像を生成することが可能となる。  
また、この一連の手順に必要な計算は、cos、sin、arccosのテーブルを保持しておけば、テーブルからの数値の呼び出しと四則演算で実現することができる。cos、sin、arccosは、入力される数値の範囲も限定され、出力の数値の範囲も限定されることから、テーブルとして保持しておくことが容易かつ現実的な解となり得る関数である。複雑な演算プロセッサを必要としないため、簡単な構成のハードウェアとＣＰＵで演算することが可能となる。  
なお、上記説明中の実カメラは図１のカメラ１０２、仮想カメラは必要撮像範囲１０６を撮影するカメラである。この手法を用いることにより、カメラ１０２で捕らえた範囲中の任意の向き、任意の範囲の画像をあたかも他のカメラで捉えたかのような画像を生成することができる。  
上記のようにして作成した提示画像は、画像提示手段１０７を通じて運転者に提示され、運転者はカメラ１０２の撮像範囲１０３の中から、各走行状況における判断に有効な画像範囲の必要な画像情報のみを得ることができる。その結果、運転者が処理する情報量が軽減され、運転負荷を軽減することが可能となる。
【００１５】
以上説明したように、本実施の形態の画像生成装置は、自車両１０１の周囲を撮像する撮像装置であるカメラ１０２と、カメラ１０２により撮像された撮像画像を処理する画像処理部１０４と、画像処理部１０４により処理された処理画像を提示する画像提示装置１０７とを備え、画像処理部１０４は、カメラ１０２により撮像された撮像画像（実画像）上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、第１の２次元変数と第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成するという構成になっている。  
また、本実施の形態の画角変換手法は、自車両１０１の周囲を撮像するカメラ１０２により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、第１の２次元変数と第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成するという構成になっている。  
また、本実施の形態の画角変換プログラムは、コンピュータを、自車両の周囲を撮像する撮像装置により撮像された撮像画像上の各画素を第１の２次元変数に対応させ、仮想設定した仮想撮像装置により生成する仮想画像上の各画素を第２の２次元変数に対応させ、第１の２次元変数と第２の２次元変数との変数変換を行い、向き、範囲の少なくとも一方を変更した処理画像を生成するように機能させるという構成になっている。  
このような構成により、自車両１０１に取り付けたカメラ１０２を回動させることなく、各走行状況における判断に有効な画像を取得することができ、運転者に必要な画像情報のみを提示することができる。自車両１０１の周囲の必要十分な視角をモニタする画像を提供するためには、カメラの数を増大させたり、カメラの向きを可変にする機構を設けたり、撮影範囲の変更するためにズーム機構を設けたりする必要があり、ハードウェアのコストが増大したり、外装のデザイン性が低下したが、本実施の形態では、カメラ１０２の数は例えば１個等少なくて済み、また、カメラ１０２の向きを可変にする機構を設けたり、撮影範囲の変更するためにズーム機構を設けたりする必要はなく、ハードウェアのコストを低減することができ、デザイン性を向上することができる。また、少ない計算量で画像の変換が実現できるため、安価なハードウェアを提供することができる。また、広角カメラで撮影した画像の一部を単に切り取って提示する場合、広角カメラの歪みによって提示画面の情報がわかりにくくなる。本実施の形態では、広角カメラの画像をもとに提示画像を作成した場合も、歪みのない画像を得ることができ、運転者にとって違和感のない画像を提示することができる。  
また、画像処理部は、各画素を２つの角度変数に対応させるという構成になっている。このように画素の処理に直接角度変数を用いることで計算量を減らすことができ、安価なハードウェアを提供することができる。  
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態の画像生成装置の構成を説明する図である。
【図２】本発明の実施の形態におけるカメラモデルを説明する図である。
【図３】本発明の実施の形態におけるカメラモデルを説明する図である。
【図４】本発明の実施の形態における画角変換手法を説明する図である。
【図５】本発明の実施の形態における画角変換手法を説明する図である。
【図６】本発明の実施の形態における画角変換手法を説明する図である。
【符号の説明】
【００１７】
１０１…車両
１０２…カメラ
１０３…カメラの撮像範囲
１０４…画像処理部
１０５…撮像範囲指示装置
１０６…必要撮像範囲
１０７…画像提示装置
【図１】
2005062992.tif 000003
【図２】
2005062992.tif 000004
【図３】
2005062992.tif 000005
【図４】
2005062992.tif 000006
【図５】
2005062992.tif 000007
【図６】
2005062992.tif 000008