(57)【要約】【課題】  少ないメモリ容量及び処理負担で画像変換を行うことができる画像補正装置を提供する。【解決手段】  車両用画像変換装置１は、周囲を撮像して画像データを生成するカメラモジュール２と接続され、画像データをモニタ３に表示させるために、予めテーブル記憶部１５に、モニタ３の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有する入力画像データのアドレス情報、及び、モニタ３の解像度分の表示用画像データのアドレス情報とを記述したアドレス変換テーブルを記憶させておく。カメラモジュール２で撮像された入力画像データを入力すると、画像変換部１４によりアドレス変換テーブルを参照して、入力画像データからモニタ３で表示させる解像度分の画像データを切り出し、切り出した画像データのアドレス情報を、表示用画像データのアドレス情報に変換し、画像データを表示用画像データとしてモニタ３に出力する。【選択図】      図１
2006060460.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮像して画像データを生成する撮像手段と接続され、当該画像データを表示手段に表示させる表示用画像データに変換する画像補正装置であって、
前記撮像手段で撮像された入力画像データを入力する入力手段と、
前記表示手段の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有する前記入力画像データのアドレス情報、及び、前記表示手段の解像度分の表示用画像データのアドレス情報とを記述したアドレス変換テーブルを記憶する記憶手段と、
前記アドレス変換テーブルを参照して、前記入力画像データから前記表示手段の解像度分の画像データを切り出し、当該切り出した画像データのアドレス情報を、前記表示用画像データのアドレス情報に変換する画像処理手段と、
前記画像処理手段で切り出されてアドレス情報が変換された画像データを表示用画像データとして前記表示手段に出力する出力手段と
を備えることを特徴とする画像補正装置。
【請求項２】
前記画像処理手段は、前記表示手段の解像度分の画像データを切り出すためのアドレス変換テーブルの先頭ポインタを前記撮像手段ごとに設定しておき、前記アドレス変換テーブルの先頭ポインタから画像データを切り出すことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記撮像手段は、所定の自車両周囲を撮像して画像データを生成し、
前記画像処理部は、前記自車両の挙動を示す車両信号を入力し、当該車両信号に従って前記入力画像データから切り出して前記表示手段の解像度分の画像データを移動させて、前記所定の自車両周囲を含む画像データを切り出すことを特徴とする請求項１に記載の画像補正装置。
【請求項４】
前記画像処理手段で切り出された画像データに重畳させるオーバレイデータであって、前記表示手段の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有するオーバレイデータを作成するオーバレイデータ作成手段を更に備え、
前記画像処理手段は、前記オーバレイデータ作成手段により作成されたオーバレイデータのうち、前記入力画像データから切り出した前記表示手段の解像度分の画像データと重畳させるオーバレイデータを切り出すことを特徴とする請求項１に記載の画像補正装置。
【請求項５】
前記画像処理手段は、前記表示手段の表示画面の所定位置に表示させるオーバレイデータを予め記憶しておき、当該オーバレイデータを表示させる所定位置と、前記入力画像データに含まれる対象物との位置とを合致させるように前記表示手段の解像度分の画像データを切り出す位置を移動させることを特徴とする請求項１に記載の画像補正装置。
【請求項６】
前記表示手段の表示画面の所定位置に表示させるオーバレイデータは、自車両の一部であることを特徴とする請求項５に記載の画像補正装置。
【請求項７】
前記撮像手段は、互いに異なる撮像範囲とされて複数備えられ、
前記記憶手段は、複数の撮像手段によって撮像された画像データを組み合わせて前記表示手段に表示させる画像レイアウトに応じて割り当てられた前記撮像手段ごとの表示用画像データの解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有するアドレス変換テーブルを記憶し、
前記画像処理手段は、
前記表示手段に表示させる画像レイアウトに従って、前記撮像手段ごとの複数のアドレス変換テーブルを取り出すテーブル領域決定手段と、
前記テーブル領域決定手段により取り出されたアドレス変換テーブルごとに、画像レイアウトに応じて割り当てられた表示用画像データの解像度分の画像データを切り出すための領域を決定し、当該領域が決定された複数のアドレス変換テーブルを組み合わせて、前記表示手段の解像度分のアドレス空間を有するアドレス変換テーブルを再構成するテーブル再構成手段とを備え、
前記テーブル再構成手段で再構成されたアドレス変換テーブルを参照して、各撮像手段で撮像された入力画像データごとに、画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すことを特徴とする請求項１に記載の画像補正装置。
【請求項８】
前記テーブル再構成手段は、前記テーブル領域決定手段により取り出されたアドレス変換テーブルのうち、前記撮像手段で撮像された入力画像データを補正する対象となる前記撮像手段に該当するアドレス変換テーブルの先頭ポインタを移動させて、画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すためのアドレス変換テーブルの領域を移動させることを特徴とする請求項７に記載の画像補正装置。
【請求項９】
前記記憶手段には、画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すためのアドレス変換テーブルの先頭ポインタを前記撮像手段ごとに記憶することを特徴とする請求項７に記載の画像補正装置。
【請求項１０】
前記テーブル再構成手段は、前記撮像手段ごとのアドレス変換テーブルの各先頭ポインタを移動させて、前記撮像手段ごとに画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すことを特徴とする請求項８又は請求項９に記載の画像補正装置。
【請求項１１】
前記テーブル再構成手段は、一方の撮像手段で撮像された入力画像データから画像レイアウトに応じて割り当てられた解像度分の画像データを取りだして表示用画像データに変換し、当該表示用画像データを参照して、他方の撮像手段のアドレス変換テーブルの各先頭ポインタを移動させて、画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すことを特徴とする請求項７に記載の画像補正装置。
【請求項１２】
前記画像処理手段は、複数の撮像手段の撮像範囲に含まれる対象物の特徴を取得し、当該特徴が連続するように画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すためのアドレス変換テーブルの先頭ポインタを移動させて、複数の撮像手段で撮像された複数の入力画像データから、画像レイアウトに応じて割り当てられた解像度分の画像データを切り出すことを特徴とする請求項７に記載の画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両周囲を撮像し、撮像して生成した画像を変換して運転者等に提示する画像補正装置に関する。
【背景技術】
【０００２】
従来より、車両の車庫入れや幅寄せ等の車両後進時や、見通しの悪い交差点やＴ字路への車両進入時等の場面において、ドライバーの視界を補助するための運転支援システムにおける車両周囲映像表示装置が知られている。
【０００３】
このような技術としては、下記の特許文献１に記載されているように、車両の後方死角をカメラで撮像し、当該カメラ画像を、実カメラ位置とは異なる仮想カメラ位置から見た画像に変換させている。すなわち、特許文献１に記載された画像変換装置は、実カメラ位置から撮像した入力画像を変換することによって、出力画像の提示領域を変化させている。
【特許文献１】特開２００１−１６３１３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、カメラの製造誤差、取付作業者によるカメラ取り付け誤差、車両走行による振動等によって、カメラレンズの光軸が予め決められていた位置からずれてしまうことがある。このように光軸のずれがあることは、カメラ撮像範囲がずれることと同義であり、当該光軸ずれを補正する必要がある。
【０００５】
これに対し、カメラの光軸ずれを画像変換装置で補正して表示させるために、光軸ずれを補正するためにカメラ画像を変換するアドレス変換テーブルをメモリに実装した場合、光軸のずれ方向やずれ度合い毎にアドレス変換テーブルを用意する必要があり、莫大な数のアドレス変換テーブルを用意する必要があるため、画像変換装置のメモリ容量が増大してしまう。
【０００６】
また、このようなメモリ容量の増大を抑制する手法としては、光軸のずれを考慮して、画像変換装置によりリアルタイムでアドレス変換テーブルを生成した場合、当該アドレス変換テーブルを生成する計算量が多くなって、ＣＰＵの処理負荷が高くなってしまう。このような状態で例えば複数のカメラからの画像データの入力遅延や、モニタに対する出力遅延が発生した場合には、ＣＰＵの処理が滞ってしまう場合があり、画像表示が行えない可能性が発生する。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、少ないメモリ容量及び処理負担で画像変換を行うことができる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像補正装置は、周囲を撮像して画像データを生成する撮像手段と接続され、当該画像データを表示手段に表示させるために、予め記憶手段に、表示手段の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有する入力画像データのアドレス情報、及び、表示手段の解像度分の表示用画像データのアドレス情報とを記述したアドレス変換テーブルを記憶させておく。
【０００９】
そして、画像補正装置は、入力手段によって、撮像手段で撮像された入力画像データを入力すると、画像処理手段によって、アドレス変換テーブルを参照して、入力画像データから表示手段で表示させる解像度分の画像データを切り出し、当該切り出した画像データのアドレス情報を、表示用画像データのアドレス情報に変換し、出力手段によって、画像処理手段で切り出されてアドレス情報が変換された画像データを表示用画像データとして表示手段に出力する。
【００１０】
このような画像補正装置では、入力画像データから表示手段で表示させる解像度分の画像データを切り出すに際して、参照するアドレス変換テーブルの領域を移動させることによって変換する画像データを移動させることができ、単一のアドレス変換テーブルであっても、撮像手段の撮像範囲のずれを補正することができる。
【発明の効果】
【００１１】
本発明に係る画像補正装置によれば、表示手段の解像度分のアドレス空間よりも大きいアドレス空間を有するアドレス変換テーブルを用意し、当該アドレス変換テーブルによって入力画像データから切り出す位置を、撮像手段の物理的な光軸ずれを補正するように設定することによって、撮像手段の撮像範囲を補正した画像を表示するために膨大な容量のアドレス変換テーブルを用意する必要が無く、且つ簡単な処理で撮像範囲を補正することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【００１３】
本発明は、例えば図１に示すように構成された車両用画像変換装置１に適用される。
【００１４】
［第１実施形態］
［車両周囲表示システムの構成］
この車両用画像変換装置１を含む車両周囲表示システムは、車両用画像変換装置１に、複数のカメラモジュール２Ａ，２Ｂ（以下、総称する場合には、単に「カメラモジュール２」と呼ぶ。）及びモニタ３を接続して構成されている。本例では、２個のカメラモジュール２Ａ，２Ｂが設けられている場合について説明するが、任意数でも良い。
【００１５】
カメラモジュール２Ａとカメラモジュール２Ｂとは、車体の異なる部分に設置され、固定された異なる撮像方向となっている。カメラモジュール２は、撮像用レンズ２１及びＣＣＤ（電荷結合素子）２２から構成される。このカメラモジュール２は、例えばＮＴＳＣ（National Television System Committee）カメラからなり、それぞれ、ＮＴＳＣ方式に従って画像データを車両用画像変換装置１に出力する。
【００１６】
車両用画像変換装置１は、内部バス１１に、入力バッファ１２Ａ，１２Ｂ（以下、総称する場合には単位「入力バッファ１２」と呼ぶ。）、ＣＰＵ（Central Processing Unit）１３、画像変換部１４、テーブル記憶部１５、及び出力バッファ１６が接続されて構成されている。
【００１７】
入力バッファ１２は、カメラモジュール２の個数に対応して設けられ、入力バッファ１２Ａはカメラモジュール２Ａと接続され、入力バッファ１２Ｂはカメラモジュール２Ｂと接続される。入力バッファ１２は、ＮＴＳＣ方式の入力画像データを一旦格納し、ＣＰＵ１３の制御に従って、画像変換部１４による画像変換タイミングで入力画像データが読み出される。
【００１８】
テーブル記憶部１５は、ドライバーに提示する画像レイアウトごとのアドレス変換テーブル１５ａ、１５ｂ、１５ｃ、・・・を記憶している。すなわち、例えば右側方画像と左側方画像とをモニタ３に一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用され、右側方画像と左側方画像と下方画像とを一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用される。
【００１９】
このテーブル記憶部１５に記憶されるアドレス変換テーブルは、モニタ３の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有する入力画像データのメモリアドレス（アドレス情報）、及び、モニタ３の解像度分の表示用画像データの出力バッファ１６のメモリアドレス（アドレス情報）とを記述したテーブルである。すなわち、アドレス変換テーブルは、出力バッファ１６のメモリアドレス、すなわちモニタ３の表示座標と、入力バッファ１２の座標とを記述している。このようなアドレス変換テーブルは、カメラモジュール２Ａ，２Ｂのスペック、取付位置及び撮像方向の向き（光軸）等に基づいて予め作成されている。
【００２０】
これらのアドレス変換テーブルは、モニタ３に表示させる画像の出力解像度分のアドレス空間のみならず、当該モニタ３の出力解像度分のアドレス空間と比較して縦方向或いは横方向に広いアドレス空間でも良く、又は、モニタ３の出力解像度分のアドレス空間と比較して縦方向及び横方向の双方に広いアドレス空間であっても良い。
【００２１】
画像変換部１４は、ＣＰＵ１３の制御に従って、テーブル記憶部１５から何れかのアドレス変換テーブルを読み出し、当該アドレス変換テーブルを参照して、入力バッファ１２に記憶された入力画像データを出力バッファ１６に記憶させる。ここで、アドレス変換テーブルは、画像レイアウトに従って出力バッファ１６のメモリアドレスを記述しているので、画像変換部１４によって出力バッファ１６に置き換えられた表示用画像データは、使用したアドレス変換テーブルと同じ画像レイアウトに画像変換されている。
【００２２】
このとき、画像変換部１４は、アドレス変換テーブルを参照して実際にアドレス変換に用いるモニタ３の出力解像度分の画像領域を決定し、当該画像領域に含まれる入力バッファ１２の画素を出力バッファ１６に置き換える置き換え処理であるアドレス変換を行う。これは、アドレス変換に使用するモニタ３の出力解像度分の画像領域を切り出すためのアドレス変換テーブルの先頭ポインタ（アドレス情報）を指定することで実現される。なお、画像変換部１４は、ＬＳＩやＦＰＧＡ、ＤＳＰ等で構成されていても良く、ＣＰＵ１３で行っても良い。
【００２３】
これによって画像変換部１４は、後述するようにカメラモジュール２の取付時である初期段階とは物理的に光軸がずれることによって、モニタ３に表示させる画像がずれることを補正する処理を行う。
【００２４】
出力バッファ１６は、画像変換部１４によってアドレス変換された画像データ、すなわちモニタ３への表示用の画像データを格納し、ＣＰＵ１３の制御に従ってモニタ３に出力する。
【００２５】
ＣＰＵ１３は、図示しない操作入力部がドライバーに操作されて決定された画像レイアウト指示や画像切り換え指示を認識して画像変換部１４での画像変換処理に使用するアドレス変換テーブルを決定する。また、ＣＰＵ１３は、画像変換部１４の入力バッファ１２からの画像変換タイミング及び出力バッファ１６のモニタ３へのデータ出力タイミングを制御することによって、モニタ３に表示させる画像を切り換える。
【００２６】
［アドレス変換処理の具体例］
つぎに、上述したように構成された車両用画像変換装置１によって行うアドレス変換処理を具体例を挙げて説明する。
【００２７】
なお、この説明では、ＣＣＤ２２の解像度、すなわち入力バッファ１２に記憶される画像データの解像度をＶＧＡ（６４０×４８０画素）、モニタ３の解像度をＱＶＧＡ（３２０×２４０画素）とし、ＶＧＡの入力画像データから画像を切り出して、アドレス変換処理を行うものとする。したがって、アドレス変換テーブルは、モニタ３の解像度の３２０×２４０よりも縦方向或いは横方向、及びその両方向に大きな画像領域を備えることになる。
【００２８】
また、本例において、アドレス変換処理の対象となるアドレス空間を４００×３００画素と仮定する。これにより、図２に示すように、カメラ撮像範囲で撮像したカメラ画像（入力画像データ）２００（６４０×４８０画素）のうち、４００×３００画素分の画像２０１（アドレス変換対象画像２０１）がアドレス変換対象となる。すなわち、アドレス変換テーブルには、４００×３００画素分のアドレス情報と、モニタ３の３２０×２４０画素分のアドレス情報とが記憶されている。
【００２９】
ここで、アドレス変換テーブルは、光軸が一定のカメラモジュール２毎に用意され、使用するアドレス変換対象画像２０１をカメラ画像２００の輪郭部分に近づけると、当該アドレス変換対象画像２０１の端部付近に画像の歪みが発生する。したがって、アドレス変換テーブルは、アドレス変換領域の範囲を、モニタ３の解像度よりも大きく且つ画像歪みが発生していない範囲で限定して設定している。
【００３０】
また、この車両用画像変換装置１は、カメラモジュール２毎にアドレス変換テーブルの先頭ポインタを設定している。すなわち、例えばアドレス変換領域の左上端のアドレス情報を先頭ポインタとして設定し、当該先頭ポインタからモニタ３の３２０×２４０画素分の画像を切り出す。これにより、画像変換部１４は、入力バッファ１２からカメラ画像を読み出すに際して、読み出し元の入力バッファ１２、すなわちカメラモジュール２に対応した先頭ポインタとアドレス変換テーブルとを読み出す。そして、画像変換部１４は、モニタ解像度分の画像領域２０２Ａを読み出して表示画像２０３Ａを出力バッファ１６に置き換えてモニタ３に表示させることができる。
【００３１】
また、車両用画像変換装置１は、カメラモジュール２の物理的な光軸ずれ等によって、カメラ画像２００が図２中における上方向にずれてしまった場合には、カメラモジュール２ごとの先頭ポインタに従って本来切り出すべき画像領域２０２Ａではなく、当該画像領域２０２Ａからずれた画像領域２０２Ｂを切り出してしまい、本来モニタ３に出力すべき表示画像２０２Ａではなく表示画像２０３Ｂを表示させてしまう。
【００３２】
これに対し、車両用画像変換装置１は、先頭ポインタをずらすように補正することによって、既存のアドレス変換テーブルを変更せずに画像領域２０２Ａを切り出して表示画像２０３Ａを表示させることができる。このように、車両用画像変換装置１は、カメラモジュール２でカメラ撮像領域に相当する大きさのカメラ画像２００（６４０×４８０画素）が撮像されて入力バッファ１２に記憶され、カメラモジュール２の物理的ずれに応じて、図２に示す表示画像２０３Ｂを表示画像２０３Ａに切り換える。
【００３３】
また、このような光軸ずれ等に対する補正した先頭ポインタは、モニタ３に表示させる画像レイアウトに拘わらず共通して使用するように設定することによって、ドライバーに提示する画像レイアウト毎にカメラモジュール２の撮像範囲の補正の必要を無くす。
【００３４】
更に、この車両用画像変換装置１は、カメラモジュール２の光軸ずれを補正するように設定したアドレス変換テーブルの先頭ポインタを不揮発性メモリに記憶させておく。これにより、車両用画像変換装置１の電源を切っても記憶内容を保持できるため、カメラモジュール２の撮像範囲の補正を使用するたびに行う必要を無くす。
【００３５】
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した車両用画像変換装置１によれば、モニタ解像度分のアドレス空間よりも大きいアドレス空間を有するアドレス変換テーブルを用意し、当該アドレス変換テーブルによってカメラ画像から切り出す先頭ポインタの位置をカメラモジュール２の物理的な光軸ずれを補正するように設定することによって、カメラモジュール２の撮像範囲を補正した画像を表示するために膨大な容量のアドレス変換テーブルを用意する必要が無く、且つ簡単な処理で撮像範囲を補正することができる。
【００３６】
なお、この車両用画像変換装置１では、入力バッファ１２に記憶したカメラ画像の内、アドレス変換テーブルの先頭ポインタで指定されたモニタ解像度分の画像を切り出して画像を補正する場合について説明したが、カメラ画像について、順次アドレス変換テーブルを参照し、出力バッファ１６に格納していくような書き込みアドレス変換処理を行っても良い。
【００３７】
これに対し、アドレス変換テーブルをモニタ解像度である３２０×２４０のアドレス空間を備えるものとし、出力バッファ１６、すなわちモニタ３の任意の座標と、任意の入力バッファ１２、すなわちカメラ画像の任意の座標を読み出して置き換えるための座標情報との対応関係が格納されているアドレス変換テーブルを使用した場合を考える。このアドレス変換テーブルも、カメラモジュール２のスペック、取り付け位置、向き（光軸）等の情報を基に作成されている。そして、当該アドレス変換テーブルを使用して画像変換部１４により、ドライバーに提示する画像を作成する場合に、カメラモジュール２が本来の位置と比較して物理的にずれてしまっていた場合にはカメラモジュール２の撮像範囲がずれ、更にアドレス変換処理後の画像提示範囲もずれてしまうことになる。これを回避するため、カメラ撮像範囲の補正用として、カメラの位置、向き（光軸）を変えたアドレス変換テーブルをレイアウト毎にそれぞれ用意すると、膨大な数のアドレス変換テーブルが必要となり、テーブル容量が莫大となってしまう。また、カメラモジュール２の物理的なずれを考慮した後、リアルタイムでアドレス変換テーブルを生成した場合、その計算量が多くなってしまい、処理負荷が高くなる。
【００３８】
したがって、本発明を適用した車両用画像変換装置１では、モニタ解像度よりも縦方向或いは横方向、及びその両方向に拡大した領域のアドレス変換テーブルを備え、カメラ画像のうち、カメラモジュール２の物理的なずれを考慮してモニタ解像度分の画像を切り出すことによって、画像変換部１４の処理のみによってカメラモジュール２の物理的なずれを吸収することができる。
【００３９】
また、この車両用画像変換装置１によれば、アドレス変換領域を切り出すための先頭ポインタをカメラモジュール２毎に記憶しておくことによって、ドライバーに提示するレイアウト毎に各カメラ撮像範囲の補正を行う必要がなくなる。また、アドレス変換テーブルの先頭ポインタを記憶するメモリとして不揮発メモリを用いることによって、車両用画像変換装置１の電源を切っても記憶内容を保持でき、カメラ撮像範囲の補正を、起動ごとに行う必要がなくなる。
【００４０】
「車両情報に基づく画像補正処理」
つぎに、上述したように構成された車両用画像変換装置１において、自車両の状況等を示す車両情報に基づいて画像補正を行うことについて説明する。
【００４１】
この画像補正処理は、車両情報に基づいて、カメラ画像から切り出す画像領域を変化させる。このとき、画像変換部１４は、アドレス変換テーブルの先頭ポインタを変化させることによって、アドレス変換テーブルを参照して切り出す画像領域を変化させる。
【００４２】
ここで、テーブル記憶部１５に記憶されたアドレス変換テーブルは、自車両に対して乗員や積み荷が無い状態の重量がかかっていない状態におけるカメラモジュール２の取り付け位置、向き（光軸）等のパラメータに基づいて作成されている。したがって、自車両に多くの乗員が乗車したり、多くの積み荷が搭載された場合等の何らかの要因により車高が変わると、カメラ撮像範囲がずれることになる。すなわち、初期設定されたアドレス変換テーブルと共に記憶している先頭ポインタからアドレス変換領域を切り出すと、モニタ３に表示させる画像のずれが発生することになる。
【００４３】
これに対し、車両用画像変換装置１は、自車両の挙動を検出するためのセンサ、例えば車高センサ（図示せず）をカメラモジュール２の取り付け位置付近に１式設置し、車両情報として、ＣＰＵ１３により車高センサ（図示せず）からのセンサ信号を読み込み、現在の自車両の車高を認識する。そして、ＣＰＵ１３は、車高センサから読み込んだ現在の高さと、車両に重量がかかっていない場合、つまりアドレス変換テーブル作成時の高さとの差分を求め、カメラ撮像範囲が縦方向に何画素分変位しているかを計算する。そして、画像変換部１４は、ＣＰＵ１３で計算されたカメラ撮像範囲の変位画素量だけ先頭ポインタを移動させることによって、アドレス変換テーブルを参照して切り出すアドレス変換領域を移動させて、カメラ撮像範囲のずれを補正する。なお、ＣＰＵ１３による高さの計算、及び、画像変換部１４によるアドレス変換テーブルの先頭ポインタの移動は、リアルタイムで行ってもよく、アドレス変換テーブル及び先頭ポインタと共に、テーブル記憶部１５に記憶させておいても良い。
【００４４】
これにより、車両用画像変換装置１は、例えば自車両に搭乗する乗員位置、重量等が異なった場合等のように、自車両の挙動によって短期のカメラ撮像範囲のずれが発生した場合であっても、当該カメラ撮像範囲に影響するような車両信号に基づいてカメラモジュール２毎にカメラ撮像範囲のずれを自動的に補正することで、ドライバーに適正な撮像範囲の画像を提示することができる。
【００４５】
［第２実施形態］
つぎに、第２実施形態に係る車両用画像変換装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００４６】
この第２実施形態に係る車両用画像変換装置１は、カメラモジュール２によって撮像したカメラ画像と重畳させて、車両運転を支援するための情報（オーバレイデータ）を表示させる時の表示位置を補正することを特徴とするものである。このオーバレイデータとしては、例えば自車両が所定の駐車線枠内に後進して停車させる時に、自車両後方の画像に重畳される後進軌跡を示す軌跡ガイドラインが挙げられる。この軌跡ガイドラインは、例えば図示しない車両運転支援装置（オーバレイデータ作成手段）によって、自車両の舵角等に基づいて既存の技術によって作成され、図示しない画像作成装置によって、画像変換部１４で変換済の画像と重畳されて出力バッファ１６に記憶される。すなわち、車両用画像変換装置１を含む車両周囲表示システムは、オーバレイデータを作成する車両運転支援装置と、出力バッファ１６に記憶された画像データにオーバレイデータを重畳させる画像作成装置とを備えることになる。
【００４７】
ここで、オーバレイデータである軌跡ガイドラインの画像重畳位置は、自車両に重量がかからない状態におけるカメラモジュール２の取り付け位置、向き（光軸）等のパラメータを基に設定されている。したがって、自車両に重量がかかるなどの何らかの要因でカメラ撮像範囲がずれてしまった場合、画像変換部１４で変換済の画像と車両走行軌跡ガイドラインとの位置関係がずれることになり、軌跡ガイドラインに従って後進できなないという不都合が発生し、軌跡ガイドラインとして信頼性が低くなってしまう。
【００４８】
これに対し、車両周囲表示システムでは、車両運転支援装置によって、カメラモジュール２で撮像されたモニタ解像度分の画像よりも大きいカメラ画像を用いて、軌跡ガイドラインを作成する。これにより、車両周囲表示システムは、図３（ａ）に示すアドレス変換対象画像２０１を用いて、図３（ｂ）に示すようにモニタ解像度分の画像領域２０２よりも大きい領域を有するオーバレイデータを含む画像３００を作成する。このオーバレイデータを含む画像３００は、アドレス変換対象画像２０１及びアドレス変換テーブルと同様に、モニタ解像度分の画像と比較して、縦方向或いは横方向及びその両方向に大きな画像領域を有する。
【００４９】
そして、車両周囲表示システムは、当該オーバレイデータを含む画像３００を、モニタ解像度分の画像領域２０２よりも大きいバッファに記憶し、画像作成装置によって、オーバレイデータを含む画像３００から、モニタ解像度分の画像領域２０２に重畳させるオーバレイデータ３０１を含むオーバレイデータ重畳画像３０２を切り出す。このオーバレイデータ重畳画像３０２は、モニタ解像度分の画像領域２０２と同じ画像領域であって、モニタ解像度分の画像となる。このとき、車両周囲表示システムは、モニタ解像度分の画像領域２０２を切り出すために使用した先頭ポインタと同じ先頭ポインタでオーバレイデータ重畳画像３０２を切り出す。
【００５０】
これにより、モニタ解像度分の画像領域２０２を切り出すための先頭ポインタを、上述したようなカメラモジュール２の撮像範囲のずれを考慮したアドレス変換テーブルの先頭ポインタとすることによって、オーバレイデータ重畳画像３０２を切り出すアドレス変換テーブルの先頭ポインタをカメラモジュール２の撮像範囲のずれを考慮した先頭ポインタと一致させる。
【００５１】
なお、アドレス変換対象画像２０１とオーバレイデータを含む画像３００とは、必ずしも一致させる必要はなく、アドレス変換テーブルの先頭ポインタのデフォルト値からの変位量がわかっていれば、オーバレイデータに関しても同じ量だけ変位させれば良い。
【００５２】
［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る車両用画像変換装置１によれば、アドレス変換対象画像２０１と同様に、オーバレイデータを含む画像３００としてモニタ解像度分の画像よりも大きい領域を有するものを使用し、モニタ解像度分の画像領域２０２を切り出すための先頭ポインタと同じ先頭ポインタを使用してオーバレイデータ重畳画像３０２を切り出して、当該オーバレイデータ重畳画像３０２とモニタ解像度分の画像領域２０２とを重畳させて提示することができる。したがって、この車両用画像変換装置１によれば、カメラモジュール２の撮像範囲のずれに対してオーバレイデータ重畳画像３０２の位置を補正して提示することができ、正確な位置にオーバレイデータ３０１を提示することができる。
【００５３】
また、車両用画像変換装置１は、リアルタイムでモニタ解像度分の画像領域２０２のずれを検出する場合であっても、モニタ解像度分の画像領域２０２の移動量に連動させてオーバレイデータ重畳画像３０２を移動させて重畳させることによって、更に正確な位置にオーバレイデータ３０１を提示することができる。
【００５４】
［第３実施形態］
つぎに、第３実施形態に係る車両用画像変換装置１について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００５５】
この第３実施形態に係る車両用画像変換装置１は、カメラモジュール２の撮像範囲に自車両の一部が含まれる場合において、自車両の車体やバンパー等の非対称物である絶対的な基準位置を示すオーバレイデータに基づいて、カメラモジュール２の撮像範囲を補正することを特徴とする。
【００５６】
この車両用画像変換装置１は、図４（ａ）に示すように、アドレス変換対象画像２０１中の右端部分に自車両の車体が撮像される位置にカメラモジュール２を取り付けている。ここで、カメラ撮像範囲内に自車両、すなわち車体、バンパー等の非対称物が含まれる場合、既知であるカメラモジュール２のスペック、取り付け位置、及び向き（光軸）から、車体等の非対称物がカメラ画像２００のどの領域に現れるかは既知となっている。
【００５７】
したがって、車両用画像変換装置１は、図４（ａ）の画像中右端に現れる車体の輪郭を示す図４（ｂ）のようなオーバレイデータ画像４００を予め用意しておく。このオーバレイデータ画像４００は、アドレス変換対象画像２０１のうち、モニタ解像度分の画像領域２０２と同じ大きさとなっていれば良く、カメラモジュール２の取付位置等のパラメータと車体等の基準位置とに基づいてアドレス変換対象画像２０１を切り出すための先頭ポインタが設定されている。
【００５８】
このようなオーバレイデータ画像４００を備えた車両用画像変換装置１は、モニタ解像度分の画像領域２０２の位置を補正するに際して、オーバレイデータ画像４００をアドレス変換対象画像２０１に重畳させた状態において、アドレス変換対象画像２０１内の車体とオーバレイデータ４０１とが一致した時のオーバレイデータ画像４００の先頭ポインタを取得する。そして、当該先頭ポインタをモニタ解像度分の画像領域２０２の先頭ポインタとすることによって、オーバレイデータ４０１に基づいてモニタ解像度分の画像領域２０２を移動させる。このとき、アドレス変換対象画像２０１とオーバレイデータ画像４００とを重畳させた画像から、アドレス変換テーブルの先頭ポインタを上下左右に画素単位で変位させることでカメラ撮像範囲の補正を行う。
【００５９】
具体的には、オーバレイデータ４０１にモニタ解像度分の画像領域２０２を合わせることになる。このとき、ドライバーの手動操作に応じてオーバレイデータ画像４００とモニタ解像度分の画像領域２０２とを合わせても良く、車両用画像変換装置１によって自動で行ってもよい。
【００６０】
ドライバーが手動で行う場合、画像変換部１４は、図示しない操作系から信号を検出して、モニタ解像度分の画像領域２０２の位置変更を行うために、アドレス変換テーブルの先頭ポインタを上下左右に画素単位で変位させる。一方、車両用画像変換装置１で自動的に行う場合、画像変換部１４は、図示しない画像認識部によりアドレス変換対象画像２０１に含まれる非対称物の輪郭座標を認識し、当該輪郭座標とオーバレイデータ４０１とを合わせるように、アドレス変換テーブルの先頭ポインタを上下左右に画素単位で変位させる。なお、画像認識部は、予め設定されている車体等の非対称物の色情報を記憶しており、当該色情報と合致する画像部分を非対称物の輪郭座標として検出する。
【００６１】
これにより、出力バッファ１６には、図４（ｃ）に示すように、モニタ解像度分の画像領域２０２内の車体とオーバレイデータ４０１とを一致させて、カメラモジュール２の撮像範囲の補正をすることができる。
【００６２】
［第３実施形態の効果］
以上詳細に説明したように、本発明を適用した第３実施形態に係る車両用画像変換装置１によれば、車体、バンパー等のカメラモジュール２の撮像範囲に含まれ、モニタ３の表示画面の所定位置に表示される対象物を示すオーバレイデータ４０１と、アドレス変換対象画像２０１内の対象物とを合致させるように、モニタ解像度分の画像領域２０２を移動させることによって、カメラモジュール２の撮像範囲のずれを補正したアドレス変換テーブルの先頭ポインタとすることができる。したがって、この車両用画像変換装置１によれば、更に確実にカメラモジュール２の撮像範囲のずれを補正することができ、常に一定の撮像範囲となっているモニタ解像度分の画像領域２０２を提示することができる。
【００６３】
［第４実施形態］
つぎに、第４実施形態に係る車両用画像変換装置１について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００６４】
［車両用画像変換装置１の構成］
第４実施形態に係る車両用画像変換装置１は、図５に示すように、図１に示した車両用画像変換装置１のテーブル記憶部１５に代えたテーブル記憶部３１、画像変換部１４に代えたアドレス変換部３４を備え、更に、テーブル領域決定部３２及びテーブル再構成部３３を備えている。
【００６５】
テーブル記憶部３１には、モニタ３に表示させる画像レイアウトごと、カメラモジュール２ごとに一枚のアドレス変換テーブルを記憶している。したがって、アドレス変換テーブルは、モニタ３に表示させる画像レイアウトに表示させる画像であるモニタ解像度分の画像よりも大きいアドレス空間を有している。
【００６６】
テーブル領域決定部３２は、ユーザに提示する画像レイアウトのカメラモジュール２毎のアドレス変換テーブルから、実際にアドレス変換に使用するモニタ解像度分の領域を決定する。すなわち、テーブル領域決定部３２は、モニタ３に表示する画像レイアウトと、当該画像レイアウトに含まれる画像を撮像するカメラモジュール２との双方に該当するアドレス変換テーブルを読み出す。
【００６７】
具体的には、カメラモジュール２Ａによって撮像された画像をモニタ３の右半分、カメラモジュール２Ｂによって撮像された画像をモニタ３の左半分に表示させる画像レイアウトである場合には、テーブル領域決定部３２は、入力バッファ１２Ａに記憶されたカメラ画像をカメラモジュール２Ａにより撮像した右半分に表示させるアドレス変換に使用するモニタ解像度分のアドレス変換テーブルを読み出すと共に、入力バッファ１２Ｂに記憶されたカメラ画像をカメラモジュール２Ｂにより撮像した左半分に表示させるアドレス変換に使用するモニタ解像度分のアドレス変換テーブルを読み出す。ここで、画像レイアウトに従って各カメラモジュール２で撮像した画像から取り出す画像領域が割り当てられているが、画像レイアウトに従って読み出すアドレス変換テーブルは、画像レイアウトに応じて割り当てられたモニタ解像度よりも大きい解像度となっている。
【００６８】
テーブル再構成部３３は、テーブル領域決定部３２により取り出された任意の数のアドレス変換テーブルを組み合わせ、モニタ解像度分の領域（アドレス空間）を備えるアドレス変換テーブルを作成する再構成を行う。具体的には、モニタ３の右半分に表示させるためにモニタ解像度分の半分の領域を有するアドレス変換テーブルと、モニタ３の左半分に表示させるためにモニタ解像度分の半分の領域を有するアドレス変換テーブルとを組み合わせることによって、モニタ３の一画面分に相当するモニタ解像度分のアドレス変換テーブルを再構成する。このとき、テーブル再構成部３３は、テーブル領域決定部３２で取り出されたアドレス変換テーブルのうち、画像レイアウトに応じて割り当てられたモニタ解像度分のアドレス変換テーブルを取り出す。そして、テーブル再構成部３３は、再構成したアドレス変換テーブルを内部バス１１を介してアドレス変換部３４に送る。
【００６９】
アドレス変換部３４は、テーブル再構成部３３から送られた再構成されたアドレス変換テーブルを参照して、入力バッファ１２に記憶されたカメラ画像を出力バッファ１６に置き換える置き換え処理を行う。
【００７０】
このような車両用画像変換装置１は、図６に示すように、カメラモジュール２Ａにより撮像した自車両右後側方のカメラ画像５０１、カメラモジュール２Ｂにより撮像した自車両後部真下のカメラ画像５０３、カメラモジュール２Ｃ（図示せず）により撮像した自車両左後側方のカメラ画像５０５を並べるように組み合わせて、合成画像５００をモニタ３に表示させる。
【００７１】
このとき、車両用画像変換装置１は、自車両の右後側方、左後側方及び後部真下を表示させる画像レイアウトが決定されると、当該画像レイアウトに該当し且つ右後側方、左後側方及び後部真下を撮像方向とするカメラモジュール２に対応したアドレス変換テーブル３１ａ，３１ｂ，３１ｃをテーブル領域決定部３２により読み出す。この時点において、各アドレス変換テーブル３１ａ，３１ｂ，３１ｃは、モニタ解像度分の画像、すなわち合成画像５００を構成する３つの画像からなる画像レイアウトでの解像度分よりも大きいアドレス空間となっている。
【００７２】
次に、テーブル再構成部３３は、決定されている画像レイアウトから、各カメラモジュール２で撮像したカメラ画像５０１，５０３，５０５のうち、合成画像５００を作成するために必要な解像度分のモニタ解像度分の画像領域５０２，５０４，５０６を決定する。これは、アドレス変換テーブルの先頭ポインタを変位させることと同義であり、決定したモニタ解像度分の画像領域５０２，５０４，５０６のアドレス空間を有するアドレス変換テーブル３１ａ’，３１ｂ’，３１ｃ’を作成する。すなわち、テーブル再構成部３３は、モニタ解像度分の画像領域５０２，５０４，５０６を切り出すために、モニタ解像度分よりも大きなアドレス変換テーブル３１ａ，３１ｂ，３１ｃを、画像レイアウトに応じて割り当てられるモニタ解像度分のアドレス変換テーブル３１ａ’，３１ｂ’，３１ｃ’とする。これにより、合成画像５００を作成するために使用するアドレス変換テーブルの領域を決定する。
【００７３】
次にテーブル再構成部３３は、画像レイアウトに応じて割り当てられたモニタ解像度分のアドレス変換テーブル３１ａ’，３１ｂ’，３１ｃ’を画像レイアウトに従って組み合わせて、合成画像５００分のアドレス変換テーブルを再構成する。これにより、アドレス変換部３４で実際にアドレス変換処理を行うに際して参照されるアドレス変換テーブル５０７を作成する。
【００７４】
次に、アドレス変換部３４は、アドレス変換テーブル５０７を参照して、カメラ画像５０１からモニタ解像度分の画像５０２を切り出し、カメラ画像５０３からモニタ解像度分の画像５０４を切り出し、カメラ画像５０５からモニタ解像度分の画像５０６を切り出し、当該各切り出したモニタ解像度分の画像をアドレス変換テーブル５０７を参照して出力バッファ１６に置き換えて、合成画像５００を作成する。
【００７５】
なお、複数のカメラモジュール２で撮像したカメラ画像５０１，５０３，５０５から、合成画像５００を作成する場合のみならず、単一のカメラモジュール２で撮像したカメラ画像から複数の画像を切り出して、合成画像５００を作成しても良い。
【００７６】
［画像補正処理］
つぎに、上述したようにアドレス変換テーブルを再構成する車両用画像変換装置１において、カメラモジュール２ごとの画像で提示する画像領域を個別に補正する処理について図７のフローチャートを参照して説明する。
【００７７】
この車両用画像変換装置１は、ドライバーに車両周囲画像を提示するモードと、ドライバーに提示する画像レイアウトの補正を行うモード（以下、キャリブレーションモード）とを有し、ステップＳ１において、ＣＰＵ１３により、キャブレーションモードであると判定した場合に、ステップＳ２に処理を進める。
【００７８】
次にＣＰＵ１３は、ステップＳ２において、補正対象のカメラモジュール２を判別する。このとき、ＣＰＵ１３は、図示しない操作系からの信号を判定することによって、ドライバーが望む補正対象の画像を判別し、当該画像を撮像しているカメラモジュール２を判別する。
【００７９】
次にＣＰＵ１３は、ステップＳ３において、ドライバーに提示する画像レイアウトに対応したアドレス変換テーブルをカメラモジュール２ごとに取り出し、図示しないメモリに一時保存する。このとき、ＣＰＵ１３は、ステップＳ２で補正対象であると判別したカメラモジュール２についてのアドレス変換テーブルに関しては、モニタ解像度分よりも大きい解像度のアドレス変換テーブルを取り出す。このアドレス変換テーブルは、先頭ポインタがデフォルト値として設定されている。
【００８０】
次にテーブル領域決定部３２は、ステップＳ４において、カメラモジュール２毎に設定しておいたデフォルトのアドレス変換テーブルの先頭ポインタを取得する。１台のカメラモジュール２で撮像された画像について画像レイアウトを複数用意することがあることから、この先頭ポインタをカメラモジュール２毎に保持することによって、画像レイアウト毎に各カメラ撮像範囲の補正を行う必要がなくなる。
【００８１】
次にテーブル再構成部３３は、ステップＳ５において、ステップＳ４で取得したカメラモジュール２ごとの先頭ポインタを参照して、画像レイアウトごとのアドレス変換テーブルの先頭ポインタから、各カメラモジュール２のモニタ解像度分のアドレス空間を取得する。そして、テーブル再構成部３３は、複数のカメラモジュール２ごとのアドレス変換テーブルを合わせることによって、実際のアドレス変換に用いる一画面分のアドレス変換テーブルを再構成する。
【００８２】
次にアドレス変換部３４は、ステップＳ６において、ステップＳ５で再構成されたアドレス変換テーブルを参照し、入力バッファ１２の画素を出力バッファ１６に置き換えるアドレス変換処理後、出力バッファ１６からモニタ３に出力して、ドライバーに提示する。
【００８３】
次にＣＰＵ１３は、ドライバーによってキャリブレーションモードが解除されず（ステップＳ７）、キャリブレーションに関する操作、例えばあるカメラモジュール２の画像領域を左方向にずらしたいといった操作を検出した場合には（ステップＳ８）、当該操作内容に従ってキャリブレーション対象となるカメラモジュール２のアドレス変換テーブルの先頭ポインタを上下左右方向に変位させる（ステップＳ９）。
【００８４】
そして、ステップＳ５及びステップＳ６の処理を行うことによって、キャリブレーションに関する操作に応じた画像を提示して、キャリブレーションモードが解除されるまで処理を繰り返す。
【００８５】
［第４実施形態の効果］
以上詳細に説明したように、本発明を適用した第４実施形態に係る車両用画像変換装置１によれば、ドライバーに提示する画像レイアウトに応じて、カメラモジュール２毎に、縦方向或いは横方向、及びその両方向にモニタ解像度分以上のアドレス変換テーブルを備え、カメラモジュール２毎のアドレス変換テーブルのうち、画像レイアウトに応じて割り当てられたモニタ表示領域分の領域を決定し、それを用いてアドレス変換に使用する一画面分のアドレス変換テーブルを再構成する。これにより、画像レイアウトに含まれる各画像のずれを補正する場合であっても、当該ずれの程度に応じたアドレス変換テーブルを用意する必要を無くして、メモリ容量の減少を実現することができる。
【００８６】
また、この車両用画像変換装置１によれば、再構成されたモニタ解像度分のアドレス変換テーブルを参照してアドレス変換された画像を基に、カメラモジュール２の物理的なずれの補正を行うことができ、複数のカメラモジュール２を個別に、且つ自動又は手動で撮像範囲のずれを補正することができる。
【００８７】
更にまた、この車両用画像変換装置１によれば、画像レイアウトに含まれるカメラモジュール２毎のモニタ表示領域を個別に補正できるので、メモリ容量を減少させること、かつ、ＣＰＵによるアドレス変換テーブル生成処理を近似することができる。また、ユーザの嗜好に合った撮像範囲を提供することができる。
【００８８】
［第５実施形態］
つぎに、第５実施形態に係る車両用画像変換装置１について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００８９】
この第５実施形態に係る車両用画像変換装置１は、複数のカメラモジュール２が撮像した画像間のつなぎ目が途切れることなく合成して、画像レイアウトの補正を自動的に行うことを特徴とする。
【００９０】
この車両用画像変換装置１は、図８（ａ）に示すようにカメラモジュール２Ａ及びカメラモジュール２Ｂが自車両後部に設置され、カメラモジュール２Ａの撮像範囲２ａとカメラモジュール２Ｂの撮像範囲２ｂとが重なり合うように、カメラモジュール２Ａ及びカメラモジュール２Ｂの撮像範囲が設定されている。
【００９１】
そして、車両用画像変換装置１は、図８（ｂ）、（ｃ）に示すように、カメラモジュール２Ａのカメラ画像６０１Ａとカメラモジュール２Ｂのカメラ画像６０１Ｂとを左右に並べて表示させる画像レイアウトであって、カメラモジュール２Ａについてのアドレス変換テーブルを読み出すと共に、カメラモジュール２Ｂについてのアドレス変換テーブルを読み出す。そして、車両用画像変換装置１は、カメラモジュール２Ａのカメラ画像とカメラモジュール２Ｂのカメラ画像とを連続させるようにカメラモジュール２Ａについてのアドレス変換テーブルとカメラモジュール２Ｂについてのアドレス変換テーブルを切り出し、アドレス変換テーブルを再構成する。
【００９２】
この結果、カメラモジュール２Ａ及びカメラモジュール２Ｂに光軸ずれや取付位置のずれが無い場合には、図８（ｂ）に示すようにカメラ画像６０１Ａとカメラ画像６０１Ｂとが仕切り線を介して連続した画像となる。一方、カメラモジュール２Ａ又はカメラモジュール２Ｂに光軸ずれや取付位置のずれが有る場合には、図８（ｃ）に示すようにカメラ画像６０１Ａとカメラ画像６０１Ｂとが仕切り線にまたがって連続していない画像となってしまう。
【００９３】
このようなカメラ画像６０１Ａとカメラ画像６０１Ｂとのつなぎ目において画像のずれが発生した場合、車両用画像変換装置１は、特徴点の配置が既知である被対象物を撮像し、アドレス変換後の画像に含まれる被対象物を用いて、アドレス変換テーブルの使用領域を変位させることで、カメラモジュール２の撮像範囲のずれを補正する。
【００９４】
このカメラモジュール２の撮像範囲のずれを補正する処理は、説明の簡単のため、以下の条件下と仮定した場合について説明する。
【００９５】
・モニタ出力解像度を１６×１６画素とする。
【００９６】
・図８に示す状況下での補正を想定する。カメラモジュール２Ａ、カメラモジュール２Ｂが撮像する画像から、アドレス変換テーブルを参照することによる画像切り出し処理を行い、それぞれモニタの左右、横（水平方向）８×縦（垂直方向）１６画素の領域に割り当てる（図９参照）。
【００９７】
・カメラより出力される画素情報は、ＲＧＢフォーマット（２４ｂｉｔ）とする。なお、ＹＣｂＣｒフォーマット等でもかまわない。
【００９８】
・複数カメラの撮像する１画素あたりにおける車両周囲に対する情報サイズが等しいこととする。これは、図８の場合、カメラモジュール２Ａとカメラモジュール２Ｂのスペックが同じ、かつ左右対称の取り付け位置、同じ向き（光軸）となっているが、カメラモジュール２Ａとカメラモジュール２Ｂのスペックが異なる場合や、取り付け位置、向き（光軸）等が異なる場合であっても、結果的に各カメラ撮像範囲からモニタ３に割り当てるモニタ画像領域内の、１画素あたりの情報サイズが等しければ良い。
【００９９】
・既知の被対象物を斜めに直交するパターンとし（図９参照）、当該パターンの色情報は、撮像する環境にない色情報を用いる。本例では、被対象物の色情報を黒（０ｘ００００００）、当該黒部分周囲の周囲の色情報を白（０ｘＦＦＦＦＦＦ）とするが、白黒２値化した色情報や濃淡、輝度等により被対象物の画素情報を判別できればよい。また、非対称物のパターンは直交するパターンに限らない。
【０１００】
このような条件を設けた場合、図９に示すように、光軸ずれがない場合には、カメラモジュール２Ａで撮像した画像７０１Ａと、カメラモジュール２Ｂで撮像した画像７０１Ｂとの間で対称のパターンが検出される（図９（ａ））。一方、光軸ずれが有る場合には、図９（ｂ）、（ｃ）、（ｄ）に示すようにカメラモジュール２Ａで撮像した画像７０１Ａと、カメラモジュール２Ｂで撮像した画像７０１Ｂとの間でのパターンの対称性がなくなって連続性がなくなる。したがって、車両用画像変換装置１は、このような対象物のパターンの変化を検出することによって、図８（ｃ）に示すようなつなぎ目での画像のずれを補正する。
【０１０１】
この処理は、図１０に示すように、カメラモジュール２Ａ及びカメラモジュール２Ｂとは異なる他のカメラモジュール２によって被対象物を撮像し、当該被対象物の特徴パターンを記憶しておく。この特徴パターンは、カメラモジュール２Ａ及びカメラモジュール２Ｂに物理的なずれが無い状況下で撮像してモニタ３に出力した場合の特徴パターンとなる。ここで、特徴パターンを取得するための対象物としては、カメラモジュール２Ａとカメラモジュール２Ｂとの物理的な中心軸上に設置した非対称物とし、カメラモジュール２Ａ及びカメラモジュール２Ｂとは別のカメラモジュール２の撮像範囲に存在するものとする。
【０１０２】
車両用画像変換装置１は、先ずステップＳ１１において、キャリブレーションモードか否かを判別し、キャリブレーションモードである場合には、ステップＳ１２において、テーブル領域決定部３２により、カメラモジュール２Ａ、カメラモジュール２Ｂ毎のデフォルトのアドレス変換テーブルの先頭ポインタをそれぞれ取得する。
【０１０３】
次にテーブル再構成部３３は、ステップＳ１３において、ステップＳ１２で取得した先頭ポインタからモニタ解像度分のアドレス変換テーブルをそれぞれ取得して、カメラモジュール２Ａ、カメラモジュール２Ｂのアドレス変換領域を再構成し、実際のアドレス変換に用いるモニタ出力解像度分のアドレス変換テーブルを再構成する。
【０１０４】
次にアドレス変換部３４は、ステップＳ１４において、ステップＳ１３で再構成したモニタ解像度分のアドレス変換テーブルを参照して、入力バッファ１２の画素情報を出力バッファ１６に置き換えるアドレス変換を行う。
【０１０５】
次にＣＰＵ１３は、ステップＳ１５において、出力バッファ１６に格納された画素情報のうち、被対称物（特徴パターン）の色情報（０ｘ００００００）及び当該色情報が検出された画素の座標を抽出する。
【０１０６】
次にＣＰＵ１３は、ステップＳ１６において、ステップＳ１５で検出した特徴パターンを構成する画素の座標と、ステップＳ１１以降の処理を開始する前に取得した特徴パターンの画素の座標とを比較し、一致しているか否かを判定する。そして、一致していると判定した場合には、カメラモジュール２Ａ及びカメラモジュール２Ｂの双方で物理的なずれが無いものと判定して処理を終了し、一致していないと判定した場合には、特徴パターンのずれ方向及びずれ画素量を取得する。
【０１０７】
次にＣＰＵ１３は、ステップＳ１７において、ステップＳ１６で取得した特徴パターンのずれ方向及びずれ画素量から、カメラモジュール２Ａとカメラモジュール２Ｂとの一方のカメラモジュール２をキャリブレーションの対象とする。ここで、キャリブレーションの対象とされなかったカメラモジュール２を、補正のための相対的な基準とする。
【０１０８】
このとき、ＣＰＵ１３は、予め取得した特徴パターンのずれ量が大きい方のカメラモジュール２をキャリブレーションの対象となるカメラモジュール２として選別しても良く、予め設定した一方のカメラモジュール２としても良い。この時、ステップＳ１４でアドレス変換して出力バッファ１６に記憶された画像データは、別途図示しないメモリに格納しておく。
【０１０９】
次にＣＰＵ１３は、ステップＳ１８において、ドライバーに提示する画像レイアウトに対応したアドレス変換テーブルをカメラモジュール２ごとに取り出し、図示しないメモリに一時保存する。このとき、ＣＰＵ１３は、ステップＳ１７でキャリブレーションの対象であると判別したカメラモジュール２についてのアドレス変換テーブルに関しては、モニタ解像度分よりも大きい解像度のアドレス変換テーブルを取り出す。このとき、キャリブレーションの対象となっていないカメラモジュール２についてのアドレス変換テーブルは、先頭ポインタがデフォルト値として設定されている。
【０１１０】
次にＣＰＵ１３は、ステップＳ１９において、予め記憶しておいた特徴パターンと、キャリブレーションの対象となったカメラモジュール２が撮像した画像に含まれる特徴パターンとが連続的となるように、補正対象であるカメラモジュール２が撮像した画像に含まれる特徴パターンの変位量を画素単位で求める。このような変位量は、補正対象であるカメラモジュール２についてのアドレス変換テーブルの先頭ポインタの変位量となり、図示しないメモリに記憶させて、処理を終了する（ステップＳ２０）。そして、以降のアドレス変換においては、当該変位させた先頭ポインタを使用してアドレス変換テーブルを使用することになる。
【０１１１】
なお、上述した実施形態では、カメラモジュール２Ａとカメラモジュール２Ｂとの画像つなぎ目を補正する場合について説明したが、これに限らず、２つ以上のカメラ画像の補正に関しても適用可能である。
【０１１２】
［第５実施形態の効果］
以上詳細に説明したように、本発明を適用した第５実施形態に係る車両用画像変換装置１によれば、補正対象のカメラモジュール２に対応するアドレス変換テーブルの使用領域を決定する先頭ポインタを、別のカメラモジュール２のアドレス変換後の画像を参照して決定することによって、カメラモジュール２毎の撮像範囲を、相対的な基準を用いて補正することができる。具体的には、例えば絶対的な基準である車体、バンパー等の画像を撮像範囲の補正に用いないため、車種毎に補正用処理機構を備える必要がなくなる。
【０１１３】
また、この車両用画像変換装置１によれば、複数のカメラモジュール２が撮像した画像を組み合わせた画像レイアウトで車両周囲を提示するに際して、予め取得した特徴パターンと、複数のカメラモジュール２が撮像した画像をアドレス変換した後の特徴パターンとを比較して、カメラモジュール２の撮像範囲のずれを検出して、当該撮像範囲のずれに基づいてアドレス変換テーブルの使用領域を変位させることにより、自動でカメラモジュール２の撮像範囲の補正をすることができる。
【０１１４】
また、この車両用画像変換装置１によれば、キャリブレーションの対象となるカメラモジュール２で撮像した特徴パターンと、別個のカメラで撮像した特徴パターンとの相対的位置に基づいて、カメラモジュール２ごとの撮像範囲のずれを補正することができる。例えば、絶対的な基準である車体、バンパー等の画像情報を、撮像範囲のずれの補正に用いないため、車種毎に補正用処理機能を備える必要がなくなる。
【０１１５】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【０１１６】
すなわち、上述した車両用画像変換装置１は、カメラ画像の切り出し処理だけではなく、画像提示領域を操作する拡大・縮小処理やレンズ歪みを考慮した歪み変換処理、仮想視点からの画像に変換する視点変換処理等に対応したアドレス変換テーブルについても適用可能である。
【図面の簡単な説明】
【０１１７】
【図１】本発明を適用した第１実施形態に係る車両周囲表示システムの構成を示すブロック図である。
【図２】本発明を適用した第１実施形態に係る車両周囲表示システムにおいて、アドレス変換対象画像から、異なる位置の表示画像を表示させる処理を説明するための図である。
【図３】本発明を適用した第２実施形態に係る車両周囲表示システムにおいて、モニタ解像度分の画像領域に重畳させるオーバレイデータを移動させて表示させる処理を説明するための図である。
【図４】本発明を適用した第３実施形態に係る車両周囲表示システムにおいて、予めモニタの所定位置に表示されるオーバレイデータを参照して、モニタ解像度分の画像領域を移動させる処理を説明するための図である。
【図５】本発明を適用した第４実施形態に係る車両周囲表示システムの構成を示すブロック図である。
【図６】本発明を適用した第４実施形態に係る車両周囲表示システムにおいて、アドレス変換テーブルを再構成して、画像レイアウトに従った画像を表示させる処理を説明するための図である。
【図７】本発明を適用した第４実施形態に係る車両周囲表示システムにおいて、アドレス変換テーブルを再構成する処理の処理手順を示すフローチャートである。
【図８】本発明を適用した第５実施形態に係る車両周囲表示システムにおいて、複数のカメラモジュールの画像を連続させて表示させるための処理を説明するための図である。
【図９】本発明を適用した第５実施形態に係る車両周囲表示システムにおいて、複数のカメラモジュールで同じ対象物を撮像した場合における光軸ずれの有無に応じた画像のずれを説明するための図である。
【図１０】本発明を適用した第５実施形態に係る車両周囲表示システムにおいて、複数のカメラモジュールの光軸ずれを対象物の特徴に従って補正する処理の処理手順を示すフローチャートである。
【符号の説明】
【０１１８】
１  車両用画像変換装置
２  カメラモジュール
３  モニタ
１１  内部バス
１２  入力バッファ
１３  ＣＰＵ
１４  画像変換部
１５  テーブル記憶部
１６  出力バッファ
２１  撮像用レンズ
２２  ＣＣＤ
３１  テーブル記憶部
３２  テーブル領域決定部
３３  テーブル再構成部
３４  アドレス変換部
【図１】
2006060460.tif 000003
【図２】
2006060460.tif 000004
【図３】
2006060460.tif 000005
【図４】
2006060460.tif 000006
【図５】
2006060460.tif 000007
【図６】
2006060460.tif 000008
【図７】
2006060460.tif 000009
【図８】
2006060460.tif 000010
【図９】
2006060460.tif 000011
【図１０】
2006060460.tif 000012