(57)【要約】  取付位置が異なる車載カメラ１ａ〜１ｄの中から、任意の視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択し、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定部３と、その車載カメラ１により撮影された画像を示す画像データのうち、領域特定部３により特定された領域内の画像データを入力して、その画像データを入力用フレームバッファ５に格納する入力映像信号制御部４とを設け、画像処理装置６が入力用フレームバッファ５に格納されている画像データから俯瞰画像を生成する。
2012007993.tif 000002
【特許請求の範囲】
【請求項１】
取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、上記カメラにより撮影された画像の中で、上記俯瞰画像に対応する領域を特定する領域特定手段と、上記カメラにより撮影された画像を示す画像データのうち、上記領域特定手段により特定された領域内の画像データを入力して、上記画像データをフレームバッファに格納する画像データ入力手段と、上記フレームバッファに格納されている画像データから俯瞰画像を生成する俯瞰画像生成手段とを備えた画像合成装置。
【請求項２】
俯瞰画像生成手段により生成された俯瞰画像を表示する画像表示手段を備えていることを特徴とする請求項１記載の画像合成装置。
【請求項３】
複数のカメラが車両の周囲に取り付けられており、俯瞰画像生成手段がフレームバッファに格納されている画像データから、車両の周囲における任意の視点から見たときの俯瞰画像を生成することを特徴とする請求項１記載の画像合成装置。
【請求項４】
俯瞰画像の視点に対応するカメラを示すカメラ情報と、上記俯瞰画像に対応する上記カメラの撮影画像内の領域を示す領域情報と、上記カメラにより撮影された画像を俯瞰画像に変換する際に用いる座標変換行列とが記録されている再配置テーブルを記憶しているテーブル記憶手段が設けられている場合、
領域特定手段は、上記テーブル記憶手段により記憶されている再配置テーブルを参照して、外部から与えられる視点位置情報が示す視点に対応するカメラを選択するとともに、上記カメラにより撮影された画像の中で、上記視点から見たときの俯瞰画像に対応する領域を特定することを特徴とする請求項１記載の画像合成装置。
【請求項５】
俯瞰画像生成手段は、再配置テーブルに記録されている座標変換行列を用いて、フレームバッファに格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成することを特徴とする請求項４記載の画像合成装置。
【請求項６】
領域特定手段は、任意の視点が変化する毎に、任意の視点から見たときの俯瞰画像に対応する領域の特定処理を実施して、上記領域の特定処理結果を画像データ入力手段に与えることを特徴とする請求項１記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周囲に取り付けられているカメラにより撮影された画像から、車両の周囲における任意の視点の俯瞰画像を生成して、その俯瞰画像を表示する画像合成装置に関するものである。
【背景技術】
【０００２】
例えば、以下の特許文献１に開示されている画像合成装置では、車両の周囲に取り付けられている複数のカメラにより撮影された画像を示す画像データを入力して、その画像データを入力用フレームバッファに格納する。
そして、当該画像合成装置では、任意の視点から見たときの俯瞰画像における画素と、カメラにより撮影された画像における画素との対応関係を示すマッピングデータを参照して、入力用フレームバッファに格納している複数の画像データから俯瞰画像を生成するようにしている。【０００３】
ただし、当該画像合成装置が入力用フレームバッファに格納している複数の画像データから俯瞰画像を生成する際、カメラにより撮影された画像内の一部の領域の画像データのみを使用し、当該領域以外の画像データを使用しないが、カメラにより撮影された画像を示す画像データのすべてを入力用フレームバッファに格納するようにしている。
したがって、当該画像合成装置では、メモリ容量が大きな入力用フレームバッファを実装する必要がある。【０００４】
以下の特許文献２に開示されている画像合成装置では、俯瞰画像の生成に使用する画像データのみを入力用フレームバッファに格納して、その入力用フレームバッファのメモリ容量を削減することができるようにするために、出力領域を変更することが可能な特殊なカメラを実装し、俯瞰画像の視点に応じて、カメラの出力領域を制御（カメラにより撮影される画像の範囲を制御）するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＷＯ００／０６４１７５（第５頁）
【特許文献２】特開２００６−２８７８２６号公報（段落番号［００２０］）
【発明の概要】
【０００６】
従来の画像合成装置は以上のように構成されているので、出力領域を変更することが可能な特殊なカメラを実装し、俯瞰画像の視点に応じて、カメラの出力領域を制御するようにすれば、俯瞰画像の生成に使用する画像データのみを入力用フレームバッファに格納して、その入力用フレームバッファのメモリ容量を削減することができる。しかし、設備費用やカメラ仕様等の関係で、出力領域を変更することが可能な特殊なカメラを実装することができない場合、メモリ容量が大きな入力用フレームバッファを実装しなければ、任意の視点から見たときの俯瞰画像を生成することができない（俯瞰画像の画質の低下や、フレームレートの低下を許容すれば、メモリ容量が小さな入力用フレームバッファでも俯瞰画像を生成することができる）課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、メモリ容量が大きな入力用フレームバッファを実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる画像合成装置を得ることを目的とする。
【０００８】
この発明に係る画像合成装置は、取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、そのカメラにより撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定手段と、そのカメラにより撮影された画像を示す画像データのうち、領域特定手段により特定された領域内の画像データを入力して、その画像データをフレームバッファに格納する画像データ入力手段とを設け、俯瞰画像生成手段がフレームバッファに格納されている画像データから俯瞰画像を生成するようにしたものである。
【０００９】
この発明によれば、取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、そのカメラにより撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定手段と、そのカメラにより撮影された画像を示す画像データのうち、領域特定手段により特定された領域内の画像データを入力して、その画像データをフレームバッファに格納する画像データ入力手段とを設け、俯瞰画像生成手段がフレームバッファに格納されている画像データから俯瞰画像を生成するように構成したので、メモリ容量が大きなフレームバッファを実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による画像合成装置を示す構成図である。
【図２】この発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。
【図３】視点及び再配置テーブルの一例を示す説明図である。
【図４】領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を示すフローチャートである。
【図５】現在設定されている俯瞰画像に対応する領域の更新処理を示すフローチャートである。
【図６】車載カメラ１ａ〜１ｄにより撮影される画像の領域を示す説明図である。
【図７】この発明の実施の形態２による画像合成装置を示す構成図である。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
図１において、車載カメラ１ａは車両（車両は自動車のほか、電車、船舶、飛行機、自動車などを含む）の前側に取り付けられており、車両前方を撮影して、車両前方の画像を示す画像データを入力映像信号制御部４に出力する。
車載カメラ１ｂは車両の後側に取り付けられており、車両後方を撮影して、車両後方の画像を示す画像データを入力映像信号制御部４に出力する。
車載カメラ１ｃは車両の右側に取り付けられており、車両右側方を撮影して、車両右側方の画像を示す画像データを入力映像信号制御部４に出力する。
車載カメラ１ｄは車両の左側に取り付けられており、車両左側方を撮影して、車両左側方の画像を示す画像データを入力映像信号制御部４に出力する。
図６は車載カメラ１ａ〜１ｄにより撮影される画像の領域を示す説明図である。
【００１２】
再配置テーブル格納用バッファ２は例えばＲＡＭやハードディスクなどの記録媒体であり、指定可能な視点毎に、当該視点の俯瞰画像を構成している各微小領域に対応する車載カメラ１を示すカメラ情報と、俯瞰画像に対応する車載カメラ１の撮影画像内の領域を示す領域情報と、車載カメラ１により撮影された画像を俯瞰画像に変換する際に用いる座標変換行列とが記録されている再配置テーブルを記憶している。
例えば、画像合成装置において、指定可能な視点の個数が１００個であり、その視点の俯瞰画像を構成する微小領域の個数が２００個であれば、各微小領域に対応する再配置テーブルとして、２００００個（＝１００×２００個）の再配置テーブルが再配置テーブル格納用バッファ２に記憶される。
なお、再配置テーブル格納用バッファ２はテーブル記憶手段を構成している。
【００１３】
領域特定部３は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、俯瞰画像の視点を示す視点位置情報を入力すると、再配置テーブル格納用バッファ２により記憶されている再配置テーブルを参照して、車載カメラ１ａ〜１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択するとともに、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する処理を実施する。なお、領域特定部３は領域特定手段を構成している。
【００１４】
入力映像信号制御部４は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、車載カメラ１ａ〜１ｄにより撮影された画像を示す画像データのうち、領域特定部３から出力された必要領域情報が示す領域内の画像データ（前カメラデータ、右カメラデータ、左カメラデータ、あるいは、後カメラデータ）を入力して、その画像データを入力用フレームバッファ５に格納する処理を実施する。なお、入力映像信号制御部４は画像データ入力手段を構成している。
【００１５】
入力用フレームバッファ５は例えばフレームメモリなどの記録媒体であり、入力映像信号制御部４から出力された領域内の画像データ（前カメラデータ、右カメラデータ、左カメラデータ、あるいは、後カメラデータ）を格納する。
【００１６】
画像処理装置６は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などから構成されており、再配置テーブル格納用バッファ２により記憶されている再配置テーブル内の座標変換行列を用いて、入力用フレームバッファ５に格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成する処理を実施する。なお、画像処理装置６は俯瞰画像生成手段を構成している。
【００１７】
出力用フレームバッファ７は例えばフレームメモリなどの記録媒体であり、画像処理装置６により生成された俯瞰画像を格納する。
画像表示装置８は例えば液晶ディスプレイなどを実装している表示器であり、出力用フレームバッファ７により格納されている俯瞰画像を表示する処理を実施する。なお、画像表示装置８は画像表示手段を構成している。
図１の例では、画像表示装置８が画像合成装置の外部に設けられているが、画像合成装置が画像表示装置８を実装するようにしてもよい。
【００１８】
図１の例では、画像合成装置の構成要素である再配置テーブル格納用バッファ２、領域特定部３、入力映像信号制御部４、入力用フレームバッファ５、画像処理装置６及び出力用フレームバッファ７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成される場合、再配置テーブル格納用バッファ２、領域特定部３、入力映像信号制御部４、入力用フレームバッファ５、画像処理装置６及び出力用フレームバッファ７の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。
【００１９】
図３は視点及び再配置テーブルの一例を示す説明図である。
再配置テーブルは、画像合成装置において、指定可能な視点の俯瞰画像を構成する微小領域の個数分だけ用意されている。例えば、指定可能な視点の個数が１００個であり、その視点の俯瞰画像を構成する微小領域の個数が２００個であれば、２００００個（＝１００×２００個）の再配置テーブルが用意される。
図３（ａ）はある視点の俯瞰画像を示しており、その俯瞰画像内の三角形は、その俯瞰画像を構成する微小領域を示している（図３（ａ）の例では、微小領域の形状が三角形であるが、微小領域の形状は問わず、例えば、四角形でもよい）。
再配置テーブルには、視点の俯瞰画像を構成している微小領域毎に、当該視点に対応する車載カメラ１を示すカメラ情報が記録されており、図３（ｂ）の例では、０番目の微小領域に対応する車載カメラ１は「車載カメラ１ａ」、ｎ番目の微小領域に対応する車載カメラ１は「車載カメラ１ｃ」である旨を示している。
【００２０】
また、再配置テーブルには、当該視点の俯瞰画像に対応する車載カメラ１の撮影画像内の領域を示す領域情報、即ち、当該視点の俯瞰画像を構成する微小領域を示す領域情報（例えば、ｎ番目の微小領域の場合、頂点座標（ｕ0（ｎ），ｖ0（ｎ））、（ｕ1（ｎ），ｖ1（ｎ））、（ｕ2（ｎ），ｖ2（ｎ））が記録されており、図３（ｂ）の例では、（ｕ0（ｎ），ｖ0（ｎ））が（２００，１００）、（ｕ1（ｎ），ｖ1（ｎ））が（２００，１０５）、（ｕ2（ｎ），ｖ2（ｎ））が（２０５，１０５）である旨を示している。
【００２１】
また、再配置テーブルには、車載カメラ１により撮影された画像を俯瞰画像に変換する際に用いる座標変換行列Ｍ（ｎ）（撮影画像の座標系ｕ−ｖと俯瞰画像の座標系ｘ−ｙの間で、座標変換を行うための行列）が記録されている。
2012007993.tif 000003
【００２２】
ただし、座標変換行列Ｍ（ｎ）の要素ａ，ｂ，ｃ，ｄは、車載カメラ１ａ〜１ｄの取付位置及び撮影方向、俯瞰画像の視点、画像の拡大／縮小などによって決まる定数である。
例えば、Ｘ軸を中心に車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する場合、座標変換行列Ｍ（ｎ）は、下記の式（２）のように表すことができる。
2012007993.tif 000004
【００２３】
また、Ｙ軸を中心に車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する場合、座標変換行列Ｍ（ｎ）は、下記の式（３）のように表すことができる。
2012007993.tif 000005
【００２４】
なお、式（２）及び式（３）に示している座標変換行列Ｍ（ｎ）は、一例に過ぎず、他の座標変換行列を用いてもよい。
ここでは、車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する例を示しているが、これに限るものではなく、例えば、車載カメラ１により撮影された画像を平行移動することで俯瞰画像に変換する場合や、拡大縮小することで俯瞰画像に変換する場合などが考えられ、これらの変換に対応する座標変換行列Ｍ（ｎ）を用いればよい。
【００２５】
次に動作について説明する。
領域特定部３は、生成対象の俯瞰画像の視点を示す視点位置情報（視点位置情報は、例えば、ユーザが図示しないマンマシンインタフェース（例えば、マウス、キーボード、タッチパネルなど）を操作して、所望の俯瞰画像の視点を指定することで入力することができる）を入力すると（図２のステップＳＴ１）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
【００２６】
領域特定部３は、俯瞰画像の視点が変更されると（初めて俯瞰画像の視点が指定された場合を含む）、再配置テーブル格納用バッファ２により記憶されている複数の再配置テーブルの中から、その視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する。
領域特定部３は、各微小領域に対応する再配置テーブルを検索すると、その再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ〜１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ３）。
【００２７】
例えば、再配置テーブルに記録されているカメラ情報が「車載カメラ１ａ」であれば、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ａを選択し、そのカメラ情報が「車載カメラ１ｂ」であれば、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｂを選択する。
図３（ａ）の場合、例えば、車両の右側の微小領域においては、カメラ情報が「車載カメラ１ｃ」であるため、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｃを選択し、車両の左側の微小領域においては、カメラ情報が「車載カメラ１ｄ」であるため、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｄを選択する。
【００２８】
領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、再配置テーブルに記録されている領域情報を参照して、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する（ステップＳＴ４）。
【００２９】
以下、領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を具体的に説明する。
ただし、以下に示す領域の特定処理は一例に過ぎず、他の特定処理を実施することで、俯瞰画像に対応する撮影画像内の領域を特定するようにしてもよい。
図４は領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を示すフローチャートである。
また、図５は現在設定されている俯瞰画像に対応する領域の更新処理を示すフローチャートである。
【００３０】
領域特定部３は、生成対象の俯瞰画像の視点を示す視点位置情報を入力し、その視点位置情報が示す視点が変更されている場合、あるいは、初めて俯瞰画像の視点が指定された場合、上述したように、再配置テーブル格納用バッファ２により記憶されている複数の再配置テーブルの中で、その視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する（図４のステップＳＴ２１）。
【００３１】
領域特定部３は、視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索すると、各微小領域に対応する再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ〜１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ２２）。
図３の例では、俯瞰画像の生成に用いる車載カメラ１として、車載カメラ１ａ，１ｂ，１ｃ，１ｄを選択する。
【００３２】
領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、各微小領域に対応する再配置テーブルに記録されている領域情報を参照して、その選択した車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域の頂点座標を特定する（ステップＳＴ２３）。
例えば、微小領域がｎ番目の領域の場合、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｃが選択され、車載カメラ１ｃにより撮影された画像の中で、その俯瞰画像に対応する領域の頂点座標として、（ｕ0（ｎ），ｖ0（ｎ））、（ｕ1（ｎ），ｖ1（ｎ））、（ｕ2（ｎ），ｖ2（ｎ））が特定される。
図３（ｂ）の例では、（ｕ0（ｎ），ｖ0（ｎ））が（２００，１００）、（ｕ1（ｎ），ｖ1（ｎ））が（２００，１０５）、（ｕ2（ｎ），ｖ2（ｎ））が（２０５，１０５）になる。
【００３３】
領域特定部３は、俯瞰画像に対応する領域の頂点座標を特定すると、俯瞰画像に対応する領域を示す必要領域情報として、その領域の頂点座標を入力映像信号制御部４に出力する（ステップＳＴ２４）。
なお、領域特定部３は、必要領域情報を入力映像信号制御部４に出力する際、俯瞰画像の生成に用いる車載カメラ１を示すカメラ情報（視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルに記録されているカメラ情報）を必要領域情報に含めて入力映像信号制御部４に出力する。あるいは、必要領域情報と別個にカメラ情報を入力映像信号制御部４に出力する。
【００３４】
ここでは、領域特定部３が、俯瞰画像に対応する領域を示す必要領域情報として、その領域の頂点座標を入力映像信号制御部４に出力するものについて示したが、以下のようにしてもよい。
【００３５】
即ち、領域特定部３は、今回特定した俯瞰画像に対応する領域と、前回特定した俯瞰画像に対応する領域（現在設定されている俯瞰画像に対応する領域（以下、「現時点の設定領域」と称する））とを比較して、今回特定した俯瞰画像に対応する領域が、現時点の設定領域の範囲に含まれているか否かを判定する。
そして、領域特定部３は、今回特定した俯瞰画像に対応する領域が、現時点の設定領域の範囲に含まれていなければ、以下のようにして、現時点の設定領域を更新し、俯瞰画像に対応する領域を示す必要領域情報として、更新後の設定領域を示す座標値（設定領域におけるＸ座標最小値、Ｘ座標最大値、Ｙ座標最小値、Ｙ座標最大値）を入力映像信号制御部４に出力する。
【００３６】
・領域特定部３による設定領域の更新処理
領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＸ座標最小値ＳＸminが、現時点の設定領域におけるＸ座標最小値ＥＸminより小さい場合（図５のステップＳＴ３１）、設定領域におけるＸ座標最小値ＥＸminをＸ座標最小値ＳＸminに更新する（ステップＳＴ３２）。
領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＹ座標最小値ＳＹminが、現時点の設定領域におけるＹ座標最小値ＥＹminより小さい場合（ステップＳＴ３３）、設定領域におけるＹ座標最小値ＥＹminをＹ座標最小値ＳＹminに更新する（ステップＳＴ３４）。
【００３７】
領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＸ座標最大値ＳＸmaxが、現時点の設定領域におけるＸ座標最大値ＥＸmaxより大きい場合（ステップＳＴ３５）、設定領域におけるＸ座標最大値ＥＸmaxをＸ座標最大値ＳＸmaxに更新する（ステップＳＴ３６）。
領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＹ座標最大値ＳＹmaxが、現時点の設定領域におけるＹ座標最大値ＥＹmaxより大きい場合（ステップＳＴ３７）、設定領域におけるＹ座標最大値ＥＹmaxをＹ座標最大値ＳＹmaxに更新する（ステップＳＴ３８）。
【００３８】
入力映像信号制御部４は、領域特定部３から俯瞰画像に対応する領域を示す必要領域情報を受けると、その必要領域情報に含まれているカメラ情報が示す車載カメラ１により撮影された画像を示す画像データ（例えば、俯瞰画像の生成に用いる車載カメラ１として、車載カメラ１ｃが選択されている場合、車載カメラ１ｃにより撮影された画像を示す画像データ）のうち、その必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を入力して、その画像データを入力用フレームバッファ５に格納する（図２のステップＳＴ５）。
【００３９】
画像処理装置６は、入力映像信号制御部４が画像データを入力用フレームバッファ５に格納すると、再配置テーブル格納用バッファ２により記憶されている再配置テーブル（視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブル）内の座標変換行列Ｍ（ｎ）を用いて、入力用フレームバッファ５に格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成する（ステップＳＴ６）。
即ち、画像処理装置６は、上記の式（１）に示す座標変換行列Ｍ（ｎ）を用いて、入力用フレームバッファ５に格納されている画像データが示す画像内の各画素の座標（ｕ（ｎ），ｖ（ｎ））を俯瞰画像上の画素の座標（ｘ（ｎ），ｙ（ｎ））に変換することにより、俯瞰画像を生成する。
【００４０】
2012007993.tif 000006
【００４１】
画像処理装置６は、視点位置情報が示す視点から見たときの俯瞰画像を生成すると、その俯瞰画像を出力用フレームバッファ７に格納する（ステップＳＴ７）。
画像表示装置８は、画像処理装置６が俯瞰画像を出力用フレームバッファ７に格納すると、その俯瞰画像をディスプレイ等に表示する（ステップＳＴ８）。
【００４２】
画像合成装置は、俯瞰画像の表示を継続する場合、ステップＳＴ１０の処理に移行するが、俯瞰画像の表示終了を要求する信号等が入力されると、一連の処理を終了する（ステップＳＴ９）。
領域特定部３は、俯瞰画像の表示を継続する場合、画像表示装置８が俯瞰画像を表示してから、所定時間を経過する前に、新たに視点位置情報を入力すると（ステップＳＴ１０）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
即ち、領域特定部３は、前回入力された視点位置情報が示す視点と、今回入力された視点位置情報が示す視点とを比較することで、俯瞰画像の視点が変更されているか否かを判定する。
【００４３】
俯瞰画像の視点が変更されている場合、変更後の視点から見たときの俯瞰画像を生成して表示するため、上記のステップＳＴ３〜ＳＴ８の処理を実施する。
一方、俯瞰画像の視点が変更されていない場合、あるいは、所定時間を経過する前に、新たな視点位置情報が入力されていない場合、その俯瞰画像の生成に必要な領域は変わらないため、ステップＳＴ３，ＳＴ４の処理をスキップして、ステップＳＴ５の処理に移行し、上記のステップＳＴ５〜ＳＴ８の処理を実施する。
この場合、入力映像信号制御部４は、領域特定部３から前回出力された必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を新たに入力して、その画像データを入力用フレームバッファ５に格納する。
【００４４】
以上で明らかなように、この実施の形態１によれば、取付位置が異なる車載カメラ１ａ〜１ｄの中から、任意の視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択し、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定部３と、その車載カメラ１により撮影された画像を示す画像データのうち、領域特定部３により特定された領域内の画像データを入力して、その画像データを入力用フレームバッファ５に格納する入力映像信号制御部４とを設け、画像処理装置６が入力用フレームバッファ５に格納されている画像データから俯瞰画像を生成するように構成したので、メモリ容量が大きな入力用フレームバッファ５を実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる効果を奏する。
【００４５】
また、この実施の形態１によれば、俯瞰画像の視点が変化する毎に、領域特定部３が新たな視点から見たときの俯瞰画像に対応する領域の特定処理を実施して、その領域を示す必要領域情報を入力映像信号制御部４に与えるように構成したので、入力用フレームバッファ５のメモリ容量の増加を招くことなく、俯瞰画像の視点変更を受け付けることができる効果を奏する。
【００４６】
なお、この実施の形態１では、複数の車載カメラ１ａ〜１ｄの中から、俯瞰画像の生成に用いる車載カメラ１を複数選択するようにしているが、画像処理装置６が入力用フレームバッファ５に格納されている複数の画像データが示す画像の座標変換を実施することで俯瞰画像を生成する際、座標変換後の複数の画像（俯瞰画像）を合成することで、最終的な俯瞰画像を生成するようにする。
複数の画像の合成方法は特に問わず、公知の方法を使用すればよいため、ここでは詳細な説明は省略する。
【００４７】
また、この実施の形態１では、複数の車載カメラ１ａ〜１ｄが車両の周囲に取り付けられており、画像処理装置６が入力用フレームバッファ５に格納されている画像データから、車両の周囲における任意の視点から見たときの俯瞰画像を生成するものについて示したが、複数のカメラが必ずしも車両の周囲に取り付けられているものに限るものではなく、例えば、建物の周囲などに取り付けられていてもよい。
【００４８】
また、この実施の形態１では、４台の車載カメラ１ａ〜１ｄが車両の周囲に取り付けられているものについて示したが、車載カメラ１の台数は問わず、何台でもよい。
【００４９】
実施の形態２．
上記実施の形態１では、画像合成装置が再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７を実装しているものについて示したが、コスト削減を図るために、再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７の代用として、共通のメモリを画像合成装置に実装するようにしてもよい。
【００５０】
図７はこの発明の実施の形態２による画像合成装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
メモリアクセス制御部９は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、入力映像信号制御部４から出力された画像データ（必要領域情報が示す領域内の画像データ）をメモリ１０に書き込むとともに、画像処理装置６から出力された俯瞰画像をメモリ１０に書き込む処理を実施するほか、メモリ１０に格納されている再配置テーブルを読み込んで、その再配置テーブルを領域特定部３及び画像処理装置６に出力するとともに、メモリ１０に格納されている俯瞰画像を読み込んで、その俯瞰画像を画像表示装置８に出力する処理を実施する。
メモリ１０は例えばＲＡＭやハードディスクなどの記録媒体であり、再配置テーブル、画像データ及び俯瞰画像を格納する。
【００５１】
図７の例では、画像合成装置の構成要素である領域特定部３、入力映像信号制御部４、画像処理装置６、メモリアクセス制御部９及びメモリ１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成される場合、領域特定部３、入力映像信号制御部４、画像処理装置６、メモリアクセス制御部９及びメモリ１０の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００５２】
次に動作について説明する。
領域特定部３は、上記実施の形態１と同様に、生成対象の俯瞰画像の視点を示す視点位置情報を入力すると（図２のステップＳＴ１）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
【００５３】
領域特定部３は、俯瞰画像の視点が変更されると（初めて俯瞰画像の視点が指定された場合を含む）、メモリアクセス制御部９を介して、メモリ１０により記憶されている複数の再配置テーブルの中から、その視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する。
領域特定部３は、各微小領域に対応する再配置テーブルを検索すると、その再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ〜１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ３）。
【００５４】
領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、上記実施の形態１と同様に、その再配置テーブルに記録されている領域情報を参照して、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する（ステップＳＴ４）。
なお、領域特定部３は、必要領域情報を入力映像信号制御部４に出力する際、俯瞰画像の生成に用いる車載カメラ１を示すカメラ情報（視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルに記録されているカメラ情報）を必要領域情報に含めて入力映像信号制御部４に出力する。あるいは、必要領域情報と別個にカメラ情報を入力映像信号制御部４に出力する。
【００５５】
入力映像信号制御部４は、領域特定部３から俯瞰画像に対応する領域を示す必要領域情報を受けると、上記実施の形態１と同様に、その必要領域情報に含まれているカメラ情報が示す車載カメラ１により撮影された画像を示す画像データのうち、その必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を入力する。
そして、入力映像信号制御部４は、メモリアクセス制御部９を介して、設定領域内の画像データをメモリ１０に格納する（ステップＳＴ５）。
【００５６】
画像処理装置６は、入力映像信号制御部４がメモリアクセス制御部９を介して、設定領域内の画像データをメモリ１０に格納すると、メモリアクセス制御部９を介して、メモリ１０に格納されている再配置テーブル（視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブル）の読み込みを行うとともに、メモリ１０に格納されている設定領域内の画像データの読み込みを行う。
そして、画像処理装置６は、その再配置テーブルに記録されている座標変換行列Ｍ（ｎ）を用いて、その画像データが示す画像の座標変換を実施することで俯瞰画像を生成する（ステップＳＴ６）。
即ち、画像処理装置６は、上記の式（１）に示す座標変換行列Ｍ（ｎ）を用いて、メモリ１０に格納されている画像データが示す画像内の各画素の座標（ｕ（ｎ），ｖ（ｎ））を俯瞰画像上の画素の座標（ｘ（ｎ），ｙ（ｎ））に変換することにより、俯瞰画像を生成する。
【００５７】
画像処理装置６は、視点位置情報が示す視点から見たときの俯瞰画像を生成すると、メモリアクセス制御部９を介して、その俯瞰画像をメモリ１０に格納する（ステップＳＴ７）。
画像表示装置８は、画像処理装置６がメモリアクセス制御部９を介して、俯瞰画像をメモリ１０に格納すると、メモリアクセス制御部９を介して、メモリ１０に格納されている俯瞰画像の読み込みを行い、その俯瞰画像をディスプレイ等に表示する（ステップＳＴ８）。
【００５８】
画像合成装置は、俯瞰画像の表示を継続する場合、ステップＳＴ１０の処理に移行するが、俯瞰画像の表示終了を要求する信号等が入力されると、一連の処理を終了する（ステップＳＴ９）。
領域特定部３は、俯瞰画像の表示を継続する場合、画像表示装置８が俯瞰画像を表示してから、所定時間を経過する前に、新たに視点位置情報を入力すると（ステップＳＴ１０）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
即ち、領域特定部３は、前回入力された視点位置情報が示す視点と、今回入力された視点位置情報が示す視点とを比較することで、俯瞰画像の視点が変更されているか否かを判定する。
【００５９】
俯瞰画像の視点が変更されている場合、変更後の視点から見たときの俯瞰画像を生成して表示するため、上記のステップＳＴ３〜ＳＴ８の処理を実施する。
一方、俯瞰画像の視点が変更されていない場合、あるいは、所定時間を経過する前に、新たな視点位置情報が入力されていない場合、その俯瞰画像の生成に必要な領域は変わらないため、ステップＳＴ３，ＳＴ４の処理をスキップして、ステップＳＴ５の処理に移行し、上記のステップＳＴ５〜ＳＴ８の処理を実施する。
この場合、入力映像信号制御部４は、領域特定部３から前回出力された必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を新たに入力し、メモリアクセス制御部９を介して、その画像データをメモリ１０に格納する。
【００６０】
以上で明らかなように、コスト削減を図るために、再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７の代用として、共通のメモリ１０を画像合成装置に実装するようにしても、上記実施の形態１と同様に、メモリ容量の増加を招くことなく、高画質・高フレームレートの俯瞰画像を生成することができる効果を奏する。
【産業上の利用可能性】
【００６１】
この発明に係る画像合成装置は、複数のカメラにより撮影された画像から、任意の視点の俯瞰画像を生成するものに適している。
【図１】
2012007993.tif 000007
【図２】
2012007993.tif 000008
【図３】
2012007993.tif 000009
【図４】
2012007993.tif 000010
【図５】
2012007993.tif 000011
【図６】
2012007993.tif 000012
【図７】
2012007993.tif 000013
【国際調査報告】
2012007993.tif 000014
2012007993.tif 000015
2012007993.tif 000016