(57)【要約】  【課題】  画像データを記憶するための大容量のメモリを必要とせずに合成画像を生成することができる画像合成装置を提供する。  【解決手段】  分割された複数の画素として光学画像を取得して画素データを生成する複数のカメラ２、３と、複数のカメラ２、３が出力する画素データの順序を表わす配列データを記憶する配列データ記憶手段７と、画素データを出力するよう、配列データ記憶手段７に記憶された配列データに基いて複数のカメラ２、３を制御するカメラ制御手段４とを備え、複数のカメラ２、３が、カメラ制御手段４によって指定された画素位置から画素を読み出した時点で合成画像が得られるようにする。【選択図】  図１
2006140908.tif 000002
【特許請求の範囲】
【請求項１】
光学画像を複数の画素として取得して画素データを生成する複数のカメラと、
前記複数のカメラが出力する画素データの順序を表わす配列データを記憶する配列データ記憶手段と、
前記配列データ記憶手段に記憶された前記配列データに基いて前記画素データを出力するよう前記複数のカメラを制御するカメラ制御手段とを備えた画像合成装置。
【請求項２】
前記複数のカメラによって出力された画素データが表わす画素によって構成される合成画像の輝度を表わす輝度情報を取得する輝度情報取得手段を備え、
前記カメラ制御手段が、取得した画素の輝度を前記輝度情報に基いて補正するよう前記複数のカメラを制御することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記配列データ記憶手段が、さらに１以上の配列データを記憶することを特徴とする請求項１又は請求項２に記載の画像合成装置。
【請求項４】
前記複数の配列データの中から使用する配列データを選択する配列データ選択手段と、
前記画素データに移動物体を表わす画像を構成する画素データが含まれているか否かを判断する移動物体判断手段とを備え、
前記配列データ選択手段が、前記移動物体判断手段によって判断された結果に基いて前記配列データを選択することを特徴とする請求項３に記載の画像合成装置。
【請求項５】
前記配列データは、前記光学画像における画素データの画素位置の配列によって構成され、
前記画素位置は、直前に順序付けられた画素データの画素位置に対して相対的な位置を示す相対アドレスで表わされることを特徴とする請求項１乃至請求項４の何れかに記載の画像合成装置。
【請求項６】
前記配列データは、画素データの光学画像に対する絶対位置を示す絶対アドレスと、前記相対アドレスとのいずれかによって表わされることを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記カメラ制御手段は、外部の通信機器から配列データを取得することを特徴とする請求項１乃至請求項６の何れかに記載の画像合成装置。
【請求項８】
前記配列データ記憶手段と、前記カメラ制御手段と、前記画素データ取得手段と、前記画素データ出力手段とが、メモリ混載ＡＳＩＣによって構成されることを特徴とする請求項１乃至請求項７の何れかに記載の画像合成装置。
【請求項９】
請求項１乃至請求項８の何れかに記載の画像合成装置を備えた駐車アシストシステム。
【請求項１０】
請求項１乃至請求項８の何れかに記載の画像合成装置を備えた監視カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置に関し、詳しくは複数のカメラが取得した画素から画像を合成する画像合成装置に関する。
【背景技術】
【０００２】
従来の画像合成装置３１は、図５に示すように、取得した光学画像を複数の画素によって構成される画素群として取得し、画素群を第１画素データ群として出力する第１カメラ３２および第２画素データ群として出力する第２カメラ３３と、第１カメラ３２および第２カメラ３３から第１画素データ群および第２画素データ群を夫々取得する画素データ群取得手段３４と、画素データ群取得手段３４が取得した第１画素データ群および第２画素データ群を記憶する第１メモリ３５と、第１メモリ３５に記憶された第１画素データ群および第２画素データ群の中から読み出しを行う画素の順序を予め決められた順序で指定した配列データを記憶する第２メモリ３６と、第２メモリ３６に記憶された配列データに基いて第１メモリの画素を読み出すメモリ制御手段３７と、メモリ制御手段３７によって読み出された画素から合成画像を表わす合成画像データを生成する合成画像データ生成手段３８とを備えている。合成画像データ生成手段３８によって生成された合成画像データは、画像合成装置３１に接続された画像再生手段４０によって合成画像として出力されるようになっている。
【０００３】
このような画像合成装置３１で駐車アシストシステムを構成した場合において、駐車アシストシステムを備えた自車を、道路端に駐車された他車の前方に駐車する場合における画像データの例を図６に示す。第１カメラ３２および第２カメラ３３は、いずれも自車のリアウインドウ中央に設置されている。第１カメラ３２は、自車の左後方の第１光学画像８１を取得し、第２カメラ３３は、自車の右後方の第２光学画像８２を取得するようになっている。第１カメラ３２によって取得された第１光学画像８１および第２カメラ３３によって取得された第２光学画像８２は、画素データ群として第１メモリ３５に蓄積される。
【０００４】
第１メモリ３５に蓄積された画素データ群のうち、第２メモリ３６に記憶される配列データによって指定された画素が、配列データに記録された画素の順序に従ってメモリ制御手段３７によって読み出され、合成画像データ生成手段３８に出力される。合成画像データ生成手段３８は、メモリ制御手段３７によって読み出された画素から合成画像８３を表わす合成画像データを生成するようになっている。合成画像データは、画像合成装置３１に接続された画像再生手段４０によって合成画像８３として出力される。
【０００５】
ここで、合成画像８３は、自車の真上に視点がある上方視点画像であるので、自車の運転者は、車両を後退させて駐車する場合において、自車と歩道および自車と他車との位置関係を把握できる（例えば、特許文献１参照）。
【０００６】
このような従来の画像合成装置３１においては、第１カメラ３２および第２カメラ３３により画素群として取得された光学画像は、すべて画素データ群に変換され、夫々第１メモリ３５に記憶される。
【０００７】
例えば、図７に示すように、第１カメラ３２により取得された画素群によって構成される第１取得画素群５０は、第１の画素ａ０から第１６の画素ａＦまでの１６個の画素によって構成されており、これらの画素群から生成される第１画素データ群５２が、第１メモリ３５における第１画素データ群を記憶する領域に記憶される。
【０００８】
一方、第２カメラ３３により取得された第１の画素ｂ０から第１６の画素ｂＦまでの画素によって構成される第２取得画素群５１は、第２画素データ群５３として第１メモリ３５における第２画素データ群を記憶する領域に夫々記憶される。
【０００９】
つまり、実際の画像合成装置３１において、第１カメラ３２および第２カメラ３３が、夫々２５万画素を取得する場合、５０万画素分に相当する画素データ群が第１メモリ３５に記憶される。
【００１０】
合成画像データ生成手段３８によって合成画像データを生成する場合は、メモリ制御手段３７が、第２メモリ３６に記憶された配列データ５４に示される画素の順序に従って、合成データの生成に必要となる画素を第１メモリ３５から読み出すようになっている。
【００１１】
したがって、第１カメラ３２および第２カメラ３３が取得した画素群を構成するすべての画素から画素データが生成され、生成された画素データが第１画素データ群５２および第２画素データ群５３として第１メモリ３５に記憶され、メモリ制御手段３７が第１メモリ３５に記憶された画素データ群の中から合成画像データを構成する画素を読み出すようになっている。
【特許文献１】特開２００４−０４８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、このような従来の画像合成装置３１においては、複数のカメラが夫々生成した複数の画素データ群を記憶するための大容量のメモリを備える必要があった。
【００１３】
本発明は、従来の問題を解決するためになされたもので、画素データ群を記憶するための大容量のメモリを必要とせずに合成画像を生成することができる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の画像合成装置は、光学画像を複数の画素として取得して画素データを生成する複数のカメラと、前記複数のカメラが出力する画素データの順序を表わす配列データを記憶する配列データ記憶手段と、前記配列データ記憶手段に記憶された前記配列データに基いて前記画素データを出力するよう前記複数のカメラを制御するカメラ制御手段とを備えるようにした構成を有している。
【００１５】
この構成により、本発明の画像合成装置は、画素データを記憶するための大容量のメモリを必要とせずに合成画像を生成することができる。
【００１６】
さらに、本発明の画像合成装置は、前記複数のカメラによって出力された画素データが表わす画素によって構成される合成画像の輝度を表わす輝度情報を取得する輝度情報取得手段を備え、前記カメラ制御手段が、取得した画素の輝度を前記輝度情報に基いて補正するよう前記複数のカメラを制御するようにした構成を有している。
【００１７】
この構成により、本発明の画像合成装置は、複数のカメラによって夫々取得された光学画像の輝度が異なる場合においても、画素ごとの輝度のばらつきがない合成画像を生成することができる。
【００１８】
また、本発明の画像合成装置は、前記配列データ記憶手段が、さらに１以上の配列データを記憶するようにした構成を有している。
【００１９】
この構成により、本発明の画像合成装置は、画素データから生成される合成画像を変更することができる。
【００２０】
また、本発明の画像合成装置は、前記複数の配列データの中から使用する配列データを選択する配列データ選択手段と、前記画素データに移動物体を表わす画像を構成する画素データが含まれているか否かを判断する移動物体判断手段とを備え、前記配列データ選択手段が、前記移動物体判断手段によって判断された結果に基いて前記配列データを選択するようにした構成を有している。
【００２１】
この構成により、本発明の画像合成装置は、カメラが生成した画素データに移動物体を表わす画像を構成する画素データが存在する場合、移動物体と移動物体の周辺とを表わす画像が拡大された合成画像を生成することができる。
【００２２】
さらに、本発明の画像合成装置は、前記配列データは、前記光学画像における画素データの画素位置の配列によって構成され、前記画素位置は、直前に順序付けられた画素データの画素位置に対して相対的な位置を示す相対アドレスで表わされる構成を有している。
【００２３】
この構成により、本発明の画像合成装置は、配列データ記憶手段が配列データを記憶する場合、画素データの光学画像に対する絶対位置を示す絶対アドレスで記憶する場合に比べて少ない情報量で配列データを記憶することができる。
【００２４】
さらに、本発明の画像合成装置は、前記配列データは、画素データの光学画像に対する絶対位置を示す絶対アドレスと、前記相対アドレスとのいずれかによって表わされるようにした構成を有している。
【００２５】
この構成により、本発明の画像合成装置は、配列データ記憶手段が配列データを記憶する場合、絶対アドレスで記憶する場合に比べて少ない情報量で配列データを記憶することができる。
【００２６】
さらに、本発明の画像合成装置は、前記カメラ制御手段は、外部の通信機器から配列データを取得するようにした構成を有している。
【００２７】
この構成により、本発明の画像合成装置は、カメラ制御手段が、外部から取得した配列データに基いて複数のカメラを制御することができる。
【００２８】
さらに、本発明の画像合成装置は、前記配列データ記憶手段と、前記カメラ制御手段と、前記画素データ取得手段と、前記画素データ出力手段とが、メモリ混載ＡＳＩＣ（Application Specific Integrated Circuit）によって構成されるようになっている。
【００２９】
この構成により、本発明の画像合成装置は、配列データ記憶手段およびカメラ制御手段が１つのメモリ混載ＡＳＩＣによって構成されるので、低コストで構築されることができる。
【００３０】
さらに、本発明の画像合成装置は、駐車アシストシステムを構成してもよい。
【００３１】
さらに、本発明の画像合成装置は、監視カメラシステムを構成してもよい。
【発明の効果】
【００３２】
本発明は、配列データに基いてカメラ制御手段が複数のカメラから画素データを読み出した時点で合成画像を得ることにより、画素データ群を記憶するための大容量のメモリを必要とせずに合成画像を生成するという効果を有する画像合成装置を提供することができるものである。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態の画像合成装置について、図１乃至図４を用いて説明する。
【００３４】
画像合成装置は、例えば駐車アシストシステムに適用され、複数のカメラからの任意の画素群を入力として、これらの画素群から必要な画素のみを取捨選択して１つの画像に合成し、ディスプレイに出力する装置である。図２は画像の合成例で、駐車アシストシステムを用いて自車７１を道路端に駐車している他車７２の前方に駐車させる場合、自車７１の後方画像である第１光学画像６１および第２光学画像６２を２台のカメラで取得し、自車の真上に視点がある上方視点としての合成画像６３を出力する様子を示したものである。これにより、運転者が後退しながら自車７１を駐車させる場合、自車７１と他車７２および自車７１と歩道７４との位置関係の把握が容易になる。
【００３５】
画像合成装置１は、図１に示すように、光学画像を複数の画素として取得して画素データを生成する第１カメラ２および第２カメラ３と、第１カメラ２および第２カメラ３に対して同期信号に同期して画素データを出力するよう制御するカメラ制御手段４と、第１カメラ２および第２カメラ３が夫々生成した画素データを取得する画素データ取得手段５とを備えている。
【００３６】
ここで、第１カメラ２および第２カメラ３は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)センサー等により構成されている。
【００３７】
例えば、第１カメラ２は、取得した光学画像を、第１の画素ａ０から第１６の画素ａＦまでの１６個の画素により構成される第１取得画素群２１として取得するようになっている。また、第２カメラ３も同様に、取得した光学画像を、第１の画素ｂ０から第２の画素ｂＦまでの１６個の画素により構成される第２取得画素群２２として取得するようになっている。
【００３８】
画像合成装置１は、さらに、配列データを記憶する配列データ記憶手段７と、画像合成装置１に接続された画像再生手段１０が合成画像を再生するよう、画素データ取得手段５の取得した画素データを画像再生手段１０に順次出力する画素データ出力手段６とを備えている。ここで、配列データ記憶手段７は、メモリ等によって構成されている。また、画像再生手段１０は、ディスプレイ等によって構成されている。
【００３９】
配列データとは、図３に示すように、画素データ出力手段６によって出力される合成画像２６を構成する画素データの順序を、カメラにより取得された画素と対応させて表わしたデータのことを言い、カメラ制御手段４が、第１カメラ２および第２カメラ３を制御して画素データを出力させる順序を表わすようになっている。
【００４０】
例えば、図３に示すメモリ内の配列データ２３は、合成画像２６の第１画素データには第２取得画素群２２の第１５画素ｂＥが、合成画像２６の第２画素データには第２取得画素群２２の第１３画素ｂＣが、合成画像２６の第３画素データには第１取得画素群２１の第１６画素ａＦが夫々対応していることを示している。
【００４１】
カメラ制御手段４は、配列データによって示された画素が、配列データに示された順序によって順次読み出されるよう、第１カメラ２および第２カメラ３に指定情報を送出して制御するようになっている。つまり、カメラ制御手段は、合成画像を構成するために必要な画素データのみを第１カメラ２および第２カメラ３に出力させるようになっている。
【００４２】
ディスプレイは、例えばカメラ制御手段４が配列データ２３に従った場合、画像左側には図２における第２光学画像６２が１８０度回転されて縮小されたような画像が、画面右側には図２における第１光学画像６１が１８０度回転されて縮小されたような画像が表わされた合成画像６３を表示するようになっている。
【００４３】
配列データは、光学画像における画素データの画素位置の配列によって構成され、画素位置は、直前に順序付けられた画素データの画素位置に対して相対的な位置を示す相対アドレスによって表わされることが好ましい。
【００４４】
例えば、カメラによって生成される画素数およびディスプレイによって表示される画像の画素数がいずれも１６画素になっているとする。これらの画素の位置を絶対位置によってメモリに記憶する場合、１画素あたり４ビットが必要となる。したがって、１６画素で構成される画像をメモリに記憶する場合、メモリには６４ビットが必要となる。これに対し、基準となる画素の位置のみを絶対位置で記憶し、基準となる画素以外の画素の位置を相対位置によってメモリに記憶する場合、第１画素のａ１と第９画素のｂ１に夫々４ビットを割り当て、第１画素および第９画素以外の画素には、時系列的に隣り合う画素位置間の差分の最大が３であることから２ビットを割り当てればよく、１つの画像で合計３６ビットあればよい。
【００４５】
画素データ取得手段５は、第１カメラ２および第２カメラ３からアナログの画素データを取得するためのアナログクランプ回路と、アナログデジタル変換回路と、カメラ同期信号生成回路等によって構成されている。ここで、第１カメラ２および第２カメラ３がデジタルの画素データを生成する場合には、画素データ取得手段５は、シリアルパラレル変換回路と伸張回路等によって構成されてもよい。
【００４６】
配列データ記憶手段７と、カメラ制御手段４と、画素データ出力手段６は、ＣＰＵ(Central Processing Unit)９による制御で動作するようになっている。
【００４７】
画素データ出力手段６は、第１カメラ２および第２カメラ３によって生成された画素データから合成画像が生成されるよう、画素データ取得手段５が取得した画素データを、ディスプレイへの同期信号とタイミングを合わせながらディスプレイに順次出力するようになっている。
【００４８】
なお、画像合成装置１は、生成された合成画像の輝度を表わす輝度情報を画素データ出力手段から取得する不図示の輝度情報取得手段をさらに備えている。カメラ制御手段４は、輝度情報取得手段により取得された輝度情報によって表わされる輝度が、予め定められた範囲を超えているならば、取得された光学画像の画素の輝度が予め定められた範囲内に補正されるよう第１カメラ２および第２カメラ３を制御するようになっている。
【００４９】
また、画像合成装置１は、さらに不図示の配列データ選択手段と、不図示の移動物体判断手段とを備えている。この場合、配列データ選択手段は、配列データ記憶手段７に記憶された複数の配列データの中から、予め決められた配列データを選択するよう構成する。また、移動物体判断手段は、第１カメラ２および第２カメラ３が生成した画素データに基き、合成画像に歩行者などの移動物体を表わす画像が含まれているか否かを判断するようになっている。移動物体判断手段は、合成画像に移動物体を表わす画像が含まれていると判断した場合、さらに合成画像のどの部分に移動物体を表わす画像が含まれているかを判断するようになっている。また、配列データ選択手段は、移動物体判断手段が合成画像のどの部分に移動物体を表わす画像が含まれているかを判断した結果に基き、移動物体と移動物体の周辺とを表わす画像が拡大された合成画像がディスプレイによって再生されるよう、配列データを選択するようになっている。
【００５０】
例えば、合成画像を４分割した４つの領域を夫々拡大表示できるような４つの配列データを配列データ記憶手段７に予め記憶させておき、配列データ選択手段が、移動物体を表わす画像の含まれる領域の画面を拡大表示するための配列データを選択する。したがって、画像合成装置１は、カメラ制御手段４が配列データ選択手段の選択した配列データに従って第１カメラ２および第２カメラ３を制御することによって、移動物体を表わす画像が含まれる領域が拡大された合成画像を生成するようになっている。
【００５１】
また、本実施の形態では、画像合成装置１の外部に接続されたＣＰＵ９によって、配列データが配列データ記憶手段７に記憶されるようになっているが、画像合成装置１がＣＰＵ９と、外部の通信機器を接続するためのインターフェースとを備えるようにしてもよい。この場合、携帯電話等の通信機器１１をインターフェースに接続し、必要に応じて配列データの書き換えを、例えばカーディーラー等の遠方から行うことができるようになり、自車をカーディーラーに持ち込む必要がなくなる。
【００５２】
また、画素データ取得手段５と、配列データ記憶手段７と、カメラ制御手段４と、画素データ出力手段６とが、全体としてメモリ混載ＡＳＩＣによって構成されるようになっていてもよい。この場合、メモリ混載ＡＳＩＣに搭載されるメモリは、メモリ内の配列データ２３を記憶するようになっていればよく、第１カメラおよび第２カメラによって生成された画素データをすべて記憶させる従来の画像合成装置のような大容量のメモリを搭載する必要がない。
【００５３】
以上のように構成された画像合成装置について、図４を用いてその動作を説明する。
【００５４】
まず、第１カメラ２および第２カメラ３が、第１光学画像および第２光学画像を夫々第１取得画素群および第２取得画素群として取得する（ステップＳ１）。
【００５５】
次に、カメラ制御手段４が、配列データ記憶手段７に予め記憶された配列データを取得する（ステップＳ２）。
【００５６】
次いで、カメラ制御手段が、第１カメラ２および第２カメラ３を制御して、画素データを夫々生成させる（ステップＳ３）。
【００５７】
次に、画素データ取得手段５が、生成された画素データを取得する（ステップＳ４）。
【００５８】
次に、画素データ出力手段６が、画素データ取得手段５から画素データを取得し、ディスプレイに順次出力する（ステップＳ５）。
【００５９】
なお、本実施の形態は、第１カメラ２および第２カメラ３の２台のカメラによって構成される場合について説明したが、カメラを２台設置する場合に限定されず、３台以上のカメラによって取得された光学画像に基いて合成画像を生成するようにしてもよい。また、１台のカメラによって取得された画素群の画素の位置を夫々入れ替えて合成画像を生成するようにしてもよい。
【００６０】
また、第１カメラ２および第２カメラ３が、光学画像を１６個の画素として取得する場合について説明したが、１６個の画素として取得する場合に限られるものではない。
【００６１】
また、本実施の形態では、ディスプレイに表示される合成画像が、自車の真上に視点がある上方視点より撮影された画像として表示されるようにしているが、合成画像が上方視点より撮影された画像として表示される場合に限られるものではなく、配列データ記憶手段７に予め記憶された配列データを変更することによって、自車と他車、あるいは自車と歩道との位置関係がわかりやすい位置の視点から撮影された画像である合成画像として表示されるようにしてもよい。
【００６２】
また、本実施の形態では、画像合成装置１が車載される場合について説明したが、車載される場合に限られるものではなく、配列データを変更することによってあらゆる形の画像合成に対応することができる。
【００６３】
このような本実施の形態の画像合成装置１によれば、配列データに基いてカメラ制御手段が複数のカメラから画素データを読み出した時点で合成画像を得ることにより、画素データ群を記憶するための大容量のメモリを必要とせずに合成画像を生成することができる。
【産業上の利用可能性】
【００６４】
以上のように、本発明にかかる画像合成装置は、画素データ群を記憶するための大容量のメモリを必要とせずに合成画像を生成することができるという効果を有し、複数のカメラが取得した画素から画像を合成する画像合成装置として有用である。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態の画像合成装置の構成を示すブロック図
【図２】本発明の一実施の形態の画像合成装置による画像の合成の一例を示す説明図
【図３】本発明の一実施の形態の画像合成装置の画素データのデータ配列を例示する説明図
【図４】本発明の一実施の形態の画像合成装置の動作説明のためのフローチャート
【図５】従来の画像合成装置の構成を示すブロック図
【図６】従来の画像合成装置による画像の合成の一例を示す説明図
【図７】従来の画像合成装置の画素データのデータ配列を例示する説明図
【符号の説明】
【００６６】
１  画像合成装置
２  第１カメラ
３  第２カメラ
４  カメラ制御手段
５  画素データ取得手段
６  画素データ出力手段
７  メモリ（配列データ記憶手段）
９  ＣＰＵ
１０  ディスプレイ（画像再生手段）
１１  通信機器
２１  第１取得画素群
２２  第２取得画素群
２３  メモリ内の配列データ
２４  第１画素データ群
２５  第２画素データ群
２６  合成画像
３１  画像合成装置
３２  第１カメラ
３３  第２カメラ
３４  画素データ群取得手段
３５  第１メモリ
３６  第２メモリ
３７  メモリ制御手段
３８  合成画像データ生成手段
３９  ＣＰＵ
４０  ディスプレイ（画像再生手段）
５０  第１取得画素群
５１  第２取得画素群
５２  第１メモリ内の第１画素データ群
５３  第１メモリ内の第２画素データ群
５４  第２メモリ内の配列データ
５５  合成画像データ
６１  第１光学画像
６２  第２光学画像
６３  合成画像
７１  自車
７２  他車
７３  車道
７４  歩道
７５  センターライン
８１  第１光学画像
８２  第２光学画像
８３  合成画像
９１  自車
９２  他車
９３  車道
９４  歩道
９５  センターライン
【図１】
2006140908.tif 000003
【図２】
2006140908.tif 000004
【図３】
2006140908.tif 000005
【図４】
2006140908.tif 000006
【図５】
2006140908.tif 000007
【図６】
2006140908.tif 000008
【図７】
2006140908.tif 000009