(57)【要約】【課題】画像の合成を容易に行えるようにする。【解決手段】記憶部である合成メモリ３２ａ（３２ｂ）には、合成に用いる複数の画像の画像データを記憶する画像データ記憶領域ＭＡ１，ＭＡ２を、画像データ記憶領域のデータ読出方向に隣接して複数設ける。画像書込部３１は、複数の画像が互いに重複しないように、複数の画像の画像データを画像毎に画像データ記憶領域ＭＡ１，ＭＡ２に振り分けて書き込む。また、画像データ記憶領域ＭＡ２に対してデータ読出方向に隣接して合成指示情報を記憶する情報記憶領域を設けて、合成制御部３３で複数の画像の混合比を示す合成指示情報を書き込む。隣接した記憶領域ＭＡ１，ＭＡ２，ＭＡ３から連続して画像データや合成指示情報を読み出すだけで、画像合成に用いる画像データや合成指示情報が得られるようになり、画像の合成を容易に行うことが可能となる。【選択図】        図４
2016076148.tif 000002
【特許請求の範囲】
【請求項１】
合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、
前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部と
を備える画像処理装置。
【請求項２】
前記記憶部は、前記画像データ記憶領域内の合成位置に前記画像データを書き込んだときに他の画像の画像データと重複することがない最小の数の前記画像データ記憶領域を有する
請求項１記載の画像処理装置。
【請求項３】
前記画像データ記憶領域は、合成画像に対応した領域サイズである
請求項１記載の画像処理装置。
【請求項４】
前記記憶部に前記複数の画像の混合比を示す合成指示情報を書き込む合成制御部をさらに備え、
前記記憶部は、前記画像データ記憶領域に対してデータ読出方向に隣接して前記合成指示情報を記憶する情報記憶領域をさらに有し、
前記合成制御部は、前記合成指示情報を前記合成画像と対応する前記情報記憶領域内の位置に書き込む
請求項１記載の画像処理装置。
【請求項５】
前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する画像合成部をさらに備える
請求項１記載の画像処理装置。
【請求項６】
前記データ読出方向はライン方向であり、
前記画像合成部は、前記記憶部の画像データ記憶領域から前記ライン方向に連続して画像データをライン毎に読み出して、前記読み出した画像データを前記画像データ記憶領域毎に設けたラインメモリに書き込み、前記ラインメモリに書き込まれている画像データを用いて前記合成処理を行う
請求項５記載の画像処理装置。
【請求項７】
前記記憶部は、前記画像データ記憶領域に対してデータ読出方向に隣接して前記合成指示情報を記憶する情報記憶領域をさらに有し、
前記画像合成部は、前記記憶部の画像データ記憶領域と情報記憶領域から前記データ読出方向に連続して画像データと合成指示情報を読み出して、読み出した前記画像データと前記合成指示情報を用いて合成処理を行う
請求項５記載の画像処理装置。
【請求項８】
前記データ読出方向はライン方向であり、
前記画像合成部は、前記記憶部の画像データ記憶領域と情報記憶領域から前記ライン方向に連続して画像データと合成指示情報をライン毎に読み出して、前記読み出した画像データと合成指示情報を前記画像データ記憶領域と前記情報記憶領域毎に設けたラインメモリに書き込み、前記ラインメモリに書き込まれている画像データと合成指示情報を用いて前記合成処理を行う
請求項７記載の画像処理装置。
【請求項９】
前記複数の画像は、異なる複数の撮像方向で周辺領域を撮像した画像であり、前記画像は他の画像と周辺領域が重複する部分を有しており、
前記画像合成部は、前記重複する部分に対して前記画像データと前記合成指示情報を用いて合成処理を行う
請求項１記載の画像処理装置。
【請求項１０】
前記周辺領域は車両の周辺領域である
請求項９記載の画像処理装置。
【請求項１１】
前記画像書込部は、前方向を撮像した画像と後方向の周辺領域を撮像した画像の画像データを前記記憶部における第１の画像データ記憶領域に書き込み、右方向を撮像した画像と左方向の周辺領域を撮像した画像の画像データを前記記憶部における第２の画像データ記憶領域に書き込む
請求項９記載の画像処理装置。
【請求項１２】
合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部に対して、画像書込部で、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む工程と、
画像合成部で、前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する工程と
を含む画像処理方法。
【請求項１３】
複数の画像の合成をコンピュータで実行させるプログラムであって、
合成に用いる前記複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部に対して、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む手順と、
前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１４】
互いに異なる撮像方向で周辺領域を撮像して、撮像する周辺領域が隣接する撮像方向の周辺領域と重複部分を有する複数の撮像部と、
前記複数の撮像部で生成された合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、
前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部と、
前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する画像合成部と
を備える撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置、画像処理方法、プログラムおよび撮像システムに関し、画像の合成を容易に行えるようにする。
【背景技術】
【０００２】
従来、画像処理では、複数の画像をフレーム毎に合成して、合成画像の動画像データを作成することが行われている。例えば特許文献１の発明では、表示画面に表示する画像の最終的な合成処理を、描画用の記憶領域において一括して行わずに画素データを出力する時点で行っている。例えば、表示用の記憶領域から表示装置へ画素データを出力する際に、表示領域の合成画像に、この合成画像に含まれない他の画像データを重ねて、最終的な合成画像が生成されている。このように、描画領域において合成画像を作成するときに、合成処理を一括して行わないようにすることでメモリアクセスを削減して、１フレームの処理時間で多くの画像データの合成が可能とされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１８２６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、描画用の記憶領域で画像を合成する場合、例えば合成する画像毎にバスアクセス部を設けて、主記憶部等に記憶されている合成する画像の画像データをバスアクセス部で読み出してバスアクセス部のメモリに一時記憶される。また、この記憶したる画像データを用いて画像の合成を行い、合成後の画像データが描画用の記憶領域に書き出される。さらに、バスアービタによってバスアクセス部の調停が行われて、主記憶部等に記憶されている画像データが対応するバスアクセス部に記憶させる。このような処理を行えば、合成画像を生成できる。しかし、合成する画像毎にバスアクセス部を設ける構成ではハードウェアのコストが高くなる。また、それぞれのバスアクセス部が独立したシーケンサにより処理されると、バスアクセス部のメモリに対するアクセスの粒度や連続性、レイテンシのばらつきが発生し、バスアクセスの効率が悪くなり、また、リアルタイム性も不安定になるおそれがある。
【０００５】
そこで、この技術では、画像の合成を容易に行える画像処理装置、画像処理方法、プログラムおよび撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、
前記画像の画像データが重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部と
を備える画像処理装置にある。
【０００７】
この技術においては、合成に用いる複数の画像、例えば異なる複数の撮像方向で車両の周辺領域を撮像した画像の画像データが記憶部の画像データ記憶領域に記憶される。複数の画像は他の画像と周辺領域が重複する部分を有している。画像データ記憶領域は、合成画像に対応した領域サイズとされており、画像データ記憶領域内の合成位置に画像データを記憶するとき他の画像の画像データと重複を生じない最小の数だけデータ読出方向に隣接して設けられる。画像書込部は、複数の画像の画像データを画像毎に画像データ記憶領域に振り分けて書き込む。例えば、画像書込部は、前方向を撮像した画像と後方向の周辺領域を撮像した画像の画像データを記憶部における第１の画像データ記憶領域に書き込み、右方向を撮像した画像と左方向の周辺領域を撮像した画像の画像データを記憶部における第２の画像データ記憶領域に書き込む。また、画像データ記憶領域に対してデータ読出方向に隣接して合成指示情報を記憶する情報記憶領域が設けられて、合成制御部は、複数の画像の混合比を示す合成指示情報を、合成画像と対応する情報記憶領域内の位置に書き込む。
【０００８】
画像合成部は、記憶部の隣接した画像データ記憶領域または画像データ記憶領域と情報記憶領域からデータ読出方向例えばライン方向に連続して画像データまたは画像データと合成指示情報を読み出して、読み出した画像データや合成指示情報をそれぞれ記憶領域毎に設けたラインメモリに書き込み、書き込まれた画像データと合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する。
【０００９】
この技術の第２の側面は、合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部に対して、画像書込部で、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む工程と、
画像合成部で、前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する工程と
を含む画像処理方法にある。
【００１０】
この技術の第３の側面は、複数の画像の合成をコンピュータで実行させるプログラムであって、
合成に用いる前記複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部に対して、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む手順と、
前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する手順と
を前記コンピュータで実行させるプログラムにある。
【００１１】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【００１２】
この技術の第４の側面は、
互いに異なる撮像方向で周辺領域を撮像して、撮像する周辺領域が隣接する撮像方向の周辺領域と重複部分を有する複数の撮像部と、
前記複数の撮像部で生成された合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、
前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部と、
前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する画像合成部と
を備える撮像システムにある。
【発明の効果】
【００１３】
この技術によれば、合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部が設けられる。このため、隣接した画像データ記憶領域から連続して画像データを読み出すだけで、画像合成に用いる画像データが得られるようになり、画像の合成を容易に行える。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１４】
【図１】撮像システムの構成を示す図である。
【図２】画像データ生成部の構成を例示した図である。
【図３】撮像部の配置を例示した図である。
【図４】画像処理部の構成を示す図である。
【図５】画像合成部の構成を示す図である。
【図６】撮像システムにおける画像処理部の動作を示すフローチャートである。
【図７】撮像システムの動作を示すタイミングチャートである。
【図８】合成画像と合成メモリに書き込まれる画像データと合成指示情報の関係を例示した図である。
【図９】合成メモリからのデータ読出と画像合成部の動作を例示した図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムの構成
２．撮像システムの動作
【００１６】
＜１．撮像システムの構成＞
図１は、画像処理装置を用いた撮像システムの構成を示している。撮像システム１０は、画像データ生成部２０と画像処理部３０と画像表示部４０を備えている。
【００１７】
撮像システム１０は、例えば自動車等の車両の周辺領域を撮像して、周辺全体の画像を表示する。この場合、画像データ生成部２０は、撮像方向が異なる複数の撮像部で得られた撮像画像の画像データから合成用画像データを生成する。画像処理部３０は、画像データ生成部２０で生成した合成用画像データを用いて画像合成を行い、周辺全体を示す合成画像の画像データを生成する。画像表示部４０は、画像処理部３０で生成された合成画像の画像データに基づき、車両の周辺全体を示す画像を表示する。
【００１８】
図２は、画像データ生成部２０の構成を例示している。画像データ生成部２０は、例えば４台の撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌと撮像画処理部２２を有している。
【００１９】
撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌは、撮像レンズや撮像素子を用いて構成されている。撮像レンズは被写体の光学像を撮像素子の撮像面に結像させる。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられている。撮像素子は、光電変換を行い被写体の光学像に応じた画像データを生成して撮像画処理部２２に出力する。なお、撮像部２１Ｆ〜２１Ｌには電子シャッタ制御部や利得制御部等が設けられてもよい。
【００２０】
図３は、撮像部の配置を例示している。撮像部２１Ｆは、車両ＢＤの前面に設けられて、前方向の周辺領域ＡＲＦを撮像した画像データＰＦＣを生成する。撮像部２１Ｂは、車両ＢＤの後面に設けられて、後方向の周辺領域ＡＲＢを撮像した画像データＰＢＣを生成する。撮像部２１Ｒは、車両ＢＤの右側面に設けられて、右方向の周辺領域ＡＲＲを撮像した画像データＰＲＣを生成する。撮像部２１Ｌは、車両ＢＤの左側面に設けられて、左方向の周辺領域ＡＲＬを撮像した画像データＰＬＣを生成する。撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌで撮像される周辺領域は、周辺全体を示す合成画像の画像データを生成できるように、隣接する撮像部と周辺領域の一部が重複するように設定されている。例えば、周辺領域ＡＲＦは周辺領域ＡＲＲおよび周辺領域ＡＲＬと一部の領域が重複し、周辺領域ＡＲＢは周辺領域ＡＲＲおよび周辺領域ＡＲＬと一部の領域が重複する。
【００２１】
撮像画処理部２２は、画像取込部２２１、撮像画メモリ２２２ａ，２２２ｂ、画像読出部２２３、データ生成処理部２２４を有している。
【００２２】
画像取込部２２１は、撮像部２１Ｆ〜２１Ｌから例えば等しいタイミングで撮像された周辺画像の画像データＰＦＣ〜ＰＬＣを取得する。撮像画メモリ２２２ａ，２２２ｂは、例えば１フレーム分の画像データＰＦＣ〜ＰＬＣを記録する記録容量をそれぞれ有しており、画像取込部２２１は、取得した画像データＰＦＣ〜ＰＬＣを撮像画メモリ２２２ａ，２２２ｂに対してフレーム毎に交互に書き込む。
【００２３】
画像読出部２２３は、画像データＰＦＣ〜ＰＬＣの書き込みが完了した撮像画メモリから画像データを画像毎に読み出してデータ生成処理部２２４に出力する。画像読出部２２３は、例えば撮像画メモリ２２２ａに書き込まれた画像データＰＦＣ〜ＰＬＣを次のフレーム期間に画像毎に読み出してデータ生成処理部２２４に出力する。なお、撮像画メモリ２２２ａから画像データＰＦＣ〜ＰＬＣが読み出されるフレーム期間では、次のフレームの画像データＰＦＣ〜ＰＬＣが撮像画メモリ２２２ｂに書き込まれる。
【００２４】
データ生成処理部２２４は、撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌで撮像された周辺画像を用いて車両ＢＤの周辺全体を示す合成画像を生成する際に、周辺画像の連結部分が目立たなくなるように画像データＰＦＣ〜ＰＬＣの補正を行う。例えば、データ生成処理部２２４は、撮像部２１Ｆ〜２１Ｌの撮像光学系によって生じる幾何学的歪みの補正や周辺画像の連結部分を同等の輝度や色等とする補正等を行う。また、データ生成処理部２２４は、視点変換処理を行い、撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌで撮像された周辺画像の画像データＰＦＣ〜ＰＬＣを、車両ＢＤの上方の仮想視点から見た画像の画像データにそれぞれ変換する。また、データ生成処理部２２４は、周辺画像を良好な画像とするため、画像データＰＦＣ〜ＰＬＣに対してノイズ除去やガンマ補正，輪郭強調等の処理を行う。データ生成処理部２２４は、上述のような処理を行って得られた画像データを、合成用の画像データＰＦ〜ＰＬとして画像処理部３０に出力する。
【００２５】
図４は画像処理部の構成を示している。画像処理部３０は、画像書込部３１、合成メモリ３２ａ，３２ｂ、合成制御部３３、画像合成部３４を有している。
【００２６】
画像書込部３１は、画像データ生成部２０の撮像画処理部２２から出力された画像データＰＦ〜ＰＬを、合成メモリ３２ａ，３２ｂに対してフレーム毎に交互に書き込む。例えば、画像書込部３１は、撮像画処理部２２から出力された画像データＰＦ〜ＰＬを合成メモリ３２ａに書き込み、次のフレームの画像データＰＦ〜ＰＬを合成メモリ３２ｂに書き込む。このように、画像書込部３１は、画像データＰＦ〜ＰＬを合成メモリ３２ａ，３２ｂに対してフレーム毎に交互に書き込む。したがって、一方の合成メモリに書き込まれている画像データＰＦ〜ＰＬを用いて合成処理が行われる場合でも、次のフレームの画像データＰＦ〜ＰＬを他方の合成メモリに書き込むことができる。
【００２７】
合成メモリ３２ａ，３２ｂは、合成画像に対応した画像データ記憶領域を、データ読出方向に隣接して複数設けることができるメモリである。合成メモリ３２ａ，３２ｂには、合成画像の領域サイズ（画素数）に対応した画像データ記憶領域が、画像データの読み出し方向に隣接して設けられる。また、画像データ記憶領域は、記憶領域内の合成位置に撮像部２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌで撮像された周辺画像を配置したとき、画像の重なりが生じない数とする。また、合成メモリ３２ａ，３２ｂに複数の画像の混合比を示す合成指示情報を記憶する構成とする場合、合成指示情報を記憶する指示情報記憶領域が画像データ記憶領域に対して画像データの読み出し方向に隣接して設けられる。
【００２８】
画像書込部３１は、画像データＰＦ〜ＰＬを合成メモリ３２ａ（３２ｂ）に書き込む際に、画像データ記憶領域内で合成位置に配置した周辺画像の重複が生じないように画像データＰＦ〜ＰＬの振り分けを行う。例えば、図３に示すように撮像部２１Ｆ〜２１Ｌを配置した場合、撮像部２１Ｆで撮像される周辺領域ＡＲＦと撮像部２１Ｂで撮像される周辺領域ＡＲＢは重複する部分がない。また、撮像部２１Ｒで撮像される周辺領域ＡＲＲと撮像部２１Ｌで撮像される周辺領域ＡＲＬは重複する部分がない。さらに、周辺領域ＡＲＦ（ＡＲＢ）に対して、周辺領域ＡＲＲと周辺領域ＡＲＬは一部が重複する。したがって、画像書込部３１は、画像データＰＦと画像データＰＢを第１の画像データ記憶領域ＭＡ１に振り分ける。また、画像書込部３１は、画像データＰＲと画像データＰＬを第１の画像データ記憶領域ＭＡ１に対してライン方向に隣接した第２の画像データ記憶領域ＭＡ２に振り分ける。さらに、画像書込部３１は、周辺画像が合成位置に配置されるように、第１の画像データ記憶領域ＭＡ１に対して画像データＰＦ，ＰＢ、第２の画像データ記憶領域ＭＡ２に対して画像データＰＲ，ＰＬを書き込む。すなわち、画像書込部３１は、ライン方向に第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２から連続して画像データを読み出すことで、合成画像の１ラインを生成するために用いる画像データを取得できるようにする。
【００２９】
さらに、画像書込部３１は、画像データＰＦ〜ＰＬに限らず、他の画像データを振り分けるようにしてもよい。例えば図示せずも画像データ生成部を設けて、説明表示，画像枠，操作画面または他の車両の情報等を示す画像データの生成を行い、画像書込部３１は画像データ生成部で生成された画像データの振り分けを行うようにしてもよい。また、画像書込部３１は、動作モード等に応じて振り分ける画像データの選択等を行うようにしてもよい。例えば後述するように画像データＰＦ〜ＰＬの振り分けを行い、車両の前後左右の周辺画像を表示する場合に限らず、画像データＰＦのみを振り分けるようにして、車両の前方の周辺画像のみが例えば表示画面の右半分の領域に表示されるようにしてもよい。また、画像データＰＢ，ＰＲ，ＰＬを振り分けるようにして、車両の後方と両側面の周辺画像を表示すれば、車両の後進時等において有用な画像を表示できる。
【００３０】
合成制御部３３は、複数の画像の混合比を示す合成指示情報を生成する。合成制御部３３は、合成メモリ３２ａ，３２ｂに合成指示情報を書き込む場合、生成した合成指示情報を情報記憶領域ＭＡ３に書き込む。すなわち、合成制御部３３は、ライン方向に第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２および情報記憶領域ＭＡ３から連続してデータを読み出すことで、合成画像の１ラインを生成するために用いる画像データと合成指示情報を取得できるようにする。なお、合成メモリ３２ａ，３２ｂに指示情報記憶領域が設けられない場合、合成制御部３３は、画像合成部３４で行われる合成処理に対応した合成指示情報を画像合成部３４に出力する。例えば合成処理が行われるタイミングに合わせて、この合成処理が行われる画素に対応した混合比を示す合成指示情報を画像合成部３４に出力してもよい。さらに、合成制御部３３は、合成指示情報の生成を動作モード等に応じてリアルタイムで行うようにしてもよい。例えば、車両の後方と両側面の周辺画像を表示する動作モードから、車両の前後左右の周辺画像を表示する動作モードに切り替えられた場合、合成制御部３３は、動作モード等に応じた合成指示情報をリアルタイムに生成する。このようにすれば、動作モードに応じた表示画像となるように各周辺画像の混合比を制御できる。
【００３１】
画像合成部３４は、合成メモリ３２ａ，３２ｂに書き込まれた画像データおよび合成制御部３３で生成された合成指示情報を用いて合成処理を行い、合成画像を生成する。図５は画像合成部３４の構成を例示している。なお、図５に示す構成は、合成メモリに情報記憶領域ＭＡ３が設けられて合成指示情報が書き込まれている場合を示している。
【００３２】
画像合成部３４は、振分処理部３４０、ラインメモリ３４１〜３４３、減算部３４５、乗算部３４６、加算部３４７を有している。
【００３３】
振分処理部３４０は、合成メモリ３２ａ（３２ｂ）の第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２および情報記憶領域ＭＡ３から連続してライン方向にデータの読み出しを行う。振分処理部３４０は、読み出したデータを記憶領域毎にラインメモリ３４１〜３４３に振り分ける。例えば振分処理部３４０は、第１の画像データ記憶領域ＭＡ１から読み出した１ライン分の画像データをラインメモリ３４１に書き込む。また、振分処理部３４０は、第２の画像データ記憶領域ＭＡ２から読み出した１ライン分の画像データをラインメモリ３４２、情報記憶領域ＭＡ３から読み出した１ライン分の合成指示情報をラインメモリ３４３にそれぞれ書き込む。
【００３４】
ラインメモリ３４１に書き込まれた画像データは減算部３４５、ラインメモリ３４２に書き込まれた画像データは減算部３４５と加算部３４７、ラインメモリ３４３に書き込まれた合成指示情報は乗算部３４６に、それぞれ同期して画素順に出力される。
【００３５】
減算部３４５は、ラインメモリ３４１から読み出された画像データに対してラインメモリ３４２から読み出された画像データを減算する処理を行い、減算結果を乗算部３４６に出力するする。
【００３６】
乗算部３４６は、減算部３４５から出力された減算結果にラインメモリ３４３から読み出された合成指示情報ＢＲで示された混合比（例えば「０≦ＢＲ≦１」）を乗算する処理を行い、乗算結果を加算部３４７に出力する。
【００３７】
加算部３４７は、乗算部３４６から出力された乗算結果にラインメモリ３４２から読み出された画像データを加算する処理を行い、合成画像の画像データを生成する。
【００３８】
なお、画像合成部３４の構成は一例であって、ラインメモリ３４１，３４２から読み出したデータを合成指示情報に基づき合成して画像データを生成する構成であれば、他の構成であってもよい。また、合成指示情報を合成メモリに記憶しない構成である場合、合成制御部３３は生成する合成画像の画素位置に応じた合成指示情報を順次演算部３４５と乗算部３４６に供給する。このようにすれば、ラインメモリ３４１とラインメモリ３４３から読み出された画像データと合成制御部３３から供給された合成指示情報に基づき、合成画像の画像データを順次画素毎に生成できる。
【００３９】
＜２．撮像システムの動作＞
次に、撮像システムの動作について説明する。図６は撮像システムにおける画像処理部の動作を示すフローチャートである。
【００４０】
ステップＳＴ１で画像処理部は記憶領域の設定を行う。画像処理部は、合成メモリに合成画像に対応した画像データ記憶領域を設定する。ここで、画像処理部は、画像データ記憶領域における合成位置に周辺画像の画像データを書き込んだときに他の周辺画像の画像データと重複することがない最小の数の画像データ記録領域を、データ読み出し方向に隣接して設定する。また、画像処理部は合成指示情報の書き込み処理を行う。画像処理部は、合成画像に対応した情報記憶領域を、画像データ記憶領域に隣接してデータ読み出し方向に設定する。また、画像処理部は、合成メモリに合成指示情報を記憶する場合、合成画像に対応した情報記憶領域を、画像データ記憶領域に対してデータ読み出し方向に隣接して設定する。画像処理部は、このように記憶領域を設定してステップＳＴ２に進む。
【００４１】
ステップＳＴ２で画像処理部は合成指示情報の書込処理を行う。画像処理部は、画像の混合比を示す合成指示情報を情報記憶領域に書き込みステップＳＴ３に進む。
【００４２】
ステップＳＴ３で画像処理部は周辺画像の書込処理を行う。画像処理部は、合成に用いる周辺画像の１フレームの画像データを画像データ生成部から取得する。また、画像処理部は、合成位置に周辺画像の画像データを書き込んだときに他の周辺画像の画像データと重複しないように、周辺画像単位で画像データを画像データ記録領域に振り分けて合成位置に書き込みステップＳＴ４に進む。
【００４３】
ステップＳＴ４で画像処理部はデータ読出ラインを設定する。画像処理部は、画像データの読み出しを行うラインを最初のラインに設定してステップＳＴ５に進む。
【００４４】
ステップＳＴ５で画像処理部はデータ読出ラインのデータ読出を行う。画像処理部はデータ読出ラインの位置で、隣接する記憶領域から連続してデータを読み出す。すなわち、画像処理部は、隣接している複数の画像データ記憶領域と画像データ記憶領域に隣接する情報記憶領域から、データ読出ラインの位置の画像データと合成指示情報を連続して読み出してステップＳＴ６に進む。
【００４５】
ステップＳＴ６で画像処理部は画像合成処理を行う。画像処理部３０は、読み出した１ライン分の周辺画像の画像データと周辺画像の混合比を示す合成指示情報を用いて画像合成を行い、１ライン分の合成画像の画像データを生成してステップＳＴ７に進む。
【００４６】
ステップＳＴ７で画像処理部は全ラインの合成処理が完了したか判別する。画像処理部３０は、画像合成処理が行われていないラインがある場合にステップＳＴ８に進み、全ラインの画像合成処理が完了した場合にはステップＳＴ９に進む。
【００４７】
ステップＳＴ８で画像処理部はデータ読出ラインを更新する。画像処理部は、画像データの読み出しを行うラインを次のラインに設定してステップＳＴ５に戻る。
【００４８】
ステップＳＴ９で画像処理部は画像合成の終了であるか判別する。画像処理部は合成画像の生成を継続すると判別した場合にステップＳＴ３に戻り、合成画像の生成を継続するする必要がないと判別した場合は処理を終了する。例えば車両の車庫入れ時には周辺領域全体を示す合成画像を画像表示部に表示して、車庫入れが完了した場合は合成画像の生成を継続するする必要がないと判別して画像合成を終了する。
【００４９】
なお、画像処理部の動作は、図６に示す順序に限られない。例えば、合成画像の動画を表示しながら周辺画像の混合比を変更可能とする場合、ステップＳＴ９からステップＳＴ２に戻り、合成指示情報を更新できるようにしてもよい。また、合成画像の生成に用いる周辺画像の数や撮像範囲を変更可能とする場合、ステップＳＴ９からステップＳＴ１に戻り、記憶領域を周辺画像の数や撮像範囲に応じて設定できるようにしてもよい。また、合成メモリに合成指示情報を記憶しない構成とする場合は、ステップＳＴ２の処理を行う必要がなく、ステップＳＴ６の画像合成処理で合成指示情報を取得すればよい。さらに、画像処理部では、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理画行われる場合、例えば全ラインの合成処理の完了と判定される前に次のフレームの周辺画像の書き込み処理を開始するようにしてもよい。
【００５０】
図７は、撮像システムの動作を示すタイミングチャートであり、画像処理部でパイプライン処理を行う場合を例示している。なお、図７の（Ａ）は同期信号を示している。図７の（Ｂ）は、撮像部２１Ｆの動作を示しており、図７の（Ｃ）〜（Ｅ）は、撮像部２１Ｂ，２１Ｒ，２１Ｌの動作を示している。また、図７の（Ｆ），（Ｇ），（Ｈ）は撮像画処理部における動作、図７の（Ｉ），（Ｊ）は画像処理部における動作、図７の（Ｋ）は、画像表示部の動作をそれぞれ示している。
【００５１】
フレーム１において、撮像部２１Ｆは画像データＰＦＣ-1を生成する（図７の（Ｂ）参照）。同様に、撮像部２１Ｂ，２１Ｒ，２１Ｌは画像データＰＢＣ-1，ＰＲＣ-1，ＰＬＣ-1を生成する（図７の（Ｃ）〜（Ｅ）参照）。また、画像取込部２２１は、フレーム１で生成された画像データＰＦＣ-1〜ＰＬＣ-1を例えば撮像画メモリ２２２ａに取り込む（図７の（Ｆ）参照）。
【００５２】
フレーム２において、撮像部２１Ｆは画像データＰＦＣ-2を生成する。同様に、撮像部２１Ｂ，２１Ｒ，２１Ｌは画像データＰＢＣ-2，ＰＲＣ-2，ＰＬＣ-2を生成する。画像読出部２２３は、撮像画メモリ２２２ａに書き込まれた画像データＰＦＣ-1〜ＰＬＣ-1を読み出す（図７の（Ｆ）参照）。データ生成処理部２２４は、画像読出部２２３によって読み出された画像データＰＦＣ-1〜ＰＬＣ-1に基づき合成用の画像データＰＦ-1〜ＰＬ1を生成して画像処理部３０に出力する（図７の（Ｈ）参照）。同時に、画像取込部２２１は、画像取込処理を行い画像データＰＦＣ-2〜ＰＬＣ-2を撮像画メモリ２２２ｂに取り込む（図７の（Ｇ）参照）。画像処理部３０の画像書込部３１は、合成メモリ３２ａに画像データＰＦ-1〜ＰＬ-1を書き込む（図７の（Ｉ）参照）。
【００５３】
ここで、合成画像と合成メモリに書き込まれる画像データと合成指示情報について説明する。図８は、合成画像と合成メモリに書き込まれる画像データと合成指示情報の関係を例示している。なお、図８の（Ａ）は合成画像、図８の（Ｂ）は合成メモリに書き込まれる画像データと合成指示情報を示している。
【００５４】
合成画像ＧＭは、例えば画面の中央を車両位置、画面の上方向を前方、下方向を後方として、車両の周辺領域を示す画像とする。ここで、車両に対して図３に示すように撮像部が配置されている場合、合成画像は、図８の（Ａ）に示すように、撮像部２１Ｆで周辺領域を撮像して得られた周辺画像ＧＦを車両位置よりも上部に設けた画像とする。また、合成画像は、撮像部２１Ｂで周辺領域を撮像して得られた周辺画像ＧＢを、上下方向を逆として車両位置よりも下部に設けた画像とする。また、合成画像は、撮像部２１Ｒで周辺領域を撮像して得られた周辺画像ＧＲを、時計方向に９０度回転して車両位置よりも右側、撮像部２１Ｌで周辺領域を撮像して得られた周辺画像ＧＬを、反時計方向に９０度回転して車両位置よりも左側に設けた画像とする。さらに、合成指示情報で示された混合比で周辺画像の合成を行い、複数の周辺画像が連結された合成画像を生成する。例えば周辺画像が重なる領域では、重なる複数の画像からいずれか１つの画像を選択してもよく、画像の混合比を連続的に変化させて、一方の周辺画像から他方の周辺画像に順次切り替えるようにしてもよい。
【００５５】
合成メモリには、画像データ記憶領域における合成位置に周辺画像の画像データを書き込んだときに他の周辺画像の画像データと重複することがない最小の数の画像データ記録領域を、データ読み出し方向に隣接して設定する。ここで、車両に対して図３に示すように撮像部が配置されている場合、周辺領域ＡＲＦは周辺領域ＡＲＲおよび周辺領域ＡＲＬと一部の領域が重複し、周辺領域ＡＲＢは周辺領域ＡＲＲおよび周辺領域ＡＲＬと一部の領域が重複している。すなわち、撮像部２１Ｆで周辺領域ＡＲＦを撮像して得られた周辺画像ＧＦと撮像部２１Ｂで周辺領域ＡＲＢを撮像して得られた周辺画像ＧＢは重複しない。または、撮像部２１Ｒで周辺領域ＡＲＲを撮像して得られた周辺画像ＧＲと撮像部２１Ｌで周辺領域ＡＲＬを撮像して得られた周辺画像ＧＬは重複しない。さらに、周辺画像ＧＦ，ＧＢは、一部の領域が周辺画像ＧＲ，ＧＬと重複する。したがって、図８の（Ｂ）に示すように、合成画像に対応した領域サイズで画像データが書き込まれる第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２をライン方向に隣接して設ける。また、例えば第１の画像データ記憶領域ＭＡ１に周辺画像ＧＦの画像データＰＦと周辺画像ＧＢの画像データＰＢを書き込む。また、第２の画像データ記憶領域ＭＡ２には、周辺画像ＧＲの画像データＰＲと周辺画像ＧＢの画像データＰＢを書き込む。また、合成指示情報を合成メモリに書き込む場合、合成画像に対応した領域サイズで合成指示情報が書き込まれる情報記憶領域ＭＡ３を第２の画像データ記憶領域ＭＡ２に対してライン方向に隣接して設ける。
【００５６】
図７のフレーム２において、画像書込部３１は、合成メモリ３２ａの第１の画像データ記憶領域ＭＡ１において、合成画像ＧＭにおける周辺画像ＧＦと対応する位置に画像データＰＦ-1を書き込む。また、画像書込部３１は、合成メモリ３２ａの第１の画像データ記憶領域ＭＡ１において、合成画像ＧＭにおける周辺画像ＧＢと対応する位置に、周辺画像ＧＢの上下方向が逆となるように画像データＰＢ-1を書き込む。また、画像書込部３１は、合成メモリ３２ａの第２の画像データ記憶領域ＭＡ２において、合成画像ＧＭにおける周辺画像ＧＲと対応する位置に、周辺画像ＧＲが時計方向に９０度回転した状態となるように画像データＰＲ-1を書き込む。さらに、画像書込部３１は、合成メモリ３２ａの第２の画像データ記憶領域ＭＡ２において、合成画像ＧＭにおける周辺画像ＧＬと対応する位置に、周辺画像ＧＬが反時計方向に９０度回転した状態となるように画像データＰＬ-1を書き込む。なお、周辺画像の向きの変更は、合成メモリ３２ａ（３２ｂ）に周辺画像の画像データを書き込む際に画像書込部３１でアドレスを制御して、書き込まれる周辺画像を所望の向きとする。また、画像データ生成部２０の撮像画処理部２２で周辺画像の向きを変更する処理を行い、変更後の周辺画像を示す画像データを画像処理部３０に出力してもよい。この場合、画像書込部３１は撮像画処理部２２から出力された画像データを第１の画像データ記憶領域ＭＡ１または第２の画像データ記憶領域ＭＡ２に順次書き込めばよい。
【００５７】
図８の（Ｂ）に示す合成メモリの情報記憶領域ＭＡ３には、第１の画像データ記憶領域ＭＡ１に書き込まれた画像データと第２の画像データ記憶領域ＭＡ２に書き込まれた画像データの混合比を示す合成指示情報ＢＲを書き込む。合成指示情報ＢＲは、例えば混合比を「０」または「１」として、ＢＲ＝１の画素位置では第１の画像データ記憶領域ＭＡ１の画像データの割合を「１」で第２の画像データ記憶領域ＭＡ２の画像データの割合を「０」として合成処理を行うようにする。また、ＢＲ＝０の画素位置では第１の画像データ記憶領域ＭＡ１の画像データの割合を「０」で第２の画像データ記憶領域ＭＡ２の画像データの割合を「１」として合成処理を行うようにする。合成制御部３３は、図７のフレーム２において、合成メモリ３２ａの情報記憶領域ＭＡ３に合成画像ＧＭを生成するための合成指示情報ＢＲを書き込む（図７の（Ｉ）参照）。なお、合成制御部３３は、合成画像の動画を表示しながら周辺画像の混合比を変更する必要がない場合、合成メモリ３２ｂの情報記憶領域ＭＡ３にも合成指示情報ＢＲを書き込む。この場合、合成メモリ３２ａ，３２ｂの情報記憶領域ＭＡ３に書き込まれた合成指示情報ＢＲは、その後繰り返し読み出して合成処理に用いられる。
【００５８】
フレーム３において、撮像部２１Ｆは画像データＰＦＣ-3を生成する。同様に、撮像部２１Ｂ，２１Ｒ，２１Ｌは画像データＰＢＣ-3，ＰＲＣ-3，ＰＬＣ-3を生成する。画像読出部２２３は、撮像画メモリ２２２ｂに書き込まれた画像データＰＦＣ-2〜ＰＬＣ-2を読み出す（図７の（Ｇ）参照）。データ生成処理部２２４は、画像読出部２２３によって読み出された画像データＰＦＣ-2〜ＰＬＣ-2に基づき合成用の画像データＰＦ-2〜ＰＬ2を生成して画像処理部３０に出力する（図７の（Ｈ）参照）。同時に、画像取込部２２１は、画像取込処理を行い、画像データＰＦ-3〜ＰＬ-3を撮像画メモリ２２２ａに取り込む（図７の（Ｆ）参照）。画像処理部３０の画像書込部３１は、合成メモリ３２ｂに画像データＰＦ-2〜ＰＬ-2を書き込む（図７の（Ｊ）参照）。
【００５９】
さらに、画像合成部３４は、ライン毎に画像データの連続読出／合成処理を行う（図７の（Ｉ）参照）。画像合成部３４は、合成メモリ３２ａからライン方向に第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２と情報記憶領域ＭＡ３から連続してデータの読み出しを行い、合成画像の１ライン分を生成するために必要な画像データと合成制御情報を取得する。
【００６０】
図９は、合成メモリからのデータ読出と画像合成部の動作を例示している。図９の（Ａ）は、合成メモリにおいてデータ読出が行われるデータ読出ラインを例示している。ここで、データ読出ラインＬｍの位置でデータ読出を行うと、第１の画像データ記憶領域ＭＡ１から図９の（Ｂ）に示す画像データＰＭＡ１ｍが読み出される。また、第２の画像データ記憶領域ＭＡ２から図９の（Ｃ）に示す画像データＰＭＡ２ｍが読み出されて、情報記憶領域ＭＡ３から図９の（Ｄ）に示す合成指示情報ＰＭＡ３ｍが読み出される。ここで、画像データＰＭＡ１ｍには画像データＰＦ-1において合成画像ＰＭのデータ読出ラインＬｍの位置に対応したデータが含まれている。また、画像データＰＭＡ２ｍには、画像データＰＲ-1，ＰＬ-1において合成画像ＰＭのデータ読出ラインＬｍの位置に対応したデータが含まれている。また、合成指示情報ＰＭＡ３ｍには、合成画像ＰＭのデータ読出ラインＬｍの位置に対応した合成指示情報ＢＲが含まれている。
【００６１】
画像合成部３４は、画像データＰＭＡ１ｍ，ＰＭＡ２ｍおよび合成指示情報ＰＭＡ３ｍをそれぞれラインメモリに振り分けて書き込む。また、画像合成部３４は、各ラインメモリから画素毎に画素データと合成指示情報を読み出す。さらに、画像合成部３４は、読み出した合成指示情報に基づく混合比で画素データを合成して、図９の（Ｅ）に示すように、合成画像ＰＭのデータ読出ラインＬｍの位置に対応した合成画像データＰＭｍを生成して画像表示部４０に出力する。したがって、画像表示部４０では、合成画像データＰＭｍに基づき、図９の（Ｆ）に示す合成画像ＧＭにおけるデータ読出ラインＬｍの位置の画像を表示できる。
【００６２】
画像合成部３４は、データ読出ラインＬｍを最初のラインの位置から最後のラインの位置まで移動して上述の合成処理を繰り返すことで１フレームの合成画像の画像データＰＭ-1を生成する。画像表示部４０は、画像データＰＭ-1に基づき周辺画像を表示する（図７の（Ｋ）参照）。
【００６３】
フレーム４において、撮像部２１Ｆは画像データＰＦＣ-4を生成する。同様に、撮像部２１Ｂ，２１Ｒ，２１Ｌは画像データＰＢＣ-4，ＰＲＣ-4，ＰＬＣ-4を生成する。画像読出２２３は、撮像画メモリ２２２ａに書き込まれた画像データＰＦＣ-3〜ＰＬＣ-3を読み出す（図７の（Ｆ）参照）。データ生成処理部２２４は、画像読出部２２３によって読み出された画像データＰＦＣ-3〜ＰＬＣ-3に基づき合成用の画像データＰＦ-3〜ＰＬ3を生成して画像処理部３０に出力する（図７の（Ｈ）参照）。同時に、画像取込部２２１は、画像取込処理を行い、画像データＰＦＣ-4〜ＰＬＣ-4を撮像画メモリ２２２ｂに取り込む（図７の（Ｇ）参照）。画像処理部３０において、画像書込部３１は合成メモリ３２ａに画像データＰＦ-3〜ＰＬ-3を書き込む（図７の（Ｉ）参照）。
【００６４】
さらに、画像合成部３４は、ライン毎に画像データの連続読出／合成処理を行う（図７の（Ｊ）参照）。画像合成部３４は、合成メモリ３２ｂに対して、データ読出ラインＬｍを最初のラインの位置から最後のラインの位置まで移動して、ライン毎に第１の画像データ記憶領域ＭＡ１と第２の画像データ記憶領域ＭＡ２と情報記憶領域ＭＡ３から連続してデータの読み出しを行い、読み出した画像データと合成制御情報を用いて合成処理を行うことで１フレームの合成画像の画像データＰＭ-2を生成する。画像表示部４０は、画像データＰＭ-2に基づき周辺画像を表示する（図７の（Ｋ）参照）。
【００６５】
以上のように、合成メモリに、画像データ記憶領域における合成位置に周辺画像の画像データを書き込んだときに他の周辺画像の画像データと重複することがない最小の数の画像データ記録領域を、データ読み出し方向に隣接して設定する。また、複数の画像データ記憶領域には、合成位置に周辺画像の画像データを書き込んだときに他の周辺画像の画像データと重複しないように、周辺画像単位で画像データを振り分ける。また、合成メモリに、合成画像に対応した情報記憶領域を画像データ記憶領域に対してデータ読出方向に隣接して設けて、合成画像に対応する合成指示情報を書き込む。さらに、データ読出ライン毎に、画像データ記憶領域に書き込まれた画像データと情報記憶領域に書き込まれた合成指示情報をライン方向に連続して読み出して、読み出した画像データと合成指示情報に基づき画像合成を行い、合成画像の画像データをライン毎に生成する。このような処理を行えば、合成メモリからライン方向に連続してデータを読み出すことで、合成処理に必要な画像データと合成指示情報が得られるので、画像合成をライン毎に効率よく行うことができる。また、合成メモリから周辺画像の画像データを読み出すために周辺画像毎にバスアクセス部を設ける必要がないので、安価にハードウェアを構成できる。また、安定したリアルタイム性を得ることができる。
【００６６】
また、合成画像の動画を表示する際に、各画素位置での周辺画像の混合比が時間の経過に依らず一定である場合、合成メモリの情報記憶領域に合成指示情報を最初に書き込めば、その後、情報記憶領域に合成指示情報を書き込む必要がない。したがって、合成画像の生成がさらに容易となる。なお、合成指示情報を合成メモリに記憶しない構成とする場合、合成処理を行う画素に対応した合成指示情報を合成制御部から画像合成部に出力すればよい。
【００６７】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００６８】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００６９】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００７０】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００７１】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、
前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部と
を備える画像処理装置。
（２）  前記記憶部は、前記画像データ記憶領域内の合成位置に前記画像データを書き込んだときに他の画像の画像データと重複することがない最小の数の前記画像データ記憶領域を有する（１）に記載の画像処理装置。
（３）  前記画像データ記憶領域は、合成画像に対応した領域サイズである（１）または（２）のいずれかに記載の画像処理装置。
（４）  前記記憶部に前記複数の画像の混合比を示す合成指示情報を書き込む合成制御部をさらに備え、
前記記憶部は、前記画像データ記憶領域に対してデータ読出方向に隣接して前記合成指示情報を記憶する情報記憶領域をさらに有し、
前記合成制御部は、前記合成指示情報を前記合成画像と対応する前記情報記憶領域内の位置に書き込む（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記記憶部の前記隣接した画像データ記憶領域から前記データ読出方向に連続して画像データを読み出して、読み出した前記画像データと前記複数の画像の混合比を示す合成指示情報を用いて合成処理を行い、合成画像の画像データを生成する画像合成部をさらに備える（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記データ読出方向はライン方向であり、
前記画像合成部は、前記記憶部の画像データ記憶領域から前記ライン方向に連続して画像データをライン毎に読み出して、前記読み出した画像データを前記画像データ記憶領域毎に設けたラインメモリに書き込み、前記ラインメモリに書き込まれている画像データを用いて前記合成処理を行う（５）に記載の画像処理装置。
（７）  前記記憶部は、前記画像データ記憶領域に対してデータ読出方向に隣接して前記合成指示情報を記憶する情報記憶領域をさらに有し、
前記画像合成部は、前記記憶部の画像データ記憶領域と情報記憶領域から前記データ読出方向に連続して画像データと合成指示情報を読み出して、読み出した前記画像データと前記合成指示情報を用いて合成処理を行う（５）または（６）のいずれかに記載の画像処理装置。
（８）  前記データ読出方向はライン方向であり、
前記画像合成部は、前記記憶部の画像データ記憶領域と情報記憶領域から前記ライン方向に連続して画像データと合成指示情報をライン毎に読み出して、前記読み出した画像データと合成指示情報を前記画像データ記憶領域と前記情報記憶領域毎に設けたラインメモリに書き込み、前記ラインメモリに書き込まれている画像データと合成指示情報を用いて前記合成処理を行う（７）に記載の画像処理装置。
（９）  前記複数の画像は、異なる複数の撮像方向で周辺領域を撮像した画像であり、前記画像は他の画像と周辺領域が重複する部分を有しており、前記画像合成部は、前記重複する部分に対して前記画像データと前記合成指示情報を用いて合成処理を行う（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記周辺領域は車両の周辺領域である（９）に記載の画像処理装置。
（１１）  前記画像書込部は、前方向を撮像した画像と後方向の周辺領域を撮像した画像の画像データを前記記憶部における第１の画像データ記憶領域に書き込み、右方向を撮像した画像と左方向の周辺領域を撮像した画像の画像データを前記記憶部における第２の画像データ記憶領域に書き込む（９）または（１０）のいずれかに記載の画像処理装置。
【産業上の利用可能性】
【００７２】
この技術の画像処理装置、画像処理方法、プログラムおよび撮像システムでは、合成に用いる複数の画像の画像データを記憶する画像データ記憶領域を、前記画像データ記憶領域のデータ読出方向に隣接して複数有する記憶部と、前記複数の画像が互いに重複しないように、前記複数の画像の画像データを画像毎に前記画像データ記憶領域に振り分けて書き込む画像書込部が設けられる。このため、隣接した画像データ記憶領域から連続して画像データを読み出すだけで、画像合成に用いる画像データが得られるようになり、画像の合成を容易に行うことが可能となる。したがって、複数の画像を合成して表示するシステム、例えば車両の周辺領域を複数の撮像部で撮像して得られた周辺画像を合成して車両の周辺全体を表示する撮像システム等に適している。
【符号の説明】
【００７３】
１０・・・撮像システム
２０・・・画像データ生成部
２１Ｆ，２１Ｂ，２１Ｒ，２１Ｌ・・・撮像部
２２・・・撮像画処理部
３０・・・画像処理部
３１・・・画像書込部
３２ａ，３２ｂ・・・合成メモリ
３３・・・合成制御部
３４・・・画像合成部
４０・・・画像表示部
２２１・・・画像取込部
２２２ａ，２２２ｂ・・・撮像画メモリ
２２３・・・画像読出部
２２４・・・データ生成処理部
３４０・・・振分処理部
３４１〜３４３・・・ラインメモリ
３４５・・・減算部
３４６・・・乗算部
３４７・・・加算部
【図１】
2016076148.tif 000003
【図２】
2016076148.tif 000004
【図３】
2016076148.tif 000005
【図４】
2016076148.tif 000006
【図５】
2016076148.tif 000007
【図６】
2016076148.tif 000008
【図７】
2016076148.tif 000009
【図８】
2016076148.tif 000010
【図９】
2016076148.tif 000011