(57)【要約】【課題】複眼方式のカメラで撮像された複数の画像データの高品質な合成画像を得る。【解決手段】各々が固体撮像素子を搭載した複数の撮像部２と、複数の撮像部２を共通に制御する制御部３とを備え、制御部３は、撮像部２の各々が撮像した複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理するノイズ除去処理部４７と、ノイズ除去処理後の各画像データを合成する合成処理部４５とを備える。【選択図】図３
2010154478.tif 000002
【特許請求の範囲】
【請求項１】
各々が固体撮像素子を搭載した複数の撮像部と、該複数の撮像部を共通に制御する制御部とを備え、該制御部は、前記撮像部の各々が撮像した前記複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理するノイズ除去処理部と、該ノイズ除去処理後の前記各画像データを合成する合成処理部とを備える複眼撮像装置。
【請求項２】
請求項１に記載の複眼撮像装置であって、前記制御部は、前記複数の撮像部から出力される前記複数の画像データの輝度レベルの違いから各撮像部の個体差を判断し該個体差に基づき前記ノイズレベルに応じたパラメータ値を決定する複眼撮像装置。
【請求項３】
請求項１または請求項２に記載の複眼撮像装置であって、前記撮像部は自身に搭載されている前記固体撮像素子の出力信号を可変利得制御するアンプを備え、前記制御部は、前記基準とする１つの画像データに対して他の画像データの輝度レベルが同じとなるように前記各撮像部に対応の前記アンプのゲインを制御して前記複数の撮像部の個体差を補正し、前記ノイズ除去処理部は前記アンプのゲインに対応して前記パラメータ値を設定する複眼撮像装置。
【請求項４】
請求項３に記載の複眼撮像装置であって、前記基準とする１つの画像データは、前記複数の撮像部が同一光源を撮像して得た前記複数の画像データのうち輝度レベルが最大となる画像データである複眼撮像装置。
【請求項５】
請求項４に記載の複眼撮像装置であって、前記固体撮像素子は赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタを搭載し、該緑（Ｇ）のカラーフィルタを搭載した画素から得られた信号の積算値で前記輝度レベルの最大を判断する複眼撮像装置。
【請求項６】
請求項１に記載の複眼撮像装置であって、前記制御部は、前記複数の撮像部に対応する前記固体撮像素子のオプティカルブラック部から出力される信号の標準偏差を求め該標準偏差の値に基づいて前記パラメータ値を設定する複眼撮像装置。
【請求項７】
請求項６に記載の複眼撮像装置であって、前記基準とする１つの画像データは、前記撮像部に対応する複数の前記標準偏差の値のうち最小値となる画像データである複眼撮像装置。
【請求項８】
請求項６または請求項７に記載の複眼撮像装置であって、前記標準偏差を用いて前記パラメータ値の設定を電源投入直後あるいは起動中の所定時間毎に行う複眼撮像装置。
【請求項９】
請求項１乃至請求項８のいずれかに記載の複眼撮像装置であって、前記パラメータ値はノイズ除去フィルタの重み付き係数値である複眼撮像装置。
【請求項１０】
請求項９に記載の複眼撮像装置であって、重み付き係数値を予め記録したテーブルを備え、前記制御部は前記個体差に応じた重み付き係数値を該テーブルから読み出して使用する複眼撮像装置。
【請求項１１】
請求項１乃至請求項１０のいずれかに記載の複眼撮像装置であって、複数の前記撮像部の各々は、自身が撮像して得た画像データのホワイトバランス補正をした後に該補正後の画像データを前記制御部に渡すホワイトバランス演算部を備える複眼撮像装置。
【請求項１２】
各々が固体撮像素子を搭載した複数の撮像部と該複数の撮像部を共通に制御する制御部とを備える複眼撮像装置の合成画像生成方法であって、該制御部は、前記撮像部の各々が撮像した前記複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理し、該ノイズ除去処理後の前記各画像データを合成する複眼撮像装置の合成画像生成方法。
【請求項１３】
請求項１２に記載の複眼撮像装置の合成画像生成方法であって、前記制御部は、前記複数の撮像部から出力される前記複数の画像データの輝度レベルの差から各撮像部の個体差を判断し該個体差に基づき前記ノイズレベルに応じたパラメータ値を決定する複眼撮像装置の合成画像生成方法。
【請求項１４】
請求項１２または請求項１３に記載の複眼撮像装置の合成画像生成方法であって、前記撮像部は自身に搭載されている前記固体撮像素子の出力信号を可変利得制御アンプで制御し、前記制御部は、前記基準とする１つの画像データに対して他の画像データの輝度レベルが同じとなるように前記各撮像部に対応の前記可変利得制御アンプのゲインを制御して前記複数の撮像部の個体差を補正し、前記ノイズ除去処理は前記可変利得制御アンプのゲインに対応して前記パラメータ値を設定する複眼撮像装置の合成画像生成方法。
【請求項１５】
請求項１４に記載の複眼撮像装置の合成画像生成方法であって、前記基準とする１つの画像データは、前記複数の撮像部が同一光源を撮像して得た前記複数の画像データのうち輝度レベルが最大となる画像データである複眼撮像装置の合成画像生成方法。
【請求項１６】
請求項１５に記載の複眼撮像装置の合成画像生成方法であって、前記固体撮像素子は赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタを搭載しており、該緑（Ｇ）のカラーフィルタを搭載した画素から得られた信号の積算値で前記輝度レベルの最大を判断する複眼撮像装置の合成画像生成方法。
【請求項１７】
請求項１２に記載の複眼撮像装置の合成画像生成方法であって、前記制御部は、前記複数の撮像部に対応する前記固体撮像素子のオプティカルブラック部から出力される信号の標準偏差を求め該標準偏差の値に基づいて前記パラメータ値を設定する複眼撮像装置の合成画像生成方法。
【請求項１８】
請求項１７に記載の複眼撮像装置の合成画像生成方法であって、前記基準とする１つの画像データは、前記撮像部に対応する複数の前記標準偏差の値のうち最小値となる画像データである複眼撮像装置の合成画像生成方法。
【請求項１９】
請求項１７または請求項１８に記載の複眼撮像装置の合成画像生成方法であって、前記標準偏差を用いて前記パラメータ値の設定を電源投入直後あるいは起動中の所定時間毎に行う複眼撮像装置の合成画像生成方法。
【請求項２０】
請求項１２乃至請求項１９のいずれかに記載の複眼撮像装置の合成画像生成方法であって、前記パラメータ値はノイズ除去フィルタの重み付き係数値である複眼撮像装置の合成画像生成方法。
【請求項２１】
請求項２０に記載の複眼撮像装置の合成画像生成方法であって、重み付き係数値を予め記録したテーブルを備え、前記制御部は前記個体差に応じた重み付き係数値を該テーブルから読み出して使用する複眼撮像装置の合成画像生成方法。
【請求項２２】
請求項１２乃至請求項２１のいずれかに記載の複眼撮像装置の合成画像生成方法であって、複数の前記撮像部の各々は、自身が撮像して得た画像データのホワイトバランス補正をした後に該補正後の画像データを前記制御部に渡す複眼撮像装置の合成画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置を搭載した複眼式撮像装置及びその合成画像生成方法に関する。
【背景技術】
【０００２】
特許文献１，３に記載されている様に、近年、複眼方式のカメラが提案される様になってきている。複眼方式のカメラは、複数の画角を持つことから、パノラマ撮影やステレオ撮影のような高機能撮像を行うことができる。
【０００３】
一方で、複眼方式のカメラは、複数の撮像装置から出力される複数枚の画像データを１枚の画像データに合成する必要があり、このとき、個々の撮像装置の個体差によって各画像データの輝度レベルがばらついてしまうという不具合がある。
【０００４】
例えば、パノラマ撮影した合成画像が、個々の撮像装置の撮像した画像を貼り合わせた境界線において、輝度の段差や色の段差が発生してしまうという不具合がある。また、ステレオ撮影して得られた左右の画像を立体ディスプレイに表示する場合、画面がちらついて見づらいという不具合がある。
【０００５】
この様な現象に対して、従来は、複眼式カメラ内部において、各撮像装置の固体撮像素子出力信号に掛けるゲインの値を撮像装置毎に調整し、輝度レベルのばらつきを吸収している（特許文献２，３）。
【０００６】
しかし、この従来方法では、各撮像装置毎の輝度レベルのバラツキは平滑化するものの、撮像装置毎に異なるゲインを掛けるため、個々の撮像装置の撮像画像データに乗っているノイズレベルも夫々のゲインで増幅されてしまい、今度はノイズレベルの撮像装置毎の個体差が目立ってしまうことになる。
【０００７】
【特許文献１】特開平７―６７０２０号公報
【特許文献２】特開２００６―５０６５５号公報
【特許文献３】特開平１１―１４６４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、複眼方式のカメラで撮像された複数の画像データを合成する場合、各撮像装置毎の輝度レベル個体差ばかりでなく、ノイズレベルの個体差のバラツキも平滑化させ、合成画像の高品質化を図ることができる複眼撮像装置及びその合成画像生成方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の複眼撮像装置は、各々が固体撮像素子を搭載した複数の撮像部と、該複数の撮像部を共通に制御する制御部とを備え、該制御部は、前記撮像部の各々が撮像した前記複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理するノイズ除去処理部と、該ノイズ除去処理後の前記各画像データを合成する合成処理部とを備えることを特徴とする。
【００１０】
本発明の複眼撮像装置の合成画像生成方法は、各々が固体撮像素子を搭載した複数の撮像部と該複数の撮像部を共通に制御する制御部とを備える複眼撮像装置の合成画像生成方法であって、該制御部は、前記撮像部の各々が撮像した前記複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理し、該ノイズ除去処理後の前記各画像データを合成することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像部毎にノイズレベルに応じてノイズ除去処理の強度を調整するため、良好な合成画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１３】
図１は、本発明の一実施形態の複眼撮像装置の全体ブロック図である。この複眼撮像装置１は、図示する例では８台の撮像部２―１，２―２，…，２―８と、各撮像部２―１，…，２―８を共通に制御する１台の制御部３とを備える。８台の撮像部２―１，…，２―８は、例えばリング状に等間隔に配列されて設置場所の全周囲，全方位３６０度の監視を可能にしたり、或いは、自動車の外周部に配列されて自動車の周囲全周の撮像画像を運転席設置のモニタ画面に表示できるようになっている。
【００１４】
図２は、撮像部２―１の機能ブロック図である。他の撮像部２―２，…，２―８も撮像部２―１と同一構成のため、以下、個々の撮像部を区別する場合以外は、符号「２」を付けて説明する。
【００１５】
撮像部２は、固体撮像素子１１と、固体撮像素子１１の前段に置かれた絞り１２及び撮影レンズ１３と、固体撮像素子１１の出力画像信号を相関二重サンプリング処理（ＣＤＳ）したり可変利得制御（バリアブルゲインアンプ：ＶＧＡ）するＣＤＳ／ＶＧＡ部１５と、ＣＤＳ／ＶＧＡ部１５の出力画像信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換部１６と、Ａ／Ｄ変換部１６から出力されるデジタルの画像信号を処理しホワイトバランス補正を行ってから制御部３に出力するＷＢ演算部１７とを備える。
【００１６】
撮像部２は、更に、制御部３からの指示に基づいて各種タイミングパルスを生成しＣＤＳ／ＶＧＡ部１５，Ａ／Ｄ変換部１６，ＷＢ演算部１７に出力するタイミングジェネレータ１８と、該タイミングジェネレータ１８から出力されるタイミングパルスを取り込んで固体撮像素子１１に与える駆動パルスを生成する撮像素子駆動回路１９と、制御部３からの指令に基づいて絞り１２の絞り位置を制御する絞り駆動回路２０と、制御部３からの指令に基づいて撮影レンズ１３のフォーカス位置制御を行うレンズ駆動回路２１とを備える。
【００１７】
各々の撮像部２は、上述した構成により、撮影レンズ１３，絞り１２を介して被写体の光像を取り込み、固体撮像素子１１はその光像に応じた撮像画像信号を出力し、更に、ＣＤＳ／ＶＧＡ部１５が相関二重サンプリング処理等を行い、デジタル信号に変換された撮像画像信号に対してＷＢ演算部１７がホワイトバランス補正を施し、この撮像画像信号を制御部３に送る。
【００１８】
撮像部２―１，…，２―８が、夫々の自身内にＷＢ演算部１７を備え、ホワイトバランス補正を行うのは、各撮像部２―１，…で撮像された画像の光源が異なる可能性があるためである。例えば、撮像部２―１は、眩しい日光で照射された被写体画像を撮像するが、同時に、反対側の撮像部２―５は、日陰の状態で撮像する場合、あるいは蛍光灯下で撮像を行う場合があるからである。これにより、制御部３は、撮像部２から色バランスの個体差が無い８つの撮像信号を得ることができ、後述のノイズバランス調整処理を高速に行い、合成画像をリアルタイムにモニタ表示することが可能となる。
【００１９】
図３は、制御部３の機能ブロック図である。制御部３には、１台の制御装置（ＣＰＵ）３１とメモリ３２とが設けられ、ＣＰＵ３１からの指令信号が８台（８チャネル）の撮像部２に対して力されると共に、８チャネルの撮像画像信号がメモリ３２に同時並行的に取り込まれる。ＣＰＵ３１には、操作員からの操作指示を入力する操作部３３が設けられている。
【００２０】
制御部３は、ＣＰＵ３１，メモリ３２の他に、信号処理部（ＤＳＰ）３５と、信号処理後の画像信号をＪＰＥＧ画像やＭＰＥＧ画像等に圧縮した伸長したりする圧縮伸長部３６と、圧縮処理後の画像信号を記録メディア３７に保存するメディアインタフェース（Ｉ／Ｆ）３８と、後述するようにして合成した８台の撮像部２による撮像画像を表示するモニタ（ＬＣＤ）３９と、これらを相互に接続するバス４０とを備える。
【００２１】
信号処理部３５は、通常のデジタルカメラに搭載される信号処理部と同様に、露出演算部４１と、ホワイトバランス演算部４２と、フォーカス演算部４３と、同期信号生成部４４とを備える他に、パノラマ合成処理部４５と、個体差演算部４６と、ノイズ除去処理部４７とを備える。
【００２２】
個体差演算部４６は、基準撮像部決定部５１と、輝度レベル個体差算出部５２と、色バランス個体差算出部５３とを備え、ノイズ除去処理部４７は、フィルタ演算部５５と、ノイズレベル演算部５６とを備える。
【００２３】
個体差演算部４６の色バランス個体差算出部５３は、８つの撮像部２から得られた撮像信号（各々が夫々のＷＢ演算部１７でホワイトバランス補正された撮像信号）を取り込み、各色バランスの個体差を算出する。そして、ＷＢ演算部４２は、この算出された個体差に基づいて各撮像部２のバリアブルゲインアンプＶＧＡのゲインを決定し、ＣＰＵ３１を通して各撮像部２に指令を出力する。この様にして、各撮像部２から色バランスの個体差が無い撮像信号が出力されるようにフィードバック制御を行う。
【００２４】
個体差演算部４６は、更に、各撮像部２から得られる撮像信号の個体差を無くす処理を行うと共に、ノイズレベル調整を行い、処理後の８つの撮像信号をパノラマ合成処理部４５が合成し、その後に、画像データの圧縮処理及び記録メディア３７への格納、モニタ３９への表示が行われる。
【００２５】
図４は、上述した複眼撮像装置の工場出荷前に調整ラインで行われる処理手順を示すフローチャートである。最初に、全撮像部２のシャッタ速度，絞り値及びＶＧＡのゲインを初期値に固定し（ステップＳ１）、次に、全撮像部２で、一様な基準光源を撮像してＲ（赤）Ｇ（緑）Ｂ（青）の積算値を取得する（ステップＳ２：尚、ここでは、原色系カラーフィルタを積層した固体撮像素子を想定しているが、勿論、補色系カラーフィルタでも同様に適用可能である。）。この積算値を基に、輝度レベルや色バランスの個体差を補正していく。
【００２６】
次に、８台の撮像部２のうち、Ｇ信号積算値が最大となる撮像部を求め、この撮像部を基準撮像部とし、「Ｇｔ＝基準撮像部のＧ信号積算値」とする（ステップＳ３）。基準撮像部は、ＶＧＡ１５のゲインが最も低くなるため、最もＳ／Ｎが良い撮像部となる。本実施形態では、簡易的に、Ｇ信号を輝度レベル信号として扱っている。
【００２７】
そして、以下の一連の処理を行うことによって、基準撮像部に合わせるようにパラメータ値、本実施形態ではノイズ除去フィルタの重み付け係数値を決定し、全体的にＳ／Ｎのバラツキの小さな合成画像を得る。即ち、先ず次のステップＳ４で、基準撮像部に対する各撮像部２の個体差補正値Ｃｌｎを「Ｃｌｎ＝Ｇｔ／Ｇｎ」として算出する。ここで、Ｇｎはｎ番目の撮像部のＧ信号積算値である。
【００２８】
ステップＳ５では、ステップＳ４で得られた演算結果をその撮像部に反映し（その撮像部のＶＧＡゲインを上記算出結果を乗算した値で更新し）、ステップＳ６で、再び一様な基準光源を撮像してＲＧＢの積算値を求める。そして、全撮像部２のＧ信号積算値の最大値と最小値の差が閾値τ以下であるか否かを判定し（ステップＳ７）、τ以下でない場合にはステップＳ８に進んで補正値Ｃｌｎ’を求めて「Ｃｌｎ＝Ｃｌｎ＊Ｃｌｎ’」と更新し、ステップＳ５に戻り、ステップＳ５，６，７，８を繰り返す。
【００２９】
ステップＳ７の判定の結果、最大値と最小値の差が閾値τ以下となった場合には、ステップＳ７からステップＳ９に進み、各撮像部毎に得られた補正値Ｃｌｎに対応するノイズ除去フィルタの重み付け係数値を、各撮像部毎に設定し（例えば図３のＣＰＵ３１内の書き換え可能なＲＯＭ内に保存する）、この処理を終了する。
【００３０】
これにより、各撮像部２が基準光源を撮像したときの各Ｇ信号積算値がτ以下となる様に、各撮像部２のＶＧＡ１５のゲイン値が求まり、８台の撮像画像の輝度レベルの均一化，平滑化を図ることが可能となる。この結果、各撮像部２毎にゲイン値が異なることになる。ＶＧＡ１５のゲイン値が異なると、撮像画像信号はゲイン倍されるが、ノイズもゲイン倍されてしまい、ゲイン値の大きい撮像画像はノイズの目立った画像になってしまう。つまり、パノラマ合成したとき、ゲイン値の大きい画像だけノイズ量が増え、合成画像の画質を劣化させる結果となる。
【００３１】
そこで、本実施形態では、ゲイン値に応じたフィルタ重み付け係数値を撮像部毎に決定し、この重み係数値を用いて、ノイズ除去程度を撮像部２の撮像画像信号毎に調整する。即ち、ゲイン値の大きい撮像画像に対しては強いノイズリダクションを施し、ゲイン値の小さな撮像画像に対しては弱いノイズリダクションを施し、パノラマ合成画像の８枚の画像データについては、輝度レベルの均一化，平滑化の他にノイズ量の均一化，平滑化も図る。これにより、画質の良好な合成画像を得ることができる。
【００３２】
図５は、本発明の別実施形態の処理手順を示すフローチャートである。この処理は、工場出荷後に監視箇所に設置された状態で、複眼撮像装置の電源投入直後に実行されるが、複眼撮像装置の動作中の任意の空き時間に定期的に実行することにしてもよい。
【００３３】
先ず、各撮像部２の固体撮像素子１１の有効画素領域の周囲に設けられているオプティカルブラック（ＯＢ）部の出力の標準偏差σを算出し（ステップＳ１１）、８つの固体撮像素子１１のこの標準偏差σが最小となる撮像部を基準撮像部に設定し、「σｔ＝基準撮像部のσ」とする（ステップＳ１２）。ＯＢ部は、遮光膜に覆われているため、σ＝ノイズレベルと規定することができる。つまり、σが小さいほど、Ｓ／Ｎが良好といえる。
【００３４】
そして、次のステップＳ１３で、基準撮像部に対する各撮像部２の個体差補正値Ｃσｎを「Ｃｌｎ＝σｎ／σｔ」として算出する。ここで、σｎはｎ番目の撮像部の標準偏差である。
【００３５】
次のステップＳ１４では、ステップＳ１３で得られた演算結果に対応するパラメータ値、この実施形態ではフィルタ重み係数値を撮像部毎に求め、その重み係数値のフィルタを用いて各撮像部の撮像画像をノイズリダクションする（ステップＳ１５）。
【００３６】
そして、ノイズ除去後の各撮像部による画像においてＯＢ部の標準偏差を取得し、その個体差の最大値と最小値との差が閾値Ｔ以下であるか否かを判定し（ステップＳ１６）、閾値Ｔ以下でない場合にはステップＳ１７に進んで補正値Ｃσｎ’を算出して補正値「Ｃσｎ＝Ｃσｎ＊Ｃσｎ’」と更新してステップＳ１４に戻り、ステップＳ１４，１５，１６，１７を繰り返す。
【００３７】
ステップＳ１６の判定の結果、最大値と最小値の差が閾値Ｔ以下となったとき、そのときのフィルタ重み係数値に決定して、この処理を終了する。
【００３８】
この処理を行うことにより、複眼撮像装置を工場から出荷した後に、経時変化やユーザ使用時の環境温度によってノイズレベルが変化した場合でも的確に対処可能となる。この様に、複眼撮像装置の使用時に、随時、ノイズ除去フィルタの係数値を見直すことで、常に良好な画質の合成画像を得ることが可能となる。
【００３９】
次に、ノイズ除去フィルタについて説明する。ここで説明するノイズ除去フィルタは、特開２００６―６０６６０号公報に紹介されたノイズ除去フィルタであるが、本発明に適用可能なノイズ除去フィルタはその形式について制限はなく、ノイズ量が多い撮像画像についてはノイズ低減量を多くし、ノイズ量が少ない撮像画像についてはノイズ低減量を少なくし、複数の撮像画像のノイズ量の均一化を図って合成画像を生成できるものであれば良い。
【００４０】
図６は、固体撮像素子１１の表面模式図である。この固体撮像素子１１には、正方格子状に複数の画素１１ａが配列形成されている。図示する例では、「Ｒ」と記載されている画素１１ａは赤色フィルタが積層され、「Ｂ」と記載されている画素１１ａには青色フィルタが積層され、「Ｇ１」と記載されている画素１１ａには第１緑色フィルタが積層され、「Ｇ２」と記載されている画素１１ａには、第１緑色フィルタとは少し異色の第２緑色フィルタが積層されている。
【００４１】
この固体撮像素子１１において、次の数１で表されるノイズ除去フィルタＦを用いてノイズリダクションが行われる。
【００４２】
【数１】
2010154478.tif 000003
【００４３】
ここで、Ｄ（ｓ＋ｎ）は、次の数２で示され、受光量に応じた信号量にノイズ量が加算された値を示す。
【００４４】
【数２】
2010154478.tif 000004
【００４５】
また、Ｄｎは、次の数３で示され、ノイズ量のみの値である。
【００４６】
【数３】
2010154478.tif 000005
【００４７】
図７は、ノイズ低減処理に用いられるノイズ量と信号量との関係を示すグラフであり、所定の基準被写体が撮像されることで、赤色成分、青色成分、第１，第２の緑色成分毎の信号量毎にノイズ量が予め解析される。
【００４８】
数１に示すαがフィルタ制御係数であり、本実施形態では、このαの値を重み付け係数とする。即ち、αの値が大きければ、ノイズ量の減算程度が高くなり、αの値が小さければ、ノイズ量の減算程度が低くなることが数１から分かる。
【００４９】
図４で説明した処理手順において、数１の係数αを本実施形態では８台の撮像部に対応させてαｎとする。そして、αｔを基準撮像部の重み付け係数＝初期値としたとき、求めるべき重み付け係数αｎは、αｎ＝αｔ×αｃｌとして算出する。尚、０≦αｎ≦１である。
【００５０】
この算出式で用いる「αｃｌ」は、ステップＳ８で求めた「Ｃｌｎ」に対して予めテーブル値として用意されており、ステップＳ８で求めたＣｌｎの値から図８（ａ）のテーブルに基づきαｃｌを決定することになる。
【００５１】
図５で説明した処理手順においては、更新後の重み付け係数をαｎ’、更新前の重み付け係数をαｎとしたとき、αｎ’＝αｎ×αｃσとする。尚、０≦αｎ≦１である。
【００５２】
この算出式で用いる「αｃσ」は、ステップＳ１７で求めた「Ｃσｎ」に対して予めテーブル値として用意されており、ステップＳ１７で求めたＣσｎの値から図８（ｂ）のテーブルに基づきαｃσを決定することになる。
【００５３】
尚、図８（ａ）の例ではＣｌｎ＝αｃｌ，図８（ｂ）の例ではＣσｎ＝αｃσとなっているが、これは単なる例示であり、異なる値になることもある。
【００５４】
以上により、８台の撮像部の撮像画像のノイズレベルが同一レベルとなるように各撮像画像に対するノイズリダクションの強さを制御するため、見易い合成画像を得ることが可能となる。
【００５５】
尚、上述した実施形態では、監視カメラに適用した複眼撮像装置を例に説明したが、本発明はこれに限定されるものではなく、例えば２台の撮像部を左右に配置し２台の撮像部の視差を用いて被写体をステレオ撮影して該被写体の立体画像を撮像するものにも同様に適用可能である。
【００５６】
以上述べた様に、上述した実施形態は、各々が固体撮像素子を搭載した複数の撮像部と該複数の撮像部を共通に制御する制御部とを備える複眼撮像装置及びその合成画像生成方法であって、該制御部は、前記撮像部の各々が撮像した前記複数の画像データのうち１つを基準として他の画像データのノイズレベルが該１つの画像データのノイズレベルに合うように各画像データのノイズ除去処理を各画像データのノイズレベルの個体差に応じたパラメータ値で処理し、該ノイズ除去処理後の前記各画像データを合成することを特徴とする。
【００５７】
また、上記実施形態において、前記制御部は、前記複数の撮像部から出力される前記複数の画像データの輝度レベルの違いから各撮像部の個体差を判断し該個体差に基づき前記ノイズレベルに応じたパラメータ値を決定することを特徴とする。
【００５８】
また、上記実施形態は、前記撮像部は自身に搭載されている前記固体撮像素子の出力信号を可変利得制御アンプで制御し、前記制御部は、前記基準とする１つの画像データに対して他の画像データの輝度レベルが同じとなるように前記各撮像部に対応の前記可変利得制御アンプのゲインを制御して前記複数の撮像部の個体差を補正し、前記ノイズ除去処理は前記可変利得制御アンプのゲインに対応して前記パラメータ値を設定することを特徴とする。
【００５９】
また、上記実施形態において、前記基準とする１つの画像データは、前記複数の撮像部が同一光源を撮像して得た前記複数の画像データのうち輝度レベルが最大となる画像データであることを特徴とする。
【００６０】
また、上記実施形態は、前記固体撮像素子は赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタを搭載しており、該緑（Ｇ）のカラーフィルタを搭載した画素から得られた信号の積算値で前記輝度レベルの最大を判断することを特徴とする。
【００６１】
また、上記実施形態において、前記制御部は、前記複数の撮像部に対応する前記固体撮像素子のオプティカルブラック部から出力される信号の標準偏差を求め該標準偏差の値に基づいて前記パラメータ値を設定することを特徴とする。
【００６２】
また、上記実施形態において、前記基準とする１つの画像データは、前記撮像部に対応する複数の前記標準偏差の値のうち最小値となる画像データであることを特徴とする。
【００６３】
また、上記実施形態は、前記標準偏差を用いて前記パラメータ値の設定を電源投入直後あるいは起動中の所定時間毎に行うことを特徴とする。
【００６４】
また、上記実施形態において、前記パラメータ値はノイズ除去フィルタの重み付き係数値であることを特徴とする。
【００６５】
また、上記実施形態は、重み付き係数値を予め記録したテーブルを備え、前記制御部は前記個体差に応じた重み付き係数値を該テーブルから読み出して使用することを特徴とする。
【００６６】
また、上記実施形態において、複数の前記撮像部の各々は、自身が撮像して得た画像データのホワイトバランス補正をした後に該補正後の画像データを前記制御部に渡すことを特徴とする。
【００６７】
この様に、撮像部毎にノイズレベルに応じてノイズ除去処理の強度を調整するため、良好な合成画像を得ることが可能となる。
【産業上の利用可能性】
【００６８】
本発明に係る複眼撮像装置は、複数の撮像部の撮像画像のバラツキを抑制して品質の高い合成画像を得るため、複数の撮像部を組み合わせて用いる監視装置やステレオ撮影装置等に適用すると有用である。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態に係る複眼撮像装置の全体構成図である。
【図２】図１に示す１台分の撮像部の機能ブロック図である。
【図３】図１に示す共通の制御部の機能ブロック図である。
【図４】図１に示す複眼撮像装置の工場出荷時に調整される処理手順を示すフローチャートである。
【図５】図１に示す複眼撮像装置の電源起動時等に実行される処理手順を示すフローチャートである。
【図６】図１に示す固体撮像素子の表面模式図である。
【図７】ノイズモデルを示すグラフである。
【図８】重み付け係数を求めるテーブル図である。
【符号の説明】
【００７０】
１  複眼撮像装置
２，２―１，…，２―８  撮像部
３  共通の制御部
１７  ＷＢ演算部
３１  ＣＰＵ
４５  パノラマ合成処理部
４６  個体差演算部
４７  ノイズ除去処理部
５１  基準撮像部決定部
５２  輝度レベル個体差算出部
５３  色バランス個体差算出部
５５  フィルタ演算部
５６  ノイズレベル演算部
【図１】
2010154478.tif 000006
【図２】
2010154478.tif 000007
【図３】
2010154478.tif 000008
【図４】
2010154478.tif 000009
【図５】
2010154478.tif 000010
【図６】
2010154478.tif 000011
【図７】
2010154478.tif 000012
【図８】
2010154478.tif 000013