(57)【要約】【課題】複数の撮像ユニットを備えた立体撮像装置において、複数の撮像ユニット間でアイリスのガタなどが原因で映像レベルがそろわないという課題がある。【解決手段】立体撮像装置１０００は、第１の撮像部１および第２の撮像部１１で撮像した左右の映像からなる立体映像を取得する立体撮像装置であって、第１の撮像部１および第２の撮像部１１で撮像した映像の映像レベルを検出する映像レベル検出部３と、第２の撮像部１１で撮像した映像の映像レベルを制御する映像レベル制御部４と、第２の撮像部１１で撮像した映像のゲインを調整するゲイン調整部５と、を備え、映像レベル制御部４は、第１の撮像部１で撮像した映像の映像レベルと同じになるように第２の撮像部１１で撮像した映像の映像レベルを調整する。【選択図】図１
2012134688.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像部および第２の撮像部で撮像した左右の映像からなる立体映像を取得する立体撮像装置であって、
前記第１の撮像部および前記第２の撮像部で撮像した映像の映像レベルを検出する映像レベル検出部と、
前記第２の撮像部で撮像した映像の映像レベルを制御する映像レベル制御部と、
前記第２の撮像部で撮像した映像のゲインを調整するゲイン調整部と、
を備え、
前記映像レベル制御部は、前記第１の撮像部で撮像した映像の映像レベルと同じになるように前記第２の撮像部で撮像した映像の映像レベルを調整する
立体撮像装置。
【請求項２】
前記第１の撮像部および前記第２の撮像部のアイリスを連動して制御するアイリス連動制御部と、
アイリス連動動作に基づき、映像レベル補正を実施するかどうかを判定する映像レベル補正判定部と、
をさらに備え、
前記映像レベル制御部は、前記映像レベル補正判定部の出力に従い、前記第１の撮像部で撮像した映像の映像レベルと同じになるように前記第２の撮像部で撮像した映像の映像レベルを調整する
請求項１に記載の立体撮像装置。
【請求項３】
前記映像レベル検出部は、前記第１の撮像部で撮像した映像から、映像レベルの最大値、最大値を検出した領域の位置および領域サイズ、ならびに検出した領域の映像データを検出し、前記第２の撮像部で撮像した映像から、前記第１の撮像部で撮像した映像で検出した最大値と同じ位置および領域サイズの映像レベルと映像データを検出する
請求項１または２に記載の立体撮像装置。
【請求項４】
前記映像レベル検出部は、前記第１の撮像部および前記第２の撮像部で撮像した映像から、画面全体の映像レベルの平均値を検出する
請求項１または２に記載の立体撮像装置。
【請求項５】
前記映像レベル検出部は、前記第１の撮像部で撮像した映像から、映像レベルの最大値、最大値を検出した領域の位置および領域サイズ、検出した領域の映像データ、画面全体の映像レベルの平均値、ならびに前記最大値と前記画面全体の映像レベルの平均値との重み付け演算結果を検出し、前記第２の撮像部で撮像した映像から、前記第１の撮像部で撮像した映像で検出した最大値と同じ位置および領域サイズの映像レベルと映像データ、画面全体の映像レベルの平均値、ならびに前記第１の撮像部で撮像した映像で検出した最大値と同じ位置および領域サイズの映像レベルと前記画面全体の映像データ平均値との重み付け演算結果を検出する
請求項１または２記載の立体撮像装置。
【請求項６】
第１の撮像部および第２の撮像部で撮像した左右の映像からなる立体映像を取得する立体撮像装置であって、
前記第１の撮像部で撮像した映像に関する第１の映像情報を検出する映像情報検出部と、
前記第１の撮像部で検出した前記第１の映像情報と同一の被写体を示す前記第２の撮像部で撮像した映像中の領域を検索し、第２の検出領域とする映像情報検索部と、
前記第２の撮像部で撮像した映像の映像レベルを制御する映像レベル制御部と、
前記第２の撮像部で撮像した映像のゲインを調整するゲイン調整部と、
前記第１の撮像部および前記第２の撮像部のアイリスを連動して制御するアイリス連動制御部と、
アイリス連動動作に基づき、映像レベル補正を実施するかどうかを判定する映像レベル補正判定部と、
を備え、
前記映像レベル制御部は、前記映像レベル補正判定部の出力に従い、前記第１の映像情報と前記第２の映像情報より前記第２の撮像部で撮像した映像の映像レベルを調整する
立体撮像装置。
【請求項７】
前記映像情報検索部は、映像比較を行うことで同一の被写体を示す前記第２の映像領域を検索する
請求項６に記載の立体撮像装置。
【請求項８】
前記映像情報検索部は、距離情報、輻輳角情報およびステレオベース情報より、シフト量を演算することで、同一の被写体を示す前記第２の映像領域を検索する
請求項６に記載の立体撮像装置。
【請求項９】
第１の撮像部および第２の撮像部を備えた立体撮像装置の映像レベル調整方法であって、
前記第１の撮像部および前記第２の撮像部で撮像した映像の映像レベルを検出する映像レベル検出ステップと、
前記第１の撮像部のアイリスと前記第２の撮像部のアイリスとの連動制御動作に基づき、映像レベル補正を実施するかどうかを判定する映像レベル補正判定ステップと、
前記映像レベル補正判定ステップの出力に従い、前記第１の撮像部および前記第２の撮像部で撮像した映像の映像レベルが同じになるように前記第２の撮像部で撮像した映像のゲインを調整する映像レベル制御ステップと、
を含む映像レベル調整方法。
【請求項１０】
第１の撮像部および第２の撮像部を備えた立体撮像装置の映像レベル調整方法であって、
前記第１の撮像部で撮像した映像に関する第１の映像情報を検出する映像情報検出ステップと、
前記第１の撮像部で検出した前記第１の映像領域と同一の被写体を示す前記第２の撮像部で撮像した映像中の領域を検索し、第２の映像領域とする映像情報検索ステップと、
前記第１の撮像部のアイリスと前記第２の撮像部のアイリスとの連動制御動作に基づき、映像レベル補正を実施するかどうかを判定する映像レベル補正判定ステップと、
前記映像レベル補正判定ステップの出力に従い、前記第１の映像領域の映像情報と前記第２の映像領域の映像情報とに基づき、前記第２の撮像部で撮像した映像のゲインを調整する映像レベル制御ステップと、
を含む映像レベル調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の撮像ユニットを備えて立体映像を撮像する立体撮像装置において、複数の撮像ユニット間で映像レベルを自動であわせる映像レベル調整機能付立体撮像装置に関するものである。
【背景技術】
【０００２】
左目の映像と右目の映像を独立に同期撮影して立体的な映像を得る立体映像（３Ｄ画像）の撮像装置に注目が集まっている。
【０００３】
特許文献１には、装置の稼動状態で感度調整を可能として製造時の調整工数を削除するとともに、半導体素子の経年変化や周囲温度変化による映像信号の感度変化に対処する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２５５０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体撮像装置としては、複数の撮像ユニットを同期させ完全に同じように動作させることが望ましい。また、複数の撮像ユニットを備えた立体撮像装置においては、それぞれの撮像ユニットごとに機構的なアイリス可動部、モータやセンサを駆動する駆動回路部などがそれぞれに存在する。したがって、実際には、駆動回路の特性のばらつき、モータやセンサの取り付け位置の誤差、可動部分のガタが存在し、完全に同一に動作させることは、難しい。駆動回路部分の特性のばらつき、モータやセンサの取り付け位置の誤差などは、製造時の調整で均一化が可能であるが、可動部分のガタによる誤差は、動作させるたびに毎回異なるため、均一化が困難である。すなわち、アイリスを大きく開けた場合、小さく開けた場合、大きく閉めた場合、小さく閉めた場合などの動作のさせ方、また同じ動作のさせ方でもガタの摩擦の状況、撮像装置の向きなどにより、毎回同じ結果になるわけではない。そのため、複数の撮像ユニットでアイリスのガタが原因で、映像レベルがそろわない場合があるという課題がある。
【０００６】
また、機構的なガタがほとんどないアイリス可動部を作成するには、機構的精度が非常に高い、温度変化などの影響が少ない、などの条件を満たす必要があり、非常に高価なアイリスユニットになってしまうという課題がある。
【０００７】
上記従来の技術は、半導体素子の経年変化や周囲温度変化による映像信号の感度変化に対処する方法で、アイリスを動作させるたびに変化するアイリスのガタが原因の映像レベル変動を抑制することはできないという課題がある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体撮像装置は、第１の撮像部および第２の撮像部で撮像した左右の映像からなる立体映像を取得する立体撮像装置であって、前記第１の撮像部および前記第２の撮像部で撮像した映像の映像レベルを検出する映像レベル検出部と、前記第２の撮像部で撮像した映像の映像レベルを制御する映像レベル制御部と、前記第２の撮像部で撮像した映像のゲインを調整するゲイン調整部と、を備え、前記映像レベル制御部は、前記第１の撮像部で撮像した映像の映像レベルと同じになるように前記第２の撮像部で撮像した映像の映像レベルを調整する。
【発明の効果】
【０００９】
上記の構成によって、立体撮像装置は、複数の撮像部で撮像した映像間での映像レベルを自動的にそろえることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における立体撮像装置の構成を示すブロック図
【図２】実施の形態１の映像レベル調整動作を説明するための模式図
【図３】実施の形態２における立体撮像装置の構成を示すブロック図
【図４】立体画像の原理を説明するための模式図
【図５】実施の形態２の映像レベル調整動作を説明するための模式図
【発明を実施するための形態】
【００１１】
以下、実施の形態における立体撮像装置を、図面を用いて詳細に説明する。
【００１２】
（実施の形態１）
（１．立体撮像装置の構成）
図１は、実施の形態１における立体撮像装置１０００の構成を示すブロック図である。
【００１３】
図１に示すように、立体撮像装置１０００は、第１の撮像ユニット１００と、第２の撮像ユニット２００と、映像レベル検出部３と、映像レベル制御部４と、映像レベル補正判定部６と、アイリス連動制御部７と、で構成されている。
【００１４】
第１の撮像ユニット１００は、第１の撮像部１と信号処理部２と、で構成されている。第２の撮像ユニット２００は、第２の撮像部１１とゲイン調整部５と、信号処理部１２と、で構成されている。
【００１５】
第１の撮像部１および第２の撮像部１１は、複数のレンズからなる光学系、ＣＭＯＳ型イメージセンサなどの撮像素子、およびアナログ／デジタル変換部を有し、被写体からの光を光電変換により電気信号に変換し、デジタル映像信号として出力する。第２の撮像ユニット２００のゲイン調整部５は、ゲインを調整し、映像のレベルを変更する。信号処理部２および信号処理部１２は、ガンマ処理、輪郭強調処理、マトリクス処理などを実施する。映像レベル検出部３は、第１の撮像ユニット１００および第２の撮像ユニット２００の映像情報を検出する。例えば、映像レベルの最大値、最大値を検出した領域の位置および領域サイズ、検出した領域の映像データなどである。映像レベル制御部４は、第１の映像情報と第２の映像情報より第１の撮像ユニット１００および第２の撮像ユニット２００の映像レベルが等しくなるように第２の撮像部１１が出力する映像のゲインを制御する。アイリス連動制御部７は、第１の撮像部１および第２の撮像部１１のアイリス部を同期的に制御する。映像レベル補正判定部６は、映像レベル制御部４が制御を行う条件を判定する。例えば、アイリスを動作させた直後を検出し、映像レベル制御を行う。
【００１６】
（２．立体撮像装置の動作）
立体撮像装置１０００の映像レベル調整の動作および効果について、図１および図２を用いて説明する。
【００１７】
図２は、実施の形態１の映像レベル調整動作を説明するための模式図である。図２（ａ）に画面イメージ、図２（ｂ）に映像レベル波形の模式図を示す。画面の中央付近に白い被写体が映っており、アイリスの機構的ガタのため第２の撮像部１１側のアイリスが少し絞られた状態で停止した場合を想定している。
【００１８】
立体撮像装置１０００の絞りを変更するため、撮影者がアイリスリングなどを操作すると、第１の撮像部１および第２の撮像部１１が連動して動作するように、アイリス連動制御部７が第１の撮像部１および第２の撮像部１１のアイリス駆動部に制御信号を出力する。出力された制御信号に従い、駆動回路で駆動され、実際のアイリス機構部が動作する。このとき、第１の撮像部１および第２の撮像部１１の駆動回路の特性ばらつき、モータやセンサの取付位置の誤差に対する補正は、製造時の調整により第１の撮像部１および第２の撮像部１１の補正値を用いることで、すでに補正しており均一化がされているとする。しかしながら、アイリス可動部分のガタの影響は、製造時の調整では補正されないため、完全に連動して動く場合もあれば、少し異なる位置でアイリスが停止する場合も発生する。
【００１９】
今、図２に示すように、絞りを開く操作をしたところ、第２の撮像部１１側のアイリスが少し絞られて停止したとする。アイリス連動制御部７は、複数のアイリス駆動部に駆動用制御信号を出力するとともに、映像レベル補正判定部６に変更中や停止中などのステータス情報を出力する。
【００２０】
映像レベル補正判定部６は、アイリスの駆動ステータス情報より、ガタが発生する可能性を判定する。アイリスを変更し、停止した場合には、ガタが発生した可能性があると判断し、映像レベル制御部４にガタ発生可能性信号、すなわち映像レベル補正を実施するための信号を出力する。
【００２１】
一方で、第２の撮像部１１側のアイリスが少し絞られて停止しているため、第２の撮像ユニットの映像レベルは、図２（ｂ）の映像レベル波形に示すように、第１の撮像ユニットの映像レベル波形に比較して全体に映像レベルが低くなっている。
【００２２】
映像レベル検出部３は、まず第１の撮像ユニット１００の映像信号より、映像レベルが最大のブロックを検出する。その結果、白い被写体が映っている水平方向２番目、垂直方向２番目のブロック領域が検出され、映像レベルの最大値＝８０ＩＲＥを検出する。
【００２３】
次に第１の撮像ユニット１００で検出したブロックと同じ位置かつ同じ領域サイズのブロックについて、第２の撮像ユニット２００の映像レベルを算出し、７６ＩＲＥを検出し、第１の映像情報、第２の映像情報として、それぞれの映像レベルの最大値（８０ＩＲＥおよび７６ＩＲＥ）を出力する。
【００２４】
映像レベル制御部４は、映像レベル補正判定部６からのガタ発生可能性信号が検出されると、映像レベル補正動作を実施する。すなわち、第１の映像情報と第２の映像情報が同じになるように第２の撮像部１１が出力する映像のゲインを算出し（この場合、８０／７６倍である）、第２の撮像ユニット２００のゲイン調整部５への出力を更新する。
【００２５】
その結果、第２の撮像ユニット２００のゲイン調整部５は、第２の撮像部１１の映像信号を８０／７６倍して出力し、アイリスのガタの影響を補正し、第１の撮像ユニット１００と第２の撮像ユニット２００の映像レベルを自動的にそろえることができる。
【００２６】
重要なポイントは、ガタの発生による映像レベルの不一致を、ガタが発生するたびに補正動作を実施することで解決している点である。すなわち、ガタが発生する可能性があるたびに複数の撮像ユニットごとの映像レベルがそろうようにゲイン調整を自動で実施している。
【００２７】
したがって、製造時の調整などで補正できないアイリス可動部のガタの影響による映像レベルの不一致が発生するという問題点を、本実施の形態の立体撮像装置１０００は、解決できる。
【００２８】
また、映像レベル制御部４は、映像レベル補正判定部６のガタ発生可能性信号が検出された場合のみ第２の撮像ユニット２００のゲインを更新するため、通常時の誤動作を抑制することができ、安定した映像レベル自動調整動作を実現できる。
【００２９】
（３．まとめ）
以上のように、本実施の形態にかかる立体撮像装置１０００は、第１の撮像部１および第２の撮像部１１で撮像した左右の映像からなる立体映像を取得する立体撮像装置であって、第１の撮像部１および第２の撮像部１１で撮像した映像の映像レベルを検出する映像レベル検出部３と、第２の撮像部１１で撮像した映像の映像レベルを制御する映像レベル制御部４と、第２の撮像部１１で撮像した映像のゲインを調整するゲイン調整部５と、第１の撮像部１および第２の撮像部１１のアイリスを連動して制御するアイリス連動制御部７と、アイリス連動動作に基づきガタの発生可能性を判定する映像レベル補正判定部６と、を備え、ガタが発生した可能性がある場合に、第１の撮像部１および第２の撮像部１１で撮像した映像の映像レベルがそろうようにゲイン調整を実施することで、第１の撮像ユニット１００および第２の撮像ユニット２００の映像レベルを安定的にそろえることができる。
【００３０】
なお、映像レベル検出部３の出力として、最大映像レベルを用いる場合について説明したが、映像レベルの全画面平均値でも、最大値と全画面平均値との重み付け演算結果などでもよい。
【００３１】
なお、映像レベル補正判定部６は、アイリスの動作ステータスよりガタの発生可能性を判定し出力すると説明したが、さらに加速度センサなどの出力を利用し、立体撮像装置に加振が発生した場合や、立体撮像装置が傾いた場合も、ガタが発生した可能性があると判断するようにしてもよい。
【００３２】
なお、映像レベル検出部３、映像レベル制御部４および映像レベル補正判定部６は、回路ブロックとして説明したが、マイコンなどのソフトウエア処理で実現してもよい。
【００３３】
なお、本実施の形態では、２つの撮像ユニットを用いて立体映像を撮像する形態について説明したが、３つ以上の撮像ユニットを用いて、立体映像やマルチビュー映像を撮像する際にも適用可能である。この場合、ある撮像ユニットでの映像レベルと同じになるように他の２つ以上の撮像ユニットのゲイン調整を行う。これにより、３つ以上の撮像ユニットを用いる場合も、撮像ユニット間で映像レベルを安定的にそろえることができる。
【００３４】
（実施の形態２）
（１．立体撮像装置の構成）
図３は、実施の形態２における立体撮像装置２０００の構成を示すブロック図である。
【００３５】
図３に示すように、立体撮像装置２０００は、第１の撮像ユニット１００と、第２の撮像ユニット２００と、映像情報検出部８と、映像情報検索部９と、映像レベル制御部４と、映像レベル補正判定部６と、アイリス連動制御部７と、で構成されている。
【００３６】
第１の撮像ユニット１００は、第１の撮像部１と信号処理部２と、で構成されている。第２の撮像ユニット２００は、第２の撮像部１１とゲイン調整部５と、信号処理部１２と、で構成されており、実施の形態１と同一のブロックは同じ番号を用いている。
【００３７】
実施の形態１との相違は、映像レベル検出部３のかわりに、第１の撮像ユニット１００の映像情報検出用に、映像情報検出部８が、第２の撮像ユニット２００の映像情報検出用に映像情報検索部９とが挿入されている点である。すなわち、映像情報検出部８で検出した第１の撮像ユニット１００の映像情報と同一の被写体を示す第２の撮像ユニット２００の映像領域を検索して第２の映像情報とし、第１の撮像ユニット１００の映像情報および第２の撮像ユニット２００の映像情報の映像レベルが等しくなるように第２の撮像ユニット２００のゲインを調整する点である。
【００３８】
（２．立体撮像装置の動作）
以上のように構成された実施の形態２における立体撮像装置２０００の動作について、特に変更部分の動作について、図３、図４および図５を用いて詳しく説明する。
【００３９】
図４は、立体映像の原理を説明するための模式図である。図５は、実施の形態２の映像レベルの調整動作を説明するための模式図である。
【００４０】
まず図４を用いて立体画像の原理について説明する。図４において、左右に配置される第１の撮像部１および第２の撮像部１１は、一定間隔（以下、ステレオベース）離して、光軸が交差するように配置されている。第１の撮像部１および第２の撮像部１１の光軸がなす角度を輻輳角、交差する位置を基準面と呼ぶ。ステレオベースは、平均的な成人の両目間隔である６５ｍｍ程度に設定されることが多いが、この間隔に限るものではない。
【００４１】
中央に配置された被写体であるりんごが、どのように見えるかを、りんごの位置ごとに示す。図４（ａ）に基準面より手前にりんごがある場合、図４（ｂ）に基準面にりんごがある場合、図４（ｃ）に基準面より奥側にりんごがある場合を示す。
【００４２】
図４（ａ）に示す基準面より手前にりんごがある場合は、Ｌ側の映像は中心より右側にりんごが映っており、Ｒ側の映像は中心より左側にりんごが映っている。これらＬ／Ｒ側の映像を、それぞれ人間の左目／右目にみせると、脳で合成され、手前に飛び出しているように見える。
【００４３】
また、図４（ｂ）に示す基準面にりんごがある場合は、Ｌ／Ｒ側とも中央にりんごが映っており、この場合、脳で合成されると基準面位置にすなわち表示装置がある位置に、りんごがあるように見える。
【００４４】
さらに、図４（ｃ）に示す基準面より奥側にりんごがある場合は、Ｌ側の映像は中心より左側にりんごが映っており、Ｒ側の映像は中心より右側にりんごが映っている。これらＬ／Ｒ側の映像を、それぞれ人間の左目／右目にみせると、脳で合成され、奥まって見える。
【００４５】
ここで重要な点は、被写体と基準面位置との相対的な位置関係により、Ｌ側、Ｒ側とも画面に対して被写体が映っている位置が移動する点である。
【００４６】
したがって、Ｌ側での被写体の映っている位置にＲ側も同じ被写体が映っているとはかぎらない。この点に注目しながら、実施の形態２での映像レベル調整動作をさらに詳しく説明する。
【００４７】
図５に映像レベル調整を実施する場合のＬ／Ｒ側の映像の一例を示す。画面の中央付近に輝度の高い第１の被写体αと、画面左上付近に輝度の高い第２の被写体βが映っている。第１の被写体αの位置関係として、図５（ａ）に基準面より手前にある場合、図５（ｂ）に基準面にある場合、図５（ｃ）に基準面より奥側にある場合を考え、第２の被写体βはいずれも基準面より奥側にあるものとする。
【００４８】
まず第２の被写体βが基準面より奥側にあることにより、Ｌ側の映像では、左側にシフトし、Ｒ側の映像では、右側にシフトした位置に映っている。このため、Ｌ側の映像では、第２の被写体βの全体が映っていないが、Ｒ側の映像では、第２の被写体βの全体が映っている状況になっている。
【００４９】
この場合、まず、Ｌ側の映像より、映像情報検出部８において、輝度の高い被写体が映っている位置、領域サイズおよび映像データを検出する。その結果、第１の被写体αが主にうつっている水平方向２番目、垂直方向３番目のブロック領域が検出される。すなわち、第１の映像情報について、位置は、水平２番目、垂直３番目のブロック領域、領域サイズは、点線で示すブロックサイズ、映像データとしては、図５（ａ）では、第１の被写体αおよび第１の被写体αの左側の映像部分となり、図５（ｂ）では、ほぼ第１の被写体α全体となり、図５（ｃ）では第１の被写体αおよび第１の被写体αの右側の映像部分となる。
【００５０】
次に検出された第１の映像情報（画面位置、領域サイズ、映像データ）を基に映像情報検索部９は第２の映像出力のうち、第１の映像情報と最も関連の深い映像を検索する。具体的には、映像情報検索部９は、第１の映像情報の領域サイズで、映像マッチング処理を第１の画面位置周辺について検索を順次行い、最もマッチングする第２の映像に対する映像情報（画面位置、領域サイズ、映像データ）を決定する。
【００５１】
すなわち、映像情報検索部９は、図５（ａ）のＲ側では、Ｌ側位置より左へシフトした中央よりやや左側の映像領域を、図５（ｂ）のＲ側では、Ｌ側と同じ中央の映像領域を、図５（ｃ）のＲ側では、Ｌ側位置より右へシフトした中央やや右寄りの映像領域を検出できる。
【００５２】
さらに、映像レベル制御部４は、映像情報検出部８の検出した第１の映像情報と映像情報検索部９が検索した第２の映像情報より、映像レベルが同じになるように第２の撮像部１１で撮像した映像のゲインを制御することで、映像レベルを自動的にそろえることができる。
【００５３】
また、実施の形態１と同様に、映像レベル補正判定部６は、アイリスの駆動ステータス情報より、ガタが発生する可能性を判定し、映像レベル補正を実施するか否かを判定している。したがって、ガタが発生する可能性のあるときにのみ、映像レベル制御を行うことで、定常状態での誤動作などを抑制できる。
【００５４】
なお、映像レベル補正を実施するか否か、すなわち、ガタが発生した可能性を判定する方法として、アイリス連動制御部７の動作情報を用いている場合を説明したが、別途加速度センサなどの情報も併用すれば、加振による影響や撮像装置が傾いた場合によるガタの影響も補正することが可能である。
【００５５】
ここで重要なポイントは、第１の撮像ユニット１００と第２の撮像ユニット２００で同じ被写体の映像データを用い、さらにガタが発生する可能性を判定したうえで映像レベルの自動調整を行っている点である。
【００５６】
すなわち、第１の被写体αと基準面との位置関係により、Ｒ側では、Ｌ側と同じ画面位置に映っていない場合があるのを、Ｒ側は、映像マッチングで検索することで、第１の被写体αの位置を調整し、より正確で、より安定した映像レベル調整動作を実現している。
【００５７】
すなわち、Ｌ側、Ｒ側ともそれぞれ独立に輝度の高い被写体を検索して、映像情報を検出する場合では、図５の例では、Ｌ側は、第１の被写体αを映像情報として検出し、Ｒ側は、第２の被写体βを映像情報として検出する可能性が高い。この場合、Ｌ側とＲ側で映像レベルが大きく異なる結果となるが、本実施の形態の立体撮像装置２０００は、この問題点を解決できる。
【００５８】
また、Ｌ側で検出した位置をそのままＲ側に適応する場合では、例えば図５（ａ）の基準面より第１の被写体αが手前にある場合には、第１の被写体αが映っている場所が微妙に異なるため、同じ水平２番目、垂直３番目のブロックの映像データで映像レベルを調整したとしても、それぞれＬ側は、第１の被写体αの左側の背景の映像の影響を少なからず受け、Ｒ側は、第１の被写体αの右側の背景の映像の影響をうけるため、精度の高い映像レベル調整が不可能となり、Ｌ側とＲ側で映像レベルが微妙に異なるといった結果となるが、本実施の形態の立体撮像装置２０００は、この問題点を解決できる。
【００５９】
（３．まとめ）
以上のように、本実施の形態にかかる立体撮像装置２０００は、第１の撮像部１および第２の撮像部１１で撮像した左右の画像からなる立体画像を取得する立体撮像装置であって、第１の撮像部１で撮像した映像中の第１の高輝度部を検出する映像情報検出部８と、第１の撮像部１で検出された映像情報と同一の被写体を示す第２の撮像部１１で撮像した映像中の領域を検索し、第２の映像情報とする映像情報検索部９と、を備え、第１の映像情報と第２の映像情報より映像レベルがそろうように第２の撮像部１１で撮像した映像のゲインを調整することで、第１の撮像ユニット１００および第２の撮像ユニット２００の映像レベルを安定的にそろえることができる。
【００６０】
なお、検索領域は、水平方向だけ検索しても、水平、垂直の両方向とも検索してもよい。水平、垂直の両方向とも検索すると、第１の撮像ユニット１００と第２の撮像ユニット２００の垂直ずれがあった場合でも、安定的に映像レベルを調整することができる。
【００６１】
また、さらに、測距センサなどからの距離情報、ステレオベース、輻輳角などの情報より、水平方向のシフト量をあらかじめ推測し、映像検索を行ってもよい。この場合、検索時間の大幅な短縮ができる。
【００６２】
また、映像マッチング処理は、いわゆる動きベクトル検出処理と処理内容が似通っているため、回路共用すると低コストなどの効果も期待できる。
【００６３】
なお、映像情報検出部８、映像情報検索部９、映像レベル制御部４および映像レベル補正判定部６は、回路ブロックとして説明したが、マイコンなどのソフトウエア処理で実現してもよい。
【００６４】
なお、映像レベル補正判定部６は、ガタの発生可能性を判定する内容で説明したが、さらに、映像情報検索部９での検索結果の映像マッチング度合いを考慮し、映像レベル制御部４を実施するか否かを判定してもよい。すなわち、映像情報検索部９での検索結果の映像マッチング度が低い場合は、異なる映像である可能性が高いため、映像レベルの調整動作を禁止するように制御すると、立体撮像装置２０００全体の誤動作を抑制でき、より安定した映像レベル自動調整機能を実現できる。
【００６５】
なお、本実施の形態では、２つの撮像ユニットを用いて立体映像を撮像する形態について説明したが、３つ以上の撮像ユニットを用いて、立体映像やマルチビュー映像を撮影する際にも適用可能である。この場合、ある撮像ユニットで検出した映像領域と同じ被写体を示す領域を、他の２つ以上の撮像ユニットで検索し、他の２つ以上の撮像ユニットごとのゲイン調整を行うことで、３つ以上の撮像ユニットを用いる場合も、撮像ユニット間で映像レベルを安定的に合わせることができる。
【産業上の利用可能性】
【００６６】
本実施の形態にかかる立体撮像装置は、複数の撮像ユニットを備えた立体撮像装置において、複数の撮像ユニットから得られる映像情報に基づき、映像レベル調整を実施することで、アイリスのガタなどで発生する複数の撮像ユニット間での映像レベルの差をなくし、放送用、業務用、およびコンシューマ用の立体撮像装置に適用することができ、有用である。
【符号の説明】
【００６７】
１０００、２０００  立体撮像装置
１００  第１の撮像ユニット
２００  第２の撮像ユニット
１  第１の撮像部
１１  第２の撮像部
２、１２  信号処理部
３  映像レベル検出部
４  映像レベル制御部
５  ゲイン調整部
６  映像レベル補正判定部
７  アイリス連動制御部
８  映像情報検出部
９  映像情報検索部
【図１】
2012134688.tif 000003
【図３】
2012134688.tif 000004
【図２】
2012134688.tif 000005
【図４】
2012134688.tif 000006
【図５】
2012134688.tif 000007