(57)【要約】【課題】複数の撮像部を用いて撮像を行う複眼撮像装置において、各撮像部に構成されるレンズ、ＣＭＯＳセンサ等の部品にはばらつきがあり、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する等利便性の点で問題があった。この問題を解決した複眼撮像装置を提供することが課題になっていた。【解決手段】実施形態の複眼撮像装置は、第１の撮像部および第２の撮像部を用いて撮像を行う撮像手段を備える。また、前記第１の撮像部から出力された第１の映像信号の輝度成分および前記第２の撮像部から出力された第２の映像信号の輝度成分比を算出する算出手段を備える。また、前記算出された輝度成分比に基づいて前記第２の撮像部の撮像露光時間を設定する設定手段を備える。【選択図】  図１
2012065204.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像部および第２の撮像部を備える複眼撮像装置において、
前記第１の撮像部および前記第２の撮像部を用いて撮像を行う撮像手段と、
前記第１の撮像部から出力された第１の映像信号の輝度成分および前記第２の撮像部から出力された第２の映像信号の輝度成分比を算出する算出手段と、
前記算出された輝度成分比に基づいて前記第２の撮像部の撮像露光時間を設定する設定手段を備える複眼撮像装置。
【請求項２】
前記第２の撮像部の撮像露光時間は、予め設定されている前記第１の撮像部の撮像露光時間に基づいて設定される請求項１に記載の複眼撮像装置。
【請求項３】
前記第１の映像信号の輝度成分および前記第２の映像信号の輝度成分を蓄積する蓄積手段をさらに備え、この蓄積された前記第１の映像信号の輝度成分および前記第２の映像信号の輝度成分を用いて前記輝度成分比が算出される請求項１に記載の複眼撮像装置。
【請求項４】
前記蓄積された第１の映像信号の輝度成分および第２の映像信号の輝度成分の比較は、単位時間あたりの輝度成分を用いて比較する請求項１または請求項３に記載の複眼撮像装置。
【請求項５】
前記輝度成分比の算出は、飽和部を除外した前記第１の映像信号の輝度成分および前記第２の映像信号の輝度成分を用いて行われる請求項３に記載の複眼撮像装置。
【請求項６】
第１の撮像部および第２の撮像部を備える複眼撮像装置に用いられる信号処理装置において、
第１の撮像部で撮像され出力された第１の映像信号の輝度成分および第２の撮像部で撮像され出力された第２の映像信号の輝度成分比を算出する算出手段と、
前記算出された輝度成分比に基づいて第２の撮像部の撮像露光時間を設定する信号を出力する信号出力手段を備える信号処理装置。
【請求項７】
第１の撮像部および第２の撮像部を用いて撮像を行うステップと、
前記第１の撮像部から出力された第１の映像信号の輝度成分および前記第２の撮像部から出力された第２の映像信号の輝度成分比を算出するステップと、
前記算出された輝度成分比に基づいて前記第２の撮像部の撮像露光時間を設定するステップを備える複眼撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、複数の撮像部を用いて撮像を行う複眼撮像装置に関する。
【背景技術】
【０００２】
近年、立体画像（３Ｄ画像）を表示可能な家庭用ＴＶやＰＣ等が普及しつつある。
そして、これらの立体画像表示機器等で表示可能な立体画像を撮像可能な、複数の撮像部を用いて撮像を行う複眼撮像装置の需要も増加している。
複眼撮像装置において露出の自動的な制御、すなわち自動露出制御（ＡＥ制御）を行う場合、複数の撮像部を備えるため、複数の撮像部から出力される映像信号レベル、特に輝度レベルを整合させる必要がある。
【０００３】
しかし、実際には、撮像部に構成されるレンズ、ＣＭＯＳセンサ等の部品にはばらつきがあり、例えば同じ被写体を同じ露光時間で撮像しても、複数の撮像部から出力される映像信号に輝度差が発生してしまうという問題があった。
【０００４】
この問題を解決するために、例えば、複数の撮像部を独立に制御させ輝度差を補正する方法が考えられる。
しかし、この方法は、複数の撮像部で独立にフィードバックループが動くため、被写体の変化による明るさの変化点が一致しない場合があり、その結果、被写体の輝度変化がある環境において輝度差が発生する可能性があり、問題があった。
【０００５】
また、他に、複数の撮像部の感度差を予め補正しておく方法が考えられる。
しかし、この方法は、例えば撮像部のレンズを交換した際など使用環境の変化に応じ、その都度、ユーザ自身が輝度補正を実施する必要があり、利便性の点で問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１７４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
複数の撮像部を用いて撮像を行う複眼撮像装置において、各撮像部に構成されるレンズ、ＣＭＯＳセンサ等の部品にはばらつきがあり、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する等利便性の点で問題があった。
【０００８】
この問題を解決した複眼撮像装置を提供することが課題になっていた。
【課題を解決するための手段】
【０００９】
実施形態の複眼撮像装置は、第１の撮像部および第２の撮像部を用いて撮像を行う撮像手段を備える。
また、前記第１の撮像部から出力された第１の映像信号の輝度成分および前記第２の撮像部から出力された第２の映像信号の輝度成分比を算出する算出手段を備える。
【００１０】
また、前記算出された輝度成分比に基づいて前記第２の撮像部の撮像露光時間を設定する設定手段を備える。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係わる複眼撮像装置の構成を示すブロック図。
【図２】実施形態に係わる複眼撮像装置の第１の撮像部における自動露出制御の構成を説明するブロック図。
【図３】実施形態に係わる複眼撮像装置において第１の撮像部および第２の撮像部の輝度成分比を算出するために積算される映像信号の輝度成分を説明する図。
【図４】実施形態に係わる複眼撮像装置において輝度成分比を算出する際に、積算された映像信号の輝度成分から除外される領域を説明する図。
【図５】実施形態に係わる複眼撮像装置の動作を説明するフローチャート。
【図６】他の実施形態に係わる複眼撮像装置の構成を示すブロック図。
【図７】実施形態に係わる複眼撮像装置の動画における補正動作の一例を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、実施の形態を説明する。
図１は、実施形態に係わる複眼撮像装置の構成を示すブロック図である。
符号１は複眼撮像装置である。符号１１はカメラヘッド、符号１２はＣＣＵ（カメラコントロールユニット）、符号１３は合成処理部（合成ＬＳＩ）、符号１４は映像表示部（ＬＣＤ）である。
【００１３】
符号１５は、ＣＣＵ（カメラコントロールユニット）１２に構成される信号処理部（信号処理ＬＳＩ）である。
符号１６ａはレンズ１、符号１６ｂはレンズ２、符号１７ａは撮像部、符号１７ｂは撮像部２、符号１８ａはＡ／Ｄ変換部１、符号１８ｂはＡ／Ｄ変換部２である。
符号１９ａは線形処理部１、符号１９ｂは線形処理部２、符号２０ａは積算部１、符号２０ｂは積算部２、符号２１ａは信号処理部１、符号２１ｂは信号処理部２である。
【００１４】
符号３０はＭＰＵである。
カメラヘッド１１には、レンズ１（１６ａ）、レンズ２（１６ｂ）、撮像部１（１７ａ）、撮像部２（１７ｂ）、Ａ／Ｄ変換部１（１８ａ）、Ａ／Ｄ変換部２（１８ｂ）が構成される。
【００１５】
また、ＣＣＵ（カメラコントロールユニット）１２には上記のように、信号処理部（信号処理ＬＳＩ）１５が構成される。
また、信号処理部（信号処理ＬＳＩ）１５には、線形処理部１（１９ａ）、線形処理部２（１９ｂ）、積算部１（２０ａ）、積算部２（２０ｂ）、信号処理部１（２１ａ）、信号処理部２（２１ｂ）が構成される。
【００１６】
この実施の形態においては、カメラヘッド１１は、複眼撮像装置１の筐体内部に収納され、いわゆるカメラ一体型の構成になっている。
また、図に示すように、複眼撮像装置１は複数、すなわち少なくとも２系統の撮像部および信号処理部を備えている。
ここでは、第１の系統は、レンズ１（１６ａ）で集光された光が撮像部１（１７ａ）で撮像され、信号処理ＬＳＩ（１５）で映像処理され、映像出力１が出力される系統である。また、第２の系統は、レンズ２（１６ｂ）で集光された光が撮像部２（１７ｂ）で撮像され、信号処理ＬＳＩ（１５）で映像処理され、映像出力２が出力される系統である。
【００１７】
まず、上記第１の系統を説明する。
複眼撮像装置１において撮像が行われると、レンズ１（１６ａ）で集光され、この集光された光が撮像部１（１７ａ）に入力される。撮像部１（１７ａ）はＣＣＤやＣＭＯＳセンサが構成されるが、ここではＣＭＯＳセンサを利用する。そして、ＭＰＵ３０によって撮像部１（１７ａ）の電子シャッタが制御され撮像が行われる。
【００１８】
撮像によって撮像部１（１７ａ）から出力された映像信号はＡ／Ｄ変換１（１８ａ）に入力される。Ａ／Ｄ変換１（１８ａ）は入力されたアナログ信号である映像信号をデジタル信号に変換して出力する。
【００１９】
Ａ／Ｄ変換１（１８ａ）から出力されたデジタル信号に変換された映像信号は、信号処理ＬＳＩ（１５）に入力される。
信号処理ＬＳＩ（１５）は、入力されたデジタル信号の映像信号を線形処理部１（１９ａ）に入力する。
線形処理部１（１９ａ）は、Ｇａｉｎ制御部１および、ＷＢ(ホワイトバランス)制御部１を備えている。線形処理部１（１９ａ）は入力されたデジタル信号の映像信号にＧａｉｎ制御および、ＷＢ(ホワイトバランス)制御を行い、Ｇａｉｎ制御および、ＷＢ(ホワイトバランス)制御が行われた映像信号を出力する。
【００２０】
線形処理部１（１９ａ）から出力されたＧａｉｎ制御および、ＷＢ(ホワイトバランス)制御が行われた映像信号は、積算部１（２０ａ）および信号処理部１（２１ａ）に入力される。
【００２１】
積算部１（２０ａ）は、１画面（フレーム）、すなわちＷＢ(ホワイトバランス)制御が行われた映像信号の輝度レベルを積算する回路である。積算部１（２０ａ）は、ＷＢ(ホワイトバランス)制御が行われた映像信号が入力され、輝度レベルを積算し、ＭＰＵ３０に向けて出力する。
【００２２】
ＭＰＵ３０は、ＣＣＵ（カメラコントロールユニット）１２や信号処理部（信号処理ＬＳＩ）１５に接続され、これらを制御する。
また、信号処理部１（２１ａ）は受信した映像信号にγ（ガンマ）補正や輪郭補正等の非線形処理を行い、合成処理部１３に出力する（映像出力１）。
映像出力１の映像は静止画または動画であるが、動画の場合も静止画が連続した映像、すなわち静止画が画面（フレーム）毎にコマ送りされたような信号である。
次に、上記第２の系統を説明する。
上記と同様に、複眼撮像装置１において撮像が行われると、レンズ２（１６ｂ）でも集光され、撮像部２（１７ｂ）に入力される。撮像部２（１７ｂ）もＣＭＯＳセンサを利用する。そして、ＭＰＵ３０によって撮像部２（１７ｂ）の電子シャッタが制御され撮像が行われる。
【００２３】
撮像によって撮像部２（１７ｂ）から出力された映像信号はＡ／Ｄ変換２（１８ｂ）に入力される。Ａ／Ｄ変換２（１８ｂ）は入力されたアナログ信号である映像信号をデジタル信号に変換して出力する。
【００２４】
Ａ／Ｄ変換２（１８ｂ）から出力されたデジタル信号に変換された映像信号は、信号処理ＬＳＩ（１５）に入力される。
信号処理ＬＳＩ（１５）は、入力されたデジタル信号の映像信号を線形処理部２（１９ｂ）に入力する。
線形処理部２（１９ｂ）は、Ｇａｉｎ制御部２および、ＷＢ(ホワイトバランス)制御部２を備えている。線形処理部２（１９ｂ）は入力されたデジタル信号の映像信号にＧａｉｎ制御および、ＷＢ(ホワイトバランス)制御を行い、Ｇａｉｎ制御および、ＷＢ(ホワイトバランス)制御が行われた映像信号を出力する。
【００２５】
線形処理部２（１９ｂ）から出力されたＧａｉｎ制御および、ＷＢ(ホワイトバランス)制御が行われた映像信号は、積算部２（２０ｂ）および信号処理部２（２１ｂ）に入力される。
【００２６】
積算部２（２０ｂ）は、ＷＢ(ホワイトバランス)制御が行われた映像信号が入力され、輝度レベルを積算し、ＭＰＵ３０に向けて出力する。
ＭＰＵ３０は、ＣＣＵ（カメラコントロールユニット）１２や信号処理部（信号処理ＬＳＩ）１５に接続されこれらを制御する。
また、信号処理部２（２１ｂ）は受信した映像信号にγ（ガンマ）補正や輪郭補正等の非線形処理を行い、合成処理部１３に出力する（映像出力２）。
映像出力２の映像も静止画または動画であり、動画の場合は上記と同様に、静止画が連続した映像、すなわち静止画が画面（フレーム）毎にコマ送りされたような映像信号である。
【００２７】
合成処理部１３は、上記映像出力１および映像出力２を受信し、例えば３Ｄ表示等の合成処理を行った映像信号を映像処理部１４に出力する。
映像処理部１４は、映像信号を受信し、ＬＣＤ等の映像表示部に表示出力する。
この実施の形態においては、上記のように少なくとも２系統の撮像部および信号処理部を構成するが、このうちの１系統は自動露出制御を行う。
そして、まず、この自動露出制御を行う１系統から出力される上記映像出力１は、被写体の明るさに応じた適正な明るさを得るようにする。
この実施の形態においては、複数の撮像部から出力される映像信号の輝度成分を、例えば１画面（フレーム）分、それぞれ積算し、このそれぞれ積算された積算値間の輝度比を算出し、この算出された輝度比を用いて複数の撮像部間の撮像に係る露光時間を調整するようにしている。
【００２８】
具体的には、基準とする撮像部の露光時間を決定し、他の撮像部の露光時間は基準とする撮像部の露光時間に上記算出された輝度比を用いて演算し、調整値として求めることが可能である。
【００２９】
まず、基準とする撮像部の露光時間を決定する方法を一例として、説明する。
図２は、実施形態に係わる複眼撮像装置の第１の撮像部における自動露出制御の構成を説明するブロック図である。
ここでは、上記第１の系統の第１の撮像部（１６ａ）を用いて説明する。
この実施の形態においては、撮像部１（１７ａ）は、電子シャッタ機能を有するＣＭＯＳセンサである。
まず、撮像部１（１７ａ）はＭＰＵ３０に制御され、予め設定されている露光時間（Time(t)）で撮像を行う。この予め設定されている露光時間（Time(t)）は、例えば1/60秒である。
【００３０】
電子シャッタ回路を備える撮像部１（１７ａ）のＣＭＯＳセンサで、上記露光時間（Time(t)）で撮像され、上記のように、信号処理ＬＳＩ（１５）の積算回路１（２０ａ）に向けて映像信号が出力される。このとき、この撮像部１（１７ａ）のＣＭＯＳセンサから出力される映像信号は、映像出力信号（Out(t)）である。
【００３１】
信号処理ＬＳＩ（１５）の積算回路１（２０ａ）は、この映像出力信号（Out(t)）を受信し、画像１画面（フレーム）分の映像信号の輝度成分を積算する。この輝度成分が１画面（フレーム）分積算された積算結果を積算結果（Sum(t)）とする。
【００３２】
ＭＰＵ３０には、予め適正露出となるように設定された目標レベル（Ref）が記録されている。そして、ＭＰＵ３０は、上記積算結果（Sum(t)）と上記目標レベル（Ref）との偏差（e(t)）を求め、これをＭＰＵ３０内のコントローラへ入力する。
【００３３】
ＭＰＵ３０内のコントローラは、現在の撮像が行われた露光時間（Time(t)）と上記求められた偏差（e(t)）を用い、この偏差（e(t)）がゼロに近づくように次回の露光時間（Time(t+1)）を算出する。
【００３４】
そして、算出された次回の露光時間（Time(t+1)）を撮像部１（１７ａ）のＣＭＯＳセンサに設定する。
なお、露光時間の設定は、一般的に、輝度変化が急激に発生しないよう、ある程度の時間をかけて偏差がゼロになるように設定される。
この実施の形態においては、上記のフィードバック制御を行うことにより、第１の撮像部（１６ａ）の自動露出制御が実現される。
このようにして、基準となる撮像部１（１７ａ）の露光時間が決定される。
なお、上記説明においては、説明を簡略化するため単板式の電子シャッタを用いて説明を行ったが、この実施の形態においては、単板式の電子シャッタを適宜３板式の電子シャッタに適用することも可能である。
【００３５】
次に、複数の撮像部から出力される映像信号の輝度成分の比を求め、この輝度比を用いて各撮像部の露光時間を調整する方法を一例として、説明する。
複眼撮像装置においては、上記映像出力２は上記映像出力１と同じ明るさであることが望ましい。
しかし、例えば部品のバラツキ等により、上記レンズ１（１６ａ）とレンズ２（１６ｂ）の絞りに差があったり、撮像部１（１７ａ）と撮像部２（１７ｂ）の感度に差がある場合は、撮像部１（１７ａ）と撮像部２（１７ｂ）の露光時間を同じ値に設定しても、上記映像出力１と映像出力２では輝度差が発生してしまう。
【００３６】
そこで、この実施の形態においては、現在の撮像の露光時間と上記映像信号の輝度成分の積算値から、撮像部１（１７ａ）および撮像部２（１７ｂ）の２系統それぞれの単位時間当たりの積算値を求める。
【００３７】
そして、例えば、これが１：１となるように補正を行うことで、映像出力２を映像出力１と同じ明るさになるように制御することが可能である。
ここで、第１の系統の時間tでの積算値をSum1(t)、第１の系統の時間tでの露光時間をTime1(t)、第１の系統の時間t+1での露光時間をTime1(t+1)、第２の系統の時間tでの積算値をSum2(t)、第２の系統の時間tでの露光時間をTime2(t)、第２の系統の時間t+1での露光時間をTime2(t+1)と定義する。
【００３８】
第１の系統、第２の系統の単位時間あたりの積算値は、次のように求められる。
第１の系統の単位時間当たりの積算値は式（１）で求められる。
【００３９】
【数１】
2012065204.tif 000003
【００４０】
第２の系統の単位時間当たりの積算値は式（２）で求められる。
【００４１】
【数２】
2012065204.tif 000004
【００４２】
また、Sum_per_Time(t)は被写体に依存し変化するが、Sens_Ratio(t)は常に一定となり、Sum_per_Time1(t)とSum_per_Time2(t)の差がレンズ、撮像部を含めた感度の比率に相当する。
【００４３】
上記のように、第１の系統は上記説明した自動露出制御により動作する。その結果、次回の露光時間Time1(t+1)が算出されるが、第２の系統の次回の露光時間Time2(t+1)は、上記感度比を打ち消すように、以下の式（３）のように露光時間の設定値を補正する。
【００４４】
【数３】
2012065204.tif 000005
【００４５】
ここで、第１の系統と第２の系統の感度比は以下式（４）の通りである。
【００４６】
【数４】
2012065204.tif 000006
【００４７】
例えば、第１の系統と第２の系統の感度比が１：２の場合は、上記Sens_Ratio(t)＝0.5となり、第２の系統の露光時間は、第１の系統の露光時間の半分の設定となる。
【００４８】
なお、上記は簡単な感度比を例にとり説明したが、通常は上記感度比は１０〜２０％程度が予想される。
この実施の形態においては、自動露出制御（ＡＥ制御）を１つの撮像部（ここでは第１の系統）において実施するため、フィードバックループは１つとなり第１の系統と第２の系統の明るさの変化を一致させることが可能である。
【００４９】
図３は、実施形態に係わる複眼撮像装置において第１の撮像部および第２の撮像部の輝度成分比を算出するために積算される映像信号の輝度成分を説明する図である。
【００５０】
上記のように、この実施の形態においては、撮像部１（１７ａ）から出力された映像信号の輝度成分が１画面（フレーム）分、積算部１（２０ａ）に積算される。また、同様に、撮像部２（１７ｂ）から出力された映像信号の輝度成分が１画面（フレーム）分、積算部２（２０ｂ）に積算される。
【００５１】
ここでは、積算部１（２０ａ）を例にとって説明する。
上記のように、積算部１（２０ａ）には１フレーム（画面）分の映像信号の輝度成分が積算される。このとき、積算部１（２０ａ）には、例えば、１フレーム（画面）分の映像信号の輝度成分の入力積算値は、３×３画素の８ビットを１単位とした８×６個分の信号が積算される。
【００５２】
なお、上記説明は一例であり、積算ブロック数、ビット数、１ブロックの画素数の制限は特に無い。
図４は、実施形態に係わる複眼撮像装置において輝度成分比を算出する際に、積算された映像信号の輝度成分から除外される領域を説明する図である。
ここでも、第１の系統を例にとり、説明する。
この実施の形態においては、積算値と露光時間が比例関係にあることが前提となっているが、実際には、撮像部のダイナミックレンジを超えた光量が入射されると、撮像部から出力される信号が飽和し、積算値と露光時間が非線形となってしまう可能性がある。
【００５３】
そこで、この実施の形態においては、上記のように積算部１（１７ａ）の積算回路の１画面（フレーム）分を複数の領域に分割し、個別に積算値を取得できるような構成としている。
【００５４】
そして、図に示すように領域ａ１、領域ａ２、領域ｂ１、領域ｂ２に飽和信号が含まれているとする。符号５０は飽和信号が含まれる領域である。ここでは例えば、太陽が撮像されている。
【００５５】
ここでは、この飽和信号が含まれる領域５０以外は、積算値と露光時間が比例関係にあるので、この実施の形態においては、この飽和信号が含まれる領域５０を除外し、残りの領域の単位時間当たりの映像信号の輝度成分の積算値を求めることで、正しい結果を得ることが可能である。
【００５６】
また、次に、感度比を安定化させる方法について説明する。
例えば、撮像部１（１７ａ）にランダムノイズ等が混入し、入射光量が一定の場合でも映像信号の輝度成分の積算値が変動する場合が考えられる。
このとき、撮像部１（１７ａ）の感度比もノイズの影響を受け、変動するため、第１の系統の映像出力と第２の系統の映像出力に微小な差が発生する可能性がある。
この実施の形態においては、これを回避することが可能である。すなわち、撮像部１（１７ａ）の感度比を、例えば複数フレーム分取得し、平滑化することで安定化させることが可能である。次の式（５）は例えば、５フレームの平均をとるフィルタの例である。
【００５７】
【数５】
2012065204.tif 000007
【００５８】
なお、平滑化はこれに限られず、他の方法を用いることも可能である。
図５は、実施形態に係わる複眼撮像装置の動作を説明するフローチャートである。
符号Ｓ１００はここでの開始ステップである。続いて符合Ｓ１０１を付したステップへ進む。
符号Ｓ１０１は撮像部露光時間の補正指示を受信したかを判別するステップである。撮像部露光時間の補正指示は、例えば複眼撮像装置１の電源がＯＮとなった場合に、これに連動して複眼撮像装置１のＭＰＵ３０が指示するように構成することが可能である。また、撮像部１（１７ａ）または撮像部２（１７ｂ）が交換された際等に、図示しない補正指示ボタンが操作されることで補正指示を受信するように構成することも可能である。
【００５９】
また、図７の説明で後述するように、動画の場合はこの補正を毎フレーム行うことも可能である。
補正指示を受信したと判別した場合は符号Ｓ１０２を付したステップへ進む（Ｙｅｓ）。補正指示を受信しないと判別した場合は上記処理を繰り返す（Ｎｏ）。
符号Ｓ１０２は撮像部１（１７a）は、ＭＰＵ３０に設定された撮像露光時間（例えば1/60秒）で撮像するステップである。続いて符合Ｓ１０３を付したステップへ進む。
【００６０】
符号Ｓ１０３はＭＰＵ３０は撮像部１（１７a）から出力された映像信号の輝度成分を１フレーム分積算し、予め決められた目標レベルとの偏差を求めるステップである。続いて符合Ｓ１０４を付したステップへ進む。
【００６１】
符号Ｓ１０４は偏差がゼロに近づくようにフィードバック制御を行い、１フレームの撮像露光時間をＭＰＵ３０に設定するステップである。例えば、撮像露光時間を1/60±α秒にする。続いて符合Ｓ１０５を付したステップへ進む。
【００６２】
符号Ｓ１０５は撮像部１（１７a）および撮像部２（１７ｂ）は、MPU30に上記撮像部１（１７a）に設定された撮像露光時間（1/60±α秒）で同時に撮像するステップである。続いて符合Ｓ１０６を付したステップへ進む。
【００６３】
符号Ｓ１０６は撮像部１（１７a）から出力された映像信号の輝度成分を１フレーム分積算するステップである。続いて符合Ｓ１０７を付したステップへ進む。
符号Ｓ１０７は上記積算された輝度成分に上記撮像部１（１７a）に設定された撮像露光時間（1/60±α秒）で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合Ｓ１０８を付したステップへ進む。
【００６４】
符号Ｓ１０８は撮像部２（１７ｂ）から出力された映像信号の輝度成分を１フレーム分積算するステップである。続いて符合Ｓ１０９を付したステップへ進む。
符号Ｓ１０９は上記積算された輝度成分に上記撮像部１（１７a）に設定された撮像露光時間（1/60±α秒）で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B２を求めるステップである。続いて符合Ｓ１１０を付したステップへ進む。
【００６５】
符号Ｓ１１０は両者の輝度成分比、例えばB1/B2を求めるステップである。続いて符合Ｓ１１１を付したステップへ進む。
符号Ｓ１１１は上記輝度成分比に基づいて撮像部２（１７ｂ）の撮像露光時間を求めるステップである。例えば、MPU３０に設定されている撮像部１（１７a）の撮像露光時間（1/60±α秒）をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部２（１７ｂ）の撮像露光時間を求め、MPU30に設定する。（例えば、撮像部２の撮像露光時間＝（1/60±α秒）×（１／（B1/B2）））続いて符合Ｓ１１２を付したステップへ進む。
【００６６】
符号Ｓ１１２はMPU30は設定されている撮像露光時間に基づいて撮像部１（１７a）および撮像部２（１７ｂ）の撮像を制御するステップである。続いて符合Ｓ１１３を付したステップへ進む。
【００６７】
符号Ｓ１１３は終了ステップであり、ここでの処理は終了する。
また、上記図１を用いた説明においては、電子シャッタを制御して自動露出制御を行う技術を説明したが、この実施の形態においては、利得制御（ゲイン制御）を用いて自動露出制御を行うことも可能であり、この例を次の通り説明する。
【００６８】
時間tにおける上記第１の系統と上記第２の系統の感度比Sens_Ratio(t)は、次の式（６）、（７）、（８）により算出される。
【００６９】
【数６】
2012065204.tif 000008
【００７０】
ここで、Sum_per_Gain1(t)は第１の系統の時間tでの単位利得あたりの積算値、Sum_per_Gain2(t)は第２の系統の時間tでの単位利得あたりの積算値、Gain1(t)は第１の系統の時間tでのゲイン、Gain2(t)は第２の系統の時間tでのゲインである。
【００７１】
上記と同様に、第１の系統は上記自動露出制御により動作し、その結果、次回のゲインGain1(t+1)が算出される。この実施の形態においては、第２の系統の次回のゲインGain2(t+1)は、上記感度比を打ち消すように、以下の式（９）に示すようにゲインの設定値を補正し、自動露出制御を行うことが可能である。
【００７２】
【数７】
2012065204.tif 000009
【００７３】
図６は、他の実施形態に係わる複眼撮像装置の構成を示すブロック図である。
上記図１と同じ構成については、同一の符号を付し、説明を省力する。
この実施の形態においては、カメラヘッド１１は、複眼撮像装置１の筐体とは分離され、ＭＰＵ３０とケーブル等を介して接続された、いわゆるヘッド分離型カメラの構成をとっている。
【００７４】
図７は、実施形態に係わる複眼撮像装置の動画における補正動作の一例を説明するフローチャートである。
動画を撮像する場合においては、この動作は常に実行される。
符号Ｓ２００はここでの開始ステップである。続いて符合Ｓ２０１を付したステップへ進む。
符号Ｓ２０１は前回の設定で露光するステップである。例えば撮像部１（１７a）は撮像露光時間（1/60秒±α）、撮像部２（１７b）は撮像露光時間（1/60秒±β）である。続いて符合Ｓ２０２を付したステップへ進む。
【００７５】
符号Ｓ２０２は撮像部１（１７a）から出力された映像信号の輝度成分を１フレーム分積算するステップである。続いて符合Ｓ２０３を付したステップへ進む。
符号Ｓ２０３は上記積算された輝度成分に上記撮像部１（１７a）に設定された撮像露光時間（1/60±α秒）で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合Ｓ２０４を付したステップへ進む。
【００７６】
符号Ｓ２０４は撮像部２（１７ｂ）から出力された映像信号の輝度成分を１フレーム分積算するステップである。続いて符合Ｓ２０５を付したステップへ進む。
符号Ｓ２０５は露光時間（1/60±β）で除算し、単位時間あたりの輝度成分Ｂ２を求めるステップである。続いて符合Ｓ２０６を付したステップへ進む。
符号Ｓ２０６は両者の輝度成分比、例えばB1/B2を求めるステップである。続いて符合Ｓ２０７を付したステップへ進む。
符号Ｓ２０７は上記輝度成分比に基づいて撮像部２（１７ｂ）の撮像露光時間を求めるステップである。例えば、MPU３０に設定されている撮像部１（１７a）の撮像露光時間（1/60±α秒）をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部２（１７ｂ）の撮像露光時間を求め、MPU30に設定する。例えば、撮像部２の撮像露光時間＝（1/60±α秒）×（１／（B1/B2）である。続いて符合Ｓ２０８を付したステップへ進む。
【００７７】
符号Ｓ２０８はMPU30は設定されている撮像露光時間に基づいて撮像部１（１７a）および撮像部２（１７ｂ）の撮像を制御するステップである。続いて符合Ｓ２０９を付したステップへ進む。
【００７８】
符号Ｓ２０９は終了ステップであり、ここでの処理は終了する。
また、上記説明においては、第１の系統の映像信号と第２の系統の映像信号の輝度比の算出において、単位時間当たりの映像信号の輝度成分の積算値を用いたが、映像信号の輝度成分を積算する時間が同じであれば映像信号の輝度成分の積算値そのものを用いることも可能である。
【００７９】
また、この実施の形態は、上記露光時間の制御に限られることなく、ゲイン（利得）制御にも適用可能である。
また、カメラヘッド分離型、カメラヘッド一体型のどちらの複眼撮像装置も適用可能である。また、複眼撮像装置に用いられる撮像部の構成も、単板式、３板式のどちらでも適用可能である。
【００８０】
上記のように構成することによって、複眼撮像装置において、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する必要がある等の問題を低減することが可能となる。
【００８１】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【符号の説明】
【００８２】
１…複眼撮像装置、１１…カメラヘッド、１２…ＣＣＵ（カメラコントロールユニット）、１３…合成処理部（合成ＬＳＩ）、１４…映像表示部（ＬＣＤ）、１５…信号処理部（信号処理ＬＳＩ）、１６ａ…レンズ１、１６ｂ…レンズ２、１７ａ…撮像部１、１７ｂ…撮像部２、１８ａ…Ａ／Ｄ変換部１、１８ｂ…Ａ／Ｄ変換部２、１９ａ…線形処理部１、１９ｂ…線形処理部２、２０ａ…積算部１、２０ｂ…積算部２、２１ａ…信号処理部１、２１ｂ…信号処理部２、３０…ＭＰＵ。
【図１】
2012065204.tif 000010
【図２】
2012065204.tif 000011
【図３】
2012065204.tif 000012
【図４】
2012065204.tif 000013
【図５】
2012065204.tif 000014
【図６】
2012065204.tif 000015
【図７】
2012065204.tif 000016