(57)【要約】【課題】焦点距離が異なる複数の光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置において、撮影後の編集時に違和感の少ない画像が得られるようにすること。【解決手段】撮像装置は、焦点距離が異なる複数の光学系と、各光学系を通してそれぞれ撮像する複数の撮像素子を備える。画像処理部の輝度レベル検出部は、各撮像素子からそれぞれ出力される信号の輝度レベルを検出し（Ｓ３０１）、制御部は露出の目標値を算出する（Ｓ３０２）。制御部は、焦点距離の長い光学系を通して撮像する撮像素子の出力にゲイン値の乗算が必要であると判断した場合（Ｓ３０３でＹＥＳ）、各撮像素子の出力する信号の輝度レベルが、焦点距離の長い光学系を通して撮像する撮像素子の出力する信号の輝度レベルと同レベルとなるように露出制御を行い（Ｓ３０４）、各撮像素子の出力に対するゲインを制御し、露出の目標値に対する不足分を補う制御を行う（Ｓ３０６）。【選択図】図３
2016134822.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なる複数の光学系および該光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置であって、
前記複数の撮像素子からそれぞれ出力される信号を処理する画像処理手段と、
前記画像処理手段から出力される信号の記録処理を行う記録処理手段と、
前記画像処理手段を制御し、前記撮像素子の出力に対するゲインを制御する制御手段を備え、
前記制御手段は、前記複数の光学系のうちで相対的に焦点距離が長い第１の光学系を通して撮像する第１の撮像素子、および前記第１の光学系よりも相対的に焦点距離が短い第２の光学系を通して撮像する第２の撮像素子が駆動され、前記第１の撮像素子の出力に対するゲインを制御する場合、前記第２の撮像素子の出力に対するゲイン値を、前記第１の撮像素子の出力に対するゲイン値に合わせる制御を行うことを特徴とする撮像装置。
【請求項２】
前記複数の撮像素子からそれぞれ出力される信号を取得して輝度レベルを検出する検出手段を備え、
前記制御手段は、前記検出手段による輝度レベルの検出信号を取得して露出の目標値を算出し、前記第１の撮像素子の出力に対してゲイン値を乗算する場合、前記第２の撮像素子の出力する信号の輝度レベルを前記第１の撮像素子の出力する信号の輝度レベルと同レベルに露出制御し、前記第１および第２の撮像素子の出力に対してゲイン値を乗算して露出の目標値に対する不足分を補う制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮像素子の出力する信号から算出される被写体の動き量を閾値と比較し、前記第１の撮像素子の出力に対してゲイン値を乗算する場合であって、かつ前記被写体の動き量が前記閾値より小さい場合、前記第２の撮像素子の出力に対するゲイン値を前記第１の撮像素子の出力に対するゲイン値に合わせる制御を行い、前記被写体の動き量が前記閾値以上である場合、各撮像素子に対してシャッタ優先での露出制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１の撮像素子の出力に対してゲイン値を乗算する場合であって、かつ前記被写体の動き量が前記閾値より小さい場合、前記第２の撮像素子の出力する信号の輝度レベルを前記第１の撮像素子の出力する信号の輝度レベルと同レベルに露出制御し、前記第１および第２の撮像素子の出力に対してゲイン値を乗算して露出の目標値に対する不足分を補う制御を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１の撮像素子の出力に対してゲイン値を乗算しない場合、各撮像素子に対してシャッタ優先での露出制御を行うことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
焦点距離が異なる複数の光学系および該光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置にて実行される制御方法であって、
画像処理手段が前記複数の撮像素子からそれぞれ出力される信号を処理するステップと、
記録処理手段が前記画像処理手段から出力される信号の記録処理を行うステップと、
制御手段が前記画像処理手段を制御し、前記撮像素子の出力に対するゲインを制御する制御ステップを有し、
前記制御ステップにて前記制御手段は、前記複数の光学系のうちで相対的に焦点距離が長い第１の光学系を通して撮像する第１の撮像素子、および前記第１の光学系よりも相対的に焦点距離が短い第２の光学系を通して撮像する第２の撮像素子が駆動され、前記第１の撮像素子の出力に対するゲインを制御する場合、前記第２の撮像素子の出力に対するゲイン値を、前記第１の撮像素子の出力に対するゲイン値に合わせる制御を行うことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光学系および撮像素子を備えた撮像装置とその制御方法に関する。
【背景技術】
【０００２】
近年、コンピュテーショナルフォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）という技術を搭載した撮像装置が研究されている。これは、単に画像の輝度や色のデータを保存するだけでなく、従来の撮像装置では記録されなかった情報を撮像素子で取り込み、画像データとともに保存することで、画像処理ＬＳＩで様々な処理を行う技術である。
【０００３】
新たに記録する代表的な情報として、被写体からの光の入射角度や奥行きの情報がある。従来の撮像装置では記録できなかった情報を使用し、被写体を撮像したときに一意に決定されていたフォーカス、アイリスによる被写界深度、焦点距離などを、撮影後の画像処理により正確に再現できる。被写体のライトフィールド（以下、ＬＦと記す）と呼ばれる光線情報を記録することで、従来の撮像装置では実現できなかった機能をもつ撮像装置が提案されている。実際に撮影した画像について、撮影後に焦点位置を変更できるカメラが発表されている。
【０００４】
多視点で画像を取得する方法の場合、例えば、１台の撮像装置で焦点距離を変えて複数の画像が取得される。それらを１枚の画像としてデータを記録することにより、焦点距離を後から画像処理で自由に変更できる。また、カメラを水平方向または垂直方向に移動させて撮像した複数枚の画像の視差から被写体の距離情報を取得できる。単一の撮像装置または撮像素子を用いる方法では、動体である被写体に対してＬＦデータを有効に取得することができない。そこで、複数の撮像素子や撮像装置を用いる方法がある。特許文献１には複数のカメラを水平な線形アレイとして配置させたＬＦ取得システムが開示されている。また、異なる焦点距離のレンズ系を複数用いる方法がある。特許文献２には複数の撮像素子のそれぞれに対向配置された複数のマイクロレンズを含む複数の光学系が開示されている。
【０００５】
複数の撮像素子または撮像装置をアレイ状に配置することで、取得する画像に同時性を持たせるとともに、複数の画像データを取得することでＬＦデータの情報量を増やすこともできる。しかし、複数の撮像素子または撮像装置が必要であるので、消費電力の増加や装置の大型化を伴うというデメリットもある。焦点距離の異なる複数のレンズ系を用いる場合には、同じ被写体を撮像したとしても、焦点距離の異なるレンズではＦ値も異なるので、輝度差が発生し得る。そのため、各撮像素子の出力画像信号の輝度レベルが同じレベルとなるようにＡＥ（自動露出）制御を行うことが望ましい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２５７６８６号公報
【特許文献２】特開２０００−３２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の装置では、各撮像素子が出力する信号の輝度レベルを合わせるために、各撮像素子に対してＡＥ制御が行われる。例えば、入射光量が少ない場合、焦点距離が相対的に長い光学系を通して撮像する撮像素子の出力と、焦点距離が相対的に短い光学系を通して撮像する撮像素子の出力とでは輝度レベルに差異が生じる。被写体の輝度が低い場合、各撮像素子に対してＡＥ制御を行うと、デジタルゲインの値が各撮像素子で異なるため、撮影後の編集時に、出力画像の切り替わりでノイズ感が急激に変化してしまうことが起こり得る。
本発明の目的は、焦点距離が異なる複数の光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置において、撮影後の編集時に違和感の少ない画像が得られるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係る装置は、焦点距離が異なる複数の光学系および該光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置であって、前記複数の撮像素子からそれぞれ出力される信号を処理する画像処理手段と、前記画像処理手段から出力される信号の記録処理を行う記録処理手段と、前記画像処理手段を制御し、前記撮像素子の出力に対するゲインを制御する制御手段を備える。前記制御手段は、前記複数の光学系のうちで相対的に焦点距離が長い第１の光学系を通して撮像する第１の撮像素子、および前記第１の光学系よりも相対的に焦点距離が短い第２の光学系を通して撮像する第２の撮像素子が駆動され、前記第１の撮像素子の出力に対するゲインを制御する場合、前記第２の撮像素子の出力に対するゲイン値を、前記第１の撮像素子の出力に対するゲイン値に合わせる制御を行う。
【発明の効果】
【０００９】
本発明によれば、焦点距離が異なる複数の光学系を通してそれぞれ撮像する複数の撮像素子を備える撮像装置において、撮影後の編集時に違和感の少ない画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る撮像装置を例示する概略図である。
【図２】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図３】本発明の第１の実施形態における各撮像素子のＡＥ制御を説明するフローチャートである。
【図４】本発明の第２の実施形態における各撮像素子のＡＥ制御を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下に本発明の各実施形態を、添付図面にしたがって説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能である。
［第１の実施形態］
図１は本発明の第１の実施形態に係る撮像装置としてビデオカメラを例示する概略図である。本実施形態では、ビデオカメラの正面部に焦点距離がそれぞれ異なるレンズ及び撮像センサを、マトリックス状に配置した構造を例示して説明する。
【００１２】
ビデオカメラ１０１は、結像光学系を構成するレンズ部１０２を備える。レンズ部１０２は、４行×４列のマトリクス状に配置されたレンズ群を備える。ここで、第１のレンズ（円形枠内に「１」を付して区別する）は焦点距離Ａのレンズであり、第２のレンズ（円形枠内に「２」を付して区別する）は焦点距離Ｂのレンズである。第３のレンズ（円形枠内に「３」を付して区別する）は焦点距離Ｃのレンズであり、第４のレンズ（円形枠内に「４」を付して区別する）は焦点距離Ｄのレンズである。焦点距離ＡからＤは、「Ａ＜Ｂ＜Ｃ＜Ｄ」の関係を満たし、焦点距離Ａが最も短く、最も長い焦点距離Ｄに近づくにつれて焦点距離が次第に長くなる。本実施形態では、４種類の異なる焦点距離のレンズを４組とし、正方格子状にて交互に配置させた構造を例示する。つまり、焦点距離が同じレンズは複数組であり、それぞれのレンズを通して撮像素子により取得される各出力画像のデータが記録媒体に記録される。これにより、撮影後にズーム位置やフォーカスを変更することができる。
【００１３】
本発明の実施形態の目的は、撮影後のズーム位置の変更による画像の違和感を改善することである。そのため、撮影後のフォーカス変更に関わる、焦点距離が同じ４組のレンズに関して各光学特性は同等であるのでその詳細な説明を省略し、４種類の異なる焦点距離のレンズを有するビデオカメラの構造に簡略化して説明する。
【００１４】
図２はビデオカメラの構成図である。レンズ群２０１は、４種類の異なる焦点距離のレンズによって構成される。レンズ群２０１を介して入射した光は、複数の撮像素子２０２がそれぞれ光電変換し、電気信号に変換される。撮像素子２０２はＣＭＯＳ（相補型金属酸化膜半導体）センサなどであり、レンズ群２０１の各レンズに対して１個ずつ配置されている。つまり、第１から第４の撮像素子は焦点距離ＡからＤの各レンズを通して被写体を撮像し、それぞれのレンズにより結像した光像を電気信号に光電変換する。
【００１５】
複数のＡ／Ｄ変換器２０３は、光電変換された各アナログ信号をデジタル信号にそれぞれ変換する。変換された各デジタル信号は画像処理部２０４に入力され、複数のＡＧＣ（自動利得制御）部２０５および信号処理部２０６がそれぞれ処理する。信号処理部２０６は、入力信号にガンマ補正、ホワイトバランス補正などを施す。輝度レベル検出部２０７は、各撮像素子の出力信号の輝度レベルを検出し、検出信号を後述のＣＰＵ（中央演算処理装置）２１２に出力する。
【００１６】
記録処理部２０８は、画像処理部２０４の各出力信号を取得し、記録媒体２０９に画像データなどを記録する。表示制御部２１０は画像処理部２０４の各出力信号を取得し、映像表示部２１１に表示用信号を出力する。映像表示部２１１により表示されるプレビュー画像は、ＣＰＵ２１２によって選択される。ＣＰＵ２１２は、撮像装置全体の制御を司る制御中枢部である。ＣＰＵ２１２は各部に制御指令を送信して撮影動作を制御する。撮像素子制御部２１３は、画像処理部２０４からの信号に基づいて、各撮像素子の駆動制御を行い、露出制御時に、例えばシャッタ速度を制御する。
【００１７】
本実施形態では、例えば通常時にシャッタ優先でＡＥ制御が行われる。また、複数の光学系のうちで相対的に焦点距離が長い第１の光学系を通して撮像する第１の撮像素子の出力に対してデジタルゲインを乗算する場合には、第２の撮像素子の出力レベルが第１の撮像素子の出力レベルと同じになるようにシャッタ速度が制御される。第２の撮像素子とは第１の撮像素子以外の撮像素子であり、第１の光学系よりも相対的に焦点距離が短い第２の光学系を通して撮像する撮像素子である。その後、第１の撮像素子の出力に対するゲイン値に合わせて、第２の撮像素子の出力に対するゲイン値を制御することで、各出力信号の輝度レベルが同レベルに制御される。デジタルゲインの制御については、ＣＰＵ２１２が画像処理部２０４を制御することにより、既知の方法で実行される。以下、図３を参照して、本実施形態のＡＥ制御について詳細に説明する。図３は制御例を示すフローチャートであり、以下の処理は、ＣＰＵ２１２がプログラムを解釈して実行することにより実現される。
【００１８】
まず、Ｓ３０１において、輝度レベル検出部２０７は各撮像素子により取得される被写体像の信号の輝度レベルを検出する。Ｓ３０２にてＣＰＵ２１２は、Ｓ３０１で検出された輝度レベルに基づいて、露出の目標値を算出する。Ｓ３０３でＣＰＵ２１２は、焦点距離の長い光学系を通して撮像する撮像素子（ここでは焦点距離Ｄのレンズ群に対応する第１の撮像素子）の出力にデジタルゲインをかける必要があるか否かを判断する。前記第１の撮像素子の出力に対し、デジタルゲインを乗算する必要があると判断された場合、Ｓ３０４に処理を進め、その必要がないと判断された場合、Ｓ３０５へ移行する。
【００１９】
Ｓ３０４でＣＰＵ２１２は、各撮像素子の出力の輝度レベルが、前記第１の撮像素子の出力の輝度レベルと同レベルになるようにＡＥ処理を実行する。ＡＥ処理により各撮像素子の出力に関し、それらの輝度レベルが同レベルに制御された後、Ｓ３０６でＣＰＵ２１２は、露出の目標値に対する不足分についてデジタルゲインを用いて補う処理を実行する。すなわち、輝度レベルの揃った各撮像素子の出力に対して同じデジタルゲイン値が乗算される。一方、Ｓ３０３でデジタルゲインをかける必要がないと判断された場合、Ｓ３０５でＣＰＵ２１２は、各撮像素子に対してシャッタ優先でのＡＥ処理を実行する。Ｓ３０５またはＳ３０６の後、一連の処理を終了する。
【００２０】
本実施形態では、相対的に焦点距離の長い光学系を通して撮像する撮像素子の出力信号にデジタルゲインをかける場合、他の撮像素子の出力信号に対しても同じデジタルゲインをかける制御が行われる。本実施形態によれば、各撮像素子の出力信号に係るＳ／Ｎ（信号対ノイズ）比を同レベルに揃えることができ、撮影後の編集時に違和感の少ない画像を得ることができる。
【００２１】
［第２の実施形態］
次に、本発明の第２の実施形態を説明する。
第１の実施形態で説明した、シャッタ速度とデジタルゲインを用いる露出制御の場合、相対的に焦点距離の長い光学系を通して撮像する撮像素子と、相対的に焦点距離の短い光学系を通して撮像する撮像素子とではシャッタ速度が大きく異なる。そのため動解像度が大きく異なってしまい、撮影後の編集で焦点距離の異なる光学系を用いた各撮像素子の出力画像を切り替える時に、違和感のある画像が得られる可能性がある。そこで、本実施形態では被写体の動き量が所定の閾値より小さい場合、上記制御を行うが、被写体の動き量が所定の閾値より大きい場合には上記制御を行わない。なお、第１の実施形態の場合と同様の構成部については既に使用した符号を用いることによってそれらの詳細な説明を省略し、主に相違点を説明する。
【００２２】
図４を参照して、本実施形態の制御例を説明する。図４は被写体の動き量に応じて制御を変更する場合の制御例に関するフローチャートである。基本的な処理の流れは第１の実施形態の場合と同様であるが、被写体の動き量を検出した後の処理が異なる。図４のＳ４０１からＳ４０３、Ｓ４０５からＳ４０７の各処理については、図３のＳ３０１からＳ３０３、Ｓ３０４からＳ３０６の各処理と同様である。
【００２３】
Ｓ４０３でＣＰＵ２１２により、焦点距離の長い光学系を通して撮像する撮像素子（ここでは焦点距離Ｄのレンズ群に対応する第１の撮像素子）にデジタルゲインをかける必要があると判断された場合、Ｓ４０４の判断処理に進む。Ｓ４０４でＣＰＵ２１２は被写体の動き量を所定の閾値と比較する。被写体の動き量については、ＣＰＵ２１２および画像処理部２０４により、被写体像の移動量（動きベクトルなど）として既知の方法で検出される。Ｓ４０４にて被写体の動き量が所定の閾値より小さいと判断された場合にはＳ４０５に進む。Ｓ４０５では前記第１の撮像素子の出力信号の輝度レベルと同レベルになるように、他の撮像素子の出力に対してＡＥ処理が実行される。また、Ｓ４０４にて被写体の動き量が所定の閾値以上であると判断された場合、Ｓ４０６に進み、各撮像素子に対してシャッタ優先でのＡＥ処理が実行される。
【００２４】
本実施形態によれば、撮影後の編集にて、焦点距離の異なる光学系を通してそれぞれ撮像する各撮像素子の出力の切り替え時に違和感の少ない画像を得ることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また上述の実施形態において、シャッタ速度およびデジタルゲインを用いるＡＥ制御例を説明したが、絞り値およびデジタルゲインを用いるＡＥ制御などを行ってもよい。
【符号の説明】
【００２５】
１０１‥‥ビデオカメラ
２０２‥‥撮像素子
２０４‥‥画像処理部
２０７‥‥輝度レベル検出部
２０８‥‥記録処理部
２０９‥‥記録媒体
２１２‥‥ＣＰＵ
２１３‥‥撮像素子制御部
【図１】
2016134822.tif 000003
【図２】
2016134822.tif 000004
【図３】
2016134822.tif 000005
【図４】
2016134822.tif 000006