(57)【要約】【課題】焦点距離の異なる複数のレンズを通じて得られた出力画像に対してユーザが手動で露出編集を行っても、出力画像の切り替え時に違和感のない画像を得ることができる撮像装置を提供する。【解決手段】焦点距離が異なる複数のレンズ２０１と、各々のレンズを通じて入射した光を光電変換する撮像素子２０２と、撮像素子からの画像信号に基づく出力画像のうち、ユーザが選択した出力画像をプレビュー画像として表示する表示手段とを備える撮像装置を設ける。撮像装置が、ユーザが選択した出力画像の輝度レベルを露出の目標値として算出し、上記出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、算出された目標値に基づいて露出制御する。【選択図】図２
2015109619.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なる複数のレンズと、
各々の前記レンズを通じて入射した光を光電変換する撮像素子と、
前記撮像素子からの画像信号に基づく出力画像のうち、ユーザが選択した出力画像をプレビュー画像として表示する表示手段と、
ユーザが選択した出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する制御手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記目標値に基づいて前記露出制御を行うと焦点距離の異なるレンズのそれぞれに対応する出力画像間で輝度差が発生するかを判断し、焦点距離の異なるレンズのそれぞれに対応する出力画像間で輝度差が発生する場合に、警告を通知する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記ユーザがワイド側のレンズの出力画像を選択した場合に、当該ワイド側の出力画像の輝度レベルを露出の目標値として、テレ側のレンズの出力画像を前記露出制御する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出処理したかを判断し、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出処理した場合に、当該出力画像の輝度レベルを前記目標値として算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出制御の最大範囲で当該出力画像を明るくする露出処理をした場合に、警告を通知する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
焦点距離が異なる複数のレンズと、各々の前記レンズを通じて入射した光を光電変換する撮像素子とを備える撮像装置の制御方法であって、
ユーザが前記撮像素子からの画像信号に基づく出力画像のうちから選択した出力画像をプレビュー画像として受け付ける工程と、
前記プレビュー画像として受け付けた出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する工程とを有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
コンピュテーショナルフォトグラフィ（Computational Photography）という技術を搭載した撮像装置が研究されている。コンピュテーショナルフォトグラフィは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった新たな情報を撮像素子で取り込み、画像データとともに記録し、記録した情報を用いて画像処理ＬＳＩで様々な処理を行うという技術である。例えば、撮像装置は、被写体からの光の入射角度や、奥行きの情報などの光線情報（ライトフィールド）を記録する。これらの従来の撮像装置では記録できなかった情報を用いて、フォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現させることができる。記録したライトフィールドを用いて、実際に撮影した画像について、後からフォーカス位置を変更できるようなカメラが提案されている。
【０００３】
ライトフィールドの取得方法の代表的なものとして、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、取得した複数の画像を１枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に変更することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらの方法は、単一の撮像装置（撮像素子）を用いる。
【０００４】
特許文献１は、３次元ディスプレイ装置に対して、ライトフィールドをサンプリングしてエイリアス化するシステムを開示している。また、特許文献２は、異なる焦点距離のレンズを複数用いて、異なる焦点距離の画像を取得する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５７６８６号公報
【特許文献２】特開２０００−３２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像装置をアレイ状に複数配置することで、取得する画像に同時性を持たせるとともに、複数のデータを取得することでライトフィールドの得られる情報量を増やす技術が考えられる。しかし、この技術では、複数の撮像装置が必要となってしまい、消費電力が大きくなったり、装置が大型化したりする。
【０００７】
単一の撮像装置と異なる焦点距離を持つ複数のレンズを用いて撮影する撮像装置が考えられるが、この撮像装置では、以下のような課題がある。例えば、動画撮影時において、ユーザが、カメラのプレビュー画に焦点距離の短いレンズの出力画像を選択した場合を想定する。ユーザが、プレビュー画を見ながらマニュアルで露出処理した場合、同じ露出条件だと、プレビュー画に使用した焦点距離のレンズよりも長い焦点距離のレンズの出力画像が、焦点距離の短いレンズの出力画像に対して暗くなってしまう。その結果、ユーザが、撮影後の編集でズーム位置を変更しようとした場合、レンズの出力画像の切り替え時に輝度差が発生してしまい、動画として違和感のある画像になってしまう。
【０００８】
本発明は、焦点距離の異なる複数のレンズを通じて得られた出力画像に対してユーザが手動で露出編集を行っても、出力画像の切り替え時に違和感のない画像を得ることができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズと、各々の前記レンズを通じて入射した光を光電変換する撮像素子と、前記撮像素子からの画像信号に基づく出力画像のうち、ユーザが選択した出力画像をプレビュー画像として表示する表示手段と、ユーザが選択した出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する制御手段とを備える。
【発明の効果】
【００１０】
本発明の撮像装置によれば、焦点距離の異なる複数のレンズを通じて得られた出力画像に対してユーザが手動で露出編集を行っても、出力画像の切り替え時に違和感のない画像を得ることができる撮像装置の提供を目的とする。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の撮像装置の構成を示す図である。
【図２】デジタルビデオカメラの機能ブロック図の一例である。
【図３】実施例１の撮像装置の動作処理を説明するフローチャートである。
【図４】実施例２の撮像装置の動作処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
（実施例１）
図１は、本実施形態の撮像装置の構成を示す図である。図１に示す撮像装置は、デジタルビデオカメラ１０１である。もちろん、本発明の適用範囲は、デジタルビデオカメラに限定されない。本発明は、デジタル一眼レフカメラやデジタルスチルカメラにも適用可能である。
【００１３】
ビデオカメラ１０１の正面には、焦点距離の異なる複数のレンズ及びセンサーが、４×４のマトリックス状に配置されている。具体的には、レンズ群１０２として、４×４のマトリクス状にレンズが配置されている。図１中、１番のレンズは、焦点距離Ａのレンズ、２番のレンズは、焦点距離Ｂのレンズ、３番のレンズは、焦点距離Ｃのレンズ、４番のレンズは、焦点距離Ｄのレンズである。
【００１４】
焦点距離Ａのレンズが、最も焦点距離が短い。すなわち、焦点距離Ａのレンズが最もＷｉｄｅ側のレンズである。図１中、焦点距離Ｂのレンズ、焦点距離Ｃのレンズ、焦点距離Ｄのレンズに進むにつれて焦点距離が長くなる。焦点距離Ｄのレンズが、最も焦点距離が長い。すなわち、焦点距離Ｄのレンズが最もＴｅｌｅ側のレンズである。
【００１５】
デジタルビデオカメラ１０１は、異なる焦点距離のレンズと、焦点距離が同じレンズとを複数もち、各々のレンズを通じて得られる出力画像を記録しておく。これにより、撮影後でもズーム位置やフォーカスを変更することができる。
【００１６】
ここで、本発明の目的は、撮影後のズーム位置の変更による違和感を改善することである。そのため、撮影後のフォーカス変更に関わる焦点距離の同じ４つのレンズに関しては説明に不要なので、以下では、デジタルビデオカメラ１０１は、４つの異なる焦点距離のレンズを持つビデオカメラであるものとして説明する。
【００１７】
図２は、図１に示すデジタルビデオカメラの機能ブロック図の一例である。レンズ群２０１は、異なる焦点距離を有する複数のレンズを含む。この例では、レンズ群２０１は、図１を参照して説明した、焦点距離がそれぞれＡ，Ｂ，Ｃ，Ｄである４種類のレンズを有する。
【００１８】
レンズ群２０１を介して入射した光は、ＣＭＯＳセンサ２０２などの固体撮像素子に結合し、電気信号に光電変換される。固体撮像素子は、１つのレンズに対して１個配置されており、それぞれのレンズを介して入射した光を電気信号に光電変換する。光電変換されたアナログ信号は、Ａ／Ｄ変換器２０３によって、デジタル信号に変換される。
【００１９】
デジタル信号に変換された信号は、画像信号処理部２０４に入力される。画像信号処理部２０４は、ＡＧＣ２０５、信号処理部２０６、輝度レベル検出部２０７を有する。ＡＧＣは、入力されたデジタル信号に対して、自動利得制御処理（ＡＧＣ処理）を実行する。信号処理部２０６は、ＡＧＣ処理された信号に対して、ガンマ補正、ホワイトバランス補正など各種信号処理を実行する。輝度レベル検出部２０７は、各信号処理部２０６からの出力信号の輝度レベルを検出する。信号処理部２０６からの出力は、記録制御部２０８と表示制御部２１０に入力される。
【００２０】
記録制御部２０８に入力された信号は、記録媒体２０９に記録される。表示制御部２１０に入力された信号は、映像信号表示部２１０によって表示される。このとき、ＣＰＵ２１２が、表示されるプレビュー画像を選択する。ＣＰＵ２１２は、デジタルビデオカメラ全体の制御を司る。撮像素子制御回路２１３は、画像信号処理部２０４が出力する信号に基づいて、撮像素子のシャッタースピードを制御する。
【００２１】
図３は、実施例１の撮像装置の動作処理を説明するフローチャートである。このフローチャートに従う処理は、ＣＰＵ２１２が所定の制御プログラムを読み込んで実行することによって実行される。
【００２２】
まず、輝度レベル検出部２０７が、信号処理部２０６から出力される信号に基づいて、被写体の輝度レベルを検出する（ステップＳ３０１）。このとき、被写体の明るさの検出は、焦点距離が短いレンズ（焦点距離Ａのレンズ）の出力から中央重点方式を用いて行う。
【００２３】
次に、ＣＰＵ２１２が、ステップＳ３０１で検出された輝度レベルに基づいて、露出の目標値を算出する（ステップＳ３０２）。続いて、ＣＰＵ２１２が、各レンズの出力に対して露出制御（ＡＥ）を実行する（ステップＳ３０３）。具体的には、ＣＰＵ２１２は、撮像素子制御回路２１３を制御してシャッタースピードを変更するか、ＡＧＣ制御部２０５を制御して、ＡＧＣ処理におけるデジタルゲインを変更する。
【００２４】
次に、ＣＰＵ２１２が、ユーザの操作にしたがって、プレビュー画像に使用する焦点距離のレンズの出力を選択する（ステップＳ３０４）。続いて、ＣＰＵ２１２が、ユーザが、選択されたプレビュー画像に対して手動（マニュアル）で露出処理を行ったかを判断する（ステップＳ３０５）。ユーザが、選択されたプレビュー画像に対して露出処理を行っていない場合は、処理を終了する。ユーザが、選択されたプレビュー画像に対してマニュアルで露出処理を行った場合は、処理がステップＳ３０６に進む。
【００２５】
次に、輝度レベル検出部２０７が、プレビュー画像に使用されている映像の輝度レベルを検出する（ステップＳ３０６）。そして、ＣＰＵ２１２が、ステップ３０６で検出された輝度レベルを基に、出力信号がプレビュー画像に使用されていない焦点距離のレンズの露出目標値を算出する（ステップＳ３０７）。そして、ＣＰＵ２１２が、算出された各レンズの露出目標値を目標値として、プレビュー画像に使用されていないレンズの出力に対して露出制御を実行する（ステップＳ３０８）。
【００２６】
なお、ステップＳ３０４で、ユーザの操作にしたがってＣＰＵ２１２がワイド側のレンズの出力画像を選択した場合に、ＣＰＵ２１２が、ステップＳ３０６乃至Ｓ３０８で、以下の処理を実行してもよい。すなわち、ＣＰＵ２１２は、当該ワイド側の出力画像の輝度レベルを露出の目標値として、テレ側のレンズの出力画像を露出制御する。
【００２７】
（実施例２）
実施例１の撮像装置は、ユーザが選択した焦点距離のレンズのプレビュー画像の輝度レベルを基に、他のレンズの出力に対してＡＥを実行する。しかし、被写体の輝度によっては、焦点距離の短いレンズと焦点距離の長いレンズで輝度差が発生してしまう場合がある。例えば、焦点距離の短いレンズの出力画像をプレビュー画像に使用し、低照度の被写体を撮影したとする。このとき、露出制御の最大範囲（最大ゲイン、長秒露光）で出力画像を明るくしようとすると、焦点距離の長いレンズでは焦点距離の短いレンズに比べて入射光量が少ないので、暗くなってしまう。そこで、実施例２の撮像装置は、焦点距離の異なるレンズの出力画像に輝度差が発生してしまう場合は、警告を通知する。
【００２８】
図４は、実施例２の撮像装置の動作処理を説明するフローチャートである。このフローチャートに従う処理は、ＣＰＵ２１２が所定の制御プログラムを読み込んで実行することによって実行される。
【００２９】
ステップＳ４０１、Ｓ４０２、Ｓ４０４、Ｓ４０６、Ｓ４０７、Ｓ４０８、Ｓ４０９、Ｓ４１２は、それぞれ、図３のステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５、Ｓ３０６、Ｓ３０７、Ｓ３０８と同様である。
【００３０】
実施例２では、ステップＳ４０３において、ＣＰＵ２１２が、ステップＳ４０２で算出された露出目標値に基づいて、焦点距離の異なるレンズのそれぞれに対応する出力画像間に輝度差が発生するかを判断する（ステップＳ４０３）。すなわち、ＣＰＵ２１２は、算出された露出目標値でＡＥを実行すると焦点距離の異なるレンズからの出力画像間に輝度差が発生するかを判断する。ＣＰＵ２１２が、焦点距離の異なるレンズからの出力画像間に輝度差が発生しないと判断した場合は、処理がステップＳ４０４に進む。ＣＰＵ２１２が、焦点距離の異なるレンズからの出力画像間に輝度差が発生すると判断した場合は、処理がステップＳ４０５に進む。
【００３１】
ステップＳ４０５において、ＣＰＵ２１２が、ステップＳ４０２で算出された露出目標値を、焦点距離の異なるレンズからの出力画像間に輝度差が発生しない露出目標値に変更する。そして、ＣＰＵ２１２が、変更後の露出目標値に基づいてＡＥを実行し（ステップＳ４０５）、処理がステップＳ４０６に進む。
【００３２】
また、実施例２では、ステップＳ４１０において、ＣＰＵ２１２は、ステップＳ４０９で算出された露出目標値でＡＥを実行すると焦点距離の異なるレンズからの出力画像間に輝度差が発生するかを判断する（ステップＳ４１０）。ＣＰＵ２１２が、焦点距離の異なるレンズからの出力画像間に輝度差が発生しないと判断した場合は、処理がステップＳ４１２に進む。ＣＰＵ２１２が、焦点距離の異なるレンズからの出力画像間に輝度差が発生すると判断した場合は、処理がステップＳ４１１に進む。
【００３３】
ステップ４１１において、ＣＰＵ２１２が、焦点距離の異なるレンズからの出力画像間で輝度差が発生することをユーザに知らせるための警告を行う。例えば、ＣＰＵ２１２は、表示制御部２１０に指示して、警告を画面に表示する。
【００３４】
本発明は、上述した実施例１、２に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述した実施例の一部を適宜組み合わせてもよい。
【００３５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００３６】
１０１  デジタルビデオカメラ
２０１  レンズ群
２０２  撮像素子
２０７  輝度レベル検出部
２１２  ＣＰＵ
【図１】
2015109619.tif 000003
【図２】
2015109619.tif 000004
【図３】
2015109619.tif 000005
【図４】
2015109619.tif 000006