(57)【要約】【課題】ひとつの撮像装置内に、焦点距離の異なる撮像素子を持った撮像装置において、使用者へどこにピント位置が合っているかがわかりやすい映像を提供する。【解決手段】  撮像装置は、焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部と、撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出手段と、検出手段によって検出された被写体に合焦する画像を出力する出力手段とを備える。【選択図】図３
2018082441.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部と、
前記撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出手段と、
前記検出手段によって前記検出された被写体に合焦する画像を出力する出力手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
コンピュテーショナルフォトグラフィ（Computational Photography）という技術を搭載した撮像装置が研究されている。コンピュテーショナルフォトグラフィは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった新たな情報を撮像素子で取り込み、画像データとともに記録し、記録した情報を用いて画像処理ＬＳＩで様々な処理を行うという技術である。例えば、撮像装置は、被写体からの光の入射角度や、奥行きの情報などの光線情報（ライトフィールド）を記録する。これらの従来の撮像装置では記録できなかった情報を用いて、フォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現させることができる。記録したライトフィールドを用いて、実際に撮影した画像について、後から合焦位置（フォーカス位置）を変更できるカメラが提案されている。
【０００３】
ライトフィールドの取得方法の代表的なものとして、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、取得した複数の画像を１枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に編集することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらの方法は、単一の撮像装置（撮像素子）を用いる。特許文献１は、複数のカメラからライトフィールドを取得して処理するシステムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２５７６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数のカメラを設けてライトフィールドを取得するシステムでは、消費電力が大きくなり、装置も大型化してしまう。したがって、焦点距離が異なる複数のレンズを通じた入射光を撮像素子で光電変換して出力される画像信号から、ライトフィールドすなわち入射光の方向の情報を得る撮像装置が考えられる。
【０００６】
一方、画像の取得後に撮像装置のユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、ユーザの撮影意図に合った画像を出力することが重要である。しかし、ユーザが、特定の人物を主被写体として追いたい場合に、画像の取得後にユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、どのような画像を出力すればユーザが意図した画像になるのかを決定することが困難である。
【０００７】
本発明は、ひとつの撮像装置内に、焦点距離の異なる撮像素子を持った撮像装置において、所定の被写体検出モードにより、順に撮像装置で検出に用いる撮像素子を変え、焦点距離を変えながらライトフィールドを取得し、画像処理を行うことで、使用者へどこにピント位置が合っているかがわかりやすい映像を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部と、前記撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出手段と、前記検出手段によって前記検出された被写体に合焦する画像を出力する出力手段とを備える。
【発明の効果】
【０００９】
本発明の撮像装置によれば、ひとつの撮像装置内に、焦点距離の異なる撮像素子を持った撮像装置において、所定の被写体検出モードにより、順に撮像装置で検出に用いる撮像素子を変え、焦点距離を変えながらライトフィールドを取得し、画像処理を行うことで、使用者へどこにピント位置が合っているかがわかりやすい映像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】撮像装置に設けられたレンズおよび撮像素子を説明する図である。
【図３】実施例１の撮像装置の動作処理を説明するフローチャートである。
【図４】実施例２の撮像装置の動作処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、デジタルビデオカメラである。もちろん、本発明の適用範囲は、デジタルビデオカメラに限定されない。本発明は、デジタルスチルカメラ、デジタル一眼レフカメラ等にも適用可能である。
【００１２】
本実施形態の撮像装置は、撮像光学系１０１、撮像素子１０２、画像処理ＬＳＩ１０３、信号記録部１０４、ライトフィールド画像処理部１０５、フォーカス制御部１０６、撮像素子制御部１０７、システム制御部１０８、表示部１０９を備える。
【００１３】
システム制御部１０８は、撮像素子全体を制御する。撮像光学系１０１は、被写体光を取り込み、少なくともフォーカス位置などを変えられる機構を持つ。撮像素子１０２は、取り込んだ光をアナログの電気信号（画像信号）に光電変換して出力する。
【００１４】
撮像素子１０２から出力される画像信号に基づいて任意のライトフィールドを取得できるようにするために、撮像装置は、複数の撮像素子１０２を備えており、それぞれの撮像素子は、面上にレンズ（この例ではマイクロレンズ）を備える。すなわち、撮像光学系１０１と撮像素子１０２の構造によって、撮像素子１０２が出力する信号からライトフィールド（入射光の方向に関する情報）を得ることができる。なお、他の形態として、撮像素子が１つの撮像素子を備え、この撮像素子が有する複数の撮像部のそれぞれにマイクロレンズが設けられていてもよい。
【００１５】
画像処理ＬＳＩ１０３は、撮像素子１０２から出力された画像信号（映像信号）をデジタル信号へ変換し、デジタル化した映像信号にデジタルゲイン、ガンマ、ニーなどの画像処理を行なう。また、画像処理ＬＳＩ１０３は、撮像素子１０２から出力された黒レベルを測定して、映像信号をクランプする。
【００１６】
信号記録部１０４は、画像処理ＬＳＩによってデジタル処理された映像信号を記録する。画像処理ＬＳＩ１０５は、撮像素子１０２から出力された映像信号から得られるライトフィールド情報を用いて、映像信号に対して任意の画像処理を実行する。フォーカス制御部１０６は、撮像光学系１０１が有するフォーカスレンズを駆動して、ピント位置を変化させる焦点調節処理を実行する。
【００１７】
撮像素子制御部１０７は、撮像素子１０２の制御を実行する。表示部１０９は、画像処理ＬＳＩ１０３から出力される信号、またはライトフィールド画像処理部１０５から出力される信号を画像として表示する。図１に示す処理部のそれぞれは、分割されたＬＳＩとは限らない。撮像装置が、複数の処理部を一つにまとめたＬＳＩを備えるようにしてもよい。
【００１８】
以下に、各処理部の詳細を説明する。
撮像光学系１０１は、被写体からの光を撮像素子１０２に渡す。この例では、撮像光学系１０１は、フォーカスレンズを備える。撮像装置の形態に応じて、撮像光学系１０１が、入射光を制御するアイリス部、焦点距離を変えるズームレンズ部などを備えていてもよい。
【００１９】
撮像素子１０２は、撮像光学系から入射光を受け、入射光を電気信号へ変換し、出力する。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。
【００２０】
撮像素子１０２から出力される映像信号には、アナログの映像信号で直接出力されるものと、撮像素子１０２の内部でＡ／Ｄ変換処理を行い、ＬＶＤＳ等のデジタルデータで出力されるものとがある。ＬＶＤＳは、Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇの略称である。
【００２１】
画像処理ＬＳＩ１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタル信号へ変換するアナログフロントエンド部と、デジタル化した映像信号に各処理を行う処理部とを有する。撮像素子１０２の内部でＡＤ変換処理を行なう場合は、アナログフロントエンド部は省略される。
【００２２】
画像処理ＬＳＩ１０３は、例えば、撮像素子１０２がＣＭＯＳイメージセンサの場合は、ＣＭＯＳイメージセンサ特有の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。また、画像処理ＬＳＩ１０３は、撮像装置の代表的な画像処理機能である画素加算機能、ノイズリダクション、ガンマ補正、ニー、デジタルゲイン、キズ補正などの各種画像処理を行なう。画像処理ＬＳＩ１０３は、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も有する。
【００２３】
信号記録部１０４は、画像処理ＬＳＩ１０３が出力する、各画像処理が反映された映像信号と、ライトフィールド情報とを、任意の記録手段へ記録する。記録手段は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＤメモリーカード、コンパクトフラッシュ（登録商標）等である。
【００２４】
ライトフィールド画像処理部１０５は、撮像素子が出力する信号に基づいて得られるライトフィールドに基づいて、撮像光学系のピント位置、ズーム位置、被写界深度調整など任意の画像処理を行う。なお、ライトフィールドを取得する処理部は、画像処理ＬＳＩ１０３、ライトフィールド画像処理部１０５のいずれであってもよい。
【００２５】
フォーカス制御部１０６は、撮像光学系１０１が備えるフォーカスレンズを駆動制御する。なお、撮像装置が、フォーカス制御部１０６を備えない構成をとることもできる。撮像素子制御部１０７は、撮像素子１０１の制御を行う。具体的には、撮像素子制御部１０７は、画像処理ＬＳＩによる画像処理結果に基づいて、システム制御部を介して、露光処理等の方法を決定し、撮像素子の制御を行う。
【００２６】
システム制御部１０８は、画像処理ＬＳＩ１０３から受けた露出情報に基づいて、撮像装置を目標とする露出にするための制御を決定し、フォーカス制御部１０６および撮像素子制御部１０７に指示する。
【００２７】
表示部１０９は、映像（画像）を表示する。これにより、撮像装置が現在どのような映像を記録しているかがユーザに示される。表示部１０９は、例えば、外部のモニターや、撮像装置に付属する液晶モニターやビューファインダー等である。
【００２８】
図２は、本実施形態の撮像装置に設けられたレンズおよび撮像素子を説明する図である。
図２（Ａ）に示すように、撮像装置の正面には、焦点距離の異なる複数のレンズ（マイクロレンズ）及び撮像素子（センサ）が、４×４のマトリックス状に配置されている。図１（Ｂ）は、各々のレンズの焦点距離を示す。１番のレンズは、焦点距離Ａのレンズ、２番のレンズは、焦点距離Ｂのレンズ、３番のレンズは、焦点距離Ｃのレンズ、４番のレンズは、焦点距離Ｄのレンズである。
【００２９】
焦点距離Ａのレンズが、最も焦点距離が短い。すなわち、焦点距離Ａのレンズが最もＷｉｄｅ側のレンズである。焦点距離Ｂのレンズ、焦点距離Ｃのレンズ、焦点距離Ｄのレンズに進むにつれて焦点距離が長くなる。焦点距離Ｄのレンズが、最も焦点距離が長い。すなわち、焦点距離Ｄのレンズが最もＴｅｌｅ側のレンズである。
【００３０】
撮像装置は、焦点距離を変えた撮像素子を用意して、複数の画角の画像を記録することで、ライトフィールド画像処理部１０５で焦点距離を任意に変えることができる。また、撮像装置は、同じ焦点距離の撮像素子を複数別位置に配置することで、光の視差情報を使用して、被写体の距離情報を得ることができる。撮像装置は、被写体の距離情報を利用して、ピント位置を合わせたり、画像処理で背景のぼかし具合を計算し、画像の被写界深度を制御することができる。
【００３１】
図３は、実施例１の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１）。顔検出優先モードは、撮像素子１０２が出力する映像から被写体として顔を検出する顔検出処理を実行する動作モードである。ユーザは、撮像装置が備える所定の操作部（不図示）を操作して、動作モードを顔検出優先モードに設定することができる。顔検出処理を実行するのは、ユーザがどのような被写体を撮影する（したい）かを判断し、優先的にフォーカスを合わせたり、露出を合わせる等の処理を行うためである。なお、検出対象は顔に限定されない。撮像装置は、人体、ペット等の物を被写体として検出するようにしてもよい。
【００３２】
撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。
【００３３】
撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子１０２のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析して、この映像信号に係る映像を対象に、顔検出処理を実行する（ステップＳ２）。
【００３４】
次に、システム制御部１０８が、顔が検出されたかを判断する（ステップＳ３）。顔が検出された場合は、処理がステップＳ４に進む。システム制御部１０８が、撮像素子１０２が出力する映像信号から得られるライトフィールドを用いて、検出された顔に合焦位置があった映像を生成する（ステップＳ４）。そして、システム制御部１０８が、生成した映像を表示部１０９に出力する。
【００３５】
顔が検出されない場合は、処理がステップＳ６に進む。システム制御部１０８が、現在処理対象となっている映像に対応する撮像素子が、最も焦点距離が短いレンズに対応する撮像素子（最広角センサ）であるかを判断する（ステップＳ６）。現在処理対象となっている映像に対応する撮像素子が、最広角センサである場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。
【００３６】
現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ７に進む。そして、次に焦点距離の長いレンズに対応する撮像素子に対応する映像を顔検出処理の対象とし（ステップＳ７）、処理がステップＳ２に進む。
【００３７】
実施例１の撮像装置は、撮像素子１０２が出力する画像信号に基づく、レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する。具体的には、撮像装置は、焦点距離が長いレンズに対応する撮像素子の映像から焦点距離が短い撮像素子の映像に順次シフトして顔を解析していき、顔を検出した場合に、検出された顔にフォーカスが合った映像をライトフィールドを用いて生成して表示する。したがって、ユーザは、中央にある顔にフォーカスのあった映像を確認することができ、撮影をしやすくなる。なお、検出する被写体によっては、焦点距離の短いレンズに対応する映像から順に顔の検出処理の対象とするようにしてもよい。
【００３８】
（実施例２）
図４は、実施例２の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１１）。撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ１２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析の対象とする（ステップＳ１２）。
【００３９】
ステップＳ１３、Ｓ１４、Ｓ１７、Ｓ１８は、それぞれ、図３のステップＳ２、Ｓ３、Ｓ６、Ｓ７と同様である。なお、ステップＳ１７の判断処理で、現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ１９に進む。
【００４０】
ステップＳ１４の判断処理で、顔が検出された場合は、処理がステップＳ１５に進む。そして、システム制御部１０８が、検出された顔に合焦位置が合うようにフォーカス制御部１０６を制御する（ステップＳ１５）。そして、システム制御部１０８が、上記ステップＳ１５で顔に合焦位置が合った映像を表示部１０９に出力する（ステップＳ１６）。
【００４１】
ステップＳ１１の判断処理で、撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ１９に進む。そして、システム制御部１０８が、最広角センサが出力する映像信号に係る映像に含まれる被写体に合焦位置が合うようにする制御量を算出する（ステップＳ１９）。これは、最広角センサからの映像が最も被写体の情報量が多いからである。続いて、システム制御部１０８が、ステップＳ１９で算出された制御量を用いて、フォーカス制御部１０６を制御して、被写体に合焦位置を移動させる（ステップＳ２０）。そして、システム制御部１０８が、被写体に合焦点位置が合った映像を表示部１０９に出力する（ステップＳ２１）。
【００４２】
実施例２の撮像装置は、顔の検出処理を望遠側のレンズに対応する映像から広角側のレンズに対応する映像に順次切り替え、検出された顔にフォーカスが合った映像をフォーカスレンズの駆動により取得して表示部へ出力する。したがって、ユーザは、中央にある顔にフォーカスが合った映像を確認することができ、撮影をしやすくなる。
【００４３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４４】
１０１  撮像光学系
１０２  撮像素子
１０３  画像処理ＬＳＩ
１０６  フォーカス制御部
１０７  撮像素子制御部
１０８  システム制御部
１０９  表示部
【図１】
2018082441.tif 000003
【図２】
2018082441.tif 000004
【図３】
2018082441.tif 000005
【図４】
2018082441.tif 000006
【手続補正書】
【提出日】平成29年12月28日(2017.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部と、
前記複数の撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出手段と、
前記検出手段によって検出された被写体に合焦する画像を出力する出力手段とを備えることを特徴とする撮像装置。
【請求項２】
前記検出手段は、対応するレンズの焦点距離毎に順次、前記検出処理を実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、複数の前記画像信号のうち、前記焦点距離が最も長いレンズを通じた入射光に対応する画像信号から順に前記検出処理の対象とすることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記検出手段は、複数の前記画像信号のうち、前記焦点距離が最も短いレンズを通じた入射光に対応する画像信号から順に前記検出処理の対象とすることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記検出手段は、前記検出処理の対象となる画像信号から被写体が検出できない場合に、当該画像信号が対応するレンズの焦点距離の次に焦点距離が長いレンズに対応する画像信号を前記被写体の検出処理の対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
前記検出手段によって画像から被写体が検出された場合に、前記撮像部が出力する画像信号に基づいて得られる前記入射光の方向に関する情報に基づいて、前記検出された被写体に合焦位置が合った画像を生成する生成手段を備え、
前記出力手段は、前記生成手段により生成された画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
フォーカスレンズを駆動制御して焦点調節処理を行う制御手段を備え、
前記制御手段は、前記検出手段によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合うように前記焦点調節処理を行い、
前記出力手段は、前記焦点調節処理によって前記被写体に合焦位置が合った画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
隣り合う前記複数の撮像部は、焦点距離が異なることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の撮像部は、水平あるいは垂直に配列されていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記複数の撮像部は、前記撮像装置の正面において、焦点距離が相対的に短いレンズの右側には焦点距離が相対的に長いレンズが設けられるように配列されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記複数の撮像部は、前記撮像装置の正面において、焦点距離が相対的に短いレンズの下側には焦点距離が相対的に長いレンズが設けられるように配列されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１２】
焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部を備える撮像装置の制御方法であって、
前記複数の撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出工程と、
前記検出手段によって検出された被写体に合焦する画像を出力する出力工程とを備えることを特徴とする撮像装置の制御方法。
【請求項１３】
焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部が出力する、複数の焦点距離に対応する画像信号それぞれにおいて、
画像信号から被写体を検出する検出処理を実行する検出手段と、
前記検出手段によって検出された被写体に合焦する画像を出力する出力手段とを備えることを特徴とする画像処理装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、および画像処理装置に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズを通じた入射光をそれぞれ光電変換する複数の撮像部と、前記複数の撮像部が出力する複数の焦点距離に対応する画像信号それぞれにおいて、画像信号から被写体を検出する検出処理を実行する検出手段と、前記検出手段によって検出された被写体に合焦する画像を出力する出力手段とを備える。