(57)【要約】【課題】複数の位相の異なる画像を撮像素子から取得を行った後に画像処理を行うことで、画像表示や画像処理のための時間が単数の画像取得と画像処理と比べて長くなるという問題に対応する方法を提供すること。【解決手段】撮像素子から複数の位相の異なる画像を取得し、それぞれの位相の画像に画像処理を行い保存する場合には、最初に撮像素子から呼び出された位相の画像のみを用いてサムネイルの作成、簡易表示画像の作成、被写体判別等の画像処理を行う。【選択図】図４
2018014654.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が配列された撮像素子であって、前記画素の各々には、それぞれが結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた撮像素子から得られる入力画像を取得する取得手段と、
同じ瞳部分領域を通過する光束を受光する副画素の信号に基づいて、前記入力画像から複数の位相の異なる画像を生成する生成手段と、
複数の位相の異なる画像の信号を時系列に信号処理手段に呼び出す呼び出し手段を有し、
複数の位相の異なる画像のうち最初に呼び出された信号で処理された画像により最終画像生成保存前の信号処理を行うことを特徴とする撮像装置。
【請求項２】
最終画像生成保存前の処理はサムネイル作成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
最終画像生成保存前の処理は表示装置で表示される簡易表示画像の作成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
最終画像生成保存前の処理は被写体の評価画像の作成であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
被写体の評価画像は被写体の追尾、顔検出、シーン判別に用いられることを特徴とする請求項４に記載の撮像装置。
【請求項６】
複数の位相の異なる画像のうち最初に呼び出される位相の画像は同じ瞳部分領域を通過する光束を受光する副画素の信号に基づき生成され、次に呼び出される位相の画像は複数の瞳部分領域を通過する光束を受光する副画素の信号を合成したものであることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラの撮像装置に関し、特に撮像素子を用いて複数の位相のことなる画像の撮影を行う撮像装置に関する。
【背景技術】
【０００２】
撮影レンズ（結像光学系）の射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている（特許文献１。）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の位相の異なる画像を撮像素子から取得を行った後に画像処理を行うことで、画像表示や画像処理のための時間が単数の画像取得と画像処理と比べて長くなるという問題が生じる。また、複数の画像により処理された本撮影画像で無くとも、サムネイルのような小さい画像や、顔検出などの顔の位置、シーンの判別の様な高画質が求められないような場合には、一つの位相で撮影された画像でも影響がない。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本願発明に係る撮像装置は、
撮像素子から複数の位相の異なる画像を取得し、それぞれの位相の画像に画像処理を行い保存する場合には、最初に撮像素子から呼び出された位相の画像のみを用いてサムネイルの作成、簡易表示画像の作成、被写体判別等の画像処理を行い、最初に撮像素子から呼び出された位相の画像を用いた表示画像の作成、被写体判別等の画像処理中に２枚目以降の位相の画像を撮像素子から呼び出す。
【発明の効果】
【０００６】
本発明によれば、撮像素子から複数の位相の異なる画像を取得する撮像装置において、複数の位相の画像を取得し処理する場合の表示や処理にかかわる時間を短縮することができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る撮像装置の機能構成例を示すブロック図である。
【図２】撮像素子の構成を示す図である。
【図３】撮像素子からの信号の呼び出し示す図である。
【図４】信号処理の順番を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されない。
【０００９】
図１は本発明の実施形態に係る焦点検出装置、及び画像補正部を具備した撮像装置の構成を示すブロック図である。
【００１０】
同図において、撮像素子１００は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述する中央処理装置１０３等によって制御され、静止画または動画を撮影する。
【００１１】
アナログフロントエンド（以下、これをＡＦＥと称する）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。
【００１２】
タイミングジェネレータ（以下、これをＴＧと称する）１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。
【００１３】
上述のように、中央処理装置（以下、これをＣＰＵと称する）１０３は撮像素子の各部を制御するためのプログラムを実行する。
【００１４】
操作部１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う。
【００１５】
表示部１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う。
【００１６】
ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。
【００１７】
ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムと、各種回路で用いられる係数群を格納する。ここで、本実施形態では、フラッシュメモリを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。画像処理部１０８は、撮影された静止画または動画の補正や圧縮等の処理を行う。
【００１８】
また、後述するＡ像データとＢ像データへの分離機能やＡ像データとＢ像データの合成機能、その他の画像の補正機能や、静止画像、動画像の生成機能を備える。
【００１９】
ＡＦ演算部１０９は、相関演算部１２０から出力される相関演算の結果を用いて、フォーカスレンズの駆動量を算出する。
【００２０】
フラッシュメモリ１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリでもよい。また、これらの記録媒体を内蔵した形態でもよい。
【００２１】
フォーカルプレーンシャッタ１１１は、静止画撮影時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。
【００２２】
フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。
【００２３】
絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。
【００２４】
第１レンズ１１６は、撮影光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。
【００２５】
絞り１１７は、その開口径を調節することで撮影時の光量を調節する。そして、前記絞り１１７及び第２レンズ１１８は一体となって光軸方向に進退し、前記第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。
【００２６】
第３レンズ１１９は、光軸方向の進退により、撮影光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。
【００２７】
次に撮像素子１００の構成を、図２を参照して説明する。
【００２８】
撮像素子１００の画素アレイを図２に示す。
【００２９】
図２において画素配列はベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ，Ｇｂは緑のカラーフィルタを示し、マイクロレンズ１００ａはマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）１００ｂ、１００ｃは光電変換を行う光電変換手段として、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ａが上部に配置される構成となっている。
【００３０】
すなわち、焦点検出用画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ａを共有している撮像領域を１画素とした場合、画素アレイ１００ａには、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ１００ｂとＰＤ１００ｃで蓄積された信号は、後述する画素転送動作によって同時、または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｂとＰＤ１００ｃは、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。
【００３１】
そのため、ＰＤ１００ｂとＰＤ１００ｃの信号を独立に読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量などを計算することができる。また、互いに位相差を持った別々の位相の像は撮影後のリフォーカスの調整に使うことができる。ここではＰＤ１００ｃをＡ像用光電変換部、ＰＤ１００ｂをＢ像用光電変換部とする。図２では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができ、または４つ以上に瞳分割することもできる。
【００３２】
次に撮像素子１００からの信号の読み出しについて図３を用いて説明する。
【００３３】
図３（ａ）はＡ像用光電変換部からＡ像データをＢ像用光電変換部からＢ像データをそれぞれ読み出す場合を示している。
【００３４】
操作部１０４に撮影命令が入力されると撮像素子１００のＰＤ１００ｃからのＡ像データの読み出しスイッチがオンとなりＡ像データはＡＦＥ１０１およびＣＰＵ１０３を経て画像処理部１０８へと出力される。Ａ像データの読み出しが完了するとＡ像データの読み出しスイッチがオフとなり、変わって撮像素子１００のＰＤ１００ｂからのＢ像データの読み出しスイッチがオンとなりＢ像データはＡＦＥ１０１およびＣＰＵ１０３を経て画像処理部１０８へと出力される。Ｂ像データの読み出しが完了するとＢ像データの読み出しスイッチがオフとなり、撮影は終了される。
【００３５】
図３（ｂ）はＡ像用光電変換部からＡ像データをＡ像用光電変換部とＢ像用光電変換部からＡ像データとＢ像データの加算データを読み出す場合を示している。
【００３６】
操作部１０４に撮影命令が入力されると撮像素子１００のＰＤ１００ｃからのＡ像データの読み出しスイッチがオンとなりＡ像データはＡＦＥ１０１およびＣＰＵ１０３を経て画像処理部１０８へと出力される。Ａ像データの読み出しが完了するとＡ像データの読み出しスイッチがオフとなる。
【００３７】
次に撮像素子１００のＰＤ１００ｃからのＡ像データと撮像素子１００のＰＤ１００ｂからのＢ像データの加算信号の読み出しスイッチがオンとなりＡ像データとＢ像データの加算データはＡＦＥ１０１およびＣＰＵ１０３を経て画像処理部１０８へと出力される。Ａ像データとＢ像データの加算データの読み出しが完了するとＡ像データとＢ像データの加算データの読み出しスイッチがオフとなり、撮影は終了される。
【００３８】
次に撮像素子１００からの信号の読み出した信号の処理について図４を用いて説明する。
【００３９】
図４（ａ）はＡ像データ、Ｂ像データをそれぞれ読み出した場合の信号処理を示している。
【００４０】
Ａ像データの読み出し（Ｓ４０１）が完了すると直ちに画像処理部１０８でＡ像データに画像処理を行って、撮影画像のサムネイルの作成、撮影直後の確認用に表示部１０５に表示される簡易画像の作成、被写体の評価画像の作成（Ｓ４０２）を行う。被写体の評価画像は被写体の追尾、顔検出、シーン判別等の処理に用いられる。
【００４１】
Ａ像データの読み出しが完了しＡ像データに画像処理が開始されるのと同時にＢ像データの読み出し（Ｓ４０３）が開始される。Ｂ像データの読み出しが終了するとＡ像データとＢ像データが画像処理部１０８で加算され（Ｓ４０４）加算されたデータが画像処理され本表示用の画像が作成される（Ｓ４０５）。本表示用の画像はフラッシュメモリ１１０に記録される（Ｓ４０６）。本表示用の画像の作成前にＡ像データを用いて画像精度の必要の無い簡易処理を行うことで、画像の呼び込みから各種処理までの処理時間を短縮することができる。
【００４２】
図４（ｂ）はＡ像データとＡ像データとＢ像データの加算データを読み出した場合の信号処理を示している。
【００４３】
Ａ像データの読み出し（Ｓ４０７）が完了すると直ちに画像処理部１０８でＡ像データに画像処理を行って、撮影画像のサムネイルの作成、撮影直後の確認用に表示部１０５に表示される簡易画像の作成、被写体の評価画像の作成（Ｓ４０８）を行う。被写体の評価画像は被写体の追尾、顔検出、シーン判別等の処理に用いられる。Ａ像データの読み出しが完了しＡ像データに画像処理が開始されるのと同時にＡ像データとＢ像データの加算データの読み出し（Ｓ４０９）が開始される。Ａ像データとＢ像データの加算データの読み出しが終了すると画像処理部１０８でＡ像データとＢ像データの加算データが画像処理され本表示用の画像が作成される（Ｓ４１０）。
【００４４】
本表示用の画像はフラッシュメモリ１１０に記録される。また、Ａ像データは撮影後の再度、合焦位置を調整するリフォーカス等のためのデータとしてフラッシュメモリ１１０に記録される（Ｓ４１１）。本表示用の画像の作成前にＡ像データを用いて画像精度の必要の無い簡易処理を行うことで、画像の呼び込みから各種処理までの処理時間を短縮することができる。
【００４５】
上記した処理は、複数の画像により処理された本撮影画像で無くとも、サムネイルのような小さい画像や、顔検出などの顔の位置、シーンの判別の様な高画質が求められないような場合には、一つの位相で撮影された画像でも影響がないため可能となる。このため作成したサムネイルは本画像用のサムネイルとして使用でき、簡易画像の表示が速くなり、連写時のコマ間のライブビュー表示による動体被写体追尾を撮像装置でしやすくなる。また、被写体の追尾評価は連写時の次の撮影時のフォーカスポイントの決定に用いられ連写速度を速めることができ、顔検出、シーン判別においてはＡ像データとＢ像データの加算データが画像処理のためのパラメータを決定するまでの時間を短縮できる。
【符号の説明】
【００４６】
１００  撮像素子、１００ａ  マイクロレンズ、１００ｂ，１００ｃ  光電変換部
【図１】
2018014654.tif 000003
【図２】
2018014654.tif 000004
【図３】
2018014654.tif 000005
【図４】
2018014654.tif 000006