(57)【要約】【課題】  撮影後の画像の合焦位置を調整する処理を行う際に、合焦状態を容易に判定できる構成を提供する。【解決手段】  視差を有する第１の画像データと第２の画像データに対して、互いに補色となるように色処理を行い、色処理が行われた色処理後の第１の画像データと第２の画像データを合成して、合成した画像データに基づく画像を表示手段に表示させる。【選択図】  図３
2018019357.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する第１の画像データと第２の画像データを取得する取得手段と、
前記第１の画像データと前記第２の画像データに対して、互いに補色となるように色処理を行い、該色処理が行われた色処理後の第１の画像データと第２の画像データを合成し、表示手段に出力する画像処理手段を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記第１の画像データに対して、Ｒ、ＧおよびＢのうちのいずれか１つの色に対応する画像データとなるように前記色処理を行い、前記第２の画像データに対して、残りの２つの色を加算したものに対応する画像データとなるように前記色処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記色処理が行われていない前記第１の画像データと前記第２の画像データを、互いに位置をずらした状態で合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記色処理が行われていない前記第１の画像データと前記第２の画像データをずらした量に基づいて、前記色処理後の第１の画像データと第２の画像データをずらした状態で合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記第１の画像データと前記第２の画像データのそれぞれの一部の領域に対して、前記色処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理手段は、少なくとも主被写体の領域および操作者により指定された領域のいずれかに対して、前記色処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
１つのマイクロレンズに対して複数の光電変換部を有する画素を含む撮像素子を有し、
前記第１の画像データは前記複数の光電変換部のうちの一部の光電変換部に蓄積された電荷に対応する画像データであり、前記第２の画像データは前記複数の光電変換部のうちの他の一部の光電変換部に蓄積された電荷に対応する画像データであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
視差を有する第１の画像データと第２の画像データを取得する取得工程と、
前記第１の画像データと前記第２の画像データに対して、互いに補色となるように色処理を行う工程と、
該色処理が行われた色処理後の第１の画像データと第２の画像データを合成する工程と、
合成することで得られたデータを表示手段に出力する工程と、を有することを特徴とする画像処理方法。
【請求項９】
コンピュータに画像処理を行わせるプログラムであって、
視差を有する第１の画像データと第２の画像データを取得させ、
前記第１の画像データと前記第２の画像データに対して、互いに補色となるように色処理を行わせ、
該色処理が行われた色処理後の第１の画像データと第２の画像データを合成させ、
合成することで得られたデータを表示手段に出力させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後の画像の合焦位置を調整する処理において、合焦状態を容易に判定できるようにするための技術に関するものである。
【背景技術】
【０００２】
結像光学系である撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の位相の異なる画像を同時に撮影することができる撮像装置が提案されている。特許文献１には、このような撮像装置において、撮影後に撮像画像の合焦位置を変更するいわゆるリフォーカス技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
リフォーカス技術を用いて撮像画像の合焦位置を変更した場合に、撮影者または画像の操作者が意図する位置からずれた位置に、合焦位置が変更されてしまう可能性がある。そのため、撮影者または画像の操作者が、意図する合焦値に変更できたか否かを容易に確認するできる方法を提供することが望ましい。
【課題を解決するための手段】
【０００５】
上記課題を達成するため、本願発明に係る画像処理装置は、視差を有する第１の画像データと第２の画像データを取得する取得手段と、前記第１の画像データと前記第２の画像データに対して、互いに補色となるように色処理を行い、該色処理が行われた色処理後の第１の画像データと第２の画像データを合成し、表示手段に出力する画像処理回路を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影後の画像の合焦位置を調整する処理において、合焦状態を容易に判定する画像処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る画像処理装置の１つである撮像装置の構成を示すブロック図である。
【図２】撮像素子の構成を示す図である。
【図３】リフォーカス技術を用いて合焦位置の調整を行う場合のＡ像データとＢ像データの色処理と合成処理について説明するための図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されない。
【０００９】
図１は、本発明の実施形態に係る画像処理装置の１つである撮像装置の構成を示すブロック図である。同図において、撮像素子１００は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述する中央処理装置（以下、これをＣＰＵと称する）１０３によって制御され、静止画または動画を撮影する。アナログフロントエンド（以下、これをＡＦＥと称する）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。タイミングジェネレータ（以下、これをＴＧと称する）１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。
【００１０】
上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのプログラムを実行する。操作部１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う。モニター１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理回路１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムと、各種回路で用いられる係数群を格納する。ここで、本実施形態では、フラッシュメモリを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。画像処理回路１０８は、撮影された静止画または動画の補正や圧縮等の処理を行う。また、後述するＡ像データとＢ像データへの分離機能やＡ像データとＢ像データの合成機能、その他の画像の補正機能や、静止画像、動画像の生成機能を備える。
【００１１】
ＡＦ演算部１０９は、相関演算部１２０から出力される相関演算の結果を用いて、フォーカスレンズの駆動量を算出する。フラッシュメモリ１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリでもよい。また、これらの記録媒体を内蔵した形態でもよい。
【００１２】
フォーカルプレーンシャッタ１１１は、静止画撮影時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。第１レンズ１１６は、撮影光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮影時の光量を調節する。そして、前記絞り１１７及び第２レンズ１１８は一体となって光軸方向に進退し、前記第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ１１９は、光軸方向の進退により、撮影光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。
【００１３】
次に撮像素子１００の構成を、図２を参照して説明する。
【００１４】
撮像素子１００の画素アレイを図２に示す。図２において、画素配列はベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ，Ｇｂは緑のカラーフィルタを示し、マイクロレンズ１００ａはマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）１００ｂ、１００ｃは光電変換を行う光電変換手段として、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ａが上部に配置される構成となっている。すなわち、焦点検出用画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ａを共有している撮像領域を１画素とした場合、画素アレイには、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ１００ｂとＰＤ１００ｃで蓄積された電荷は、後述する画素転送動作によって同時、または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｂとＰＤ１００ｃは、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。そのため、視差を有するＰＤ１００ｂとＰＤ１００ｃの信号を独立に読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量などを計算することができる。また、互いに位相差を持った別々の位相の像は撮影後のリフォーカスの調整に使うことができる。ここではＰＤ１００ｃをＡ像用光電変換部、ＰＤ１００ｂをＢ像用光電変換部とする。図２では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができ、または４つ以上に瞳分割することもできる。
【００１５】
次に本実施形態における撮像装置で撮影を行う場合の動作を説明する。撮影者によって操作部１０４に撮影命令が入力されると、撮像素子１００のＰＤ１００ｂおよびＰＤ１００ｃからＡ像データおよびＢ像データがＡＦＥ１０１およびＣＰＵ１０３を経て画像処理回路１０８へと出力される。画像処理回路１０８では取得したＡ像データおよびＢ像データを加算して撮像信号とし、撮像信号はモニター１０５に表示され、Ａ像データおよびＢ像データはフラッシュメモリ１１０に記録される。Ａ像データおよびＢ像データおよびＡ像データとＢ像データの加算データがフラッシュメモリ１１０に記録される。記録されるのはＡ像データおよびＡ像データとＢ像データの加算データだけであってもかまわない。また、撮像素子１００のＰＤ１００ｂおよびＰＤ１００ｃからＡ像データおよびＢ像データを出力する代わりに、Ａ像データおよびＡ像データとＢ像データの加算データを出力するようにしてもよい。この加算データからＡ像データを減算すれば、Ｂ像データを得ることができる。
【００１６】
次に撮影者によって操作部１０４にリフォーカス命令が入力されると、画像処理回路１０８はフラッシュメモリ１１０にＡ像データおよびＢ像データが記憶されていれば、Ａ像データおよびＢ像データを呼び出す。フラッシュメモリ１１０にＡ像データおよびＡ像データとＢ像データの加算データが記憶されていれば、Ａ像データおよびＡ像データとＢ像データの加算データを呼び出し、加算データからＡ像データを減算することでＢ像データを生成する。画像処理回路１０８は、Ａ像データとＢ像データを、互いに補色の関係となる色相のＡ像データとＢ像データに変換する。この互いに補色の関係となる色相のＡ像データとＢ像データを、色処理後のＡ像データ、色処理後のＢ像データという。
【００１７】
リフォーカス技術によって合焦位置の調整を行う場合には、元のＡ像データおよびＢ像データの位相差を調整し、所望の合焦位置となるときの位相差で、元のＡ像データとＢ像データを合成する。そして、この位相差の調整結果を、色処理後のＡ像データおよびＢ像データにも反映させ、これら位相差を調整した色処理後のＡ像データおよびＢ像データを加算し、加算した結果に基づく画像をモニター１０５に表示する。
【００１８】
図３を用いてリフォーカス技術を用いて合焦位置の調整を行う場合のＡ像データとＢ像データの色処理と合成処理について説明する。図３（ａ）は被写体を示す。被写体を撮影すると本発明の撮像装置においては撮像素子１００の各画素は瞳分割構成となっているため、互いに位相差を持った別々の像が撮像素子のＰＤ１００ｂおよびＰＤ１００ｃに入射される。そのため、Ａ像データおよびＢ像データは視差を有する画像となる。撮像装置からの距離が異なる複数の被写体が存在する場合に、合焦状態である被写体の領域においては、Ａ像データとＢ像データの位相（位置）が一致するが、合焦状態ではない被写体の領域においては、Ａ像データとＢ像データの位相（位置）にはズレが生じる。
【００１９】
図３（ｂ）は互いに補色の関係となるように色処理が施された、色処理後のＡ像データとＢ像データを示す模式図である。画像処理回路１０８は、Ａ像データからＧ（緑）に対応する信号のみを抽出することで色処理後のＡ像データを生成し、図３（ｃ）はＢ像データからＢ（青）およびＲ（赤）に対応する信号を抽出して加算することで、色処理後のＢ像データを生成する。
【００２０】
図３（ｄ）は、被写体Ｙが合焦状態である場合の、色処理後のＡ像データとＢ像データを合成した際に表示される画像を示す図である。色処理を行ったＡ像データとＢ像データを合成した場合に、位相が合っている、すなわち合焦状態となる領域では、Ａ像データの被写体とＢ像データの被写体の位置が一致するため、Ｇ、ＢおよびＲに対応する信号が加算されることになる。そのため、収差やノイズによる影響を除けば、被写体の色と一致する画像を得ることができる。反対に、位相が合っていない、すなわち合焦状態ではない領域では、Ａ像データの被写体とＢ像データの被写体の位置にはズレが生じる。そのため、その被写体のエッジや輪郭部では、色処理後のＡ像データとＢ像データのいずれかの色が強めに表示されることなる。
【００２１】
ここで、被写体のエッジや輪郭部のどちら側に、どちらの色が強めに表示されているかに基づいて、デフォーカス方向を判定することができる。このため所望の被写体を合焦させるために、合焦位置を至近側と無限縁側のどちらの方向に調整すべきかを操作者が簡単に判断できる。
【００２２】
図３（ｅ）は、被写体Ｘが合焦状態である場合の、色処理後のＡ像データとＢ像データを合成した際に表示される画像を示す図である。図３（ｄ）に示す画像のエッジおよび輪郭部に現れた色成分に基づいて、合焦位置を調整することで、被写体Ｘを合焦状態とする図３（ｅ）に示す画像を容易に得ることができる。
【００２３】
なお、Ａ像データとＢ像データに対する色処理は撮像画面全体に対して行っても良いし、画像内の特定の一部の領域のみに対して行っても良い。特定の一部の領域とは、主被写体判別手段により主被写体と判別がなされた領域や、操作者がタッチパネル機能を用いて指定した領域でも良い。
【００２４】
また、本実施形態では、撮像装置が合焦状態を容易に判断できるようにするための画像データを生成する構成としたが、これに限られるものではない。パーソナルコンピュータなどの画像処理装置としての機能を有する外部装置が、撮像装置から視差のある２つの画像データを受け取り、これらの画像データに対して色変換を行って合焦状態を容易に判断できるようにするための画像データを生成してもよい。
【００２５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００２６】
１００  撮像素子
１００ａ  マイクロレンズ
１００ｂ、１００ｃ  光電変換部
１０５  モニター
１０８  画像処理回路
【図１】
2018019357.tif 000003
【図２】
2018019357.tif 000004
【図３】
2018019357.tif 000005