(57)【特許請求の範囲】
【請求項１】
それぞれ複数の光電変換部を含む複数の画素を備え、撮像光学系から被写体光を受光する撮像素子から得られる信号を用いて、解像度の異なる複数の画像の映像信号を生成する画像処理装置であって、
前記信号を用いて記録部に記録する画像を生成する記録画像生成手段と、
前記信号を用いて得られる画像にリフォーカス処理を行い、表示部に表示する画像を生成する表示画像生成手段と、を有し、
前記表示画像生成手段は、前記撮像光学系の状態に基づいて、前記記録部に記録する画像と前記表示部に表示する画像の解像度の違いに起因する前記記録部に記録する画像と前記表示部に表示する画像のピントのずれを低減するようなパラメータで前記リフォーカス処理を行うことを特徴とする画像処理装置。
【請求項２】
前記撮像光学系の状態は、絞り、フォーカスレンズの位置、またはズームレンズの位置の少なくともいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
表示装置の特性を取得する取得手段を更に有し、
前記表示装置の特性に基づいて、前記リフォーカス処理のパラメータは決定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示装置に第１の映像信号を出力する出力手段と、
前記表示装置に表示された前記第１の映像信号から取得された第２の映像信号の振幅を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記表示装置の特性を取得する取得手段と、を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
異なるリフォーカス位置において、前記表示画像生成手段によってリフォーカス処理された映像信号の振幅を検出する検出手段と、
撮影者によって調整されたピント面位置と、前記検出手段の検出結果に基づくピント面位置との差分を算出する算出手段と、を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記差分に基づいて、前記リフォーカス処理のパラメータは決定されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像処理装置は、ナイキスト周波数の低いモニターでのピントと、記録されるナイキスト周波数の高い映像信号でのピントのずれを低減することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１から７のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項９】
それぞれ複数の光電変換部を含む複数の画素を備え、撮像光学系から被写体光を受光する撮像素子から得られる信号を用いて、解像度の異なる複数の画像の映像信号を生成する画像処理方法であって、
前記信号を用いて記録部に記憶する画像を生成するステップと、
前記信号を用いて得られる画像にリフォーカス処理を行い、表示部に表示する画像を生成するステップと、を有し、
前記表示部に表示する画像を生成するステップは、前記撮像光学系の状態に基づいて、前記記録部に記録する画像と前記表示部に表示する画像の解像度の違いに起因する前記記録部に記録する画像と前記表示部に表示する画像のピントのずれを低減するようなパラメータで前記リフォーカス処理を行うことを特徴とする画像処理方法。
【請求項１０】
コンピュータに請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理方法に関する。
【背景技術】
【０００２】
従来、映画などの撮影現場では、フォーカスマンと呼ばれる専門家により、フォーカシングがマニュアルで行われている。フォーカスマンは専用のモニターに映し出された映像を見ながらフォーカシングを行うため、きめの細かい表現で撮影することが可能である。近年、映像信号が４Ｋや８Ｋといった高精細な解像度（画素数）に対応してきている。しかしながら、撮影用のモニターでは、高精細な解像度の画像を確認することは困難である。したがって、記録される映像信号と撮影用のモニターの映像信号では、ナイキスト周波数が大きく異なってしまう。
【０００３】
また、レンズには球面収差があり、周波数ごとに最もコントラストが高くなる像面位置が異なる。そのため、ナイキスト周波数の低いモニターでピント調整を行うと、記録されるナイキスト周波数の高い映像信号のピントはずれてしまう。
【０００４】
そこで、特許文献１では、記録解像度の信号でピーキング検出という高周波のコントラスト検出を行い、表示解像度の画像に検出結果をグラフィカルに重畳表示させる方法が開示されている。また、特許文献２では、１つのマイクロレンズに対して複数の画素を配置して得られた複数の視差画像を元にリフォーカス処理を行うことで画像を再構成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２０１７０３号公報
【特許文献２】特開２０１４−６４２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、表示解像度の画像に対してピーキング像が重畳しているため、画像の視認性が悪化してしまう。また、特許文献２では、記録するデータ量が膨大となり、記録後にピント調整をしなくてはならないため、ピント調整の後処理に手間がかかる。
【０００７】
このような課題に鑑みて、本発明は、記録される画像の解像度よりも低い解像度のモニターを用いて適切なピント確認が可能な画像処理装置、撮像装置、および画像処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、それぞれ複数の光電変換部を含む複数の画素を備え、撮像光学系から被写体光を受光する撮像素子から得られる信号を用いて、解像度の異なる複数の画像の映像信号を生成する画像処理装置であって、前記信号を用いて記録部に記録する画像を生成する記録画像生成手段と、前記信号を用いて得られる画像にリフォーカス処理を行い、表示部に表示する画像を生成する表示画像生成手段と、を有し、前記表示画像生成手段は、前記撮像光学系の状態に基づいて、前記記録部に記録する画像と前記表示部に表示する画像の解像度の違いに起因する前記記録部に記録する画像と前記表示部に表示する画像のピントのずれを低減するようなパラメータで前記リフォーカス処理を行うことを特徴とする。
【０００９】
また、本発明の他の側面としての画像処理方法は、それぞれ複数の光電変換部を含む複数の画素を備え、撮像光学系から被写体光を受光する撮像素子から得られる信号を用いて、解像度の異なる複数の画像の映像信号を生成する画像処理方法であって、前記信号を用いて記録部に記憶する画像を生成するステップと、前記信号を用いて得られる画像にリフォーカス処理を行い、表示部に表示する画像を生成するステップと、を有し、前記表示部に表示する画像を生成するステップは、前記撮像光学系の状態に基づいて、前記記録部に記録する画像と前記表示部に表示する画像の解像度の違いに起因する前記記録部に記録する画像と前記表示部に表示する画像のピントのずれを低減するようなパラメータで前記リフォーカス処理を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、記録される画像の解像度よりも低い解像度のモニターを用いて適切なピント確認が可能な画像処理装置、撮像装置、および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の撮像装置のブロック図である。
【図２】撮像素子の画素構造を示す図である。
【図３】リフォーカス処理の説明図である。
【図４】球面収差の影響を示す図である。
【図５】レンズ特性情報を示す図である。
【図６】撮像装置と表示装置を示す図である。
【図７】実施例２の撮像装置のブロック図である。
【図８】表示部周波数特性検出のフローチャートである。
【図９】実施例３の撮像装置のブロック図である。
【図１０】ピントずれ量検出のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【実施例１】
【００１３】
図１は、本実施例の撮像装置のブロック図である。撮像光学系１０１は、フォーカスレンズを備え、撮像素子に被写体光を導く。撮像素子１０２の各画素には、マイクロレンズが設けられるとともに、被写体光を電気信号に変換する複数の光電変換部が配置されている。混合部１０３は、マイクロレンズ単位で複数の光電変換部から出力された信号を加算する。信号処理部１０４は、混合部１０３から出力された信号を映像信号に変換する。エンコード記録部１０５は、信号処理部１０４から出力された映像信号をエンコードして記録する。再構成部１０６は、撮像素子１０２からの信号の配列を並べ替えることで、仮想的に結像面（撮像面、合焦面、焦点面）を変更させるリフォーカス処理を行う。混合部１０７は、再構成部１０６から出力された信号をマイクロレンズ単位で加算する。リサイズ部１０８は、混合部１０７から出力された信号を縮小画像用の信号に変換する。信号処理部１０９は、リサイズ部１０８から出力された信号を映像信号に変換する。表示部１１０は、信号処理部１０９から出力された映像信号を画像として表示する。レンズ特性情報部１１２は、レンズの特性情報を格納する。リフォーカスパラメータ決定部１１１は、撮像光学系１０１の状態を取得し、レンズ特性情報部１１２のレンズの特性情報に基づいてリフォーカス処理のパラメータを決定する。リフォーカスパラメータ決定部１１１とレンズ特性情報部１１２は、本実施形態の画像処理装置として機能する。
【００１４】
図２は、撮像素子１０２の１画素の構造を示す図である。マイクロレンズ２０５は、撮像素子１０２の各画素に設けられている。マイクロレンズ２０５に対応する４つの光電変換部２０１〜２０４がマイクロレンズ２０５を通過した光を受光する。このような構造により、マイクロレンズ２０５に入射する光は、４つの入射角度別に光電変換される。
【００１５】
次に、図３を用いて、リフォーカス処理の原理について説明をする。図３には、撮像素子の一部の画素が示されている。各画素には、マイクロレンズＰ１〜Ｐ４が設けられている。撮像面３０１において、マイクロレンズＰ１が設けられている画素には、光電変換部Ａ１，Ｂ１が配置されている。マイクロレンズＰ２が設けられている画素には、光電変換部Ａ２，Ｂ２が配置されている。マイクロレンズＰ３が設けられている画素には、光電変換部Ａ３，Ｂ３が配置されている。マイクロレンズＰ４が設けられている画素には、光電変換部Ａ４，Ｂ４が配置されている。各画素からの出力が加算された信号は、映像信号に変換される。
【００１６】
ここで、撮像面３０１と、撮像面３０１から焦点面距離３０２だけ離れたリフォーカス面３０３に入射する光線について説明する。撮像面３０１では、画素３０７に入射する光線３０４は光電変換部Ｂ２に入射し、光線３０５は光電変換部Ａ２に入射する。リフォーカス面３０３では、光線３０４は画素３０８に入射する。また、撮像面３０１において光電変換部Ａ４に入射する光線３０６が画素３０８に入射する。つまり、撮像面３０１では光線３０４，３０５が同一画素に入射するが、リフォーカス面３０３では光線３０４，３０６が同一画素に入射する。したがって、１つのマイクロレンズに対して複数の光電変換部を構成し、その組み合わせを変更することで、撮像面を前後に動かしたのと同様の効果を得ることができる。本実施例では、再構成部１０６がこのような再構成を行う。
【００１７】
図４は、被写体を撮影した場合の球面収差の影響を示す図である。横軸はフォーカスレンズの位置、縦軸は撮像素子に投影された被写体像のコントラスト値を表している。最もコントラスト値が高いフォーカスレンズの位置が、ピントが合っている位置である。図４には、モニターに出力する映像信号４０２はフルＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）であるが、画素数などの関係でモニター画像の信号４０３がフルＨＤの解像度（画素数）がない場合を示している。このとき、４Ｋ動画の記録用の信号４０１のコントラスト値がピークになるフォーカスレンズの位置に対して、モニター画像の信号４０３のコントラスト値がピークになるフォーカスレンズの位置は、ピントずれ量４０４だけ異なる。
【００１８】
次に、モニター画像の信号と記録用の信号のピント面位置のずれ量をリフォーカス処理によって解消する方法について説明する。
【００１９】
図５（ａ）は、図４に示される特性を、ピント面位置の周波数ごとの変化を示す曲線５０１に変換したものである。横軸は空間周波数、縦軸はピント面位置を表している。図５（ａ）では、４Ｋ動画の記録用の信号４０１におけるピント面位置５０２を基準位置としている。モニター画像の信号４０３におけるピント面位置５０３は、ピント面位置５０２に対して、差分５０４だけ異なっている。差分５０４が、リフォーカスによって補正しなければならないピント面位置のずれ量である。
【００２０】
図５（ｂ）は、図５（ａ）の曲線が依存している軸を示しており、レンズ特性情報部１１２から出力されるレンズの特性情報を示している。図５（ａ）では空間周波数とピントずれ量の関係を示していたが、図５（ｂ）ではさらに像高、およびレンズの状態により変化している。レンズの状態として、絞り、フォーカスレンズの位置、およびズームレンズの位置などが含まれる。これらが変化すると、対応して図５（ａ）の曲線も変化する。本実施例では、リフォーカスパラメータ決定部１１１が、撮像光学系１０１の状態を取得し、レンズ特性情報部１１２からの情報に基づいてリフォーカス処理のパラメータを決定し再構成部１０６に出力する。
【００２１】
以上説明したように、本実施例では、撮像素子１０２の出力は、混合部１０３および再構成部１０６に出力される。混合部１０３に出力された信号は、信号処理部１０４により４Ｋ動画の映像信号に変換され、エンコード記録部１０５に記録される。記録される画像としては、混合部１０３で画素ごとに光電変換部からの信号が加算されているため、図２の構造の画素ではない通常の画素により得られた画像とまったく同じ質の画像である。
【００２２】
再構成部１０６に出力された信号は、リフォーカスパラメータ決定部１１１が決定したリフォーカスパラメータに従い再構成され、球面収差により生じるピント面のずれが補正される。そして、混合部１０７でマイクロレンズごとに加算され、リサイズ部１０８によりＨＤサイズの画像に変換される。そして、信号処理部１０９でＨＤ信号として映像信号化され、表示部１１０で表示される。
【００２３】
このようにして、ピント面位置が補正された映像信号による表示を見ながらフォーカシングを行うことで正しいピント調整が可能になる。すなわち、ナイキスト周波数の低いモニターでのピントと、記録されるナイキスト周波数の高い映像信号でのピントのずれを低減することが可能である。
【実施例２】
【００２４】
実施例１では、モニターの解像度が既知であることを前提に説明したが、本実施例では、モニターの解像度を計測する機能について説明する。
【００２５】
図６は、本実施例の撮像装置から出力された映像信号をモニターに表示して、それを撮像装置で撮影してキャリブレーションしている様子を示す図である。図７は、本実施例の撮像装置のブロックである。本実施例の撮像装置は、実施例１の撮像装置と異なり、振幅検出部（検出手段）７０１、表示部周波数特性検出部（取得手段）７０２、および映像信号発生部（出力手段）７０３を備えるキャリブレーション手段を有する。その他の構成については、実施例１の撮像装置の構成と同一であるので、詳細な説明は省略する。表示部周波数特性検出部７０２は、映像信号発生部７０３を用いて縦線画像を生成し、表示部１１０に出力する。表示部１１０に表示された画像を撮像素子１０２で撮像し、撮像素子１０２から出力された映像信号の振幅を振幅検出部７０１で検出する。
【００２６】
図８は、表示部周波数特性検出のフローチャートである。表示部周波数特性検出は、表示部周波数特性検出部７０２内部のマイクロコンピュータで行われる。ステップＳ８０１で表示部周波数特性検出がスタートすると、ステップＳ８０２では初期周波数を設定する。初期周波数は、十分に低い周波数とする。ステップＳ８０３では、設定された周波数の正弦波となる縦線の映像信号を、映像信号発生部７０３を用いて表示部１１０に表示させる。ステップＳ８０４では、振幅検出部７０１から撮像素子１０２から出力された映像信号の振幅を取得する。ステップＳ８０５では、設定された周波数がナイキスト周波数に達しているかどうかを判断する。達していない場合はステップＳ８０６に進み、達している場合はステップＳ８０７に進む。ステップＳ８０６では周波数を変更し、変更された周波数がナイキスト周波数に達するまでステップＳ８０４で各周波数での映像信号の振幅を検出する。ステップＳ８０７では取得した振幅からどの周波数まで表示できているのかを解析し、その後、ステップＳ８０８で表示部周波数特性検出を終了する。
【００２７】
本実施例では、上記方法により表示装置の周波数特性を取得し、それに基づいてリフォーカスパラメータ決定部１１１がリフォーカスパラメータを決定する。
【実施例３】
【００２８】
本実施例では、実施例２とは異なる方法でキャリブレーションを行う。図９は、本実施例の撮像装置のブロック図である。本実施例の撮像装置は、実施例１の撮像装置と異なり、振幅検出部（検出手段）９０１およびピントずれ量検出部（算出手段）９０２を備えるキャリブレーション手段を有する。その他の構成については、実施例１の撮像装置の構成と同一であるので、詳細な説明は省略する。本実施例では、表示されている映像をもとに撮影者がフォーカシングを行い、ピント調整ができた（ピント面位置が決定された）時点で操作部材によりキャリブレーション機能をスタートさせる。
【００２９】
図１０は、ピントずれ量検出のフローチャートである。ピントずれ量検出は、ピントずれ量検出部９０２内部のマイクロコンピュータで行われる。ステップＳ１００１でピントずれ量検出がスタートすると、ステップＳ１００２ではリフォーカス限界の前ピン側にリフォーカス処理のパラメータを設定する。設定されたパラメータにより、再構成部１０６でリフォーカスされ、混合部１０７で加算された信号が振幅検出部９０１に入力される。ステップＳ１００３では、振幅検出部９０１から出力された信号を取得する。ステップＳ１００４では、リフォーカス位置がリフォーカス限界の後ピン側であるかどうかを判断する。後ピン側でない場合はステップＳ１００５に進み、後ピン側である場合はステップＳ１００６に進む。ステップＳ１００５ではリフォーカス位置を変更し、変更されたリフォーカス位置が後ピン側になるまで各リフォーカス位置での信号の振幅を検出する。ステップＳ１００６では、取得された振幅からもっともピントが合っているリフォーカス位置を検出する。ステップＳ１００７では、撮影者によって調整されたピント面位置と、ステップＳ１００６で検出されたリフォーカス位置との差分を算出すること（レンズ情報を逆引きすること）で、表示装置の周波数特性と同等の情報を得ることができる。このようにすることで結果的に撮影者のピント調整結果と４Ｋ解像度のピント面位置が一致する。
【００３０】
なお、本発明は、以下の処理を実行することによっても実現する。各実施例の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３２】
１０１  撮像光学系
１０２  撮像素子
１０６  再構成部（処理手段）
１１１  リフォーカスパラメータ決定部（決定手段）
【図１】
0006590561.tif 000002
【図２】
0006590561.tif 000003
【図３】
0006590561.tif 000004
【図４】
0006590561.tif 000005
【図５】
0006590561.tif 000006
【図６】
0006590561.tif 000007
【図７】
0006590561.tif 000008
【図８】
0006590561.tif 000009
【図９】
0006590561.tif 000010
【図１０】
0006590561.tif 000011