(57)【要約】【課題】マニュアルフォーカス時のフォーカス確認機能として、画像の部分拡大表示機能がある。しかし、フォーカスを確認したい箇所をユーザーが選択する必要がある。【解決手段】画像を取得する撮像手段と、前記取得した画像を表示する表示手段と、前記画像中の各被写体までの距離に対応した２次元の距離情報を検出する距離情報検出手段と、マニュアルフォーカス調節手段と、フォーカス距離を取得するフォーカス距離取得手段と、前記取得した画像の一部を切り出して拡大表示を行う拡大表示手段とを有し、前記拡大表示手段は、前記距離情報検出手段で検出した各被写体の距離が前記フォーカス距離取得手段で取得したフォーカス距離の所定範囲の距離内である被写体領域を拡大表示することを特徴とする。【選択図】図２
2016167721.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
画像を取得する撮像手段と、
前記取得した画像を表示する表示手段と、
前記画像中の各被写体までの距離に対応した２次元の距離情報を検出する距離情報検出手段と、
マニュアルフォーカス調節手段と、
フォーカス距離を取得するフォーカス距離取得手段と、
前記取得した画像の一部を切り出して拡大表示を行う拡大表示手段とを有し、
前記拡大表示手段は、前記距離情報検出手段で検出した各被写体の距離が前記フォーカス距離取得手段で取得したフォーカス距離の所定範囲の距離内である被写体領域を拡大表示することを特徴とする撮像装置。
【請求項２】
前記拡大表示手段は、前記フォーカス距離の所定範囲の距離内である被写体領域が画像中に存在しなくなった場合に拡大表示を解除することを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像部分の評価値を算出する画像評価値算出手段を有し、前記画像中に前記フォーカス距離の所定範囲の距離内である被写体領域が複数存在する場合、前記画像評価値算出手段によって算出された評価値に基づいて拡大表示する被写体領域を決定することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
画像部分の周波数分布を検出するための周波数検出手段を有し、
前記画像評価値算出手段は前記周波数検出手段で検出された周波数分布情報に基づく評価値を算出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記拡大を行う被写体領域が前記画面中で所定量以上移動する場合、複数フレームにわたって拡大領域の移動処理を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置のフォーカス調整機能に関する。
【背景技術】
【０００２】
ビデオカメラのフォーカス調整機能として、オートフォーカス機能がある。オートフォーカス機能の精度は近年向上しており、民生用ビデオカメラにおいてはほとんどの場合オートフォーカスで撮影が行われている。
【０００３】
一方、業務用ビデオカメラにおいては、フォーカス調整はマニュアルフォーカスを用いることが多い。映像表現として被写体に合焦していない状態から合焦状態に遷移する時間も重要であり、オートフォーカスでは時間の調整が困難であるため、マニュアルフォーカスが多用されている。
【０００４】
マニュアルフォーカス時には、ビデオカメラに付属のビューファインダーや液晶モニターで映像を確認しながらフォーカス合わせを行うが、映像解像度の高精細化により、フォーカスの確認が困難になってきている。フォーカス調整の補助機能として、特許文献１では映像中の顔領域を検出し、選択された顔領域を拡大表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１６６６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献１の技術を用いた場合、顔検出処理が必要であるが、誤検出が発生する可能性がある。また、撮像装置で自動検出した被写体が、実際にフォーカスを合わせたい被写体であるとは限らない。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、画像を取得する撮像手段と、前記取得した画像を表示する表示手段と、前記画像中の各被写体までの距離に対応した２次元の距離情報を検出する距離情報検出手段と、マニュアルフォーカス調節手段と、フォーカス距離を取得するフォーカス距離取得手段と、前記取得した画像の一部を切り出して拡大表示を行う拡大表示手段とを有し、前記拡大表示手段は、前記距離情報検出手段で検出した各被写体の距離が前記フォーカス距離取得手段で取得したフォーカス距離の所定範囲の距離内である被写体領域を拡大表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、現在のフォーカス距離に応じた被写体領域を自動的に拡大表示することができ、フォーカス距離に一致する被写体のフォーカス状態を容易に確認可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明における撮像装置のブロック図
【図２】実施例１における撮像装置の動作を説明するためのフローチャート
【図３】ＣＭＯＳセンサーの構成を説明するための図
【図４】ＣＭＯＳセンサーの受光動作を説明するための図
【図５】実施例１における拡大位置計算処理の動作を説明するためのフローチャート
【図６】実施例１における画像評価値計算処理の動作を説明するためのフローチャート
【図７】実施例１における画像評価値計算処理のエッジ検出処理を説明するため図
【図８】実施例１における被写体領域検出処理の動作を説明するためのフローチャート
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【００１１】
図１は本実施例における撮像装置のブロック図である。
【００１２】
１０１は装置全体を制御するための制御部である。１０２はユーザーが撮像装置を操作するための操作部である。１０３は撮像中の画像や各種情報等を表示するための表示部である。１０４はレンズ部、１０５はレンズ１０４のフォーカス距離を検出するフォーカス距離検出部である。１０６はＣＭＯＳセンサー部、１０７はＣＭＯＳセンサー１０６で受光した画素の画素値を検出する画素値検出部、１０８はＣＭＯＳセンサー１０５で受光した画素の距離情報を検出する距離情報検出部である。
【００１３】
１０９は前記画素値検出部１０７で検出した画素値を画像データとして保持するためのフレームバッファ、１１０は前記距離情報検出部１０８で検出した距離情報を保持するための距離情報バッファである。１１１は画像に対する評価値を算出する画像評価値算出部である。１１２は表示部１０３に表示する画像を生成する画像生成部である。
【００１４】
本実施例では、ＣＭＯＳセンサー１０６で撮像される画像解像度は３８４０×２１６０画素であり、表示部１０３の表示解像度は９６０×５４０とする。
【００１５】
以下、図２のフローチャートを用いて、本実施例における撮像装置の動作を説明する。ステップＳ２０１では、制御部１０１はレンズ部１０４を通してＣＭＯＳセンサー１０６上に結像した画像を画素値検出部１０７から取得する。ステップＳ２０２では前記取得した画像に対する距離情報を距離情報検出部１０８から取得する。
【００１６】
前記ステップＳ２０１およびＳ２０２の動作についてさらに詳細に説明する。レンズ部１０４を通して結像した画像は、ＣＭＯＳセンサー１０６で電気信号に変換される。前記ＣＭＯＳセンサー１０６は、例えば、特開2002-131623号公報で開示されているＣＭＯＳセンサーであり、１画素に２つの光電変換部を有するものである。
【００１７】
図３は前記ＣＭＯＳセンサー１０６の４列×４行の画素のみを抜き出した拡大平面図である。前記ＣＭＯＳセンサーの各画素は、図３で示すような近接した２つの光電変換部を有する構成となっている。前記受光部は、各画素にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４画素が一組となる所謂ベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素をＲやＢの画素よりも多く配置することで、総合的な像性能を上げている。
【００１８】
一般に、この方式の撮像素子では、輝度信号は主にＧから生成し、色信号はＲ，Ｇ，Ｂから生成する。図に付した、Ｒ、Ｇ、Ｂは赤色，緑色，青色のカラーフィルターを備えた光電変換部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。例えば、Ｒ１は赤色カラーフィルターを備えた第１光電変換部であり、Ｇ２は緑色カラーフィルターを備えた第２光電変換部を意味する。各画素において光電変換部の占める割合はおおよそ数１０％程度であって、撮像光学系から射出した光束を有効に利用するために、各画素毎に集光用のマイクロレンズを設けて、光電変換部以外に到達しようとする光を光電変換部に偏向するようになっている。
【００１９】
図４は前記図３の1画素について光軸に対して垂直な方向から観察した断面図である。４０１は前記マイクロレンズ、４０２はカラーフィルター、４０３が第１光電変換部、４０４が第２光電変換部である。第１光電変換部に入射する光束を示す図４（ａ）では、図の下方からの光束が第１光電変換部に入射し、第２光電変換部に入射する光束を示す図４（ｂ）では、図の上方からの光束が第２光電変換部に入射する。
【００２０】
ＣＭＯＳセンサー１０６全体では第２光電変換部に入射する光束はいずれの画素においてもレンズ部１０４が有する絞りの上半分を通過する光束となり、第１光電変換部に入射する光束は撮像レンズの光軸を対称軸として上下を反転したものなるため、絞りの下半分を通過する光束となる。第１光電変換部と第２光電変換部における出力信号を独立に読み出すことで、撮影光学系の異なる射出瞳を通過した光束を受光することが可能であり、撮影光学系のデフォーカスに伴う物体像の位相のずれを距離情報として検出することができる。
【００２１】
また、第１光電変換部と第２光電変換部における出力信号を画素レベルで加算することにより、画像データを構成するための画素値を得ることが出来る。画素値検出部１０７では、前記２つの光電変換部の信号を加算して読み出すことで画像データとして出力を行い、距離情報検出部１０８では、前記２つの光電変換部の信号を別々に読み出して位相のずれ量を算出して距離情報として出力を行う。
【００２２】
制御部１０１は、前記ステップＳ２０１で取得した画像データをフレームバッファ１０９に、前記ステップＳ２０２で取得した距離情報を距離情報バッファ１１０に記録する。
【００２３】
次にステップＳ２０３では、制御部１０１はフォーカス距離検出部からレンズ部１０４のフォーカス距離情報を取得する。
【００２４】
ステップＳ２０４では、制御部１０１はステップＳ２０２で取得した画像距離情報およびステップＳ２０３で取得したフォーカス距離情報に基づき、前記Ｓ２０１で取得した画像中で、前記フォーカス距離から一定の範囲内に被写体が存在する領域を検出する。ステップＳ２０４の詳細動作に関しては後述する。
【００２５】
ステップＳ２０５では、制御部１０１はステップＳ２０４で検出された被写体領域の数を判定する。ステップＳ２０５で検出された被写体領域数が０の場合、すなわち現在のレンズのフォーカス位置近辺の被写体が画像中に存在しない場合はステップＳ２０６に進む。
【００２６】
ステップＳ２０６では、制御部１０１は全域画像を作成する。本実施例では、前記ステップＳ２０１で取得した画像解像度は３８４０×２１６０画素であり、表示部１０３の表示解像度は９６０×５４０であるため、前記画像を縦、横それぞれ１／４に縮小した画像を作成する。
【００２７】
ステップＳ２１２では、制御部１０１は前記ステップＳ２０６で作成した全域画像を表示部１０３に表示することで、拡大表示を行わずに、撮像画像全域を表示する。撮像画像全域の表示を行った後、ステップＳ２０１に戻って次のフレームの処理を行う。ステップＳ２０５で検出された被写体領域数が１の場合、すなわち現在のレンズのフォーカス位置近辺の被写体が画像中に１か所のみ存在する場合はステップＳ２０７に進む。
【００２８】
ステップＳ２０７では、制御部１０１は前記検出された被写体領域の中心部を被写体領域の位置として取得する。
【００２９】
ステップＳ２０８では、制御部１０１は前フレームの拡大位置と前記Ｓ２０７で取得した被写体領域位置を比較する。
【００３０】
位置の差が所定範囲内である場合はステップＳ２０９では、制御部１０１はステップＳ２０７で取得した被写体領域位置を最終的な拡大位置として設定する。
【００３１】
位置の差が所定範囲外である場合、すなわち前フレームの拡大表示位置に対して被写体領域位置への移動量が大きい場合はステップＳ２１０では、制御部１０１は前フレームの拡大位置と被写体領域位置に基づいて最終的な拡大位置を計算する。
【００３２】
図５に、前記ステップＳ２１０の拡大位置計算処理の例を示す。
【００３３】
ステップＳ５０１、Ｓ５０２では制御部１０１は変数X0およびY0に前フレームの拡大位置座標を設定する。
【００３４】
ステップＳ５０３、Ｓ５０４では制御部１０１は変数X1およびY1に被写体領域位置座標を設定する。
【００３５】
ステップＳ５０５、Ｓ５０６では、制御部１０１は拡大位置の座標として変数XおよびYにそれぞれX0とX1の中間点座標値、Y0とY1の中間点座標値を設定する。このように、前フレームの拡大位置と被写体領域位置の中間点を拡大位置として設定することにより、フレーム間で被写体領域位置が大きく変わる場合に、複数フレームにわたって拡大位置を移動することができ、画像中でどの位置に拡大位置が変わったのかを視認しやすくなる。本実施例ではステップＳ５０５およびＳ５０６では除算係数を２としているが、この係数を変更することにより、フレーム間の移動量を調節することが可能である。係数を大きくすると移動量は小さくなるため、拡大位置の移動を視覚的にゆっくりとした動作にすることができる。
【００３６】
ステップＳ２０９またはＳ２１０で拡大位置の設定が終了すると、ステップＳ２１１では、制御部１０１はフレームバッファ１０９から前記拡大位置に基づいて画像データを読み出し、拡大処理を行って拡大画像を作成する。２倍拡大画像を作成する場合は、前記拡大位置を中心とする４８０×２７０画素の画像データをフレームバッファ１０９から読み出し、縦横２倍拡大処理を行って９６０×５４０画素の画像データを作成する。
【００３７】
ステップＳ２１１で拡大画像を作成した後、ステップＳ２１２では、制御部１０１は前記拡大画像を表示部１０３に表示し、ステップＳ２０１に戻って次のフレームの処理を行う。
【００３８】
ステップＳ２０５で検出された被写体領域数が２以上の場合、すなわち現在のレンズのフォーカス位置近辺の被写体が画像中に複数存在する場合はステップＳ２１３に進む。
【００３９】
ステップＳ２１３では、制御部１０１は前記検出された複数の被写体領域に対して評価値を計算する。ステップＳ２１３の詳細動作に関しては後述する。
【００４０】
評価値計算後、ステップＳ２１４では、制御部１０１は前記評価値が最大である被写体領域を拡大対象の被写体領域として選択し、ステップＳ２０７以降の処理を行って被写体領域の拡大表示を行う。
【００４１】
図６に、ステップS２１３の画像評価値計算処理の例を示す。ステップＳ６０１では、制御部１０１は内部変数Ｎをゼロに初期化する。
【００４２】
ステップＳ６０２では、制御部１０１はフレームバッファ１０９からＮ番目の被写体領域の画像データを読み出す。
【００４３】
ステップＳ６０３では、制御部１０１は前記読み出した画像データの高周波成分を抽出して、エッジ画素の検出を行う。図７は前記エッジ画素検出のためのハイパスフィルタ構成例である。注目画素を中心とし、その周囲８画素を含む９画素に対して図７に示す係数をかけて加算した値の絶対値が所定の閾値を超えた画素をエッジ画素として検出する。前記ハイパスフィルタを被写体領域中の全画素に適用して、被写体領域中のエッジ画素を検出する。
【００４４】
ステップＳ６０４では、制御部１０１は前記エッジ画素として検出された画素数をＮ番目の被写体領域の画像評価値として記憶する。ステップＳ６０５では、内部変数Ｎを更新し、ステップＳ６０６で、全ての被写体領域に対して評価値計算が終了したか否かを判別する。終了していない場合はステップＳ６０２に戻って次の被写体領域の評価値を計算し、終了している場合は画像評価値計算処理を終了する。
【００４５】
図８に、ステップＳ２０４の被写体領域検出処理の例を示す。
【００４６】
ステップＳ８０１では、制御部１０１は被写体領域数を示す内部変数Ｎｕｍを初期化する。
【００４７】
ステップＳ８０２では、制御部１０１は画像中の注目画素の座標を示す内部変数ｘおよびｙを初期化する。座標（０，０）は画像の左上位置を示す。ステップＳ８０３では、制御部１０１は画像中の注目画素に対するレンズのフォーカス距離からの差異を算出して内部変数Ｄに設定する。Ｄｉｓｔ（ｘ，ｙ）は注目画素の距離情報であり、制御部１０１は距離情報バッファ１１０から該当距離情報を読み出し、ステップＳ２０３で取得したレンズ部１０４のフォーカス距離情報との差分絶対値を算出することで、注目画素の距離とフォーカス距離の差分を算出する。
【００４８】
ステップＳ８０４では、制御部１０１は前記距離の差分Ｄの値が、閾値であるＤＭａｘ未満か否かを判別する。ＤがＤＭａｘ以上である場合、すなわち注目画素の距離が、フォーカス距離の前後ＤＭａｘの範囲外である場合はステップＳ８０６に進む。
【００４９】
ステップＳ８０６では、制御部１０１は内部変数ｘを更新し、ステップＳ８０７でｘが画像の横サイズに等しい値になったか否かを判定する。ｘが画像の横サイズに等しくない場合、ステップＳ８０３に戻り、前記注目画素の右隣の画素を注目画素として処理を継続する。
【００５０】
ｘが画像の横サイズに等しい場合、ステップＳ８０８では、制御部１０１は内部変数ｘを初期化し、ｙを更新し、ステップＳ８０９でｙが画像の縦サイズに等しい値になったか否かを判定する。ｙが画像の縦サイズに等しくない場合、ステップＳ８０３に戻り、前記注目画素の次のラインの左端の画素を注目画素として処理を継続する。ｙが画像の縦サイズに等しい場合、画像中の全ての画素に対する処理が終了しているため、被写体領域検出処理を終了する。
【００５１】
ステップＳ８０４でＤがＤＭａｘ未満である場合、すなわち注目画素の距離が、フォーカス距離の前後ＤＭａｘの範囲内である場合はステップＳ８１０に進む。
【００５２】
ステップＳ８１０では、制御部１０１は内部変数Ｎを初期化する。
【００５３】
ステップＳ８１１では、制御部１０１は前記Ｎと被写体領域数Ｎｕｍを比較する。ＮがＮｕｍ以上の場合、注目画素の位置を新規の被写体領域の位置として設定する。
【００５４】
ステップＳ８１２では、制御部１０１は被写体領域数を示すＮｕｍを更新する。
【００５５】
ステップＳ８１３では、制御部１０１はＮ番目の被写体領域のｘ座標およびｙ座標としてそれぞれＰｏｓＸ［Ｎ］、ＰｏｓＹ［Ｎ］に注目画素のｘ座標およびｙ座標を設定する。
ステップＳ８１４では、制御部１０１はＮ番の被写体領域のフォーカス距離との差分情報としてＤｉｆｆ［Ｎ］に注目画素の距離とフォーカス距離との差分であるＤを設定する。その後、ステップＳ８０６に進み、次の画素の処理を行う。
【００５６】
ステップＳ８１１でＮがＮｕｍよりも小さい場合、注目画素と既に被写体領域の位置として設定されている画素の比較を行う。
【００５７】
ステップＳ８１５では、注目画素の画像中の位置とＮ番目の被写体領域位置として設定されている画素の位置の差分を算出し、閾値であるＰｏｓＭａｘ未満か否かを判別する。差分がＰｏｓＭａｘ以上である場合、すなわち注目画素とＮ番目の被写体領域位置として設定されている画素が離れている場合、ステップＳ８１６では、制御部１０１はＮを更新し、ステップＳ８１１に戻り、次の被写体領域の位置として設定されている画素の比較を行う。注目画素が全ての被写体領域位置として設定されている画素から離れている場合は、最終的にステップＳ８１２に進み、注目画素の位置が新規の被写体領域の位置として設定される。
【００５８】
ステップＳ８１５で差分がＰｏｓＭａｘ未満である場合、すなわち注目画素とＮ番目の被写体領域位置として設定されている画素が距離的に近い場合、ステップＳ８１７では、制御部１０１は注目画素の距離とフォーカス距離の差分であるＤとＮ番目の被写体領域として設定されている画素の距離とフォーカス距離の差分であるＤｉｆｆ［Ｄ］を比較する。ＤがＤｉｆｆ［Ｎ］よりも小さい場合、すなわち注目画素の距離のほうがＮ番目の被写体領域として設定されている画素の距離よりもフォーカス距離に近い場合、制御部１０１はステップＳ８１３でＰｏｓＸ［Ｎ］、ＰｏｓＹ［Ｎ］に注目画素のｘ座標およびｙ座標を設定し、ステップＳ８１４でＤｉｆｆ［Ｎ］にＤを設定する。前記処理によってＮ番目の被写体領域の画素を注目画素で置き換えが行われる。
【００５９】
その後、ステップＳ８０６に進み、次の画素の処理を行う。ステップＳ８１７でＤがＤｉｆｆ［Ｎ］以上の場合、すなわち注目画素の距離のほうがＮ番目の被写体領域として設定されている画素の距離よりもフォーカス距離に遠い場合、注目画素に近い位置に既にフォーカス距離に近い距離の画素が存在するため、ステップＳ８０６に進み、次の画素の処理を行う。ステップＳ８１７の判定結果で、注目画素を被写体領域画素として使用するか否かを切り替えることによって、狭い範囲で重なり合った被写体領域が検出されることを抑制することができる。
【００６０】
以上説明したように、レンズのフォーカス距離に近い距離にある被写体領域を検出し、拡大表示を行うことによって、マニュアルフォーカス動作時に合焦位置に近い被写体を自動的に拡大表示することが可能である。
【符号の説明】
【００６１】
１０１  制御部、１０２  操作部、１０３  表示部、１０４  レンズ部、
１０５  フォーカス距離検出部、１０６  ＣＭＯＳセンサー、１０７  画素値検出部、
１０８  距離情報検出部、１０９  フレームバッファ、１１０  距離情報バッファ、
１１１  画像評価値算出部、１１２  画像生成部
【図１】
2016167721.tif 000003
【図２】
2016167721.tif 000004
【図３】
2016167721.tif 000005
【図４】
2016167721.tif 000006
【図５】
2016167721.tif 000007
【図６】
2016167721.tif 000008
【図７】
2016167721.tif 000009
【図８】
2016167721.tif 000010