(57)【要約】【課題】  従来は、撮像装置から被写体までの距離には依存せずに表示画像の高周波成分を抽出して表示しており、撮像装置に近い被写体のＭＦを行う場合も、撮像装置から遠い被写体の高周波成分も多数抽出されて表示されるため、ＭＦの操作性、視認性を低下させていた。【解決手段】  撮像部と、撮像部により撮像された画像を表示する表示部と、画像に含まれる被写体の距離情報を取得する情報取得部と、画像の高周波成分を抽出し、高周波成分に基づいて被写体の合焦度合いを示す波形画像を生成する波形画生成部、を備える撮像装置であって、波形画生成部は、距離情報を用いて、所定の距離範囲に含まれる被写体に対応した画像領域の波形画像を生成し、表示部は、前記画像とともに前記波形画像を表示する。【選択図】  図１
2016158106.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部により撮像された画像を表示する表示部と、
前記画像に含まれる被写体の距離情報を取得する情報取得部と、
前記画像の高周波成分を抽出し、高周波成分に基づいて被写体の合焦度合いを示す波形画像を生成する波形画生成部、を備える撮像装置であって、
前記波形画生成部は、前記距離情報を用いて、所定の距離範囲に含まれる被写体に対応した画像領域の波形画像を生成し、
前記表示部は、前記画像とともに前記波形画像を表示することを特徴とする撮像装置。
【請求項２】
前記所定の距離範囲をユーザーに設定させる設定部を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記波形画生成部は、被写体の距離に応じて、前記波形画像における波形の色を可変することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記被写体を追尾する追尾手段を備え、
追尾対象の被写体が前記所定の距離範囲に含まれなくなった場合でも、前記波形画生成部は、前記追尾対象の被写体に対応した画像領域の波形画像を生成することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記波形画生成部は、前記波形画像の透過度を調整可能であり、
前記表示部は、前記波形画像を前記画像に重ねて表示することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
撮像中の画像とともに被写体の合焦度合いを表示する撮像装置の制御方法であって、
前記画像に含まれる被写体の距離情報を取得し、
前記距離情報を用いて、前記画像のうちで、所定の距離範囲に含まれる被写体に対応した領域の高周波成分を抽出し、高周波成分に基づいて被写体の合焦度合いを示す波形画像を生成し、
前記画像とともに前記波形画像を表示することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関し、特に撮像中の画像とともに被写体の合焦の度合いを示す波形を表示する技術に関する。
【背景技術】
【０００２】
近年、自動焦点調整（Ａｕｔｏ  Ｆｏｃｕｓ：ＡＦ）技術が進歩し、デジタルビデオカメラやデジタルカメラなどの撮像装置の焦点検出には、ＡＦ技術が主に用いられている。しかし、意図的に被写体の合焦の度合いを調整する場合や、ＡＦでは被写体に合焦することが困難な撮影条件下では、手動焦点調整（Ｍａｎｕａｌ  Ｆｏｃｕｓ：ＭＦ）技術が用いられる。
【０００３】
撮影者は、撮像装置に搭載された表示装置で被写体の合焦の度合いを確認しながらＭＦするが、小型の撮像装置では表示装置のサイズや表示可能画素数が小さくなり、精度の高いＭＦが困難な場合があった。
【０００４】
そこで、合焦の度合いを撮影者が確認するための補助表示方法が考案されている。例えば、表示装置に画像の一部分を拡大して表示する方法や、ピーキングと呼ばれる画像内の被写体の輪郭線を太く着色して表示する方法などが一般的である。
【０００５】
また、表示画像の高周波成分（被写体のエッジ情報）を抽出して生成した波形画像を、元の表示画像に重ねて表示することによってＭＦの操作性や視認性を向上する方法が特許文献１で提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４３９２３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術は、撮像装置から被写体までの距離には依存せずに表示画像の高周波成分を抽出して表示しており、撮像装置に近い被写体のＭＦを行う場合も、撮像装置から遠い被写体の高周波成分も多数抽出されて表示されてしまう。従って、撮影状況によっては、ＭＦの操作性、視認性が低下してしまうという課題があった。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の一実施態様は、撮像部と、前記撮像部により撮像された画像を表示する表示部と、前記画像に含まれる被写体の距離情報を取得する情報取得部と、前記画像の高周波成分を抽出し、高周波成分に基づいて被写体の合焦度合いを示す波形画像を生成する波形画生成部、を備える撮像装置であって、前記波形画生成部は、前記距離情報を用いて、所定の距離範囲に含まれる被写体に対応した画像領域の波形画像を生成し、前記表示部は、前記画像とともに前記波形画像を表示することを特徴とする撮像装置であることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＭＦの操作性や視認性をさらに向上させることが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係る撮像装置の構成を示すブロック図である。
【図２】実施形態１の撮像装置と被写体の距離の例を示した図である。
【図３】実施形態１の撮像装置の動作フローを示した図である。
【図４】実施形態２の撮像装置の動作フローを示した図である。
【図５】実施形態２の撮像装置において、被写体を追尾した場合の、撮像装置と被写体の距離の例を示した図である。
【図６】実施形態３の撮像装置と被写体の距離の例を示した図である。
【図７】本発明の実施形態に係る撮像装置における撮像素子の構成を示した図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。本発明の実施形態に係る撮像装置は、一例として、静止画、動画を撮影可能なデジタルカメラである。
【００１２】
（第１の実施形態）
本実施形態の撮像装置は、撮像装置に付属する表示部に撮像中の画像をライブビュー表示するとともに、撮像画像に含まれる被写体の距離情報を用いて生成した、被写体の合焦度合いを示す波形画像を補助情報として表示してＭＦする実施形態を例として説明する。
【００１３】
まず、本実施形態の撮像装置の構成を示すブロック図である図１を用いて、撮像装置の各ブロックの構成と動作を説明する。
【００１４】
撮像センサー部１０１は、ＣＣＤやＣＭＯＳなどの撮像部として機能する撮像素子であり、撮影レンズ群１００で入射光量や合焦の調節を行って結像された撮影画像を光電変換し、さらにアナログ・デジタル変換したデジタル信号を出力する。
【００１５】
撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが、例えば図７に示すように画素毎にモザイク状に配置されていて、４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。図７（１）は１つの画素が１つの領域で構成される場合を、図７（２）は１つの画素が２つの領域（ＡとＢ）で構成される場合の例を示している。本実施形態では、図７（２）の構造の撮像センサー（分割画素センサー）を採用した例を説明する。
【００１６】
図７（２）の構造の撮像センサーを採用した、撮像センサー部１０１の構造の１例を図７（３）に示す。Ａ像用受光素子は、撮像レンズのＡ像領域を通過した光を受光し、Ｂ像用受光素子は、撮像レンズのＢ像領域を通過した光を受光する。同一撮像レンズのＡ像とＢ像を１つのマイクロレンズを通して分割画素で受光することにより、視差のある２つの画像信号を取得することが可能である。
【００１７】
撮像センサー部１０１によって変換された電気信号は、図７（３）に示すＡ領域とＢ領域から各々得られた画像情報を加算したベイヤー画像情報として現像処理部１０２に送信する。また、距離情報取得部１０４で、Ａ領域とＢ領域から得られた視差情報から被写体の距離を算出する。
【００１８】
現像処理１０２は、ベイヤー画像信号を受信し、まずＲＧＢのオフセット調整、ゲイン調整、ガンマ補正処理を行う。ガンマ補正は、撮像センサー部１０１やレンズ群１００などの特性を考慮して、ユーザーが所望する記録画像を生成するための特性で処理する。このガンマ補正値を変えることによって、ＴＶモニターで表示するための記録画像の生成や、映画フィルムの質感や階調を再現した記録画像の生成が可能である。次にＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して出力する。また、レンズの歪曲収差の補正処理や、撮像装置の防振処理やノイズリダクション処理なども行う。
【００１９】
認識部１０５は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、検出した顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて人物の認証などを行う。また、距離情報取得部１０４から撮像画像に含まれる各被写体の距離情報を受信することによって、距離情報を持つ検出被写体情報を生成する。
【００２０】
高周波成分抽出部１０６は、現像処理部１０２からの画像情報から高周波成分（被写体のエッジ情報）を抽出する。エッジ情報の抽出方法は限定しないが、例えばＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）型のバンドパスフィルタなどで抽出する。また、エッジ情報の抽出箇所は、画像情報全体でもよいし、認識部１０５からの検出被写体情報によって画像情報内を部分的に抽出箇所と指定することも可能である。
【００２１】
波形生成部１０７は、高周波成分抽出部１０６で抽出したエッジ情報に任意のゲインを乗じた情報を周波数（エッジ強度）ごとに加算し、画像水平方向または画像垂直方向に並べた情報（波形画像）を生成する。波形画像は、エッジ成分の強度に応じた長さを指標とした波形であり、エッジ成分の画像内位置と強度を示す。長い波形の方が短い波形よりも被写体の合焦程度が高いことを示している。
【００２２】
画像合成部１０８は、現像処理部１０２から出力された画像信号（輝度信号と色差信号）と、波形生成部１０７から出力された波形画像信号を重ね合わせて１枚の画像信号を生成する。撮像画像に波形画像を重ねて合成する際に波形画像の透過度を調整することも可能である。ここで、撮像画像と波形画像を合成して合成画像を表示する構成を示したが、必ずしも合成処理を行う必要はなく、撮像画像に波形画像を重ねて表示するようにしてもよい。
【００２３】
ＭＦは、入力操作部１１０からフォーカス調整量を指示し、レンズ制御部１１２とセンサー制御部１０３で入射光量や合焦の調整制御を行う。
【００２４】
以上の処理部により撮像装置が構成されている。
【００２５】
次に、本実施形態の撮像装置の動作に関して、図３の動作タイミングチャートに従いながら説明する。
【００２６】
ステップＳ３００で撮影を開始する。
【００２７】
ステップＳ３０１で撮像画像とともに波形画像を表示するかどうかを選択し、波形表示する場合はステップＳ３０２でエッジ成分を抽出して波形を生成し、図２（２）に示すように波形画像を表示する。
【００２８】
図２（２）を参照して、撮像画像には４個の被写体（Ａ、Ｂ、Ｃ、Ｄ）が含まれており、画面全体において全ての被写体に対応したエッジ成分を表示している。波形画像を表示しない場合は、ステップＳ３０６で画像のみを観測しながらフォーカスリングなどのフォーカス調整機構を操作することによって、レンズ制御部１１２がレンズ群１００を調節してＭＦ調整を行う。
【００２９】
次にステップＳ３０３で波形表示させる距離範囲を指定するかどうかを選択し、距離範囲を指定する場合は、ステップＳ３０４で図２（１）に示す４つの距離範囲から少なくとも１つの距離範囲を選択する。距離範囲の選択は、入力操作部１１０から距離情報として設定する方法や、表示装置１０９に表示された画像内の被写体指定によって選択方法などを用いることができる。たとえば距離範囲を設定するための設定部は、表示装置１０９におけるインターフェイス画面で構成することが可能である。
【００３０】
上記の例において、距離範囲１を選択した場合は、図２（３）に示すように距離範囲１に含まれる被写体Ａの周辺のエッジ成分のみを波形表示する。また同様に距離範囲２を選択した場合は、図２（４）に示すように距離範囲２に含まれる被写体ＤとＢの周辺のエッジ成分のみを波形表示する。
【００３１】
ここでは１つの距離範囲を選択する例を示したが、複数の距離範囲を選択してもよい。複数の距離範囲が選択された場合は、選択された複数の距離範囲に含まれる被写体に対応する領域の波形画像を生成する。なお、複数の距離範囲が選択された場合は、距離範囲に応じて波形画像における波形の色を異ならせてもよい。波形の色を異ならせることで撮影者は被写体がどの距離範囲に含まれるかを認識することが可能となる。
【００３２】
また、図に示すように、被写体の位置に対応させて波形を表示することによって、波形がどの被写体に対する合焦度合いを示しているのかが認識しやすくすることができる。
【００３３】
ステップＳ３０５で、撮影者は表示装置１０９に撮像画像とともに表示された波形表示を観測しながら、フォーカスリングなどのフォーカス調整機構を操作することによって、レンズ制御部１１２がレンズ群１００を調節し、ＭＦ調整を行うことができる。撮影者が意図した被写体の焦点を合わせた後にステップＳ３０７で記録を開始する。
【００３４】
以上、本実施形態によれば、被写体の距離情報を用いて、所定の距離範囲に含まれる被写体に対応した画像領域の高周波成分に基づいて被写体の合焦度合いを示す波形画像を生成して、撮像画像とともに表示することで、ＭＦの操作性や視認性を向上させることが可能である。
【００３５】
（第２の実施形態）
本実施形態の撮像装置は、被写体の距離情報と被写体追尾情報を用いて、被写体の合焦度合いを示す波形画像を補助情報として表示しながらＭＦする実施形態を例として説明する。
【００３６】
本実施形態の撮像装置の構成を示すブロック図は実施形態１と同様に図１に示した通りである。
【００３７】
本実施形態の撮像装置の特徴である動作に関して図４の動作タイミングチャートに従いながら説明する。
【００３８】
ステップＳ３２０で撮影を開始する。
【００３９】
ステップＳ３２１で波形画像を表示するかどうかを選択し、波形表示する場合はステップＳ３２２でエッジ成分を抽出、波形生成して図２（２）に示すように波形画像を表示する。図２（２）は被写体が４個（Ａ、Ｂ、Ｃ、Ｄ）あり、画面全体のエッジ成分を表示している。波形表示しない場合は、ステップＳ３２８で画像のみを観測しながらフォーカスリングなどのフォーカス調整機構を操作することによって、レンズ制御部１１２がレンズ群１００を調節し、ＭＦ調整を行う。
【００４０】
次にステップＳ３２３で波形表示の距離範囲を指定するかどうかを選択し、距離範囲を指定する場合はステップＳ３２４で図２（１）に示す４つの距離範囲から選択する。距離範囲の選択は、入力操作部１１０から距離情報として設定する方法や、表示装置１０９に表示された画像内の被写体指定によって選択する。例として、距離範囲２を選択した場合は、図５（２）に示すように距離範囲２内に存在する被写体ＤとＢの周辺のエッジ成分のみを波形表示する。
【００４１】
ステップＳ３２５で、指定した距離範囲内の被写体を追尾するかを選択し、被写体を追尾する場合はステップＳ３２６で追尾被写体を指定する。例えば被写体Ｄを追尾対象と指定すると、被写体Ｄが図５（１）に示すように距離範囲２から距離範囲１に移動した場合、波形表示は図５（２）の表示から図５（３）の表示に切り替わる。つまり被写体ＤとＢに対応した波形表示から、追尾被写体Ｄの他の距離範囲に変更する移動に応じて、被写体ＤとＡに対応した波形表示に切り替わる。
【００４２】
本実施形態は、撮影者が意図する主被写体Ｄと主被写体Ｄと距離範囲が近傍にある周囲の被写体にフォーカスを合わせたい場合に有効な機能である。
【００４３】
ステップＳ３２５で、被写体を追尾しない選択をした場合、被写体Ｄが図５（１）に示すように距離範囲２から距離範囲１に移動した場合、波形表示は図５（２）の表示から図５（４）の表示に切り替わる。撮影者がフォーカス合わせたい被写体が、ステップＳ３２５で指定した距離範囲内である場合に有効である。
【００４４】
ステップＳ３２７で、撮影者は表示された波形表示を観測しながら、フォーカスリングなどのフォーカス調整機構を操作することによって、レンズ制御部１１２がレンズ群１００を調節し、ＭＦ調整を行う。撮影者が意図した被写体の焦点を合わせた後にステップＳ３２９で記録を開始する。
【００４５】
本実施形態によれば、追尾対象の被写体が前記所定の距離範囲に含まれなくなった場合でも、移動後に属する距離範囲に応じて、前記追尾対象の被写体に対応した画像領域の波形画像を生成することが可能となる。
【００４６】
（第３の実施形態）
本実施形態の撮像装置は、その構成は実施形態１と同様に図１に示した通りであり、動作タイミングチャートも実施形態１の図３、実施形態２の図４と同様である。本実施形態の特徴は波形表示の方法にある。
【００４７】
本実施形態の撮像装置は、図３のステップＳ３０２、図４のステップＳ３２２で波形表示する際に、図６（１）に示すように距離範囲毎に波形の表示色を設定することができる。
【００４８】
距離範囲１内は色１と設定すると、図６（２）に示すように距離範囲１内の波形は色１で表示され、他の距離範囲内の被写体に対応した波形は、距離範囲毎に設定された色で表示される。色の種類や範囲設定は可変とし、システム制御部１１１で設定する。
【００４９】
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５０】
１００  レンズ群
１０１  撮像センサー部
１０２  現像処理部
１０３  センサー制御部
１０４  距離情報取得部
１０５  認識部
１０６  高周波成分抽出部
１０７  波形生成部
１０８  画像合成部
１０９  表示装置
１１０  入力操作部
１１１  システム制御部
１１２  レンズ制御部
【図１】
2016158106.tif 000003
【図２】
2016158106.tif 000004
【図３】
2016158106.tif 000005
【図４】
2016158106.tif 000006
【図５】
2016158106.tif 000007
【図６】
2016158106.tif 000008
【図７】
2016158106.tif 000009