(57)【要約】【課題】被写体を見失った際のＦＡズーム動作中に被写体の距離が変化した場合であっても、適切なズーム位置設定で被写体を捉え直すことができる画像処理装置を提供する。【解決手段】撮像装置１００が、撮像装置の動き量を算出し、動き量が第１の閾値以上の場合に撮影画角を広角側にする第１の制御を行い、第１の制御の後に、動き量が第１の閾値より小さい第２の閾値未満の場合に、撮影画角を望遠側にする第２の制御を行う。撮像装置１００は、被写体距離に応じて、第２の制御によって到達する撮影画角を変更する。【選択図】図１
2017203792.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の動き量を算出する算出手段と、
前記動き量が第１の閾値以上の場合に撮影画角を広角側にする第１の制御を行い、前記第１の制御の後に、前記動き量が前記第１の閾値より小さい第２の閾値未満の場合に、撮影画角を望遠側にする第２の制御を行う制御手段とを備え、
前記制御手段は、被写体距離に応じて、前記第２の制御によって到達する撮影画角を変更する
ことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、
前記第２の制御開始時の被写体距離が、前記第１の制御開始時の被写体距離より近い場合は、前記第２の制御によって到達する撮影画角が前記第１の制御開始時より広角側になるように制御し、
前記第２の制御開始時の被写体距離が、前記第１の制御開始時の被写体距離より遠い場合は、前記第２の制御によって到達する撮影画角が前記第１の制御開始時より望遠側になるように制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記第１の制御開始時の撮影画角に、前記第１の制御開始時の被写体と前記第２の制御開始時の被写体距離の比率を乗じることによって、前記第２の制御によって到達する撮影画角を決定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記第１の制御が開始されてから前記第２の制御が終了するまでの間、前記第２の制御によって到達する撮影画角を示す枠を撮影画像に重畳して表示する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、撮影画像のピントが合っていない状態である場合に、前記第２の制御を制限する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮影画像のピント状態を示す評価値を生成する生成手段を備え、
前記制御手段は、前記評価値に基づいて、撮影画像のピントが合っていない状態であるかを判断する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、撮影画像のピントが合っていない状態である場合に、前記第２の制御によって到達する撮影画角が前記第１の制御開始時と同じになるように制御する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
被写体光を光電変換して撮影画像を出力する撮像素子を備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置として機能する撮像装置。
【請求項９】
撮像装置の動き量を算出する算出工程と、
前記動き量が第１の閾値以上の場合に撮影画角を広角側にする第１の制御を行い、前記第１の制御の後に、前記動き量が前記第１の閾値より小さい第２の閾値未満の場合に、撮影画角を望遠側にする第２の制御を行う制御工程とを有し、
前記制御工程では、被写体距離に応じて、前記第２の制御によって到達する撮影画角を変更する
ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および制御方法に関する。
【背景技術】
【０００２】
ズームレンズを駆動する光学ズームや撮影画像の一部を拡大する電子ズームを備える画像処理装置である撮像装置において、近年高倍率化が進んでいる。撮影に不慣れな撮影者が、このような高倍率機種を用いて望遠状態で撮影する場合、被写体を捉えることが難しく、また、捉えた被写体をすぐにフレームアウトさせてしまうことが頻繁に起こり得る。特許文献１は、装置の動き量に基づいて、ユーザが被写体を探す動作を行っていると判定した場合に、自動で撮影画角を広角側にズームアウトさせるフレーミングアシストズーム（ＦＡズーム）を行う撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１０２８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する撮像装置では、ＦＡズーム動作終了後のズーム位置（焦点距離）は、撮影準備状態でのズーム位置である。したがって、ＦＡズーム動作の前後で、ズーム位置は変わらないように制御される。しかし、この撮像装置では、撮影者が被写体を見失って、被写体を探す動作をする場合、被写体がカメラに対して前後方向に移動して、カメラと被写体との距離が変化すると、ＦＡズーム動作後に、画像上の被写体の大きさが変わってしまう。その結果、ＦＡズーム動作後に撮影者が手動でズームを操作して画角を調整し直すという手間が生じるので、迅速に被写体を捉え直すことが困難である。
【０００５】
本発明は、被写体を見失った際のＦＡズーム動作中に被写体の距離が変化した場合であっても、適切なズーム位置設定で被写体を捉え直すことができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の画像処理装置は、撮像装置の動き量を算出する算出手段と、前記動き量が第１の閾値以上の場合に撮影画角を広角側にする第１の制御を行い、前記第１の制御後に、前記動き量が前記第１の閾値より小さい第２の閾値未満の場合に、撮影画角を望遠側にする第２の制御を行う制御手段とを備える。前記制御手段は、被写体距離に応じて、前記第２の制御によって到達する撮影画角を変更する。
【発明の効果】
【０００７】
本発明の画像処理装置によれば、被写体を見失った際のＦＡズーム動作中に被写体の距離が変化した場合であっても、適切なズーム位置設定で被写体を捉え直すことができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成例を示す図である。
【図２】焦点距離とフォーカス位置との関係を示す図である。
【図３】ＦＡズーム枠の例を示す図である。
【図４】ＦＡズーム機能の処理を説明するフローチャートである。
【図５】ＦＡズーム機能の処理を説明するフローチャートである。
【図６】カメラ動き判定の処理を説明するフローチャートである。
【図７】カメラ動き判定の処理を説明するフローチャートである。
【図８】移動する被写体の撮影例を説明する図である。
【図９】主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。
【図１０】主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。
【図１１】実施例２のＦＡズーム機能の処理を説明するフローチャートである。
【図１２】実施例２のＦＡズーム機能の処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
（実施例１）
図１は、本実施形態の画像処理装置の構成例を示す図である。
撮像装置１００が、本実施形態の画像処理装置である。撮像装置１００によって実現される機能は、ユーザによるフレーミングを支援する機能であり、便宜上、フレーミングアシストズーム機能（以下、ＦＡズーム機能と略記する）と呼ぶこととする。また、以下の説明では、ＦＡズーム動作におけるズームアウト制御を、ＦＡズームアウト制御とも記述する。また、ＦＡズーム動作におけるズームイン制御を、ＦＡズームイン制御とも記述する。
【００１０】
撮像装置１００は、例えばビデオカメラである。撮像装置１００は、ＦＡズーム機能を実行可能に構成されている。撮像装置１００として、ビデオカメラの他にもカメラ付きの携帯電話、ゲーム機、パーソナルコンピュータなど、撮像装置が組み込まれた、もしくは内蔵された機器を適用してもよい。
【００１１】
撮像装置１００は、システム制御部１０１乃至ＦＡズーム制御部１２２を備える。
システム制御部１０１は、撮像装置１００の全体の動作を制御する。システム制御部１０１は、例えば、ＣＰＵ（中央演算処理装置）及びＲＡＭ、ＲＯＭ等の記憶装置等を備えており、記憶装置に予め記憶されたプログラムに従い、ＲＡＭを作業領域として用いながら、撮像装置１００を制御する。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。また、ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。システム制御部１０１は、例えば、撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（ＦＡズーム処理を含む）等を行うためのプログラムを実行する。なお、後述するＦＡズーム機能に関する各処理は、コンピュータプログラム（ソフトウェア）として、主にシステム制御部１０１によって実行されるものとする。
【００１２】
撮像レンズ１０２は、内部にレンズ群を保持しており、被写体光を撮像素子１０６に導く。ズームレンズ１０３は、光軸方向に移動することによって、焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０５は、光軸方向に移動することによって、ピントを調節する。防振レンズ１０４は、手振れに起因する像ブレを補正する補正用レンズである。なお、本実施形態において、撮像装置１００は、撮像レンズ１０２とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本発明は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。また、本発明は、防振レンズ１０４は必須の構成ではなく、像振れ補正機能を有していない撮像システムにも適用可能である。
【００１３】
撮像レンズ１０２を通過した被写体光は、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）等を有する撮像素子１０６に受光される。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像素子１０６は、例えば、ＸＹアドレス方式のＣＭＯＳイメージセンサ等で構成される。撮像素子１０６は、撮像レンズ１０２が形成する光学像を光電変換して電荷を蓄積し、電荷を読み出すことで、撮影画像に係る画像信号を映像信号処理部１０７に供給する。
【００１４】
映像信号処理部１０７は、撮像素子１０６から出力された画像信号に、ホワイトバランス調整やガンマ補正などの公知の信号処理を施してフレーム画像を生成して、画像メモリ１０８に格納する。また、映像信号処理部１０７は、撮像素子１０６から出力された画像信号に、種々の信号処理を施して、撮像装置１００の制御に必要な評価値を生成する。これらの評価値は、ＡＦ、ＡＥ、ＡＷＢ等の制御に用いられる。撮像素子１０６、映像信号処理部１０７で行われる一連の動作は、例えば、ＮＴＳＣフォーマットに準拠したビデオ信号の場合は、６０Ｈｚの周期で実行され、動画像データが生成される。
【００１５】
記録制御部１０９は、記録媒体１１０を制御して、動画データや静止画データまたはメタデータなどの記録・読出しを行う。記録媒体１１０は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。表示制御部１１１は、映像信号処理部１０７から出力された映像信号に基づく画像（カメラスルー画）の他、設定メニュー画像、記録済みの画像など用途に応じて加工した映像信号を出力して、表示部１１２に画像を表示させる。表示部１１２は液晶表示素子（ＬＣＤ）等であり、表示制御部１１１により生成された画像を表示する。
【００１６】
防振レンズ駆動部１１６は、像ブレ補正制御部１２０の制御にしたがって防振レンズ１０４を駆動することで、画像のブレ（像ブレ）を補正する。フォーカス駆動部１１４は、フォーカスレンズ１０５を駆動する。本実施形態において、撮像装置１００は、コントラスト方式でＡＦ（オートフォーカス）制御を行う。したがって、フォーカス駆動部１１４は、映像信号処理部１０７の画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体にピントが合うようにフォーカスレンズ１０５を駆動する。本発明は、位相差ＡＦ方式等のコントラスト方式以外のＡＦ制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたＡＦ制御も適用できる。
【００１７】
ズーム駆動部１１５は、ズーム操作指示に従って、ズームレンズ１０３を駆動する。操作部１１３は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備える。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部１０１が、ズーム駆動速度や駆動方向を演算し、その演算結果に従って、ズームレンズ１０３が、光軸に沿って移動される。
【００１８】
振れ検出部１１７は、ジャイロセンサ（角速度検出手段）等の情報に基づいて、撮像装置１００の振れ状態を検出する。振れ検出部１１７は、ジャイロセンサ等に加わる振れ量に応じて、カメラがパンニングされたかを検出する。ジャイロセンサは、防振レンズ駆動部１１６の制御情報として用いるセンサと兼用する構成でもよい。また、撮像装置の姿勢検出等に用いる加速度センサ（不図示）を用いて、振れ量を検出してもよい。この場合、複数の軸の加速度から便宜的に角速度を算出する必要がある。
【００１９】
次に、システム制御部１０１において、ＦＡズーム機能に関連する制御について説明する。図１に示すように、システム制御部１０１は、ＣＺ制御部１１９、ＦＡズーム枠制御部１２１、ＦＡズーム制御部１２２を備える。光学ズームによる画角変更時に合焦状態を維持するには、撮像レンズ１０２のようなリアフォーカスタイプのレンズ鏡筒の場合、ズームレンズ１０３の位置に応じてフォーカスレンズ１０５を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。
【００２０】
図２は、ズームレンズの焦点距離と、焦点距離に応じてピントが合うフォーカス位置との関係を、被写体距離ごとに示す図である。
本実施形態において、図２のグラフによって示される焦点距離とフォーカス位置との対応テーブルを、フォーカスカムテーブルと称する。各グラフ線の横には、撮像装置１００から被写体までの距離（被写体距離）を示している。
【００２１】
図１に示すＡＦ制御部１１８は、ＡＦ制御を行う際にフォーカス駆動部１１４を制御して、フォーカスレンズ１０５を所定の範囲において移動させることによりスキャン動作を行う。この動作中に映像信号処理部１０７から得られるコントラスト評価値等を用いて、既知の方法により合焦点であるフォーカス位置が検出される。そのときのズーム位置およびフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。
【００２２】
ＣＺ制御部１１９は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０３のズーム位置を検出する。そして、ＣＺ制御部１１９は、検出したズーム位置に応じたＡＦ制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０５を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
【００２３】
像ブレ補正制御部１２０は、振れ検出部１１７の出力である角速度情報に基づいて、像ブレを補正するための像ブレ補正量を演算する。像ブレ補正制御部１２０は、算出した像ブレ補正量を防振レンズ１０４の変位量に変換して防振レンズ駆動部１１６を制御する。ＦＡズーム枠制御部１２１は、ＦＡズーム動作中において、ＦＡズーム動作が終了したときの画角（撮影範囲）をユーザに示すために、ＦＡズーム枠を表示部１１２に表示させる。
【００２４】
図３は、ＦＡズーム枠の例を示す図である。
図３（Ａ）は、ＦＡズーム動作前の画角を示す。ＦＡズーム動作が開始されると、システム制御部１０１が、図３（Ｂ）に示すように、所定の倍率でズームアウト制御すなわち撮影画角を広角側にする制御を実行することで、より広い画角を撮影し、被写体を見つけやすくする。このとき、システム制御部１０１は、ＦＡズーム動作が終了して、ズームイン制御すなわち撮影画角を望遠側にしたときに撮影される画角を、ＦＡズーム枠３００のように表示部１１２の中央部に表示させる。ＦＡズーム枠３００の大きさは、ズームアウトした時点でのズーム位置をもとに計算される。
【００２５】
図４および図５は、ＦＡズーム機能の処理を説明するフローチャートである。
撮像装置１００のＦＡズーム機能は、特に記載がない限り、システム制御部１０１がＦＡズーム制御部１２２を制御することで行われるものとする。また、ＦＡズーム機能の処理は、一定の周期で繰り返し実行される。この例では、ＦＡズーム機能の処理は、ＮＴＳＣ方式のフレームレートに同期した６０Ｈｚの周期で実行されるものとする。
【００２６】
まず、図４のＳ１００において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９から現在のズーム位置情報を取得する。ＦＡズーム制御部１２２は、ズームレンズの位置情報に基づいてＣＺ制御部１１９で算出された焦点距離としてズーム位置情報を取得する。ズーム位置情報が、ズーム倍率やズームレンズ位置でもよい。
【００２７】
次に、Ｓ１０１において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９から被写体距離情報を取得する。続いて、Ｓ１０２において、ＦＡズーム制御部１２２が、後述するカメラ動き判定を行う。被写体がフレームアウトしてしまった場合、一般的に撮影者はカメラをパンニングさせながら被写体を探し出す動作を行う。カメラ動き判定では、ＦＡズーム制御部１２２が、振れ検出部１１７の出力に基づいてカメラの動き量を算出する。ＦＡズーム制御部１２２は、動き量に基づいて、カメラが静止している（被写体をとらえている）か、カメラがパンニング動作（撮影者が被写体を探し出す動作）をしているかを判定する。ＦＡズーム制御部１２２は、動き量が第１の閾値以上の場合に、カメラがパンニング動作をしていると判定する。ＦＡズーム制御部１２２は、動き量が第１の閾値より小さい第２の閾値未満の場合に、カメラが静止していると判定する。
【００２８】
Ｓ１０３において、ＦＡズーム制御部１２２が、前回のＦＡズーム動作状態がＦＡズームアウト状態であるか否かを判定する。前回のＦＡズーム動作状態がＦＡズームアウト状態である場合は、ズームアウト制御（第１の制御）の実行後であると判定して、処理が図５のＳ１１１に進む。前回のＦＡズーム動作状態がＦＡズームアウト状態でない場合は、ズームアウト制御を実行するために、処理がＳ１０４に進む。
【００２９】
Ｓ１０４において、ＦＡズーム制御部１２２が、Ｓ１０２でのカメラ動き判定の結果に基づいて、カメラがパンニング動作をしているか否かを判定する。カメラがパンニング動作をしていると判定された場合は、処理がＳ１０５に進む。そして、Ｓ１０５において、ＦＡズーム制御部１２２が、ＦＡズームアウト制御を開始する処理を行う。カメラがパンニング動作をしてないと判定された場合は、ＦＡズーム制御部１２２が、ＦＡズーム機能の処理を終了する。
【００３０】
Ｓ１０５において、ＦＡズーム制御部１２２が、Ｓ１０１で取得した被写体距離情報を記憶する。続いて、ＦＡズーム制御部１２２が、ステップＳ１００で取得したズーム位置情報をズーム戻り位置として記憶する。Ｓ１０５、Ｓ１０６において、ＦＡズーム機能においてＦＡズームアウト制御が開始されるときのズーム位置と被写体距離を保持しておくのは、ズームイン制御したときに到達するズーム位置の算出に用いるためである。
【００３１】
Ｓ１０７において、ＦＡズーム制御部１２２が、ズームアウト制御の目標位置であるズームアウト目標位置を決定する。ＦＡズーム制御部１２２は、現在のズーム倍率を基準として、所定のズームアウト倍率を乗算することで、ズームアウト目標位置を算出する。ズームアウト倍率は、例えば１／２倍といった固定の倍率でもよいし、メニュー等によって複数のズームアウト倍率の中から、ユーザに選択させるようにしてもよい。
【００３２】
Ｓ１０８において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９にズームアウト制御の開始指示を出す。このときに、ＦＡズーム制御部１２２は、Ｓ１０７で決定したズームアウト目標位置をＣＺ制御部１１９に通知する。ＣＺ制御部１１９は、ズームアウト開始の指示を受け取ると、所定のズーム速度でズームレンズ１０３を駆動し、ズームアウト目標位置に到達するまで、継続して制御を行う。
【００３３】
Ｓ１０９において、ＦＡズーム制御部１２２が、ＦＡズーム枠制御部１２１にＦＡズーム枠表示の開始指示を出す。続いて、Ｓ１１０において、ＦＡズーム制御部１２２が、ＦＡズームアウト状態であることを記憶し、処理を終了する。Ｓ１０５からＳ１１０の処理は、ＦＡズームアウト制御開始時に一度だけ行われる。
【００３４】
次に、ＦＡズームアウト制御中の処理について説明する。
図５のＳ１１１において、ＦＡズーム制御部１２２が、Ｓ１０２でのカメラ動き判定の結果に基づいて、カメラが静止しているか否かを判定する。カメラが静止していると判定された場合は、処理がＳ１１２に進む。そして、Ｓ１１２においてＦＡズーム制御部１２２が、ズームイン制御（第２の制御）を開始する処理を行う。カメラが静止していないと判定された場合は、ズームイン制御は開始せずに、処理がＳ１１４に進む。
【００３５】
Ｓ１１２において、ＦＡズーム制御部１２２が、ズームイン制御の目標位置であるズームイン目標位置を決定する。ＦＡズームアウト制御開始時から被写体距離が変化していない場合、ＦＡズーム制御部１２２は、Ｓ１０６で記憶しておいたズーム戻り位置（ＦＡズームアウト制御開始時のズーム位置）をズームイン目標位置として決定する。ＦＡズームアウト制御開始時から被写体距離が変化している場合は、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ズーム戻り位置を補正することで、ズームイン目標位置を決定する。これにより、被写体距離に応じて、ズームイン制御によって到達する画角を変更することができる。
【００３６】
Ｓ１１３において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９にズームイン制御の開始指示を出す。このとき、ＦＡズーム制御部は、Ｓ１１２で決定したズームイン目標位置をＣＺ制御部１１９に通知する。ＣＺ制御部１１９は、ズームイン開始の指示を受け取ると、所定のズーム速度でズームレンズ１０３を駆動し、ズームイン目標位置に到達するまで、継続して制御を行う。このとき、ＣＺ制御部１１９は、Ｓ１０８で指示されたズームアウト制御が継続して実行している場合は、ズームアウト制御を中断してズームイン制御に切り替わるように制御する。
【００３７】
Ｓ１１４において、ＦＡズーム制御部１２２が、現在ズーム位置がズームイン目標位置に到達したかを判定する。これにより、ズームイン制御の終了（すなわち一連のＦＡズーム動作の完了）を検出する。現在ズーム位置がズームイン目標位置に到達した場合は、処理がＳ１１５に進む。そして、Ｓ１１５において、ＦＡズーム制御部１２２が、ＦＡズームアウト制御を終了する処理を実行する。現在ズーム位置がズームイン目標位置に到達していないと判定された場合は、処理がＳ１１７に進む。そして、ＦＡズーム制御部１２２が、ＦＡズーム動作継続中の処理を行う。
【００３８】
Ｓ１１５において、ＦＡズーム制御部１２２が、ＦＡズーム枠制御部１２１にＦＡズーム枠表示の終了指示を出す。そして、処理がＳ１１６に進む。Ｓ１１６において、ＦＡズーム制御部１２２が、ＦＡズームアウト状態が終了したことを記憶する。そして、処理が終了する。Ｓ１１４でズームイン制御が終了していないと判定された場合は、処理がＳ１１７に進む。そして、ＦＡズーム制御部１２２が、ＦＡズーム動作継続中の処理を行う。
【００３９】
Ｓ１１７において、ＦＡズーム制御部１２２が、Ｓ１０６で記憶しておいたズーム戻り位置の補正を行う。この処理は本実施形態の撮像装置において、最も特徴的な処理であり、ＦＡズーム動作中に被写体距離が変化した場合であっても、ＦＡズーム動作の前後での、主となる被写体の画像上の大きさを一定に保つようにする処理である。
【００４０】
ＦＡズーム制御部１２２は、Ｓ１０６で記憶したズーム戻り位置Ｚ＿ｏｌｄ、Ｓ１０５で記憶した被写体距離Ｄ＿ｏｌｄ、Ｓ１０１で取得した現在の被写体距離Ｌ＿ｎｏｗに基づいて、式１を用いて、新たなズーム戻り位置Ｚ＿ｎｅｗを算出する。
Ｚ＿ｎｅｗ＝Ｚ＿ｏｌｄ×Ｌ＿ｎｏｗ÷Ｌ＿ｏｌｄ  ・・・（式１）
【００４１】
ＦＡズーム制御部１２２は、Ｓ１１２、Ｓ１１３で行われるズームイン目標位置の決定において、新たなズーム戻り位置Ｚ＿ｎｅｗをズームイン目標位置とすることで、ＦＡズーム動作終了時のズーム位置を補正する。すなわち、ＦＡズーム制御部１２２は、ズームアウト制御開始時の撮影画角に、ズームアウト制御開始時の被写体とズームイン制御開始時の被写体距離の比率を乗じることによって、ズームイン制御によって到達する撮影画角を決定する。
【００４２】
Ｓ１１８において、ＦＡズーム制御部１２２が、ＦＡズーム枠のサイズを算出する。ＦＡズーム枠は、一連のＦＡズーム動作が完了したときに撮影される画角を示す。ＦＡズーム制御部１２２は、ズーム戻り位置と現在のズーム位置との比率に基づいて、ＦＡズーム枠のサイズを算出する。
【００４３】
本実施形態では、ＦＡズーム動作中の被写体距離の変化に応じてズーム戻り位置を補正するようにする。したがって、ＦＡズーム枠も同様に被写体距離の変化に応じてサイズを補正する必要がある。被写体距離の変化は、Ｓ１１７で行われる新たに補正されたズーム戻り位置Ｚ＿ｎｅｗに反映されている。したがって、ＦＡズーム枠のサイズの計算においてもズーム戻り位置Ｚ＿ｎｅｗを用いることで、被写体距離の変化を考慮したサイズの算出が可能である。
【００４４】
ＦＡズーム枠の横方向のサイズをＳｘ、縦方向のサイズをＳｙとする。ＦＡズーム制御部１２２は、Ｓｘ、Ｓｙを以下の式２、式３により算出する。
Ｓｘ＝Ｓｘ＿ｒｅｆ×Ｚ＿ｎｏｗ÷Ｚ＿ｎｅｗ  ・・・（式２）
Ｓｙ＝Ｓｙ＿ｒｅｆ×Ｚ＿ｎｏｗ÷Ｚ＿ｎｅｗ  ・・・（式３）
【００４５】
Ｓｘ＿ｒｅｆ、Ｓｙ＿ｒｅｆは、ＦＡズーム枠の基準サイズ（ズームアウト１倍のときのサイズ）である。例えば、画像サイズが１９２０×１０８０のフルＨＤの場合は、Ｓｘ＿ｒｅｆ＝１９２０、Ｓｙ＿ｒｅｆ＝１０８０である。また、Ｚ＿ｎｏｗは、ステップＳ１００で取得した現在のズーム位置である。以上述べたように、撮像装置１００は、ＦＡズーム動作中に被写体距離が変化した場合であっても，ＦＡズーム動作の前後での画面上の被写体の大きさを一定とし、ＦＡズーム動作中のＦＡズーム枠表示をＦＡズーム動作終了後の画角に合わせるように制御する。
【００４６】
図６および図７は、図４のステップＳ１０２におけるカメラ動き判定の処理を説明するフローチャートである。
図６のＳ２００乃至Ｓ２０８は、水平方向のカメラ動き判定処理である。Ｓ２００において、ＦＡズーム制御部１２２が、振れ検出部１１７から水平角速度を取得する。続いて、Ｓ２０１において、ＦＡズーム制御部１２２が、水平角速度を一階積分することで水平角度を算出する。ここで行われる積分処理は、一般的に知られている１次ＩＩＲフィルタ等の不完全積分とする。これにより、振れ検出部１１７のオフセットにより角度が飽和してしまうのを防止する。Ｓ２０１において、ＦＡズーム制御部１２２が、水平角度を算出して、記憶する。
【００４７】
次に、Ｓ２０２において、ＦＡズーム制御部１２２が、水平角速度が所定の閾値（角速度）より小さいかを判定する。水平角速度が閾値より小さい場合は、ＦＡズーム制御部１２２は、水平方向のカメラの動きは静止していると判定して、処理がＳ２０３に進む。水平角速度が閾値以上である場合は、ＦＡズーム制御部１２２は、水平方向のカメラの動きは静止していないと判定する。そして、処理がＳ２０５に進み、パンニング判定のための処理が行われる。
【００４８】
Ｓ２０３において、ＦＡズーム制御部１２２が、Ｓ２０１で演算される水平角度及びその演算に用いられるＩＩＲフィルタの中間演算子をクリアする。この処理を行うのは、カメラが静止している状態を基準として角度の演算を行うためである。Ｓ２０１において、ＦＡズーム制御部１２２が、水平角度をクリアして、処理がＳ２０４に進む。Ｓ２０４において、ＦＡズーム制御部１２２が、水平方向のカメラの動きを静止状態として記憶する。そして、処理が図７のＳ２０９に進む。
【００４９】
Ｓ２０５において、ＦＡズーム制御部１２２が、水平角速度が所定の閾値（角速度）より大きいかを判定する。ここでの閾値は、ステップＳ２０２の判定に用いられる閾値より十分に大きい値に設定されている。水平角速度が閾値より大きいと判定された場合は、処理がＳ２０６に進む。そして、ＦＡズーム制御部１２２が、水平角度の判定を行う。水平角速度が閾値以下である場合は、処理がＳ２０８に進む。
【００５０】
Ｓ２０６において、ＦＡズーム制御部１２２が、水平角度が所定の閾値（角度）より大きいかを判定する。水平角度が閾値より大きいと判定された場合は、処理がＳ２０７に進む。水平角度が閾値以下である場合は、処理がＳ２０８に進む。
【００５１】
Ｓ２０７において、ＦＡズーム制御部１２２が、水平方向のカメラの動きをパンニングであると判定して記憶する。また、Ｓ２０８において、ＦＡズーム制御部１２２が、水平方向のカメラの動きを、前回判定時の結果を保持するように記憶する。そして、処理が図７のＳ２０９に進む。
【００５２】
図７のＳ２０９乃至Ｓ２１７は、垂直方向のカメラ動き判定処理である。Ｓ２０９において、ＦＡズーム制御部１２２が、振れ検出部１１７から垂直角速度を取得する。続いて、Ｓ２１０において、ＦＡズーム制御部１２２が、角速度を一階積分することで垂直角度を算出する。Ｓ２１０においても、水平角度の算出と同様に、１次ＩＩＲフィルタ等の不完全積分を適用する。Ｓ２１０において、ＦＡズーム制御部１２２が、垂直角度を算出して記憶し、処理がＳ２１１に進む。
【００５３】
Ｓ２１１において、ＦＡズーム制御部１２２が、垂直角速度が所定の閾値（角速度）より小さいかを判定する。垂直角速度が閾値より小さい場合は、ＦＡズーム制御部１２２が、垂直方向のカメラの動きは静止していると判定して、処理がＳ２１２に進む。垂直角速度が閾値以上である場合は、処理がＳ２１４に進む。そして、パンニング判定のための処理が行われる。
【００５４】
Ｓ２１２において、ＦＡズーム制御部１２２が、Ｓ２１０で演算される垂直角度及びその演算に用いられるＩＩＲフィルタの中間演算子をクリアする。続いて、Ｓ２１３において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きを静止状態として記憶し、処理がＳ２１８に進む。
【００５５】
Ｓ２１４において、ＦＡズーム制御部１２２が、垂直角速度が所定の閾値（角速度）より大きいかを判定する。Ｓ２１４で用いる閾値は、Ｓ２１１の判定処理に用いられる閾値より、十分に大きい値に設定されている。垂直角速度が閾値より大きいと判定された場合は、処理がＳ２１５に進む。そして、ＦＡズーム制御部１２２が、垂直角度の判定を行う。垂直角速度が閾値以下であると判定された場合は、処理がＳ２１７に進む。
【００５６】
Ｓ２１５において、ＦＡズーム制御部１２２が、垂直角度が所定の閾値（角度）より大きいかを判定する。垂直角度が閾値より大きい場合は、処理がＳ２１６に進む。垂直角度が閾値以下である場合は、処理がＳ２１７に進む。
【００５７】
Ｓ２１６において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きをパンニングとして判定して記憶し、処理がＳ２１８に進む。また、Ｓ２１７において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きを、前回判定時の結果を保持するように記憶し、処理がＳ２１８に進む。
【００５８】
Ｓ２１８からの処理では、水平方向のカメラの動き判定結果及び垂直方向のカメラの動き判定結果を参照して、最終的なカメラ動き判定を行う。Ｓ２１８において、ＦＡズーム制御部１２２が、水平方向のカメラ動き判定結果が静止状態であるかを判定する。水平方向のカメラ動き判定結果が静止状態である場合は、処理がＳ２１９に進む。水平方向のカメラ動き判定結果が静止状態でない場合は、処理がＳ２１１に進む。
【００５９】
Ｓ２１９において、ＦＡズーム制御部１２２が、垂直方向のカメラ動き判定結果が静止状態であるかを判定する。垂直方向のカメラ動き判定結果が静止状態である場合は、処理がＳ２２０に進む。垂直方向のカメラ動き判定結果が静止状態でない場合は、処理がＳ２１１に進む。
【００６０】
Ｓ２２０において、ＦＡズーム制御部１２２が、最終的なカメラ動き判定を静止状態として記憶し、処理を終了する。また、Ｓ２２１において、ＦＡズーム制御部１２２が、最終的なカメラ動き判定をパンニング状態として記憶し、処理を終了する。以上のようにして、ＦＡズーム制御部１２２は、振れ検出部１１７から取得した角速度情報に基づいて、カメラの動き判定を行う。
【００６１】
図８は、移動する被写体の撮影例を説明する図である。
図８に示すように、撮像装置１００が主被写体である自動車を撮影しようとしたとき、撮影者は画角内に主被写体が収まるように、主被写体の動きに合わせてカメラを動かす動作を行う（パンニング動作）。このとき、焦点距離が望遠側であったり、被写体の動きが速い場合には、常に画角内に収めるのは困難であり、フレームアウトして被写体を見失う場合がある。そこで、撮像装置１００は、ＦＡズーム機能を動作して、カメラの動きから撮影者が被写体を探している動作をしていると判断した場合は、ズームアウトして画角を広くすることにより被写体を見つけやすくする。
【００６２】
図９および図１０は、主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。
図８示す主被写体が（Ａ）の位置から（Ｂ）の位置に移動した場合に、撮影者が主被写体を追いかけるように撮影した場合の、ＦＡズーム機能の動作を説明する。図９（Ａ）は、図８の（Ａ）の位置にある被写体を撮影している状態において、表示部１１２に表示される画像を示す。カメラの動きは静止状態として判定されている。
【００６３】
図９（Ｂ）は、図８の（Ａ）の位置の主被写体が（Ｂ）の位置に向かって動き始めたときの、表示部１１２に表示される画像である。主被写体を追いかけるように撮影者がカメラを動かすので、ＦＡズーム制御部１２２は、カメラの動きがパンニング状態であると判定し、ＦＡズームアウト制御が開始する。ＦＡズーム制御部１２２は、図９（Ｂ）に示すように、ＦＡズーム動作終了時の画角を示すＦＡズーム枠３００を表示する。
【００６４】
主被写体が、図８の（Ｂ）の位置に到達して静止すると、ＦＡズーム制御部１２２は、ＦＡズームイン制御を開始する。図８の（Ｂ）の位置では、撮像装置１００と主被写体との距離は、図８の（Ａ）の位置に比べて近づいている。このとき、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ＦＡズーム動作終了後のズーム位置と、ＦＡズーム枠３００の大きさを変更する。具体的には、ＦＡズーム制御部１２２は、ＦＡズーム動作終了時のズーム位置を、ＦＡズーム動作開始時のズーム位置より広角側に変更する。また、ＦＡズーム制御部１２２は、変更されたズーム位置の撮影画角に合うように、ＦＡズーム枠３００を大きくする。したがって、表示部１１２に表示される画像は、図９（Ｃ）のようになる。図９（Ｄ）は、カメラの動きが静止状態と判定され、ズームイン後にＦＡズーム動作が終了した時に表示されている画像を示す。図９（Ｃ）のＦＡズーム枠３００が示す撮影範囲は、図９（Ｄ）の画角と一致する。
【００６５】
すなわち、ＦＡズーム制御部１２２は、ズームイン制御開始時（第２の制御開始時）の被写体距離が、ズームアウト制御開始時（第１の制御開始時）の被写体距離より近い場合は、以下の制御を実行する。ＦＡズーム制御部１２２は、ズームイン制御によって到達する画角を、ズームアウト制御開始時の画角より広角側になるように制御する。これにより、被写体距離が変化した場合であっても、ＦＡズーム制御の前後で画面上の被写体の大きさを一定に保つことができる。
【００６６】
次に、図８に示す主被写体が（Ａ）の位置から（Ｃ）の位置に移動した場合に、撮影者が主被写体を追いかけるように撮影した場合の、ＦＡズーム機能の動作を説明する。図１０（Ａ）は、図８の（Ａ）の位置にある被写体を撮影している状態において、表示部１１２に表示される画像を示す。カメラの動きは静止状態として判定されている。
【００６７】
図１０（Ｂ）は、図８の（Ａ）の位置の主被写体が（Ｃ）の位置に向かって動き始めたときの、表示部１１２に表示される画像である。主被写体を追いかけるように撮影者がカメラを動かすので、ＦＡズーム制御部１２２は、カメラの動きがパンニング状態であると判定し、ＦＡズームアウト制御を開始する。ＦＡズーム制御部１２２は、図１０（Ｂ）に示すように、ＦＡズーム動作終了時の画角を示すＦＡズーム枠３００を表示する。
【００６８】
主被写体が、図８の（Ｃ）の位置に到達して静止すると、ＦＡズーム制御部１２２は、ＦＡズームイン制御を開始する。図８の（Ｃ）の位置では、撮像装置１００と主被写体との距離は、図８の（Ａ）の位置に比べて遠ざかっている。このとき、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ＦＡズーム動作終了後のズーム位置と、ＦＡズーム枠３００の大きさを変更する。具体的には、ＦＡズーム制御部１２２は、ＦＡズーム動作終了時のズーム位置を、ＦＡズーム動作開始時のズーム位置より望遠側に変更する。また、ＦＡズーム制御部１２２は、変更されたズーム位置の撮影画角に合うように、ＦＡズーム枠３００を小さくする。したがって、表示部１１２に表示される画像は、図１０（Ｃ）のようになる。図１０（Ｄ）は、カメラの動きが静止状態と判定され、ズームイン後にＦＡズーム動作が終了した時に表示されている画像を示す。図１０（Ｃ）のＦＡズーム枠３００が示す撮影範囲は、図１０（Ｄ）の画角と一致する。
【００６９】
すなわち、ＦＡズーム制御部１２２は、ズームイン制御開始時の被写体距離が、ズームアウト制御開始時の被写体距離より遠い場合は、以下の制御を実行する。ＦＡズーム制御部１２２は、ズームイン制御によって到達する画角を、ズームアウト制御開始時の画角より望遠側になるように制御する。これにより、被写体距離が変化した場合であっても、ＦＡズーム制御の前後で画面上の被写体の大きさを一定に保つことができる。
【００７０】
以上説明したように、撮像装置１００は、カメラの動きを検出し、カメラを大きく動かされた場合には被写体を探していると判断して、自動でズームアウト制御を行う。ズームアウトした状態でカメラが静止した場合は、被写体を捉え直したと判断してズームイン制御を行う。このような制御を行うことで、被写体を見失った際に迅速に被写体を捉え直すことが可能となる。撮像装置１００は、ズームアウト制御が開始されてからズームイン制御が終了するまでの間、ズームイン制御によって到達する撮影画角を示すＦＡズーム枠を撮影画像に重畳して表示する。そして、撮像装置１００は、ズームアウトした状態で被写体距離が変化した場合は、被写体距離の変化に応じて、ズームイン制御終了時のズーム位置と、ＦＡズーム枠の大きさとを変更する。このような制御を行う事で、被写体を見失ったときに被写体の距離が変化した場合であっても、被写体を捉えたときの画面上の被写体の大きさを一定に保つことが可能となり、撮影者が手動で画角を調整する煩わしさを低減することができる。
【００７１】
（実施例２）
図１１および図１２は、実施例２におけるＦＡズーム機能の処理を説明するフローチャートである。
実施例２の撮像装置の構成は、図１に示す撮像装置１００と同様である。また、図１１および図１２のフローチャートのステップのうち、図４および図５のフローチャートのステップと同一の符号が付されているステップは、図４および図５のフローチャートのステップと同様である。
【００７２】
実施例２の撮像装置は、ピント状態を判定し、ピントが大きくずれている場合は、Ｓ１１７、Ｓ１１８のズーム戻り位置補正処理とＦＡズーム枠サイズの計算処理を行わないようにする。実施例１では、撮像装置１００では、ズームレンズ１０３とフォーカスレンズ１０５の位置情報を基に、図２のフォーカスカムテーブルで補間演算することによって被写体距離を算出する。しかし、フォーカスカムテーブルで求められる被写体距離は、主被写体に合焦している場合にのみ有効である。したがって、ピントが合焦状態から大きく外れている（大ボケ）の状態では、被写体距離の信頼性が低くなるので、それに基づいてズーム戻り位置、ＦＡズーム枠サイズの算出を行うと誤差が大きくなる場合がある。実施例２では、ＦＡズーム制御部１２２では、ピント状態を判定し、ズーム戻り位置補正処理とＦＡズーム枠サイズ計算処理に制限をかける。
【００７３】
図１１のＳ３００において、ＡＦ制御部１１８が、ピント状態（合焦点状態）を判定する。ＡＦ制御部１１８は、映像信号処理部１０７から得られる画像のコントラスト評価値を用いて、ピント状態を判定する。ＡＦ制御部１１８、フォーカスレンズ１０５の位置を微小に変化させながらコントラスト評価値をスキャンし、コントラスト評価値が最も高かった位置を合焦位置としてフォーカスレンズ１０５を制御する。このときのコントラストピーク値を記憶しておき、コントラスト評価値とピーク値の割合を算出し、その割合が閾値より小さかった場合は、大ボケ状態として判定する。
【００７４】
また、実施例２では、図１２のＳ３０１において、ＦＡズーム制御部１２２が、カメラの動き判定が静止状態であり、かつピント状態が大ボケでないかを判定する。カメラの動き判定が静止状態であり、かつピント状態が大ボケでない場合は、処理がＳ１１２に進み、ズームイン制御を開始する。カメラ動き判定が静止状態でないか、静止状態であっても、ピント状態が大ボケである場合は、Ｓ１１４に進み、ズームイン制御を制限する。これは、ズーム位置が望遠になるほど被写界深度が狭くなり、ピントがボケやすくなるので、大ボケ状態でズームインしてしまうと、よりピントが合わせづらくなるためである。したがって、ＦＡズーム制御部１２２は、大ボケ状態ではズームアウト状態のままとし、その状態でＡＦ動作を継続させる。すなわち、ＦＡズーム制御部１２２は、撮影画像のピントが合っていない状態の場合に、ズームイン制御を制限する。
【００７５】
また、実施例２では、Ｓ１１４において、現在ズーム位置がズームイン目標位置で無かった場合（即ちＦＡズーム動作中）は、処理がＳ３０２に進む。Ｓ３０２において、ＦＡズーム制御部１２２が、Ｓ３００で判定したピント状態に基づいて、ピント状態が大ボケでないかを判定する。ピント状態が大ボケでない場合は、処理がＳ１１７に進む。ピント状態が大ボケである場合は、処理を終了する。すなわち、ピント状態が大ボケである場合は、ズーム戻り位置とＦＡズーム枠サイズは補正されず、ズームアウト開始時のズーム位置をズーム戻り位置として用いる。すなわち、ＦＡズーム制御部１２２は、撮影画像のピントが合っていない状態である場合に、ズームイン制御によって到達する撮影画角がズームアウト制御開始時と同じになるように制御する。
【００７６】
以上説明したように、実施例２では、被写体距離に関する情報をＡＦ制御の情報を用いて算出する場合において、大ボケ状態ではズームイン制御及びズーム戻り位置補正に制限をかけるようにした。このような制御を行うことで、よりＦＡズーム動作時のズーム戻り位置補正の制御における安定性を改善することが可能となる。
【００７７】
本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【００７８】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。
【００７９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１００  撮像装置
【図１】
2017203792.tif 000003
【図２】
2017203792.tif 000004
【図３】
2017203792.tif 000005
【図４】
2017203792.tif 000006
【図５】
2017203792.tif 000007
【図６】
2017203792.tif 000008
【図７】
2017203792.tif 000009
【図８】
2017203792.tif 000010
【図９】
2017203792.tif 000011
【図１０】
2017203792.tif 000012
【図１１】
2017203792.tif 000013
【図１２】
2017203792.tif 000014