(57)【特許請求の範囲】
【請求項１】
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得手段と、
前記画像データ取得手段が順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡手段と、
前記追跡手段が追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の移動又は位置に応じて変化させる撮像方向制御手段と、
を備え、
前記撮像方向制御手段は、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする撮像装置。
【請求項２】
前記制御機構は、前記撮像部のみを移動させて手ぶれを補正する手ぶれ補正機構である、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像方向制御手段は、前記注目領域の移動する速度に応じた変化度で、前記撮像部が撮像する方向を変化させる、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像方向制御手段は、前記動画像上で、前記注目領域が前記端部に位置し、かつ、前記注目領域の移動方向が前記注目領域の位置において最も近い前記画像上の辺に向う方向である場合に、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の移動方向に応じて変化させる、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
を制御するコンピュータを、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得手段と、
前記画像データ取得手段が順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡手段と、
前記追跡手段が追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の位置に応じて変化させる撮像方向制御手段、
として機能させ、
前記撮像方向制御手段は、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする撮像制御プログラム。
【請求項６】
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
を備える撮像装置を用いた撮像方法であって、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得ステップと、
前記画像データ取得ステップが順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡ステップと、
前記追跡ステップが追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の位置に応じて変化させる撮像方向制御ステップと、
を含み、
前記撮像方向制御ステップは、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像制御プログラム及び撮像方法に関する。
【背景技術】
【０００２】
従来、例えば、特許文献１に、時間的に前後するフレームにおいて、前のフレームの画像に写る注目領域（テンプレート画像）と後のフレームの画像における追尾エリア内の各領域との類似度を算出し、類似度が所定の基準以上でかつ最大になる領域（後のフレームの撮像画像における注目領域）を検出する技術が提案されている。そして、このようにして、特許文献１の記載の技術では、注目領域を追跡する。なお、注目領域とは、最初に、所定の条件を満たす領域として検出された領域であり、画像において主要被写体（人の顔等のユーザが画像のなかで注目する被写体）が写っていると考えられる領域である。このため、注目領域の追跡によって、画像上で主要被写体の像（主要被写体像）が追跡される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１７２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、注目領域内の主要被写体像が撮像範囲（撮像画像上）から外れてしまった場合、注目領域の追跡によって主要被写体像像の追跡が出来なくなる場合があった。
【０００５】
本発明は、上記のような問題点を鑑みてなされたものであり、精度良く、注目領域を追跡して主要被写体像の追跡を行う、撮像装置、撮像制御プログラム及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の第１の観点に係る撮像装置は、
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得手段と、
前記画像データ取得手段が順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡手段と、
前記追跡手段が追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の移動又は位置に応じて変化させる撮像方向制御手段と、
を備え、
前記撮像方向制御手段は、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする。
【０００７】
上記の課題を解決するために、本発明の第２の観点に係る撮像制御プログラムは、
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
を制御するコンピュータを、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得手段と、
前記画像データ取得手段が順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡手段と、
前記追跡手段が追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の位置に応じて変化させる撮像方向制御手段、
として機能させ、
前記撮像方向制御手段は、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする。
上記の課題を解決するために、本発明の第３の観点に係る撮像方法は、
複数の静止画像を連続して撮像することで動画像を撮像する撮像部と、
前記撮像部が撮像する方向を制御する制御機構と、
を備える撮像装置を用いた撮像方法であって、
前記撮像部が撮像した前記静止画像を表す静止画像データを順次取得する画像データ取得ステップと、
前記画像データ取得ステップが順次取得する前記静止画像データに基づいて、前記撮像部が撮像した前記動画像上で、所定の条件を満たす注目領域を検出し、検出した前記注目領域を追跡する追跡ステップと、
前記追跡ステップが追跡する前記注目領域が前記動画像上で、画像上の外側に移動するか画像上の端部に位置すると、前記制御機構を制御し、前記撮像部が撮像する方向を前記注目領域の位置に応じて変化させる撮像方向制御ステップと、
を含み、
前記撮像方向制御ステップは、前記撮像部が撮像する方向を第１の方向から第２の方向に変化させたあとに、前記注目領域が前記撮像部が第１の方向で撮像した静止画像の範囲内に移動すると、前記制御機構を制御し、前記撮像部が撮像する方向を第１の方向に戻す、
ことを特徴とする。
【発明の効果】
【０００８】
本発明に係る撮像装置、撮像制御プログラム及び撮像方法によれば、注目領域の追跡が出来なくなることが少ない。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る撮像装置の構成を説明するための図である。
【図２】本発明の一実施形態に係る撮像装置のハードウェア構成を説明するための図である。
【図３】本発明の一実施形態に係る撮像装置が行う撮像制御処理を説明するためのフローチャートである。
【図４】本発明の一実施形態に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための説明図である。
【図５】注目領域と撮像画像との関係を説明するための図である。
【図６】本発明の一実施形態に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための説明図である。
【図７】本発明の一実施形態の変形例１に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための説明図である。
【図８】本発明の一実施形態の変形例２に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための説明図である。
【図９】本発明の一実施形態の変形例３についての注目領域と撮像画像との関係を説明するための図である。
【図１０】本発明の一実施形態の変形例３に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための説明図である。
【図１１】本発明の一実施形態の変形例３に係る撮像装置の表示部に表示される表示画面を示し、注目領域と撮像方向との関係を説明するための他の説明図である。
【発明を実施するための形態】
【００１０】
本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。下記の実施形態及び図面に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略する。
【００１１】
まず、本実施形態に係る撮像装置１００の構成を、図１及び図２を参照して説明する。本実施形態に係る撮像装置１００は、デジタルカメラである。
【００１２】
撮像装置１００は、図１のように、制御部１１０と、Ｉ／Ｆ部１２０と、撮像部１３０と、操作部１４０と、表示部１５０と、信号処理部１６０と、制御機構１７０と、を備える。
【００１３】
撮像部１３０は、制御部１１０の制御のもと、撮像する方向にある人物及び背景等の像（撮像画像）を取り込んで撮像信号を生成し、生成した撮像信号を信号処理部１６０に供給する。
【００１４】
信号処理部１６０は、制御部１１０の制御のもと、撮像部１３０から供給される撮像信号に基づいて撮像画像を表す画像元データを生成し、生成した画像元データを制御部１１０に供給する。
【００１５】
制御機構１７０は、制御部１１０の制御のもと、撮像部１３０を機械的に制御して、撮像部１３０が撮像する方向を他の方向に変化させる。
【００１６】
制御部１１０は、撮像装置１００全体（撮像部１３０等の各構成要素）を制御する。制御部１１０は、画像データ取得部１１０ａと追跡部１１０ｂと撮像方向制御部１１０ｃとを備える。画像データ取得部１１０ａと追跡部１１０ｂと撮像方向制御部１１０ｃとは、下記のように動作し、撮像制御処理を行う。
【００１７】
画像データ取得部１１０ａは、信号処理部１６０から供給される画像元データに基づいて、静止画像データを順次生成する。画像データ取得部１１０ａは、撮像部１３０と信号処理部１６０とを制御する等して、所定のフレームレートで、静止画像データを順次生成する。フレームレートは、１秒間に取得する静止画像の枚数（フレームの枚数）によって表現される。静止画像データは、撮像部１３０が撮像した撮像画像を表すデータである。本実施形態では、このようにして、画像データ取得部１１０ａは、撮像部１３０が撮像した静止画像（撮像画像）を表す静止画像データを順次取得する（画像データ取得処理）。複数の静止画像データがそれぞれ表す連続した複数の静止画像によって、動画が構成されることになる。
【００１８】
追跡部１１０ｂは、まず、画像データ所得部１１０ａが、例えば、撮像制御処理を開始してから最初に取得した静止画像データに基づいて、この静止画像データが表す静止画像における注目領域を探す（サーチする）。注目領域とは、主要被写体が写っている領域であり、画像上で所定の条件を満たす領域である。注目領域は、例えば、主要被写体（追跡したい被写体）として顔が写った領域等である。追跡部１１０ｂは、例えば、予め用意されている、所定の顔（主要被写体）の像を含むテンプレート画像を用いて、テンプレートマッチング等によってテンプレート画像と所定基準以上類似する領域を探す。このような領域が注目領域であり、この領域があれば、追跡部１１０ｂは、この領域を注目領域として検出する。このような注目領域のサーチ・検出は、公知技術（所謂、顔検出等の技術）を利用できる。なお、追跡部１１０ｂは、一つの注目領域を検出するものとする。注目領域について、複数の候補がある場合には、例えば、そのうちのランダムに決めた一つの候補を注目領域とする。なお、追跡部１１０ｂは、一つの静止画像データを用いて注目領域を検出できなかった場合には、画像データ取得部１１０ａが次に取得した静止画像データを用いて注目領域を検出する。
【００１９】
追跡部１１０ｂは、注目領域を検出すると、その後に画像データ取得部１１０ａが連続して取得する一連の静止画像データを用い、この一連の静止画像データが表す動画像上で、注目領域を追跡する。この追跡は、所謂オートフォーカス等の自動追尾についての公知技術（例えば上記特許文献１の技術）を利用できる。追跡部１１０ｂは、例えば、画像データ取得部１１０ａが取得した時間的に連続する静止画像データ（フレーム）の、前のフレームの静止画像内の注目領域（テンプレート画像）と後のフレームの静止画像内における追尾エリア内の各領域との類似度を算出し、類似度が所定の基準以上でかつ最大になる領域を検出する。この領域は、後のフレームの静止画像における注目領域である。この処理の繰り返しによって、注目領域内が追跡され、注目領域内の被写体像１５７（主要被写体像）が追跡される。類似度は、例えば、ＳＡＤ（Sum of Absolute Difference)、ＳＳＤ（Sum of Squared Difference)等を用いたテンプレートマッチングによって算出される。また、追尾エリアとは、前のフレームの静止画像における注目領域の位置から所定範囲内（予め設定されている。）の領域をいう。
【００２０】
ここでは、上記のようにして、追跡部１１０ｂは、静止画像取得部１１０ａが順次取得する静止画像データに基づいて、撮像部１３０が撮像した動画像上で、所定の条件を満たす注目領域を検出し、検出した注目領域（注目領域内の被写体像１５７）を追跡する（追跡処理）。
【００２１】
撮像方向制御部１１０ｃは、追跡部１１０ｂが追跡している注目領域（注目領域内の被写体像１５７）の位置、移動等を監視する。撮像方向制御部１１０ｃは、追跡部１１０ｂが追跡している注目領域が画像上の外側に移動したかを検出結果によって判別し、画像上の外側に移動したことを判別した場合に制御機構１７０を制御して撮像部１３０が撮像する方向を変化させる。これら処理（撮像方向制御処理）についての詳細は、後述する。
【００２２】
Ｉ／Ｆ部１２０は、外部とのインターフェース（Ｉ／Ｆ）である。Ｉ／Ｆ部１２０は、制御部１１０が記憶媒体５０にデータを読み書きする場合に使用される。例えば、Ｉ／Ｆ部１２０は、制御部１１０が静止画像データ（特に、シャッターキー等が押されたときに生成した静止画像データ）等を記憶媒体５０に記録するときに使用される。
【００２３】
操作部１４０は、制御部１１０の制御のもと、ユーザからの操作入力を受け付け、受け付けた操作入力に応じた操作信号を制御部１１０に対して供給する。制御部１１０は、供給された操作信号に応じて処理を行う。
【００２４】
表示部１５０は、制御部１１０の制御のもと、撮像装置１００を操作するために必要なメニュー画面、設定画面、ライブビュー画像等を表示する。
【００２５】
記憶媒体５０は、撮像装置１００に接続される、撮像装置１００の外部記憶装置である。記憶媒体５０は、例えば、フラッシュメモリを搭載したメモリーカードによって構成される。制御部１１０は、Ｉ／Ｆ部１２０を介して、静止画像データ等を記憶媒体５０に記録する。
【００２６】
次に、図２を参照して、本実施形態に係る撮像装置１００のハードウェア構成を説明する。
【００２７】
撮像装置１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１４と、ＴＧ（Timing Generator）１１５と、ドライバ１１６と、メディアコントローラ１２１と、撮像素子１３１と、撮像レンズ群１３２と、撮像駆動部１３３と、操作キー群１４１と、ディスプレイ１５１と、ＡＦＥ（Analog Front End）１６１と、手ぶれ補正機構１７１と、バス１９９と、を備える。ＣＰＵ１１１等は、適宜、バス１９９に接続される。
【００２８】
撮像部１３０は、撮像素子１３１と、撮像レンズ群１３２と、撮像駆動部１３３と、によって構成される（図２参照）。
【００２９】
撮像レンズ群１３２は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。
【００３０】
撮像レンズ群１３２を構成する複数のレンズは、それぞれ、撮像駆動部１３３が備えるレンズ駆動部によって駆動される。レンズ駆動部は、撮像レンズ群１３２を光軸方向にそれぞれ移動させるモータと、このモータを駆動するモータドライバとから構成される。レンズ駆動部は、ＣＰＵ１１１の制御のもと、モータドライバによってモータを駆動させ、撮像レンズ群１３２を光軸方向にそれぞれ移動させる。
【００３１】
さらに、撮像駆動部１３３は、絞り兼用シャッター部を備える。この絞り兼用シャッター部は、絞り兼用シャッターと、駆動回路とを含む。駆動回路はＣＰＵ１１１の制御のもと、絞り兼用シャッターを動作させる。この絞り兼用シャッターは、絞りとシャッターとして機能する。絞りとは、撮像レンズ群１３２を介して入射する光の量を制御する機構のことをいい、シャッターとは、撮像素子１３１に光を当てる時間、つまり、受光素子が受光する時間を制御する機構のことをいう。
【００３２】
撮像素子１３１は、例えば、ベイヤー配列の色フィルタを有する各種ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサによって構成される。撮像素子１３１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等、他のイメージセンサであってもよい。
【００３３】
撮像素子１３１は、ドライバ１１６から供給される駆動信号に従い、撮像レンズ群１３２を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷に基づく信号を撮像信号としてＡＦＥ１６１に供給する。このようにして、撮像素子１３１は、ドライバ１１６を介してＣＰＵ１１１によって制御され、撮像信号をＡＦＥ１６１に供給する。
【００３４】
図１の信号処理部１６０は、ＡＦＥ１６１を含んで構成される。ＡＦＥ１６１は、撮像素子１３１から供給される撮像信号に所定の処理（以下、処理Ａという。）を行い、撮像素子１３１が撮像した撮像画像を表すデジタルデータ（元画像データ）を生成して出力する。処理Ａは、ＯＢ（Optical Black）クランプ処理、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理、Ａ／Ｄ（Analog/digital）処理等を含む処理である。ＡＦＥ１６１は、生成した元画像データをＲＡＭ１１４に記録（供給）する。
【００３５】
ここで、元画像データは、静止画像における画素値等によって表現される、１フレーム分の画像データである。元画像データは、例えば、ベイヤデータである。
【００３６】
図１の制御機構１７０は、手ぶれ補正機構１７１を含んで構成される。手ぶれ補正機構１７１は、例えば、ＣＰＵ１１１の制御のもと、少なくとも撮像素子１３１を機械的に動かす。これによって、撮像素子１３１が撮像する方向が他の方向に変化し、ユーザが撮像装置１００を使用するときの手ぶれが補正される。手ぶれ補正機構１７１は、例えば、イメージセンサーシフト方式（振動ジャイロセンサで手ぶれを感知し、撮像素子１３１を手ぶれに応じて移動させる方式）又は撮像ユニットスイング方式（振動ジャイロセンサで手ぶれを感知し、撮像素子１３１及び撮像レンズ群１３２からなる撮像ユニットを手ぶれに応じて移動させる方式）の機構である。手ぶれ補正機構１７１は、公知のものを採用できる。また、手ぶれ補正機構１７１は、ＣＰＵ１１１の制御のもと、特に撮像制御処理において、手ぶれ補正の目的以外の目的で、少なくとも撮像素子１３１を動かし、撮像素子１３１が撮像する方向を他の方向に変化させることが出来るように構成される。なお、本実施形態では、手ぶれ補正機構１７１は、イメージセンサーシフト方式の機構であるとして説明する。
【００３７】
図１の制御部１１０（画像データ取得部１１０ａ、追跡部１１０ｂ、撮像方向制御部１１０ｃ）は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１４と、ＴＧ１１５と、ドライバ１１６と、によって構成される。
【００３８】
ＣＰＵ１１１は、撮像装置１００の各構成要素を制御する。また、ＣＰＵ１１１は、ＲＯＭ１１２に記録されている撮像制御プログラム１１３に従い、さらに、ＲＯＭ１１２に記録されている各種データを用いる等して、また、ドライバ１１６、ＴＧ１１５、手ぶれ補正機構１７１、撮像駆動部１３３等を制御することによって、撮像制御処理等、制御部１１０（画像データ取得部１１０ａ、追跡部１１０ｂ、撮像方向制御部１１０ｃ）が行う処理を実行する。ＲＯＭ１１２に記録されている撮像制御プログラム１１３、データ等は、一度、ＲＡＭ１１４に読み出されて使用されても良い。
【００３９】
ＣＰＵ１１１の機能の少なくとも一部は、各種専用回路によって実現されてもよい。つまり、制御部１１０の少なくとも一部を各種専用回路によって構成してもよい。各種専用回路としては、例えば、ＤＳＰ（Digital Signal Processor）、エンコーダ、デコーダ等がある。
【００４０】
ＲＯＭ１１２は、適宜の半導体記憶装置によって構成される。ＲＯＭ１１２には、撮像制御プログラム１１３等の各種プログラム、及び、ＣＰＵ１１１が使用するデータ等が記憶されている。
【００４１】
ＲＡＭ１１４は、適宜の半導体記憶装置によって構成される。ＲＡＭ１１４は、ＣＰＵ１１１のワーキングメモリ等として機能し、ＣＰＵ１１１が使用するデータ（テンプレート画像のデータ）、ＣＰＵ１１１が生成したデータ（静止画像データ等）、ＣＰＵ１１１に供給されるデータ（元画像データ）等を一時記憶する。
【００４２】
なお、撮像制御プログラム１１３は、ＯＳ（Operation System）と協働してＣＰＵ１１１に撮像制御処理を行わせるものであってもよい。この場合、ＯＳもＲＯＭ１１２に記録される。また、撮像制御プログラム１１３は、持ち運び可能な記憶媒体（例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory））に記録され、撮像装置１００に供給されてもよい。また、撮像制御プログラム１１３は、ネットワークを介して撮像装置１００に供給されてもよい。
【００４３】
撮像制御プログラム１１３が記録されたＲＯＭ１１２、ＲＡＭ１１４、又は、持ち運び可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品（プログラムを記憶したコンピュータが読み取り可能な記憶媒体）になる。撮像制御プログラム１１３は、機能の少なくとも一部が専用回路によって実現されたコンピュータを動作させるものであってもよい。つまり、コンピュータは、全体として、撮像制御処理を行うものであればよく、撮像制御プログラム１１３は、そのようなコンピュータを動作させるものであればよい。
【００４４】
ＣＰＵ１１１は、ＡＦＥ１６１から供給される元画像データに対して各種処理（以下、処理Ｂという）を行い、ＹＵＶ（輝度・色差）形式の静止画像データへの変換を行う。処理Ｂは、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理を含む。このように、ＣＰＵ１１１は、ＡＦＥ１６１から供給された元画像データに基づいて静止画像データを生成することによって、静止画像データを取得する。
【００４５】
なお、制御部１１０がＤＳＰを含む場合、ＤＳＰは、ＡＦＥ１６１から元画像データを受け取り、受け取った元画像データを前記の処理Ｂと同様の処理によって静止画像データ（ＹＵＶ形式）に変換する。これによって、制御部１１０は、静止画像データを取得する。
【００４６】
ＣＰＵ１１１は、適宜、前記で生成した静止画像データを表示用データに変換し、ディスプレイ１５１に供給する。また、ＣＰＵ１１１は、適宜、メニュー画面、設定画面等を表す表示用データ（これらのテンプレート画像のデータは、ＲＯＭ１１２に記録されている。）を生成し、ディスプレイ１５１に供給する。表示用データは、例えば、ＲＧＢ（Red-Green-Blue）データである。
【００４７】
ＣＰＵ１１１は、適宜、ＲＡＭ１１４に記録された静止画像データを圧縮し、圧縮した圧縮画像データ（これも静止画像データの一例である。）を生成する。制御部１１０がエンコーダを含む場合、このエンコーダが圧縮を行っても良い。ＣＰＵ１１１は、適宜、圧縮画像データを、メディアコントローラ１２１を介して記憶媒体５０に記録する。圧縮画像データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の静止画像データである。
【００４８】
ＴＧ１１５は、ＣＰＵ１１１によって制御され、ドライバ１１６を動作させるためのパルス信号を生成し、ドライバ１１６に供給する。つまり、撮像素子１３１から１フレーム分（つまり、１画像分）の撮像信号が供給される間隔（シャッタースピード）は、ＴＧ１１５からドライバ１１６に供給されるパルス信号等に依存する。また、ＴＧ１１５は、ＡＦＥ１６１にも同様のパルス信号を供給する。ＴＧ１１５は、パルス信号の供給によって、ＡＦＥ１６１とドライバ１１６との動作タイミングの同期を図る。このようにして、ＡＦＥ１６１とドライバ１１６とは、ＴＧ１１５を介してＣＰＵ１１１によって制御される。
【００４９】
ドライバ１１６は、ＴＧ１１５からのパルス信号に従い、撮像素子１３１に駆動信号を供給する駆動回路である。撮像素子１３１は、ＴＧ１１５とドライバ１１６とを介してＣＰＵ１１１によって制御される。
【００５０】
ＣＰＵ１１１は、ドライバ１１６、ＴＧ１１５等を制御する等して、静止画像データを所定のフレームレートで順次取得し（画像データ取得処理）、順次取得した静止画像データを用いて、手ぶれ補正機構１７１等を制御し、撮像制御処理（追跡処理、撮像制御処理）を行う。なお、このときに使用される静止画像データは、データ形式がＣＰＵ１１１によって適宜変更されてもよい。つまり、静止画像データは、所定の静止画像を表すものであればよい。制御部１１０は、撮像制御処理において静止画像データを使用するとき、静止画像データを適宜のデータ形式（例えば、ＲＧＢ形式）に変換して使用できるものとする。
【００５１】
図１のＩ／Ｆ部１２０は、メディアコントローラ１２１によって構成される。メディアコントローラ１２１は、ＣＰＵ１１１の制御のもと、ＣＰＵ１１１からデータ（静止画像データ、差分データ等）を受け取り、受け取ったデータを記憶媒体５０に保存（記録）する等、ＣＰＵ１１１と記憶媒体５０とを仲立ちする。これによって、記憶部に静止画像データが記録等される。
【００５２】
図１の操作部１４０は、操作キー群１４１によって構成される。操作キー群１４１は、半押し全押しの二段階操作可能なシャッターキー、モード切り替えキー、十字キー、ズームキー、及び、メニューキー、セットキー、電源キー等の複数の操作キーを含む。操作キー群１４１は、さらに、各キーの操作に対応した操作信号を出力する信号出力部（基板、接点等によって構成される。）を備える。操作キー群１４１は、ＣＰＵ１１１に制御され、各キーの操作に応じた操作信号をＣＰＵ１１１に供給する。
【００５３】
図１の表示部１５０は、ディスプレイ１５１によって構成される。ディスプレイ１５１は、表示パネルと表示コントローラとを備える。表示コントローラには、ＣＰＵ１１１の制御のもと、表示用データが供給される。表示コントローラは、ＣＰＵ１１１の制御のもと、供給された表示用データをアナログ信号に変換し、変換したアナログ信号に基づいて表示パネルに画像を表示する。つまりディスプレイ１５１は、ＣＰＵ１１１の制御のもと、供給された表示用データに基づいて、この表示用データが表す画像（メニュー画面、設定画面、ライブビュー画像等）を表示する。
【００５４】
次に、撮像装置１００が行う撮像制御処理の詳細な一例を、図３乃至図６を参照して説明する。この処理は、撮像装置１００の操作部１４０が操作されて、撮像モードが選択されたことを契機として開始されるものとする。また、この処理は、撮像モードの終了（例えば、操作部１４０の操作等によって指示される）等によって、適宜終了するものとする。
【００５５】
画像データ取得部１１０ａは、ライブビュー画像の表示を開始する（ステップＳ１０１）。画像データ取得部１１０ａは、上記で説明した画像データ取得処理によって、静止画像データを順次取得するとともに、静止画像データを取得するごとに、取得した静止画像データに基づいて表示用データを生成し、表示部１５０に供給し、静止画像データが表す静止画像を表示部１５０に表示する。これによって、ライブビュー画像（動画）の表示が開始される。画像データ取得部１１０ａは、これ以降、所定のフレームレートで順次静止画像データを順次取得し、静止画像を表示部１５０に順次表示することによって、ライブビュー画像が表示部１５０に表示される。
【００５６】
画像データ取得部１１０ａがライブビュー画像の表示を開始すると、追跡部１１０ｂは、画像データ取得部１１０ａが最初に取得した静止画像データに基づいて、注目領域をサーチする（ステップＳ１０２）。追跡部１１０ｂは、注目領域を検出できたか判別し（ステップＳ１０３）、注目領域が検出できなければ（ステップＳ１０３；ＮＯ）、再度ステップＳ１０２の処理を行う。このようにして、追跡部１１０ｂは、ライブビュー画像の表示の開始以降、静止画像１フレーム毎に注目領域をサーチする。追跡部１１０ｂは、注目領域を検出した場合（ステップＳ１０３；ＹＥＳ）、注目領域の追跡を開始する（ステップＳ１０４）。ステップＳ１０２乃至Ｓ１０４の処理は、上記で説明した追跡処理である。追跡部１１０ｂは、ステップＳ１０４の処理を静止画像１フレーム毎に行う。
【００５７】
なお、追跡部１１０ｂが注目領域を検出すると、画像データ取得部１１０ａは、追跡部１１０ｂが検出した注目領域を示す枠（注目枠）を静止画像に重畳させた画像（以下、追跡画像という。）を表す表示用データを、静止画像データ及び注目枠のデータ（ＲＯＭ１１２に記録されているものとする。）を用いて生成し、この表示用データを表示部１５０に供給することで、追跡画像を表示部１５０に表示する。画像データ取得部１１０ａは、この処理（重畳処理）を静止画像１フレーム毎に行う。重畳処理によって、ライブビュー画像に注目枠が重畳された動画（重畳動画）が表示部１５０に表示される。なお、この重畳動画は、重畳処理を反映したものであり、この重畳動画が表示部１５０に表示されることによって、追跡部１１０ｂが行う注目画像の追跡処理が表示部１５０上に表現されることになる。また、撮像部１３０の撮像方向によって、撮像部１３０に撮像される静止画像は変化する。このため、表示部１５０に表示されるライブビュー画像（重畳動画）も、撮像方向が変わることによって変化する。つまり、撮像方向制御部１１０ｃが行う撮像方向制御処理も表示部１５０上に表現されることになる。以下では、追跡処理及び撮像方向制御処理について、表示部１５０に表示された重畳画像も参照して説明する（図４参照）。
【００５８】
例えば、図４（ａ）に示すように、表示部１５０には、ライブビュー画像に注目領域１５５を囲む注目枠１５６が表現された重畳動画（瞬間的に見ると追跡画像）が表示される。ここでの注目領域１５５内の被写体像１５７（主要被写体像）は人物の顔の像である。そして、被写体像１５７が移動すると、この移動に伴って注目領域１５５も移動し（点線矢印参照）、注目枠１５６も移動する（図４（ｂ）参照）。なお、図４（ｂ）の２点鎖線の注目枠１５６は、数フレーム前の時点（図４（ａ）の時点）の注目枠１５６である。このようにして、追跡部１１０ｂは、注目領域１５５を追跡する。
【００５９】
追跡部１１０ｂが注目領域１５５の追跡を開始すると（ステップＳ１０４）、撮像方向制御部１１０ｃは、注目領域１５５が静止画像上の外側に移動したかを判別する（ステップＳ１０５）。追跡部１１０ｂが注目領域１５５を検出、追跡することによって、注目領域１５５の位置は把握されるので、これによって、撮像方向制御部１１０ｃは、注目領域１５５の位置を把握でき（把握した位置は所定の期間保持するものとする。）、さらに、注目領域１５５の移動を把握できる。なお、撮像方向制御部１１０ｃは、画像データ取得部１１０ａが取得する複数の静止画像データに基づいて、注目領域１５５についての動きベクトル等の移動情報も特定できるものとする。また、撮像方向制御部１１０ｃは、繰り返し行われるステップＳ１０５の処理を、追跡部１１０ｂが注目領域１５５を検出した静止画像から１フレーム毎に行う。
【００６０】
以下にステップＳ１０５の判別処理の考え方の一例を示す。撮像方向制御部１１０ｃは、例えば、下記のような考え方に基づいた判別処理を行う。例えば、図５に示すように、画像Ｐ上で、左下を原点としたｘ−ｙ座標（ｘ及びｙは、画素毎の位置を規定するもの）を規定する。右上の座標は画素数によって決まる。ここでは、右上の座標は（ｘ１，ｙ１）とする。注目領域１５５の位置もｘ−ｙ座標の座標で規定できる。ここでは、注目領域１５５の頂点の座標は、それぞれ、（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）、（ｘｄ，ｙｄ）になる。図５では、注目領域１５５の４頂点のうちの２頂点が画像上の右辺上に位置している。つまり、ｘｂ＝ｘ１、ｘｄ＝ｘ１となっている。
【００６１】
撮像方向制御部１１０ｃは、今回判別対象の静止画像の一つ前の静止画像について、注目領域１５５の４頂点のいずれかが、画像上の縁（静止画像上の、上辺、下辺、右辺、左辺）に位置していた場合に、今回の静止画像データと一つ前のフレームの静止画像データとを用いて注目領域１５５の動きベクトルを特定する。このとき、動きベクトルの示す方向が注目領域１５５の頂点が重なっていた縁の外側に向かっていた場合、撮像方向制御部１１０ｃは、注目領域１５５が静止画像上の外側に移動したと判別し（ステップＳ１０５；ＹＥＳ）、ステップＳ１０６の処理を行う。例えば、前のフレームについて図５のような位置に注目領域１５５が位置している場合、動きベクトルが画像に向かって右側を示していた場合（図５の点線矢印参照）、注目領域１５５が静止画像上の外側に移動したと判別する。
【００６２】
撮像方向制御部１１０ｃは、注目領域１５５が上記のような状態にない場合には、注目領域１５５が静止画像上の外側に移動していないと判別し（ステップＳ１０５；ＮＯ）、ステップＳ１０７の処理を行う。
【００６３】
撮像方向制御部１１０ｃは、ステップＳ１０６の処理において、注目領域１５５の向かう方向に応じて、制御機構１７０を制御し、撮像素子１３１を動かすことによって撮像部１３０の撮像方向を変化させる（動かす）。なお、ここでは、撮像素子１３１の移動量は予め設定されているものとする。つまり、一度に変化させる撮像方向の変化量は、予め設定されている。
【００６４】
撮像方向制御部１１０ｃは、画像上で、注目領域１５５の向かう方向（動きベクトルが示す方向）と反対側の方向に前記注目領域１５５が移動するように、撮像素子１３１を動かし撮像方向を変化させる。例えば、上記のように、図５に示すような状態で注目領域１５５の向かう方向が右側であった場合、撮像方向制御部１１０ｃは、撮像素子１３１を被写体（被写体像１５７の実空間における被写体。以下、この被写体を適宜被写体１５７という。）に向かって右側の方を向くように動かし、撮像方向が被写体１５７に向かって右側の方に向くように撮像方向を変化させる。これによって、注目領域１５５は、画像Ｐ上で左側に移動する。
【００６５】
なお、手ぶれ補正機構１７１は、撮像素子１３１を機械的に動かすので、撮像素子１３１の可動範囲は限られる。ステップＳ１０６において、撮像方向制御部１１０ｃは、撮像素子１３１（撮像方向）を動かしたい方向にこれ以上動かせない場合には、このステップの処理をスキップして、ステップＳ１０７の処理を行う。
【００６６】
図４（ｃ）のように、注目領域１５５（動きベクトル）が外側右側に向かっている場合（点線矢印参照）、撮像方向制御部１１０ｃは、注目領域１５５が左側（前記注目領域が位置する方向と反対方向）に移動するように撮像方向を変化させる。また、これによって、図４（ｄ）のように、被写体像１５７が画像上で左側に移動するように撮像方向が変化し（点線矢印参照）、これに対応して撮像される静止画像も全体として変化する。なお、図４（ｄ）において、境界Ｌは、最初の静止画像における右辺を示す。また、撮像方向制御部１１０ｃは、撮像方向を変更させた後でも、撮像方向を変更する前の最初の静止画像の領域（当初画像領域）がどこであったかを常に認識しておく。撮像方向（又は撮像範囲）は被写体１５７に向かって全体的に右側に移動している。このような処理によって、注目領域１５５内の被写体像１５７が撮像範囲から外れずに、注目領域１５５は画像内に位置することになり、追跡部１１０ｂは注目領域１５５を追跡し続けることができる（図４（ｄ）参照）。本実施形態では、これによって、精度良く、注目領域１５５を追跡して被写体像１５７の追跡を行うことができる。
【００６７】
図４（ｅ）のように、追跡部１１０ｂは注目領域１５５内の被写体像１５７を追跡し続けているので、例えば、注目領域１５５内の被写体像１５７である顔が横顔から正面の顔に変化しても、追跡部１１０ｂは、注目領域１５５の被写体像１５７を追跡し続けることができる。また、図４（ｆ）のように、追跡部１１０ｂは注目領域１５５を追跡し続けているので、例えば、注目領域１５５内の被写体像１５７が反転し、正面の顔から横顔に変化しても、追跡部１１０ｂは、注目領域１５５の被写体像１５７を追跡し続けることができる。注目領域１５５が次のフレームの静止画像内の注目領域１５５を探すときのテンプレート画像として使用されるので、注目領域１５５内の画像が徐々に変化する場合には、注目領域１５５内の被写体像１５７を順次追跡できる。
【００６８】
従来は、注目領域１５５の被写体像１５７が画像から外れた場合、撮像方向を移動させることが無かったので、被写体像１５７がある注目領域１５５を検出出来ない場合があった。従来では、この場合に、注目領域１５５を再検出しやすいように、注目領域１５５の検出用エリア（追尾エリア）を被写体像１５７が画像の外側に外れる直前の注目領域１５５付近に設定する場合があった。しかし、被写体像１５７が撮像範囲から外れて再度撮像範囲に入ってくる場合（図４（ｃ）から図４（ｆ）にかけての状態）は、通常、被写体像１５７の向きが反転している。例えば顔の横顔が反対側の横顔になる。このような場合、画像から外れる被写体像１５７と画像に入る被写体像１５７は、もはや互いに類似するものではないので、被写体像１５７がある注目領域１５５の再検出は難しく、被写体像１５７を追跡し続けることが難しかった。本実施形態では、撮像範囲が変更されるので、注目画像１５５内の被写体像１５７は徐々に変化することになり、注目画像１５５を追跡し続けることができ、被写体像１５７を追跡し続けることができる。
【００６９】
撮像方向制御部１１０ｃは、ステップＳ１０７の処理において、注目領域１５５が当初画像領域内に移動したか（位置するか）を判別する。撮像方向制御部１１０ｃは、上述のように当初画像領域を常に把握しているので、このような判別は可能である。撮像方向制御部１１０ｃは、繰り返し行われるこの処理を静止画像の１フレーム毎に行う。
【００７０】
撮像方向制御部１１０ｃは、注目領域１５５が当初画像領域内に位置しないと判別した場合（ステップＳ１０７；ＮＯ）、ステップＳ１０５の処理を再び行う。なお、撮像方向制御部１１０ｃは、撮像方向が当初の撮像方向である場合には、この判別処理において、ＮＯと判別する。撮像方向制御部１１０ｃは、注目領域１５５が当初画像領域内に位置すると判別した場合（ステップＳ１０７；ＹＥＳ）、現在の撮像方向を当初の撮像方向になるように、撮像素子１３１を動かし、撮像方向を変化させ（ステップＳ１０８）、その後にステップＳ１０５の処理を再び行う。
【００７１】
図４（ｆ）乃至（ｇ）のように、注目領域１５５が当初画像領域内に移動した場合、撮像素子１３１を動かし、撮像方向を変化させ（ステップＳ１０８）、撮像方向を元に戻す（図（ａ）等における撮像方向に戻す）。
【００７２】
撮像方向制御部１１０ｃは、例えば、ステップＳ１０５乃至Ｓ１０８の処理を行うことによって、撮像方向制御処理を行う。
【００７３】
ここで、撮像方向制御部１１０ｃが行う撮像方向制御処理の他の具体例を、図６を参照して説明する。例えば、撮像方向制御部１１０ｃは、注目領域１５５が画像に向かって右側に移動し（図６（ａ））、さらに右側に移動した場合、撮像範囲を被写体１５７に向かって右側にずらすように撮像方向を変化させる（図６（ｂ））。その後、注目領域１５５が画像に向かって下側に移動し（図６（ｃ））、さらに下側に移動した場合、撮像方向制御部１１０ｃは、撮像範囲が被写体１５７に向かって下側にずれるように撮像方向を変化させる（図６（ｄ））。なお、境界Ｈは、当初画像領域の下辺を示す。境界Ｌは、当初画像領域の右辺を示す。
【００７４】
上記で説明したように、撮像方向制御部１１０ｃは、追跡部１１０ｂが追跡する注目領域１５５が動画像上で、画像上の外側に移動すると、制御機構１７０を制御し、撮像部１３０が撮像する方向を注目領域の移動に応じて変化させる。
【００７５】
これによって、本実施形態では、撮像範囲が変更されるので、精度良く、注目領域を追跡して主要被写体像の追跡を行う。
【００７６】
上記で説明したように、追跡部１１０ｂは、時系列的に隣り合う二つの静止画像のうちの古い方の静止画像の中の注目領域と類似する領域を新しい方の静止画像の中から検出し、検出した領域を新たな注目領域とすることを繰り返すことによって、注目領域を追跡する。これによって、本実施形態では、注目領域内の被写体像が徐々に変化しても追跡することが出来る。
【００７７】
また、撮像部１３０を機械的に制御して手ぶれを補正する手ぶれ補正機構１７１を採用しているので、本実施形態では、従来の手ぶれ補正機構１７１を利用して、撮像制御処理を行うことが出来る。
【００７８】
上記で説明したように、撮像方向制御部１１０ｃは、撮像部１３０が撮像する方向を第１の方向から第２の方向に変化させたあとに、注目領域が、撮像部１３０が第１の方向で撮像した静止画像の範囲内（当初画像領域内）に移動すると、制御機構１７０を制御し、撮像部１３０が撮像する方向を第１の方向に戻す。これによって、本実施形態では、撮像範囲をユーザが本来撮像したい範囲に素早く戻すことができる。
【００７９】
（変形例１）
なお、上記の、撮像部１３０が撮像する方向を第１の方向に戻す処理は、他の方法によって行ってもよい。図７のように、注目領域１５５が、撮像範囲が被写体に向かって右上になるように撮像方向が変化した後、画像上で右上から左側に移動したときに（図７（ａ）及び点線矢印参照）、撮像方向制御部１１０ｃは、まず、撮像範囲を左側に戻す（図７（ｂ））。また、その後に注目領域１５５が、画像上で上から下側に移動したときに（図７（ｃ）及び点線矢印参照）、撮像方向制御部１１０ｃは、撮像範囲を当初の撮像方向に戻す（図７（ｄ））。
【００８０】
撮像方向制御部１１０ｃは、撮像方向を移動させるときに、画像上での撮像範囲の移動方向（例えば右側）を記憶保持しておき、注目領域１５５が移動してこの移動方向と反対側（左側）に移動し、当初画像領域内に移動したときに、撮像方向制御部１１０ｃは、この撮像方向の移動方向（右側）をキャンセルするように、撮像素子１３１を動かし、撮像方向をこの方向（横方向）に関して元に戻す。このようにして、撮像方向制御部１１０ｃは、撮像部１３０が撮像する方向を第１の方向から第２の方向に変化させたあとに、注目領域が、撮像部１３０が第１の方向で撮像した静止画像の範囲内（当初画像領域内）に移動すると、制御機構１７０を制御し、撮像部１３０が撮像する方向を第１の方向に戻してもよい。これによって、注目領域１５５の位置に応じて細かく撮像範囲を変化させ、撮像範囲をユーザが本来撮像したい範囲（最初の撮像範囲）に少しでも戻すことができる。
【００８１】
（変形例２）
また、ステップＳ１０６において、撮像方向制御部１１０ｃが撮像素子１３１を動かす移動量（撮像方向の変化度（変化角度））は固定としたが、注目領域の移動する速度に応じた変化度で、撮像部１３０が撮像する方向を変化させてもよい。この場合、例えば、撮像方向制御部１１０ｃは、前記の動きベクトルの大きさ（特に画像の外側に向かう方向の動きベクトルの大きさ）を速度として、この速度に応じた変化度で撮像方向を変化させる。また、所定のフレーム間の静止画像の注目領域の位置の差で表現できる速度等によって、変化度を決定しても良い。
【００８２】
変化度は、予め定められた関係式を用いて速度に基づいて算出してもよいし、予めＲＯＭ１１２等の記憶部に記録された、速度と移動量との関係を示したテーブルを参照して導出してもよい。また、例えば、撮像方向制御部１１０ｃは、図８（ａ）のように、注目領域１５５の速度が遅く、速度が閾値未満である場合には、画像上での移動量がＷ１になるような変化度で撮像方向を変更してもよい（図８（ｂ）参照）。また、例えば、撮像方向制御部１１０ｃは、図８（ｃ）のように、注目領域１５５の速度が早く、速度が閾値未満である場合には、画像上での移動量がＷ１になるような変化度で撮像方向を変更する。なお、図８において、点線で描かれたものは複数フレーム前注目領域１５５、被写体像１５７等を示すものである。図８は、注目領域１５５等が等速で動くものとして、描かれている。
【００８３】
この変形例によれば、注目領域の速度に応じて前記変化度を変更するので、撮像方向を変化させすぎることを防止でき、ユーザが本来撮像したい撮像範囲を変化させすぎることを抑制し、被写体像を追跡し損なうことも少なくなる。
【００８４】
（変形例３）
また、撮像方向制御部１１０ｃは、注目領域が前記動画像上で、画像上の端部に位置すると、制御機構１７０を制御し、撮像部１３０が撮像する方向を注目領域の位置に応じて変化させてもよい。
【００８５】
この場合、撮像方向制御部１１０ｃは、ステップＳ１０５で注目領域が画像上の端部にあるかを検出する。ここで、端部とは、画像の縁（画像の４辺）から画像の内側に向かって所定の範囲にある、画像上の領域である。また、注目領域が端部にあるとは、注目領域の少なくとも一部が端部に位置することをいう。
【００８６】
例えば、図９に示すように、図５と同様に、画像Ａ上で、左下を原点としたｘ−ｙ座標（ｘ及びｙは、画素毎の位置を規定するもの）を規定する。注目領域１５５の四隅の座標は、それぞれ、（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）、（ｘｄ，ｙｄ）になる。また、端部Ｍは、（ｘｅ，ｙｅ）、（ｘｆ，ｙｆ）、（ｘｇ，ｙｇ）、（ｘｈ，ｙｈ）を頂点とする中央領域１５８よりも外側の領域とする。
【００８７】
撮像方向制御部１１０ｃは、例えば、図３示すフローチャートのステップＳ１０５において、注目領域１５５の４頂点のいずれかが端部Ｍ内に位置した場合、注目領域１５５が端部Ｍに位置すると判別し（ステップＳ１０５；ＹＥＳ）、ステップＳ１０６の処理を行う。撮像方向制御部１１０ｃは、注目領域１５５の４頂点のいずれも端部Ｍ内に位置しない場合、注目領域１５５が静止画像上の端部にないと判別する（ステップＳ１０５；ＮＯ）。
【００８８】
撮像方向制御部１１０ｃは、ステップＳ１０６の処理において、注目領域１５５の位置に応じて、制御機構１７０を制御し、撮像素子１３１を動かすことによって撮像部１３０の撮像方向を変化させる（動かす）。
【００８９】
端部Ｍは、中央領域１５８を中央にして、上下左右及びこれらの間の斜め方向に位置する第１領域Ｍ１乃至第８領域Ｍ８に分割される。撮像方向制御部１１０ｃは、端部Ｍ内に位置する、注目領域１５５の頂点が、第１領域Ｍ１乃至第８領域Ｍ８のうちのどの領域内に位置するかによって、撮像素子１３１を動かす方向（撮像方向を変化させる方向）を特定し、特定した方向に撮像素子１３１を動かす。
【００９０】
なお、通常、注目領域１５５の頂点のうちの少なくとも二つの頂点が、端部Ｍ内に位置するが、どちらか一方が、斜め方向に位置する第１領域Ｍ１、第３領域Ｍ３、第６領域Ｍ６、第８領域Ｍ８に位置する場合には、注目領域１５５の頂点がこれらの領域内に位置するものとする。これによって、斜め方向の検出が優先され、適切に撮像方向を変化させることが出来る。
【００９１】
撮像方向制御部１１０ｃは、注目領域１５５の頂点が位置する、第１領域Ｍ１乃至第８領域Ｍ８のいずれかの位置の方向（画像の中央を中心にした画像上の方向）と、画像上における反対側の方向に前記注目領域１５５が移動するように、撮像素子１３１を動かし撮像方向を変化させる。つまり、画像上での注目領域１５５の方向と被写体に向かった場合の同じ方向に、撮像範囲が移動する。例えば、注目領域１５５の頂点が、第５領域Ｍ５に位置する場合には、撮像方向制御部１１０ｃは、撮像素子１３１を被写体１５７に向かって右側の方を向くように動かし、撮像方向が被写体１５７に向かって右側の方に向くように撮像方向を変化させる。例えば、注目領域１５５の頂点が、第８領域Ｍ８に位置する場合には、撮像方向制御部１１０ｃは、撮像素子１３１を右上側の方に向くように動かし、撮像方向が右上側の方に向くように撮像方向を変化させる。このような、変化させる撮像方向と注目領域の位置との関係の考え方は、基本的には上記の説明と同じある。
【００９２】
図１０（ａ）のように、注目領域１５５が端部（ここでは、画像上における向かって右側の第５領域Ｍ５）Ｍに位置する場合、撮像方向制御部１１０ｃは、注目領域１５５が左側（注目領域１５５が位置する方向と反対方向）に移動するように撮像方向を変化させる。また、これによって、図１０（ｂ）のように、被写体像１５７が左側に移動するように撮像方向が変化し、これに対応して撮像される撮像範囲も全体として移動する。
【００９３】
このような制御によって、本変形例でも上記と同じ効果が得られる。また、注目領域１５５が画像の外側に出る前に、撮像方向を変化させるので、注目領域１５５内の被写体像１５７が急激に移動したりしても、精度良く被写体像１５７を追跡することができる。
【００９４】
なお、上記では、注目領域１５５が端部Ｍに位置すれば、撮像方向制御部１１０ｃは撮像方向を変化させているが、注目領域１５５の移動方向によって、撮像方向を変化させてもよい。つまり、撮像方向制御部１１０ｃは、動画像上で、注目領域１５５が端部Ｍに位置し、かつ、注目領域１５５の移動方向が注目領域１５５の位置において最も近い画像上の辺に向う方向である場合に、制御機構１７０を制御し、撮像部１３０が撮像する方向を注目領域１５５の移動方向に応じて変化させてもよい。
【００９５】
例えば、撮像方向制御部１１０ｃは、ステップＳ１０６において、注目領域１５５の移動方向を動きベクトル又は数フレーム分の注目領域１５５の移動方向等に基づいて、注目領域１５５が端部Ｍに位置するようになる前の注目領域１５５の移動方向を検出し、この移動方向が上記条件を満たす場合に、撮像方向を変化させる（変化のさせ方は上記参照）。撮像方向制御部１１０ｃは、ステップＳ１０６において、前記の移動方向が上記条件を満たさない場合に、撮像方向を変化させない。
【００９６】
図１１（ａ）のように、注目領域１５５が端部（ここでは、画像上における向かって右側の第５領域Ｍ５）Ｍに位置する場合、かつ、注目領域１５５が右側の方向（注目領域１５５の位置において最も近い辺（右辺）に向う方向）に移動している場合、撮像方向制御部１１０ｃは、注目領域１５５が左側（注目領域１５５が位置する方向と反対方向）に移動するように撮像方向を変化させる。また、これによって、図１０（ｂ）のように、被写体像１５７が左側に移動するように撮像方向が変化し、これに対応して撮像される撮像範囲も全体として移動する。図１１（ｃ）のように、注目領域１５５が端部Ｍに位置しても、注目領域１５５が下側の方向（注目領域１５５の位置において最も近い辺（右辺）ではない辺に向かう方向）に移動している場合、撮像方向制御部１１０ｃは、撮像方向を変化させない。
【００９７】
このような処理によれば、注目領域１５５の移動方向によって、撮像方向を変更しない場合があり、ユーザが本来撮像したい撮像範囲を変化させすぎることを抑制することができる。
【符号の説明】
【００９８】
５０・・・記憶媒体、１００・・・撮像装置、１１０・・・制御部、１１０ａ・・・画像データ取得部、１１０ｂ・・・追跡部、１１０ｃ・・・撮像方向制御部、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・撮像制御プログラム、１１４・・・ＲＡＭ、１１５・・・ＴＧ、１１６・・・ドライバ、１２０・・・Ｉ／Ｆ部、１２１・・・メディアコントローラ、１３０・・・撮像部、１３１・・・撮像素子、１３２・・・撮像レンズ群、１３３・・・撮像駆動部、１４０・・・操作部、１４１・・・操作キー群、１５０・・・表示部、１５１・・・ディスプレイ、１５５・・・注目領域、１５６・・・注目枠、１５７・・・被写体像、１６０・・・信号処理部、１６１・・・ＡＦＥ、１７０・・・制御機構、１７１・・・手ぶれ補正機構、Ａ・・・画像、Ｈ・・・境界、Ｌ・・・境界、Ｍ・・・端部
【図１】
0005471425.tif 000002
【図２】
0005471425.tif 000003
【図３】
0005471425.tif 000004
【図４】
0005471425.tif 000005
【図５】
0005471425.tif 000006
【図６】
0005471425.tif 000007
【図７】
0005471425.tif 000008
【図８】
0005471425.tif 000009
【図９】
0005471425.tif 000010
【図１０】
0005471425.tif 000011
【図１１】
0005471425.tif 000012