(57)【要約】【課題】被写体が微小な動きをするとズーム画像がぶれてしまう。【解決手段】フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置であって，現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出手段と，前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御手段とを有し，前記ズーム領域制御手段は，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う画像処理装置。【選択図】  図４
2014220757.tif 000002
【特許請求の範囲】
【請求項１】
現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出手段と，
前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御手段とを有し，
前記ズーム領域制御手段は，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う画像処理装置。
【請求項２】
請求項１において，
前記ズーム領域制御手段は，前記現フレーム内の被写体が含まれる位置に前記現フレーム内のズーム領域の位置を決定する画像処理装置。
【請求項３】
請求項１において，
前記ズーム領域制御手段は，前記距離が前記第１の閾値以上の場合，前記現フレーム内のズーム領域の位置を前記現フレーム内の被写体の位置へ移動する画像処理装置。
【請求項４】
請求項１において，
前記ズーム領域制御手段は，
前記距離が第１の閾値以上で，かつ第１の閾値より大きい第２の閾値よりも短い場合，前記距離に１未満の第１の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動し，
前記距離が前記第２の閾値以上の場合，前記距離に前記第１の係数よりも大きく，かつ１以下の第２の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動する画像処理装置。
【請求項５】
請求項１において，
さらに，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記比率が基準値以上の場合，前記維持処理を行わない画像処理装置。
【請求項６】
請求項１において，
さらに，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記ズーム領域制御手段は，前記比率が基準値以上で，かつ前記距離が第１の閾値よりも短い第３の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する画像処理装置。
【請求項７】
フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置に画像処理を実行させるコンピュータ読み取り可能なプログラムであって，
前記画像処理装置に，現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出させる距離算出工程と，
前記画像処理装置に，前記距離に基づいて前記現フレーム内のズーム領域の位置を決定させるズーム領域制御工程とを有し，
前記ズーム領域制御工程では，前記画像処理装置に，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行わせる画像処理プログラム。
【請求項８】
フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置の画像処理方法であって，
前記画像処理装置が，現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出工程と，
前記画像処理装置が，前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御工程とを有し，
前記ズーム領域制御工程では，前記画像処理装置が，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処理装置，そのプログラム及びその方法に関する。
【背景技術】
【０００２】
昨今，ビデオカメラ等撮像装置において，被写体を検出して自動追従し，指定されたズーム倍率に対応するサイズの領域（ズーム領域）を，被写体を中心にしてディスプレイに表示する被写体検出連動ズーム機能が知られている。
【０００３】
ユーザが予め追従する被写体画像（例えば，顔や車等）をビデオカメラに登録することで，ビデオカメラは，フレームにおける登録された被写体の位置や大きさを検出する。そして，ビデオカメラは，被写体を中心に，ユーザが予め指定したズーム倍率に対応するサイズのズーム領域をディスプレイに表示する。すなわち，ビデオカメラは被写体の移動に連動して，ズーム領域を移動させて表示する。これにより，被写体が移動しても，ユーザはその被写体を中心に所望のズーム倍率で画像を見ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４０６１号公報
【特許文献２】特開２０１０−１３０４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら，被写体が移動していない場合であっても被写体の位置は微小に変動する等して必ずしも安定しないため，通常，ズーム領域の位置が頻繁に変動する場合がある。その結果，ビデオカメラのディスプレイに表示される画像がぶれてしまい，ユーザは不快感を感じることがある。
【０００６】
そこで，本発明の目的は，画像の表示を滑らかにする画像処理装置，そのプログラム及びその方法を提供することとする。
【課題を解決するための手段】
【０００７】
画像処理装置の第１の側面は，
フレーム内の所定の被写体を含むズーム領域を制御し，
現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出手段と，
前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御手段とを有し，
前記ズーム領域制御手段は，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う。
【発明の効果】
【０００８】
第１の側面によれば，画像が滑らかに表示される。
【図面の簡単な説明】
【０００９】
【図１】撮像装置を示す図である。
【図２】撮像装置のフレーム画像データの一例を示す図である。
【図３】撮像装置の被写体検出連動ズーム機能の一例を示す図である。
【図４】本実施の形態における撮像装置を示す図である。
【図５】第１の実施の形態における画像処理装置のズーム領域制御処理の第１の例を示す図である。
【図６】第１の実施の形態におけるズーム領域制御処理のフローチャートである。
【図７】第１の実施の形態における画像処理装置のズーム領域制御処理の第２の例を示す図である。
【図８】第２の実施の形態におけるズーム領域制御処理のフローチャートである。
【図９】第２の実施の形態における画像処理装置のズーム領域制御処理の一例を示す図である。
【図１０】第１の実施の形態における画像処理装置のズーム領域制御処理の第３の例を示す図である。
【図１１】第３の実施の形態におけるズーム領域制御処理のフローチャートである。
【図１２】第３の実施の形態における画像処理装置のズーム領域制御処理の一例を示す図である。
【図１３】第４の実施の形態におけるズーム領域制御処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下，図面を用いて本発明の実施の形態について説明する。
【００１１】
図１は，撮像装置を示す図である。図１の撮像装置１は，デジタルビデオカメラやカメラ付き携帯端末等であり，1秒間あたり所定のフレーム数だけ（例えば３０ｆｐｓ）フレーム画像データを処理して動画を表示する。
【００１２】
撮像装置１は，撮像レンズを介して受光した画像を１フレーム分の画素値信号に変換してフレーム画像データとして出力するカメラモジュール２と，フレーム画像データに基づいて表示画像データを生成する画像処理プロセッサ３と，撮像装置１の動作等を制御するメインプロセッサ４と，ＬＣＤ等の表示部５と，ユーザの操作を受け付ける入力装置６とを有する。
【００１３】
メインプロセッサ４は，画像処理プロセッサ３で生成された表示画像データを入力し，表示部５に表示画像データを表示する。
【００１４】
また，メインプロセッサ４は，ユーザの操作に応じた各種の処理を行う。例えば，ユーザが入力装置６を操作してズーム倍率を指定すると，メインプロセッサ４は指定されたズーム倍率を画像処理プロセッサ３に出力する。ユーザが入力装置６を操作して自動追従対象の被写体画像を指定すると，メインプロセッサ４は指定された被写体画像を画像処理プロセッサ３に通知する。
【００１５】
画像処理プロセッサ３は，カメラモジュール２からフレーム画像データを入力し，メインプロセッサ４からユーザが指定したズーム倍率や追従対象の被写体画像の通知を入力する。そして，画像処理プロセッサ(画像処理装置)３は，フレーム画像データに基づいて，メインプロセッサ４が表示部５に表示する表示画像データを生成し出力する。
【００１６】
画像処理プロセッサ３は，ＣＰＵ１１と，入出力部１２と，ＲＡＭ１３と，プリプロセッサマクロ１４と，サイズ変換マクロ１５と，ＲＯＭ１６と，バス１７とを有する。
【００１７】
カメラモジュール２から出力されたフレーム画像データは入出力部１２に入力され，ＲＡＭ１３に格納される。
【００１８】
プリプロセッサマクロ１４は，ＲＡＭ１３に格納されたフレーム画像データに対して，色・輝度の補正処理やノイズ除去処理等の前処理を行う。
【００１９】
ＲＯＭ１６は，被写体検出プログラム１８，自動追従プログラム１９等の画像処理プログラムや，被写体画像のパターン等プログラムの実行に必要なデータを記憶する。
【００２０】
ＣＰＵ１１は，ＲＯＭ１６に記憶された各種プログラムを実行し，画像処理プロセッサの制御を行う。例えば，プリプロセッサマクロ１４がカメラモジュール２から出力されたフレーム画像データに対して前処理を行った後，ＣＰＵ１１は前処理後のフレーム画像データに対して被写体検出プログラム１８を実行し，ユーザにより指定された被写体画像のパターンとフレーム画像データとを比較するテンプレートマッチング法等によって，フレーム画像データから自動追従対象の被写体画像を検出する。
【００２１】
ＲＡＭ１３は，上記のカメラモジュール２から入力されるフレーム画像データに加えて，ＣＰＵ１１がＲＯＭ１６からロードした各種プログラムや一時的なデータ等を記憶する。
【００２２】
ここで，図２は，撮像装置のフレーム画像データの一例を示す図である。図２は，ユーザにより自動追従対象の被写体画像として顔が指定されている場合のフレーム画像データである。
【００２３】
プリプロセッサマクロ１４がカメラモジュール２から出力されたフレーム画像データに対して前処理を行い，前処理後のフレーム画像データＦを生成する。
【００２４】
そして，ＣＰＵ１１は，フレーム画像データＦに対して被写体検出処理を実行する。その結果，ＣＰＵ１１は，フレーム画像データＦにおける顔の座標（Ｘ，Ｙ）と，顔の領域の幅Ｗ，高さＨとを検出し，顔の領域を示す顔枠ＴＡを生成する。なお，顔枠ＴＡは表示画像データに重なって表示部５に表示される。
【００２５】
この後，ＣＰＵ１１は自動追従プログラム１９を実行し，ユーザが指定するズーム倍率に従い，表示部５の表示範囲となるズーム領域ＺＡを生成する。ズーム領域ＺＡは，図２のように，被写体検出処理により検出された被写体の位置，すなわち顔の位置（Ｘ，Ｙ）を中心とする，ズーム倍率に対応するサイズの領域ＺＡである。
【００２６】
図１に戻り，サイズ変換マクロ１５は，フレーム画像データＦからズーム領域ＺＡの画像データを抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡの画像サイズを拡大又は縮小して表示画像データを生成する。生成された表示画像データは，入出力部１２を介してメインプロセッサ４に入力され，ズーム画像として表示部５に表示される。
【００２７】
図３は，撮像装置の被写体検出連動ズーム機能の一例を示す図である。図３は，図１の撮像装置１が生成した時系列に連続する３つのフレーム画像データＦ１〜Ｆ３である。フレーム画像データＦ１〜Ｆ３は，人間Ｓ１がある位置から少し移動した後に元の位置にもどる動作を行う様子を時系列に捉えている。なお，フレーム画像データＦ１〜Ｆ３は，プリプロセッサマクロ１４により前処理が施されている。また，図３では，図２と同様，ユーザにより自動追従対象の被写体画像として顔が指定されており，ズーム倍率は一定に保たれている。
【００２８】
ＣＰＵ１１は，前処理後のフレーム画像データＦ１が生成されると，被写体検出プログラム１８及び自動追従プログラム１９を実行する。その結果，フレーム画像データＦ１において，顔の座標が（Ｘ１，Ｙ１）と検出され，それに応じてズーム領域ＺＡ１が生成される。そして，サイズ変換マクロ１５は，ズーム領域ＺＡ１の画像データを抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡの画像サイズを拡大又は縮小して表示画像データを生成し出力する。
【００２９】
ＣＰＵ１１は，次のフレーム画像データＦ２が生成されると，同様にして，フレーム画像データＦ２において，顔の座標（Ｘ２，Ｙ２）が検出され，ズーム領域ＺＡ２が生成される。そして，サイズ変換マクロ１５は，ズーム領域ＺＡ２の画像データを抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡの画像サイズを拡大又は縮小して表示画像データを生成し出力する。
【００３０】
また，ＣＰＵ１１は，その次のフレーム画像データＦ３が生成されると，同様にして，フレーム画像データＦ３において，顔の座標（Ｘ１，Ｙ１）が検出され，ズーム領域ＺＡ３が生成される。つまり，フレーム画像データＦ３では，顔はフレーム画像データＦ１と同じ座標（Ｘ１，Ｙ１）にある。そのため，ズーム領域ＺＡ１及びＺＡ３は同じ位置，同じサイズの領域である。
【００３１】
そして，サイズ変換マクロ１５は，ズーム領域ＺＡ３を抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡの画像サイズを拡大又は縮小して表示画像データを生成し出力する。これにより，ユーザが表示部５を介して見るズーム画像はＺＡ１，ＺＡ２，ＺＡ３の順に変化し，ユーザは人間Ｓ１の顔を中心に画像を見ることができる。
【００３２】
しかしながら，ＺＡ１からＺＡ２への変化及びＺＡ２からＺＡ３への変化において，人間Ｓ１の背景が急に変化する。そのため，ユーザは，直に人間Ｓ１を見たときに人間Ｓ１の移動距離が微小なため移動していないように見えても，撮像装置１を介して人間Ｓ１を見ると表示部５の画像の背景がぶれてしまい不快感を感じる場合がある。このような場合には，背景が固定されて表示される方が望ましい。
【００３３】
そこで，本実施の形態における画像処理装置は，後述する図４の構成により，表示部５に表示されるズーム画像の微小なぶれを抑えてのズーム画像の表示を滑らかにする。
【００３４】
図４は，本実施の形態における撮像装置を示す図である。図４は，図１と重複する箇所については同じ符号を付している。図４では，ＲＯＭ１６はさらにズーム領域制御プログラムを記憶する。
【００３５】
本実施の形態では，図４のＣＰＵ１１は，フレーム画像データに対して被写体検出プログラム１８を実行して自動追従対象の被写体画像を検出した後，ズーム領域制御プログラム２０を実行し，後述するズーム領域制御処理を行う。以下，ズーム領域制御処理の具体例として，第１，第２及び第３の実施の形態を説明する。
【００３６】
［第１の実施の形態］
第１の実施の形態では，図３と同様，図４のカメラモジュール２が人間Ｓ１がある位置から少し移動した後に元の位置にもどる動作を行う様子を撮影したときに，ユーザが表示部５を介して見ることができるズーム画像について説明する。
【００３７】
図５は，第１の実施の形態における画像処理装置のズーム領域制御処理の第１の例を示す図である。図６は，第１の実施の形態におけるズーム領域制御処理のフローチャートである。
【００３８】
図５は，図４のカメラモジュール２が取得した時系列に連続する３つのフレーム画像データに対して，プリプロセッサマクロ１４が前処理したフレーム画像Ｆ１１〜Ｆ１３である。フレーム画像データＦ１１〜Ｆ１３は，図３と同様，フレーム画像Ｆ１２で人間Ｓ１がある位置から少し移動した後，フレーム画像Ｆ１３で元の位置にもどる動作を行う様子を時系列に捉えている。なお，図５では，ユーザにより自動追従対象の被写体画像として顔が指定されており，ズーム倍率は一定に保たれている。
【００３９】
また，図６は，図４のＣＰＵ１１がズーム領域制御プログラム２０を実行して行うズーム領域制御処理のフロー示す。ＣＰＵ１１は，後述するように，フレーム画像データに対して被写体検出プログラム１８を実行した後にズーム領域制御プログラム２０を実行し，フレーム画像データ内のズーム領域の位置を制御する。
【００４０】
図５に戻り，図４のＣＰＵ１１は，前処理後のフレーム画像データＦ１１が生成されると，被写体検出プログラム１８を実行し，フレーム画像データＦ１１から顔を検出する。その結果，フレーム画像データＦ１１内で顔の座標が（Ｘ１１，Ｙ１１）と検出される。
【００４１】
図４のＣＰＵ１１は，顔の座標（Ｘ１１，Ｙ１１）を検出した後，ズーム領域制御プログラム２０を実行する。図５ではフレーム画像データＦ１１の前にフレーム画像データは無いため（図６のステップＳ１１のＮｏ），ＣＰＵ１１は，フレーム画像データＦ１１内に顔の座標（Ｘ１１，Ｙ１１）を中心とするズーム領域ＺＡ１１を生成する（図６のステップＳ１２）。
【００４２】
そして，図４のサイズ変換マクロ１５は，ズーム領域ＺＡ１１の画像データを抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ１１の画像サイズを拡大又は縮小して表示画像データを生成し出力する。これにより，メインプロセッサ４は，ズーム領域ＺＡ１１に対応する表示画像データを表示部５に表示する。
【００４３】
次のフレーム画像データＦ１２が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ１２から顔を検出する。その結果，フレーム画像データＦ１２内で顔の座標が（Ｘ１２，Ｙ１２）と検出される。
【００４４】
図４のＣＰＵ１１は，顔の座標（Ｘ１２，Ｙ１２）を検出した後，ズーム領域制御プログラム２０を実行する。図５では，フレーム画像データＦ１２の前にフレーム画像データＦ１１が存在するため（図６のステップＳ１１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ１２内の顔の座標（Ｘ１２，Ｙ１２）と，フレーム画像データＦ１１内のズーム領域ＺＡ１１の位置との距離Ｄを求める（図６のステップＳ１３）。そして，ＣＰＵ１１は，距離Ｄと第１の閾値Ｄｔｈ１との比較をする（図６のステップＳ１４）。
【００４５】
距離Ｄが第１の閾値Ｄｔｈ１より短い場合（図６のステップＳ１４のＹｅｓ），図４のＣＰＵ１１は，フレーム画像データＦ１２内にズーム領域ＺＡ１２ａを，フレーム画像データＦ１１内のズーム領域ＺＡ１１の位置と同じ位置に生成する（図６のステップＳ１５）。
【００４６】
一方，  距離Ｄが第１の閾値Ｄｔｈ１より長い場合（図６のステップＳ１４のＮｏ），図４のＣＰＵ１１は，フレーム画像データＦ１２内に顔の座標（Ｘ１２，Ｙ１２）を中心とするズーム領域ＺＡ１２ｂを生成する（図６のステップＳ１６）。
【００４７】
そして，図４のサイズ変換マクロ１５は，ズーム領域ＺＡ１２ａ又はＺＡ１２ｂの画像データを抽出し，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ１２ａ又はＺＡ１２ｂ画像データの画像サイズを拡大又は縮小して表示画像データを生成し出力する。これにより，メインプロセッサ４は，ズーム領域ＺＡ１２ａ又はＺＡ１２ｂに対応する表示画像データをズーム画像として表示部５に表示する。
【００４８】
したがって，フレーム画像データＦ１１からフレーム画像データＦ１２にかけて，人間Ｓ１の移動距離が微小で，距離Ｄが第１の閾値Ｄｔｈ１よりも短い場合には，フレーム画像データＦ１２内のズーム領域はズーム領域ＺＡ１１の位置に維持される。これにより，ユーザは，表示部５を介して，背景が固定されて表示されて見ることができる。また，人間Ｓ１の移動距離が微小であれば，ユーザは人間Ｓ１がほぼ移動していないように見えるため，不快感を感じることがない。
【００４９】
さらに，次のフレーム画像データＦ１３が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ１３から顔の座標（Ｘ１１，Ｙ１１）を検出する。つまり，フレーム画像データＦ１３では，顔はフレーム画像データＦ１１と同じ座標（Ｘ１１，Ｙ１１）にある。
【００５０】
図４のＣＰＵ１１は，顔の座標（Ｘ１１，Ｙ１１）を検出した後，ズーム領域制御プログラム２０を実行する。図５では，フレーム画像データＦ１３の前にフレーム画像データＦ１２が存在するため（図６のステップＳ１１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ１３内の顔の座標（Ｘ１１，Ｙ１１）と，前フレームでのフレーム画像データＦ１２内のズーム領域ＺＡ１２ａ又はＺＡ１２ｂの位置との距離Ｄを求める（図６のステップＳ１３）。なお，前フレームでのフレーム画像データＦ１２内のズーム領域がＺＡ１２ａの場合，距離Ｄはゼロ（０）となる。そして，ＣＰＵ１１は，距離Ｄと第１の閾値Ｄｔｈ１との比較をする（図６のステップＳ１４）。
【００５１】
距離Ｄが第１の閾値Ｄｔｈ１より短い場合（図６のステップＳ１４のＹｅｓ），すなわち，前フレームでのフレーム画像データＦ１２内のズーム領域がＺＡ１２ａの場合，図４のＣＰＵ１１は，フレーム画像データＦ１３内にズーム領域ＺＡ１３を，フレーム画像データＦ１２内のズーム領域ＺＡ１２ａの位置と同じ位置に生成する（図６のステップＳ１５）。すなわち，フレーム画像データＦ１１〜Ｆ１３にかけて，ズーム領域の位置は，フレーム画像データＦ１１内のズーム領域１１の位置に維持される。
【００５２】
一方，  距離Ｄが第１の閾値Ｄｔｈ１より長い場合（図６のステップＳ１４のＮｏ），前フレームでのフレーム画像データＦ１２内のズーム領域がＺＡ１２ｂの場合，図４のＣＰＵ１１は，フレーム画像データＦ１２内に顔の座標（Ｘ１１，Ｙ１１）を中心とするズーム領域ＺＡ１３を生成する（図６のステップＳ１６）。すなわち，フレーム画像データＦ１２からＦ１３にかけて，ズーム領域はＺＡ１２ｂの位置からＺＡ１３の位置に移動する。
【００５３】
このように，第１の実施の形態では，図４の画像処理プロセッサ３は，現フレーム内の被写体の位置が前フレーム内のズーム領域の位置から第１の閾値Ｄｔｈ１よりも短い距離の範囲内にあれば，現フレーム内のズーム領域の位置を前フレーム内のズーム領域の位置に維持する。その結果，表示部５ではズーム領域に対応するズーム画像が滑らかに表示され，ユーザは不快に感じることなくズーム画像を見ることができる。
【００５４】
しかし，被写体が遠くへ移動する等，時間の経過とともに距離Ｄが大きくなるように被写体が移動する場合には，距離Ｄが第１の閾値Ｄｔｈ１以上になったときにズーム領域を静止していた位置から移動後の被写体の位置に移動することになる。そのような場合は，ズーム領域における被写体の位置や背景が急に変化し，表示部５を介してズーム画像を見ているユーザが不快に感じる場合がある。例を図７に示す。
【００５５】
図７は，第１の実施の形態における画像処理装置のズーム領域制御処理の第２の例を示す図である。図７は，図４のカメラモジュール２が取得した時系列に連続する５つのフレーム画像データに対して，プリプロセッサマクロ１４が前処理したフレーム画像Ｆ２１〜Ｆ２５である。フレーム画像データＦ２１〜Ｆ２５は，人間Ｓ２がフレーム画像データＦ２１の座標（Ｘ２１，Ｙ２１）からフレーム画像データＦ２５の座標（Ｘ２５，Ｙ２１）まで，徐々に加速して左から右へ移動する様子を捉えている。なお，図７では，ユーザにより自動追従対象の被写体画像として顔が指定されており，ズーム倍率は一定に保たれている。
【００５６】
最初のフレーム画像データＦ２１から２番目のフレーム画像データＦ２２においては，人間Ｓ２の顔の座標が（Ｘ２１，Ｙ２１）から，第１の閾値Ｄｔｈ１よりも短い距離ｄ２１だけ離れた座標（Ｘ２２，Ｙ２１）に移動している。そのため，図４のＣＰＵ１１は，２番目のフレーム画像データＦ２２内のズーム領域ＺＡ２２の位置を移動させず，前フレームのフレーム画像データＦ２１内のズーム領域ＺＡ２１の位置に維持する。
【００５７】
２番目のフレーム画像データＦ２２から３番目のフレーム画像データＦ２３においては，人間Ｓ２の顔の座標が（Ｘ２２，Ｙ２１）から，距離ｄ２１よりも長い距離ｄ２２だけ離れた（Ｘ２３，Ｙ２１）に移動している。ここで，現フレーム内の被写体の位置と前フレーム内のズーム領域の位置との距離Ｄ＝Ｘ２３−Ｘ２１＝ｄ２１＋ｄ２２が，第１の閾値Ｄｔｈ１よりも大きいとすると，図４のＣＰＵ１１は，３番目のフレーム画像データＦ２３内に位置（Ｘ２３，Ｙ３１）を中心とするズーム領域ＺＡ２３を生成する。その結果，ズーム領域ＺＡ２２からＺＡ２３にかけてズーム領域内での人間Ｓ２の位置や背景が急激に変化するため，ズーム画像を見ているユーザは不快感を感じる可能性がある。
【００５８】
３番目のフレーム画像データＦ２３から４番目のフレーム画像データＦ２４においては，人間Ｓ２の顔の座標が（Ｘ２３，Ｙ２１）から，第１の閾値Ｄｔｈ１よりも長い距離ｄ２３だけ離れた（Ｘ２４，Ｙ２１）に移動している。その結果，図４のＣＰＵ１１は，４番目のフレーム画像データＦ２４内に位置（Ｘ２４，Ｙ３１）を中心とするズーム領域ＺＡ２４を生成する。
【００５９】
４番目のフレーム画像データＦ２４から５番目のフレーム画像データＦ２５においては，人間Ｓ２の顔の座標が（Ｘ２４，Ｙ２１）から，距離ｄ２３よりも長い距離ｄ２４だけ離れた（Ｘ２５，Ｙ２１）に移動している。その結果，図４のＣＰＵ１１は，５番目のフレーム画像データＦ２５内に位置（Ｘ２５，Ｙ３１）を中心とするズーム領域ＺＡ２５を生成する。
【００６０】
このように，図７では，３番目のフレーム画像データＦ２３以降，ズーム領域の位置は人間Ｓ２の移動とともに変化し，人間Ｓ２の顔の座標を中心にした領域となる。そして，フレーム画像Ｆ２２からＦ２３にかけて，ユーザが見ているズーム画像の人間Ｓの位置や背景が急激に変動する。つまり，第１の実施の形態では，フレーム画像データＦ２２のような前フレーム画像データではズーム領域が維持されていたが，現フレーム画像データ内の被写体の位置と前フレーム画像データ内のズーム領域の位置との距離Ｄが増加し第１の閾値Ｄｔｈ１を超えたことで現フレーム画像データではズーム領域が移動する場合に，ズーム画像がぶれる。
【００６１】
そこで，第２の実施の形態では，図４の画像処理プロセッサ３は，後述する図８及び図９のズーム領域制御処理を行い，距離Ｄが増えるように被写体が移動する場合であってもズーム画像の表示を滑らかにする。
【００６２】
［第２の実施の形態］
第２の実施の形態では，図４のＣＰＵ１１は，現フレーム内の被写体の位置と前フレーム内のズーム領域の位置との距離Ｄが増えてもズーム画像の表示を滑らかにするために，前フレーム内のズーム領域の位置から，距離Ｄに対応する係数を距離Ｄに積算した値（追従距離）だけ離れた位置に，現フレーム内のズーム領域を生成する。以下，図８及び図９を参照して，具体例を説明する。
【００６３】
図８は，第２の実施の形態におけるズーム領域制御処理のフローチャートである。図９は，第２の実施の形態における画像処理装置のズーム領域制御処理の一例を示す図である。
【００６４】
図８のステップＳ２１〜Ｓ２５は，第１の実施の形態の図６のステップＳ１１〜Ｓ１５と同様である。
【００６５】
図９は，第２の実施の形態における図４のカメラモジュール２が取得した時系列に連続する５つのフレーム画像データに対して，プリプロセッサマクロ１４が前処理したフレーム画像Ｆ３１〜Ｆ３５である。フレーム画像データＦ３１〜Ｆ３５は，人間Ｓ３がフレーム画像データＦ３１の位置Ｘ３１からフレーム画像データＦ３５のＸ３５まで，徐々に加速して左から右へ移動する様子を捉えている。なお，図９では，ユーザにより自動追従対象の被写体画像として顔が指定されており，ズーム倍率は一定に保たれている。
【００６６】
第２の実施の形態では，図４のＣＰＵ１１は，前処理後のフレーム画像データＦ３１が生成されると，被写体検出プログラム１８を実行し，フレーム画像データＦ３１から人間Ｓ３の顔を検出する。その結果，フレーム画像データＦ３１内で顔の座標が（Ｘ３１，Ｙ３１）と検出される。
【００６７】
図４のＣＰＵ１１は，顔の座標（Ｘ３１，Ｙ３１）を検出した後，ズーム領域制御プログラム２０を実行する。図９ではフレーム画像データＦ３１の前にフレーム画像データは無いため（図８のステップＳ２１のＮｏ），ＣＰＵ１１は，フレーム画像データＦ３１内に顔の座標（Ｘ３１，Ｙ３１）を中心とするズーム領域ＺＡ３１を生成する（図８のステップＳ２２）。
【００６８】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３１の画像サイズを拡大した表示画像データを生成し出力する。これにより，メインプロセッサ４は，ズーム領域ＺＡ３１に対応する表示画像データを表示部５に表示する。
【００６９】
次のフレーム画像データＦ３２が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ３２から顔を検出する。その結果，フレーム画像データＦ１２内で顔の座標は，座標（Ｘ３１，Ｙ３１）から第１の閾値Ｄｔｈ１よりも短い距離ｄ３１だけ離れた座標（Ｘ３２，Ｙ３１）と検出される。
【００７０】
図４のＣＰＵ１１は，顔の座標（Ｘ３２，Ｙ３１）を検出した後，ズーム領域制御プログラム２０を実行する。図９では，フレーム画像データＦ１２の前にフレーム画像データＦ１１が存在するため（図８のステップＳ２１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ３２内の顔の座標（Ｘ３２，Ｙ３１）と，フレーム画像データＦ３１内のズーム領域ＺＡ３１の位置（Ｘ３１，Ｙ３１）との距離Ｄを求める（図８のステップＳ２３）。そして，ＣＰＵ１１は，距離Ｄと第１の閾値Ｄｔｈ１との比較をする（図８のステップＳ２４）。
【００７１】
ここでは，距離Ｄ＝Ｘ３２−Ｘ３１は第１の閾値Ｄｔｈ１より短いｄ３１であるため（図８のステップＳ２４のＹｅｓ），図４のＣＰＵ１１は，フレーム画像データＦ３２内にズーム領域ＺＡ３２を，フレーム画像データＦ３１内のズーム領域ＺＡ３１の位置と同じ位置に生成する（図８のステップＳ２５）。
【００７２】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３２の画像データの画像サイズを拡大した表示画像データを生成し出力する。メインプロセッサ４は，ズーム領域ＺＡ３２に対応する表示画像データをズーム画像として表示部５に表示する。これにより，ユーザは，表示部５を介して，背景が固定されて表示されたズーム画像を見ることができる。
【００７３】
次のフレーム画像データＦ３３が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ３３から顔を検出する。その結果，フレーム画像データＦ３２内で顔の座標は，座標（Ｘ３２，Ｙ３１）から距離ｄ３１よりも長い距離ｄ３２だけ離れた座標（Ｘ３３，Ｙ３１）と検出される。
【００７４】
図４のＣＰＵ１１は，顔の座標（Ｘ３３，Ｙ３１）を検出した後，ズーム領域制御プログラム２０を実行する。図９では，フレーム画像データＦ３３の前にフレーム画像データＦ３２が存在するため（図８のステップＳ２１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ３３内の顔の座標（Ｘ３３，Ｙ３１）と，前フレームでのフレーム画像データＦ３２内のズーム領域ＺＡ３２の位置（Ｘ３１，Ｙ３１）との距離Ｄを求める（図８のステップＳ２３）。そして，ＣＰＵ１１は，第１の閾値Ｄｔｈ１と距離Ｄとの比較をする（図８のステップＳ２４）。
【００７５】
ここで，距離Ｄ＝Ｘ３３−Ｘ３１＝ｄ３１＋ｄ３２が第１の閾値Ｄｔｈ１よりも長いとすると（図８のステップＳ２４のＮｏ），図４のＣＰＵ１１は，第１の閾値Ｄｔｈ１よりも大きい第２の閾値Ｄｔｈ２と距離Ｄとの比較をする（図８のステップＳ２６）。
【００７６】
さらにここで，距離Ｄ＝Ｘ３３−Ｘ３１＝ｄ３１＋ｄ３２が第２の閾値Ｄｔｈ２よりも短いとすると，（図８のステップＳ２６のＹｅｓ），図４のＣＰＵ１１は，座標（Ｘ３１，Ｙ３１）から，距離Ｄ＝Ｘ３３−Ｘ３１＝ｄ３１＋ｄ３２に係数Ｃ１（＝１／２）だけ積算した追従距離（＝（ｄ３１＋ｄ３２）／２）だけ離れた座標（Ｘｚ１，Ｙ３１）を中心とするズーム領域ＺＡ３３を生成する（図８のステップＳ２７）。なお，係数Ｃ１は，１／２に限らず，０より大きく１より小さい任意の値であればよい。
【００７７】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３３の画像データの画像サイズを拡大した表示画像データを生成し出力する。メインプロセッサ４は，ズーム領域ＺＡ３３に対応する表示画像データをズーム画像として表示部５に表示する。
【００７８】
このように，フレーム画像データＦ３２からＦ３３にかけて，図４のＣＰＵ１１は，前フレームのフレーム画像データＦ３２のズーム領域ＺＡ３２の位置と，現フレームのフレーム画像データＦ３３の顔の座標との間に，ズーム領域ＺＡ３３を生成する。これによりズーム領域ＺＡ３３のズーム画像では背景や人間Ｓ３の位置が急激には変化しないため，ユーザは不快感を感じること無くズーム画像を見ることができる。
【００７９】
次のフレーム画像データＦ３４が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ３４から顔を検出する。その結果，フレーム画像データＦ３４内で顔の座標は，座標（Ｘ３３，Ｙ３１）から距離ｄ３２よりも長い距離ｄ３３だけ離れた座標（Ｘ３４，Ｙ３１）と検出される。
【００８０】
図４のＣＰＵ１１は，顔の座標（Ｘ３４，Ｙ３１）を検出した後，ズーム領域制御プログラム２０を実行する。図９では，フレーム画像データＦ３４の前にフレーム画像データＦ３３が存在するため（図８のステップＳ２１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ３４内の顔の座標（Ｘ３４，Ｙ３１）と，前フレームでのフレーム画像データＦ３３内のズーム領域ＺＡ３３の位置（Ｘｚ１，Ｙ３１）との距離Ｄを求める（図８のステップＳ２４）。そして，ＣＰＵ１１は，距離Ｄと第１の閾値Ｄｔｈ１との比較をする（図８のステップＳ２４）。
【００８１】
ここで，距離Ｄ＝Ｘ３４−Ｘｚ１が第１の閾値Ｄｔｈ１よりも大きいとすると（図８のステップＳ２４のＮｏ），ＣＰＵ１１は，距離Ｄと第２の閾値Ｄｔｈ２との比較をする（図８のステップＳ２６）。
【００８２】
さらに，距離Ｄ＝Ｘ３４−Ｘｚ１が第２の閾値Ｄｔｈ２よりも大きいとすると（図８のステップＳ２６のＮｏ），図４のＣＰＵ１１は，座標（Ｘ３３，Ｙ３１）から，距離Ｄ＝Ｘ３４−Ｘｚ１に係数Ｃ２（＝１）だけ積算した追従距離（＝Ｄ）だけ離れた顔の座標（Ｘ３４，Ｙ３１）を中心とするズーム領域ＺＡ３４を生成する（図８のステップＳ２８）。なお，係数Ｃ２は１に限らず，０より大きく１以下で，かつ係数Ｃ１よりも大きい任意の値であればよい。
【００８３】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３４の画像データの画像サイズを拡大した表示画像データを生成し出力する。メインプロセッサ４は，ズーム領域ＺＡ３４に対応する表示画像データをズーム画像として表示部５に表示する。
【００８４】
このように，フレーム画像データＦ３２からＦ３４にかけて，ＣＰＵ１１が距離Ｄに応じて係数Ｃ１，Ｃ２を距離Ｄに積算した追従距離だけズーム領域の位置を移動することで，ユーザはズーム画像内で人間Ｓの位置が滑らかに中央に移動する様子を見ることができる。
【００８５】
次のフレーム画像データＦ３５が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ３５から顔を検出する。その結果，フレーム画像データＦ３５内で顔の座標は，座標（Ｘ３４，Ｙ３１）から距離ｄ３３よりも長い距離ｄ３４だけ離れた座標（Ｘ３５，Ｙ３１）と検出される。
【００８６】
図４のＣＰＵ１１は，顔の座標（Ｘ３５，Ｙ３１）を検出した後，ズーム領域制御プログラム２０を実行する。図９では，フレーム画像データＦ３５の前にフレーム画像データＦ３４が存在するため（図８のステップＳ２１のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ３５内の顔の座標（Ｘ３５，Ｙ３１）と，前フレームでのフレーム画像データＦ３４内のズーム領域ＺＡ３４の位置（Ｘ３４，Ｙ３１）との距離Ｄを求める（図８のステップＳ２４）。そして，ＣＰＵ１１は，距離Ｄと第１の閾値Ｄｔｈ１との比較をする（図８のステップＳ２４）。
【００８７】
ここで，距離Ｄ＝Ｘ３５−Ｘ３４＝ｄ３４が第１の閾値Ｄｔｈ１よりも大きいとすると（図８のステップＳ２４のＮｏ），ＣＰＵ１１は，距離Ｄと第２の閾値Ｄｔｈ２との比較をする（図８のステップＳ２６）。
【００８８】
さらに，距離Ｄ＝Ｘ３５−Ｘ３４＝ｄ３４が第２の閾値Ｄｔｈ２よりも大きいとすると（図８のステップＳ２６のＮｏ），図４のＣＰＵ１１は，座標（Ｘ３４，Ｙ３１）から，距離Ｄ＝Ｘ３５−Ｘ３４＝ｄ３４に係数Ｃ２（＝１）だけ積算した追従距離（＝Ｄ）だけ離れた顔の座標（Ｘ３５，Ｙ３１）を中心とするズーム領域ＺＡ３５を生成する（図８のステップＳ２８）。
【００８９】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３５の画像データの画像サイズを拡大した表示画像データを生成し出力する。メインプロセッサ４は，ズーム領域ＺＡ３５に対応する表示画像データをズーム画像として表示部５に表示する。
【００９０】
このように，第２の実施の形態では，図４のＣＰＵ１１は，現フレーム内の被写体の位置と前フレーム内のズーム領域の位置との距離Ｄが第１の閾値Ｄｔｈ１よりも大きい場合には，第２の閾値Ｄｔｈ２と比較する。そして，ＣＰＵ１１は，その比較結果に応じて，前フレームのズーム領域の位置から，距離Ｄに係数Ｃ１又は係数Ｃ１より大きい係数Ｃ２を積算した追従距離だけ離れた位置にズーム領域を生成する。これにより，図４のＣＰＵ１１は，距離Ｄが増えるように被写体が移動する場合であってもズーム画像の表示を滑らかにすることができる。
【００９１】
なお，図８及び図９ではＣＰＵ１１は距離Ｄの判定に２つの閾値Ｄｔｈ１，Ｄｔｈ２と２つの係数Ｃ１，Ｃ２を使用しているが，これに限らず，３つ以上の閾値と係数を使用して距離Ｄの判定及びズーム位置の決定をより細かく行ってもよい。その場合は，係数を０より大きく１以下であり，徐々に大きくなる値にすることで，ズーム領域の移動を滑らかにすることができる。これにより，ＣＰＵ１１はズーム領域内の背景や被写体をより滑らかに表示することができる。
【００９２】
［第３の実施の形態］
図１０は，第１の実施の形態における画像処理装置のズーム領域制御処理の第３の例を示す図である。図１０は，図５と同様，第１の実施の形態における図４のカメラモジュール２が取得した時系列に連続する３つのフレーム画像データに対して，プリプロセッサマクロ１４が前処理したフレーム画像Ｆ４１〜Ｆ４３である。
【００９３】
フレーム画像データＦ４１〜Ｆ４３は，図５と同様，フレーム画像データＦ４２で人間Ｓ１がある位置から少し移動した後，フレーム画像データＦ４３で元の位置にもどる動作を行う様子を時系列に捉えている。そして，フレーム画像Ｆ４１からＦ４２，Ｆ４２からＦ４３にかけて，それぞれ前フレーム内のズーム領域から現フレームの顔の位置との距離Ｄが第１の閾値Ｄｔｈ１よりも短いため，ズーム領域ＺＡ４１〜ＺＡ４３の位置は座標（Ｘ４１，Ｙ４１）を中心に維持されている。
【００９４】
しかし，図１０では，ユーザが指定したズーム倍率は図５よりも大きいため，ズーム領域のサイズが図５よりも小さい。その結果，フレーム画像Ｆ４１〜Ｆ４３では顔がズーム領域ＺＡ４１〜ＺＡ４３に納まっていない。フレーム画像データＦ４２では人間Ｓ１の顔がズーム領域ＺＡ４２内に納まっていない。これにより，第１の実施の形態では，ズーム領域ＺＡ４２のズーム画像には顔の一部が表示されない。また，ズーム画像がズーム領域ＺＡ４１，ＺＡ４２，ＺＡ４３の順に変化すると，ユーザはズーム画像内で顔が激しく動いてズーム画像からはみ出して見えるため不快感を感じる可能性がある。このようにズーム倍率が大きく，ズーム画像に被写体が拡大されて表示される場合には，図４の画像処理プロセッサ３は，ズーム領域を静止するのではなく，被写体の動きに追従して生成するのが望ましい。
【００９５】
そこで，第３の実施の形態では，図４の画像処理プロセッサ３は，後述する図１１及び図１２のズーム領域制御処理を行い，前フレーム内のズーム領域に対する前フレーム内の被写体の面積の比率に基づいて，現フレーム内のズーム領域を生成する。これにより，ズーム倍率が大きい場合であっても，画像処理プロセッサ３はズーム画像の表示を滑らかにする。以下，図１１及び図１２を参照して具体的に説明する。
【００９６】
図１１は，第３の実施の形態におけるズーム領域制御処理のフローチャートである。図１２は，第３の実施の形態における画像処理装置のズーム領域制御処理の一例を示す図である。
【００９７】
図１１は，図８のズーム領域制御処理のステップＳ２１とＳ２３との間に，前フレーム内のズーム領域に対する前フレーム内の被写体の面積の比率による判定を行うためのステップＳ３１〜Ｓ３３を追加した処理フローである。
【００９８】
図１２は，第３の実施の形態における図４のカメラモジュール２が取得した時系列に連続する３つのフレーム画像データに対して，プリプロセッサマクロ１４が前処理したフレーム画像Ｆ５１〜Ｆ５３である。
【００９９】
フレーム画像データＦ５１〜Ｆ５３は，図１０と同様，フレーム画像データＦ５２で人間Ｓ１がある位置から少し移動した後，フレーム画像データＦ５３で元の位置にもどる動作を行う様子を時系列に捉えている。
【０１００】
第３の実施の形態では，図４のＣＰＵ１１は，前処理後のフレーム画像データＦ５１が生成されると，被写体検出プログラム１８を実行し，フレーム画像データＦ５１から人間Ｓ１の顔を検出する。その結果，図１２のように，フレーム画像データＦ５１内で顔の座標が（Ｘ５１，Ｙ５１）と検出される。それとともに，ＣＰＵ１１は，顔枠ＴＡ５１の幅Ｗ５１，高さＨ５１を検出する。
【０１０１】
図４のＣＰＵ１１は，顔の座標（Ｘ３１，Ｙ３１）と顔枠ＴＡ５１の幅Ｗ５１，高さＨ５１とを検出した後，ズーム領域制御プログラム２０を実行する。図１２ではフレーム画像データＦ５１の前にフレーム画像データは無いため（図１１のステップＳ２１のＮｏ），ＣＰＵ１１は，フレーム画像データＦ５１内に顔の座標（Ｘ５１，Ｙ５１）を中心とするズーム領域ＺＡ５１を生成する（図１１のステップＳ２２）。なお，ズーム領域ＺＡ５１は，ユーザが指定したズーム倍率に対応するサイズの領域である。
【０１０２】
そして，図４のサイズ変換マクロ１５は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ３１の画像サイズを拡大した表示画像データを生成し出力する。これにより，メインプロセッサ４は，ズーム領域ＺＡ３１に対応する表示画像データを表示部５に表示する。
【０１０３】
次のフレーム画像データＦ５２が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ５２から顔を検出する。その結果，図１２のように，フレーム画像データＦ５２内で顔の座標（Ｘ５２，Ｙ５２）と顔枠ＴＡ５２の幅Ｗ５２，高さＨ５２とが検出される。
【０１０４】
図４のＣＰＵ１１は，顔の座標（Ｘ５２，Ｙ５２）と顔枠ＴＡ５２の幅Ｗ５２，高さＨ５２とを検出した後，ズーム領域制御プログラム２０を実行する。図１２では，フレーム画像データＦ５２の前にフレーム画像データＦ５１が存在するため（図１１のステップＳ２１のＹｅｓ），ＣＰＵ１１は，前フレームであるフレーム画像データＦ５１のズーム領域ＺＡ５１における顔の面積の比率Ｒを算出する（図１１のステップＳ３１）。具体的には，ＣＰＵ１１は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ５１の面積Ａ５１を求め，比率Ｒ＝Ｗ５１×Ｈ５１／Ａ５１を算出する。
【０１０５】
そして，ＣＰＵ１１は，比率Ｒと基準値Ｒｔｈとの比較をする（図１１のステップＳ３２）。ここで，フレーム画像データＦ５１のズーム領域ＺＡ５１における顔の面積の比率Ｒ＝Ｗ５１×Ｈ５１／Ａ５１が基準値Ｒｔｈ以上とすると（図１１のステップＳ３２のＮｏ），ＣＰＵ１１は，フレーム画像データＦ５２内に顔の座標（Ｘ５２，Ｙ５２）を中心とするズーム領域ＺＡ５２を生成する（図１１のステップＳ３３）。これにより，ズーム倍率が大きい場合であっても顔の中心がズーム領域内に納まり，ズーム画像が滑らかに表示され，ユーザは不快に感じること無くズーム画像を見ることができる。
【０１０６】
なお，フレーム画像データＦ５１のズーム領域ＺＡ５１における顔の面積の比率Ｒ＝Ｗ５１×Ｈ５１／Ａ５１が基準値Ｒｔｈよりも小さい場合には（図１１のステップＳ３２のＹｅｓ），ＣＰＵ１１は，第２の実施の形態の図８と同様に，ステップＳ２３〜Ｓ２８を行う。
【０１０７】
次のフレーム画像データＦ５３が生成されると，図４のＣＰＵ１１は，被写体検出プログラム１８を実行し，フレーム画像データＦ５３から顔を検出する。その結果，図１２のように，フレーム画像データＦ５３内で顔の座標（Ｘ５１，Ｙ５１）と顔枠ＴＡ５３の幅Ｗ５３，高さＨ５３とが検出される。
【０１０８】
図４のＣＰＵ１１は，顔の座標（Ｘ５２，Ｙ５１）と顔枠ＴＡ５３の幅Ｗ５３，高さＨ５３とを検出した後，ズーム領域制御プログラム２０を実行する。図１２では，フレーム画像データＦ５３の前にフレーム画像データＦ５２が存在するため（図１１のステップＳ２１のＹｅｓ），ＣＰＵ１１は，前フレームであるフレーム画像データＦ５２のズーム領域ＺＡ５２における顔の面積の比率Ｒを算出する（図１１のステップＳ３１）。具体的には，ＣＰＵ１１は，ユーザが指定したズーム倍率に基づいてズーム領域ＺＡ５２の面積Ａ５２を求め，比率Ｒ＝Ｗ５２×Ｈ５２／Ａ５２を算出する。
【０１０９】
そして，ＣＰＵ１１は，比率Ｒと基準値Ｒｔｈとの比較をする（図１１のステップＳ３２）。ここで，フレーム画像データＦ５２のズーム領域ＺＡ５２における顔の面積の比率Ｒ＝Ｗ５２×Ｈ５２／Ａ５２が基準値Ｒｔｈ以上とすると（図１１のステップＳ３２のＹｅｓ），ＣＰＵ１１は，フレーム画像データＦ５３内に顔の座標（Ｘ５１，Ｙ５１）を中心とするズーム領域ＺＡ５３を生成する（図１１のステップＳ３３）。
【０１１０】
以上のように，図１１及び図１２では，図４のＣＰＵ１１は，前フレーム内のズーム領域の面積と前フレーム内の被写体の面積との比率Ｒを求める。そして，比率Ｒが基準値Ｒｔｈよりも小さい場合には，ＣＰＵ１１は，第２の実施の形態と同様，前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離Ｄに基づいてズーム領域を生成する。比率Ｒが基準値Ｒｔｈ以上の場合には，ＣＰＵ１１は現フレーム内の被写体の位置にズーム領域を生成する。これにより，ズーム倍率が大きくても，ＣＰＵ１１は被写体を滑らかに表示することができる。
【０１１１】
［第４の実施の形態］
第３の実施の形態では，比率Ｒが基準値Ｒｔｈ以上の場合，ＣＰＵ１１は，現フレーム内の被写体の位置にズーム領域を生成した。これに対し，第４の実施の形態では，比率Ｒが基準値Ｒｔｈ以上の場合，図４のＣＰＵ１１は，前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離Ｄが，第１の閾値Ｄｔｈ１より小さい第３の閾値Ｄｔｈ３より短いか否かで，ズーム領域の位置を決定する。具体的には，後述する図１３のズーム領域制御処理により，ズーム領域に対して被写体が微小な動きをする場合にはズーム領域の位置は維持され，ズーム領域に対して被写体が大きな動きをする場合にはズーム領域は被写体の動きに追従する。その結果，被写体がより滑らかに表示される。
【０１１２】
図１３は，第４の実施の形態におけるズーム領域制御処理のフローチャートである。図１３は，図１１のズーム領域制御処理のステップＳ３３をステップＳ４１〜Ｓ４３に置き換えられた処理フローである。また，図１３のステップＳ４１〜Ｓ４３は，第１の実施の形態の図６のＳ１４〜Ｓ１６と同様の処理である。ただし，第３の閾値Ｄｔｈ３の値は第１の閾値Ｄｔｈ１よりも小さい。すなわち，ＣＰＵ１１は距離Ｄの判定に，第１の閾値Ｄｔｈ１をより小さくした第３の閾値Ｄｔｈ３を使用する。
【０１１３】
第４の実施の形態では，図４のＣＰＵ１１は前処理後のフレーム画像データが生成されると被写体検出プログラム１８を実行し，図１３の処理を行う。
【０１１４】
具体的には，現フレームの前に前フレームが存在しない場合（図１３のステップＳ２１のＮｏ），ＣＰＵ１１は，現フレーム内の被写体の位置が中心となるズーム領域を生成する（図１３のステップＳ２２）。
【０１１５】
現フレームの前に前フレームが存在する場合（図１３のステップＳ２１のＹｅｓ），ＣＰＵ１１は，まず，前フレーム内のズーム領域の面積と前フレーム内の被写体の面積との比率Ｒを求める（図１３のステップＳ３１）。
【０１１６】
そして，比率Ｒが基準値Ｒｔｈよりも小さい場合（図１３のステップＳ３２のＹｅｓ），ＣＰＵ１１は，第２の実施の形態と同様，前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離Ｄに基づいてズーム領域を生成する（図１３のステップＳ２３〜Ｓ２８）。
【０１１７】
一方，比率Ｒが基準値Ｒｔｈ以上の場合（図１３のステップＳ３２のＮｏ），ＣＰＵ１１は前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離Ｄと，第１の閾値Ｄｔｈ１よりも小さい第３の閾値Ｄｔｈ３とを比較する（図１３のステップＳ４１）。
【０１１８】
そして，距離Ｄが第３の閾値Ｄｔｈ３以上の場合（図１３のステップＳ４１のＮｏ），現フレーム内の被写体の位置が中心となる位置にズーム領域を生成する（図１３のステップＳ４３）。反対に，距離Ｄが第３の閾値Ｄｔｈ３より短い場合（図１３のステップＳ４１のＹｅｓ）には，前フレーム内のズーム領域の位置に維持する（図１３のステップＳ４２）。
【０１１９】
これにより，ズーム倍率が大きい場合，前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離Ｄが微小な第３の閾値Ｄｔｈ３よりも短い場合には，ＣＰＵ１１は，ズーム領域の位置を維持し，第３の閾値Ｄｔｈ３よりも長い場合には，現フレーム内の被写体の位置が中心となる位置にズーム領域を生成する。
【０１２０】
その結果，被写体がより滑らかに表示される。これにより，ズーム領域に対して被写体が微小な動きをする場合にはズーム領域の位置は維持されるので，ユーザは不快感を感じること無くズーム画像を見ることができる。
【０１２１】
なお，図１３では，比率Ｒが基準値Ｒｔｈ以上の場合（図１３のステップＳ３２のＮｏ）に，ＣＰＵ１１は距離Ｄを第３の閾値Ｄｔｈ３とだけ比較しているが，第２の実施の形態と同様に２つ以上の閾値と係数を使用して距離Ｄの判定及びズーム位置の決定をより細かく行ってもよい。その場合は，係数を０より大きく１以下であり，徐々に大きくなる値にすることで，ズーム領域の移動を滑らかにすることができる。
【０１２２】
以上の実施の形態をまとめると，次の付記のとおりである。
【０１２３】
（付記１）
フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置であって，
現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出手段と，
前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御手段とを有し，
前記ズーム領域制御手段は，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う画像処理装置。
【０１２４】
（付記２）
付記1において，
前記ズーム領域制御手段は，前記現フレーム内の被写体が含まれるように前記現フレーム内のズーム領域の位置を決定する画像処理装置。
【０１２５】
（付記３）
付記１において，
前記ズーム領域制御手段は，前記距離が前記第１の閾値以上の場合，前記現フレーム内のズーム領域の位置を前記現フレーム内の被写体の位置へ移動する画像処理装置。
【０１２６】
（付記４）
付記１において，
前記ズーム領域制御手段は，
前記距離が第１の閾値以上で，かつ第１の閾値より大きい第２の閾値よりも短い場合，前記距離に１未満の第１の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動し，
前記距離が前記第２の閾値以上の場合，前記距離に前記第１の係数よりも大きく，かつ１以下の第２の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動する画像処理装置。
【０１２７】
（付記５）
付記１において，
さらに，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記比率が基準値以上の場合，前記維持処理を行わない画像処理装置。
【０１２８】
（付記６）
付記１において，
さらに，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記ズーム領域制御手段は，前記比率が基準値以上で，かつ前記距離が第１の閾値よりも短い第３の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する画像処理装置。
【０１２９】
（付記７）
フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置に画像処理を実行させるコンピュータ読み取り可能なプログラムであって，
前記画像処理装置に，現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出させる距離算出工程と，
前記画像処理装置に，前記距離に基づいて前記現フレーム内のズーム領域の位置を決定させるズーム領域制御工程とを有し，
前記ズーム領域制御工程では，前記画像処理装置に，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行わせる画像処理プログラム。
【０１３０】
（付記８）
付記７において，
前記ズーム領域制御工程では，前記画像処理装置に，前記現フレーム内の被写体が含まれるように前記現フレーム内のズーム領域の位置を決定させる画像処理プログラム。
【０１３１】
（付記９）
付記７において，
前記ズーム領域制御工程では，前記画像処理装置に，前記距離が前記第１の閾値以上の場合，前記現フレーム内のズーム領域の位置を前記現フレーム内の被写体の位置へ移動させる画像処理プログラム。
【０１３２】
（付記１０）
付記７において，
前記ズーム領域制御工程では，前記画像処理装置に，
前記距離が第１の閾値以上で，かつ第１の閾値より大きい第２の閾値よりも短い場合，前記距離に１未満の第１の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動させ，
前記距離が前記第２の閾値以上の場合，前記距離に前記第１の係数よりも大きく，かつ１以下の第２の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動させる画像処理プログラム。
【０１３３】
（付記１１）
付記７において，
さらに，前記画像処理装置に，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出させる比率算出手段を有し，
前記ズーム領域制御工程では，前記画像処理装置に，前記比率が基準値以上の場合，前記維持処理を行わせない画像処理プログラム。
【０１３４】
（付記１２）
付記７において，
さらに，前記画像処理装置に，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出させる比率算出手段を有し，
前記ズーム領域制御工程では，前記画像処理装置に，前記比率が基準値以上で，かつ前記距離が第１の閾値よりも短い第３の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持させる画像処理プログラム。
【０１３５】
（付記１３）
フレーム内の所定の被写体を含むズーム領域を制御する画像処理装置の画像処理方法であって，
前記画像処理装置が，現フレーム内の被写体の位置と前フレームのズーム領域の位置との間の距離を算出する距離算出工程と，
前記画像処理装置が，前記距離に基づいて前記現フレーム内のズーム領域の位置を決定するズーム領域制御工程とを有し，
前記ズーム領域制御工程では，前記画像処理装置が，前記距離が第１の閾値よりも短い場合，前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する維持処理を行う画像処理方法。
【０１３６】
（付記１４）
付記１３において，
前記ズーム領域制御工程では，前記画像処理装置が，前記現フレーム内の被写体が含まれるように前記現フレーム内のズーム領域の位置を決定する画像処理方法。
【０１３７】
（付記１５）
付記１３において，
前記ズーム領域制御工程では，前記画像処理装置が，前記距離が前記第１の閾値以上の場合，前記現フレーム内のズーム領域の位置を前記現フレーム内の被写体の位置へ移動する画像処理方法。
【０１３８】
（付記１６）
付記１３において，
前記ズーム領域制御工程では，前記画像処理装置が，
前記距離が第１の閾値以上で，かつ第１の閾値より大きい第２の閾値よりも短い場合，前記距離に１未満の第１の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動し，
前記距離が前記第２の閾値以上の場合，前記距離に前記第１の係数よりも大きく，かつ１以下の第２の係数を乗じた追従距離に基づいて前記現フレーム内のズーム領域の位置を移動する画像処理方法。
【０１３９】
（付記１７）
付記１３において，
さらに，前記画像処理装置が，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記ズーム領域制御工程では，前記画像処理装置が，前記比率が基準値以上の場合，前記維持処理を行わない画像処理方法。
【０１４０】
（付記１８）
付記１３において，
さらに，前記画像処理装置が，前記前フレーム内のズーム領域の面積に対する前記前フレーム内の被写体の面積の比率を算出する比率算出手段を有し，
前記ズーム領域制御工程では，前記画像処理装置が，基準値以上で，かつ前記距離が第１の閾値よりも短い第３の閾値よりも短い場合，前記距離に前記現フレーム内のズーム領域の位置を前記前フレーム内のズーム領域の位置に維持する画像処理方法。
【符号の説明】
【０１４１】
Ｃ１，Ｃ２  ：係数
Ｄ  ：前フレーム内のズーム領域の位置と現フレーム内の被写体の位置との距離
Ｄｔｈ１，Ｄｔｈ２，Ｄｔｈ３  ：閾値
Ｆ，Ｆ１〜Ｆ３，Ｆ１１〜Ｆ１３，Ｆ２１〜Ｆ２５，Ｆ３１〜Ｆ３５，Ｆ４１〜Ｆ４３，Ｆ５１〜Ｆ５３  ：フレーム画像データ
Ｒ  ：前フレーム内のズーム領域の面積と前フレーム内の被写体の面積との比率
Ｒｔｈ  ：比率の基準値
Ｓ１，Ｓ２，Ｓ３  ：人間
Ｗ  ：顔枠ＴＡの幅
Ｈ  ：顔枠ＴＡの高さ
ＴＡ，ＴＡ５１〜ＴＡ５３  ：顔枠
ＺＡ，ＺＡ１〜ＺＡ３，ＺＡ１１〜ＺＡ１３，ＺＡ２１〜ＺＡ２５，ＺＡ３１〜ＺＡ３５，ＺＡ４１〜ＺＡ４３，ＺＡ５１〜ＺＡ５３  ：ズーム領域
【図１】
2014220757.tif 000003
【図２】
2014220757.tif 000004
【図３】
2014220757.tif 000005
【図４】
2014220757.tif 000006
【図５】
2014220757.tif 000007
【図６】
2014220757.tif 000008
【図７】
2014220757.tif 000009
【図８】
2014220757.tif 000010
【図９】
2014220757.tif 000011
【図１０】
2014220757.tif 000012
【図１１】
2014220757.tif 000013
【図１２】
2014220757.tif 000014
【図１３】
2014220757.tif 000015