(57)【要約】【課題】被写体を追尾し、追尾した結果から撮影時の被写体位置と被写体距離を予測することができる画像処理装置、撮像装置、及び画像処理プログラムを提供する。【解決手段】被写体を撮影するための撮影光学系を有する撮像装置から時系列の画像フレームを入力する動画像入力部１０１と、入力された画像フレームにおいて追尾対象領域を設定する追尾対象領域設定部１０２と、設定された追尾対象領域を複数の画像フレーム間で追尾する追尾部１０３と、複数の画像フレーム間で追尾された追尾対象領域の追尾結果を用いて、複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の被写体状態を予測する被写体状態予測手段１０３〜１０５と、予測された被写体状態に基づく撮影パラメータを撮像装置に設定する撮影パラメータ設定部１０６と、を備える。【選択図】図３
2016140030.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影するための撮影光学系を有する撮像装置から時系列の画像フレームが入力される画像処理装置であって、
前記画像フレームを入力する画像入力手段と、
入力された前記画像フレームにおいて追尾対象領域を設定する追尾対象領域設定手段と、
設定された前記追尾対象領域を複数の前記画像フレーム間で追尾する追尾手段と、
前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の被写体状態を予測する被写体状態予測手段と、
予測された前記被写体状態に基づく撮影パラメータを前記撮像装置に設定する撮影パラメータ設定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体状態予測手段は、一定時間後の前記被写体の画像フレーム上での位置を前記被写体状態として予測することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体状態予測手段は、前記追尾結果を多項式近似することにより、一定時間後の前記被写体の画像フレーム上でのサイズを前記被写体状態として予測することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記被写体状態予測手段は、前記撮影光学系の焦点距離と、前記予測した被写体の画像フレーム上でのサイズと、前記撮影光学系の結像関係とに基づいて、一定時間後の前記被写体と前記撮影光学系との距離を前記被写体状態として予測することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記撮影パラメータ設定手段は、予測された前記被写体と前記撮影光学系との距離に基づいた前記撮影光学系のフォーカス位置を前記撮影パラメータとして出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮影パラメータ設定手段は、予測された前記被写体の画像フレーム上での位置と、予測された前記被写体の画像フレーム上でのサイズとに基づいた露出値を前記撮影パラメータとして出力することを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項７】
被写体を撮影するための撮影光学系を有し、時系列の画像フレームを出力する撮像手段と、
前記画像フレームを入力する画像入力手段と、
入力された前記画像フレームにおいて追尾対象領域を設定する追尾対象領域設定手段と、
設定された前記追尾対象領域を複数の前記画像フレーム間で追尾する追尾手段と、
前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の被写体状態を予測する被写体状態予測手段と、
予測された前記被写体状態に基づく撮影パラメータを前記撮像手段に設定する撮影パラメータ設定手段と、
を備えることを特徴とする撮像装置。
【請求項８】
請求項１に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
前記コンピュータに、
前記画像フレームを入力する画像入力ステップと、
入力された前記画像フレームにおいて追尾対象領域を設定する追尾対象領域設定ステップと、
設定された前記追尾対象領域を複数の前記画像フレーム間で追尾する追尾ステップと、
前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の被写体状態を予測する被写体状態予測ステップと、
予測された前記被写体状態に基づく撮影パラメータを前記撮像装置に設定する撮影パラメータ設定ステップと、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来より、連続する時系列の画像フレームに写された動きのある物体を追尾し、その追尾結果に応じて撮像装置のフォーカス制御や露出制御を行う制御方法が提案されている。
【０００３】
例えば、特許文献１には、テンプレートマッチング処理において追尾対象の検出精度を高めることを目的としたカメラの構成が開示されている。具体的には、特許文献１のカメラは、撮影画面内における追尾対象の現在位置を示す領域と、予測される移動先を示す領域との間での明るさの変化量に応じて、追尾対象の被写体の特徴を示すテンプレート画像の明るさを補正するようになっている。
【０００４】
ここで、図９を参照しながら、高速に動く電車を被写体とした場合の物体追尾について説明する。デジタルカメラを用いた撮影では、シャッターの半押しによりフォーカスと露出を決定した後、シャッターを切って撮影することが一般的に行われる。
【０００５】
まず、図９（ａ）の時点で、ユーザがカメラシャッターを半押しして、矩形の黒枠で示す被写体の追尾対象領域を設定する。その後、カメラは被写体追尾を行い、図９（ｂ）において矩形の黒枠で示す追尾結果を得る。図９（ｂ）の追尾結果に応じてフォーカスと露出が決定された後、ユーザはカメラのシャッターを切る。
【０００６】
しかしながら、カメラの撮影処理には時間がかかるため、その間に被写体は図９（ｂ）の時点の位置から移動する。このため、実際に撮影を行うときの被写体状態は例えば図９（ｃ）のようになり、図９（ｂ）の時点でフォーカスと露出が決定された被写体位置からずれてしまう。つまり、撮影遅れ、すなわちタイムラグが発生する。このため、撮影した画像において被写体のフォーカスが合わなくなり、画像がぼけてしまう。適正な露出についても図９（ｂ）の状態から変わってしまい、正確な露出を得られなくなる。
【０００７】
つまり、カメラを用いて動く被写体を撮影するとき、撮影する瞬間の被写体位置を正確に測定して、フォーカスと露出を適切に設定する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１は、物体追尾した状態から、撮影時の状態を予測する方法を開示しておらず、特許文献１のカメラには、シャッターを切ったときに測定したフォーカス及び露出と実際の被写体の撮影状況がずれてしまう問題がある。
【０００９】
本発明は、このような従来の課題を解決するためになされたものであって、被写体を追尾し、追尾した結果から撮影時の被写体位置と被写体距離を予測することができる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像処理装置は、被写体を撮影するための撮影光学系を有する撮像装置から時系列の画像フレームが入力される画像処理装置であって、前記画像フレームを入力する画像入力手段と、入力された前記画像フレームにおいて追尾対象領域を設定する追尾対象領域設定手段と、設定された前記追尾対象領域を複数の前記画像フレーム間で追尾する追尾手段と、前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の被写体状態を予測する被写体状態予測手段と、予測された前記被写体状態に基づく撮影パラメータを前記撮像装置に設定する撮影パラメータ設定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明は、被写体を追尾し、追尾した結果から撮影時の被写体位置と被写体距離を予測することができる画像処理装置、撮像装置、及び画像処理プログラムを提供する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態としての撮像装置のハードウェア構成を示すブロック図である。
【図２】本発明の一実施の形態としての撮像装置の外観を示す斜視図である。
【図３】本発明の一実施の形態としての画像処理装置の機能構成を示すブロック図である。
【図４】本発明の一実施の形態としての画像処理装置における追尾対象領域の設定について説明する図である。
【図５】粒子フィルタによる物体追尾の処理について説明する概念図である。
【図６】本発明の一実施の形態としての画像処理装置における追尾結果の多項式近似について説明するグラフである。
【図７】本発明の一実施の形態としての撮像装置における撮影光学系の結像関係について説明する図である。
【図８】本発明の一実施の形態としての画像処理装置における物体追尾及び動き予測処理について説明するフローチャートである。
【図９】従来の撮像装置における被写体追尾、タイムラグ発生について説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態としての画像処理装置について、図面を参照して説明する。
【００１４】
図１は、画像処理装置の一実施例である撮像装置３０のハードウェア構成を示すブロック図である。図１に示すように、撮像装置３０は、被写体を撮影するための撮影光学系１１、メカシャッタ１２、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、モータドライバ１６、及びタイミング信号発生器１７を備える。さらに、撮像装置３０は、画像処理回路１８、ＣＰＵ１９、ＲＡＭ２０、ＲＯＭ２１、ＳＤＲＡＭ２２、圧縮伸張回路２３、メモリカード２４、操作部２５、及びＬＣＤ２６を備える。
【００１５】
メカシャッタ１２は、撮影光学系１１とＣＣＤ１３との間に配置され、撮影光学系１１を通してＣＣＤ（Charge Coupled Device）１３に入射する被写体光を遮断することができるようになっている。ＣＣＤ１３は、撮像面を有し、この撮像面に結像された光学像をアナログの画像信号に変換するようになっている。
【００１６】
ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路１４は、ＣＣＤ１３によって変換されたアナログの画像信号からノイズ成分を除去するようになっている。Ａ／Ｄ（アナログデジタル）変換器１５は、ＣＤＳ回路１４によってノイズ成分が除去されたアナログの画像信号をデジタルの画像信号、すなわち、画像データに変換するようになっている。
【００１７】
モータドライバ１６は、ＣＰＵ（Central Processing Unit）１９の指示に基づいて、撮影光学系１１及びメカシャッタ１２を駆動し、撮影光学系１１の位置を変動させたり、メカシャッタ１２を開閉させたりするようになっている。
【００１８】
タイミング信号発生器１７は、ＣＰＵ１９の指示に基づいて、ＣＣＤ１３、ＣＤＳ回路１４及びＡ／Ｄ変換器１５を動作させるためのタイミング信号を発生するようになっている。さらに、画像処理回路１８、圧縮伸張回路２３、メモリカード２４も、ＣＰＵ１９によって制御されている。
【００１９】
画像処理回路１８は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に、Ａ／Ｄ変換器１５から出力された画像データを一時的に格納し、各種画像処理を画像データに施すようになっている。各種画像処理とは、例えば、ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、及び色変換処理などである。さらに、画像処理回路１８は、各種画像処理が施された画像データが表す画像をＬＣＤ（Liquid Crystal Display：液晶ディスプレイ装置）２６に表示させるようになっている。
【００２０】
ここで、ホワイトバランス制御処理は、画像データが表す画像の色の濃さを調整する画像処理であり、コントラスト補正処理は、画像データが表す画像のコントラストを調整する画像処理である。また、エッジ強調処理は、画像データが表す画像の鮮鋭度を調整する画像処理であり、色変換処理は、画像データが表す画像の色合いを調整する画像処理である。
【００２１】
ＲＯＭ（Read Only Memory）２１には、当該装置に後述の被写体追尾や動き予測を実行させるためのプログラムが記憶されている。ＣＰＵ１９は、ＲＡＭ（Random Access Memory）２０を作業領域として、ＲＯＭ２１に記憶されたプログラムを実行する。
【００２２】
圧縮伸張回路２３は、操作部２５を介して入力された指示に応じて、画像処理回路１８によって各種画像処理が施された画像データを圧縮して、メモリカード２４に記録するようになっている。また、圧縮伸張回路２３は、メモリカード２４から読み出した画像データを伸張して画像処理回路１８に出力するようになっている。
【００２３】
操作部２５は、ボタン、スイッチ、レバー、及びタッチパネル等によって構成されている。ここで、タッチパネルはＬＣＤ２６上に設けられる。図２に示すように、撮像装置３０の上面及び背面には、操作部２５として、電源ボタン３１、シャッターボタン３２などの周知の各種ボタンや、ＬＣＤ２６が配置されている。
【００２４】
シャッターボタン３２は、２段階スイッチであり、ユーザが半押しすると半押し信号をＣＰＵ１９に送信し、全押しすると全押し信号をＣＰＵ１９に送信する。
【００２５】
ＬＣＤ２６は、カラー表示が可能な液晶パネルと、タッチパネルとで構成されており、撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。ＬＣＤ２６のタッチパネルは、ユーザによるタップ、ドラッグ操作等の入力を受け付けることができる。また、ＬＣＤ２６は、必要に応じてモニタリング用のスルー画像を１／３０秒毎に１フレーム分表示し、画角確認用のファインダや、後述の追尾対象領域を設定するための追尾対象領域設定部１０２としても機能する。
【００２６】
本実施の形態の画像処理装置１で実行される画像処理プログラムは、後述する被写体追尾、動き予測機能を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１９が記憶媒体としてのＲＯＭ２１から画像処理プログラムを読み出して実行することにより、後述の図３に示す各部が主記憶装置としてのＲＡＭ２０上にロードされ、物体追尾、動き予測結果を出力するようになっている。
【００２７】
図３は、本発明の一実施の形態としての画像処理装置１の機能ブロック構成を示すブロック図である。画像処理装置１は、動画像入力部１０１、追尾対象領域設定部１０２、追尾部１０３、追尾結果領域サイズ予測部１０４、被写体距離予測部１０５、撮影パラメータ設定部１０６、撮影制御部１０７、及び撮影画像出力部１０８を備える。
【００２８】
＜動画像入力＞
動画像入力部１０１は、ＣＰＵ１９及び画像処理回路１８によって構成され、撮像装置３０により撮影された動画像、若しくは複数の静止画から、連続する時系列の画像フレームのデータを順次入力する。例えば、撮像装置３０の画像処理回路１８から出力され、ＬＣＤ２６に表示されるスルー画像の動画像データが画像処理装置１に入力される。
【００２９】
＜追尾対象領域設定＞
追尾対象領域設定部１０２は、ＣＰＵ１９、操作部２５、及びＬＣＤ２６によって構成され、動画像入力部１０１によって入力された画像フレーム上において被写体のフォーカス位置を含む追尾対象領域を設定する。例えば、図４に示す矩形の黒枠を示す領域が追尾対象領域であり、追尾対象領域の中心が被写体のフォーカス位置の中心となっている。また、矩形の黒枠の大きさは追尾対象領域のサイズを表している。追尾対象領域の位置（被写体位置）やサイズ（被写体サイズ）の設定は、例えばユーザが、シャッターボタン３２を半押しした状態で、操作部２５のボタンや、ＬＣＤ２６のタッチパネルを操作することにより設定・変更可能である。
【００３０】
また、追尾対象領域設定部１０２は、追尾対象領域を設定した際のパラメータを被写体の状態Ｓ（ｘ，ｙ，Ｖｘ，Ｖｙ，Ｈｘ，Ｈｙ，Ｍ）としてＲＡＭ２０に記憶する。ここで、ｘ，ｙは、図４において矩形の黒枠で示す被写体の追尾対象領域の位置である。Ｈｘ，Ｈｙは、それぞれ追尾対象領域の横と縦のサイズである。Ｖｘ，Ｖｙは、追尾対象領域がそれぞれ横方向と縦方向に動く速度であり、それらの初期値は０に設定される。Ｍは、追尾対象領域の変倍率であり、前画像フレームと現画像フレームでの追尾対象領域のサイズを比較した場合のサイズ変化率である。変倍率の初期値は０に設定される。
【００３１】
＜被写体追尾＞
追尾部１０３は、ＣＰＵ１９によって構成され、粒子フィルタ（Particle Filter）を用いて、前画像フレームから現画像フレームにかけて追尾対象領域の追尾を行う。粒子フィルタを用いれば、被写体の状態変化が非線形で、粒子（Particle）の分布が非ガウシアンの場合でも、高精度な追尾が可能である。なお、物体追尾を行う方式としては、粒子フィルタに限らず、Mean Shift法やカルマンフィルタ（Kalman filter）などを採用してもよい。
【００３２】
以下に説明するように、追尾部１０３は、複数の画像フレーム間で追尾対象領域を追尾するが、追尾対象領域の状態に対して図５に示すように、動き予測、観測、及び修正の処理を繰り返し行う。
【００３３】
＜１．動き予測＞
被写体の状態予測は、下記の式（１）に示す公知の状態変化モデルを用いて行う。粒子フィルタの場合の状態変化モデルは非線形である。
【数１】
2016140030.tif 000003
【００３４】
上記の式（１）は、状態Ｓｋ−１から次の状態Ｓｋまでの状態変化を表している。ここで、上記動き予測の場合、状態遷移は以下のようになっている。
【数２】
2016140030.tif 000004
【００３５】
上記の式（２）〜（８）を用いて、ｋ−１の状態から次のｋの状態を予測する。
【００３６】
＜２．観測＞
次に、動き予測で得られた状態Ｓに対して、式（９）の状態観測式を用いて観測を行う。
【数３】
2016140030.tif 000005
【００３７】
式（９）において、ｚｋは状態Ｓｋの観測データを表している。ここで、観測データは、図４に示す被写体の追尾対象領域内のカラーヒストグラムの形で表現されるとする。カラーヒストグラムの計算式を式（１０）に示す。
【００３８】
ここで、追尾対象領域はＩ個の画素からなっているとする。ｘｉは、ｉ番目の画素の画素位置を示している。ｙは追尾対象領域の中心の画素位置を指している。ｈ（ｘｉ）はｉ番目の画素のカラー画素値であり、ｕは例えば０〜２５５までの輝度値である。
【００３９】
ここで、式（１１）に示すｋ（ｒ）はカラーヒストグラムを計算するためのカーネル関数である。式（１０）において、カーネル関数ｋ（ｒ）は、画素位置ｙと画素位置ｘｉとの距離が定数ａ以上である場合には０となり、画素位置ｙと画素位置ｘｉが一致した場合に最大値を示す。これにより、式（１０）において追尾対象領域の周辺の影響を少なくして、追尾対象領域における輝度値ｕの画素の個数を求めることができる。
【数４】
2016140030.tif 000006
【数５】
2016140030.tif 000007
【００４０】
図５に示す動き予測と観測により、被写体追尾を行う。ここでは、Ｎ個の粒子、すなわちＮ個の予測状態Ｓｋ（ｉ）を用いて追尾処理を行う。Ｎ個の粒子を評価し、それぞれの重み係数を求める。求めた重み係数を用いた加重平均が式（１２）に示す追尾結果領域の状態となる。
【数６】
2016140030.tif 000008
【００４１】
以下、重み係数の計算について説明する。式（１２）に示す粒子の分布について、ランダムサンプリングした形にする。各粒子の状態の予測は、下記の式（１'）と、式（２）〜（８）にランダム変数を加えた式（１３）〜（１９）とを用いて行う。式（１３）〜（１９）中のｒ１〜ｒ７はガウシアンランダム変数である。
【数７】
2016140030.tif 000009
【数８】
2016140030.tif 000010
【００４２】
式（１３）〜（１９）により、各粒子の状態Ｓｋ（ｉ）の予測ができる。次に予測した状態Ｓｋ（ｉ）の重み係数πｉを計算する方法を説明する。
ここでは、被写体の追尾対象領域について式（１０）を用いて計算したヒストグラムｐをテンプレートとして使用する。さらに、予測したＮ個の粒子のカラーヒストグラムをそれぞれｑとし、式（２０）に示すBhattacharyya係数を計算する。この係数は、被写体の追尾対象領域のカラーヒストグラムｐと、予測したある粒子のカラーヒストグラムｑとの類似度を表す。この値が大きければ大きいほど、２つのヒストグラムの類似度が高いことを意味する。式（２０）において、ｍは輝度値ｕの個数（例えば２５６）を表している。
【数９】
2016140030.tif 000011
【００４３】
Bhattacharyya係数を用いて、式（２１）で重み係数πｉを計算する。
【数１０】
2016140030.tif 000012
【数１１】
2016140030.tif 000013
【００４４】
計算した重み係数πｉと予測した状態Ｓｋ（ｉ）を用いて、式（１２）で粒子フィルタによる追尾結果領域の状態を計算する。
【００４５】
＜３．修正＞
式（１２）を用いて粒子の予測を行うと、式（１２）において、重みの小さい粒子の寄与が少なくなり、重みの大きい粒子の寄与が多くなっていく。つまり、有効な粒子の数が減少していく。これを防ぐため、重み係数の小さい粒子を削除し、重み係数の大きい粒子を再サンプリングして複製する。この処理により、Ｎ個の粒子を効果的に利用することができる。
【００４６】
追尾する被写体の形が徐々に変化する場合、被写体の追尾対象領域のテンプレートを更新する。ここでは、式（１２）で求めた追尾結果領域の重み係数の平均値πＥＳが、式（２３）に示すように閾値πＴ以上になる場合、式（２４）でテンプレート更新を行う。ここで、αは割合係数であり、式（２４）においてαの値を小さく設定して、被写体の追尾対象領域のカラーヒストグラムの各ビンの値を更新する。
【数１２】
2016140030.tif 000014
【数１３】
2016140030.tif 000015
【００４７】
このように、被写体追尾は動き予測と観測と修正とを繰り返して行われる。被写体追尾により、追尾対象領域の追尾結果としての追尾結果領域の状態Ｓを求めることができる。さらに、撮像装置３０のタイムラグΔｔは既知であるので、シャッターボタン３２が全押しされた時点の状態から、タイムラグΔｔ後の被写体状態としての追尾結果領域の位置ｘ，ｙ、サイズＨｘ，Ｈｙを予測できる。つまり、画像処理装置１は、入力された複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の画像フレームにおける被写体状態を予測できる。
【００４８】
ここで、Ｈｘ＋Ｈｙを追尾結果領域サイズＸと呼ぶ。式（２），（３）で、撮影時の位置ｘ，ｙが求まり、式（７），（８）で、撮影時の追尾結果領域サイズＸを予測できる。
【００４９】
しかしながら、ノイズの影響で、前画像フレームから予測した変倍率Ｍには誤差が含まれている可能性がある。このため、以下に説明するように、複数の画像フレームに対する追尾結果から得られた複数の追尾結果領域サイズのデータを用いて、多項式近似により追尾結果領域サイズＸを予測する方法を検討した。
【００５０】
＜追尾結果領域サイズ予測＞
追尾結果領域サイズ予測部１０４は、シャッターボタン３２が半押しされてから全押しされたときまでの複数の画像フレームに対する追尾結果を用いて、タイムラグΔｔ後の被写体状態としての追尾結果領域サイズＸを多項式近似により予測する。言い換えれば、追尾結果領域サイズ予測部１０４は、シャッターボタン３２が全押しされたときの状態Ｓ、及び、シャッターボタン３２が全押しされる以前に得られた複数の状態Ｓから追尾結果領域サイズＸの予測を行う。
【００５１】
以下、追尾結果領域サイズ予測部１０４によるタイムラグΔｔ後の追尾結果領域サイズＸの予測について説明する。
【００５２】
図６は、横軸を時間Ｔとし、縦軸を追尾結果領域サイズＸとしたグラフである。黒丸は、シャッターボタン３２が全押しされるまでの各画像フレームでの追尾結果領域サイズを示している。白丸は、タイムラグΔｔ後の追尾結果領域サイズＸの予測サイズを示している。
【００５３】
タイムラグΔｔ後の追尾結果領域サイズの予測に用いる多項式を式（２５）に示す。Ｘは追尾結果領域サイズ、ａは多項式係数、ｔは時間である。式（２５）の多項式係数を求めれば、追尾結果領域サイズＸを予測できる。
【数１４】
2016140030.tif 000016
【００５４】
式（２５）を行列計算式で書くと式（２６）のようになる。
【数１５】
2016140030.tif 000017
【００５５】
ここで、式（２６）におけるベクトルＸとベクトルＡは、それぞれ式（２７）と式（２８）のように表される。ここで、Ｘ０〜Ｘｍ−１はｍ個の追尾結果領域サイズのデータであり、ａ０〜ａｎ−１はｎ個の多項式係数である。また、式（２６）における行列Ｈは式（２９）のように表される。
【数１６】
2016140030.tif 000018
【数１７】
2016140030.tif 000019
【数１８】
2016140030.tif 000020
【００５６】
式（３０）を用いて最小二乗法により多項式係数ａ０〜ａｎ−１を求める。
【数１９】
2016140030.tif 000021
【００５７】
式（３０）から多項式係数ａ０〜ａｎ−１を求めたら、式（２５）を用いてタイムラグΔｔ後の追尾結果領域サイズＸを求めることができる。
【００５８】
＜被写体距離予測＞
被写体距離予測部１０５は、図７に示すように、シャッターボタン３２が全押しされたときの被写体距離ｕから、タイムラグΔｔ後の撮影時の被写体状態としての被写体距離ｕ１を求めるようになっている。ここで、被写体距離とは、撮像装置３０の撮影光学系１１と被写体との距離を指す。
【００５９】
以下、追尾結果領域サイズ予測部１０４により予測されたタイムラグΔｔ後の追尾結果領域サイズＸから、タイムラグΔｔ後の被写体距離ｕ１を予測する方法について説明する。
【００６０】
図７において、ｕ、Ｈｖ、ｖは、シャッターボタン３２が全押しされたときの被写体距離、被写体結像高さ、被写体結像距離をそれぞれ表している。ｕ１、Ｈｖ１、ｖ１は、タイムラグΔｔ後の予測被写体距離、予測被写体結像高さ、予測被写体結像距離をそれぞれ表している。また、Ｈは被写体高さであり、Ｆは撮影光学系１１の焦点距離である。
【００６１】
図７から分かるように、三角形の相似関係により以下の式（３１），（３２）に示す結像関係が成り立つ。
【数２０】
2016140030.tif 000022
【数２１】
2016140030.tif 000023
【００６２】
式（３１）と式（３２）により式（３３）が得られる。
【数２２】
2016140030.tif 000024
【００６３】
レンズの写像公式である式（３４），（３５）に式（３３）を代入すると、式（３６）の関係を得られる。
【数２３】
2016140030.tif 000025
【数２４】
2016140030.tif 000026
【数２５】
2016140030.tif 000027
【００６４】
式（３６）から予測被写体距離ｕ１が求まる。Ｈｖはシャッターボタン３２が全押しされたときのＣＣＤ１３の撮像面における被写体結像高さであり既知である。Ｆの焦点距離も既知である。この被写体結像高さＨｖと、シャッターボタン３２が全押しされたときの追尾結果領域サイズＸと、式（２５）〜（３０）により求められたタイムラグΔｔ後の追尾結果領域サイズＸとから、撮像面における予測被写体結像高さＨｖ１が求まる。したがって、式（３６）で予測被写体距離ｕ１を求めることができる。
【００６５】
焦点距離Ｆが被写体距離ｕよりも十分小さい場合、式（３６）の第２項は第１項より十分小さいので、式（３６）を式（３７）に近似できる。つまり、予測前後の被写体距離は予測前後の追尾結果領域サイズに逆比例する。
【数２６】
2016140030.tif 000028
【００６６】
すなわち、式（３６）又は式（３７）を用いて、予測被写体距離ｕ１を求めることができる。撮像装置３０の撮影光学系１１のフォーカス位置（レンズ位置）を予測被写体距離ｕ１に合わせて設定すれば、高速に動く被写体を撮影するとき、撮影タイムラグがあっても、撮影時に正確なフォーカスを設定できる。
【００６７】
＜撮影パラメータ設定＞
撮影パラメータ設定部１０６は、ＣＰＵ１９によって構成され、追尾部１０３、追尾結果領域サイズ予測部１０４、及び被写体距離予測部１０５から出力される被写体状態のデータに基づいた撮影パラメータを撮影制御部１０７に設定する。被写体状態として、被写体距離予測部１０５からはタイムラグΔｔ後の被写体距離ｕ１が、追尾結果領域サイズ予測部１０４からはタイムラグΔｔ後の追尾結果領域サイズＸが、追尾部１０３からはタイムラグΔｔ後の追尾結果領域の位置ｘ，ｙが出力される。
【００６８】
これにより、撮影パラメータ設定部１０６は、タイムラグΔｔ後の被写体距離ｕ１に基づいた撮影光学系１１のフォーカス位置を撮影パラメータとして撮影制御部１０７に設定するようになっている。また、撮影パラメータ設定部１０６は、タイムラグΔｔ後の追尾結果領域の位置ｘ，ｙと、タイムラグΔｔ後の追尾結果領域サイズＸとに基づいた露出値を撮影パラメータとして撮影制御部１０７に設定するようになっている。
【００６９】
撮影制御部１０７は、ＣＰＵ１９によって構成され、上記の撮影パラメータに応じて、予測された追尾結果領域に対するフォーカス制御と露出制御を行い、シャッターボタン３２が全押しされてからタイムラグΔｔ後に被写体の撮影を行う。
【００７０】
また、撮影制御部１０７は、シャッターボタン３２が半押しされた状態において逐次更新される追尾結果領域に対しても、撮影パラメータに応じてフォーカス制御と露出制御を行うようになっている。このときの撮影パラメータは、被写体距離ｕと、式（２），（３）から得られる追尾結果領域の位置ｘ，ｙと、式（７），（８）から得られる追尾結果領域のサイズＨｘ，Ｈｙとに基づいている。
【００７１】
撮影画像出力部１０８は、ＬＣＤ２６、圧縮伸張回路２３、及びメモリカード２４によって構成され、撮影制御部１０７によってフォーカス制御と露出制御が行われた画像フレームを圧縮し、メモリカード２４に格納する。さらに、撮影画像出力部１０８は、当該画像をＬＣＤ２６に表示させるようになっている。
【００７２】
次に、本実施の形態の画像処理装置１が実行する画像処理プログラムにおける一連の処理について、図８のフローチャートを用いて説明する。例えば、ユーザによりシャッターボタン３２が半押しされたことを契機として、ステップＳ１以下の処理が実行される。
【００７３】
まず、ステップＳ１において、動画像入力部１０１によって、撮像装置３０により撮影された動画像、若しくは複数の静止画から、時系列の画像フレームのデータが入力される。例えば、撮像装置３０のＬＣＤ２６に表示されるスルー画像の動画像データが逐次入力される。
【００７４】
次に、ステップＳ２において、追尾対象領域設定部１０２によって、画像フレームＦ（ｋ−１）について被写体の追尾対象領域が設定される。
【００７５】
次に、ステップＳ３において、追尾部１０３によって、追尾対象領域の特徴量が計算される。ここでは、例えば式（１０）により追尾対象領域のカラーヒストグラムが特徴量として計算される。
【００７６】
次に、ステップＳ４において、追尾部１０３によって、画像フレームＦ（ｋ−１）の次の画像フレームＦ（ｋ）における追尾結果領域の候補が式（１３）〜（１９）により探索される。
【００７７】
次に、ステップＳ５において、追尾部１０３によって、画像フレームＦ（ｋ）における追尾結果領域の候補の特徴量が計算される。例えば、特徴量として追尾結果領域の候補のカラーヒストグラムが計算される。さらに、ステップＳ３，Ｓ５で計算された特徴量を用いて式（２０）により、画像フレームＦ（ｋ−１）における追尾対象領域と、画像フレームＦ（ｋ）における追尾結果領域の候補との類似度が計算される。
【００７８】
次に、ステップＳ６において、追尾部１０３によって、式（１２）により画像フレームＦ（ｋ）における追尾結果領域が決定される。
【００７９】
次に、ステップＳ７において、追尾部１０３によって、式（１２）で得られた追尾結果領域の状態Ｓｋを構成する各パラメータが式（２）〜（８）により計算される。これらのパラメータのうち、追尾結果領域の位置ｘ，ｙと、追尾結果領域のサイズＨｘ，Ｈｙとから、画像フレームＦ（ｋ）における追尾結果領域の位置が得られる。
【００８０】
次に、ステップＳ８において、撮影制御部１０７によって、被写体距離ｕ、追尾結果領域の位置ｘ，ｙ、追尾結果領域のサイズＨｘ，Ｈｙに基づいて、追尾結果領域に対するフォーカス制御と露出制御が行われる。
【００８１】
次に、ステップＳ９において、撮影制御部１０７によって、シャッターボタン３２が全押しされたか否かが判断される。シャッターボタン３２が半押しされている場合には、ステップＳ４に戻って、新たな画像フレームＦ（ｋ＋１）において追尾結果領域の候補が探索される。一方、シャッターボタン３２が全押しされた場合には、ステップＳ１０に進む。
【００８２】
次に、ステップＳ１０において、追尾結果領域サイズ予測部１０４によって、式（２５）〜（３０）の多項式近似により、タイムラグΔｔ後の追尾結果領域サイズＸが計算される。さらに、被写体距離予測部１０５によって、式（３６）又は式（３７）により、タイムラグΔｔ後の予測被写体距離ｕ１が計算される。
【００８３】
次に、ステップＳ１１において、追尾部１０３によって、タイムラグΔｔ後の追尾結果領域の位置ｘ，ｙが式（２），（３）により計算される。
【００８４】
次に、ステップＳ１２において、撮影パラメータ設定部１０６によって、ステップＳ１０，Ｓ１１で得られた被写体状態に基づいた撮影パラメータが撮影制御部１０７に設定される。そして、撮影制御部１０７によって、設定された撮影パラメータに応じて、タイムラグΔｔ後の追尾結果領域に対するフォーカス制御と露出制御が行われる。
【００８５】
そして、ステップＳ１３において、撮影画像出力部１０８によって、ステップＳ１２でフォーカス制御と露出制御が行われた画像フレームが圧縮され、メモリカード２４に格納される。さらに、当該画像をＬＣＤ２６に表示させる。
【００８６】
以上説明したように、本実施の形態の画像処理装置１は、複数の画像フレーム間で追尾された追尾対象領域の追尾結果を用いて、複数の画像フレームのうち時系列で最後の画像フレームからタイムラグΔｔ後の被写体状態を予測する。ここで、被写体状態は、シャッターが切られた時点からタイムラグΔｔ後の追尾結果領域の位置ｘ，ｙ、追尾結果領域サイズＸ、被写体距離ｕ１である。さらに、予測された被写体状態に基づく撮影パラメータは、撮像装置３０に設定されるようになっている。
【００８７】
これにより、シャッターが切られた時点から実際の撮影時までにタイムラグがあっても、複数の画像フレームの追尾結果を用いて動き予測することにより、正確な被写体位置と被写体距離を予測することができ、正確なフォーカスと露出を設定することができる。
【００８８】
また、本実施の形態の画像処理装置１は、各画像フレームでの追尾結果領域サイズＸを多項式近似することにより、タイムラグΔｔ後の追尾結果領域サイズＸを被写体状態として予測する。これにより、シャッターが切られた時点からタイムラグΔｔ後の追尾結果領域サイズＸを予測することができ、撮影時に被写体のフォーカスを正しく行うことができる。
【００８９】
また、本実施の形態の画像処理装置１は、撮影光学系１１の焦点距離と、タイムラグΔｔ後の追尾結果領域サイズＸと、撮影光学系１１の結像関係とに基づいて、タイムラグΔｔ後の被写体距離ｕ１を被写体状態として予測する。これにより、シャッターが切られた時点からタイムラグΔｔ後の被写体距離ｕ１を予測することができ、撮影時に被写体のフォーカスを正しく行うことができる。
【００９０】
また、本実施の形態の画像処理装置１においては、撮影パラメータ設定部１０６は、予測された被写体距離ｕ１に基づいた撮影光学系１１のフォーカス位置を撮影パラメータとして出力する。これにより、シャッターが切られた時点からタイムラグΔｔ後の撮影時に被写体のフォーカスを正しく行うことができる。
【００９１】
また、本実施の形態の画像処理装置１においては、撮影パラメータ設定部１０６は、予測されたタイムラグΔｔ後の追尾結果領域の位置ｘ，ｙと、予測されたタイムラグΔｔ後の追尾結果領域サイズＸとに基づいた露出値を撮影パラメータとして出力する。これにより、シャッターが切られた時点からタイムラグΔｔ後の撮影時に被写体の露出を正しく行うことができる。
【００９２】
以上により、本発明の好ましい実施形態及び実施例について説明したが、本発明は、上述した実施形態及び実施例に制限されるものではない。また、本発明は、添付の特許請求の範囲に照らし、種々に変形又は変更することが可能である。
【符号の説明】
【００９３】
１  画像処理装置
１１  撮影光学系
３０  撮像装置（撮像手段）
１０１  動画像入力部（画像入力手段）
１０２  追尾対象領域設定部（追尾対象領域設定手段）
１０３  追尾部（追尾手段、被写体状態予測手段）
１０４  追尾結果領域サイズ予測部（被写体状態予測手段）
１０５  被写体距離予測部（被写体状態予測手段）
１０６  撮影パラメータ設定部（撮影パラメータ設定手段）
【先行技術文献】
【特許文献】
【００９４】
【特許文献１】特許第５４９９８５３号公報
【図１】
2016140030.tif 000029
【図２】
2016140030.tif 000030
【図３】
2016140030.tif 000031
【図４】
2016140030.tif 000032
【図５】
2016140030.tif 000033
【図６】
2016140030.tif 000034
【図７】
2016140030.tif 000035
【図８】
2016140030.tif 000036
【図９】
2016140030.tif 000037