(57)【要約】【課題】注目被写体を正確に且つ容易に追尾対象に設定しやすくする。【解決手段】撮像装置は、タッチパネルを用いて追尾対象を選択指定する機能を備える。被写体ＳＵＢ１〜ＳＵＢ４の撮影動画像が表示されている状態で、タッチパネルは、追尾対象を指定するための、ユーザによる指定位置入力操作を受け付ける。追尾対象設定部は、被写体距離情報を画像として表現した距離画像３３０を用いて、タッチ位置である指定位置（３２１）を、より被写体距離の短い位置（３２２）に補正し、補正後の指定位置における被写体を追尾対象に設定する。その後、画像特徴量に基づく追尾対象の追尾処理を実行する。【選択図】図９
2012015642.tif 000002
【特許請求の範囲】
【請求項１】
被写体を順次撮影することで得られる画像列を表す信号を出力する撮像素子と、
前記被写体及び前記撮像素子間の距離情報を取得する距離情報取得部と、
前記撮像素子の出力に基づく表示用画像を表示する表示画面と、
前記表示画面上における指定位置の入力操作を受け付ける操作受付部と、
前記距離情報と前記指定位置に基づいて特定の被写体を追尾対象に設定する追尾対象設定部を有し、前記画像列の画像データに基づき前記画像列上で前記追尾対象を追尾する追尾処理部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記追尾対象設定部は、前記距離情報を用いて前記指定位置を補正し、補正後の指定位置における被写体を前記追尾対象に設定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示画面は、前記表示用画像上に複数の被写体が現れている場合において前記入力操作を受け付ける際、前記複数の被写体に対応する複数の指標を前記表示用画像とともに表示し、
前記追尾対象設定部は、前記距離情報に基づいて前記複数の指標の大きさを決定し、前記表示画面上における前記指定位置と各指標との位置関係に基づき前記追尾対象を設定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数の被写体は第１〜第ｎの被写体から成るともに、前記複数の指標は第１〜第ｎの被写体に対応する第１〜第ｎの指標から成り（ｎは２以上の整数）、
前記追尾対象設定部は、前記指定位置が第ｉの指標に対応する位置であるとき（ｉはｎ以下の自然数）、第ｉの指標に対応する第ｉの被写体を前記追尾対象に設定する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像列は、基準画像、及び、前記基準画像よりも後の撮影によって得られる複数の非基準画像を含み、
前記追尾対象設定部は、前記距離情報を用いて、前記追尾対象の画像データを内包する初期追尾領域を前記基準画像に設定し、
前記追尾処理部は、前記基準画像における前記初期追尾領域内の画像データと各非基準画像の画像データとを用いて各非基準画像における前記追尾対象の位置を検出することにより、前記画像列上で前記追尾対象を追尾する
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項６】
前記追尾対象設定部は、前記初期追尾領域から前記追尾対象以外の被写体の画像データが除外されるように、前記距離情報を用いて前記初期追尾領域を設定する
ことを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関し、特に被写体を追尾する機能を備えた撮像装置に関する。
【背景技術】
【０００２】
画像解析を用いて動画像上で追尾対象を追尾する方法が様々に提案されている。追尾処理の実現方法として、追尾パターンの設定後に画像内におけるパターンの位置を探索するパターンマッチング法（例えば下記特許文献１参照）や、色などの画像特徴を追跡する方法がある（例えば下記特許文献２参照）。また、追尾パターンとしてのテンプレート画像の設定後、テンプレートマッチングによる類似度を算出する際、被写体距離の測定結果をも利用して類似度を算出する方法が提案されている（例えば下記特許文献１参照）。
【０００３】
ところで、デジタルカメラの撮影範囲内には、ユーザの注目被写体（例えば、ユーザの子供）の他に、様々な被写体（不特定人物、動物、植物など）が含まれていることも多い。従って、ユーザの注目被写体を追尾対象として動画像上で追尾するためには、まず、追尾対象となるべき注目被写体を指定する操作が必要となる。この操作を、タッチパネルを用いて実現する方法も提案されている（例えば下記特許文献３参照）。この方法では、注目人物の顔領域をユーザがモニタ上でタッチすることで、その注目人物が追尾対象に設定される。
【０００４】
この方法の実現時におけるモニタの様子を、図１８（ａ）に示す。モニタの表示画面９０１にはデジタルカメラの撮影動画像が表示されており、表示される動画像上において人物９１１〜９１３が刻々と動いている。ユーザ（撮影者）の注目人物が人物９１１である場合、図１８（ｂ）に示す如く、人物９１１をタッチする操作を行うことで人物９１１が追尾対象に設定される。尚、図１８（ａ）等において、ドットで満たされた領域はモニタの筐体部分を表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４１４７５号公報
【特許文献２】特開平４−２８２９８９号公報
【特許文献３】特開２００６−１０１１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般消費者向けに普及している小型デジタルカメラの表示画面９０１は、あまり大きなものではないため、人間の指の大きさとの比較において、表示画面９０１上の各被写体もあまり大きなものではない。特に、注目人物とデジタルカメラ間の実空間上距離が遠い場合や広画角で撮影している場合などにおいては、表示画面９０１上における注目人物の表示部分はかなり小さくなることがある。このため、タッチパネル操作により表示画面９０１上で正確に注目人物を選択することが難しい場合もある。また、実空間上における注目人物の移動に伴って表示画面５１上においても注目人物は移動し、この移動が上記選択を更に難しくさせる。例えば、人物９１１を追尾対象として選択することを希望しているにも関らず、図１８（ｃ）に示す如く、誤って人物９１２の表示部分をタッチしてしまい、結果、人物９１２が追尾対象に設定されるといったことも生じえる。
【０００７】
そこで本発明は、ユーザによる追尾対象の指定操作を支援する機能を持つ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、被写体を順次撮影することで得られる画像列を表す信号を出力する撮像素子と、前記被写体及び前記撮像素子間の距離情報を取得する距離情報取得部と、前記撮像素子の出力に基づく表示用画像を表示する表示画面と、前記表示画面上における指定位置の入力操作を受け付ける操作受付部と、前記距離情報と前記指定位置に基づいて特定の被写体を追尾対象に設定する追尾対象設定部を有し、前記画像列の画像データに基づき前記画像列上で前記追尾対象を追尾する追尾処理部と、を備えたことを特徴とする。
【０００９】
一般的に、ユーザの注目する被写体は、他の被写体と比べて、比較的短い被写体距離を有する。従って例えば、上記距離情報をユーザによる指定位置と共に参照すれば、仮に指定位置が注目被写体を正しく指し示していなかったとしても、ユーザの注目被写体を推測して該注目被写体を追尾対象に設定するといったことが可能となる。或いは例えば、上記距離情報を用いて、追尾対象として選択される可能性が高いと推測される被写体に対し、その被写体の指定を支援するような表示を成すといったことも可能となる。このように、上記構成の如く、距離情報と指定位置に基づいて追尾対象を設定するようにすれば、ユーザによる追尾対象の指定操作が支援され、正確に且つ容易に所望の被写体を追尾対象に設定することが可能となる。
【００１０】
具体的には例えば、前記追尾対象設定部は、前記距離情報を用いて前記指定位置を補正し、補正後の指定位置における被写体を前記追尾対象に設定する。
【００１１】
これにより、仮に指定位置が注目被写体を正しく指し示していなかったとしても、注目被写体を追尾対象に設定するといったことが可能となる。
【００１２】
或いは例えば、前記表示画面は、前記表示用画像上に複数の被写体が現れている場合において前記入力操作を受け付ける際、前記複数の被写体に対応する複数の指標を前記表示用画像とともに表示し、前記追尾対象設定部は、前記距離情報に基づいて前記複数の指標の大きさを決定し、前記表示画面上における前記指定位置と各指標との位置関係に基づき前記追尾対象を設定する。
【００１３】
これにより、追尾対象として選択される可能性が高いと推測される、被写体距離が小さな被写体に対してほど、表示サイズの大きな指標を割り当てるといったことが可能となる。結果、ユーザは、注目被写体を追尾対象として選択指定しやすくなる。
【００１４】
より具体的には例えば、前記複数の被写体は第１〜第ｎの被写体から成るともに、前記複数の指標は第１〜第ｎの被写体に対応する第１〜第ｎの指標から成り（ｎは２以上の整数）、前記追尾対象設定部は、前記指定位置が第ｉの指標に対応する位置であるとき（ｉはｎ以下の自然数）、第ｉの指標に対応する第ｉの被写体を前記追尾対象に設定する。
【００１５】
また例えば、前記画像列は、基準画像、及び、前記基準画像よりも後の撮影によって得られる複数の非基準画像を含み、前記追尾対象設定部は、前記距離情報を用いて、前記追尾対象の画像データを内包する初期追尾領域を前記基準画像に設定し、前記追尾処理部は、前記基準画像における前記初期追尾領域内の画像データと各非基準画像の画像データとを用いて各非基準画像における前記追尾対象の位置を検出することにより、前記画像列上で前記追尾対象を追尾する。
【００１６】
距離情報を用いて初期追尾領域を設定することにより、追尾精度の向上が期待される。
【００１７】
具体的には例えば、前記追尾対象設定部は、前記初期追尾領域から前記追尾対象以外の被写体の画像データが除外されるように、前記距離情報を用いて前記初期追尾領域を設定する。
【発明の効果】
【００１８】
本発明によれば、ユーザによる追尾対象の指定操作を支援する機能を持つ撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１に示される表示部の概略分解図である。
【図４】表示画面とＸＹ座標面との関係を示す図（ａ）と、二次元画像とＸＹ座標面との関係を示す図（ｂ）である。
【図５】撮影者側から見た、撮像装置の外観斜視図である。
【図６】図１の撮像装置に内包される、被写体追尾機能に特に関与する部位のブロック図である。
【図７】本発明の第１実施形態に係り、追尾モードにおける撮像装置の動作フローチャートである。
【図８】撮像装置と複数の被写体との距離関係を示す図である。
【図９】本発明の第１実施形態に係り、複数の被写体を撮影することで得られるフレーム画像と、それに対応する距離画像を示す図である。
【図１０】本発明の第１実施形態に係り、複数の被写体を撮影することで得られるフレーム画像と、それに対応する距離画像を示す図である。
【図１１】追尾モードにおいて実行される初期登録処理のフローチャートである。
【図１２】本発明の第１実施形態に係り、追尾モードにおける撮像装置の変形動作フローチャートである。
【図１３】本発明の第１実施形態に係り、追尾対象指定操作（指定位置入力操作）の受け付け時における表示画面の表示内容例を示す図である。
【図１４】初期フレーム画像及びそれに対応する距離画像を示す図（ａ）（ｂ）と、初期フレーム画像に設定される初期追尾領域の例を示す図（ｃ）（ｄ）である。
【図１５】本発明の第２実施形態に係り、追尾モードにおける撮像装置の動作フローチャートである。
【図１６】本発明の第２実施形態に係り、複数の被写体を撮影することで得られるフレーム画像と、それに対応する距離画像を示す図である。
【図１７】本発明の第２実施形態に係り、追尾対象選択操作（指定位置入力操作）の受け付け時における表示画面の表示内容例を示す図である。
【図１８】タッチパネルを用いた、従来の追尾対象選択操作を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２１】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２２】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
【００２３】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２４】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２５】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２６】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００２７】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。
【００２８】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００２９】
表示部１５にはタッチパネルが設けられている。図３は、表示部１５の概略分解図（換言すればタッチパネルの概略分解図）である。表示部１５には、液晶ディスプレイ等から成る表示画面５１と、操作体が表示画面５１上に触れている位置（圧力を加えている位置）を検出するタッチ検出部５２と、が設けられている。ユーザは、表示部１５の表示画面５１を操作体で触れることで撮像装置１に特定の指示を与えることができる。表示画面５１を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示画面５１との接触位置をタッチ位置と呼ぶ。操作体が表示画面５１に触れているとき、タッチ検出部５２は、その触れた位置（即ちタッチ位置）を指し示すタッチ位置情報を主制御部１３にリアルタイムで出力する。操作体は、指やペンなどであるが、以下では主として操作体が指であることを想定する。また、本明細書において、単に表示と言った場合、それは表示画面５１における表示を指すものとする。
【００３０】
図４（ａ）に示す如く、表示画面５１上の位置は、二次元のＸＹ座標面上の位置として定義される。また更に、図４（ｂ）に示す如く、撮像装置１において、任意の二次元画像３００もＸＹ座標面上の画像として取り扱われる。ＸＹ座標面は、表示画面５１及び二次元画像３００の水平方向に伸びるＸ軸と、表示画面５１及び二次元画像３００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。表示画面５１及び二次元画像３００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の垂直位置を表す。二次元画像３００を表示画面５１にて表示する際（二次元画像３００を表示画面５１の全体を使って表示する際）、二次元画像３００上の位置（ｘ，ｙ）における画像は、表示画面５１上の位置（ｘ，ｙ）に表示される。
【００３１】
撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１６に記録された静止画像又は動画像を表示部１５上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。ＡＦＥ１２からの１フレーム周期分の画像データによって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像がフレーム画像である、と解釈していも良い。
【００３２】
図５に、撮影者側から見た、撮像装置１の外観斜視図を示す。図５には、被写体としての人物も示されている。順次撮影によって得られるフレーム画像列は動画像として表示画面５１上に表示される。撮影者としてのユーザは、表示画面５１上に表示された被写体の様子を確認することで、撮像装置１の撮影範囲（換言すれば撮像部１１又は撮像素子３３の撮影範囲）等を確認することができる。
【００３３】
撮像装置１は、画像処理を用いた被写体追尾機能を備えており、この被写体追尾機能の実現時に特徴的な動作を行う。被写体追尾機能は撮影モードにおいて実現される。撮影モードの一形態である、被写体追尾機能が実現される動作モードを追尾モードという。所定のタッチパネル操作又はボタン操作を成すことで、追尾モードにおける動作が実行される。以下に示される動作は、特に記述なき限り、この追尾モードにおける撮像装置１の動作である。
【００３４】
図６は、撮像装置１内の、被写体追尾機能に特に関与する部位のブロック図である。被写体距離情報生成部（距離情報取得部）６１、追尾処理部６２及び表示制御部６４を、図１の主制御部１３内に設けておくことができる。追尾処理部６２には、追尾対象設定部６３が内包されている。フレーム画像列を形成する各フレーム画像の画像データは、順次、追尾処理部６２及び表示制御部６４に与えられる。
【００３５】
被写体距離情報生成部（以下、距離情報生成部と略記することがある）６１は、撮像装置１の撮影範囲内に収まっている各被写体の被写体距離を検出する被写体距離検処理を実行し、これによってフレーム画像上の各位置における被写体の被写体距離を表す被写体距離情報を生成する。或る被写体についての被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を指す。尚、本明細書において、“距離が大きい”という表現と“距離が長い”という表現は同義であり、“距離が小さい”という表現と“距離が短い”という表現は同義である。被写体距離検出処理を周期的に又は所望のタイミングに実行することができる。被写体距離情報は、自身を形成する各画素値が被写体距離の測定値を持つ距離画像である。被写体距離の検出方法及び被写体距離情報の生成方法として、公知の方法（例えば、特開２００９−２７２７９９号公報に記載の方法）を含む任意の方法を利用可能である。
【００３６】
フレーム画像の画像データから被写体距離情報を生成するようにしても良いし、フレーム画像の画像データ以外の情報から被写体距離情報を生成するようにしても良い。例えば、各被写体の被写体距離を測定する測距センサ（不図示）を用いて被写体距離情報を生成することができる。測距センサとして、三角測量法に基づく測距センサ等、公知の任意の測距センサを用いることができる。或いは例えば、複眼カメラを用いて上記距離画像を生成するようにしても良い。
【００３７】
或いは例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから被写体距離情報を生成するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【００３８】
追尾処理部６２には、フレーム画像列の画像データだけでなく、被写体距離情報及びタッチ位置情報が入力される。追尾処理部６２は、フレーム画像列の画像データに基づき各フレーム画像内における特定被写体の位置を逐次検出していくことにより、フレーム画像列における特定被写体の位置を追尾する。この追尾を実行する処理を追尾処理と呼ぶ。追尾されるべき特定被写体を追尾対象と呼ぶ。
【００３９】
追尾対象設定部６３は、ユーザによる操作の内容に基づき、撮像装置１の撮影範囲内に収まっている被写体の中から追尾対象を設定する。この設定の際、被写体距離情報が利用されるが、その利用方法例については後述する。追尾対象の設定の元となる、ユーザの操作は、例えば所定のタッチパネル操作である。この場合、タッチ位置情報に基づいて追尾対象が設定されることとなる。
【００４０】
表示制御部６４は、表示画面５１の表示内容を制御し、フレーム画像の画像データから表示用画像の画像データを生成して、これを表示部１５に送ることで表示画面５１上に表示用画像を表示させる。フレーム画像は周期的に順次取得されるため、表示用画像も周期的に生成されて表示画面上で更新表示される。この表示用画像は、追尾処理部６２による追尾結果などを、フレーム画像に反映させることによって生成される。
【００４１】
図７を参照して、追尾モードにおける動作について、より詳細に説明する。図７は、追尾モードにおける撮像装置１の動作の流れを表すフローチャートである。この動作をより具体的に説明するべく、今、撮像装置１の撮影範囲内に収まる被写体の中に、図８に示す４つの被写体ＳＵＢ１〜ＳＵＢ４が含まれていることを想定する。被写体ＳＵＢ１〜ＳＵＢ４は、サッカーの試合における被写体である。被写体ＳＵＢ１〜ＳＵＢ３の夫々は実空間上で移動しうる人物であり、被写体ＳＵＢ４は実空間上で静止しているサッカーゴールである。また、被写体ＳＵＢ１〜ＳＵＢ４の被写体距離を夫々ｄ１〜ｄ４にて表す。ここで、不等式“ｄ１＜ｄ２＜ｄ３＜ｄ４”が常に成立するものとする。
【００４２】
撮像装置１の動作モードが追尾モードに設定されると、まず、ステップＳ１１において、撮像装置１はユーザによる追尾対象指定操作の入力を受け付け、その入力が成された場合に、ステップＳ１２及びそれ以降の処理を実行する。ステップＳ１１における追尾対象指定操作は、表示画面５１上において追尾対象となるべき被写体が表示されている部分を指にて触れることで実現される。ステップＳ１１において、追尾対象を指定するためにユーザが表示画面５１に触れた位置を指定位置と呼ぶ。そうすると、ステップＳ１１における追尾対象指定操作は、ユーザによる指定位置入力操作であると言え、図３のタッチ検出部５２が、その指定位置入力操作を受け付ける操作受付部として機能する。
【００４３】
ステップＳ１２において、距離情報生成部６１は、被写体距離検出処理を実行することで被写体距離情報を生成する。ステップＳ１２における被写体距離検出処理を、追尾対象指定操作が成された時点又は追尾対象指定操作が成された直後に行うことができる。また、追尾対象指定操作が成される直前に実行された被写体距離検出処理の結果から、ステップＳ１２の被写体距離情報を生成するようにしても良い。
【００４４】
続くステップＳ１３において、追尾対象設定部６３は、ステップＳ１１において決定された指定位置を、ステップＳ１２にて生成された被写体距離情報を用いて補正する。この補正方法を例示する。
【００４５】
例えば、図９（ａ）のフレーム画像３２０が表示用画像として表示されているときにおいて、ユーザの指定位置入力操作により表示画面５１上の位置３２１が補正前の指定位置として設定された場合を考える。位置３２１には、サッカー場の地面部分の画像データが存在しており、その地面部分の被写体距離は被写体ＳＵＢ１のそれよりも大きいものとする。図９（ｂ）の画像３３０は、フレーム画像３２０に対応する被写体距離情報としての距離画像である。任意の距離画像はグレースケール画像である。距離画像において、各画素は、対応する被写体距離が小さいほどゼロに近い画素値を有し、対応する被写体距離が大きいほど大きな画素値を有するものとする。更に、距離画像を示す図面においては、画素値の比較的小さい部分（即ち被写体距離が比較的小さい部分）は比較的白く示され、画素値の比較的大きい部分（即ち被写体距離が比較的大きい部分）は比較的黒く示されている。図示の簡略化上、図９（ｂ）の距離画像３３０では、被写体距離がある程度以上大きい部分を全て黒く示している（後述の他の距離画像も同様）。
【００４６】
位置３２１が補正前の指定位置として設定された場合、追尾対象設定部６３は、位置３２１から見て空間的に近接した位置に、上記地面部分の被写体距離よりも小さな被写体距離を有する被写体が存在しているかを、ステップＳ１２の被写体距離情報（即ち距離画像３３０）に基づいて判定し、その存在が認められた場合、より小さな被写体距離の被写体の位置に指定位置を補正する。図９（ａ）の例では、位置３２１から見て空間的に近接した位置に、上記地面部分の被写体距離よりも小さな被写体距離を有する被写体ＳＵＢ１が存在している。このため、この例において、追尾対象設定部６３は、指定位置を、位置３２１から被写体ＳＵＢ１の画像データが存在している位置３２２へと補正することができる。注目位置（本例において位置３２１）から見て空間的に近接した位置とは、例えば、注目位置を中心とした一定の大きさを有する領域内の位置である。
【００４７】
また例えば、図１０（ａ）のフレーム画像３４０が表示用画像として表示されているときにおいて、ユーザの指定位置入力操作により表示画面５１上の位置３４１が補正前の指定位置として設定された場合を考える。図１０（ｂ）の画像３５０は、フレーム画像３４０に対応する被写体距離情報としての距離画像である。
【００４８】
位置３４１には、被写体ＳＵＢ３の画像データが存在している。即ち、位置３４１における被写体は被写体ＳＵＢ３である。この場合も、追尾対象設定部６３は、位置３４１から見て空間的に近接した位置に、被写体ＳＵＢ３の被写体距離よりも小さな被写体距離を有する被写体が存在しているかを、ステップＳ１２の被写体距離情報（即ち距離画像３５０）に基づいて判定し、その存在が認められた場合、より小さな被写体距離の被写体の位置に指定位置を補正する。図１０（ａ）の例では、位置３４１から見て空間的に近接した位置に、被写体ＳＵＢ３の被写体距離よりも小さな被写体距離を有する被写体ＳＵＢ１が存在している。このため、この例において、追尾対象設定部６３は、指定位置を、位置３４１から被写体ＳＵＢ１の画像データが存在している位置３４２へと補正することができる。
【００４９】
また例えば、合焦領域内の被写体上の位置に指定位置を補正するようにしても良い。合焦領域とは、ピントが合っている被写体の画像データが存在する画像領域である。合焦距離を内包する被写界深度内に位置している被写体、即ち、被写界深度内の被写体距離を有する被写体にピントが合う。従って、被写界深度内に位置している被写体の画像データが存在する画像領域は、合焦領域に相当する。例えば、図９（ａ）のフレーム画像３２０が表示用画像として表示されているときにおいて、ユーザの指定位置入力操作により表示画面５１上の位置３２１が補正前の指定位置として設定された場合を考える。この際、追尾対象設定部６３は、フレーム画像３２０の撮影時におけるフォーカスレンズ３１の位置及び絞り値等から合焦距離及び被写界深度の深さを求め、求めた合焦距離及び被写界深度の深さとステップＳ１２の被写体距離情報（即ち距離画像３３０）からフレーム画像３２０内における合焦領域を特定する。今、実空間上において被写体ＳＵＢ１が被写界深度内に位置しているとすると、特定された合焦領域内に被写体ＳＵＢ１の画像データが存在することとなる。また、位置３２１は合焦領域内に存在していないものとする。この場合、追尾対象設定部６３は、指定位置を、位置３２１から被写体ＳＵＢ１の画像データが存在している位置３２２へと補正することができる。
【００５０】
補正後の指定位置の情報は追尾処理部６２から表示制御部６４に伝達され、ステップＳ１３による補正の後、ステップＳ１４において、表示制御部６４は、補正後の指定位置を最新のフレーム画像に重畳して表示画面５１に表示させる。補正後の指定位置における被写体の全体を囲む枠などを、最新のフレーム画像に重畳して表示するようにしても良い。この後、ステップＳ１５において、主制御部１３は、ユーザが追尾開始指示操作を成したか否かを判断する。追尾開始指示操作は、ステップＳ１３の補正を承認した上で追尾処理の開始を指示する操作であり、所定のタッチパネル操作等により実現される。追尾開始指示操作が成された場合は、ステップＳ１５からステップＳ１６へと移行して、ステップＳ１６及びステップＳ１６以降の処理が実行される。一方、追尾開始指示操作が成されず、指定位置の再設定を要求する操作等が成された場合にはステップＳ１５からステップＳ１１に戻って、ステップＳ１１からの処理を再度実行する。基本的に表示画面５１上にはフレーム画像列に基づく表示用画像列が動画像として表示されているが、追尾開始指示操作を受け付けている期間中においては、補正後の指定位置と、対応する被写体との対応関係をユーザに分かりやすくするために、表示画面５１上における動画像の再生を一時的に停止するようにしても良い。
【００５１】
追尾対象設定部６３は、ステップＳ１６において、補正後の指定位置における被写体を追尾対象に設定し、続くステップＳ１７において追尾対象の初期登録処理を実行する。例えば、図９（ａ）又は図１０（ａ）の例の如く、位置３２２又は３４２が補正後の指定位置である場合には、被写体ＳＵＢ１が追尾対象に設定される。
【００５２】
初期登録処理は、追尾対象の初期情報を登録する処理であり、図１１のステップＳ３１及びＳ３２の処理から成る。ステップＳ３１では、最新のフレーム画像を初期フレーム画像（基準画像）に設定し、初期フレーム画像内に追尾領域を設定する。初期フレーム画像以降に得られる各フレーム画像を追尾対象フレーム画像（非基準画像）と呼ぶ。追尾領域とは、追尾対象の画像データが存在している画像領域を指す。初期フレーム画像に設定される追尾領域を、特に、初期追尾領域とも呼ぶ。初期追尾領域は、補正後の指定位置を基準として設定される。単純には例えば、補正後の指定位置を中心に配置した、所定の大きさを有する矩形領域を初期追尾領域として設定することができる。但し、初期フレーム画像及び各追尾対象フレーム画像に設定されるべき追尾領域の形状は、矩形に限定されない。
【００５３】
ステップＳ３２において、追尾処理部６２又は追尾対象設定部６３は、初期追尾領域内の画像データから画像特徴量を抽出し、抽出した画像特徴量を含む初期登録情報をメモリ（例えば内部メモリ１４）に保存する。ここで抽出される画像特徴量は、追尾対象の追尾に有益な画像特徴量であり、例えば、色情報、エッジ情報などを含む。初期登録情報に、画像特徴量の他、追尾処理の実行に必要又は有益な様々な情報を含めておくことができる。例えば、初期追尾領域における被写体距離（即ち、初期フレーム画像における追尾対象の被写体距離）、並びに、初期フレーム画像上における初期追尾領域の位置、大きさ及び形状を、初期登録情報に含めておくことができる。
【００５４】
初期登録情報の保存によって、図７のステップＳ１７における初期登録処理が完了すると、ステップＳ１８において追尾処理が開始される。即ち、追尾処理部６２により、ステップＳ１７の処理以後に得られる追尾対象フレーム画像列に対して追尾処理が実行される。追尾処理では、初期フレーム画像の初期追尾領域内の画像データと各追尾対象フレーム画像の画像データに基づいて各追尾対象フレーム画像における追尾対象の位置（換言すれば追尾領域の位置）を検出し、これによって初期フレーム画像及び各追尾対象フレーム画像から成るフレーム画像列上で追尾対象を追尾する。初期登録情報に初期追尾領域の画像特徴量が格納されているため、実際には、初期登録情報と各追尾対象フレーム画像の画像データに基づいて追尾処理を成せばよい。
【００５５】
追尾処理部６２は、公知の任意の追尾処理方法を用いて追尾処理を実行することができる。例えば、色情報に基づいて追尾処理を行うことができるし、色情報に基づく追尾処理の方法として、特開平５−２８４４１１号公報、特開２０００−４８２１１号公報、特開２００１−１６９１６９号公報などに記載の方法を用いることができる。また例えば、特開２００９−１４１４７５号公報などに記載されているような、パターンマッチングを用いた方法によって追尾処理を実行しても良い。
【００５６】
具体的には例えば、初期フレーム画像又は任意の追尾対象フレーム画像である第１フレーム画像内に追尾領域が設定されて第１フレーム画像内の追尾領域の画像特徴量が求められた後、第１フレーム画像の次に得られる第２フレーム画像に対して以下の処理を成せば良い。第２フレーム画像内に、追尾領域の大きさと同程度の大きさを有する評価ブロックを設定して、評価ブロック内における画像の画像特徴量と、第１フレーム画像内の追尾領域の画像特徴量との類似度評価を、評価ブロックの位置を探索範囲内で順次変更しながら実行し、最大の類似度が得られた評価ブロックの位置に第２フレーム画像上の追尾対象が存在すると判断する（即ち、最大の類似度が得られた評価ブロック内の画像領域が第２フレーム画像の追尾領域であると判断する）。第２フレーム画像に対する探索範囲は、第１フレーム画像の追尾領域の位置を基準にして設定される。このような追尾処理により、時間的に連続するフレーム画像間で追尾対象の位置が次々と検出されて、各追尾対象フレーム画像における追尾対象の位置が検出される。
【００５７】
周期的に得られる被写体距離情報をも更に利用して追尾処理を成すようにしても良い。この際、追尾対象の被写体距離の、時間方向における連続性を考慮すれば良い。即ち、時間的に近接したフレーム画像間で追尾対象の被写体距離は大きく相違しないという原理をも利用して（但し、フレーム周期が１／６０秒程度であって且つ追尾対象が人物等であることを想定）、各追尾対象フレーム画像における追尾対象を検出するようにしても良い。例えば、被写体距離情報を考慮して上記の類似度を求めるようにしても良いし、被写体距離情報を考慮して上記の探索範囲に制限を加えるようにしても良い。
【００５８】
ステップＳ１８にて開始された追尾処理は、ユーザによる追尾処理停止指示や追尾対象再指定操作があるまで継続実行される（ステップＳ１９及びＳ２０）。追尾対象再指定操作があった場合には、ステップＳ１１に戻って、ステップＳ１１からの処理が再度実行される。
【００５９】
尚、任意のフレーム画像において、被写体距離が互いに異なる第１〜第ｎ被写体領域を区別する際、被写体距離情報に基づく領域分割処理を利用することができる（ｎは２以上の整数）。第ｉ被写体領域とは第ｉ被写体の画像データが存在する画像領域を指す（ｉは整数）。ｉ及びｊが互いに異なる整数の場合、第ｉ及び第ｊ被写体は互いに異なる被写体であるとする。この領域分割処理によって、フレーム画像の全体画像領域が被写体距離情報に基づき複数の画像領域に分割され、この複数の画像領域の中に第１〜第ｎ被写体領域が含まれるようになる。領域分割処理では、類似した特徴量を持ち且つ空間的に近接した画素の集合が１つのまとまりを形成するように、フレーム画像の全体画像領域を分割する。この集合の形成及び画像領域の分割に、公知の領域統合法（region unification method）等を用いることができる。被写体距離情報に基づく領域分割処理では、被写体距離を特徴量として用いる。
【００６０】
また、上述の説明では、ステップＳ１３において指定位置が補正されることを想定しているが、結果的に補正が成されないこともある。例えば、図９（ａ）の位置３２２がステップＳ１１において指定位置として入力された場合、指定位置の補正は成されない。この場合も、便宜上、位置３２２が補正後の指定位置であると捉えて、ステップＳ１４及びそれ以降の処理を実行すればよい。
【００６１】
注目被写体を追尾対象に指定するための操作（指定位置入力操作）をタッチパネルを用いて行う際、注目被写体の表示サイズが小さい或いは表示画面５１上で注目被写体が動く等の理由によって、指定位置を正確に注目被写体に合わし難いこともある。一方において、ユーザの注目被写体は、一般的に近景側に位置することが多く、他の被写体と比べて比較的短い被写体距離を有することが多い。これを考慮し、上述の如く、被写体距離情報を用いてユーザの指定位置を補正する機能を持たせる。これにより、仮に指定位置が注目被写体を正しく指し示していなかったとしても、ユーザの注目被写体を推測して該注目被写体を追尾対象に設定するといったことが可能となる。結果、ユーザによる追尾対象の指定操作が支援され、正確に且つ容易に所望の被写体を追尾対象に設定することが可能となる。
【００６２】
以下に、上述の動作に適用可能な変形技術などを、第１〜第７応用例として説明する。矛盾なき限り、複数の応用例を組み合わせて実施することも可能である。
【００６３】
［第１応用例］
第１応用例を説明する。ステップＳ１４において、補正前の指定位置及び補正後の指定位置の双方を表示するようにしても良い。例えば、図１０（ａ）の位置３４１及び３４２が夫々補正前及び補正後の指定位置である場合、最新のフレーム画像と共に位置３４１及び３４２を最新のフレーム画像に重畳して表示しても良い。このような表示を成している状態において、ユーザに位置３４１及び３４２の一方を選択させることができる。位置３４１が選択されたならば補正前の指定位置に対応する被写体ＳＵＢ３を追尾対象に設定した上でステップＳ１７及びそれ以後の処理を実行すれば良く、位置３４２が選択されたならば補正後の指定位置に対応する被写体ＳＵＢ１を追尾対象に設定した上でステップＳ１７及びそれ以後の処理を実行すれば良い。
【００６４】
これと類似するが、ステップＳ１４において、補正前の指定位置における被写体の被写体領域及び補正後の指定位置における被写体の被写体領域の双方を表示するようにしても良い。例えば、図１０（ａ）の位置３４１及び３４２が夫々補正前及び補正後の指定位置である場合、最新のフレーム画像と共に被写体ＳＵＢ３の輪郭及び被写体ＳＵＢ１の輪郭を最新のフレーム画像に重畳して表示しても良い。このような表示を成している状態において、ユーザに被写体ＳＵＢ３及びＳＵＢ１の一方を選択させ、被写体ＳＵＢ３が選択されたならば被写体ＳＵＢ３を追尾対象に設定した上でステップＳ１７及びそれ以後の処理を実行すれば良く、被写体ＳＵＢ１が選択されたならば被写体ＳＵＢ１を追尾対象に設定した上でステップＳ１７及びそれ以後の処理を実行すれば良い。
【００６５】
一般に、近景側にユーザ（撮影者）の注目被写体が存在する可能性が高いが、場合によっては、遠景側にユーザの注目被写体が存在することもある。これを考慮し、上記のような選択操作を可能としておけば、指定位置補正の妥当性確認（ユーザによる確認）が可能となり、ユーザの意図どおりに追尾対象を設定することが可能となる。
【００６６】
［第２応用例］
第２応用例を説明する。追尾処理の実行中、フレーム画像列を動画像として表示しつつ、追尾領域を示す枠なども表示するようにしても良い。追尾領域を示す枠などの表示を、追尾領域表示と呼ぶ。追尾領域表示によって、ユーザは、フレーム画像列が表示される表示画面５１上において追尾対象及び追尾領域を確認することができる。尚、追尾処理の実行開始から一定時間が経過するまでの期間を追尾対象再指定期間と捉え、追尾対象再指定期間中だけ追尾領域表示を成すようにしても良い。この際、追尾対象再指定期間中だけ、上述の追尾対象再指定操作（図７参照）を受け付けるようにしても良い。追尾対象を指定しなおしたい場合、ユーザはタッチパネル操作等により追尾対象再指定操作を成すことができる。
【００６７】
［第３応用例］
第３応用例を説明する。図７のフローチャートを図１２のフローチャートへと変更するようにしても良い。即ち、ステップＳ１３における補正処理の完了後、ステップＳ１４及びＳ１５の処理を行うことなく、直ちにステップＳ１３からステップＳ１６へ移行してステップＳ１６及びそれ以降の処理を実行するようにしても良い。この場合、補正後の指定位置に対応する被写体を追尾対象に設定しても良いかの確認機会がユーザに与えられないため、追尾対象の再指定を可能とするべく、上記第２応用例も実施すると良い。
【００６８】
［第４応用例］
第４応用例を説明する。ステップＳ１５のような追尾開始指示操作の有無確認を経てから追尾処理を開始する場合、追尾開始指示操作が成されるまでの間に、追尾対象となるべき注目被写体が大きく移動してしまうことがある。このような大きな移動が発生すると、ステップＳ１６及びＳ１７の処理実行時に、注目被写体が補正後の指定位置に存在しないといったことも発生しうる。これを考慮し、以下のような処理を行うようにしても良い。
【００６９】
ステップＳ１３にて指定位置の補正を行った後、補正前の指定位置における第１被写体及び補正後の指定位置における第２被写体の夫々を暫定的な追尾対象（換言すれば追尾対象候補）と捉えて、追尾開始指示操作の有無に関係なく直ちに、第１被写体に対する追尾処理及び第２被写体に対する追尾処理を個別に実行開始する。そして、第１及び第２被写体の夫々に対して上記の追尾領域表示を行い、この状態で、第１及び第２被写体のどちらか一方を選択する、ユーザの選択操作を受け付ける。この選択操作によって第１被写体が選択された場合には、第１被写体を真の追尾対象に設定した上でステップＳ１７及びそれ以降の処理を実行し、この選択操作によって第２被写体が選択された場合には、第２被写体を真の追尾対象に設定した上でステップＳ１７及びそれ以降の処理を実行すれば良い。
【００７０】
［第５応用例］
指定位置入力操作の例を、第５応用例として説明する。
ステップＳ１１における指定位置入力操作は、例えば、表示画面５１上の一点を指にて触れる操作であり、この場合、その一点の位置そのものが補正前の指定位置となる。
或いは例えば、ステップＳ１１における指定位置入力操作は、指と表示画面５１との接触状態を保ったままで指にて表示画面５１上の特定領域を囲む操作であっても良い。この場合、その特定領域内の位置（例えば特定領域の中心位置又は重心位置）が補正前の指定位置となる。
或いは例えば、フレーム画像を表示している表示画面５１の全体表示領域を水平及び垂直方向に分割して複数の分割表示領域を設定し、何れかの分割表示領域をタッチパネル操作でユーザに選択させることでステップＳ１１の指定位置を決定するようにしても良い。この際、図１３に示す如く、隣接する分割表示領域間の境界線をフレーム画像に重畳して表示すると良い。この場合において、或る分割表示領域内の点を指にて触れたならば、タッチ位置を内包する分割表示領域内の位置（例えば、その分割表示領域の中心位置又は重心位置）が補正前の指定位置となる。尚、図１３において、ドットで満たされた領域は表示部１５の筐体部分を表している（後述の図１７においても同様）。
【００７１】
［第６応用例］
第６応用例を説明する。初期の画像特徴量が抽出されるべき初期追尾領域を、被写体距離情報を用いて決定するようにしても良い。例えば、図１４（ａ）の画像４００が初期フレーム画像であって、被写体ＳＵＢ１が追尾対象に設定された場合を考える（即ち例えば、補正後の指定位置が被写体ＳＵＢ１上の位置であった場合を考える）。初期フレーム画像４００は、森を背景にした状態で人物としての被写体ＳＵＢ１を撮影した画像である。図１４（ｂ）の画像４１０は、初期フレーム画像４００に対応する距離画像（例えば、初期フレーム画像４００の撮影直前、撮影時又は撮影直後の被写体距離検出処理の結果に基づく距離画像）である。
【００７２】
このような場合において、例えば、初期追尾領域を一定の大きさを持つ矩形領域４０１（図１４（ｃ）参照）としたならば、初期追尾領域内に追尾対象以外の被写体（本例において、木や地面）の画像データが含まれる場合がある。初期追尾領域内に追尾対象以外の被写体の画像データが含まれると、初期登録情報の画像特徴量に、追尾対象以外の被写体の画像特徴量が含まれるようになり、追尾精度が劣化する。この劣化は、特に、追尾対象と背景が色などにおいて似通っている場合に顕著となる。これを回避すべく、被写体距離情報としての距離画像４１０を用いて、追尾対象以外の被写体の画像データが初期追尾領域から除外されるように（換言すれば、追尾対象以外の被写体が初期追尾領域に入らないように）、初期追尾領域の位置、大きさ及び形状を設定すると良い。これにより、追尾精度の向上が図られる。
【００７３】
具体的には例えば、距離画像４１０を用いた領域分割処理によって、初期フレーム画像４００の全体画像領域を被写体ＳＵＢ１の被写体領域と被写体ＳＵＢ１の被写体領域以外の画像領域とに切り分け、被写体ＳＵＢ１の被写体領域の全部又は一部を含む領域であって且つ被写体ＳＵＢ１の被写体領域以外の画像領域を含まない領域を初期追尾領域として設定すると良い。図１４（ｄ）の破線４０２で囲まれた領域は、このような初期追尾領域の例である。
【００７４】
［第７応用例］
第７応用例を説明する。追尾結果は様々な形態で利用可能である。例えば、追尾領域内の被写体にピントが合い続けるようにフォーカスレンズ３１の位置を調整したり、追尾領域内の被写体に対する露出が最適化されるようにＩＳＯ感度を調整したり、追尾領域内の被写体のホワイトバランスが最適化されるようにホワイトバランス調整を行ったりすることができる。
【００７５】
また、追尾領域を内包する切り出し領域を各フレーム画像に設定して、切り出し領域内の画像（以下、切り出し画像という）を各フレーム画像から抽出し、切り出し画像列から成る動画像を記録媒体１６に保存しておくこともできる。切り出し領域は追尾領域そのものであっても良い。切り出し画像列から成る動画像を高解像度化してから記録媒体１６に保存するようにしても良い。高解像度化の方法として、例えば、特開２００９−１４７７２７号公報に記載の方法を用いることができる。勿論、各フレーム画像の全体画像データを記録媒体１６に保存しておくことで、フレーム画像列そのものを動画像として記録することも可能である。
【００７６】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とした実施形態であり、第２実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２実施形態にも適用される。
【００７７】
図１５を参照して、第２実施形態の追尾モードにおける動作を説明する。図１５は、追尾モードにおける撮像装置１の動作の流れを表すフローチャートである。撮像装置１の動作モードが追尾モードに設定されると、まず、ステップＳ５１において、距離情報生成部６１は、被写体距離検出処理を実行することで被写体距離情報を生成する。続くステップＳ５２において、追尾対象設定部６３は、ステップＳ５１の被写体距離情報に基づき追尾対象候補を設定する。追尾対象候補は、後述のステップＳ５５にて設定されるべき追尾対象の候補である。
【００７８】
今、追尾対象候補の設定時におけるフレーム画像が、図１６（ａ）の画像５００であった場合を考える。フレーム画像５００には、比較的小さい被写体距離ｄ１を有する被写体ＳＵＢ１及び比較的大きな被写体距離ｄ２を有する被写体ＳＵＢ２の画像データが存在している。また、説明の簡略化上、被写体ＳＵＢ１及びＳＵＢ２の被写体領域以外には、被写体距離がｄ１及びｄ２よりも十分大きい背景被写体が存在しているものとする。図１６（ｂ）の画像５１０は、ステップＳ５１の被写体距離情報に基づく、フレーム画像５００に対応する距離画像である。ステップＳ５２では、例えば、被写体距離が所定距離よりも小さい各被写体が追尾対象候補に設定される。今、被写体距離ｄ１及びｄ２が共に所定距離よりも小さい場合を考える。そうすると、被写体ＳＵＢ１及びＳＵＢ２の夫々が追尾対象候補に設定される。尚、追尾対象候補が１つしか設定されなかった場合には、後述のステップＳ５３及びＳ５４の処理実行を割愛して、その１つの追尾対象候補を追尾対象に設定し、ステップＳ１７及びそれ以降の処理を実行すれば良い。
【００７９】
ステップＳ５２に続くステップＳ５３において、追尾対象設定部６３は、ステップＳ５１にて得られた被写体距離情報に基づき各追尾対象候補に対するタグを生成し、表示制御部６４と協働して各タグをフレーム画像と共に表示画面５１に表示させる。ステップＳ５３における表示画面５１の表示内容例を、図１７に示す。図１７の表示画面５１には、フレーム画像５００と共に、被写体ＳＵＢ１に対応するタグ５２１及び被写体ＳＵＢ２に対応するタグ５２２が表示されている。タグ５２１は、被写体ＳＵＢ１が追尾対象候補の１つであることをユーザに知らせるための指標であり、タグ５２２は、被写体ＳＵＢ２が追尾対象候補の１つであることをユーザに知らせるための指標である。
【００８０】
ここで、表示画面５１上における各タグの大きさは、ステップＳ５１にて得られた被写体距離情報に基づき、対応する追尾対象候補の被写体距離が小さいほど大きくなるように決定される。タグ５２１に対応するＳＵＢ１の被写体距離ｄ１はタグ５２２に対応するＳＵＢ２の被写体距離ｄ２よりも小さいため、表示画面５１上において、タグ５２１の大きさはタグ５２２の大きさよりも大きくなる。図１７の例では、タグ５２１及び５２２の形状が相似となっているが、それらの形状を互いに異ならせても構わない。また、タグと追尾対象候補との対応関係が分かるように、表示画面５１上において、各タグは対応する追尾対象候補の近傍に配置される。この際、タグの表示によって主要な被写体が表示画面５１上で確認しづらくなることを防止すべく、背景被写体の表示領域又は被写体距離が所定距離以上の被写体の表示領域に各タグを表示すると良い。
【００８１】
各タグの表示中、ステップＳ５４において、タッチパネル（タッチ検出体５２）によりユーザによる追尾対象選択操作の入力を受け付け、その入力が成された場合に、ステップＳ５５及びそれ以降の処理を実行する。ステップＳ５４における追尾対象選択操作は、表示画面５１上における何れかのタグを指にて触れることで実現される。何れかのタグを指定するためのタッチ位置を指定位置と呼んだならば、ステップＳ５４における追尾対象選択操作は、ユーザによる指定位置入力操作であると言え、図３のタッチ検出部５２が、その指定位置入力操作を受け付ける操作受付部として機能する。基本的に表示画面５１上にはフレーム画像列に基づく表示用画像列が動画像として表示されているが、追尾対象選択操作を受け付けている期間中においては、その操作を行いやすくするために、表示画面５１上における動画像の再生を一時的に停止するようにしても良い。
【００８２】
ステップＳ５５では、追尾対象選択操作の内容に従い、追尾対象設定部６３が複数の追尾対象候補の中から追尾対象を選択する。即ち、追尾対象選択操作による指定位置と各タグの表示位置との位置関係に基づき追尾対象を設定する。より具体的には、追尾対象選択操作による指定位置がタグ５２１の表示されている位置であるならば、タグ５２１に対応する追尾対象候補（即ち被写体ＳＵＢ１）を追尾対象として設定し、追尾対象選択操作による指定位置がタグ５２２の表示されている位置であるならば、タグ５２２に対応する追尾対象候補（即ち被写体ＳＵＢ２）を追尾対象として設定する。追尾対象の設定後、追尾対象の初期登録処理を経て追尾処理が実行される（ステップＳ１７〜Ｓ２０）。追尾対象の設定後に実行される処理は、第１実施形態で述べたそれと同様である。
【００８３】
尚、上述の例では、追尾対象候補の個数が２であるときの動作を説明したが、その個数が３であるときも同様である。また、追尾対象候補となる被写体の種類を特定の種類（例えば、人物）に限定するようにしても良い。
【００８４】
本実施形態によれば、追尾対象として設定される可能性がより高いと思われる、被写体距離が小さな被写体に対し、表示サイズの大きなタグが生成及び表示され、対応するタグをタッチすれば対応する被写体が追尾対象に設定される。このため、ユーザは、所望の被写体を容易に且つ正確に追尾対象に指定しやすくなる。
【００８５】
矛盾なき限り、第１実施形態で述べた各応用例を本実施形態にも適用することができる。特に例えば、第２実施形態に対する上記第４応用例の適用は有益である。即ち、以下のような動作を行うようにしても良い。ステップＳ５１〜Ｓ５３の処理後、追尾対象選択操作の有無に関係なく直ちに、設定された複数の追尾対象候補の夫々を暫定的な追尾対象と捉えて、各追尾対象候補に対する追尾処理を個別に実行開始する。この追尾処理の実行過程において、表示画面５１上で各追尾対象候補の位置が変化したならば、それに追従するように、各追尾対象候補に対応するタグの表示位置も変化させる。この状態で、ステップＳ５４における追尾対象選択操作を受け付けるようにすると良い。
【００８６】
＜＜変形等＞＞
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施の形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施の形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【００８７】
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００８８】
１  撮像装置
１１  撮像部
１５  表示部
３０  ズームレンズ
３１  フォーカスレンズ
３２  絞り
３３  撮像素子
５１  表示画面
５２  タッチ検出部
６１  被写体距離情報生成部
６２  追尾処理部
６３  追尾対象設定部
【図１】
2012015642.tif 000003
【図２】
2012015642.tif 000004
【図３】
2012015642.tif 000005
【図４】
2012015642.tif 000006
【図５】
2012015642.tif 000007
【図６】
2012015642.tif 000008
【図７】
2012015642.tif 000009
【図８】
2012015642.tif 000010
【図９】
2012015642.tif 000011
【図１０】
2012015642.tif 000012
【図１１】
2012015642.tif 000013
【図１２】
2012015642.tif 000014
【図１３】
2012015642.tif 000015
【図１４】
2012015642.tif 000016
【図１５】
2012015642.tif 000017
【図１６】
2012015642.tif 000018
【図１７】
2012015642.tif 000019
【図１８】
2012015642.tif 000020