(57)【要約】      （修正有）【課題】追尾対象を切り換えることなく、容易に被写体を継続して追尾できるようにする追尾制御装置を提供する。【解決手段】ＣＰＵは、フレーム画像において、被写体の一部を構成しかつ該被写体を特徴付ける特徴部である顔部６２と特徴部の周辺に位置する周辺部である頭部６１との少なくとも一方を有するものを、追尾対象として設定する。枠３０ａは、顔部６２及び頭部６１をまとめて１つの追尾対象として囲む。また当該被写体の特徴量等を辞書データに追加することで辞書データを更新する。【選択図】図６
2019201387.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の撮像部から特定の被写体を含んだ連続する複数のフレーム画像を取得する取得部と、前記撮像部に対し前記被写体を含む追尾対象を追尾させるように追尾制御を行う追尾制御部とを備える追尾制御装置であって、
前記追尾制御部は、前記フレーム画像において、前記被写体の一部を構成しかつ該被写体を特徴付ける特徴部と該特徴部の周辺に位置する周辺部との少なくとも一方を有するものを、前記追尾対象として設定することを特徴とする追尾制御装置。
【請求項２】
請求項１において、
前記特徴部は前記被写体の顔部であり、かつ、前記周辺部は前記被写体の頭部であり、
前記頭部の色を示す頭部色情報を検出する頭部色情報検出部を更に備え、
複数の前記フレーム画像に含まれる第１フレーム画像は、前記顔部が位置する第１顔部範囲を有し、
前記頭部色情報検出部が、前記第１フレーム画像の後の第２フレーム画像が有する、前記第１顔部範囲に対応する第２顔部範囲内から、前記頭部の色と同様の色情報を検出した場合、前記追尾制御部は、前記第２顔部範囲内に前記顔部があると判定することを特徴とする追尾制御装置。
【請求項３】
請求項２において、
前記フレーム画像から前記顔部を検出する顔部検出部と、
前記フレーム画像において、前記顔部の上方に位置し、かつ、同様の色情報を所定の面積以上有するものを前記頭部と検出する頭部検出部と、を更に備えることを特徴とする追尾制御装置。
【請求項４】
請求項２又は３において、
前記撮像装置の表示部に前記フレーム画像を表示させる表示制御部、を更に備え、
前記表示制御部は、１つの前記被写体に対して１つの枠を前記表示部に表示させ、
前記枠は、前記顔部及び前記頭部をまとめて１つの前記追尾対象として囲むことを特徴とする追尾制御装置。
【請求項５】
請求項１において、
前記フレーム画像において、前記周辺部の色を示す周辺色情報を検出する周辺色情報検出部を備え、
前記追尾制御部は、前記周辺色情報と同様の色情報を所定の面積以上有するものを前記周辺部であると判定することを特徴とする追尾制御装置。
【請求項６】
請求項５において、
前記特徴部は前記被写体の顔部であり、かつ前記周辺部は前記被写体の胴部であり、
前記フレーム画像から前記顔部を検出する顔部検出部と、
前記フレーム画像から前記胴部を検出する胴部検出部と、を更に備え、
前記胴部検出部は、前記顔部の下方にあるものを前記胴部であると判定することを特徴とする追尾制御装置。
【請求項７】
請求項５又は６において、
前記撮像装置の表示部に前記フレーム画像を表示させる表示制御部、を更に備え、
前記表示制御部は、前記特徴部を囲む第１枠と、前記特徴部及び前記周辺部をまとめて１つの前記追尾対象として囲む第２枠とを前記表示部に表示させることを特徴とする追尾制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追尾制御装置に関する。
【背景技術】
【０００２】
電子カメラ等の撮像装置には、移動する被写体を自動で追尾して撮影するいわゆる追尾機能を備えたものがある。このような追尾機能に関連する技術として、特許文献１が知られている。
【０００３】
具体的に、特許文献１には、被写体の顔部を追尾する顔部追尾部と、胸部等の被写体の顔部の周辺部位を追尾する周辺部位追尾部とを備える追尾制御装置が開示されている。この追尾制御装置は、顔部追尾部で被写体を追尾する一方、顔部の追尾ができないときに周辺部位追尾部で被写体を追尾するように切り換えるようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１２９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のものでは、顔部を追尾できないときに、追尾対象の切換処理といった比較的負荷の高い処理が必要となる。
【０００６】
そこで、本発明は、追尾対象を切り換えることなく、容易に被写体を継続して追尾できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明は、撮像装置の撮像部から特定の被写体を含んだ連続する複数のフレーム画像を取得する取得部と、前記撮像部に対し前記被写体を含む追尾対象を追尾させるように追尾制御を行う追尾制御部とを備える追尾制御装置であって、前記追尾制御部は、前記フレーム画像において、前記被写体の一部を構成しかつ該被写体を特徴付ける特徴部と該特徴部の周辺に位置する周辺部との少なくとも一方を有するものを、前記追尾対象として設定することを特徴とする追尾制御装置である。
【０００８】
第１の発明によれば、例えば特徴部を検出できないときでも、フレーム画像上に周辺部が検出されれば被写体を追尾することができる。このため、被写体を継続して追尾することができる。また、特徴部と周辺部とをまとめて１つの追尾対象にすることもできるので、追尾対象を切り換えることなく、容易に被写体を追尾することができる。
【０００９】
第２の発明は、第１の発明において、前記特徴部は前記被写体の顔部であり、かつ、前記周辺部は前記被写体の頭部であり、前記頭部の色を示す頭部色情報を検出する頭部色情報検出部を更に備え、複数の前記フレーム画像に含まれる第１フレーム画像は、前記顔部が位置する第１顔部範囲を有し、前記頭部色情報検出部が、前記第１フレーム画像の後の第２フレーム画像が有する、前記第１顔部範囲に対応する第２顔部範囲内から、前記頭部の色と同様の色情報を検出した場合、前記追尾制御部は、前記第２顔部範囲内に前記顔部があると判定することを特徴とする追尾制御装置である。
【００１０】
第２の発明によれば、被写体の顔部が認識できないときでも、頭髪や帽子等の色を基に被写体を追尾することができる。例えば、被写体の顔部の向きが変化して、顔部が検出できなくなると共に、それまで顔部が位置していた範囲内に被写体の頭部の色が検出される場合がある。この場合でも、顔部自体が認識できずとも、顔部があると判定するため、継続して被写体を追尾することができる。
【００１１】
第３の発明は、第２の発明において、前記フレーム画像から前記顔部を検出する顔部検出部と、前記フレーム画像において、前記顔部の上方に位置し、かつ、同様の色情報を所定の面積以上有するものを前記頭部と検出する頭部検出部と、を更に備えることを特徴とする追尾制御装置である。
【００１２】
第３の発明によれば、頭部を検出する精度を向上させることができる。
【００１３】
第４の発明は、第２又は第３の発明において、前記撮像装置の表示部に前記フレーム画像を表示させる表示制御部、を更に備え、前記表示制御部は、１つの前記被写体に対して１つの枠を前記表示部に表示させ、前記枠は、前記顔部及び前記頭部をまとめて１つの前記追尾対象として囲むことを特徴とする追尾制御装置である。
【００１４】
第４の発明によれば、表示部に表示される枠が多くなることによって撮像されたフレーム画像が見辛くなることを、抑制することができる。
【００１５】
第５の発明は、第１の発明において、前記フレーム画像において、前記周辺部の色を示す周辺色情報を検出する周辺色情報検出部を備え、前記追尾制御部は、前記周辺色情報と同様の色情報を所定の面積以上有するものを前記周辺部であると判定することを特徴とする追尾制御装置である。
【００１６】
第５の発明によれば、周辺部を検出する精度を向上させることができる。
【００１７】
第６の発明は、第５の発明において、前記特徴部は前記被写体の顔部であり、かつ前記周辺部は前記被写体の胴部であり、前記フレーム画像から前記顔部を検出する顔部検出部と、前記フレーム画像から前記胴部を検出する胴部検出部と、を更に備え、前記胴部検出部は、前記顔部の下方にあるものを前記胴部であると判定することを特徴とする追尾制御装置である。
【００１８】
第６の発明によれば、仮に被写体の顔部が認識できないときでも、胴部における服等の色を基に被写体を追尾することができる。
【００１９】
第７の発明は、第５又は第６の発明において、前記撮像装置の表示部に前記フレーム画像を表示させる表示制御部、を更に備え、前記表示制御部は、前記特徴部を囲む第１枠と、前記特徴部及び前記周辺部をまとめて１つの前記追尾対象として囲む第２枠とを前記表示部に表示させることを特徴とする追尾制御装置である。
【００２０】
第７の発明によれば、表示部において、追尾対象全体と顔部とが確認しやすくなる。
【発明の効果】
【００２１】
本発明によれば、追尾対象の切換処理といった比較的負荷の高い処理が必要とせず、容易に被写体を継続して追尾できる。
【図面の簡単な説明】
【００２２】
【図１】図１は、追尾制御装置である画像処理装置を備えた撮像装置の構成を模式的に示すブロック図である。
【図２】図２は、画像に形成されたブロックの一例を示す図解図である。
【図３】図３は、辞書データの概念の説明図である。
【図４】図４は、評価値データの概念の説明図である。
【図５】図５は、追尾対象の設定／登録動作の流れを示す図である。
【図６】図６は、モニタに表示された画像から追尾対象を選択したときの様子を表す画面例である。
【図７】図７は、追尾対象の検出動作の流れを示す図である。
【図８】図８は、追尾撮影制御動作の流れを示す図である。
【図９】図９は、被写体である人物が振り返ったときの図６相当図である。
【図１０】図１０は、第２実施形態に係る図６相当図である。
【図１１】図１１は、第２実施形態に係る図９相当図である。
【図１２】図１２は、その他の実施形態に係る図６相当図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【００２４】
≪第１実施形態≫
＜概要＞
本実施形態に係る追尾制御装置は、画像処理装置（100）にて構成される。画像処理装置（100）は、様々な撮影モードにて画像を撮像できる撮像装置（10）に備えられており、撮像された画像に対し画像処理を施す。撮像装置（10）としては、具体的には、ビデオカメラやデジタルカメラ等の電子カメラが挙げられる。
【００２５】
特に、撮像装置（10）は、撮影モードの１つとして、撮像装置（10）が概ね固定された状態にて被写体を追尾して撮像する追尾モード機能を有しており、本実施形態に係る画像処理装置（100）は、当該追尾機能を実現するための制御処理も行う。
【００２６】
被写体を撮像装置（10）が撮像し続ける際、撮像装置（10）には、被写体を見失うことなく追尾し続けることが求められる。ところが、被写体自体の動きや環境の変化によって、撮像装置（10）は、被写体を見失い、追尾動作を続けることができなくなる可能性がある。
【００２７】
これに対し、本実施形態の画像処理装置（100）は、被写体の姿勢や環境が変化したとしても撮像装置（10）が被写体を追尾して撮像できるように、追尾制御を行う。
【００２８】
なお、撮像装置（10）が撮像する画像は、連続撮像された複数枚の静止画であってもよいし、動画であってもよいが、以下では、動画である場合を例示する。
【００２９】
＜撮像装置の構成＞
図１に示すように、撮像装置（10）は、追尾制御装置である画像処理装置（100）に加えて、撮像部（11）及びモニタ（30）を備える。
【００３０】
撮像部（11）は、画像を撮像して画像データを得るものであって、ドライバ（18a,18b,18c）、フォーカスレンズ（12）、絞りユニット（14）及びイメージセンサ（20）を有する。
【００３１】
ドライバ（18a,18b,18c）は、フォーカスレンズ（12）、絞りユニット（14）及びイメージセンサ（20）それぞれに対応して接続され、接続された機能部を駆動する。フォーカスレンズ（12）は、被写体にピントを合わせるためのレンズであって、撮像装置（10）の筐体（図示せず）内にて可動に設けられている。絞りユニット（14）は、露光量を調節するためのものである。イメージセンサ（20）は、撮像素子であって、イメージセンサ（20）の受光面には、フォーカスレンズ（12）を経て被写体の光学像が入射される。イメージセンサ（20）は、この光学像に対し光電変換を施すことにより、光学像に対応する生画像信号を生成する。更に、イメージセンサ（20）では、読み出された各フレームの生画像信号に対してノイズ除去とレベル調整とが施される。
【００３２】
このような撮像部（11）を備える撮像装置（10）は、自動で主要被写体にピントを合わせるオートフォーカス機能、及び、自動で露出（換言すると絞りの開口量や露光期間）を制御する自動露出機能を有する。これらの各機能を実現させるべく、撮像部（11）の各ドライバ（18a〜18c）は、後述する画像処理装置（100）のＣＰＵ（32）によって制御される。
【００３３】
モニタ（30）は、図示してはいないが、撮像装置（10）の筐体表面において、ユーザが視認できる位置に設けられている。モニタ（30）は、表示部としての機能を有する。モニタ（30）は、タッチパネル形式の液晶表示パネルで構成されることができ、撮像装置（10）が撮像した画像や、撮像装置（10）の各種設定に用いるメニュー画面等が表示される。
【００３４】
＜画像処理装置の構成＞
本実施形態に係る画像処理装置（100）の構成について、撮影時の動作を交えて具体的に説明する。
【００３５】
画像処理装置（100）は、図１に示すように、信号処理回路（26）、メモリ制御回路（24）、ＳＤＲＡＭ（38）、モニタ用ドライバ（28）、Ｉ／Ｆ回路（34）、メモリカード（36）、ＭＰＥＧコーデック（27）、記憶部（42）、ＣＰＵ（32）及び撮像ボタン（40）を備える。
【００３６】
このうち、信号処理回路（26）は、取得部としての機能を有する。ＣＰＵ（32）は、追尾制御部、頭部検出部、顔部検出部、頭部色情報検出部、としての機能を有する。
【００３７】
信号処理回路（26）は、撮像部（11）に含まれるイメージセンサ（20）から出力された各フレームの生画像信号（ディジタル信号）を次々と取得する。信号処理回路（26）は、前処理回路（26a）と後処理回路（26b）とを有する。
【００３８】
前処理回路（26a）は、取得した生画像データに、ディジタルクランプ、画素欠陥補正、ゲイン制御等の処理を施す。これらの処理を施された生画像データは、メモリ制御回路（24）を介してＳＤＲＡＭ（38）の生画像エリア（38a）に書き込まれる。
【００３９】
後処理回路（26b）は、生画像エリア（38a）に格納された生画像データを、メモリ制御回路（24）を介して読み出し、読み出された生画像データに色分離処理、ホワイトバランス調整処理及びＹＵＶ変換処理を施す。更に、後処理回路（26b）は、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データ及び探索画像データが個別に作成される。表示画像データは、メモリ制御回路（24）によってＳＤＲＡＭ（38）の表示画像エリア（38b）に書き込まれる。探索画像データは、メモリ制御回路（24）によってＳＤＲＡＭ（38）の検索画像エリア（38c）に書き込まれる。
【００４０】
ところで、図２に示すように、被写界（即ち画面）は、垂直方向及び水平方向のそれぞれに例えば１６分割され、画面には２５６個のブロックが形成されている。各ブロックには、垂直位置信号ｉ（ｉは０〜１５の整数）及び水平位置信号ｊ（ｊは０〜１５の整数）が割り当てられる。信号処理回路（26）は、上述した処理に加えて、画像データに係るＲ成分、Ｇ成分及びＢ成分それぞれを上記ブロック毎に積分する処理を更に行う。これによって、Ｒ成分に関する２５６個の積分値ｒ（i,j）、Ｇ成分に関する２５６個の積分値ｇ（i,j）、Ｂ成分に関する２５６個の積分値ｂ（i,j）が、信号処理回路（26）から１フレーム期間毎に出力される。これらの積分値ｒ（i,j）,ｇ（i,j）,ｂ（i,j）は、絞りユニット（14）による露光量及び露光時間の調節をＣＰＵ（32）が行う際の、ＡＥ評価値として用いられる。また、信号処理回路（26）は、上記Ｒ成分、Ｇ成分及びＢ成分それぞれの高周波数成分をブロック毎に積分する処理を更に行う。この積分値は、ＣＰＵ（32）がフォーカスレンズ（12）の位置を最適にする処理を行う際の（即ちオートフォーカス）、ＡＦ評価値として用いられる。
【００４１】
更に、信号処理回路（26）は、画像データに係るＹ成分をブロック毎に積分し、Ｙ成分に関する２５６個の積分値ｙ（i,j）を１フレーム期間毎にＣＰＵ（32）に出力してもよい。
【００４２】
図１に戻り、ＳＤＲＡＭ（38）の表示画像エリア（38b）に格納された各フレームの画像データ（即ち表示画像データ）がメモリ制御回路（24）によって読み出されると、表示制御部としての機能を有するモニタ用ドライバ（28）は、この画像データに基づいてモニタ（30）を駆動する。これにより、モニタ（30）には、被写体のリアルタイム動画像（スルー画像）が表示される。
【００４３】
撮像ボタン（40）の押下によって動画の撮像開始操作が行われると、ＣＰＵ（32）は、動画記録処理を開始するべく、記録開始命令をＭＰＥＧコーデック（27）及びＩ／Ｆ回路（34）に与える。撮像ボタン（40）によって記録終了操作が行われると、ＣＰＵ（32）は、動画記録処理を終了するべく、記録終了命令をＭＰＥＧコーデック（27）及びＩ／Ｆ回路（34）に与える。記録開始命令から記録終了命令までの期間、ＭＰＥＧコーデック（27）は、垂直同期信号（図示せず）に応答して、ＳＤＲＡＭ（38）の検索画像エリア（38c）に格納されたＹＵＶ形式の画像データ（即ち検索画像データ）を、メモリ制御回路（24）を介して繰り返し読み出すと共に、読み出された画像データを所定形式に従って符号化する。Ｉ／Ｆ回路（34）は、記録開始命令から記録終了命令までの期間、符号化された画像データを、ファイル形式でメモリカード（36）に記録する。
【００４４】
なお、メモリカード（36）は、撮像装置（10）の筐体（図示せず）に対して着脱自在に設けられたものである。
【００４５】
ＣＰＵ（32）には、フラッシュメモリ等で構成される記憶部（42）が、電気的に接続されている。記憶部（42）には、追尾対象とする被写体を自動で認識する際に利用される辞書データ（DB1）、及び、追尾撮影制御時に利用される評価値データ（DB2）が格納されている。
【００４６】
図３は、辞書データ（DB1）の概念を一例として表したものである。図３の辞書データ（DB1）には、人物の特徴量のデータ（G1）が登録されている。特徴量には、被写体の輝度、明度、彩度、色相、色成分、形状（即ち輪郭、エッジ成分）、方位、これらの組合せ等が挙げられる。本実施形態では、辞書データ（DB1）に登録される特徴量が、被写体の色成分である場合を例示する。
【００４７】
以下では、辞書データ（DB1）に含まれる、追尾対象の候補となる被写体の色成分特徴量を「色情報」と称する。
【００４８】
なお、上記辞書データ（DB1）には、個々の被写体毎の特徴量が登録されていてもよいし、被写体の種類毎に特徴量を平均化した値が登録されていてもよい。例えば、被写体が人物である場合、顔の色は肌色のため、人物に係る上記データ（G1）には、肌色の平均化した値を登録することができる。
【００４９】
図４は、評価値データ（DB2）の概念を一例として表したものである。図４の評価値データ（DB2）には、追尾対象である特定の被写体毎に、色成分特徴量に基づく色評価値が、対応づけて記憶される。具体的に、図４では、追尾対象である特定の被写体の番号“001”と、色評価値“Clr1”とが、１レコードとして記憶され、特定の被写体の番号“002”と、色評価値“Clr2”とが、１レコードとして記憶されている。
【００５０】
色評価値とは、追尾対象の被写体の色成分特徴量と、辞書データ（DB1）内の色情報との照合度を表した値である。
【００５１】
なお、フレーム画像毎に算出される色評価値は、評価値データ（DB2）内に、フレーム画像毎に常に更新される。
【００５２】
ＣＰＵ（32）は、上述した撮像部（11）のドライバ（18a〜18c）、信号処理回路（26）、メモリ制御回路（24）、モニタ用ドライバ（28）、ＭＰＥＧコーデック（27）、Ｉ／Ｆ回路（34）と、バスを介して電気的に接続されている。ＣＰＵ（32）は、上述した各種処理の他、信号処理回路（26）からの各積分値を用いた撮像シーン（夜景シーン等）の判定処理、撮影シーンの判定結果に応じた撮影条件の設定処理、設定された撮影条件下でのＡＥ評価値に基づく露出調整指令出力、ＡＦ評価値に基づくオートフォーカス調整指令出力、信号処理回路（26）に対する色合い調整指令出力等を行う。
【００５３】
特に、本実施形態に係るＣＰＵ（32）は、追尾撮影に関する処理として、追尾対象の設定／登録処理、追尾対象の検出処理、追尾撮影制御処理を行う。
【００５４】
追尾対象の設定／登録処理とは、モニタ（30）に写し出されている画面にユーザが直接触れることで、追尾して撮影することを希望する被写体を選択した際に、選択された対象をＣＰＵ（32）が辞書データ（DB1）に書き込む処理である。
【００５５】
追尾対象の検出処理とは、撮像装置（10）が追尾モードに設定されている際に、検索画像エリア（38c）内の検索画像データから、辞書データ（DB1）に記憶されている追尾対象の被写体の存在をＣＰＵ（32）が自動で検索する処理である。
【００５６】
追尾撮影制御処理とは、撮像装置（10）が追尾モードに設定されている際に、追尾対象と決定された特定の被写体を、撮像部（11）が追尾して撮像できるように、撮像部（11）の追尾動作を制御する処理である。
【００５７】
＜追尾モードに関する動作＞
以下では、追尾モードに関して画像処理装置（100）が行う動作として、追尾対象の設定／登録動作、追尾対象の検出動作、追尾撮影制御動作について詳述する。
【００５８】
―追尾対象の設定／登録動作―
図５は、追尾対象の設定／登録動作の流れを表す図である。
【００５９】
先ず、モニタ（30）には、表示画像データに係る画像が、当該画像内の被写体を選択可能なように表示される（ステップＳ１１）。
【００６０】
ステップＳ１１の画面上から、追尾対象とするべき被写体がユーザによって選択された場合（ステップＳ１２のＹｅｓ）、ＣＰＵ（32）は、被写体の一部を構成しかつ被写体を特徴付ける特徴部と、特徴部の周辺に位置する周辺部と、を設定する（ステップＳ１３）。例えば、被写体が人物である場合、ＣＰＵ（32）は、フレーム画像から被写体の顔部（62）を検出し、顔部（62）を特徴部に設定する。ＣＰＵ（32）は、顔部（62）の上方に位置し、かつ、同様の色情報を所定の面積以上有する色の固まりを頭部（61）と検出して、頭部（61）を周辺部に設定する。ＣＰＵ（32）は、頭部（61）の色を示す頭部色情報を検出する。頭部色情報としては、例えば、頭髪や帽子の色が検出される。
【００６１】
ＣＰＵ（32）は、選択された被写体を枠（30a）が囲った状態の画面が表示されるように（即ち、ステップＳ１１の画面に枠（30a）を重ねて表示するように）、モニタ用ドライバ（28）を駆動させる（ステップＳ１４）。具体的に、ＣＰＵ（32）は、図６に示すように、１つの被写体に対して１つの枠（30a）をモニタ（30）に表示させる。図６では、一例として、モニタ（30）には、追尾対象として人物の顔部（62）及び頭部（61）が選択された画面例を表す。この場合、枠（30a）は、顔部（62）及び頭部（61）をまとめて１つの追尾対象として囲む。
【００６２】
枠（30a）に囲われた被写体を追尾対象の被写体として登録する操作がユーザによってなされると（ステップＳ１５のＹｅｓ）、ＣＰＵ（32）は、枠（30a）内の被写体を、追尾対象として設定すると共に、当該被写体の特徴量等を辞書データ（DB1）に追加することで辞書データ（DB1）を更新する。（ステップＳ１６）。具体的に、ＣＰＵ（32）は、顔部（62）と頭部（61）との少なくとも一方を有するものを、追尾対象として設定する。なお、図６では、一例として、顔部（62）及び頭部（61）が、まとめて１つの追尾対象として設定された場合を例示している。
【００６３】
ステップＳ１５にて登録操作がなされない場合（ステップＳ１５のＮｏ）、追尾対象の設定及び辞書データ（DB1）の更新が行われることなく、図５の一連の動作が終了する。
【００６４】
―追尾対象の検出動作―
図７は、追尾対象の検出動作の流れを示す図である。
【００６５】
先ず、撮像装置（10）において追尾モードが設定されているとする（ステップＳ２１のＹｅｓ）。この状態で、撮像ボタン（40）が押下されると（ステップＳ２２のＹｅｓ）、追尾対象が既に設定済みでない限り（ステップＳ２３のＮｏ）、ＣＰＵ（32）は、現在検索画像エリア（38c）内に格納されている検知画像データ内の被写体の特徴量を算出する（ステップＳ２４）。ここで算出される特徴量には、被写体の色成分等が含まれる。なお、特徴量の算出については、特に限定されず、従来から知られている手法を用いることができる。
【００６６】
次いで、ＣＰＵ（32）は、辞書データ（DB1）に登録済みの、各被写体の特徴量を読み出し（ステップＳ２５）、ステップＳ２４で算出した特徴量と読み出した特徴量とを照合する（ステップＳ２６）。照合した結果、ＣＰＵ（32）は、特徴量が一致する可能性が高いと判断した場合（ステップＳ２６のＹｅｓ）、検索画像エリア（38c）内に格納されている画像データ内の被写体を、追尾対象に設定する（ステップＳ２７）。
【００６７】
ステップＳ２６において、ステップＳ２４で算出した特徴量と一致する可能性の高い被写体が辞書データ（DB1）内に存在しない場合（ステップＳ２６のＮｏ）、ＣＰＵ（32）は、検索画像データ内には追尾対象が存在しない旨の情報及び追尾対象の設定登録を勧める旨の情報がモニタ（30）に表示されるように、モニタ用ドライバ（28）を駆動させる（ステップＳ２８）。この場合、ユーザの操作によっては図５の動作が行われる。
【００６８】
なお、ステップＳ２１にて追尾モードが設定されていない場合（ステップＳ２１のＮｏ）、ステップＳ２３にて追尾対象が既に設定済みであった場合（ステップＳ２３のＹｅｓ）、ステップＳ２７及びＳ２８が行われることなく追尾対象の検出動作は終了する。
【００６９】
―追尾撮影制御動作―
図８は、追尾撮影制御動作の流れを示す図である。
【００７０】
本動作は、図８に示すように、図７に係る追尾対象の検出動作を経て（ステップＳ３１）、追尾対象が設定済みの状態となった後に（ステップＳ３２のＹｅｓ）、行われる。従って、追尾対象が設定済みでない場合は（ステップＳ３２のＮｏ）、本動作は行われない。
【００７１】
なお、本動作で撮像される画像は、追尾対象である特定の被写体が写し出された動画である。それ故、信号処理回路（26）は、撮像部（11）から、特定の被者体を含んだ連続する複数のフレーム画像を取得する。当該フレーム画像を用いて、ＣＰＵ（32）は、撮像部（11）に対し特定の被写体を含む追尾対象を追尾させるように以下に述べる特定の被写体の追尾制御を行う。
【００７２】
ＣＰＵ（32）は、撮像部（11）に追尾撮影を開始させる（ステップＳ３３）。これにより、撮像部（11）のドライバ（18a〜18c）は、設定済みの特定の被写体を自動で追尾して撮像するように、フォーカスレンズ（12）等を動作させる。
【００７３】
動画撮影の間、信号処理回路（26）は、連続する複数のフレーム画像を次々と撮像部（11）から取得し、逐次処理を行っていく。ＣＰＵ（32）は、連続するフレーム画像毎に、色情報を検出する処理を開始する（ステップＳ３４）。
【００７４】
撮像ボタン（40）の押下が解除された場合（ステップＳ３５のＹｅｓ）、図８に係る一連の動作が終了する。
【００７５】
―具体例―
図６及び図９を用いて、追尾撮影制御動作の具体例について説明する。
【００７６】
ここでは、図６に示すように、被写体としての人物の顔部（62）及び頭部（61）がユーザによって追尾対象とされた場合を例示する。図６は、複数のフレーム画像のうち、被写体の顔部（62）及び頭部（61）が検出された第１フレーム画像（51）を示す。上述したように、被写体の顔部（62）及び頭部（61）は、１つの枠（30a）に囲まれている。ＣＰＵ（32）は、第１フレーム画像（51）内に、顔部（62）が位置する第１顔部範囲（31）を検出する。なお、第１顔部範囲（31）は、モニタ（30）上には表示されない。
【００７７】
被写体の向きが変わると、被写体の顔部（62）が検出されなくなる場合がある。図９は、第１フレーム画像（51）の後の第２フレーム画像（52）を示す。ＣＰＵ（32）は、第２フレーム画像（52）内に第１顔部範囲（31）に対応する第２顔部範囲（33）を検出する。なお、第２顔部範囲（33）は、モニタ（30）上には表示されない。ＣＰＵ（32）は、第２顔部範囲（33）に頭部（61）の色と同様の色情報を検出した場合、第２顔部範囲（33）内に顔部（62）があると判定（推定）して、追尾対象の追尾を継続する。第２フレーム画像（52）において、枠（30a）は、頭部（61）及び第２顔部範囲（33）を囲む。
【００７８】
なお、上述したように、ＣＰＵ（32）は、顔部（62）と頭部（61）との少なくとも一方を有するものを、追尾対象として設定する。このため、被写体の顔部（62）又は頭部（61）が検出できないときでも、追尾対象の追尾を継続する。
【００７９】
＜効果＞
本実施形態の追尾制御装置である画像処理装置（100）は、例えば特徴部としての顔部（62）が検出できないときでも、フレーム画像上に周辺部としての頭部（61）が検出されれば被写体を追尾することができる。このため、被写体を継続して追尾することができる。また、顔部（62）と頭部（61）とをまとめて１つの追尾対象にすることもできるので、追尾対象を切り換えることなく、容易に被写体を追尾することができる。
【００８０】
また、被写体の顔部（62）が認識できないときでも、頭髪や帽子等の色を基に被写体を追尾することができる。上述のように、被写体の顔部（62）の向きが変化して、顔部（62）が検出できなくなると共に、それまで顔部（62）が位置していた範囲内に頭部（61）の色が検出される場合がある。この場合でも、顔部（62）自体が認識できずとも、顔部（62）があると判定（推定）するので、継続して被写体を追尾することができる。従って、例えば、顔部（62）をズームにして撮影していた場合等、顔部（62）が検出できなくなる前後において頭部（61）が検出されなかった場合でも、継続して被写体を追尾することができる。
【００８１】
さらに、ＣＰＵ（32）は、同様の色情報を所定の面積以上有する色の固まりを頭部（61）と検出する。このため、頭部（61）を検出する精度を向上させることができる。
【００８２】
また、１つの枠（30a）が、顔部（62）及び頭部（61）をまとめて１つの追尾対象として囲む。このため、モニタ（30）に表示される枠が多くなることによって撮像されたフレーム画像が見辛くなることを、抑制することができる。
【００８３】
≪第２実施形態≫
上記第１実施形態では、周辺部は被写体の頭部（61）である場合について説明したが、本実施形態では、周辺部は被写体の胴部（63）である場合について説明する。ここでは、図１０及び図１１に基づいて、本実施形態の画像処理装置（100）について、実施形態１と異なる点を説明する。
【００８４】
ＣＰＵ（32）は、上述した顔部検出部としての機能に加え、胴部検出部と周辺色情報検出部としての機能を有する。
【００８５】
―追尾対象の設定／登録動作―
本実施形態の追尾対象の設定／登録動作では、ＣＰＵ（32）は、被写体の顔部（62）を特徴部に設定する。ＣＰＵ（32）は、顔部（62）の下方に位置し、かつ、同様の色情報を所定の面積以上有する色の固まりを胴部（63）と検出して、胴部（63）を周辺部に設定する。ＣＰＵ（32）は、胴部（63）の色を示す周辺色情報を検出する。周辺色情報としては、例えば、服の色が検出される。ＣＰＵ（32）は、図１０に示すように、頭部及び顔部（62）を囲む第１枠（30b）と、頭部、顔部（62）及び胴部（63）をまとめて１つの追尾対象として囲む第２枠（30c）とを表示させる。
【００８６】
枠（30b,30c）に囲われた被写体を追尾対象の被写体として登録する操作がユーザによってなされると、ＣＰＵ（32）は、被写体を、追尾対象として設定すると共に、当該被写体の特徴量等を辞書データ（DB1）に追加することで辞書データ（DB1）を更新する。具体的に、ＣＰＵ（32）は、顔部（62）と胴部（63）との少なくとも一方を有するものを、追尾対象として設定する。
【００８７】
＜追尾撮影制御動作＞
図１０及び図１１を用いて、本実施形態における追尾撮影制御動作の具体例について説明する。
【００８８】
ここでは、図１０は、複数のフレーム画像のうち、被写体の顔部（62）及び胴部（63）が検出された第１フレーム画像（51）を示す。上述したように、被写体の顔部（62）及び頭部は、第１枠（30b）に囲まれている。被写体の頭部、顔部（62）及び胴部（63）は、第２枠（30c）に囲まれている。
【００８９】
被写体の向きが変わると、被写体の顔部（62）が検出されなくなる場合がある。図１１は、第１フレーム画像（51）の後の第２フレーム画像（52）を示す。ＣＰＵ（32）は、第２フレーム画像（52）に胴部（63）を検出した場合、胴部（63）の上部に顔部（62）があると判定して、追尾対象の追尾を継続する。第２フレーム画像（52）において、枠（30a）は、胴部（63）及び胴部（63）の上部を囲む。
【００９０】
＜効果＞
本実施形態は、上記第１実施形態とは異なる以下の効果を奏する。
【００９１】
本実施形態によれば、被写体の顔部（62）が認識できないときでも、顔部（62）の周辺部に相当する胴部（63）における服等の色を基に被写体を追尾することができる。
【００９２】
また、モニタ（30）には、被写体の顔部（62）及び頭部を囲む第１枠（30b）と、被写体の頭部、顔部（62）及び胴部（63）を囲む第２枠（30c）とが表示される。このため、モニタ（30）において、追尾対象全体と特徴部である顔部（62）とが確認しやすくなる。
【００９３】
≪その他の実施形態≫
上記第１及び第２実施形態では、１人の人物を追尾対象として説明した。しかし、複数の被写体をまとめて１つの追尾対象としてもよい。例えば、図１２に示すように、１人の人物（65）と人物（65）の周辺に位置する１匹の犬（66）とをまとめて１つの追尾対象とすることができる。この場合、追尾対象の設定／登録動作では、ＣＰＵ（32）は、人物（65）を特徴部に設定し、犬（66）を周辺部に設定する。ＣＰＵ（32）は、人物（65）を囲む第１枠（30b）と、人物（65）と犬（66）とをまとめて１つの追尾対象として囲む第２枠（30c）とを表示させる。このように、周辺部は、人体に関する部位に限定されずともよい。
【００９４】
追尾制御装置である画像処理装置（100）は、動画が撮像される場合のみならず、静止画が複数枚連続して撮像されるような場合にも適用することができる。
【００９５】
追尾制御装置は、図１において、信号処理回路（26）、ＣＰＵ（32）及び記憶部（42）のみを備えた構成であることができる。
【００９６】
辞書データ（DB1）の更新動作は必須ではない。
【００９７】
形状閾値及び色閾値は、固定値ではなく、評価値に基づいて適宜補正されてもよい。
【産業上の利用可能性】
【００９８】
本発明は、特定の被写体を連続して追尾することができる追尾制御装置として有用である。
【符号の説明】
【００９９】
１０  撮像装置
１１  撮像部
２６  信号処理回路（取得部）
２８  モニタ用ドライバ（表示制御部）
３０  モニタ（表示部）
３０ａ  枠
３０ｂ  第１枠
３１  第１顔部範囲
３２  ＣＰＵ（追尾制御部、頭部色情報検出部、顔部検出部、頭部検出部、周辺色情報検出部、胴部検出部）
３３  第２顔部範囲
４２  記憶部
５１  第１フレーム画像（フレーム画像）
５２  第２フレーム画像（フレーム画像）
６１  頭部（周辺部）
６２  顔部（特徴部）
６３  胴部（周辺部）
ＤＢ１  辞書データ
１００  画像処理装置（追尾制御装置）
【図１】
2019201387.tif 000003
【図２】
2019201387.tif 000004
【図３】
2019201387.tif 000005
【図４】
2019201387.tif 000006
【図５】
2019201387.tif 000007
【図６】
2019201387.tif 000008
【図７】
2019201387.tif 000009
【図８】
2019201387.tif 000010
【図９】
2019201387.tif 000011
【図１０】
2019201387.tif 000012
【図１１】
2019201387.tif 000013
【図１２】
2019201387.tif 000014