(57)【要約】【課題】被写体追跡の性能向上を目的とする。【解決手段】逐次供給される画像から目的とする被写体を追跡する被写体追跡装置であって、追跡対象を表現するヒストグラムと、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させ、照合による類似度が高い上位複数の類似度と部分領域の位置情報を出力するヒストグラムマッチング手段と、ヒストグラムマッチング手段による第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する類似対象領域登録手段を有し、ヒストグラムマッチング手段は、出力する上位複数の類似度と部分領域の位置情報に、類似対象領域登録手段により登録されている領域を含めないことを特徴とする。【選択図】  図２
2016081095.tif 000002
【特許請求の範囲】
【請求項１】
逐次供給される画像から目的とする被写体を追跡する被写体追跡装置であって、
前記画像から目的とする被写体を示す部分領域の画素値のヒストグラムを登録するヒストグラム登録手段と、
前記ヒストグラム登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域の画素値のヒストグラムと照合し、照合する部分領域を変化させ、照合による類似度が高い上位複数の類似度と部分領域の位置情報を出力するヒストグラムマッチング手段と、
前記ヒストグラムマッチング手段による第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する類似対象領域登録手段を有し、
前記ヒストグラムマッチング手段は、出力する上位複数の類似度と部分領域の位置情報に、
前記類似対象領域登録手段により登録されている領域を含めないことを特徴とする被写体追跡装置。
【請求項２】
前記類似対象領域登録手段により登録された情報は、所定の期間保持することを特徴する請求項１に記載の被写体追跡装置。
【請求項３】
被写体追跡において、追跡対象を見つけている状態と一時的に見失っている状態かを判別する追跡状態判別手段を更に有し、前記追跡状態判別手段において、追跡対象を一時的に見失っている場合は、前記類似対象領域登録手段の情報を更新しないことを特徴とする請求項２に記載の被写体追跡装置。
【請求項４】
被写体追跡における追跡対象の位置と、前記類似対象領域登録手段により登録されている領域の位置が近い場合は、当該登録情報を削除することを特徴とする請求項２又は請求項３に記載の被写体追跡装置。
【請求項５】
逐次供給される画像において、画像全体が動いたか否かを判別する動き判別手段を更に有し、前記動き判別手段により画像全体が動いたと判別された場合は、前記前記類似対象領域登録手段により登録されている情報を削除することを特徴とする請求項２乃至請求項４の何れか一項に記載の被写体追跡装置。
【請求項６】
撮像した画像を逐次供給する撮像手段と、
請求項１乃至請求項５の何れか一項に記載の被写体追跡装置と、
前記撮像手段が撮像する際の撮像条件を、前記被写体追跡装置が出力する被写体の情報に応じて制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項７】
逐次供給される画像を表示する表示手段と、
請求項１乃至請求項５の何れか一項に記載の被写体追跡装置と、
前記表示手段が表示する表示条件を、前記被写体追跡装置が出力する被写体の情報に応じて制御する制御手段と、
を備えることを特徴とする表示装置。
【請求項８】
逐次供給される画像から目的とする被写体を追跡する被写体追跡装置の制御方法であって、
前記画像から目的とする被写体を示す部分領域の画素値のヒストグラムを登録するヒストグラム登録工程と、
前記ヒストグラム登録工程により登録されたヒストグラムを用いて、供給された画像の部分領域の画素値のヒストグラムと照合し、照合する部分領域を変化させ、照合による類似度が高い上位複数の類似度と部分領域の位置情報を出力するヒストグラムマッチング工程と、
前記ヒストグラムマッチング工程による第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する類似対象領域登録工程を有し、
前記ヒストグラムマッチング工程は、出力する上位複数の類似度と部分領域の位置情報に、
前記類似対象領域登録工程により登録されている領域を含めないことを特徴とする被写体追跡装置の制御方法。
【請求項９】
請求項８に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラムに関する。
【背景技術】
【０００２】
時系列的に供給される画像から特定の被写体を抽出し、その抽出した被写体を追跡する技術は非常に有用であり、例えば、動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、例えば、通信会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。
【０００３】
また、デジタルスチルカメラやデジタルビデオカメラでは、タッチパネルなどを用いて指定された撮像画像に含まれる任意の被写体を抽出及び追跡して、かかる被写体に対する焦点状態や露出状態を最適化する技術が提案されている（特許文献１及び２参照）。
【０００４】
特許文献１には、撮像画像に含まれる顔の位置を検出（抽出）及び追跡し、かかる顔に対して、焦点を合わせると共に最適な露出で撮像する撮像装置が開示されている。特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。ここで、テンプレートマッチングとは、特定の被写体（追跡対象）を含む画像領域を切り出した部分画像をテンプレート画像として登録し、テンプレート画像と最も類似度が高いまたは相違度が低い領域を画像内において推定し、特定の被写体を追跡する手法である。
【０００５】
なお、テンプレートマッチングでは、タッチパネルなどの入力インターフェイスを用いて画像に含まれる任意の領域を指定し、かかる領域を基準としてテンプレート画像が登録される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
テンプレートマッチングでは、画像データを評価尺度として用いる。テンプレート画像と探索する画像とにおいて、姿勢変化など被写体の見えの変化が大きい場合には、正しい領域を推定できないという課題がある。この課題に対して、マッチングの評価尺度に画像データそのものではなくヒストグラムを利用する方法がある。被写体を示す情報を画像データからヒストグラムに変換することで、曖昧性を持たせ被写体の姿勢変動にロバストな被写体追跡が実現できる。
【０００８】
一方で、ヒストグラムに基づくマッチングでは、特徴量に曖昧性を持たせているため、類似対象との識別ができず類似対象を誤って追跡してしまうことがある。特に、類似対象が存在するシーンにおいて、追跡対象が隠蔽されたタイミングで誤りが発生する可能性が高い。
【０００９】
本発明は、上述した課題に鑑みてなされたものであり、ヒストグラムの類似性に基づく被写体追跡方法において、類似対象を誤って追跡してしまうことを軽減できる被写体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、逐次供給される画像から目的とする被写体を追跡する被写体追跡装置であって、前記画像から目的とする被写体を示す部分領域の画素値のヒストグラムを登録するヒストグラム登録手段と、前記ヒストグラム登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域の画素値のヒストグラムと照合し、照合する部分領域を変化させ、照合による類似度が高い上位複数の類似度と部分領域の位置情報を出力するヒストグラムマッチング手段と、前記ヒストグラムマッチング手段による第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する類似対象領域登録手段を有し、前記ヒストグラムマッチング手段は、出力する上位複数の類似度と部分領域の位置情報に、前記類似対象領域登録手段により登録されている領域を含めないことを特徴とする。
【発明の効果】
【００１１】
本発明の被写体追跡装置によれば、類似対象が存在する場合に誤って追跡してしまう頻度を軽減させ、被写体追跡の性能を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る被写体追跡の構成を示すブロック図である。
【図３】第１の実施形態に係るヒストグラムマッチングを説明する図である。
【図４】第１の実施形態に係る追跡状態判別の状態とその遷移を説明する図である。
【図５】第１の実施形態に係る類似対象領域の登録を説明する図である。
【図６】第１の実施形態に係る被写体追跡処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１４】
［実施例１］
図１は撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、本実施形態では、被写体の画像を撮像するデジタルカメラとして具現化される。また、撮像装置１００は、時系列的に順次供給される画像に含まれる被写体を追跡する被写体追跡装置としても機能する。撮像光学系１０１と、撮像素子１０２と、アナログ信号処理部１０３と、Ａ／Ｄ変換部１０４と、制御部１０５と、画像処理部１０６と、表示部１０７と、記録部１０８と、被写体指定部１０９と、被写体追跡部１１０とを有する。
【００１５】
図１を参照するに、被写体の像を表す光は、撮像光学系１０１によって集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成された撮像素子１０２に入射する。撮像素子１０２は、入射する光の強度に応じた電気信号を画素単位で出力する（即ち、撮像光学系１０１によって形成された被写体の像を光電変換する）。ここで、撮像素子１０２から出力される電気信号は、撮像素子１０２で撮像された被写体の像を示すアナログの画像信号である。
【００１６】
撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、制御部１０５及び画像処理部１０６に入力される。制御部１０５は、ＣＰＵやマイクロコントローラなどであり、撮像装置１００の動作を中央制御する。具体的には、制御部１０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。
【００１７】
画像処理部１０６においては、入力されたデジタル形式の映像信号に対して、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体追跡部１１０から供給される画像中の被写体領域に関する情報を用いた画像処理を行う機能も有する。
【００１８】
画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、被写体追跡部１１０によって追跡している被写体を含む被写体領域を矩形などで表示する。
【００１９】
また、画像処理部１０６から出力された映像信号は、記録媒体１０８、例えば着脱可能なメモリーカードに記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。被写体指定部１０９は、例えば、タッチパネルやボタンなどを含む入力インターフェイスである。ユーザ（撮像者）は、被写体指定部１０９を介して、画像に含まれる任意の被写体を追跡対象に指定することが可能である。
【００２０】
被写体追跡部１１０は、画像処理部１０６から時系列的に順次供給される（即ち、撮像された時刻の異なる）画像（画像信号）に含まれる被写体を追跡する。被写体追跡部１１０は、ヒストグラムの類似性に基づき被写体を追跡する。類似対象を誤って追跡する問題を軽減するための手段を有する。被写体追跡部１１０の詳細は後述する。
【００２１】
制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタを駆動させるアクチュエータなどである。      
【００２２】
制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体追跡部１１０から供給された被写体領域の情報を用いることができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行う。したがって、撮像装置１００では、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。
【００２３】
被写体追跡部１１０に関して詳細を説明する。図２に被写体追跡１１０の構成を示すブロック図を示す。ヒストグラム登録部２０１は、画像処理部１０６から供給される画像データから被写体指定部１０９によって指定された位置情報に基づき、目的とする被写体を示す部分領域を推定し、当該部分領域の画素値のヒストグラムを登録する。この登録されたヒストグラムが追跡対象を表現する被写体モデルとなる。また、被写体指定部１０９による指定に限らず、顔検出など特定の被写体検出部（図示しない）を有し、検出された被写体領域に基づいて、ヒストグラムを登録する構成としても良い。
【００２４】
ヒストグラムマッチング部２０２では、画像処理部１０６から供給される画像データから得られる部分領域のヒストグラムと、ヒストグラム登録部２０１により登録されたヒストグラムとを照合する。照合する部分領域を変化させ、照合による類似度が高い上位複数の類似度と部分領域の位置情報を出力する。ヒストグラムマッチングの詳細に関して図３を用いて説明する。図３の（ａ）は、ヒストグラムマッチングにおける被写体モデルの例を示す。３０１は目的とする追跡対象の領域を示す画像であり、この画像の画素データから生成するヒストグラムを特徴量として扱う。３０２は３０１の特徴量を表現したものである。特徴量は、輝度信号のＭ階調のヒストグラムとすると、下記式で表現される。
【００２５】
【数１】
2016081095.tif 000003
【００２６】
図３の（ｂ）は、追跡対象を探索する画像の情報を示す。３０３はマッチング処理を行う範囲の画像を示す。探索画像における座標は、（x,y）で表現する。３０４は、マッチングの評価値を取得するための部分領域である。部分領域３０４から生成される特徴量を３０５で示す。特徴量は、被写体モデルと同様に輝度信号のＭ階調のヒストグラムとすると、下記式で表現される。
【００２７】
【数２】
2016081095.tif 000004
【００２８】
被写体モデルと部分領域とのヒストグラムの類似性を評価する演算方法として、Bhattacharyya係数を用いる。Bhattacharyya係数は、下記式により算出される。
【００２９】
【数３】
2016081095.tif 000005
【００３０】
部分領域３０４を探索範囲３０３の左上から順に１画素ずつずらしながら、Bhattacharyya係数D(x,y)を演算する。演算されたD(x,y)が最大値を示す座標（x,y）が最も類似した位置を示す。つまり、最大値を示す位置が探索画像において目的とする追跡対象が存在する可能性の高い位置となる。
【００３１】
上述した説明では、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号など３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値の演算方法としてBhattacharyya係数に関して説明したが、ヒストグラムインタセクションなど異なる演算方法を用いても良い。
【００３２】
ヒストグラムマッチング部２０２より出力される類似度の最大値に基づき、追跡状態判別部２０３において追跡の状態判別が行われる。追跡状態判別部２０３における追跡の状態と状態遷移に関して図４を用いて説明する。図４の４０１、４０２、４０３は追跡状態を示し、４０１は追跡対象が見つかっている状態、４０２は追跡対象のオクルージョンやフレームアウトにより追跡対象を一時的に見失っている状態、４０３は追跡を終了する状態を示す。追跡開始時は４０１の状態となり、ヒストグラムマッチング部２０２による類似度の最大値が所定の閾値よりも低ければ４０２の状態に遷移する。
【００３３】
４０２の状態において、ヒストグラムマッチング部２０２による類似度の最大値が所定の閾値よりも高ければ４０１の状態に遷移する。４０２の状態において、４０２の経過時間が所定の時間以上であれば４０３の状態に遷移して追跡を終了する。追跡の状態とともにヒストグラムマッチング部２０２より出力される類似度の最大値を示す部分領域を制御部１０５、画像処理部１０６に供給する。制御部１０５、画像処理部１０６では、追跡状態が４０１の見つかっている状態であれば、被写体領域の情報を用いた制御や処理を行う。
【００３４】
ヒストグラムマッチング部２０２より出力される情報は、類似対象領域登録部２０４にも供給される。類似対象領域登録部２０４では、類似度の最大値だけではなく、上位複数の類似度と部分領域の位置情報を取得する。ヒストグラムマッチングでは、数式３に示したように評価尺度がヒストグラムの類似性であるため、テンプレートマッチングのような画素パターンの類似性よりも特徴が曖昧であり、被写体の見えの変化にロバストな一方で、類似対象と誤りを引き起こしやすい。
【００３５】
そこで、類似対象領域登録部２０４において、第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する。次フレーム以降のヒストグラムマッチング部２０２の出力情報から、この類似対象として登録された領域を除外する。これにより、誤った領域を追跡してしまう問題の発生確率を低下させることができる。
【００３６】
図５を用いて類似対象領域の登録に関して説明する。図５の横軸は類似度算出における部分領域の位置を示し、縦軸は算出された類似度を示す。５０１の波形がヒストグラムマッチング部２０２の演算結果となる。被写体追跡では、２次元画像を処理対象とするため、位置は２次元で表現されるが、説明簡易化のため図５は位置情報を１次元として表現している。５０２は類似度の最大値を示す。５０３は類似度が高いと判断する閾値を示す。５０３は固定値でもあっても、最大値５０２の相対値によって決定される値であってもよい。
【００３７】
最大値よりも離れた位置であって、類似度の高い５０４に示す範囲を類似対象領域として登録する。５０５の範囲では、類似度は高いが最大値を示す位置と近いので類似対象領域として登録しない。
【００３８】
類似対象領域登録部２０４により登録された情報は、所定の期間保持する。言い換えると、所定期間後は削除する。ただし、後述する条件に該当する場合は、この限りではない。追跡状態判別部２０３において、追跡対象を一時的に見失っている場合は、類似対象領域登録部２０４の登録情報を更新しない。つまり、追加登録や登録情報の削除を行わない。これは、誤った領域（追跡対象を示す領域）を類似対象領域として登録すること、登録情報の削除により、誤った領域（追跡対象とは異なる領域）を追跡対象として推定してしまうことを防ぐためである。
【００３９】
また、被写体追跡における追跡対象の位置と、類似対象領域として登録されている領域の位置が近い場合は、当該登録情報を削除する。これは、類似対象と判断していた領域とが追跡対象である可能性が高まったためである。また、画像全体が動いたか否かを判別する動き判別部（図示しない）を更に有し、動き判別部により画像全体が動いたと判別された場合は、類似対象領域として登録されている情報を削除する。
【００４０】
これは画像全体が動いた場合は、保持している類似対象領域の信頼性が低下するためである。動き判別としては、画像全体のフレーム間差分に基づく方法や撮像装置のジャイロ信号に基づく方法など多種の方法やその組み合わせがある。
【００４１】
被写体追跡部１１０の処理の流れを図６のフローチャートを用いて説明する。まず、画像処理部１０６より画像が被写体追跡部１１０の入力画像として供給される（Ｓ６０１）。この入力画像と画像被写体指定部１０９の情報に基づき追跡対象の領域を決定する（Ｓ６０２）。その領域に基づき、ヒストグラム登録部２０１において、ヒストグラムマッチングの被写体モデルであるヒストグラムを登録する（Ｓ６０３）。
【００４２】
次いで、画像処理部１０６より画像が被写体追跡部１１０の入力画像として供給される（Ｓ６０４）。Ｓ６０４の入力画像は被写体追跡部１１０の探索画像を示し、Ｓ６０１とＳ６０４の画像は時刻の異なる画像である。Ｓ６０４の画像に基づき、ヒストグラムマッチング部２０２において、類似度の算出を行う（Ｓ６０５）。算出された類似度において、類似対象領域登録部２０４に登録されている領域に属する位置は、ヒストグラムマッチング部２０２の出力情報から除外する（Ｓ６０６）。つまり、類似対象領域登録部２０４に登録されている位置が、類似度が最大値を示す位置となることはない。
【００４３】
次いで、追跡状態判別部２０３において現在の追跡状態やストグラムマッチング部２０２の出力情報である類似度の最大値から追跡状態を決定する（Ｓ６０７）。追跡状態や状態遷移の条件は上述した図４を用いた説明と同様とする。追跡状態において追跡対象が見つかっている状態（図４の４０１の状態）であれば（Ｓ６０８でＹＥＳと判定）、類似対象領域登録部２０４において、類似対象領域の登録判定を行う（Ｓ６０９）。第１位の類似度を示す部分領域の位置と離れた位置に所定閾値以上の第２位以降の類似度を示す部分領域が存在した場合に、当領域を類似対象領域として登録する。
【００４４】
次いで、登録されている類似対象領域の経過時間に基づく策上判定を行う（Ｓ６１０）。登録時に、領域情報とともに現在時刻を記憶しておき、経過時間が所定時間以上となれば、その登録領域を削除する。また、類似対象領域の追跡位置に基づく削除判定を行う（Ｓ６１１）。被写体追跡における追跡対象の位置と、類似対象領域として登録されている領域の位置が近い場合は、その登録情報を削除する。被写体追跡における追跡対象の位置とは、ヒストグラムマッチング部２０２による出力される類似度が最大となる位置を示す。また、類似対象領域の画像全体の動き判別に基づく削除判定を行う（Ｓ６１２）。
【００４５】
所定の閾値以上の動きが検出されれば、類似対象領域の登録情報の全てを削除する。次いで、Ｓ６０４に戻り、逐次供給される画像に基づき繰り返し処理が実行される。追跡状態が追跡対象を一時的に見失っている状態（図４の４０２の状態）であれば（Ｓ６０８でＮＯと判定され、Ｓ６１３でＹＥＳと判定）、類似対象領域の画像全体の動き判別に基づく削除判定を行う（Ｓ６１２）。つまり、追跡対象が見つかっている状態（図４の４０１の状態）であれば、Ｓ６０９からＳ６１２の類似対象領域の更新処理を行い、追跡対象を一時的に見失っている状態（図４の４０２の状態）であれば、Ｓ６１２の類似対象領域の更新処理のみを行う。
【００４６】
類似対象領域の更新処理が完了すれば、Ｓ６０４に戻り、逐次供給される画像に基づき繰り返し処理が実行される。追跡状態が追跡処理を終了する状態（図４の４０３の状態）であれば（Ｓ６０８でＮＯと判定され、Ｓ６１３でＮＯと判定）、追跡処理を終了する。追跡処理を終了すれば、類似対象領域の登録情報は削除する。
【００４７】
以上により、類似対象が存在する場合に誤って追跡してしまう頻度を軽減させ、被写体追跡の性能を向上させることができる。
【００４８】
［他の実施形態］
上述した実施形態では撮像装置に被写体追跡装置を適用した場合を例示したが、被写体追跡装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体追跡を行う被写体追跡装置を適用してもよい。この表示装置では、再生データを被写体追跡処理のデータとし、被写体追跡処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体追跡処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。
【００４９】
具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【００５０】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００５１】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、磁気記憶媒体、光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００５２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
【００５３】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【００５４】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【符号の説明】
【００５５】
１００  撮像装置、１０１  撮像レンズ、１０２  撮像素子、
１０３  アナログ信号処理部、１０４  Ａ/Ｄ変換部、１０５  制御部、
１０６  画像処理部、１０７  表示部、１０８  記憶媒体、１０９  被写体指定部、
１１０  被写体追跡部、２０１  ヒストグラム登録部、
２０２  ヒストグラムマッチング部、２０３  追跡状態判別部、
２０４  類似対象領域登録部
【図５】
2016081095.tif 000006
【図６】
2016081095.tif 000007
【図１】
2016081095.tif 000008
【図２】
2016081095.tif 000009
【図３】
2016081095.tif 000010
【図４】
2016081095.tif 000011