(57)【特許請求の範囲】
【請求項１】
第１の画像データ内の追尾対象領域から得られる色情報に基づいて、色相を所定の分類単位で分類し、前記第１の画像データ内の追尾対象領域の中心から各画素までの距離と、前記分類単位のそれぞれに対応する画素の数と、に基づいて、前記分類単位で分類したヒストグラムを生成し、前記ヒストグラムに基づいて、複数の特徴色と複数の前記特徴色のそれぞれの特徴度とを決定する決定手段と、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成手段と、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量を求め、前記第１の相関量に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定手段と、
を有することを特徴とする被写体追尾装置。
【請求項２】
前記決定手段は、前記ヒストグラムの縦軸の数値に基づいて、複数の前記特徴色のそれぞれの特徴度を求めることを特徴とする請求項１に記載の被写体追尾装置。
【請求項３】
前記決定手段は、前記特徴度が所定の条件を満たす分類単位に対応する色相を前記特徴色として決定することを特徴とする請求項１又は２に記載の被写体追尾装置。
【請求項４】
前記決定手段は、複数のフレームの画像データから生成された複数のヒストグラムを合成し、合成されたヒストグラムに基づいて前記特徴色を決定することを特徴とする請求項１乃至３の何れか１項に記載の被写体追尾装置。
【請求項５】
前記決定手段は、相対的に新しく得られたフレームから得られたヒストグラムに対する比重が重くなるように、複数の前記ヒストグラムを合成することを特徴とする請求項４に記載の被写体追尾装置。
【請求項６】
第１の画像データ内の追尾対象領域における特徴色を決定する決定手段と、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成手段と、
前記第１の画像データ内の追尾対象領域から、輝度に応じた階調を持つ第５の画像データを生成し、前記第２の画像データから、輝度に応じた階調を持つ第６の画像データを生成する第２の生成手段と、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量と、前記第６の画像データの領域ごとに求めた前記第５の画像データとの相関量である第２の相関量と、に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定手段と、
を有することを特徴とする被写体追尾装置。
【請求項７】
前記設定手段は、前記第２の相関量に所定の閾値より大きい値が存在する場合、前記第２の相関量に基づいて抽出された領域を前記第２の画像データにおける追尾対象領域として設定し、前記第２の相関量に所定の閾値より大きい値が存在しない場合、前記第１の相関量に基づいて抽出された領域を前記第２の画像データにおける追尾対象領域として設定することを特徴とする請求項６に記載の被写体追尾装置。
【請求項８】
前記第１の生成手段は、前記複数の特徴色のうち、最も高い特徴度を有する特徴色を第１の特徴色とし、前記第１の特徴色とは異なる特徴色の特徴度と、前記第１の特徴色の特徴度と、を比較することで、前記第３の画像データの画素ごとの値、及び、前記第４の画像データの画素ごとの値を求めることを特徴とする請求項１乃至７の何れか１項に記載の被写体追尾装置。
【請求項９】
請求項１乃至８の何れか１項に記載の被写体追尾装置と、
前記第１の画像データ及び前記第２の画像データに変換する画像信号を取得するための
撮像素子と、
を有することを特徴とする撮像装置。
【請求項１０】
被写体追尾装置が実行する被写体追尾方法であって、
第１の画像データ内の追尾対象領域から得られる色情報に基づいて、色相を所定の分類単位で分類し、前記第１の画像データ内の追尾対象領域の中心から各画素までの距離と、前記分類単位のそれぞれに対応する画素の数と、に基づいて、前記分類単位で分類したヒストグラムを生成し、前記ヒストグラムに基づいて、複数の特徴色と複数の前記特徴色のそれぞれの特徴度とを決定する決定ステップと、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成ステップと、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量を求め、前記第１の相関量に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定ステップと、
を含むことを特徴とする被写体追尾方法。
【請求項１１】
被写体追尾装置が実行する被写体追尾方法であって、
第１の画像データ内の追尾対象領域における特徴色を決定する決定ステップと、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成ステップと、
前記第１の画像データ内の追尾対象領域から、輝度に応じた階調を持つ第５の画像データを生成し、前記第２の画像データから、輝度に応じた階調を持つ第６の画像データを生成する第２の生成ステップと、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量と、前記第６の画像データの領域ごとに求めた前記第５の画像データとの相関量である第２の相関量と、に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定ステップと、
を含むことを特徴とする被写体追尾方法。
【請求項１２】
コンピュータに、
第１の画像データ内の追尾対象領域から得られる色情報に基づいて、色相を所定の分類単位で分類し、前記第１の画像データ内の追尾対象領域の中心から各画素までの距離と、前記分類単位のそれぞれに対応する画素の数と、に基づいて、前記分類単位で分類したヒストグラムを生成し、前記ヒストグラムに基づいて、複数の特徴色と複数の前記特徴色のそれぞれの特徴度とを決定する決定ステップと、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成ステップと、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量を求め、前記第１の相関量に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定ステップと、
を実行させるためのプログラム。
【請求項１３】
コンピュータに、
第１の画像データ内の追尾対象領域における特徴色を決定する決定ステップと、
前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成ステップと、
前記第１の画像データ内の追尾対象領域から、輝度に応じた階調を持つ第５の画像データを生成し、前記第２の画像データから、輝度に応じた階調を持つ第６の画像データを生成する第２の生成ステップと、
前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量と、前記第６の画像データの領域ごとに求めた前記第５の画像データとの相関量である第２の相関量と、に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ内の追尾対象領域において被写体を追尾する技術に関するものである。
【背景技術】
【０００２】
特許文献１には、画像データ中の任意の被写体を追尾する方法として、画像データ中の被写体の特徴色を抽出し、異なる画像データから特徴色を持つ領域を検出することにより追尾を行う技術が開示されている。特許文献１に開示される技術においては、追尾対象領域内の画像データと画像データ全体との特徴色を抽出する。そして、追尾対象領域内の画像データに特有で且つ安定して抽出することができる特徴色の領域を１、それ以外の領域を０とする２値画像データを用いて追尾することで追尾精度を向上させている。また、輝度の場合も同様に、追尾対象領域内の画像データと画像データ全体との特徴的な輝度を抽出する。そして、追尾対象領域内の画像データに特有で且つ安定して抽出することができる特徴的な輝度の領域を１、それ以外の領域を０とする２値画像データを用いて追尾することで追尾精度を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８１９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示される技術では、追尾に利用する特徴色を１色のみ抽出し、特徴色に基づいて画像データ中の探索領域を２値化して追尾を行っている。従って、主被写体が複数の色で構成されるシーンでは、特徴色として抽出できる部分が少なくなるため、ノイズや外乱の影響を受けやすくなる。また、２値化したデータを用いてマッチングを行っているため、精度が荒く、加えて階調や色調の変化が小さいシーンにおいて追尾精度を確保することができないといった問題がある。色ではなく輝度を用いる場合にも、特徴的な輝度を利用して２値化を行っているため、同様の問題が発生する。
【０００５】
そこで、本発明の目的は、被写体を精度よく追尾することにある。
【課題を解決するための手段】
【０００６】
本発明の被写体追尾装置は、第１の画像データ内の追尾対象領域から得られる色情報に基づいて、色相を所定の分類単位で分類し、前記第１の画像データ内の追尾対象領域の中心から各画素までの距離と、前記分類単位のそれぞれに対応する画素の数と、に基づいて、前記分類単位で分類したヒストグラムを生成し、前記ヒストグラムに基づいて、複数の特徴色と複数の前記特徴色のそれぞれの特徴度とを決定する決定手段と、前記第１の画像データ内の追尾対象領域から、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第３の画像データを生成し、前記第１の画像データとは別のフレームの第２の画像データから、複数の前記特徴色のそれぞれの特徴度に応じた階調を持つ第４の画像データを生成する第１の生成手段と、前記第４の画像データの領域ごとに前記第３の画像データとの相関量である第１の相関量を求め、前記第１の相関量に基づいて、前記第２の画像データにおける追尾対象領域を設定する設定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体を精度よく追尾することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の主要構成を示す図である。
【図２】被写体追尾部における対象物の追尾処理を示すフローチャートである。
【図３】色相空間とヒストグラムとを示す図である。
【図４】図２のステップＳ２０２、Ｓ２０５の処理を具体的に示す図である。
【図５】テンプレート画像データから第１の輝度画像データを生成する処理と、探索領域画像データから第１の輝度画像データを生成する処理とを示す図である。
【図６】図２のステップＳ２０７における探索処理を説明するための図である。
【図７】テンプレート画像データから第２の輝度画像データを生成する処理と、探索領域画像データから第２の輝度画像データを生成する処理とを示す図である。
【図８】図２のステップＳ２０３における特徴色決定処理の詳細を示すフローチャートである。
【図９】図３（ａ）の部分色相空間と画素（ｘ，ｙ）のＵＶ信号との対応関係を示す図である。
【図１０】図３（ｂ）に示すヒストグラムの作成において、各部分色相空間に属する画素にかける補正値について示す図である。
【図１１】図８のステップＳ８１４における処理について説明するための図である。
【図１２】図２のステップＳ２１０における追尾対象の位置の決定処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
図１は、本発明の実施形態に係る撮像装置の主要構成を示す図である。図１に示すように、撮像装置１１２は、被写体追尾部１００、撮像素子１０８、撮像光学系操作部１０９、操作部１１０及び表示部１１１を備える。被写体追尾部１００は、画像取得部１０１、画像記憶部１０２、システム制御部１０３、画像変換処理部１０４、相関演算部１０５及び追尾情報記憶部１０６を備える。なお、被写体追尾部１００は、被写体追尾装置の適用例となる構成である。
【００１１】
画像取得部１０１は、撮像素子１０８から画像信号を取得し、Ａ／Ｄ変換を行った後にＹＵＶ形式の画像データに変換し、画像記憶部１０２に対して出力する。ここで、本実施形態で用いるＹＵＶ形式の画像データは、輝度信号であるＹ信号（０〜２５５の値をとる）と色差信号であるＵＶ信号（−１２８〜１２７の値をとる）とを持つ。画像記憶部１０２は、画像取得部１０１から出力された画像データを記憶する。システム制御部１０３は、撮像装置１１２を統括制御する。画像変換処理部１０４は、画像記憶部１０２から画像データを読み出して画像処理を行うことにより２枚の輝度画像データを生成する。相関演算部１０５は、画像変換処理部１０４によって生成された２枚の輝度画像データのうち、一方の輝度画像データをテンプレート画像データとし、他方の輝度画像データ内において上記一方の輝度画像データと最も相関量が高い領域を探索する。追尾情報記憶部１０６は、被写体位置、相関量といった追尾処理用のデータを記憶する。なお、画像取得部１０１、システム制御部１０３、画像変換処理部１０４及び相関演算部１０５は、マイクロコンピュータがＲＯＭに記憶されるコンピュータプログラムを実行することにより実現される機能的な構成である。また、画像記憶部１０２及び追尾情報記憶部１０６は、ＲＡＭの一部記憶領域に対応する構成である。
【００１２】
撮像素子１０８は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。撮像光学系操作部１０９は、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。操作部１１０は、レリーズボタンを有し、ユーザからの操作を受け付ける。表示部１１１は、撮像装置１１２の設定状況を表示したり、撮影後に生成されたサムネイル画像データを表示する。なお、本実施形態に係る撮像装置１１２は、静止画像データ及び動画像データの何れも撮像することができる。
【００１３】
以下では、上述した被写体追尾部１００において任意の対象物を追尾する処理の一例について説明する。図２は、被写体追尾部１００における対象物の追尾処理を示すフローチャートである。なお、図２に示す対象物の追尾処理は、操作部１１０におけるレリーズボタンが半押しされることにより開始される。
【００１４】
対象物の追尾処理が開始されると、ステップＳ２０１において、画像取得部１０１は、撮像素子１０８から画像信号を取得し、Ａ／Ｄ変換を行った後、ＹＵＶ形式の画像データに変換して画像記憶部１０２に対して出力し、記憶させる。
【００１５】
ステップＳ２０２において、システム制御部１０３は、画像記憶部１０２からｍ枚目（ｍ＝１、２、・・・）の画像データを読み出す。そして、システム制御部１０３は、ｍ枚目の画像データ（第１の画像データ）から追尾対象領域に該当する部分を抽出し、テンプレート画像データを生成する。ここで、追尾開始位置は画像データの中心とし、追尾対象領域の大きさは、追尾情報記憶部１０６に設定してある数値（ＬＴｘ，ＬＴｙ）とする。追尾対象領域に該当する画像データの抽出が完了すると、システム制御部１０３は、当該画像データをテンプレート画像データとして追尾情報記憶部１０６に対して出力し、記憶させる。
【００１６】
ステップＳ２０３において、システム制御部１０３は、テンプレート画像データにおける特徴色を決定する。特徴色の決定には、図３に示す色相空間とヒストグラムとが用いられる。図３（ａ）に示す色相空間３０１は、色相環で構成される空間であり、部分色相空間３０２は、色相空間３０１を１２等分した空間である。部分色相空間３０２はそれぞれ、Ｒｅｄ、Ｒｅｄ−Ｙｅｌｌｏｗ、Ｙｅｌｌｏｗ、Ｙｅｌｌｏｗ−Ｇｒｅｅｎ、Ｇｒｅｅｎ、Ｇｒｅｅｎ−Ｃｙａｎ、Ｃｙａｎ、Ｃｙａｎ−Ｂｌｕｅ、Ｂｌｕｅ、Ｂｌｕｅ−Ｍａｇｅｎｔａ、Ｍａｇｅｎｔａ、Ｍａｇｅｎｔａ−Ｒｅｄの色相の領域を持ち、これらが特徴色の候補となる。本実施形態において、部分色相空間３０２は、色相空間３０１を１２等分したものとしたが、各部分色相空間３０２の大きさは均等でなくてもよいし、部分色相空間３０２の数もテンプレート画像データ内の色の分布等によって数を変更してもよい。
【００１７】
図３（ｂ）に示すヒストグラム３０３は、テンプレート画像データの各画素を色差成分（色情報）に基づいて、分類単位である部分色相空間３０２に分類し、横軸を各部分色相空間３０２、縦軸をそれぞれの部分色相空間３０２に分類された画素の数に後述する補正値をかけて作成される。ここで、ヒストグラム３０３の縦軸の数値を、その部分色相空間３０２に対応する色の特徴度とする。但し、画素の色差成分が閾値以下であれば、無彩色空間（ＭＴ: Ｍｏｎｏｔｏｎｅ）に分類し、部分色相空間３０２に属さない画素として扱う。なお、ヒストグラム生成処理については図８を用いて詳細に説明する。また、色差成分に基づいて各画素を部分色相空間３０２に分類する処理は、色相決定手段の処理例である。
【００１８】
システム制御部１０３は、特徴色とヒストグラムとを追尾情報記憶部１０６に対して出力し、記憶させる。ここで特徴色はヒストグラムの上位３色であり、特徴度の高い順に第１の特徴色〜第３の特徴色が決定される。ヒストグラムの上位何色を特徴色とするかについては、上記のような固定値を用いたり、ある所定値以上の特徴度を持つ色相は全て特徴色としたり、特徴度の合計値が所定値に達するまで特徴色を選択するようにしてもよい。このように特徴色を決定する条件は任意である。
【００１９】
ステップＳ２０４において、システム制御部１０３は、ｍ＋１枚目の画像データ（第２の画像データ）が画像記憶部１０２に記憶されるのを待ち、記憶されると、当該ｍ＋１枚目の画像データを読み出す。ステップＳ２０５において、システム制御部１０３は、ｍ＋１枚目の画像データから探索領域に該当する部分を抽出することにより探索領域画像データを生成する。探索領域画像データを生成すると、システム制御部１０３は、探索領域画像データを追尾情報記憶部１０６に対して出力し、記憶させる。
【００２０】
図４は、図２のステップＳ２０２、Ｓ２０５の処理を具体的に示す図である。図４において、４０１はｍ枚目の画像データであり、４０３はｍ＋１枚目の画像データである。ステップＳ２０２においては、ｍ枚目の画像データ４０１から追尾対象領域４０２に該当する部分が抽出されることにより、テンプレート画像データ４０５が生成される。また、ステップＳ２０５においては、ｍ＋１枚目の画像データから探索領域４０４に該当する部分が抽出されることにより、探索領域画像データ４０６が生成される。ｍ枚目の画像データ４０１及びｍ＋１枚目の画像データ４０３はともにカラー画像データである。図４におけるＲＹ、Ｙ、Ｒ、Ｇ、Ｃ、ＭＴの表記は、それぞれＲｅｄとＹｅｌｌｏｗの中間色（Ｒｅｄ−Ｙｅｌｌｏｗ）、Ｙｅｌｌｏｗ、Ｒｅｄ、Ｇｒｅｅｎ、Ｃｙａｎ、Ｍｏｎｏｔｏｎｅを表しており、対応する模様の部分がその色であることを示している。
【００２１】
図４の例では、ｍ枚目の画像データ４０１の中央付近に位置する人物の胴体付近を追尾対象領域４０２としている。追尾対象領域４０２の指定方法は、ユーザがタッチパネル等の操作機器で任意の位置を指定してもよいし、被写体の追尾処理の開始直前にピントを合わせていた画像データ中の位置としてもよい。なお、探索領域４０４の位置は、ｍ枚目の画像データ４０１における追尾対象領域４０２と同心となるように設定され、探索領域４０４の大きさは、追尾情報記憶部１０６において設定される数値（ＬＳｘ，ＬＳｙ）となる。
【００２２】
ステップＳ２０６において、システム制御部１０３は、ステップＳ２０２又は後述するステップＳ２１２で生成したテンプレート画像データ４０５と、ステップＳ２０５で生成した探索領域画像データ４０６とを追尾情報記憶部１０６から読み出す。そしてシステム制御部１０３は、テンプレート画像データ４０５と探索領域画像データ４０６とを画像変換処理部１０４に対して出力する。なお、ステップＳ２０６は、第１の生成手段の処理例である。
【００２３】
画像変換処理部１０４は、テンプレート画像データ４０５及び探索領域画像データ４０６のそれぞれから各画素の輝度信号（Ｙ信号）を抽出する。そして画像変換処理部１０４は、テンプレート画像データ４０５及び探索領域画像データ４０６のそれぞれについて、抽出した輝度信号のみで構成される第１の輝度画像データを生成する。
【００２４】
図５は、テンプレート画像データ４０５から第１の輝度画像データ５０１を生成する処理と、探索領域画像データ４０６から第１の輝度画像データ５０２を生成する処理とを示す図である。なお、テンプレート画像データ４０５及び探索領域画像データ４０６はＹＵＶ形式の画像データである。そのため、第１の輝度画像データ５０１及び５０２は、元となるカラー画像データ（テンプレート画像データ４０５、探索領域画像データ４０６）の色差信号をカットすることにより生成することができる。画像変換処理部１０４は、第１の輝度画像データ５０１及び５０２を生成すると、相関演算部１０５に対して出力する。
【００２５】
ステップＳ２０７において、相関演算部１０５は、第１の輝度画像データ５０１及び５０２に対して輝度値によるマッチングを行うことにより、探索領域画像データ４０６内においてテンプレート画像データ４０５と最も相関が高い領域を探索する。なお、ステップＳ２０７は、第１の演算手段の処理例である。
【００２６】
図６は、図２のステップＳ２０７における探索処理を説明するための図である。図６においては、探索領域画像データ４０６の第１の輝度画像データ６０２を、左上を原点（０，０）とし、１画素右へ進むに従ってｘ軸値を１加算し、１画素下へ進むに従ってｙ軸値を１加算する２次元座標（ｘ，ｙ）に見立てている。相関演算部１０５は、第１の輝度画像データ６０２に対して、第１の輝度画像データ６０１を（０，０）から１画素ずつずらしながらマッチングを行い、それぞれの位置における相関量を計算する。相関量は、領域間の同じ位置にある画素の輝度差の総和を表すＳＡＤ値から算出するものとする。第１の輝度画像データ６０１が第１の輝度画像データ６０２中の任意の位置（ｉ，ｊ）にあるときの相関量は次の式１によって計算される。
相関量＝｛１−（（ｉ，ｊ）のＳＡＤ値／最大ＳＡＤ値）｝×１００・・・式１
ここで、最大ＳＡＤ値とはＳＡＤ値が取り得る最大の数値である。従って、式１により相関量は０〜１００の数値をとる。
【００２７】
相関演算部１０５は、全ての位置でマッチングが終了すると、最も相関が高かった位置（ｉ，ｊ）を次の画像データにおける追尾対象の位置とし、追尾対象の位置（ｉ，ｊ）の相関量とともにシステム制御部１０３に出力する。システム制御部１０３は、第１の輝度画像データに基づく追尾結果として、追尾対象の位置（ｉ，ｊ）と当該追尾対象の位置（ｉ，ｊ）の相関量とを追尾情報記憶部１０６に対して出力し、記憶させる。
【００２８】
ステップＳ２０８において、システム制御部１０３は、特徴色とヒストグラムとを追尾情報記憶部１０６から読み出し、ヒストグラムによって示される特徴色の特徴度に基づいて、当該特徴色に対応する第２の輝度画像データの輝度値を計算する。その後、システム制御部１０３は、計算結果を画像変換処理部１０４に出力する。ここで、第ｋの特徴色（２≦ｋ≦ｎ）に対応する第２の輝度画像データの輝度値は次の式２によって求められる。
第ｋの特徴色に対応する第２の輝度画像データの輝度値＝（第ｋの特徴色の特徴度／第１の特徴色の特徴度）×最大輝度値・・・式２
但し、特徴色として採用されなかった色相に対しては、システム制御部１０３は輝度値０を設定する。ここで、式２に示す最大輝度値は、本実施形態で扱うＹＵＶ形式の画像データが取り得る最大の輝度値であり、その値はＹ＝２５５である。
【００２９】
また、システム制御部１０３は、ステップＳ２０２又はＳ２１２において生成したテンプレート画像データ４０５と、ステップＳ２０５において生成した探索領域画像データ４０６とを追尾情報記憶部１０６から読み出す。そしてシステム制御部１０３は、テンプレート画像データ４０５と探索領域画像データ４０６とを画像変換処理部１０４に対して出力する。画像変換処理部１０４は、テンプレート画像データ４０５及び探索領域画像データ４０６のそれぞれから各画素の色差信号（ＵＶ信号）を抽出する。
【００３０】
そして画像変換処理部１０４は、抽出した色差信号に基づいて、特徴色と一致する色差信号を持つ領域に対して式２で求めた輝度値を設定し、テンプレート画像データ４０５及び探索領域画像データ４０６のそれぞれから第２の輝度画像データを生成する。その後、画像変換処理部１０４は、テンプレート画像データ４０５から生成した第２の輝度画像データと、探索領域画像データ４０６から生成した第２の輝度画像データとを相関演算部１０５に対して出力する。
【００３１】
図７は、テンプレート画像データ４０５から第２の輝度画像データ７０１を生成する処理と、探索領域画像データ４０６から第２の輝度画像データ７０２を生成する処理とを示す図である。図７において、第２の輝度画像データ７０１は、テンプレート画像データ４０５における特徴色と一致する色差信号を持つ領域を高輝度とし、それ以外の色差信号を持つ領域を輝度値０とすることにより生成されることを示している。また、第２の輝度画像データ７０２についても同様に、探索領域画像データ４０６における特徴色と一致する色差信号を持つ領域を高輝度とし、それ以外の色差信号を持つ領域を輝度値０とすることにより生成されることを示している。
【００３２】
ステップＳ２０９において、相関演算部１０５は、第２の輝度画像データ７０１、７０２に対して、ステップＳ２０７と同様にマッチングによる相関演算を行う。そして相関演算部１０５は、最も相関が高い位置（ｉ’，ｊ’）と当該位置（ｉ’，ｊ’）の相関量とをシステム制御部１０３に対して出力する。システム制御部１０３は、最も相関が高い位置（ｉ’，ｊ’）と当該位置（ｉ’，ｊ’）の相関量とを、追尾対象の位置（ｉ’，ｊ’）と当該追尾対象の位置（ｉ’，ｊ’）の相関量として追尾情報記憶部１０６に出力し、記憶させる。なお、上記の追尾対象の位置（ｉ’，ｊ’）及び当該追尾対象の位置（ｉ’，ｊ’）の相関量が、第２の輝度画像データに基づく追尾結果となる。なお、ステップＳ２０８は、第２の生成手段の処理例である。ステップＳ２０９は、第２の演算手段の処理例である。
【００３３】
ステップＳ２１０において、システム制御部１０３は、ステップＳ２０７における第１の輝度画像データに基づく追尾結果と、ステップＳ２０９における第２の輝度画像データに基づく追尾結果とを追尾情報記憶部１０６から読み出す。そしてシステム制御部１０３は、第１の輝度画像データに基づく追尾結果における相関量と、第２の輝度画像データに基づく追尾結果における相関量とから何れかの追尾結果を選択する。次にシステム制御部１０３は、その追尾結果における追尾対象の位置（ｔｘ，ｔｙ）を採用し、追尾情報記憶部１０６に記憶させる。そしてシステム制御部１０３は、採用した追尾対象の位置（ｔｘ，ｔｙ）を撮像光学系操作部１０９に対して出力する。
【００３４】
但し、第１の輝度画像データに基づく追尾結果における相関量と第２の輝度画像データの追尾結果における相関量との双方が所定値よりも小さい場合、システム制御部１０３は、追尾対象を見失ったと判断し、追尾対象喪失の信号を出力する。なお、ステップＳ２１０の詳細については、図８に示すフローチャートを用いて説明する。
【００３５】
ステップＳ２１１において、撮像光学系操作部１０９は、入力した追尾対象の位置（ｔｘ，ｔｙ）に基づいて、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。但し、撮像光学系操作部１０９は、追尾対象喪失の信号を受信した場合、絞りの開口径の変化及びフォーカスレンズの移動は行わない。ステップＳ２１２において、システム制御部１０３は、追尾情報記憶部１０６から追尾対象の位置（ｔｘ，ｔｙ）の相関量を読み出し、相関量が予め設定された閾値よりも高いか否かを判定する。相関量が閾値よりも高い場合、システム制御部１０３は、探索領域画像データ４０６と追尾対象領域４０２の大きさの設定値（ＬＴｘ，ＬＴｙ）とを追尾情報記憶部１０６から読み出す。そしてシステム制御部１０３は、探索領域画像データ４０６内の追尾対象の位置（ｔｘ，ｔｙ）に該当する大きさ（ＬＴｘ，ＬＴｙ）の領域を抽出し、次の画像データ（ｍ＋１枚目の画像データ）における追尾処理のためのテンプレート画像データ４０５として追尾情報記憶部１０６に対して出力し、記憶させる。一方、上記相関量が予め設定された閾値以下である場合、システム制御部１０３は、ｍ枚目のテンプレート画像データ４０５に対応する領域を探索領域画像データ４０６から抽出し、次の画像データ（ｍ＋１枚目の画像データ）におけるテンプレート画像データ４０５として追尾情報記憶部１０６に対して出力し、記憶させる。なお、ステップＳ２１１は、第１の抽出手段、第２の抽出手段、選択手段の処理例である。
【００３６】
ステップＳ２１３において、システム制御部１０３は、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されていない場合、システム制御部１０３は被写体の追尾処理を終了させる。一方、レリーズボタンが半押し又は全押しされた場合、システム制御部１０３は被写体の追尾処理を継続させる。これにより、処理はステップＳ２０３に戻る。ここで、次の画像データ（ｍ＋１枚目の画像データ）における追尾対象領域４０２の位置は、前の画像データ（ｍ枚目の画像データ）における追尾対象の位置（ｔｘ，ｔｙ）となる。
【００３７】
次に、図８に示すフローチャートを参照しながら、図２のステップＳ２０３における特徴色決定処理について詳細に説明する。ステップＳ８０１において、システム制御部１０３は、図３（ａ）に示すように、色相環で構成される色相空間３０１を１２個に分割し、部分色相空間３０２を生成する。ステップＳ８０２において、システム制御部１０３は、テンプレート画像データの垂直画素数と同じ回数だけステップＳ８０３〜Ｓ８０６の処理を繰り返す。このとき、システム制御部１０３は、ｙを繰り返し回数のカウント値として定義し、ｙの値がテンプレート画像データの垂直画素数未満であるうちはステップＳ８０３〜Ｓ８０６の処理を繰り返す。ステップＳ８０３において、システム制御部１０３は、テンプレート画像データの水平画素数と同じ回数だけステップＳ８０４〜Ｓ８０６までの処理を繰り返す。このとき、システム制御部１０３は、ｘを繰り返し回数のカウント値として定義し、ｘの値がテンプレート画像データの水平画素数未満であるうちはステップＳ８０４〜Ｓ８０６の処理を繰り返す。
【００３８】
ステップＳ８０４において、システム制御部１０３は、画素（ｘ，ｙ）からテンプレート画像データの中心点までの距離Ｄｉｓt（ｘ，ｙ）を計算する。ステップＳ８０５において、システム制御部１０３は、Ｄｉｓｔ（ｘ，ｙ）に基づいて、画素（ｘ，ｙ）に重要度を設定する。このとき、システム制御部１０３は、Ｄｉｓｔ（ｘ，ｙ）の値が小さければ小さいほど、重要度が大きくなるように設定する。ステップＳ８０６において、システム制御部１０３は、画素（ｘ，ｙ）のＵＶ信号に基づいて、画素（ｘ，ｙ）が属する部分色相空間３０２を決定する。
【００３９】
図９は、図３（ａ）の部分色相空間３０２と画素（ｘ，ｙ）のＵＶ信号との対応関係を示す図である。即ち、図９において、縦軸をＶの値、横軸をＵの値とする２次元座標領域が色相空間３０１に対応しており、ＵＶ信号によってどの部分色相空間３０２に属するかを表している。ここで、図９中の各領域内の文字はその領域の色を示すものであり、ＲはＲｅｄ、ＲＹはＲｅｄ−Ｙｅｌｌｏｗ、ＹはＹｅｌｌｏｗ、ＹＧはＹｅｌｌｏｗ−Ｇｒｅｅｎ、ＧはＧｒｅｅｎ、ＧＣはＧｒｅｅｎ−Ｃｙａｎ、ＣはＣｙａｎ、ＣＢはＣｙａｎ−Ｂｌｕｅ、ＢはＢｌｕｅ、ＢＭはＢｌｕｅ−Ｍａｇｅｎｔａ、ＭはＭａｇｅｎｔａ、ＭＲはＭａｇｅｎｔａ−Ｒｅｄを表す。
【００４０】
ステップＳ８０７において、システム制御部１０３は、ステップＳ８０６で各画素を分類した各部分色相空間３０２において、それぞれに分類された各画素の重要度の総和を計算し、総和値を部分色相空間３０２の特徴度とする。図１０は、図３（ｂ）に示すヒストグラム３０３の作成において、各部分色相空間３０２に属する画素にかける補正値について示す図である。ここでは、この補正値を重要度と呼び、重要度はテンプレート画像データ４０５の中心に近い画素に高い数値が設定され、遠い画素に低い数値が設定されている。これにより、テンプレート画像データ４０５の中心により近く、またテンプレート画像データ４０５の中により多く存在する色相の特徴度が高くなる。画素の重要度を設定する利点としては、カメラ撮影時においては、多くの場合、追尾対象を追尾対象領域の中心に捉えるため、追尾対象領域の中心にある追尾対象の色の特徴度が高くなり、追尾対象の色が抽出されやすくなることが挙げられる。
【００４１】
ステップＳ８０８において、システム制御部１０３は、各部分色相空間３０２の特徴度に基づいてヒストグラム（図３（ｂ）の３０３）を作成し、追尾情報記憶部１０６に対して出力する。この現在の画像データ（追尾開始からｍ枚目の画像データ）のヒストグラムをＨ（ｍ）とする。なお、ステップＳ８０８は、ヒストグラム生成手段の処理例である。
【００４２】
ステップＳ８０９において、システム制御部１０３は、過去の画像データにおける全てのヒストグラムを参照するため、追尾処理開始からの撮影枚数（ｍ枚）分、ステップＳ８１０〜Ｓ８１４を繰り返す。このとき、システム制御部１０３は、ｉを繰り返し回数のカウント値として定義し、ｍ−ｉの値が０以上であるうちはステップＳ８１０〜Ｓ８１４を繰り返し実行する。
【００４３】
ステップＳ８１０において、システム制御部１０３は、現在の画像データ（ｍ枚目の画像データ）よりもｉ枚目前に生成されたヒストグラムＨ（ｍ−ｉ）を追尾情報記憶部１０６から読み出す。ステップＳ８１１において、システム制御部１０３は、ヒストグラムＨ（ｍ−ｉ）の各部分色相空間３０２の特徴度に対してｉの数値に基づいた補正をかける。この補正は、ｉが大きければ大きいほど特徴度を小さくするような補正である。ステップＳ８１２において、システム制御部１０３は、ｉ枚目前の追尾結果における相関量を追尾情報記憶部１０６から読み出す。ここで読み出した相関量をＣＯＲ（ｍ−ｉ）とする。
【００４４】
ステップＳ８１３において、システム制御部１０３は、ヒストグラムＨ（ｍ−ｉ）の各部分色相空間３０２の特徴度に対して、相関量ＣＯＲ（ｍ−ｉ）に基づいた補正値をかける。この補正は、相関量ＣＯＲ（ｍ−ｉ）が高ければ高いほど特徴度を大きくするような補正である。ステップＳ８１４において、システム制御部１０３は、現在の画像データのヒストグラムＨ（ｍ）の各部分色相空間３０２の特徴度にヒストグラムＨ（ｍ−ｉ）の各部分色相空間３０２の特徴度を加算する。なお、このヒストグラムの各部分色相空間３０２の特徴度の加算処理は、合成手段の処理例である。
【００４５】
図１１は、図８のステップＳ８１４における処理について説明するための図である。本実施形態では、追尾対象の色の特徴度を高めるために、現在の画像データのヒストグラムに対し、過去の画像データで生成されたヒストグラムとの足し合わせを行う。追尾対象の色の特徴度を高めるためにヒストグラムの足し合わせを行う理由としては、撮像装置を用いて連続撮影を行う場合、時々刻々と移り変わりやすい背景色に対し、追尾対象は各画像データの追尾対象領域内に共通して存在する可能性が高いためである。つまり、ヒストグラムの足し合わせを行った場合、様々な色に変化することで特徴度が分散する背景色よりも、比較的変化の小さい追尾対象の色の方が特徴度が高くなり、追尾対象の抽出精度が向上することを期待できるのである。図１１の例では、上段の画像データにおいて、（１）→（２）→（３）はフレーム番号を表しており、フレーム番号の順に時間が経過していることを示している。また、画像データ中の破線の枠はテンプレート画像データの領域を表している。中段のヒストグラムは、それぞれのテンプレート画像データから生成されるヒストグラムである。下段のヒストグラムは、（１）、（２）、（３）の各画像データにおいて、現在の画像データと過去の全ての画像データのヒストグラムとを足し合わせて生成されたヒストグラムを表している。図１１より、過去の画像データとの足し合わせを行ったヒストグラムは、現在の画像データで生成されたヒストグラムと比較して追尾対象色であるＲｅｄの特徴度が高くなっていることが分かる。
【００４６】
ステップＳ８１０〜Ｓ８１４の処理は、例えばある画像データにおいて追尾対象が小さく、背景の範囲が大きくなった場合の、追尾精度低下を軽減することに貢献する。現在の画像データで生成されるヒストグラムのみを用いて特徴色を決定する場合、テンプレート画像データにおいて背景が支配的となると背景色の特徴度が高くなってしまい、背景を対象として追尾してしまいやすくなる。この対策としては、追尾開始時の最初の画像データの特徴色を使用し続ける方法が考えられるが、この方法では追尾対象の色が変化した場合に追尾対象を見失ってしまう。そこで、過去の画像データとの加重平均により生成したヒストグラムを用いることにより、過去に追尾対象として認識され続けてきた色の特徴度が相対的に大きくなる。また、相対的に新しい画像データのヒストグラムの比重が重くなるため、色の変化にも柔軟に対応することができる。
【００４７】
ステップＳ８１５において、システム制御部１０３は、ステップＳ８０９〜Ｓ８１４において生成されたヒストグラムＨ（ｍ）の各部分色相空間３０２のうち、特徴度の高い上位３色を特徴色として決定する。なお、ステップＳ８１５は、特徴色決定手段の処理例である。
【００４８】
次に、図１２を参照しながら、図２のステップＳ２１０における追尾対象の位置の決定処理について詳細に説明する。ステップＳ１２１６において、システム制御部１０３は、ステップＳ２０７（第１の輝度画像データによる相関演算）及びステップＳ２０９（第２の輝度画像データによる相関演算）で計算された追尾対象の位置と相関量とを追尾情報記憶部１０６から読み出す。そして、システム制御部１０３は、第１の輝度画像データによる相関演算の相関量と閾値１とを比較し、閾値１より第１の輝度画像データによる相関演算の相関量の方が大きいか否かを判定する。閾値１より第１の輝度画像データによる相関演算の相関量の方が大きい場合、処理はステップＳ１２１７に移行する。一方、第１の輝度画像データによる相関演算の相関量が閾値１以下である場合、処理はステップＳ１２１８に移行する。
【００４９】
ステップＳ１２１７において、システム制御部１０３は、第１の輝度画像データを用いた探索結果を追尾対象の位置として出力する。ステップＳ１２１８において、システム制御部１０３は、第２の輝度画像データによる相関演算の相関量と閾値２とを比較し、閾値２より第２の輝度画像データによる相関演算の相関量の方が大きいか否かを判定する。閾値２より第２の輝度画像データによる相関演算の相関量の方が大きい場合、処理はステップＳ１２１９に移行する。一方、第２の輝度画像データによる相関演算の相関量が閾値２以下である場合、処理はステップＳ１２２０に移行する。
【００５０】
ステップＳ１２１９において、システム制御部１０３は、第２の輝度画像データを用いた探索結果を追尾対象の位置として出力する。ステップＳ１２２０において、システム制御部１０３は、第１の輝度画像データ及び第２の輝度画像データを用いた探索では追尾対象を発見できなかったと判断し、追尾対象喪失を追尾結果として出力する。
【００５１】
なお、ステップＳ１２１６〜Ｓ１２２０は、状況によって適切な追尾結果を得るための選択処理である。このような選択処理を用いる利点を次に示す。先ず、第１の輝度画像データは、ｍ枚目の画像データ及びｍ＋１枚目の画像データの輝度信号をそのまま用いているため、第２の輝度画像データと比較して階調が細かくなっている。従って、比較的精度の細かい追尾が可能となるが、輝度の変化やノイズにより追尾精度が低下する。
【００５２】
一方、第２の輝度画像データは、ｍ枚目の画像データ及びｍ＋１枚目の画像データの色差信号が特徴色と一致する場合に所定の輝度値を設定するものであるため、第１の輝度画像データと比較して階調は荒く、同じ色相に属する領域は全て均一の輝度を持つ。従って、例えば追尾対象が単一色のグラデーションで構成される場合等において追尾精度が荒くなることがあるが、輝度の変化やノイズによる追尾精度の低下は、第１の輝度画像データよりも抑えることができる。
【００５３】
以上のように、本実施形態においては、マッチング用の相関演算部１０５を色と輝度とで兼用して、複数色で構成される被写体や、階調や色調の変化の小さいシーンにおいて、輝度と色とを適切に使い分け、被写体を精度よく追尾することが可能となる。即ち、本実施形態では、精度を重視するために輝度を用いた追尾と、ノイズや外乱に対するロバスト性を重視するために色を用いた追尾とを使い分けることによって、被写体の追尾精度を向上させている。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５５】
１００：被写体追尾部、１０１：画像取得部、１０２：画像記憶部、１０３：システム制御部、１０４：画像変換処理部、１０５：相関演算部、１０６：追尾情報記憶部、１０８：撮像素子、１０９：撮像光学系、１１０：操作部、１１１：表示部、１１２：撮像装置
【図１】
0005800559.tif 000002
【図２】
0005800559.tif 000003
【図３】
0005800559.tif 000004
【図４】
0005800559.tif 000005
【図５】
0005800559.tif 000006
【図６】
0005800559.tif 000007
【図７】
0005800559.tif 000008
【図８】
0005800559.tif 000009
【図９】
0005800559.tif 000010
【図１０】
0005800559.tif 000011
【図１１】
0005800559.tif 000012
【図１２】
0005800559.tif 000013