(57)【特許請求の範囲】
【請求項１】
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出する被写体候補領域検出部と、
前記少なくとも一つの被写体候補領域のそれぞれについて、当該被写体候補領域のボケ度合いを算出するボケ度合い算出部と、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定する判定部と、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する動き判別部と、
を有する被写体追跡装置。
【請求項２】
前記判定部は、前記被写体候補領域の前記ボケ度合いが所定の判別値以上であれば、前記被写体候補領域に前記被写体が写っていると判定し、かつ、前記判別値は、前記被写体の移動速度が速いほど高く設定される、請求項１に記載の被写体追跡装置。
【請求項３】
前記画像上の前記被写体候補領域と前記被写体候補領域検出部により前記過去画像上で検出された前記被写体候補領域との組み合わせを少なくとも一つ設定し、前記組み合わせのそれぞれについて、当該組み合わせに含まれる前記画像上の前記被写体候補領域と前記過去画像上の前記被写体候補領域間の距離を算出する移動量算出部をさらに有し、
前記判定部は、前記組み合わせのうち、前記画像上の前記被写体候補領域のボケ度合いが、前記画像の撮影タイミングと前記過去画像の撮影タイミング間の差及び前記距離に応じた前記被写体の移動速度に対応するボケ度合いとなっている組み合わせに含まれる前記画像上の前記被写体候補領域に前記被写体が写っていると判定する、請求項１または２に記載の被写体追跡装置。
【請求項４】
前記画像上の前記被写体候補領域のうち、前記過去画像上の前記被写体候補領域と少なくとも一部が重ならない被写体候補領域を検出する移動領域検出部をさらに有し、
前記判定部は、前記組み合わせのうち、前記移動領域検出部によって検出された被写体候補領域を含む組み合わせについてのみ、前記被写体が写っているか否か判定する、請求項３に記載の被写体追跡装置。
【請求項５】
前記ボケ度合い算出部は、前記移動領域検出部によって検出された被写体候補領域についてのみ前記ボケ度合いを算出する、請求項４に記載の被写体追跡装置。
【請求項６】
前記移動量算出部は、前記画像上で複数の前記被写体候補領域が検出されている場合、該複数の被写体候補領域のうち、前記過去画像上で検出された前記被写体候補領域のボケ度合いに最も近いボケ度合いを持つ被写体候補領域と前記過去画像上の前記被写体候補領域とを前記組み合わせとする、請求項４または５に記載の被写体追跡装置。
【請求項７】
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出し、
前記被写体候補領域のボケ度合いを算出し、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定し、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する、
被写体追跡方法。
【請求項８】
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出し、
前記被写体候補領域のボケ度合いを算出し、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定し、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する、
ことをコンピュータに実行させるための被写体追跡用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、時系列に並んだ複数の画像を解析することにより、それらの画像に写った同一の被写体を追跡する被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、監視領域内を移動する物体を検知したり、ジェスチャを識別するために、時系列に並んだ複数の画像に基づいて、それらの画像に写っている同一の被写体を追跡する技術が提案されている（例えば、特許文献１及び２を参照）。
【０００３】
例えば、特許文献１には、複数の画像フレームの部分領域における相関度に基づいて、前の画像フレームの追尾対象の部分領域に対応する部分領域を現在の画像フレームにおいて検出することにより、画像フレーム間で部分領域を追尾する技術が開示されている。
【０００４】
また、特許文献２には、動画に写る認識対象物の動作からジェスチャを認識するジェスチャ認識装置が開示されている。このジェスチャ認識装置は、動画に写る特定被写体を検出し、特定被写体の単位時間あたりの移動速度を算出し、かつ、特定被写体の移動パターンを抽出する。そしてこのジェスチャ認識装置は、移動速度と移動パターンとが予め定められた条件を満たす場合に、特定被写体の動きを、自装置に対して入力された指示として識別する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−７４３１５号公報
【特許文献２】特開２０１１−１９２０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、時間の経過とともに、追跡対象となる被写体の形状または向きが変化することがある。例えば、手の動きで表されるジェスチャを判別するためには、被写体追跡装置は、時系列に並んだ複数の画像のそれぞれにおいて追跡対象である手が写っている領域を検出し、それらの画像間で手が写っている領域を対応付ける。しかし、追跡対象である手が開かれたり、閉じられたりすると、画像に写る手の形状は大きく変化する。また、手を動かすことにより、カメラに対する手の向きも変化することがある。このような場合、画像間での手が写った領域同士の相関度は低くなる。そのため、特許文献１に記載の技術では、このように時間経過とともに形状または向きが変化する被写体の追跡に失敗するおそれがあった。
【０００７】
また、カメラから追跡対象の被写体までの距離が短い場合、被写体のわずかな移動によっても、画像上での被写体の位置が大きく変動することがある。この場合、時間的に連続する複数の画像のうちの一つから検出された被写体と同じ被写体が写っている、他の画像上の領域を特定するためには、他の画像上でのその領域の探索範囲は、広く設定されることになる。しかし、探索範囲が広いほど、その探索範囲内に、追跡対象の被写体と類似する、他の物体が写っ手いる可能性が高くなる。例えば、追跡対象となる被写体が右手である場合に、右手が写っている領域の探索範囲が広いと、その探索範囲内に左手が写ることがある。このような場合、特許文献２に記載の技術は、時間的に連続する複数の画像間で、追跡対象となる被写体が写っている領域とその他の物体が写っている領域とを、同一の被写体が写っている領域として対応付けてしまい、被写体を正確に追跡できないおそれがあった。
【０００８】
そこで本明細書は、追跡対象となる被写体の形状または向きが時間経過とともに変化しても被写体を追跡可能な被写体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの実施形態によれば、被写体追跡装置が提供される。この被写体追跡装置は、撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出する被写体候補領域検出部と、少なくとも一つの被写体候補領域のそれぞれについて、その被写体候補領域のボケ度合いを算出するボケ度合い算出部と、少なくとも一つの被写体候補領域のうち、被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に追跡対象の被写体が写っていると判定する判定部と、上記の画像よりも前に撮像部により撮影された過去画像上で追跡対象の被写体が写っている領域から上記の画像上のその被写体が写っている被写体候補領域までの移動方向に応じて追跡対象の被写体の動きを判別する動き判別部とを有する。
【００１０】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１１】
本明細書に開示された被写体追跡装置は、追跡対象となる被写体の形状または向きが時間経過とともに変化しても、被写体を追跡できる。
【図面の簡単な説明】
【００１２】
【図１】被写体追跡装置を実装したジェスチャ識別装置の一例である携帯端末のハードウェア構成図である。
【図２】追跡対象となる被写体の一例である手を連続的に撮影することにより得られた２枚の画像を示す図である。
【図３】被写体追跡処理に関する制御部の機能ブロック図である。
【図４】時間的に連続する２枚の画像のそれぞれから抽出された被写体候補領域を表す模式図である。
【図５】図４に示された２枚の画像から求められた、差分画像の一例を示す図である。
【図６】図４に示された２枚の画像から求められた、差分画像の他の一例を示す図である。
【図７】ボケ度合いを表すエッジ強度の算出に利用される被写体候補領域の境界画素とその境界画素に隣接する画素の一例を示す図である。
【図８】判定条件を表す不等式と、移動量とエッジ強度の組との関係の一例を示す図である。
【図９】ジェスチャ操作対応テーブルの一例を示す図である。
【図１０】被写体追跡処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、様々な実施形態による被写体追跡装置について説明する。
発明者は、移動速度が速い被写体ほど、画像上でその被写体の像がボケることに着目した。そこでこの被写体追跡装置は、所定の撮影周期で追跡対象となる被写体を撮影して得られる時系列に並んだ各画像上でその被写体が写っている可能性のある領域のそれぞれのボケ度合いを、その被写体が写っている領域を特定するために利用する。
【００１４】
本実施形態では、追跡対象とする被写体はユーザの手であり、被写体追跡装置は、ユーザの手の動きを追跡することにより、ユーザが行ったジェスチャを判別する。
【００１５】
図１は、被写体追跡装置を実装した、ジェスチャ識別装置の一例である携帯端末のハードウェア構成図である。携帯端末１は、表示部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。表示部２、撮像部３、記憶媒体アクセス装置４、記憶部５、及び制御部６は、筐体７内に配置される。なお、携帯端末１は、例えば、携帯電話機、携帯情報端末またはタブレット型コンピュータである。さらに携帯端末１は、携帯端末１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお図１は、携帯端末１が有する構成要素を説明するための図であり、携帯端末１の各構成要素の実際の配置を表した図ではないことに留意されたい。
【００１６】
携帯端末１は、ユーザの手を、撮像部３が周期的に撮影したユーザの手の画像のそれぞれを制御部６が解析することによって検出し、その手の動きを追跡することによってユーザが行ったジェスチャを判別する。そして携帯端末１は、ユーザが行ったジェスチャに対応する操作に応じた処理を実行する。これにより、携帯端末１は、例えば、ユーザの手が濡れていたり、ユーザの手が届かない位置に携帯端末１があるといった理由によりユーザが携帯端末１に直接触れることができない場合であっても、ユーザが携帯端末１について所望の操作を行うことを可能にする。
【００１７】
表示部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、表示部２の表示画面が、筺体７の正面に対向するユーザを向くように配置される。そして表示部２は、ユーザに様々な情報を表示する。また表示部２は、タッチパネルディスプレイを有してもよい。この場合、表示部２は、例えば、様々なアイコンまたは操作ボタンを、制御部６からの制御信号に応じて表示する。そして表示部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。
【００１８】
撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。
【００１９】
撮像部３は、所定の周期ごとにユーザの手を撮影することで、その周期ごとにユーザの手が写った画像を生成する。なお、ユーザの手の像のボケ度合いが主としてその手の移動速度に起因するように、各撮影時におけるシャッター速度は一定に設定されることが好ましい。また本実施形態では、生成される画像は、RGB表色系により表されるカラー画像である。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。なお、周期は、例えば、33msecである。
【００２０】
記憶媒体アクセス装置４は、例えば、磁気ディスクまたは半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、後述するように、制御部６が被写体追跡装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から被写体追跡用コンピュータプログラムを読み込んで、制御部６に渡してもよい。
【００２１】
記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、被写体追跡処理に利用される各種のデータを記憶してもよい。さらに記憶部５は、手の動きにより表されるジェスチャと、そのジェスチャに対応する操作を表す識別コードとを関連付けたジェスチャ操作対応テーブルを記憶してもよい。
【００２２】
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、携帯端末１の各部と信号線を介して接続されており、携帯端末１全体を制御する。
また制御部６は、被写体追跡装置の一例であり、撮像部３から画像を受け取る度に、その画像を解析することにより、追跡対象の被写体であるユーザの手を追跡し、その追跡結果に基づいてユーザの手の動きを特定する。そして制御部６は、その手の動きに基づいて、ユーザが実行したジェスチャを判別する。そして制御部６は、ジェスチャに対応する操作に応じた処理を実行する。
【００２３】
図２は、追跡対象となる被写体の一例である手を連続的に撮影することにより得られた２枚の画像２００、２１０を示す図である。画像２００には、手２０１は、手のひらを撮像部３に向け、かつ指が上方を向いた状態で写っている。一方、画像２１０には、手２０１は、指先が撮像部３の方を向いた状態で写っている。このように、画像２００に写っている手２０１の形状及び位置と、画像２１０に写っている手２０１の形状及び位置とは大きく異なっている。そのため、手２０１の形状及び２枚の画像間での手２０１が写っている領域間の距離または手が写っている領域の形状に基づいて手２０１を正確に追跡することは困難である。しかし、手２０１は画像２００、２１０に写っている他の物体と比較して速く動いているので、他の物体はボケていないにもかかわらず、手２０１の像だけはボケている。
【００２４】
そこで制御部６は、各画像において、手の色に相当する色を持つ画素が集合している領域を手が写っている領域の候補である被写体候補領域として検出し、その被写体候補領域のボケ度合いを算出する。そして制御部６は、ユーザが何らかのジェスチャを実行している場合に想定されるユーザの手の移動速度に応じたボケ度合いを持つ被写体候補領域にユーザの手が写っていると判定する。
【００２５】
以下、制御部６により実行される被写体追跡処理の詳細について説明する。
図３は、被写体追跡処理に関する制御部６の機能ブロック図である。制御部６は、被写体候補領域検出部１１と、移動領域検出部１２と、ボケ度合い算出部１３と、移動量算出部１４と、判定部１５と、ジェスチャ判別部１６と、操作信号生成部１７とを有する。
制御部６が有するこれらの各部は、例えば、制御部６が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。なお、これらの各部は、それぞれ、別個の回路として、制御部６とは別個に携帯端末１に実装されてもよく、あるいはこれらの各部の機能を実現する一つの集積回路として、制御部６とは別個に携帯端末１に実装されてもよい。
【００２６】
制御部６が有するこれらの各部は、撮像部３から画像を受け取る度に、その画像に対して下記の処理を実行する。なお、以下では、便宜上、撮像部３から最後に受け取った、処理対象となる画像を現画像と呼ぶ。また、現画像よりも一つ前に撮像部３により生成された画像を直前の画像と呼ぶ。
【００２７】
被写体候補領域検出部１１は、現画像上でユーザの手が写っている可能性が有る被写体候補領域を検出する。本実施形態では、被写体候補領域検出部１１は、現画像上で手の色に相当する肌色を持つ画素の集合を被写体候補領域とする。そのために、被写体候補領域検出部１１は、各画素の表色系を、次式に従ってHSV表色系に変換する。
【数１】
0005895720.tif 000002
ここで、R、G、Bは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。またMAX、MINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分のうちの最大値及び最小値を表す。そしてH、Vは、それぞれ、変換後の画素の色相、明度を表す。またSMは、修正彩度である。修正彩度は、例えば、松橋等によって提案されている（例えば、松橋他、"Human-face extraction using modified HSV color system and personal identification through facial image based on isodensity maps"、 Proc. Canadian Conference on Electrical and Computer Engineering、pp.909-912、1995年、を参照）。
【００２８】
被写体候補領域検出部１１は、現画像上の各画素のうち、色相H及び修正彩度SMの値が肌色に相当する範囲内に含まれる画素を、手が写っている可能性が有る候補画素として抽出する。なお、色相Hについての肌色に相当する値の範囲は、色相Hの値域0〜360°のうち、例えば、340°〜10°である。また、修正彩度SMについての肌色に相当する値の範囲は、修正彩度SMの値域0〜255のうち、例えば、100〜200である。そして被写体候補領域検出部１１は、候補画素が'1'の値を持ち、候補画素以外の画素が'0'の値を持つ肌画像を生成し、その肌画像を、現画像と対応付けて記憶部５に記憶する。
【００２９】
なお、被写体候補領域検出部１１は、現画像の表色系をHSV表色系またはHLS表色系に変換し、その変換後の現画像において色相の値が肌色に相当する値の範囲に含まれる画素を候補画素として検出してもよい。また撮像部３により生成された画像が最初からHSV表色系で表されている場合には、上記の表色系変換の処理は省略されてもよい。
【００３０】
被写体候補領域検出部１１は、肌画像上の候補画素に対してラベリング処理を行って、互いに隣接する複数の候補画素の集合を一つの被写体候補領域に含めることにより、１以上の被写体候補領域を求める。なお、被写体候補領域検出部１１は、被写体候補領域に含まれる画素の数が所定の閾値未満の被写体候補領域を削除してもよい。所定の閾値は、例えば、手が写っている領域に含まれる画素数の想定される下限値に設定される。また被写体候補領域検出部１１は、被写体候補領域に対してモルフォロジーの収縮膨張演算を行って孤立した候補画素を削除してもよい。あるいは、被写体候補領域検出部１１は、被写体候補領域に対してモルフォロジーの膨張収縮演算を行って、互いに近接する複数の被写体候補領域を一つの被写体候補領域に統合してもよい。
【００３１】
被写体候補領域検出部１１は、被写体候補領域ごとにラベルを付す。ラベルは、例えば、1以上の正の整数であり、被写体候補領域ごとに異なる値を持つ。例えば、現画像についてn（nは1以上の正の整数）個の被写体候補領域が検出されている場合、各被写体候補領域には、1〜nのラベルが付される。
【００３２】
被写体候補領域検出部１１は、被写体候補領域に含まれる画素については、その被写体候補領域のラベルと同じ値を持ち、一方、何れの被写体候補領域にも含まれない、すなわち、背景に含まれる画素は'0'の値を持つラベル画像を生成する。そして被写体候補領域検出部１１は、ラベル画像を現画像と対応付けて記憶部５に記憶する。
【００３３】
移動領域検出部１２は、現画像上の被写体候補領域のうち、直前の画像における被写体候補領域と少なくとも一部が重ならない領域を検出する。そのために、移動領域検出部１２は、現画像に対応する肌画像と直前の画像に対応する肌画像との差分画像を、次式に従って求める。
【数２】
0005895720.tif 000003
ここでC(x,y,t)は、現画像に対応する肌画像における、水平座標x、垂直座標yの画素の値を表し、C(x,y,t-1)は、直前の画像に対応する肌画像における、水平座標x、垂直座標yの画素の値を表す。またD(x,y,t)は、現画像について求められた差分画像における、水平座標x、垂直座標yの画素の値を表す。なお、各画像における画素の座標は、画像の左上端の画素が原点(0,0)となり、水平座標xは右へ行くほど正でかつ値が大きくなり、かつ、垂直座標yは下へ行くほど正でかつ値が大きくなる座標系で表現される。
【００３４】
（２）式から明らかなように、差分画像において、画素値が'1'となる画素には、直前の画像では被写体が写っておらず、現画像において被写体の一部が写っている可能性がある。そこで移動領域検出部１２は、差分画像上で画素値が'1'である画素に対してラベリング処理を行って、互いに隣接する複数のその画素を、一つの差分肌領域に含めることにより、１以上の差分肌領域を求める。この差分肌領域は、直前の画像の撮影時から現画像の撮影時までに移動した物体が写っていることを表す。そして移動領域検出部１２は、差分肌領域ごとにラベルを付し、差分肌領域に含まれる画素については、その差分肌領域のラベルと同じ値を持ち、何れの差分肌領域にも含まれない画素は'0'の値を持つ差分ラベル画像を生成する。そして移動領域検出部１２は、差分ラベル画像を現画像と対応付けて記憶部５に記憶する。
【００３５】
さらに、移動領域検出部１２は、現画像について求められた被写体候補領域と差分肌領域とを対応付けることにより、動いている物体が写っている被写体候補領域を特定する。本実施形態では、各差分肌領域は、被写体候補領域の部分集合であり、そのため、各差分肌領域は、それぞれ、何れか一つの被写体候補領域に含まれる。そこで移動領域検出部１２は、差分ラベル画像とラベル画像を参照して、差分肌領域と重複する被写体候補領域を、その差分肌領域に対応する被写体候補領域とする。そして移動領域検出部１２は、差分肌領域のラベルを、対応する被写体候補領域のラベルに書き換える。
【００３６】
なお、一つの被写体候補領域に対して複数の差分肌領域が重なることがある。この場合、複数の差分肌領域の何れも、同じ被写体の異なる部分が写っていると推定される。そこで移動領域検出部１２は、これら複数の差分肌領域の何れについても、その差分肌領域と重なる被写体候補領域のラベルに書き換える。
【００３７】
図４は、時間的に連続する２枚の画像のそれぞれから抽出された被写体候補領域を表す模式図である。直前の画像４００には、二つの被写体候補領域４０１、４０２が検出されている。同様に、現画像４１０にも、二つの被写体候補領域４１１、４１２が検出されている。なお、被写体候補領域４１１には、ラベル'1'が付されており、被写体候補領域４１２には、ラベル'2'が付されているものとする。このうち、被写体候補領域４０１、４１１には、ユーザの頭部が写っており、被写体候補領域４０２、４１２には、ユーザの手が写っている。直前の画像４００に対して、現画像４１０では、ユーザの頭部が僅かに右側へ移動している。一方、ユーザの手は、直前の画像４００では、頭部の右側に位置しているが、現画像４１０上でのユーザの手の位置は、直前の画像４００上のユーザの手に写っている位置とは重ならないほど下方へ移動している。
【００３８】
図５は、図４に示された２枚の画像から求められた、差分画像の一例を示す図である。上記のように、ユーザの頭部は僅かに右側へ移動しており、ユーザの手は２枚の画像間でユーザの手が写っている領域が重ならないほど下方へ移動している。そのため、差分画像５００では、ユーザの頭部の右側の一部に相当する差分肌領域５０１と、ユーザの手全体に相当する差分肌領域５０２が検出されている。この場合、差分肌領域５０１は、被写体候補領域４１１と重なっているので、差分肌領域５０１のラベルは、移動領域検出部１２により、被写体候補領域４１１に付されたラベル'1'に書き換えられる。一方、差分肌領域５０２は、被写体候補領域４１２と重なっているので、差分肌領域５０２のラベルは、移動領域検出部１２により、被写体候補領域４１２に付されたラベル'2'に書き換えられる。
【００３９】
再度図４を参照すると、図４に示された直前の画像４００において、現画像４１０の撮影時においてユーザの手が位置する範囲の一部と重なる点線で囲まれた領域４２１に、肌色を持つ物体、例えば、ユーザのもう一方の手が位置していたとする。この場合には、領域４２１は、直前の画像４００及び現画像４１０の両方で被写体候補領域に含まれることになる。
【００４０】
図６は、このような場合における、図４に示された２枚の画像から求められた、差分画像の他の一例を示す図である。差分画像６００においても、ユーザの頭部の一部に相当する差分肌領域６０１が求められている。一方、差分画像６００では、図５に示された差分画像５００と比較して、領域４２１に相当する部分が差分肌領域に含まれなくなるので、差分肌領域５０２は、二つの差分肌領域６０２、６０３に分断されている。そのため、差分肌領域６０１〜６０３には、それぞれ、異なるラベルが付されている。
【００４１】
しかし、差分肌領域６０２、６０３の何れも、現画像上の被写体候補領域４１２と重なっている。そのため、移動領域検出部１２により、差分肌領域６０２に付されたラベル及び差分肌領域６０３に付されたラベルの何れも、被写体候補領域４１２に付されたラベル'2'に書き換えられる。
【００４２】
移動領域検出部１２は、書き換え後のラベルが同じ差分肌領域ごとに、その差分肌領域に含まれる画素数を求めてもよい。そして移動領域検出部１２は、その画素数が所定の閾値未満となる差分肌領域に含まれる、差分画像の画素値を'0'に書き換えることで、その差分肌領域を消去してもよい。なお、所定の閾値は、例えば、想定されるジェスチャについての手の移動速度の下限値に相当する値、例えば、差分肌領域と重なる被写体候補領域の画素数に0.2を乗じた値に設定される。これにより、制御部６は、ユーザのジェスチャに関連しない、僅かな動きに相当する、肌色を持つ物体の動きを無視できるので、ユーザの手の動きの追跡を誤る可能性を低減できる。
【００４３】
移動領域検出部１２は、書き換え後のラベルが同じ差分肌領域ごとに、その差分肌領域の重心を算出する。そして移動領域検出部１２は、各差分肌領域の重心を差分画像及び現画像に対応付けて記憶部５に記憶する。
【００４４】
ボケ度合い算出部１３は、現画像から求められた差分肌領域と重なる被写体候補領域のそれぞれについてのボケ度合いを算出する。本実施形態では、ボケ度合い算出部１３は、被写体候補領域の輪郭に位置するその現画像の画素と、その画素に隣接し、かつ、背景に含まれる画素との近傍画素間の差分値の平均値であるエッジ強度を次式に従って算出する。そしてボケ度合い算出部１３は、そのエッジ強度をボケ度合いを表す指標値とする。
【数３】
0005895720.tif 000004
ここで、Ejは、ラベルjが付された被写体候補領域についてのエッジ強度である。r(x,y,t)、g(x,y,t)及びb(x,y,t)は、それぞれ、現画像において被写体候補領域の輪郭に位置する画素p(x,y,t)の赤色成分値、緑色成分値及び青色成分値である。また、r(x',y',t)、g(x',y',t)及びb(x',y',t)は、それぞれ、画素p(x,y,t)の水平方向または垂直方向に隣接し、かつ背景に含まれる画素p(x',y',t)の赤色成分値、緑色成分値及び青色成分値である。またMjは、ラベルjが付された被写体候補領域について、近傍画素間差分値Δが算出された回数を表す。被写体候補領域に写っている物体が速く移動しているほど、画像上でのその物体の像はぶれるので、被写体候補領域のエッジ近傍での隣接画素間の各色成分の差は小さくなる。そのため、（３）式から明らかなように、エッジ強度Ejが小さくなるほど、ボケ度合いは高くなる。
【００４５】
図７は、ボケ度合いを表すエッジ強度の算出に利用される画素p(x,y,t)と画素p(x',y',t)の一例を示す図である。図７において、枠線で囲まれた領域７００が一つの被写体候補領域を表す。この場合、線分７０１で結ばれた、被写体候補領域７００の輪郭に位置する各画素p(x,y,t)と、その画素p(x,y,t)に隣接する画素p(x',y',t)との間で、（３）式における近傍画素間差分値Δの算出式に従って近傍画素間演算が実行される。なお、図７に示された画素７１０のように、被写体候補領域７００の角に位置する画素については、水平方向と垂直方向とで、それぞれ別個に近傍画素間演算が実行されてもよい。
【００４６】
変形例によれば、ボケ度合い算出部１３は、差分肌領域の輪郭と被写体候補領域の輪郭とが重なる画素についてのみ、（３）式に従ってエッジ強度Ejを算出してもよい。
【００４７】
ボケ度合い算出部１３は、現画像から求められた差分肌領域と重なる被写体候補領域のそれぞれについてのエッジ強度を、現画像及びその被写体候補領域と対応付けて記憶部５に記憶する。
【００４８】
ユーザの手が現画像の撮影時において撮像部３の撮影範囲から外れない限り、直前の画像における被写体候補領域の何れかに写っているユーザの手は、現画像における被写体候補領域の何れかに写っている。すなわち、直前の画像における被写体候補領域の何れかから、現画像における被写体候補領域の何れかへの移動方向及び移動量が、ユーザの手の移動方向及び移動量を表している。また本実施形態では、ユーザが何らかのジェスチャを実行している場合、ユーザの手は移動しているので、そのジェスチャを表すユーザの手が写っている被写体候補領域は、差分肌領域と重なっている。そこで移動量算出部１４は、現画像と直前の画像との間で、被写体候補領域の組み合わせごとに、次式に従って移動ベクトル及び移動量を算出する。
【数４】
0005895720.tif 000005
ここで、Vij(xvij,yvij)は、直前の画像におけるi番目の被写体候補領域と重なる差分肌領域の重心Gt-1(xt-1(i),yt-1(i))から、現画像におけるj番目の被写体候補領域と重なる差分肌領域の重心Gt(xt(j),yt(j))への移動ベクトルを表す。xvij及びyvijは、それぞれ、移動ベクトルの水平成分及び垂直成分である。またHijは、直前の画像におけるi番目の差分肌領域の重心Gt-1(xt-1(i),yt-1(i))から、現画像におけるj番目の差分肌領域の重心Gt(xt(j),yt(j))への移動量を表す。
【００４９】
なお、制御部６が、撮像部３から画像を受け取る度に被写体追跡処理を行っていれば、現画像について被写体追跡処理を実行する時点で、直前の画像において追跡対象となるユーザの手が実際に写っている被写体候補領域は既に特定されている。そこで、直前の画像について複数の被写体候補領域が検出されていても、移動量算出部１４は、直前の画像においてユーザの手が写っている被写体候補領域についてのみ、現画像における被写体候補領域との組み合わせを設定してもよい。
【００５０】
また、差分肌領域よりも被写体候補領域の方が、被写体であるユーザの手全体を表している可能性が高い。そこで移動量算出部１４は、直前の画像上の被写体候補領域自体の重心と、現画像上の被写体候補領域自体の重心とを差分肌領域の重心Gt-1(xt-1(i),yt-1(i))、Gt(xt(j),yt(j))の代わりに（４）式に入力することで移動量及び移動ベクトルを算出してもよい。
【００５１】
移動量算出部１４は、各組み合わせの移動量及び移動ベクトルを判定部１５へ通知する。
【００５２】
一般に、被写体の移動速度が速いほど、画像上でその被写体の像及び輪郭はボケ、かつ、直前の画像の撮影時から現画像の撮影時までの間におけるその被写体の移動量は大きい。また本実施形態では、現画像の撮影時と過去画像の撮影時の時間差は一定である。そのため、上記の組み合わせの何れかにユーザの手が写っているとすれば、過去画像上の被写体候補領域から現画像上の被写体候補領域までの移動量は、ユーザの手の移動速度と1対1に対応する。そこで判定部１５は、被写体候補領域の各組み合わせのうち、現画像上の被写体候補領域のボケ度合いが、現画像と過去画像間の撮影時間差及びその組み合わせについての移動量に応じた被写体の移動速度に対応するボケ度合いとなっている組み合わせを選択する。そして判定部１５は、選択した組み合わせに含まれる、現画像上の被写体候補領域にユーザの手が写っていると判定する。
【００５３】
本実施形態では、現画像と過去画像の被写体候補領域の組み合わせにユーザの手が写っていると判定するための判定条件は、移動量Hijとエッジ強度Ejとの関係を規定する不等式により表される。この不等式は、例えば、次式のように規定される。
【数５】
0005895720.tif 000006
ここで、αs、βsは、それぞれ、不等式で使用される係数であり、αsは負の値を持ち、一方、βsは正の値を持つ。そしてHijは、直前の画像におけるi番目の差分肌領域の重心Gt-1(xt-1(i),yt-1(i))から、現画像におけるj番目の差分肌領域の重心Gt(xt(j),yt(j))への移動量を表す。
【００５４】
なお、使用される不等式の数は複数であってもよい。この場合には、判定部１５は、被写体候補領域の各組み合わせのうち、少なくとも何れか一つの不等式を満たす組み合わせが判定条件を満たすと判定する。
例えば、判定部１５は、被写体候補領域の各組み合わせについて、（５）式に従う二つの不等式による判定条件が満たされるか否か判定する。なお二つの不等式のそれぞれにおける係数αs、βsの値は、例えば、以下の通りである。
不等式１：α1=-1、β1=70
不等式２：α2=-0.5、β2=38
これら係数αs、βsの値、及び、利用される不等式の数は、例えば、移動するユーザの手及びその他の移動する物体が写った複数のサンプル画像に基づいて算出される移動量とエッジ強度の組に基づいて予め決定される。
【００５５】
また、不等式の係数αs、βsは、撮像部３のシャッター速度ごとに設定され、予め記憶部５に記憶されていてもよい。この場合には、判定部１５は、撮像部３のシャッター速度に応じた不等式の係数αs、βsを記憶部５から読み込んで利用する。これにより、撮像部３のシャッター速度が固定でない場合でも、判定部１５は、エッジ強度とユーザの手の移動量の関係を正確に評価できる。
【００５６】
図８は、判定条件を表す不等式と、移動量とエッジ強度の組との関係の一例を示す図である。図８において、横軸は移動量を表し、縦軸はエッジ強度を表す。線８０１及び線８０２は、それぞれ、上記の不等式１及び不等式２が満たされる、エッジ強度の上限値（すなわち、ボケ度合いの下限値）を表す。この例では、点８１０〜８１２で示される移動量とエッジ強度の組は、それぞれ、不等式１及び２のうちの少なくとも一方を満たす。そのため、被写体候補領域の組み合わせに相当する移動量とエッジ強度の組み合わせが点８１０〜８１２の何れかに相当すれば、その被写体候補領域の組み合わせには、ユーザの手が写っていると判定される。一方、点８１３で示される移動量とエッジ強度の組は、不等式１及び２の両方を満たしていない。そのため、点８１３に相当する被写体候補領域の組み合わせには、ユーザの手は写っていないと判定される。
【００５７】
判定部１５は、上記のように、各不等式を満たす被写体候補領域の組み合わせを選択する。そしてその組み合わせが一つしかなければ、判定部１５は、その組み合わせに含まれる直前の画像における被写体候補領域と現画像における被写体候補領域のそれぞれに、ユーザの手が写っていると判定する。一方、各不等式を満たす被写体候補領域の組み合わせが複数存在する場合には、判定部１５は、各不等式を満たす被写体候補領域の組み合わせに対して、他の様々なトラッキング手法を適用することで、ユーザの手が写っている組み合わせを判定してもよい。例えば、判定部１５は、各不等式を満たす被写体候補領域の組み合わせのうち、その組み合わせに含まれる各被写体候補領域同士のサイズが最も近い組み合わせを、ユーザの手が写っている組み合わせとして推定してもよい。
【００５８】
変形例によれば、判定部１５は、判定条件として、（５）式で表される不等式の代わりに、エッジ強度の上限値（すなわち、ボケ度合いの下限値）が曲線で表される１以上の不等式を用いてもよい。例えば、判定部１５は、（５）式の代わりに、移動量が増加するにつれて、エッジ強度の上限値が単調減少する、すなわち、ボケ度合いが単調増加する以下の不等式を利用してもよい。
【数６】
0005895720.tif 000007
あるいは、判定部１５は、（５）式の代わりに、以下の不等式を利用してもよい。
【数７】
0005895720.tif 000008
なお、（６）式及び（７）式において、ψ、γ、ξは、それぞれ係数である。
【００５９】
また他の変形例によれば、判定部１５は、エッジ強度と移動量を入力として、そのエッジ強度と移動量に対応する被写体候補領域の組み合わせにユーザの手が写っているか否かの判定結果を出力とする識別器を、上記の不等式の代わりに利用してもよい。この場合、判定部１５は、被写体候補領域の組み合わせについてのエッジ強度と移動量を入力することで、その組み合わせに含まれる現画像の被写体候補領域にユーザの手が写っているか否かの判定結果を得る。この場合、識別器は、例えば、サポートベクトルマシン（サポートベクタマシン）、あるいは多層パーセプトロンとすることができる。これらの識別器は、例えば、誤差逆伝播法といった、いわゆる教師付き学習によって、上記の判定条件を表すように予め構築される。なお、これらの識別器を表す複数のパラメータは、記憶部５に予め記憶される。
【００６０】
判定部１５は、直前の画像においてユーザの手が写っていると判定された被写体候補領域と、現画像においてユーザの手が写っていると判定された被写体候補領域とを関連付ける。そして判定部１５は、ユーザの手が写っていると判定されたこれら二つの被写体候補領域の組み合わせについて求められた移動ベクトルをジェスチャ判別部１６へ通知する。
【００６１】
ジェスチャ判別部１６は、動き判別部の一例であり、ユーザの手が写っていると判定された被写体候補領域の組み合わせについての移動ベクトルVijに基づいて、ユーザの手の動き及びユーザが実行したジェスチャを判別する。例えば、移動ベクトルVijの水平成分xvijが垂直成分yvij以上であり、かつ、水平成分xvijが正の値を有するとする。すなわち、(yvij-xvij)≦0かつ(yvij+xvij)≧0である場合、ジェスチャ判別部１６は、ユーザは、手を撮像部３から見て右方向へ移動させるジェスチャを実行したと判定する。また、水平成分xvijが垂直成分yvij以上であり、かつ、水平成分xvijが負の値を有するとする。すなわち、(yvij-xvij)≧0かつ(yvij+xvij)≦0である場合、ジェスチャ判別部１６は、ユーザは、手を撮像部３から見て左方向へ移動させるジェスチャを実行したと判定する。
【００６２】
さらに、移動ベクトルVijの垂直成分yvijが水平成分xvijよりも大きく、かつ、垂直成分yvijが負の値を有するとする。すなわち、(yvij-xvij)＜0かつ(yvij+xvij)＜0である場合、ジェスチャ判別部１６は、ユーザは手を上方向へ移動させるジェスチャを実行したと判定する。逆に、移動ベクトルVijの垂直成分yvijが水平成分xvijよりも大きく、かつ、垂直成分yvijが正の値を有するとする。すなわち、(yvij-xvij)＞0かつ(yvij+xvij)＞0である場合、ジェスチャ判別部１６は、ユーザは手を下方向へ移動させるジェスチャを実行したと判定する。
ジェスチャ判別部１６は、手の移動方向をジェスチャとして操作信号生成部１７へ通知する。
【００６３】
変形例によれば、ジェスチャ判別部１６は、ユーザの手の移動方向と、撮像部３の撮影周期当たりのユーザの手の移動量との組み合わせを、ユーザが実行したジェスチャとして判別してもよい。なお、撮像部３の撮影周期当たりのユーザの手の移動量は、ユーザの手が写っていると判定された被写体候補領域の組み合わせについての移動量で表される。
【００６４】
操作信号生成部１７は、ジェスチャ判別部１６により特定された、ユーザが実行したジェスチャに応じた操作信号を生成する。例えば、操作信号生成部１７は、記憶部５に記憶されている、ジェスチャと実行される操作との対応を表すジェスチャ操作対応テーブルを参照することにより、ジェスチャに応じた操作信号を生成する。
【００６５】
図９は、携帯端末１において起動中のアプリケーションにおいてウインドウのスクロールが可能な場合における、ジェスチャ操作対応テーブルの一例を示す図である。ジェスチャ操作対応テーブル９００において、左側の列の各欄には、ジェスチャが示されており、右側の列の各欄には、その欄の左側に隣接する欄に示されたジェスチャに応じた操作が示されている。例えば、ジェスチャが手の右方向への移動である場合、操作信号生成部１７は、ジェスチャ操作対応テーブル９００を参照して、表示中のウインドウを右方向へスクロールさせる操作信号を生成する。また、ジェスチャが手の上方向への移動である場合、操作信号生成部１７は、ジェスチャ操作対応テーブル９００を参照して、表示中のウインドウを上方向へスクロールさせる操作信号を生成する。
【００６６】
なお、ジェスチャに対応する操作は、ウインドウのスクロールに限定されない。例えば、表示部２の表示画面上に複数のアイコンが２次元状に並べて表示されている場合、手の各方向への移動は、選択されるアイコンをその方向に沿ってシフトさせる操作に対応してもよい。
【００６７】
また、ジェスチャが移動方向と移動量に基づいて判別される場合には、操作信号生成部１７は、移動方向と移動量の組み合わせに応じて操作を特定してもよい。例えば、手が下方向へ移動し、かつ、移動量が所定の閾値未満である場合には、操作信号生成部１７は、上記の実施形態と同様に、ウィンドウを下方向にスクロールさせる操作信号を生成する。一方、手が下方向へ移動し、かつ、移動量がその閾値以上である場合には、操作信号生成部１７は、起動中のアプリケーションを終了させる操作信号を生成してもよい。
【００６８】
操作信号生成部１７は、生成した操作信号を制御部６に渡す。そして制御部６は、操作信号に応じた処理を実行する。
【００６９】
図１０は、制御部６により実行される、被写体追跡処理の動作フローチャートである。制御部６は、撮像部３から画像を受け取る度に、この被写体追跡処理を実行する。
【００７０】
被写体候補領域検出部１１は、現画像において被写体に相当する色を持つ画素の集合を被写体候補領域として検出し、各被写体候補領域にラベルを付す（ステップＳ１０１）。そして被写体候補領域検出部１１は、検出された被写体候補領域のそれぞれを表す肌画像及び各被写体候補領域のラベルを表すラベル画像を生成し、その肌画像及びラベル画像を現画像と対応付けて記憶部５に記憶する。
【００７１】
移動領域検出部１２は、現画像に対応する肌画像と直前の画像に対応する肌画像との差分画像を求めることにより、現画像では被写体候補領域に含まれ、かつ直前の画像では被写体候補領域に含まれない差分肌領域を検出する（ステップＳ１０２）。そして移動領域検出部１２は、差分肌領域を表す差分ラベル画像を生成し、その差分ラベル画像を現画像と対応付けて記憶部５に記憶する。
【００７２】
移動領域検出部１２は、さらに、現画像について求められた差分肌領域と重なる被写体候補領域を特定することにより、差分肌領域と被写体候補領域とを対応付け、その差分肌領域の重心を算出する（ステップＳ１０３）。また移動領域検出部１２は、被写体候補領域ごとに、その被写体候補領域と重なる差分肌領域に同じラベルを付し、そのラベルとともに同じラベルが付された差分肌領域の重心を、現画像と対応付けて記憶部５に記憶する。
【００７３】
ボケ度合い算出部１３は、現画像について求められた差分肌領域と重なる被写体候補領域のそれぞれについてのボケ度合いを表すエッジ強度Ejを算出する（ステップＳ１０４）。そしてボケ度合い算出部１３は、被写体候補領域及び差分肌領域と対応付けてそのエッジ強度を記憶部５に記憶する。
【００７４】
移動量算出部１４は、現画像と直前の画像との間で、差分肌領域と重なる被写体候補領域の組み合わせごとに、移動ベクトルVij及び移動量Hijを算出する（ステップＳ１０５）。そして移動量算出部１４は、各組み合わせの移動ベクトルVij及び移動量Hijを、その組み合わせに含まれる各差分肌領域のラベルとともに判定部１５へ通知する。
【００７５】
判定部１５は、被写体候補領域の組み合わせのうち、移動量Hijが長いほど（すなわち、移動速度が速いほど）小さいエッジ強度Ej、すなわち、高いボケ度合いが要求される判定条件を満たす組み合わせにユーザの手が写っていると判定する（ステップＳ１０６）。そして判定部１５は、選択した組み合わせについての移動ベクトルVijをジェスチャ判別部１６へ通知する。
【００７６】
ジェスチャ判別部１６は、ユーザの手が写っている被写体候補領域の組み合わせについての移動ベクトルVijに基づいて特定されるユーザの手の移動方向を、ユーザが実行したジェスチャとして判別する（ステップＳ１０７）。そしてジェスチャ判別部１６は、その移動方向を操作信号生成部１７へ通知する。
操作信号生成部１７は、ユーザの手の移動方向と実行すべき操作との対応を表すジェスチャ操作対応テーブルを参照することにより、その移動方向に対応する操作を特定し、その特定した操作に対応する操作信号を生成する（ステップＳ１０８）。そして操作信号生成部１７は、その操作信号を制御部６に渡す。その後、制御部６は、被写体追跡処理を終了する。
なお、制御部６は、ステップＳ１０４の処理とステップＳ１０５の処理の順序を入れ換えてもよい。また制御部６は、全ての被写体候補領域についてエッジ強度を求めてもよい。この場合には、制御部６は、ステップＳ１０２及びＳ１０３の処理と、ステップＳ１０４の処理の順序を入れ換えてもよい。
【００７７】
以上に説明してきたように、本実施形態による被写体追跡装置は、追跡対象の被写体の移動速度に応じて変動する、被写体候補領域のボケ度合いを利用して、その被写体が写っている被写体候補領域を特定する。そしてこのボケ度合いは、画像間での追跡対象となる被写体の形状及び向きの変化に影響されない。そのため、この被写体追跡装置は、追跡対象の被写体の形状及び向きが時間経過とともに変化したとしても、その被写体を追跡できる。
【００７８】
なお、変形例によれば、移動量算出部１４は、現画像における被写体候補領域と直前の画像における被写体候補領域の全ての組み合わせについて、その組み合わせに含まれる被写体候補領域の重心間の移動ベクトル及び移動量を算出してもよい。そして判定部１５は、その全ての組み合わせについて、ユーザの手が写っているか否かを判定するための判定条件が満たされるか否かを判定してもよい。この場合には、直前の画像の取得時から現画像の取得時までの間に移動していない被写体が写っている被写体候補領域を含む組み合わせも、移動ベクトル及び移動量の算出対象に含まれるが、移動領域検出部１２の処理が省略可能となる。
【００７９】
また他の変形例によれば、移動量算出部１４は、直前の画像において検出された被写体候補領域と、その被写体候補領域のボケ度合いと現画像において最も近いボケ度合いを持つ被写体候補領域との組み合わせのみを設定してもよい。この変形例では、ジェスチャを実行中の被写体がほぼ等速運動していると想定されることを前提として、移動量算出部１４は、被写体候補領域の組み合わせの数を減らすことが可能となる。
【００８０】
さらに他の変形例によれば、判定部１５は、現画像よりも前に撮影された画像を用いずに、現画像上で検出された被写体候補領域のボケ度合いに基づいて、追跡対象の被写体が写っている被写体候補領域を特定してもよい。例えば、判定部１５は、現画像上の被写体候補領域のうち、追跡対象の被写体について想定される移動速度に応じたボケ度合いを持つ被写体候補領域にその被写体が写っていると判定してもよい。
【００８１】
例えば、（５）式〜（７）式の何れかに従って、認識すべきジェスチャについての追跡対象の被写体である手の移動速度の想定値に対応するエッジ強度の上限値Thmax及びエッジ強度の下限値Thminが予め設定される。例えば、（５）式及び上記の係数αs、βsの値が用いられる場合、移動量の下限値が'25'であり、移動量の上限値が'60'であれば、エッジ強度の上限値Thmax=45、下限値Thmin=10となる。
【００８２】
判定部１５は、現画像における被写体候補領域のうち、上記のエッジ強度の下限値Thminから上限値Thmaxまでの範囲に含まれるエッジ強度を持つ被写体候補領域を選択する。選択された被写体候補領域が一つしかなければ、判定部１５は、その被写体候補領域に追跡対象の被写体が写っていると判定する。一方、選択された被写体候補領域が複数有ることもある。この場合、判定部１５は、選択された被写体候補領域のうち、直前の画像上で追跡対象の被写体が写っている被写体候補領域からの移動量がエッジ強度の下限値Thmainから上限値Thmaxに対応する移動量の範囲に含まれるものにその被写体が写っていると判定する。
【００８３】
さらに他の変形例によれば、被写体候補領域検出部１１は、色情報以外の、追跡対象の被写体の形状及び移動速度に依存しない、その被写体の特徴を表す情報に基づいて被写体候補領域を検出してもよい。例えば、被写体候補領域検出部１１は、現画像を複数の部分領域に分割し、各部分領域ごとに追跡対象となる被写体のテクスチャ情報値を算出する。そして被写体候補領域検出部１１は、そのテクスチャ情報値が追跡対象となる被写体が写っている領域が持つテクスチャ情報値に相当する値であれば、その部分領域を被写体候補領域として検出してもよい。なお、テクスチャ情報値としては、例えば、部分領域についての濃度共起行列から求められる、コントラスト、エントロピー、または分散といった値が利用可能である。あるいは、被写体候補領域検出部１１は、部分領域ごとにフラクタル次元を算出し、そのフラクタル次元が追跡対象となる被写体が写っている領域が持つフラクタル次元に相当する値であれば、その部分領域を被写体候補領域として検出してもよい。この例では、被写体候補領域検出部１１は、被写体候補領域とされた部分領域に対してラベリング処理を行って、隣接する被写体候補領域同士を連結してもよい。
【００８４】
また、追跡対象の被写体が、人の顔といった、その内部に濃淡差の大きい構造が含まれているような物体である場合、ボケ度合い算出部１３は、被写体候補領域内の隣接画素間の輝度の差分値の絶対値平均をボケ度合いを表す指標として算出してもよい。
【００８５】
また、本実施形態またはその変形例による被写体追跡装置は、携帯端末以外の様々な装置、例えば、特定の領域を通行する移動物体または特定の領域へ侵入する移動物体を監視する監視装置に実装されてもよい。例えば、そのような監視装置は、特定の領域の一例である交差点を通行する車両を追跡するように設置される。このような場合、交差点を曲がる車両は、監視装置が有する撮像部に対する向きが時間経過とともに変わるため、撮像部により生成される画像上での車両の像の形状も時間経過とともに変化する。しかし、上記のように、本実施形態またはその変形例による被写体追跡装置は、時系列に並んだ複数の画像について、被写体の形状及び向きに依存しない被写体候補領域のボケ度合いに応じて、同じ車両が写っている被写体候補領域を特定する。そのため、この被写体追跡装置は、このような時間経過とともに撮像部に対する向きが変わる車両も正確に追跡できる。
【００８６】
さらに、上記の各実施形態またはその変形例による被写体追跡処理に関する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体あるいは光記録媒体といった、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、このコンピュータによって読み取り可能な媒体には、搬送波は含まれない。
【００８７】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８８】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出する被写体候補領域検出部と、
前記少なくとも一つの被写体候補領域のそれぞれについて、当該被写体候補領域のボケ度合いを算出するボケ度合い算出部と、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定する判定部と、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する動き判別部と、
を有する被写体追跡装置。
（付記２）
前記判定部は、前記被写体候補領域の前記ボケ度合いが所定の判別値以上であれば、前記被写体候補領域に前記被写体が写っていると判定し、かつ、前記判別値は、前記被写体の移動速度が速いほど高く設定される、付記１に記載の被写体追跡装置。
（付記３）
前記画像上の前記被写体候補領域と前記被写体候補領域検出部により前記過去画像上で検出された前記被写体候補領域との組み合わせを少なくとも一つ設定し、前記組み合わせのそれぞれについて、当該組み合わせに含まれる前記画像上の前記被写体候補領域と前記過去画像上の前記被写体候補領域間の距離を算出する移動量算出部をさらに有し、
前記判定部は、前記組み合わせのうち、前記画像上の前記被写体候補領域のボケ度合いが、前記画像の撮影タイミングと前記過去画像の撮影タイミング間の差及び前記距離に応じた前記被写体の移動速度に対応するボケ度合いとなっている組み合わせに含まれる前記画像上の前記被写体候補領域に前記被写体が写っていると判定する、付記１または２に記載の被写体追跡装置。
（付記４）
前記画像上の前記被写体候補領域のうち、前記過去画像上の前記被写体候補領域と少なくとも一部が重ならない被写体候補領域を検出する移動領域検出部をさらに有し、
前記判定部は、前記組み合わせのうち、前記移動領域検出部によって検出された被写体候補領域を含む組み合わせについてのみ、前記被写体が写っているか否か判定する、付記３に記載の被写体追跡装置。
（付記５）
前記ボケ度合い算出部は、前記移動領域検出部によって検出された被写体候補領域についてのみ前記ボケ度合いを算出する、付記４に記載の被写体追跡装置。
（付記６）
前記移動量算出部は、前記画像上で複数の前記被写体候補領域が検出されている場合、該複数の被写体候補領域のうち、前記過去画像上で検出された前記被写体候補領域のボケ度合いに最も近いボケ度合いを持つ被写体候補領域と前記過去画像上の前記被写体候補領域とを前記組み合わせとする、付記４または５に記載の被写体追跡装置。
（付記７）
前記被写体候補領域検出部は、前記画像上で前記被写体に相当する色情報を持つ画素の集合を前記被写体候補領域として検出する、付記１〜６の何れか一項に記載の被写体追跡装置。
（付記８）
前記被写体候補領域検出部は、前記画像を複数の部分領域に分割し、該複数の部分領域のうち、前記被写体に相当するテクスチャ情報を持つ部分領域を前記被写体候補領域として検出する、付記１〜６の何れか一項に記載の被写体追跡装置。
（付記９）
前記ボケ度合い算出部は、前記被写体候補領域の輪郭のエッジ強度を、前記被写体候補領域のボケ度合いを表す指標として算出する、付記１〜８の何れか一項に記載の被写体追跡装置。
（付記１０）
所定の周期で撮影した画像を生成する撮像部と、
前記画像を受け取る度に、当該画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を検出し、
前記被写体候補領域のボケ度合いを算出し、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定し、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別し、該被写体の動きに相当するジェスチャを判別し、
前記ジェスチャに応じた処理を実行する制御部と、
を有するジェスチャ判別装置。
（付記１１）
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出し、
前記被写体候補領域のボケ度合いを算出し、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定し、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する、
被写体追跡方法。
（付記１２）
撮像部から受け取った画像上で追跡対象の被写体が写っている可能性がある被写体候補領域を少なくとも一つ検出し、
前記被写体候補領域のボケ度合いを算出し、
前記少なくとも一つの被写体候補領域のうち、前記被写体の移動速度に応じたボケ度合いを持つ被写体候補領域に前記被写体が写っていると判定し、
前記画像よりも前に前記撮像部により撮影された過去画像上で前記被写体が写っている領域から前記画像上の前記被写体が写っている前記被写体候補領域までの移動方向に応じて前記被写体の動きを判別する、
ことをコンピュータに実行させるための被写体追跡用コンピュータプログラム。
【符号の説明】
【００８９】
１    携帯端末（ジェスチャ判別装置）
２    表示部
３    撮像部
４    記憶媒体アクセス装置
５    記憶部
６    制御部（被写体追跡装置）
７    筺体
８    記憶媒体
１１    被写体候補領域検出部
１２    移動領域検出部
１３    ボケ度合い算出部
１４    移動量算出部
１５    判定部
１６    ジェスチャ判別部
１７    操作信号生成部
【図１】
0005895720.tif 000009
【図３】
0005895720.tif 000010
【図４】
0005895720.tif 000011
【図５】
0005895720.tif 000012
【図６】
0005895720.tif 000013
【図７】
0005895720.tif 000014
【図８】
0005895720.tif 000015
【図９】
0005895720.tif 000016
【図１０】
0005895720.tif 000017
【図２】
0005895720.tif 000018