(57)【要約】【課題】リアルタイム追尾処理でも多くの計算リソースを必要とせず、複数の肌色セグメントの中から追尾すべき肌色セグメントを的確に判断でき、また当該肌色セグメントが突然消失しても対象移動物体を引き続き追尾できる人物追尾装置を提供する。【解決手段】入力された画像信号の画像フレームデータを記憶するフレームメモリ１２、画像フレームデータをブロック化して移動物体ブロックを検出する検出部１３、隣接する移動物体ブロックをセグメントとして作成する作成部１４、画像フレームデータの肌色領域を検出し重み付けする検出部１５、過去に画像フレーム内に存在した移動物体を検出し、現在その移動物体の近傍に存在する移動物体を探索し重み付けする探索部１６、追尾対象となる移動物体セグメントを決定する決定部１７、追尾対象の移動物体セグメント内から追尾する位置座標を決定する決定部１８を備えている。【選択図】図１
2009147607.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号中から抽出しかつ人物の露出部分の肌の色の動きに関するデータを、当該人物の動きとして検出し追尾する人物追尾装置であって、
前記入力画像信号を画像フレーム単位で変換して得たフレームデータを順次メモリするメモリ手段と、
前記メモリ手段でメモリしてある前回のフレームデータと今回のフレームデータとをそれぞれ複数ブロックに分割して得た前回と今回の各ブロック同士の輝度データの差が所定の閾値を超えていることを検出すると、当該ブロックを移動物体ブロックとして検出する移動物体検出手段と、
前記移動物体検出手段から出力される前記移動物体ブロックをセグメント化して得た移動物体セグメントを作成するセグメント作成手段と、
前記セグメント作成手段から出力される移動物体セグメントと前記メモリ手段から出力される前記今回のフレームデータとに基づいて、肌の色のデータを有した備えた肌色ブロックを含む移動物体セグメントを検出する肌色セグメント検出手段と、
前記肌色セグメント検出手段から出力される移動物体セグメントと、当該移動物体セグメントに最も近似した前記前回のフレームデータよりも過去のフレームデータにおける移動物体セグメントとに基づいて、引き続き追尾対象とすべき移動物体セグメントを決定する追尾対象決定手段とを有する
ことを特徴とする人物追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ、画像再生装置あるいは公共放送などから得られる入力画像信号中から移動物体を検出し、検出したこの移動物体中から人間の肌の色を有する部分を検出し、また、当該人間の肌の色を有する部分が急に検出できなくなっても、当該追尾を中断することなく、人物の追尾を行なうことができる人物追尾装置に関する。
【背景技術】
【０００２】
近年、防犯・防災のための監視システムが工場や商店等の施設だけでなく家庭にも導入されるようになってきた。またこうした監視システムに様々な新機能が追加されるようになってきた。例えば、監視カメラで撮影した画像中から人物を検出する機能や、こうして検出した特定の人物を追尾する機能である。
【０００３】
具体的には、背景差分法を用いて監視カメラで撮影した動画像中から動きのある領域を検出して移動物体を検出し、この移動物体の領域を元に移動物体の動きを動的に解析した結果に基づいて作成したテンプレートを用いるテンプレートマッチング処理によって、対象とする移動物体の識別を行なう物体検出装置がある（特許文献１参照）。
【特許文献１】特開２００４-３４８３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のテンプレートマッチング処理は、移動物体検出用の計算量が膨大であり、この計算をリアルタイムで行なうためには多くの計算リソースを必要とする。この結果、高コストとなり、こうした移動物体のリアルタイム検出処理は実用上困難であるという問題点があった。
【０００５】
また、前記したテンプレートマッチング処理は、移動セグメント中から肌色のセグメントを検出するように設計されているのであるが、追尾の対象が同一人物であっても顔と両手など肌色セグメントが複数ある場合には、どの肌色セグメントを検出対象とするのか的確に判断できないため、追尾に失敗するおそれがあるという問題点があった。
【０００６】
さらに、例えば顔の肌色セグメントを対象として追尾している人物が、急に後姿になって顔が見えなくなった場合には、追尾の対象としている肌色セグメントが突然消失しまうことになり、この場合にも、追尾に失敗するおそれがあるという問題点があった。
【０００７】
そこで本発明は、上記の問題点に鑑みてなされたものであり、監視カメラ、画像再生装置あるいは公共放送などから得られる入力画像信号中に出てくる追尾の対象とする移動物体を検出するための計算量を小としたからリアルタイムの追尾処理が可能となり、また、追尾の対象が同一人物であって顔と両手など肌色セグメントが複数ある場合でも、この中から追尾すべき肌色セグメントを的確に判断することができるから、追尾に失敗することがない人物追尾装置を提供することを目的とする。
【０００８】
また本発明は、前記人物追尾装置の構成に加えて、追尾対象とする肌色セグメントが突然消失しても当該肌色セグメントを見失うことなく、引き続き対象の移動物体の追尾を行う人物追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明は下記の構成を有する人物追尾装置を提供する。
【００１０】
即ち、図１に示すように、（例えば、監視カメラ１０１の撮像エリアを撮像した）入力画像信号中から抽出しかつ人物の露出部分（顔、手、足など）の肌の色の動きに関するデータを、当該人物の動きとして検出し追尾する人物追尾装置１０であって、
前記入力画像信号を画像フレーム単位で変換して得たフレームデータ１Ａ，１Ｂを順次メモリするメモリ手段（フレームメモリ）１２と、
前記メモリ手段１２でメモリしてある前回のフレームデータ１Ａ（図２）と今回のフレームデータ１Ｂ（図３）とをそれぞれ複数ブロック（例えば３００ブロック）に分割して得た前回と今回の各ブロック同士（同一位置にあるブロック同士）の輝度データの差が所定の閾値を超えていることを検出すると、当該ブロックを移動物体ブロック（図４）として検出する移動物体検出手段（移動物体検出部）１３と、
前記移動物体検出手段１３から出力される前記移動物体ブロックをセグメント化して得た移動物体セグメント２，３（図５）を作成するセグメント作成手段（セグメント作成部）１４と、
前記セグメント作成手段１４から出力される移動物体セグメント２，３と前記メモリ手段１２から出力される前記今回のフレームデータ１Ｂとに基づいて、肌の色のデータを有した肌色ブロック４を含む移動物体セグメント３を検出する肌色セグメント検出手段（肌色検出部）１５と、
前記肌色セグメント検出手段１５から出力される移動物体セグメント３と、当該移動物体セグメント３に最も近似した前記前回のフレームデータよりも過去のフレームデータにおける移動物体セグメントとに基づいて、引き続き追尾対象とすべき移動物体セグメントを決定する追尾対象決定手段（追尾対象決定部）１７とを有する
ことを特徴とする人物追尾装置。
【発明の効果】
【００１１】
本発明は、監視カメラ、画像再生装置あるいは公共放送などから得られる入力画像信号中に出てくる追尾の対象とする移動物体を検出するための計算量を小としたからリアルタイムの追尾処理が可能となり、また、追尾の対象が同一人物であって顔と両手など肌色セグメントが複数ある場合でも、この中から追尾すべき肌色セグメントを的確に判断することができるから、追尾に失敗することがない人物追尾装置を提供することができる。
【００１２】
また本発明は、前記人物追尾装置の構成に加えて、追尾対象とする肌色セグメントが突然消失しても当該肌色セグメントを見失うことなく、引き続き対象の移動物体の追尾を行う人物追尾装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の人物追尾装置の実施の形態について、図１〜図１３を用いて、次の（１）〜（５）の順に説明する。
【００１４】
（１）人物追尾装置の構成
（２）人物追尾装置の動作
（３）第１の実施例
（４）第２の実施例
（５）その他の実施例
図１は本発明の人物追尾装置の実施の形態の構成を示すブロック図、図２は前回の画像フレームデータを示す図、図３は今回の画像フレームデータを示す図、図４は移動物体ブロックを示す図、図５は移動物体セグメントを示す図、図６は本発明の人物追尾装置の実施の形態の動作を示すフローチャートである。尚、本発明の実施の形態において使用される機器、手法等は一例であり、本発明はこれらに限定されるものではないことは勿論である。
【００１５】
以下、本発明の実施の形態の説明を、一例として監視カメラで撮像する入力画像信号中に出てくる人物を追尾することについて行うが、本発明はこれに限定されるものではなく、例えば、公共放送を受信して放送中の映像に出てくる特定の人物を追尾したり、あるいは、遠隔の映像再生装置から無線伝送される再生映像信号中に出ている特定の人物を追尾することについても適用できることは言うまでもない。
【００１６】
（１）人物追尾装置の構成
本発明の実施の形態に係る人物追尾装置１０は、図１に示すように、監視エリア内を撮像した画像を画像信号として送信する監視カメラ１０１と、追尾処理中の画像をモニタ表示するモニタ装置１０２とに接続される。
【００１７】
また人物追尾装置１０は、図１に示すように、画像信号受信部１１、フレームメモリ１２、移動物体検出部１３、セグメント作成部１４、肌色検出部１５、近傍探索部１６、追尾対象決定部１７、追尾位置決定部１８、座標データ伝送部１９、肌色重み記憶部２０、近傍重み記憶部２１及び制御部２２を備えている。制御部２２は人物追尾装置１０を構成する各部の動作制御を行なう。
【００１８】
そして、上記した構成を有する人物追尾装置１０は、大略、図１に示すように、監視カメラ１０１の撮像エリアを撮像した撮像画像中から抽出しかつ人物の露出部分（顔、手、足など）の肌の色の動きに関するデータを、当該人物の動きとして検出し追尾する人物追尾装置である。
【００１９】
前記した画像信号受信部１１は、監視カメラ１０１から送信されてくる画像信号を受信し、画像フレーム単位の画像フレームデータに変換して、フレームメモリ１２へ順次出力される。
【００２０】
前記したフレームメモリ１２は、画像信号受信部１１から入力される画像フレーム単位の画像フレームデータを、その入力順（時系列順）にタイムスタンプを付してメモリする。フレームメモリ１２は、画像フレームデータを、例えば、第１の画像フレームデータ、…、第２の画像フレームデータ、第３の画像フレームデータというように、順次メモリしていく。
【００２１】
以下の説明において、第２の画像フレームデータを「前回の画像フレームデータ」１Ａ（図２）、第３の画像フレームデータを「今回の画像フレームデータ」１Ｂ（図３）、そして第１の画像フレームデータを「過去の画像フレームデータ」と称して用いる。
【００２２】
前回の画像フレームデータ１Ａは、図２に示すように、データ部分１Ａａ〜１Ａｃを有し、また、今回の画像フレームデータ１Ｂは、図３に示すように、データ部分１Ｂａ〜１Ｂｃを有している。データ部分１Ａａ〜１Ａｃはそれぞれ、データ部分１Ｂａ〜１Ｂｃに対応している。またデータ部分１Ａａ，１Ａｂに対するデータ部分１Ｂａ，１Ｂｂの移動は、図３中矢印で示す。図３に示すデータ部分１Ｂｃには移動はない。
【００２３】
前記した移動物体検出部１３は、前回の画像フレームデータ１Ａに対する今回の画像フレームデータ１Ｂの移動部分を検出し、これを移動物体ブロックデータとして、セグメント作成部１４へ出力される。この移動部分の検出には既存の技術である動き検出手法を使用して行う。
【００２４】
即ち、移動物体検出部１３は、フレームメモリ１２にメモリしてある前回の画像フレームデータ１Ａ，今回の画像フレームデータ１Ｂをそれぞれ読み出して、読み出した画像フレームデータ１Ａ，１Ｂをそれぞれ、予め設定してあるブロック数（後述の図４に示すように例えば、３００ブロック（縦１５ブロック×横２０ブロック））に分割してブロック化する。
【００２５】
ブロック化した画像フレームデータ１Ａ，１Ｂはそれぞれ、多数のブロックを集合したブロック群を形成する。そして、ブロック化した前回の画像フレームデータ１Ａのブロック群を構成する各ブロック（前回のブロック）毎の輝度と、ブロック化した今回の画像フレームデータ１Ｂのブロック群を構成する各ブロック（今回のブロック）毎の輝度との輝度差をそれぞれ求める。
【００２６】
この結果、各輝度差が所定の閾値を越えた場合、当該ブロックを移動物体ブロックデータとして検出する。移動物体ブロックデータのエリアは２つのブロックのエリアを併せたエリアとなる。
【００２７】
前記したセグメント作成部１４は、移動物体検出部１３から前記移動物体ブロックデータをそれぞれ入力する。セグメント作成部１４は、入力する移動体ブロックデータの各外縁にそれぞれ隣接する全てのブロックを検出し、検出した全てのブロックのエリアを元の移動物体ブロックデータのエリアに併合した、一塊の移動物体セグメントデータをそれぞれ生成し、フレームメモリ１２及び肌色検出部１５へ出力される。こうして生成されたのが、図４に示す、２つの移動物体セグメント２，３である。
【００２８】
前記した肌色検出部１５は、フレームメモリ１２から入力する画像フレームデータ１Ｂと、セグメント作成部１４から入力しかつ移動物体セグメント２，３に関する移動物体セグメントデータとに基づいて、当該移動物体セグメント２，３を構成する各ブロック毎に、人間を示す指標として、人間の肌の色である「肌の色」を有する肌色ブロックであることを検出する。
【００２９】
ここで、「肌色」は一般には、次のように定義する。即ち、１６進表記では＃Ｆ１ＢＢ９３、ＲＧＢでは（２４１，１８７，１４７）、ＣＭＹＫでは（２，２３，３５，０）、ＨＳＶでは（２６°，３９％，９５％）、マンセル値では５ＹＲ８／５である。
【００３０】
これに対して、本発明の人物追尾装置１０が扱う「肌の色」とは、先に定義した「肌色」を中心として、人種を問わず人間として特定するために必要な広がりをもった範囲の「肌の色」をも含むものである。本明細書で用いる「肌の色」はこうした意味をもつ。
【００３１】
前記した肌色ブロックは、画像フレームデータ１Ｂにおいて、衣服などから露出している顔や両手などのブロックに対応している。
【００３２】
ところが、監視カメラ１０１が設置してある監視エリアの環境下においては、各種照明（自然光、蛍光灯、白熱電球等）下にあり、監視カメラ１０１のカラーバランス調整を照明光の色温度に応じて事前にしておく必要がある。こうした事前調整をしないと、監視カメラ１０１で肌の色を撮像して得た画像フレームデータ１Ｂを肌色検出部１５に入力しても、肌色検出部１５はこれを肌の色とし認識しないことがあり、この結果、人間の移動を誤検出してしまう恐れが生じるためである。
【００３３】
こうして、肌色検出部１５は、図５に示すように、２つの移動物体セグメント２，３のうち、肌の色を検出できた移動物体セグメント３を構成する肌色ブロック（斜め網線部分）４の重み付けを行う。即ち、肌色ブロック４は肌色ブロックでないブロック５に対して、例えば＋１０を加点する。こうして全ての肌路居ブロック４に対する重み付けの合計点数を算出し、この合計点を肌色重み記憶部２０と追尾対象決定部１７へそれぞれ出力される。肌色重み記憶部２０はこの合計点数をメモリする。
【００３４】
そして、前記した制御部２２は、この移動物体セグメント３を全て肌色ブロック４から構成される移動物体セグメントと見做す、情報処理を行なう。
【００３５】
前記した近傍探索部１６は、現時点から所定時間遡った時間内において、前記した移動物体検出部１３で検出した移動物体ブロックデータに似た移動物体ブロックデータがこれまで検出されていたことを探索する。
【００３６】
即ち、近傍探索部１６は、制御部２２で設定された現時点から所定時間内のフレームメモリ１２にメモリしてある画像フレームデータを順次読み出して、現在把握している移動物体ブロックデータに最も近い、近傍移動物体ブロックデータを検出する。この探索結果は、追尾対象決定部１７へ出力される。
【００３７】
前記した追尾対象決定部１７は、近傍探索部１６から入力する近傍移動物体ブロックデータと、肌色検出部１５から入力する肌の色の検出ができた全てのブロックに対する重み付けの合計点数とを比較して、後者の重み付けの合計点数が前者の移動物体ブロックデータに最も似通っていることを検出すると、当該移動物体セグメントは追尾対象であることを決定する。追尾対象決定部１７は、この追尾対象である移動物体セグメントデータを追尾位置決定部１８へ出力される。
【００３８】
前記した追尾位置決定部１８は、追尾対象決定部１７が決定した追尾対象の肌色ブロック４を有する移動物体セグメント３に基づいて、追尾する位置座標を決定する。追尾位置決定部１８は、追尾対象となる肌色ブロック４を含む移動物体セグメント３の重心座標を、追尾対象とすべき移動物体セグメントとするように設定を変更する。この重心座標は移動物体がこれから移動していく方向の中心位置を示す。
【００３９】
追尾位置決定部１８は、移動物体セグメント３と、当該移動物体セグメント３に最も近似した前回のフレームデータ１Ａよりも過去のフレームデータにおける移動物体セグメントとに基づいて、引き続き追尾対象とすべき移動物体セグメントを決定するものであり、追尾対象とすべき移動物体セグメントがこれから移行する重心座標に関する位置座標データを、座標データ伝送部１９へ出力される。
【００４０】
前記した座標データ伝送部１９は、現在の位置座標データとこれから移行する位置座標データとを比較し、その差分のデータを駆動信号として、監視カメラ１０１を取り付けたＰＴＺ(パンチルト)機構や回転雲台の各駆動手段に出力される。こうして追尾するべき移動物体を画像の中心に常時収まるようにすることによって、対象とする人物を画像フレームの中心位置で常時撮影することが出来る。
【００４１】
（２）人物追尾装置の動作
次に、上記した(１)の人物追尾装置の動作を、図６に示すフローチャートに沿って、動作順に説明する。図７は肌色ブロックの検出処理を説明するための図である。
【００４２】
（ａ）まず、監視エリアを撮像した画像フレームデータを受信し、これを逐次メモリする。 (「フレームデータ受信」ステップＳ１)。
【００４３】
（ｂ）次に、メモリしてある前回の画像フレームデータ１Ａと今回の画像フレームデータ１Ｂとを読み出して、これらを所定数のブロック（例えば３００ブロック）に分割してブロック化する。そして、ブロック化した前回の画像フレームデータ１Ａのブロック群を構成する各ブロック（前回のブロック）毎の輝度と、ブロック化した今回の画像フレームデータ１Ｂのブロック群を構成する各ブロック（今回のブロック）毎の輝度との輝度差をそれぞれ求める。この結果、各輝度差が所定の閾値を超えた場合、そのブロックを移動物体ブロック（移動物体ブロックデータ）として検出する(「移動物体ブロックを検出する」ステップＳ２)。
【００４４】
（ｃ）次に、移動物体ブロックが検出されると（ＹＥＳ）、次のステップS４へ進む。また移動物体ブロックが検出されないと（ＮＯ）、ステップＳ１へ戻る(「移動物体ブロックが検出されたか?」ステップＳ３)。
【００４５】
（ｄ）次に、移動物体ブロックとして検出されると（ＹＥＳ）、移動物体ブロックの外縁にそれぞれ隣接する全てのブロックを検出し、これらを併合した、移動物体セグメント（移動物体セグメントデータ）２，３を形成する(「移動物体ブロックをセグメント化する」ステップＳ４)。
【００４６】
（ｅ）次に、移動物体セグメント２，３を構成する全てのブロックに対して肌の色を有するブロックであることを検出する(「すべての移動物体ブロックに対して肌色領域であるかを検出する」ステップＳ５)。
【００４７】
即ち、肌色検出部１５は、移動物体セグメント２，３毎にそのブロックの平均画素を作成し、その平均画素がＹＵＶ形式データでなければＹＵＶ形式データに変換する。ＹＵＶ形式とは、輝度信号(Ｙ)と、輝度信号と青色成分の差(Ｕ)、輝度信号と赤色成分の差(Ｖ)の３つの情報で色を表す形式であり、人間の目が色の変化よりも明るさの変化に敏感な性質を利用して、輝度情報により多くのデータ量を割り当てるようにしたものである。
【００４８】
肌色ブロック４（図５）は、図７に示すU−V座標における、輝度信号と青色成分の差(Ｕ１・Ｕ２)、輝度信号と赤色成分の差（Ｖ１・Ｖ２）から成る矩形領域で表現される。Ｕ１、Ｕ２、Ｖ１、Ｖ２の値は監視カメラ１０１の撮影状況（カラーバランス）に応じてそれぞれ最適な値に設定される。
【００４９】
（ｆ）次に、肌色検出部１５は、移動物体セグメント３を構成するブロックの平均画素（Ｕ、Ｖ）が、次の（式１）、
Ｕ１≦Ｕ≦Ｕ２、かつ、Ｖ１≦Ｖ≦Ｖ２ ・・・・・（式１）
にあてはまることを判定する（「肌色領域である移動物体ブロックが１つでも検出されたか?」ステップＳ６）。
【００５０】
この判定の結果、条件式（式１）に当てはまる場合、当該移動物体ブロックは肌色ブロック４として検出される。例えば図５では、走る女性の顔、腕、足が肌色ブロック４として検出される。
【００５１】
（ｇ）次に、肌色ブロック４を有する移動物体セグメント３に重みをつける。「重み」は、その監視カメラ１０１の設置環境や対象物によって決定され、例えば人物以外の移動物体が多数移動するような状況下において人物を追尾するためには肌の色を重視するように設定する。重み付けの例としては、ある移動物体セグメントのブロック数が１０あり、そのうち肌色ブロック４が３、それ以外の移動物体ブロック５が７だった場合、肌色ブロック４の重みを２倍とし、（３×２）＋７＝１３という点数をつけるようにする。
【００５２】
つまり、肌色ブロック４の重みは肌の色の分布の広さ比例することとなる。尚、肌色ブロック４を備えない移動物体セグメント２に対しては、重み付けは行わず、例えば移動物体セグメントのブロック数が１０ある場合、その点数は１０のままとする。移動物体セグメント２の点数、又重み付けされた肌色ブロック４保有の移動物体セグメント３の点数は肌色重み記憶部２０に格納される（「肌色領域である移動物体ブロックに重みをつける」ステップＳ７）。
【００５３】
（ｈ）近傍探索部１６は、過去にフレーム内に存在した移動物体を検出する。具体的には、所定時刻遡った間に監視カメラ１０１が撮影した画像フレームデータ内に、移動物体セグメント３が検出されていたかどうかを判断する。この判断はフレームメモリ１２に格納された移動物体セグメント３付きフレームを探索することによって実行される（「予め設定していた時間さかのぼった間に移動物体を検出していたか？」ステップＳ８）。
【００５４】
（ｉ）移動物体セグメント３が検出されていた場合（ＹＥＳ）、近傍探索部１６は、過去の移動物体セグメント付きフレームの中で最も現在時刻に近いフレームを選出し、このフレーム内での移動物体セグメント３の位置を特定する。更に、最新に受信したフレームの中で、この特定された位置に最も近くに存在する移動物体セグメントを探索し、探索された移動物体セグメントを近傍セグメントとして設定し、重み付けを行なう。
【００５５】
重み付けされた移動物体セグメント３の点数は近傍重み記憶部２１に格納される（「過去に検出していた中で最新の移動物体の最も近傍にある移動物体に重みをつける」ステップＳ９）。
【００５６】
ここで、肌色検出部１５と近傍探索部１６とに関する、重み付けの関係について説明する。人物追尾装置１０は、肌色ブロック４を保有している移動物体セグメント３の重みと近傍セグメントの重みとを自由に組み合わせることにより、追尾対象となる移動物体セグメントを確実に認識し、追跡できるようにする。
【００５７】
例えば、人物である移動物体セグメントを追跡する際に、肌色ブロック４を保有している移動物体セグメント３のみを追跡していると、その人物が後ろを振り返る等の動作を行い、一瞬で肌色ブロック４を保有している移動物体セグメント３が画像フレームから消失してしまう場合がある。このような場合に、移動物体セグメント３が消失する直前の人物）の近傍セグメントを使用し、肌色ブロック４を保有する移動物体セグメント３が再度現れるまでこの近傍セグメントを追尾すべき移動物体セグメントとして追跡するようにする。
【００５８】
重み付け設定の他の例として、近傍セグメントに対して他のどの移動物体セグメントよりも常に点数が上回るように重みを設定すると、対象人物である移動物体セグメントを一旦検出すると、それ以降のフレームではその移動物体セグメントを優先して追跡するようにするようになる。又、不特定であっても人物のみを追尾したい場合、肌色ブロック保有移動物体セグメントの重みを近傍セグメントの重みよりも高く設定し、前回検出した人物と同じ人物とは限らなくとも、肌の色を含む移動物体、つまり人物が優先されて追尾されるようにする。
【００５９】
（ｊ）追尾対象決定部１７は、肌色重み記憶部２０に格納される肌色ブロック保有の移動物体セグメント３の点数および近傍重み記憶部２１に格納される近傍セグメントの点数の内、最も点数が高い移動物体セグメントを追尾対象として決定する（「全てのセグメントの中で最も点数が高いセグメントを選択する」ステップＳ１０）。
【００６０】
（ｋ）追尾位置決定部１８は、追尾対象決定部１７が選択した移動物体セグメント３が肌色ブロック４を保有する移動物体セグメントであるか否かを判断する（「Ｓ１０で選択したセグメント内に肌色領域である移動物体ブロックがあるか？」ステップＳ１１）。
【００６１】
（ｌ）次に、肌色ブロック４を保有する移動物体セグメントであると判断した場合（ＹＥＳ）、肌色ブロック又は複数の肌色ブロックから成る領域のみの重心を計算し、重心の座標を追尾する位置として決定する（「Ｓ１０で選択したセグメント内に肌色領域の偏りを加味し追尾対象とする座標を決定する」ステップＳ１２）。
【００６２】
（ｍ）一方、肌色ブロック４を保有する移動物体セグメント３であると判断しない場合（ＮＯ）、単純にその移動物体セグメント３の重心の座標を追尾する位置として決定する（「Ｓ１０で選択したセグメントの重心座標を求め追尾対象とする」ステップＳ１３）。
【００６３】
（ｎ）次に、座標データ伝送部１９は、追尾対象となった重心の座標を外部装置、例えばＰＴＺ機構や回転雲台等に出力される（決定したセグメントの重心の座標を外部に出力する）ステップＳ１４）。
【００６４】
これ以降に受信する画像フレームに対しても、人物追尾装置１０は上記のステップＳ１〜Ｓ１４を繰り返し実行し、対象とする人物の追尾処理を続けて行う。
【００６５】
（３）第１の実施例
複数の肌色ブロックを有する移動物体セグメントの中から追尾すべき肌色ブロックを有する移動物体セグメントを判断する実施例について、図２及び図３の２つの画像フレームを用いて説明する。
【００６６】
図２は過去の画像フレーム、図３が現在の画像フレームである。図２及び図３の各フレームデータ１Ａ，１Ｂを比べると、人物と車が別方向に移動している。図４には、車が移動する際に検出された移動物体セグメント２と、人物が移動する際に検出された移動物体セグメント３とが表示されている。
【００６７】
人物の移動物体セグメント３は、移動前に人物が存在していた場所にできた移動物体ブロック及び移動後に人物が存在する場所の移動物体ブロックが合体されたセグメントである（図６のステップＳ４参照）。
【００６８】
図４に示す移動物体セグメント３より肌色ブロック４６を抽出した図５の画像フレームにおいて、移動物体セグメント２には肌色ブロックが検出されていないが、移動物体セグメント３には肌色ブロック４が検出されている。
【００６９】
この場合、肌色ブロック４を含む移動物体セグメント３を重み付けし点数を高くする（図６のステップＳ７参照）。追尾対象決定部１７は、この肌色ブロック４を保有している移動物体セグメント３を追尾対象と決定する。又、追尾対象である移動物体セグメント３肌色セグメント４を含んでいるため、追尾位置決定部１８は、肌色ブロック４から成る領域の重心を計算する（図６のステップＳ１１、Ｓ１２参照）。
【００７０】
この後、パン・チルト制御を行いこの画像重心が監視カメラ１０１を設置した撮影映像の中心にくるように設定することで、図１１に示すフレームデータ１Ｃのように、追尾すべき人物のいる位置１Ｃｂが撮像する画面中央となるように再設定することができる。
【００７１】
（４）第２の実施例
撮像する画像フレームより肌色セグメントが消失しても対象とする移動物体セグメント３を追尾する実施例について図８及び図９の２つのフレームデータ１Ｄ，１Ｅを用いて説明する。図８が過去のフレームデータ１Ｄ、図９が現在のフレームデータ１Ｅである。フレームデータ１Ｄ，１Ｅを比較すると、人物Ｊ及び人物Ｋが別方向に移動している。図９中矢印は移動方向を示す。図８において人物Ｋは正面を向いているが、図９において人物Ｋは後ろを振り返っており、肌色ブロックが存在しない。
【００７２】
図１０には、人物Ｊが移動する際に検出された移動物体セグメント６と、人物Ｋの移動前に存在した場所に作成された移動物体ブロック及び移動後に存在する場所に作成される移動物体ブロックが合体した移動物体セグメント７が表示されている（図６のステップＳ４参照）。
【００７３】
移動物体セグメント７は肌色ブロック（図示せず）が検出されているが、移動物体セグメント６には検出されていない。この場合、移動物体セグメント７には肌色ブロックによる重みが加算される（図６のステップＳ１９参照）。移動物体セグメント７は前回検出された人物の重心８に最も近いセグメントである為、近傍セグメントとして重み付けがなされる（図６のステップＳ８〜９参照）。
【００７４】
ここで、撮像したフレームデータ１Ｄより肌色セグメントが消失しても対象移動物体を追尾するように設定するのであれば、肌色ブロック６を保有していなくても近傍セグメントに対し常に点数が最も高くなるように重み設定を行う。
【００７５】
この場合、人物Ｋの移動物体セグメント７が追尾対象として選択される（図６のステップＳ１０参照）。移動物体セグメント６は肌色ブロックを保有していないので、そのまま移動物体セグメント６自身の重心が計算される（図６のステップＳ１１、Ｓ１３参照）。更にパン・チルト制御にてこの重心が撮影映像の中心にくるように設定することで、図１２のフレームデータ１Ｆのように、追尾対象である人物Ｋのいる位置を映像の中心とすることができる。
【００７６】
（５）その他の実施例
尚、どのような人物でもよいので人物のみを追尾したい場合は、図１０の画像フレームにおいて、肌色ブロックの重みを近傍セグメントの重みより加重する。この場合肌色検出部１５で検出した肌色ブロックの重みが近傍セグメントよりも優先され、それによって前回の追尾対象とは異なる人物Ｊが含まれる移動物体セグメント９が追尾対象となる。この後、移動物体セグメント９の重心を計算し、パン・チルト制御にてこの重心が撮影映像の中心となるように設定することで、図１３のフレームデータ１Ｇのように人物Ｊの位置が撮影映像の中心となる。
【００７７】
上述したように、本発明の実施の形態に係る人物追尾装置１０では、移動物体の肌色ブロック領域に重み付けすることで、人物らしい領域を素早く決定し、追尾することが可能となる。更に一度人物らしき移動物体セグメントを検出した後に、その近傍に検出された移動物体セグメントに重み付けることにより、他に人物らしい領域が検出されても、その人物を追尾し続けるように設定することができる。
【図面の簡単な説明】
【００７８】
【図１】本発明の人物追尾装置の実施の形態の構成を示すブロック図
【図２】前回の画像フレームデータを示す図
【図３】今回の画像フレームデータを示す図
【図４】移動物体ブロックを示す図
【図５】移動物体セグメントを示す図
【図６】本発明の人物追尾装置の実施の形態の動作を示すフローチャート
【図７】肌色領域を示す座標図
【図８】前回の画像フレームデータを示す図
【図９】今回の画像フレームデータを示す図
【図１０】移動物体セグメントを示す図
【図１１】画像フレームデータを示す図
【図１２】画像フレームデータを示す図
【図１３】画像フレームデータを示す図
【符号の説明】
【００７９】
１Ａ，１Ｂ  フレームデータ
２，３  ブロック
４，５  移動物体セグメント
６  肌色ブロック
１０  人物追尾装置
１１  画像信号受信部
１２  フレームメモリ（メモリ手段）
１３  移動物体検出部（移動物体検出手段）
１４  セグメント作成部（セグメント作成手段）
１５  肌色検出部（肌色セグメント検出手段）
１６  近傍探索部
１７  追尾対象決定部（追尾対象決定手段）
１８  追尾位置決定部
１９  座標データ伝送部
２０  肌色重み記憶部
２１  近傍重み記憶部
１０１  監視カメラ
１０２  モニタ
【図１】
2009147607.tif 000003
【図２】
2009147607.tif 000004
【図３】
2009147607.tif 000005
【図４】
2009147607.tif 000006
【図５】
2009147607.tif 000007
【図６】
2009147607.tif 000008
【図７】
2009147607.tif 000009
【図８】
2009147607.tif 000010
【図９】
2009147607.tif 000011
【図１０】
2009147607.tif 000012
【図１１】
2009147607.tif 000013
【図１２】
2009147607.tif 000014
【図１３】
2009147607.tif 000015