(57)【要約】【課題】動画データ中から顔等のオブジェクトを追跡する処理をより正確に行う。【解決手段】静止画データ列によって構成される動画データ中から顔を追跡する処理を行う。探索部における静止画データ中の全範囲の探索によって顔を検出できた場合に、追跡部によるその顔の追跡が行われる。追跡部は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出された顔の特性に基づいて、追跡対象の静止画データ中から顔を追跡することにより、静止画データ列の時間軸を遡る方向に顔を追跡する。【選択図】図２
2005099953.tif 000002
【特許請求の範囲】
【請求項１】
各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理を行う画像処理装置であって、
静止画データ中からオブジェクトを探索する探索手段と、
該探索手段により１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡手段と、
を備え、
前記追跡手段は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記追跡対象の静止画データより後の時刻における１以上の静止画データは、該追跡対象の静止画データの直後の時刻における静止画データを含むことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記オブジェクトの特性は、該オブジェクトの位置、大きさ、角度、形状、明るさ、色、及びそれらの軌跡の少なくとも１つを含むことを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか１に記載の画像処理装置であって、
前記追跡手段は、追跡対象の静止画データより前の時刻における１以上の静止画データ中から既に検出されたオブジェクトの位置及び大きさを含む特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することにより、静止画データ列の時間軸に沿った方向にオブジェクトを追跡することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記追跡対象の静止画データより前の時刻における１以上の静止画データは、該追跡対象の静止画データの直前の時刻における静止画データを含むことを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１に記載の画像処理装置であって、
前記オブジェクトは顔であることを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１に記載の画像処理装置であって、
該画像処理装置は、リアルタイム動画データ中から、オブジェクトをリアルタイムで追跡する処理を行う装置であることを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置を備えるオブジェクト追跡システムであって、
オブジェクトを含むリアルタイム動画データを得るために、該オブジェクトを撮像する画像処理用撮像装置と、
前記追跡手段にて既に検出された静止画データ中のオブジェクトの特性に基づいて、該オブジェクトの将来特性を推定する特性推定手段と、
オブジェクトを追尾可能な追尾装置と、
前記特性推定手段により推定されたオブジェクトの将来特性に基づいて制御指令値を演算して前記追尾装置へ出力することで、該追尾装置が該オブジェクトを追尾するように制御を行う制御指令演算手段と、
を備えることを特徴とするオブジェクト追跡システム。
【請求項９】
請求項８に記載のオブジェクト追跡システムであって、
前記追尾装置は、オブジェクトを追尾して撮像可能な追尾用撮像装置であり、
前記制御指令演算手段は、該追尾用撮像装置の撮像方向及びズームの少なくとも一方を制御するための制御指令値を演算することを特徴とするオブジェクト追跡システム。
【請求項１０】
各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理を行う画像処理方法であって、
静止画データ中からオブジェクトを探索する探索ステップと、
該探索ステップにより１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡ステップと、
を含み、
前記追跡ステップは、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することを繰り返すことにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡することを特徴とする画像処理方法。
【請求項１１】
各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理をコンピュータに実行させる画像処理プログラムであって、
静止画データ中からオブジェクトを探索する探索処理と、
該探索処理により１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡処理と、
をコンピュータに実行させ、
前記追跡処理は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡する処理を行うことにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡する処理を行うことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理を行う画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像処理によって画像データから例えば顔等のオブジェクトを検出するためには、複雑な計算を必要とするため、検出に長時間を要するという問題点がある。ただし、動画像においては、フレーム間の相関が非常に高いという性質があるため、オブジェクトの検出処理を行うときに、その検出対象となるフレームより前の時間における検出済みのオブジェクトの「大きさ」、「位置」、「角度」、「形状」、「明るさ」、「色」、及びそれらの「軌跡」などの特性を利用することにより、検出時間の短縮を図ることができる。動画データ中のオブジェクト検出処理において、前の時間におけるフレームにて検出されたオブジェクトの特性を利用して時間軸順方向にオブジェクトの探索を行う手法は広く利用されている。
【０００３】
また、その他の背景技術として、画像データから人間の顔を検出する手法の一例が非特許文献１に開示され、ビデオ画像から顔を検出して口の動きを検知することにより、発話区間を推定して音声認識結果の向上を図った技術が非特許文献２に開示されている。
【０００４】
【非特許文献１】R. Stiefelhagen他,"Simultaneous tracking of head pose in a panoramic view",proc. International Conference on Pattern Recognition,Vol.3,pp726-729,2000
【非特許文献２】Kazumasa Murai, Kenichi Kumatani, Satoshi Nakamura,  "A Robust End Point Detection by Speaker's Facial Motion", HSC2001 (International Workshop on Hands-Free Speech),2001/4/9
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した時間軸順方向にオブジェクトの探索を行う手法においては、最初にオブジェクトを検出できた時点より後の時間におけるオブジェクトの特性しか得ることができない。さらに、最初の検出時点より後の時間におけるオブジェクトの特性だけでは、将来のオブジェクトの予測精度も低下する。このように、時間軸順方向にオブジェクトの探索を行う手法では、より正確なオブジェクトの追跡及びより正確な将来のオブジェクトの予測について、まだ改善の余地がある。
【０００６】
本発明は、動画データ中からオブジェクトを追跡する処理をより正確に行うことができる画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理を行う画像処理装置であって、静止画データ中からオブジェクトを探索する探索手段と、該探索手段により１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡手段と、を備え、前記追跡手段は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡することを要旨とする。
【０００８】
本発明に係る画像処理装置において、前記追跡対象の静止画データより後の時刻における１以上の静止画データは、該追跡対象の静止画データの直後の時刻における静止画データを含むものとすることもできる。本発明に係る画像処理装置において、前記オブジェクトの特性は、該オブジェクトの位置、大きさ、角度、形状、明るさ、色、及びそれらの軌跡の少なくとも１つを含むものとすることもできる。
【０００９】
本発明に係る画像処理装置において、前記追跡手段は、追跡対象の静止画データより前の時刻における１以上の静止画データ中から既に検出されたオブジェクトの位置及び大きさを含む特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することにより、静止画データ列の時間軸に沿った方向にオブジェクトを追跡するものとすることもできる。このように、静止画データ列の時間軸を遡る方向にオブジェクトを追跡する手段と時間軸に沿って順方向にオブジェクトを追跡する手段とを併用することができる。また、検出されたオブジェクトの画像と、検出しようとする画像を用い、オプティカルフロー法に代表される動き検出アルゴリズムを用いてオブジェクトを追跡することも可能である。本発明に係る画像処理装置において、前記追跡対象の静止画データより前の時刻における１以上の静止画データは、該追跡対象の静止画データの直前の時刻における静止画データを含むものとすることもできる。
【００１０】
本発明に係る画像処理装置において、前記オブジェクトは顔であることが好適である。本発明に係る画像処理装置において、該画像処理装置は、リアルタイム動画データ中から、オブジェクトをリアルタイムで追跡する処理を行う装置であることが好適である。顔画像の検出をリアルタイムで行うには複雑な計算を必要とするため、本発明を適用することが特に有効である。
【００１１】
本発明に係る画像処理装置を備えるオブジェクト追跡システムは、オブジェクトを含むリアルタイム動画データを得るために、該オブジェクトを撮像する画像処理用撮像装置と、前記追跡手段にて既に検出された静止画データ中のオブジェクトの特性に基づいて、該オブジェクトの将来特性を推定する特性推定手段と、オブジェクトを追尾可能な追尾装置と、前記特性推定手段により推定されたオブジェクトの将来特性に基づいて制御指令値を演算して前記追尾装置へ出力することで、該追尾装置が該オブジェクトを追尾するように制御を行う制御指令演算手段と、を備えるものとすることもできる。この本発明に係るオブジェクト追跡システムにおいて、前記追尾装置は、オブジェクトを追尾して撮像可能な追尾用撮像装置であり、前記制御指令演算手段は、該追尾用撮像装置の撮像方向及びズームの少なくとも一方を制御するための制御指令値を演算することが好適である。
【００１２】
本発明に係る画像処理方法は、各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理を行う画像処理方法であって、静止画データ中からオブジェクトを探索する探索ステップと、該探索ステップにより１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡ステップと、を含み、前記追跡ステップは、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することを繰り返すことにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡することを要旨とする。
【００１３】
本発明に係る画像処理プログラムは、各々が異なる時刻のデータである静止画データ列によって構成される動画データ中から、オブジェクトを追跡する処理をコンピュータに実行させる画像処理プログラムであって、静止画データ中からオブジェクトを探索する探索処理と、該探索処理により１つ以上のオブジェクトを検出できた場合に、他の静止画データ中における該１つ以上のオブジェクトを追跡する追跡処理と、をコンピュータに実行させ、前記追跡処理は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡する処理を行うことにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡する処理を行うことを要旨とする。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、静止画データ列の時間軸を遡る方向にオブジェクトを追跡することにより、動画データ中からオブジェクトを追跡する処理をより正確に行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。
【００１６】
図１は、本発明の実施形態に係る画像処理装置を備えるオブジェクト追跡システムの構成の概略を示すブロック図である。本実施形態に係るオブジェクト追跡システムは、画像処理を用いて人間の顔を追跡するシステムであり、その構成は大きく分けてカメラ１０、画像処理装置１２及び制御装置１４に分けられる。
【００１７】
画像処理用撮像装置としてのカメラ１０は、本実施形態のオブジェクトである人間の顔を撮像する。カメラ１０により撮像された動画像信号は、画像処理装置１２へ入力される。また、カメラ１０はその撮像方向及びズームを変化させることができ、後述するように、カメラ１０の撮像方向及びズームを制御装置１４により制御することができる。
【００１８】
画像処理装置１２は、カメラ１０により撮像された動画像から人間の顔をリアルタイムで追跡する処理を行う。そして、画像処理装置１２は、画像前処理部２８、画像保管部２９、探索部１６及び追跡部１８を有している。
【００１９】
画像前処理部２８には、カメラ１０からの動画像信号が入力される。カメラ１０からの動画像信号は、画像前処理部２８にてＡ／Ｄ変換及び量子化等の処理が行われ、各々が異なる時刻のデータである静止画データ列によって構成されるリアルタイム動画データに変換される。ここで、静止画データ列の各々は一時的に画像保管部２９に保管される。また、画像保管部２９に保管された静止画データ列の各々は探索部１６または追跡部１８へ入力され、人間の顔をリアルタイムで追跡する処理が行われる。画像保管部２９に保管される静止画データ列の一例を図２に示す。
【００２０】
探索部１６は、画像前処理部２８により得られる最新の静止画データにおいて、所定フレーム間隔おきの静止画データ中から人間の顔を探索する。ここでの探索部１６は、例えば静止画データ中の全範囲を探索範囲として人間の顔を探索する。あるいは、背景差分やフレーム間差分による各座標の差分値に基づいて顔の探索範囲を設定することにより、顔の探索範囲を限定し探索時間を短縮することもできる。
【００２１】
追跡部１８は、探索部１６により１以上の人間の顔を検出できた場合に、画像保管部２９に保管された他の静止画データ中から、その人間の顔の探索を続けることにより、その人間の顔を追跡する。そして、追跡部１８は、順探索範囲設定部２０、順探索部２２、逆探索範囲設定部２４、及び逆探索部２６を有している。
【００２２】
順探索範囲設定部２０は、追跡対象の静止画データより前の時刻における１以上の静止画データ中から既に検出された人間の顔の特性に基づいて、追跡対象の静止画データにおける探索範囲を設定する。これによって、すでに人間の顔を検出できている検出済静止画データより時間軸に沿った方向すなわち時間軸順方向の静止画データにおける探索範囲が設定される。ここで、追跡対象の静止画データより前の時刻における１以上の静止画データは、追跡対象の静止画データの直前の時刻における静止画データを含む。そして、順探索部２２は、順探索範囲設定部２０により設定された探索範囲内で人間の顔の探索を行うことで、追跡対象の静止画データ中から人間の顔を追跡する。なお、ここでの顔の特性は、顔の位置、大きさ、角度、形状、明るさ、色、及びそれらの軌跡の少なくとも１つを含む。
【００２３】
一方、逆探索範囲設定部２４は、追跡対象の静止画データより後の時刻における１以上の静止画データ中から既に検出された人間の顔の特性に基づいて、追跡対象の静止画データにおける探索範囲を設定する。これによって、すでに人間の顔を検出できている検出済静止画データより時間軸を遡った方向すなわち時間軸逆方向の静止画データにおける探索範囲が設定される。ここで、追跡対象の静止画データより後の時刻における１以上の静止画データは、追跡対象の静止画データの直後の時刻における静止画データを含む。そして、逆探索部２６は、逆探索範囲設定部２４により設定された探索範囲内で人間の顔の探索を行うことで、追跡対象の静止画データ中から人間の顔を追跡する。
【００２４】
このように、本実施形態においては、追跡部１８により人間の顔を追跡するときに、図２に示すように、検出済静止画データより時間軸に沿った方向（時間軸順方向）の静止画データ中から顔３４−１，３４−２を追跡する処理を行うだけでなく、検出済静止画データより時間軸を遡った方向（時間軸逆方向）の静止画データ中から顔３４−１，３４−２を追跡する処理も行う。
【００２５】
制御装置１４は、画像処理装置１２により得られた顔の特性の追跡結果に基づいてカメラ１０の撮像方向及びズームの少なくとも一方の制御を行う。そして、制御装置１４は、特性推定部３０及び制御指令演算部３２を有している。
【００２６】
特性推定部３０は、探索部１６及び追跡部１８により既に検出できている静止画データ中の人間の顔の特性に基づいて、その人間の顔の将来特性を推定する。ここでの顔の将来特性は、顔の将来の位置及び大きさの少なくとも一方を含む。そして、制御指令演算部３２は、特性推定部３０により推定された人間の顔の将来特性に基づいて、カメラ１０の撮像方向及びズームの少なくとも一方を制御するための制御指令値を演算してカメラ１０へ出力する。これによって、カメラ１０の撮像方向及びズームの少なくとも一方が人間の顔を追尾するように制御される。ここでのカメラ１０は、人間の顔を追尾して撮像するための追尾用撮像装置としての役割も兼ねている。
【００２７】
なお、画像処理装置１２及び制御装置１４については、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク及び通信Ｉ／Ｆ等がバス接続されたコンピュータによって実現することができる。そして、後述する探索部１６及び追跡部１８による処理及び特性推定部３０及び制御指令演算部３２による処理については、コンピュータにより実行されるプログラムによってソフトウェア的に実現することができる。
【００２８】
次に、本実施形態のシステムにおける処理を図３〜６に示すフローチャートを用いて説明する。ここで、図３は探索部１６による処理を説明するフローチャートを示す。そして、図４は追跡部１８による時間軸を遡った方向に顔を追跡する処理を説明するフローチャートを示し、図５は追跡部１８による時間軸に沿った方向に顔を追跡する処理を説明するフローチャートを示す。また、図６は制御装置１４による処理を説明するフローチャートを示す。なお、以下の説明では、動画データ中から複数種類の顔を追跡することを想定して説明を行う。
【００２９】
図３のフローチャートのステップ（以下Ｓとする）１においては、画像前処理部２８により得られた最新の静止画データ中から、探索部１６による顔の探索を行うか否かが判定される。ここで、画像前処理部２８にて最新の静止画データは所定時間おきに得られている。本実施形態の画像処理装置１２では、所定フレーム間隔おきに探索部１６による顔の探索を行うように、探索部１６による探索条件が設定されている。Ｓ１の判定結果がＮＯの場合は、前回探索を行った静止画データの取得から所定フレーム数の静止画データの取得が終了するまでＳ１の判定が繰り返される。一方、Ｓ１の判定結果がＹＥＳの場合はＳ２に進む。
【００３０】
Ｓ２においては、探索部１６にて静止画データ中から人間の顔の探索が行われる。ここで、画像データ中からの人間の顔の検出については、例えば非特許文献１に開示されている皮膚の色を検出する手法を用いることにより検出することができる。また、顔の探索範囲については、例えば静止画データ中の全範囲を探索する。ただし、全範囲の探索には長時間を要し、典型的にはフレーム間隔周期よりも長時間となる。そこで、前述したように、背景差分やフレーム間差分を用いることで探索範囲を絞ることも可能である。探索部１６による顔の探索が終了したら、Ｓ３に進む。
【００３１】
Ｓ３においては、探索部１６により新たに顔が検出されたか否かが判定される。Ｓ３の判定結果がＹＥＳの場合、すなわち新たな顔が検出された場合は、Ｓ４に進む。一方、Ｓ３の判定結果がＮＯの場合、すなわち顔が検出されなかった場合、あるいはすでに探索部１６により検出済みで追跡部１８による追跡が行われている顔が再度検出された場合は、Ｓ１に戻り、Ｓ１以下の処理が繰り返される。
【００３２】
Ｓ４においては、Ｓ３で新たに検出した顔を追跡する処理が追跡部１８にて開始される。具体的には、図４，５のフローチャートに示す処理が開始される。そして、Ｓ１に戻り、Ｓ１以下の処理が繰り返される。ここで、探索部１６により顔が検出され追跡部１８により顔の追跡が行われる場合でも探索部１６による顔の探索を繰り返す理由は、図２に示すように、１つの顔３４−１の追跡処理を行っているときに他の種類の顔３４−２が新たに現れる場合も考えられるためである。このように、所定フレーム間隔おきに探索部１６による顔の探索を繰り返すことにより、複数種類の顔を検出することができる。さらに、追跡部１８による顔の追跡に一旦失敗しても、探索部１６によりその顔を再検出することができるので、追跡部１８によるその顔の再追跡が可能となる。
【００３３】
次に、図４，５に示す処理について説明する。本実施形態では、図４の時間軸を遡った方向に顔を追跡する処理と、図５の時間軸に沿った方向に顔を追跡する処理と、が並行して行われる場合について説明する。ただし、これらの処理が必ずしも並行して行われる必要はなく、例えば図４の時間軸を遡った方向に顔を追跡する処理の方を先に行ってから図５の時間軸に沿った方向に顔を追跡する処理を行うことも可能である。そして、探索部１６により複数種類の顔が検出されている場合は、各顔ごとに図４，５の処理が行われる。
【００３４】
図４のフローチャートのＳ１０１においては、検出済静止画データ中の顔の特性に基づいて、検出済静止画データより時間軸を遡った方向の静止画データ中における探索範囲が逆探索範囲設定部２４にて設定される。そして、Ｓ１０２に進む。以下、探索範囲の設定の具体例について説明する。
【００３５】
図７に示すように、例えば検出済静止画データが探索部１６により検出済みのフレームｆだけである場合、フレームｆより１フレーム分時間軸を遡ったフレームｆ−１の探索範囲については、フレームｆでの両目中央位置、及びフレーム間隔周期における両目中央位置の変動予測量（縦方向、横方向及び奥行き）により設定することができる。
【００３６】
次に、図８に示すように、例えば検出済静止画データが探索部１６により検出済みのフレームｆ、及び逆探索部２６により検出済みのフレームｆ−１である場合を考える。この場合、フレームｆ−１より１フレーム分時間軸を遡ったフレームｆ−２の探索範囲については、フレームｆ，ｆ−１での両目中央位置から回帰計算されるフレームｆ−２での両目中央位置、及びフレーム間隔周期における両目中央位置の変動予測量により設定することができる。
【００３７】
次に、図９に示すように、例えば検出済静止画データが探索部１６により検出済みのフレームｆ、及び逆探索部２６により検出済みのフレームｆ−１，ｆ−２である場合を考える。この場合、フレームｆ−２より１フレーム分時間軸を遡ったフレームｆ−３の探索範囲については、フレームｆ，ｆ−１，ｆ−２での両目中央位置から回帰計算されるフレームｆ−３での両目中央位置、及びフレーム間隔周期における両目中央位置の変動予測量により設定することができる。
【００３８】
ここで、フレーム間隔周期における位置変動予測量については、例えば実験的に設定することができる。一例として、フレーム間隔周期における両目中央位置の横方向変位の確率分布を実験的に求めた結果を図１０に示す。図１０に示すように、２フレームから求められる確率分布の方が１フレームから求められる確率分布よりばらつきは小さい。同様の実験により、検出済みのフレーム数の増大に応じてフレーム間隔周期における位置変動予測量を小さく設定することができるので、検出済みのフレーム数の増大に応じて探索範囲を狭くすることができ、探索時間を短縮することができる。なお、上記の説明では、探索範囲の設定に両目中央位置を用いているが、顔の他の位置を用いても探索範囲の設定は可能である。
【００３９】
Ｓ１０２においては、逆探索範囲設定部２４により設定された探索範囲内で顔の探索が逆探索部２６にて行われる。顔の検出については、前述したように、例えば非特許文献１に開示の手法を用いることで検出可能である。ここでの逆探索部２６による顔の探索については、探索範囲が限定されているため、顔の探索時間を大幅に短縮することができる。典型的にはフレーム間隔周期より極めて短い時間で探索処理を完了させることができる。逆探索部２６による顔の探索が終了したら、Ｓ１０３に進む。
【００４０】
Ｓ１０３においては、逆探索部２６により追跡対象の顔を検出できたか否かが判定される。Ｓ１０３の判定結果がＹＥＳの場合はＳ１０１に戻り、時間軸を１フレーム分遡った静止画データについて、Ｓ１０１，Ｓ１０２の処理を繰り返す。一方、Ｓ１０３の判定結果がＮＯの場合は、カメラ１０の撮像範囲から追跡対象の顔が外れたものと判定し、その顔の時間軸を遡る方向の追跡を終了する。なお、Ｓ１０３の判定では、複数フレーム連続して顔を検出できなかった場合に、追跡対象の顔がカメラ１０の撮像範囲から外れたものと判定するようにしてもよい。
【００４１】
一方、図５のフローチャートのＳ２０１においては、検出済静止画データ中の顔の特性に基づいて、検出済静止画データより時間軸に沿った方向の静止画データ中における探索範囲が順探索範囲設定部２０にて設定される。そして、Ｓ２０２に進む。ここでの探索範囲については、時間軸を遡る場合と同様の手法で設定することができる。また、順探索範囲設定部２０による探索範囲の設定の際には、逆探索部２６による顔の探索も並行して行われることで時間軸を遡って顔が検出されているため、探索範囲の設定に用いられる検出済みの顔の特性は、逆探索部２６により検出された顔の特性を含んでいる。例えば図９の例においては、フレームｆ＋１における探索範囲の設定に、逆探索部２６により検出されたフレームｆ−２，ｆ−１における顔の特性が用いられる。このように、逆探索部２６により検出された顔の特性も利用して探索範囲を設定することにより、探索範囲をより狭くすることができるので、順探索部２２による探索時間をより短縮させることができる。
【００４２】
Ｓ２０２においては、順探索範囲設定部２０により設定された探索範囲内で顔の探索が順探索部２２にて行われる。顔の検出については、前述したように、例えば非特許文献１に開示の手法を用いることで検出可能である。ここでの順探索部２２による顔の探索については、探索範囲が限定されているため、顔の探索時間を大幅に短縮することができる。典型的にはフレーム間隔周期より極めて短い時間で探索処理を完了させることができる。順探索部２２による顔の探索が終了したら、Ｓ２０３に進む。
【００４３】
Ｓ２０３においては、順探索部２２により追跡対象の顔を検出できたか否かが判定される。Ｓ２０３の判定結果がＹＥＳの場合はＳ２０１に戻り、時間軸に１フレーム分沿った静止画データについて、Ｓ２０１，Ｓ２０２の処理を繰り返す。一方、Ｓ２０３の判定結果がＮＯの場合は、カメラ１０の撮像範囲から追跡対象の顔が外れたものと判定し、その顔の時間軸に沿った方向の追跡を終了する。なお、Ｓ２０３の判定では、複数フレーム連続して顔を検出できなかった場合に、追跡対象の顔がカメラ１０の撮像範囲から外れたものと判定するようにしてもよい。
【００４４】
次に、カメラ１０の制御について説明する。図６のフローチャートのＳ３０１においては、カメラ１０の制御を行うか否かが判定される。探索部１６及び追跡部１８により顔の将来特性を推定できるだけの顔の追跡結果がまだ得られていない場合は、Ｓ３０１の判定結果はＮＯとなり、顔の将来特性を推定できるだけの追跡結果が得られるまでＳ３０１の判定が繰り返される。一方、探索部１６及び追跡部１８により顔の将来特性を推定できるだけの追跡結果が得られている場合は、Ｓ３０１の判定結果はＹＥＳとなり、Ｓ３０２に進む。
【００４５】
Ｓ３０２においては、所定時間経過後の顔の将来特性が特性推定部３０にて推定される。ここでは、例えば複数の検出済静止画データにおける両目中央位置の各々から求められる回帰式を利用することで、所定時間経過後の顔の将来特性を推定することができる。このとき、検出済静止画データにおける両目中央位置には逆探索部２６により検出された両目中央位置が含まれており、逆探索部２６により検出された両目中央位置も利用して顔の将来特性を推定できるので、顔の将来特性を精度よく推定することができる。そして、Ｓ３０３に進む。
【００４６】
Ｓ３０３においては、カメラ１０の撮像方向を制御するための制御指令値が制御指令演算部３２にて演算される。ここでは、特性推定部３０により推定された将来の顔をカメラ１０の撮像範囲が含むように、制御指令値が演算される。また、複数種類の顔の追跡結果が得られてその複数種類の顔の将来特性が推定されているときは、その複数種類の将来の顔をカメラ１０の撮像範囲が含むように、制御指令値が演算される。制御指令値の演算については、例えば制御指令値とカメラ１０の撮像方向に関する特性マップを記憶しておき、その特性マップを用いて演算すればよい。そして、Ｓ３０４に進む。
【００４７】
Ｓ３０４においては、制御指令演算部３２にて演算された制御指令値がカメラ１０へ出力され、カメラ１０の撮像方向の制御が行われる。そして、Ｓ３０１に戻り、Ｓ３０１以下の処理が繰り返される。なお、カメラ１０の制御については、撮像方向制御の代わりに、ズームを制御するための制御指令値を演算して出力してもかまわない。さらに、撮像方向及びズームの両方を制御するための制御指令値を演算して出力してもかまわない。
【００４８】
以上説明したように、本実施形態によれば、動画データ中から顔を追跡する処理を行うときに、時間軸を遡る方向に顔を追跡することにより、より過去における顔の特性を得ることができる。さらに、その過去における顔の特性を顔の将来特性の予測に反映させることができる。例えば、非特許文献２のように動画データ中の顔の追跡結果を利用して話し始めの瞬間を予測しようとする場合を考えると、唇の動き始めと実際の話し始めとは時間差があるため、より過去における唇の動きを動画データ中から把握できることが望ましい。そこで、時間軸を遡る方向に顔を追跡してより過去における唇の動きを把握することで、話し始めをより早期に予測することができる。このように、本実施形態においては、時間軸を遡る方向に顔を追跡してより過去における顔の追跡結果を得ることにより、動画データ中から顔をより正確に追跡することができる。さらに、将来の顔の特性をより正確に予測することができる。
【００４９】
そして、逆探索部２６により得られた時間軸を遡った方向の顔の追跡結果については、時間軸に沿った方向の顔の追跡に利用することができる。具体的には、時間軸を遡って追跡された顔の特性を含む検出済静止画データ中の顔の特性に基づいて、順探索範囲設定部２０が探索範囲を設定することにより、探索範囲をより限定することができ、順探索部２２による顔の探索時間を短縮させることができる。
【００５０】
また、時間軸を遡った追跡結果を含む顔の特性に基づいて顔の将来特性を推定し、その推定された将来の顔をカメラ１０の撮像範囲が含むようにカメラ１０の撮像方向及びズームの少なくとも一方を制御することにより、その顔をカメラ１０により正確に追尾して撮像することができる。
【００５１】
本実施形態では、顔の検出の画像処理に用いられる画像処理用撮像装置と、顔を追尾して撮像する追尾用撮像装置と、をカメラ１０により共用化しているが、画像処理用撮像装置と追尾用撮像装置とで別々のカメラを用いることも可能である。さらに、本発明の追尾装置はカメラに限られるものではない。例えば、顔の将来特性に基づいて指向性マイクの指向特性を制御することにより、指向性マイクの指向特性を人間の顔に追尾させることもできる。
【００５２】
そして、本実施形態では、追跡するオブジェクトが人間の顔である場合を説明したが、本発明は他のオブジェクトを追跡する場合でも適用が可能である。
【００５３】
また、本実施形態では、画像処理装置がリアルタイム動画データ中からオブジェクトをリアルタイムで追跡する処理を行う場合について説明したが、本発明の画像処理装置については、予め記憶されている動画データ中からオブジェクトを追跡する後処理を行う場合でも適用が可能である。
【００５４】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る画像処理装置を備えるオブジェクト追跡システムの構成の概略を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置による顔の追跡処理を説明する図である。
【図３】探索部により実行される処理を説明するフローチャートである。
【図４】追跡部により実行される処理を説明するフローチャートである。
【図５】追跡部により実行される処理を説明するフローチャートである。
【図６】制御装置により実行される処理を説明するフローチャートである。
【図７】顔を追跡するときの探索範囲の設定の一例を説明する図である。
【図８】顔を追跡するときの探索範囲の設定の一例を説明する図である。
【図９】顔を追跡するときの探索範囲の設定の一例を説明する図である。
【図１０】フレーム間隔周期における両目中央位置の横方向変位の確率分布を示す図である。
【符号の説明】
【００５６】
１０  カメラ、１２  画像処理装置、１４  制御装置、１６  探索部、１８  追跡部、２０  順探索範囲設定部、２２  順探索部、２４  逆探索範囲設定部、２６  逆探索部、２８  画像前処理部、２９  画像保管部、３０  特性推定部、３２  制御指令演算部。
【図１】
2005099953.tif 000003
【図２】
2005099953.tif 000004
【図３】
2005099953.tif 000005
【図４】
2005099953.tif 000006
【図５】
2005099953.tif 000007
【図６】
2005099953.tif 000008
【図７】
2005099953.tif 000009
【図８】
2005099953.tif 000010
【図９】
2005099953.tif 000011
【図１０】
2005099953.tif 000012