(57)【要約】【課題】  顔検出技術と深さ映像を用いた人体領域抽出技術とを整合することによって、動く対象のうち人だけを正確に分離し、動きのない人も正確に分離することができる映像処理装置及び映像処理方法を提案する。【解決手段】  入力される映像から人の顔を検出する顔検出部と、入力されるフレームの深さ映像及び顔検出部の検出結果を用いて背景モデルを生成する背景モデル生成／更新部と、その入力されるフレーム以降のフレームの深さ映像と背景モデルとを比較して人体領域となり得る候補領域を生成し、顔検出部の検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出する候補領域抽出部と、以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出する人体領域抽出部と、を含む映像処理装置である。【選択図】      図３
2013122763.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像から人の顔を検出する顔検出部と、
入力されるフレームの深さ映像及び前記顔検出部の検出結果を用いて背景モデルを生成する背景モデル生成／更新部と、
前記入力されるフレーム以降のフレームの深さ映像と前記背景モデルとを比較して人体領域となり得る候補領域を生成し、前記顔検出部の検出結果を用いて人ではない動く対象と判断される領域は前記候補領域から除去して、最終的な候補領域を抽出する候補領域抽出部と、
以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出する人体領域抽出部と、を含む、映像処理装置。
【請求項２】
前記人体領域抽出部は、
ハード制約条件を用いたトラッキング実行過程を通じて前記人体領域を探す第１演算部と、
ソフト制約条件を用いたトラッキング実行過程を通じて、前記第１演算部で探した前記人体領域を拡張させて前記人体領域を完成させる第２演算部と、
前記ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で前記人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域を抽出する第３演算部と、を含む、請求項１に記載の映像処理装置。
【請求項３】
前記第１演算部は、前記現在のフレームの深さ映像から抽出した候補領域において抽出された一つの点が、前記以前のフレームの深さ映像から抽出した人体領域と前記現在のフレームの深さ映像から抽出した候補領域との交差領域に属すれば、前記抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が前記交差領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第１設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、前記現在のフレームの深さ映像から抽出した候補領域から前記人体領域を探し、
前記ハード制約条件は、前記抽出された一つの点と前記各隣接する点との間の深さの差が前記第１設定値未満である場合を示す、請求項２に記載の映像処理装置。
【請求項４】
前記第１演算部は、前記各隣接する点が前記現在のフレームの深さ映像から抽出した候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第２設定値未満であれば、前記各隣接する点をエッジ領域として設定する、請求項３に記載の映像処理装置。
【請求項５】
前記第２演算部は、前記エッジ領域に属する一つの点を抽出し、前記抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が前記現在のフレームの深さ映像から抽出した候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第２設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、前記現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出し、
前記ソフト制約条件は、前記抽出された一つの点と前記各隣接する点との間の深さの差が前記第２設定値未満である場合を示す、請求項２ないし４いずれか一項に記載の映像処理装置。
【請求項６】
前記第３演算部は、前記ハード制約条件を用いたトラッキング実行過程及び前記ソフト制約条件を用いたトラッキング実行過程で前記人体領域として抽出されていない残っている候補領域に属する一つの点を抽出し、前記抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が前記残っている候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第１設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と異なる新しいラベルを設定し、前記残っている候補領域から前記新しい人体領域を抽出する、請求項２ないし５いずれか一項に記載の映像処理装置。
【請求項７】
前記人体領域抽出部は、前記抽出された人体領域をリファインして、最終人体領域を抽出する後処理部をさらに含む、請求項２に記載の映像処理装置。
【請求項８】
前記顔検出部は、アダブーストアルゴリズムを用いて顔映像を検出する、請求項１ないし７いずれか一項に記載の映像処理装置。
【請求項９】
前記入力される深さ映像のサンプル数を減少させて、前記深さ映像の解像度を低くするダウンサンプリング部をさらに含む、請求項１ないし８いずれか一項に記載の映像処理装置。
【請求項１０】
前記背景モデル生成／更新部は、前記入力される２番目以降のフレームの深さ映像を用いて前記背景モデルを更新する、請求項１ないし９いずれか一項に記載の映像処理装置。
【請求項１１】
入力される深さ映像から人の顔を検出する顔検出部と、
入力されるフレームの深さ映像及び前記顔検出部の検出結果を用いて背景モデルを生成する背景モデル生成／更新部と、
前記入力されるフレーム以降のフレームの深さ映像と前記背景モデルとを比較して人体領域となり得る候補領域を生成し、前記顔検出部の検出結果を用いて人ではない動く対象と判断される領域は前記候補領域から除去して、最終的な候補領域を抽出する候補領域抽出部と、
以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出する人体領域抽出部と、を含む、映像処理装置。
【請求項１２】
入力される映像から人の顔を検出するステップと、
入力されるフレームの深さ映像及び前記顔検出結果を用いて背景モデルを生成するステップと、
前記入力されるフレーム以降のフレームの深さ映像と前記背景モデルとを比較して人体領域となり得る候補領域を生成するステップと、
前記顔検出結果を用いて人ではない動く対象と判断される領域は前記候補領域から除去して、最終的な候補領域を抽出するステップと、
以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出するステップとを有する、映像処理方法。
【請求項１３】
前記人体領域を抽出するステップは、
ハード制約条件を用いたトラッキング実行過程を通じて前記人体領域を探し、
ソフト制約条件を用いたトラッキング実行過程を通じて、前記ハード制約条件を用いたトラッキング実行過程で探した前記人体領域を拡張させて前記人体領域を完成させ、
前記ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で前記人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域を抽出する、請求項１２に記載の映像処理方法。
【請求項１４】
前記ハード制約条件を用いたトラッキング実行過程は、
前記現在のフレームの深さ映像から抽出した候補領域において抽出された一つの点が、前記以前のフレームの深さ映像から抽出した人体領域と前記現在のフレームの深さ映像から抽出した候補領域との交差領域に属すれば、前記抽出された一つの点に隣接する複数の点を抽出し、
各隣接する点が前記交差領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第１設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、前記現在のフレームの深さ映像から抽出した候補領域から前記人体領域を探すことを含み、
前記ハード制約条件は、前記抽出された一つの点と前記各隣接する点との間の深さの差が前記第１設定値未満である場合を示す、請求項１３に記載の映像処理方法。
【請求項１５】
前記ハード制約条件を用いたトラッキング実行過程は、
前記各隣接する点が前記現在のフレームの深さ映像から抽出した候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第２設定値未満であれば、前記各隣接する点をエッジ領域として設定することをさらに含む、請求項１４に記載の映像処理方法。
【請求項１６】
前記ハード制約条件を用いたトラッキング実行過程は、
前記エッジ領域に属する一つの点を抽出し、
前記抽出された一つの点に隣接する複数の点を抽出し、
各隣接する点が前記現在のフレームの深さ映像から抽出した候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第２設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、前記現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出することを含み、
前記ソフト制約条件は、前記抽出された一つの点と前記各隣接する点との間の深さの差が前記第２設定値未満である場合を示す、請求項１３ないし１５いずれか一項に記載の映像処理方法。
【請求項１７】
前記新しい人体領域を抽出するステップは、
前記ハード制約条件を用いたトラッキング実行過程及び前記ソフト制約条件を用いたトラッキング実行過程で前記人体領域として抽出されていない残っている候補領域に属する一つの点を抽出し、
前記抽出された一つの点に隣接する複数の点を抽出し、
各隣接する点が前記残っている候補領域に属し、前記抽出された一つの点と前記各隣接する点との間の深さの差が第１設定値未満であれば、前記各隣接する点に対して、前記以前のフレームの深さ映像から抽出した人体領域と異なる新しいラベルを設定し、前記残っている候補領域から前記新しい人体領域を抽出する、請求項１２ないし１６いずれか一項に記載の映像処理方法。
【請求項１８】
前記顔の検出は、アダブーストアルゴリズムを用いて行われる、請求項１２ないし１７いずれか一項に記載の映像処理方法。
【請求項１９】
前記入力される深さ映像のサンプル数を減少させて、前記深さ映像の解像度を低くすることをさらに含む、請求項１２ないし１８いずれか一項に記載の映像処理方法。
【請求項２０】
入力される深さ映像から人の顔を検出し、
入力されるフレームの深さ映像及び前記顔検出結果を用いて背景モデルを生成し、
前記入力されるフレーム以降のフレームの深さ映像と前記背景モデルとを比較して人体領域となり得る候補領域を生成し、
前記顔検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出し、
以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から前記人体領域を抽出する、映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
入力映像から人体（ｈｕｍａｎ  ｂｏｄｙ）のようなターゲットオブジェクト（ｔａｒｇｅｔ  ｏｂｊｅｃｔ）領域を抽出（分離）する映像処理装置及び映像処理方法に関する。
【背景技術】
【０００２】
近年、映像処理技術の発達に伴って、人体（ｈｕｍａｎ  ｂｏｄｙ）のようなターゲットオブジェクトを３Ｄモデリングする分野に対する関心が高まっている。人体を３Ｄモデリングする場合、仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）、映画またはビデオゲームにおけるコンピュータ・グラフィック（ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃ．ＣＧ）などに活用できるので、活用度が高いものと予想される。
【０００３】
人体領域抽出（ｈｕｍａｎ  ｓｅｇｍｅｎｔａｔｉｏｎ）という名称と呼ばれることのできるこのような技術において、従来では、入力される１番目のフレームの映像を用いて背景画面をモデリングし（この時、背景には人がいないと仮定する）、その後に入力される映像と背景画面とを比較することによって、動く全ての領域を人体領域として抽出（分離）した。そのため、従来技術では、１番目のフレームの映像に人が存在するとき、これを背景として分類し、人体領域を分離することができないという問題点があった。また、従来技術では、入力映像と背景画面とを比較して、動く全ての領域を人体領域として分離するため、人ではない動く対象（例：動物など）までも人（人体領域）として分離されるという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
顔検出技術と深さ映像を用いた人体領域抽出（ｈｕｍａｎ  ｓｅｇｍｅｎｔａｔｉｏｎ）技術とを整合することによって、動く対象のうち人だけを正確に分離し、動きのない人（例：１番目のフレームの映像に存在する人）も正確に分離することができる映像処理装置及び映像処理方法を提案しようとする。
【課題を解決するための手段】
【０００５】
このために、本発明の一側面は、入力される映像から人の顔を検出する顔検出部と、入力されるフレームの深さ映像及び顔検出部の検出結果を用いて背景モデルを生成する背景モデル生成／更新部と、その入力されるフレーム以降のフレームの深さ映像と背景モデルとを比較して人体領域となり得る候補領域を生成し、顔検出部の検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出する候補領域抽出部と、以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出する人体領域抽出部と、を含む。
【０００６】
また、人体領域抽出部は、ハード制約条件（ｈａｒｄ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を通じて前記人体領域を探す第１演算部と、ソフト制約条件（ｓｏｆｔ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を通じて、第１演算部で探した人体領域を拡張させて人体領域を完成させる第２演算部と、ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域を抽出する第３演算部と、を含む。
【０００７】
また、第１演算部は、現在のフレームの深さ映像から抽出した候補領域において抽出された一つの点が、以前のフレームの深さ映像から抽出した人体領域と現在のフレームの深さ映像から抽出した候補領域との交差領域に属すれば、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が交差領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、現在のフレームの深さ映像から抽出した候補領域から人体領域を探し、ハード制約条件は、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満である場合を示す。
【０００８】
また、第１演算部は、各隣接する点が現在のフレームの深さ映像から抽出した候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満であれば、各隣接する点をエッジ領域として設定する。
【０００９】
また、第２演算部は、エッジ領域に属する一つの点を抽出し、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が現在のフレームの深さ映像から抽出した候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出し、ソフト制約条件は、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満である場合を示す。
【００１０】
また、第３演算部は、ハード制約条件を用いたトラッキング実行過程及びソフト制約条件を用いたトラッキング実行過程で人体領域として抽出されていない残っている候補領域に属する一つの点を抽出し、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が残っている候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と異なる新しいラベルを設定し、残っている候補領域から新しい人体領域を抽出する。
【００１１】
また、人体領域抽出部は、抽出された人体領域をリファイン（refine）して、最終人体領域を抽出する後処理部をさらに含む。
【００１２】
また、顔検出部は、アダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて顔映像を検出する。
【００１３】
また、入力される深さ映像のサンプル数を減少させて、深さ映像の解像度を低くするダウンサンプリング部をさらに含む。
【００１４】
また、背景モデル生成／更新部は、入力される２番目以降のフレームの深さ映像を用いて背景モデルを更新する。
【００１５】
本発明の他の側面は、入力される深さ映像から人の顔を検出する顔検出部と、入力されるフレームの深さ映像及び顔検出部の検出結果を用いて背景モデルを生成する背景モデル生成／更新部と、その入力されるフレーム以降のフレームの深さ映像と背景モデルとを比較して人体領域となり得る候補領域を生成し、顔検出部の検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出する候補領域抽出部と、以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出する人体領域抽出部と、を含む。
【００１６】
本発明の一側面は、入力される映像から人の顔を検出するステップと、入力されるフレームの深さ映像及び顔検出結果を用いて背景モデルを生成するステップと、その入力されるフレーム以降のフレームの深さ映像と背景モデルとを比較して人体領域となり得る候補領域を生成するステップと、顔検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出するステップと、以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出するステップとを有する。
【００１７】
また、人体領域を抽出するステップは、ハード制約条件（ｈａｒｄ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を通じて人体領域を探し、ソフト制約条件（ｓｏｆｔ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を通じて、ハード制約条件を用いたトラッキング実行過程で探した人体領域を拡張させて人体領域を完成させ、ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域を抽出する。
【００１８】
また、ハード制約条件を用いたトラッキング実行過程は、現在のフレームの深さ映像から抽出した候補領域において抽出された一つの点が、以前のフレームの深さ映像から抽出した人体領域と現在のフレームの深さ映像から抽出した候補領域との交差領域に属すれば、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が交差領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、現在のフレームの深さ映像から抽出した候補領域から人体領域を探すことを含み、ハード制約条件は、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満である場合を示す。
【００１９】
また、ハード制約条件を用いたトラッキング実行過程は、各隣接する点が現在のフレームの深さ映像から抽出した候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満であれば、各隣接する点をエッジ領域として設定することをさらに含む。
【００２０】
また、ハード制約条件を用いたトラッキング実行過程は、エッジ領域に属する一つの点を抽出し、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が現在のフレームの深さ映像から抽出した候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と同じラベルを設定し、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出することを含み、ソフト制約条件は、抽出された一つの点と各隣接する点との間の深さの差が第２設定値未満である場合を示す。
【００２１】
また、新しい人体領域を抽出することは、ハード制約条件を用いたトラッキング実行過程及びソフト制約条件を用いたトラッキング実行過程で人体領域として抽出されていない残っている候補領域に属する一つの点を抽出し、抽出された一つの点に隣接する複数の点を抽出し、各隣接する点が残っている候補領域に属し、抽出された一つの点と各隣接する点との間の深さの差が第１設定値未満であれば、各隣接する点に対して、以前のフレームの深さ映像から抽出した人体領域と異なる新しいラベルを設定し、残っている候補領域から新しい人体領域を抽出する。
【００２２】
また、顔の検出は、アダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて行われる。また、入力される深さ映像のサンプル数を減少させて、深さ映像の解像度を低くするステップをさらに含む。
【００２３】
入力される深さ映像から人の顔を検出し、入力される１番目のフレームの深さ映像及び顔検出結果を用いて背景モデルを生成し、入力される２番目以降のフレームの深さ映像と背景モデルとを比較して人体領域となり得る候補領域を生成し、顔検出結果を用いて人ではない動く対象と判断される領域は候補領域から除去して、最終的な候補領域を抽出し、以前のフレームの深さ映像から抽出した人体領域を用いて、現在のフレームの深さ映像から抽出した候補領域から人体領域を抽出する。
【発明の効果】
【００２４】
提案された映像処理装置及び映像処理方法によれば、顔検出技術と深さ映像を用いた人体領域抽出（ｈｕｍａｎ  ｓｅｇｍｅｎｔａｔｉｏｎ）技術とを整合することによって、動く対象のうち人だけを正確に分離し、動きのない人（例：１番目のフレームの映像に存在する人）も正確に分離することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例に係る映像処理装置の構成図である。
【図２】本発明の他の実施例に係る映像処理装置の構成図である。
【図３】本発明の実施例に係る映像処理方法を示すフローチャートである。
【図４】本発明の他の実施例に係る映像処理方法を示すフローチャートである。
【図５】図３及び図４に示された候補領域検索過程を示すフローチャートである。
【図６】以前（ｔ−1）のフレームで抽出された人体領域と現在（ｔ）のフレームで抽出された候補領域、交差領域及びエッジ領域の概念を説明するための図である。
【図７】図３及び図４に示されたハード制約条件（ｈａｒｄ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を示すフローチャートである。
【図８】一つの点に対して、隣接する８個の点を抽出する方式を説明するための図である。
【図９】図３及び図４に示されたソフト制約条件（ｓｏｆｔ  ｃｏｎｓｔｒａｉｎｔ）を用いたトラッキング実行過程を示すフローチャートである。
【図１０】図３及び図４に示された新しい有効領域抽出過程を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下では、添付の図面を参照して本発明の実施例を詳細に説明する。
【００２７】
図１は、本発明の実施例に係る映像処理装置の構成図である。図１に示すように、本発明の実施例に係る映像処理装置１０は、顔検出部２０、ダウンサンプリング部３０、背景モデル生成／更新部４０、候補領域抽出部５０、人体領域抽出部６０及び格納部７０を含む。
【００２８】
カラー映像情報獲得部１は、対象空間を一定時間間隔で撮影し、撮影を通じて得た対象空間に対するカラー映像情報を顔検出部２０に伝送する。カラー映像情報獲得部１としては、カラーＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）カメラ、カラーＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ）カメラなどを用いることができ、その他にも、対象空間に対するカラー映像情報を獲得することができる装置であればいかなる装置でも使用可能であることはもちろんである。
【００２９】
深さ映像情報獲得部２は、対象空間を一定時間間隔で撮影して得た３次元深さ映像から、対象空間上に存在する人（人体）や物体に対する３次元深さ（距離）情報を獲得する３次元測定装備であって、近年、３次元測定装備の技術の発達によって、対象空間上に位置する様々な物体に対する３次元深さ情報を容易に獲得することができる。
【００３０】
深さ映像情報獲得部２としては、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）カメラを用いることができ、ＴＯＦカメラ以外にも、レーザー距離センサ、超音波センサなど、対象空間上に位置する人や物体に対する３次元深さ映像情報を獲得することができる装置であればいかなる装置でも使用可能であることはもちろんである。
【００３１】
ＴＯＦカメラは、発光部から出た赤外線光線が物体に反射されて受光部に戻る時間を測定する ＴＯＦ方式を用いて、３次元深さ情報を獲得する装置であって、赤外線強度（ｉｎｔｅｎｓｉｔｙ）映像から３次元深さ情報を別途の複雑な計算過程なしに算出することができ、リアルタイムで３次元深さ情報の獲得が可能である。
【００３２】
カラー映像情報獲得部１及び深さ映像情報獲得部２は、それぞれ別途の装置で構成してもよいが、カラー映像（ＲＧＢ映像）と深さ映像（ｄｅｐｔｈ映像）を同時に撮影できる単一装置（例：ｋｉｎｅｃｔ  ｓｅｎｓｏｒ、ｐｒｉｍｅ  ｓｅｎｓｏｒ）で構成することも可能である。
【００３３】
顔検出部２０は、カラー映像情報獲得部１から伝送された入力カラー映像から背景領域を除去し、顔内の特定構成要素を検出し、顔領域内の特定構成要素を基準として顔映像を検出する。顔検出部２０は、入力されるカラー映像から、代表的な顔検出アルゴリズムであるアダブーストアルゴリズムを用いて顔情報を抽出する。顔検出部２０は、顔検出実行結果を背景モデル生成／更新部４０及び候補領域抽出部５０に伝送する。
【００３４】
ダウンサンプリング部３０は、深さ映像情報獲得部２から入力される深さ映像情報のサンプル数を減少させる。すなわち、ダウンサンプリング部３０は、３次元深さ（距離）情報を用いた演算を行う時に、速度の改善のために、高解像度の深さ映像を低解像度の深さ映像に変換させる。例えば、ダウンサンプリング部３０は、解像度６４０×４８０の入力映像を解像度３２０×４８０の映像にサンプリングする。ダウンサンプリング部３０は、ローパスフィルタ（ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒ）ベースのダウンサンプリング方式（例：３×３  ｗｅｉｇｈｔｅｄ  ｓｕｍ方式）を用いて、入力される深さ映像の解像度を変換させる。
【００３５】
背景モデル生成／更新部４０は、ダウンサンプリング部３０から伝送された例えば１番目のフレームの深さ映像情報、及び顔検出部２０から伝送された顔検出結果を用いて背景モデルを生成する。また、背景モデル生成／更新部４０は、ダウンサンプリング部３０から伝送された例えば２番目以降のフレームの深さ映像情報を用いて背景モデルを更新（アップデート）する。背景モデル生成／更新部４０の動作は、図５を参照してより詳細に後述する。
【００３６】
候補領域抽出部５０は、入力される深さ映像情報から、背景モデルよりも近くにある領域（深さ値がしきい値未満である領域）を、ターゲットオブジェクト領域である人体領域になり得る候補領域として抽出する。また、候補領域抽出部５０は、顔検出部２０から伝送された顔検出結果を用いて人ではない動く対象（例：動物など）と判断される領域は候補領域から除去する。候補領域抽出部５０の動作は、図５を参照してより詳細に後述する。
【００３７】
人体領域抽出部６０は、以前のフレームの深さ映像で抽出した人体領域（有効領域）を用いて、現在のフレームの深さ映像で抽出した候補領域から人体領域（有効領域）を抽出する。人体領域抽出部６０は、第１演算部６２、第２演算部６４、第３演算部６６及び後処理部６８を含んでなる。
【００３８】
第１演算部６２は、ハード制約条件を用いたトラッキング実行過程を通じて人体領域を探す。第１演算部６２の動作は、図６乃至図８を参照してより詳細に後述する。
【００３９】
第２演算部６４は、ソフト制約条件を用いたトラッキング実行過程を通じて、第１演算部６２で探した人体領域（ハード制約条件を用いたトラッキング実行の結果で抽出された人体領域）を拡張させて人体領域（有効領域）を完成させる。第２演算部６４の動作は、図９を参照してより詳細に後述する。
【００４０】
第３演算部６６は、ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域（有効領域）を抽出する（例：以前のフレームでは存在しなかった新しい人が出現した場合、これを抽出する過程である）。第３演算部６６の動作は、図１０を参照してより詳細に後述する。
【００４１】
後処理部６８は、抽出された人体領域（選択されたピクセル）に対して様々な後処理（ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ）、例えば、アウトライア（ｏｕｔｌｉｅｒ）除去、穴（ｈｏｌｅ）埋め、ローパスフィルタリング（ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）、バンドパスフィルタリング（ｂａｎｄ  ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）などを行うことによって、最終人体領域（最終ターゲットオブジェクト領域）を抽出する。
【００４２】
格納部７０は、人体領域抽出を行うために必要とする事前情報、及び人体領域抽出の実行結果を格納するためのメモリであって、格納部７０には、ハード制約条件を用いたトラッキング実行過程で用いられる第１設定値情報、ソフト制約条件を用いたトラッキング実行過程で用いられる第２設定値情報、顔検出部２０を通じて行われた顔検出の結果、背景モデル生成／更新部４０を通じて生成されたり又は更新される背景モデル、ハード制約条件を用いたトラッキング及びハード制約条件を用いたトラッキング実行の結果で獲得される人体領域抽出結果などが格納される。
【００４３】
図２は、本発明の他の実施例に係る映像処理装置の構成図である。
【００４４】
本発明の他の実施例では、顔検出部２０が、深さ映像情報獲得部２を通じて獲得された深さ映像から顔映像を検出することができるように構成される。すなわち、本発明の他の実施例では、顔検出部２０が、別途のカラー映像情報の入力を受けて顔検出を行うのではなく、人体領域抽出のために用いられる深さ映像情報の入力を受けて顔映像を検出できるように構成されるという点において、本発明の実施例と差がある（本発明の実施例では、入力映像情報として、カラー映像情報及び深さ映像情報の両方とも入力を受けるのに対して、本発明の他の実施例では、入力映像情報として、深さ映像情報だけの入力を受ける）。
【００４５】
図２に示された本発明の他の実施例に係る映像処理装置１０の構成において、ダウンサンプリング部３０から伝送された入力深さ映像から顔映像を検出する顔検出部２０以外の他の構成要素は、図１に示された本発明の実施例に係る映像処理装置１０の構成と同一なので、ここでは詳細な説明を省略する。
【００４６】
以下では、図３を参照して本発明の実施例に係る映像処理方法を説明する。
【００４７】
人体領域抽出動作（映像処理実行）が始まると、まず顔検出部２０は、カラー映像情報獲得部１からカラー映像情報の入力を受ける（１００）。その後、顔検出部２０は、入力されるカラー映像からアダブーストアルゴリズムを用いて顔検出動作を行う（２００）。
【００４８】
次に、顔検出部２０は、入力カラー映像で顔が検出されたか否かを判断する（３００）。入力カラー映像で顔が検出された場合（３００での‘はい’）、顔検出部２０は、顔検出の実行結果を背景モデル生成／更新部４０及び候補領域抽出部５０に伝送して、顔検出結果が、ターゲットオブジェクト領域である人体領域になり得る候補領域を検索する過程（６００）に反映されるようにする。
【００４９】
一方、入力カラー映像で顔が検出されなかった場合（３００での‘いいえ’）、動作１１１０に進む。
【００５０】
顔検出部２０がカラー映像情報獲得部１からカラー映像情報の入力を受ける間、ダウンサンプリング部３０は、深さ映像情報獲得部２から深さ映像情報の入力を受ける（４００）。すなわち、カラー映像情報の獲得（１００）と深さ映像情報の獲得（４００）は、同時に又は非常に短い時間差間隔で行われる。その後、ダウンサンプリング部３０は、入力される深さ映像情報のサンプル数を減少させる（５００）。すなわち、ダウンサンプリング部３０は、３次元深さ（距離）情報を用いた演算を行う時に、速度の改善のために、高解像度の深さ映像を低解像度の深さ映像に変換させる。
【００５１】
次に、背景モデル生成／更新部４０は、ダウンサンプリング部３０から伝送された例えば１番目のフレームの深さ映像情報、及び顔検出部２０から伝送された顔検出結果を用いて背景モデルを生成する。また、背景モデル生成／更新部４０は、ダウンサンプリング部３０から伝送された例えば２番目以降のフレームの深さ映像情報を用いて背景モデルを更新（アップデート）する。
【００５２】
その後、候補領域抽出部５０は、入力される深さ映像情報から、背景モデルよりも近くにある領域（深さ値がしきい値未満である領域）を、ターゲットオブジェクト領域である人体領域になり得る候補領域として抽出する。また、候補領域抽出部５０は、顔検出部２０から伝送された顔検出結果を用いて人ではない動く対象（例：動物など）と判断される領域は候補領域から除去する。
【００５３】
前述した背景モデルの生成、背景モデルの更新及び候補領域の抽出過程を通称して候補領域検索過程（６００）と定義する。候補領域検索過程（６００）は、図５を参照してより詳細に後述する。
【００５４】
次に、第１演算部６２は、ハード制約条件を用いたトラッキングを行って人体領域を探す（７００）。ハード制約条件を用いたトラッキング実行過程（６００）は、図６乃至図８を参照してより詳細に後述する。
【００５５】
その後、第２演算部６４は、ソフト制約条件を用いたトラッキングを行って、第１演算部６２で探した人体領域（ハード制約条件を用いたトラッキング実行の結果で抽出された人体領域）を拡張させて人体領域（有効領域）を完成させる（８００）。ソフト制約条件を用いたトラッキング実行過程（８００）は、図９を参照してより詳細に後述する。
【００５６】
次に、第３演算部６６は、ハード制約条件を用いたトラッキング及びソフト制約条件を用いたトラッキング過程で人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域（有効領域）を抽出する（９００）。新しい有効領域抽出過程（９００）は、図１０を参照してより詳細に後述する。
【００５７】
その後、後処理部６８は、抽出された人体領域（選択されたピクセル）に対して様々な後処理（ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ）、例えば、アウトライア（ｏｕｔｌｉｅｒ）除去、穴（ｈｏｌｅ）埋め、ローパスフィルタリング（ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）、バンドパスフィルタリング（ｂａｎｄ  ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）などを行うことによって、最終人体領域（最終ターゲットオブジェクト領域）を抽出する（１０００）。
【００５８】
次に、人体領域抽出動作（映像処理実行）が必要か否かを判断する（１１００）。ここで、ユーザから、人体のようなターゲットオブジェクトを３Ｄモデリングする仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）、映画またはビデオゲームなどの停止信号が入力されると、人体領域抽出動作（映像処理実行）の必要性がなくなったものと判断する。
【００５９】
人体領域抽出動作（映像処理実行）が必要であると判断されると（１１００での‘はい’）、映像処理装置１０は、最初の動作（１００、４００）に戻り、次のフレームのカラー映像情報及び深さ映像情報を獲得して、人体領域抽出動作を継続的に行う。
【００６０】
一方、人体領域抽出動作（映像処理実行）がこれ以上必要でないと判断されると（１１００での‘いいえ’）、映像処理装置１０は、人体領域抽出動作（映像処理実行）を終了する。
【００６１】
以下では、図４を参照して、本発明の実施例に係る映像処理方法を説明する。
【００６２】
人体領域抽出動作（映像処理実行）が始まると、ダウンサンプリング部３０は、深さ映像情報獲得部２から深さ映像情報の入力を受ける（４００）。その後、ダウンサンプリング部３０は、入力される深さ映像情報のサンプル数を減少させる（５００）。すなわち、ダウンサンプリング部３０は、３次元深さ（距離）情報を用いた演算を行う時に、速度の改善のために、高解像度の深さ映像を低解像度の深さ映像に変換させる。
【００６３】
次に、顔検出部２０は、ダウンサンプリング部３０を通じて入力される深さ映像から、アダブーストアルゴリズムを用いて顔検出動作を行う（５１０）。その後、顔検出部２０は、入力深さ映像で顔が検出されたか否かを判断する（５２０）。
【００６４】
入力深さ映像で顔が検出された場合（５２０での‘はい’）、顔検出部２０は、顔検出の実行結果を背景モデル生成／更新部４０及び候補領域抽出部５０に伝送して、顔検出結果が、ターゲットオブジェクト領域である人体領域になり得る候補領域を検索する過程（６００）に反映されるようにする。
【００６５】
一方、入力深さ映像で顔が検出されなかった場合（５２０での‘いいえ’）、動作１１００に進む。
【００６６】
本発明の他の実施例では、顔検出部２０が、深さ映像情報獲得部２を通じて獲得された深さ映像から顔映像を検出する。すなわち、本発明の他の実施例では、顔検出部２０が、別途のカラー映像情報の入力を受けて顔検出を行うのではなく、人体領域抽出のために用いられる深さ映像情報の入力を受けて顔映像を検出するという点において、本発明の実施例と差がある。
【００６７】
図４に示す本発明の他の実施例に係る映像処理方法において、動作６００ないし動作１１００は、図３に示す本発明の実施例に係る映像処理方法の動作６００ないし動作１１００と同一なので、ここでは詳細な説明を省略する。
【００６８】
以下では、図５を参照して、図３及び図４に示された候補領域検索過程を説明する。
【００６９】
まず、背景モデル生成／更新部４０は、ダウンサンプリング部３０から入力された深さ映像が例えば１番目のフレームの映像であるか否かを判断する（６１０）。
【００７０】
入力された深さ映像が１番目のフレームの映像であれば（６１０での‘はい’）、背景モデル生成／更新部４０は、１番目のフレームの深さ映像情報、及び顔検出部２０から伝送された顔検出結果を用いて背景モデルを生成し（６２０）、動作１１００に移動する。
【００７１】
従来技術では、入力される１番目のフレームの映像に人が存在する時、これ（人）を背景と認知するため、人体領域を分離できないという問題点があった。しかし、本発明の実施例では、背景モデリング過程に顔検出結果を反映させて、１番目のフレームにおいても人（人体）の位置を判別することによって、１番目のフレームの映像に人が存在する場合にも、これを背景に含めず、正確に分離することができる。すなわち、本発明の実施例は、人体領域抽出の起動のために人が必ず動かなければならないという問題を解決することができる。
【００７２】
一方、動作６１０の判断結果、入力された深さ映像が例えば１番目のフレームの映像ではない場合、すなわち、入力された深さ映像が２番目以降のフレームの映像であれば（６１０での‘いいえ’）、背景モデル生成／更新部４０は、入力された２番目以降のフレームの深さ映像情報を用いて背景モデルを更新する（６３０）。この時、背景モデル生成／更新部４０は、現在格納されている背景領域よりも遠くにある領域の深さ映像情報が入力されると、この深さ映像情報を用いて現在格納されている背景モデルを更新する。また、背景モデル生成／更新部４０は、深さ映像情報獲得部２のノイズによって空白（ｂｌａｎｋ）領域として残っている背景領域を更新したり、又は、１番目のフレームの映像に人が存在して背景から除外された領域が、２番目以降のフレームの映像で人が移動して現れると、該除外された領域（１番目のフレームの映像に人が存在した領域）を背景領域に更新する。
【００７３】
次に、候補領域抽出部５０は、入力される深さ映像情報から、背景モデルよりも近くにある領域（深さ値がしきい値未満である領域）を、ターゲットオブジェクト領域である人体領域になり得る候補領域としてモデリングする。また、候補領域抽出部５０は、顔検出部２０から伝送された顔検出結果を用いて人ではない動く対象（例：動物など）と判断される領域は候補領域から除去して、最終的な候補領域を抽出する（６４０）。すなわち、本発明の実施例では、候補領域抽出過程に顔検出結果を反映させることによって、動く対象のうち人（人体）だけを正確に分離することができる。
【００７４】
図６は、以前（ｔ−１）のフレームで抽出された人体領域と現在（ｔ）のフレームで抽出された候補領域、交差領域及びエッジ領域の概念を説明するための図である。図６で、参照符号Ａで表示された点線表示の矩形は、以前（ｔ−１）のフレームで抽出された人体領域を示し、参照符号Ｂで表示された実線表示の矩形は、現在（ｔ）のフレームで抽出された候補領域を示す。また、参照符号Ｃで表示された斜線領域は、以前のフレームで抽出された人体領域と現在のフレームで抽出された候補領域との交差領域（ｃｒｏｓｓ  ｒｅｇｉｏｎ）を示し、参照符号Ｅで表示されたドット（ｄｏｔ）表示領域は、エッジ領域（ｅｄｇｅ  ｒｅｇｉｏｎ）を示す。
【００７５】
以下では、図６乃至図８を参照して、図３及び図４に示されたハード制約条件を用いたトラッキング実行過程を説明する。
【００７６】
まず、第１演算部６２は、図７に示すように、候補領域抽出部５０を通じて現在のフレームで抽出された候補領域に属する一つの点を抽出する（７１０）。次に、第１演算部６２は、抽出された点が以前のフレームで抽出された人体領域と現在のフレームで抽出された候補領域との交差領域に属するか否かを判断する（７２０）。
【００７７】
抽出された点が、以前のフレームで抽出された人体領域と現在のフレームで抽出された候補領域との交差領域に属しない場合（７２０での‘いいえ’）、第１演算部６２は、再び動作７１０に戻り、現在のフレームで抽出された候補領域に属する他の一つの点を抽出する。
【００７８】
一方、抽出された点が、以前のフレームで抽出された人体領域と現在のフレームで抽出された候補領域との交差領域に属する場合（７２０での‘はい’）、第１演算部６２は、抽出された一つの点に隣接する８個の点を抽出する（７３０）。ここで、抽出された点に隣接する８個の点は、図８に示すように、抽出された点（ｘ、ｙ）を上下左右、対角線方向に包囲する８個の点のことを意味する。
【００７９】
その後、第１演算部６２は、隣接する点が交差領域に属し、抽出された一つの点と隣接する点との間の深さの差が第１設定値（例：５０ｍｍ）未満（ハード制約条件を満足）であるか否かを判断する（７４０）。
【００８０】
隣接する点が交差領域に属し、抽出された一つの点と隣接する点との間の深さの差が第１設定値未満であれば（７４０での‘はい’）、第１演算部６２は、動作７４０での条件を満足させる隣接する点に対して、以前のフレームで抽出された人体領域（有効領域）と同じラベルを設定する（７５０）。例えば、以前のフレームで抽出された人体領域に対してラベル“１”を設定（格納）した場合、動作７４０での条件を満足させる隣接する点に対しても同じラベル“１”を設定する。
【００８１】
一方、動作７４０での条件を満足させなければ（７４０での‘いいえ’）、第１演算部６２は、隣接する点が現在のフレームで候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第２設定値（例：５００ｍｍ）未満であるか否かを判断する（７６０）。
【００８２】
隣接する点が現在のフレームで候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第２設定値（例：５００ｍｍ）未満であれば（７６０での‘はい’）、第１演算部６２は、動作７６０での条件を満足させる隣接する点をエッジ領域Ｅとして設定する（７７０）。
【００８３】
一方、動作７６０での条件を満足させなければ（７６０での‘いいえ’）、第１演算部６２は、隣接する点を無視（ｓｋｉｐ）し、動作７８０に移動する。
【００８４】
次に、第１演算部６２は、候補領域に存在する全ての点に対する検査（動作７４０、７６０での条件を満足させるか否かに対する検査）が完了したか否かを判断する（７８０）。
【００８５】
候補領域に存在する全ての点に対する検査が完了しなかった場合（７８０での‘いいえ’）、第１演算部６２は、動作７３０に戻り、動作７５０で以前のフレームの有効領域と同じラベルが設定された点のそれぞれに隣接する８個の点を抽出して、前述した動作７４０ないし動作７７０を、候補領域に存在する全ての点に対する検査が完了するまで反復的に行う。
【００８６】
一方、候補領域に存在する全ての点に対する検査が完了した場合（７８０での‘はい’）、第１演算部６２は、ハード制約条件を用いたトラッキング実行の結果を第２演算部６４に伝送する。
【００８７】
以下では、図６、図８及び図９を参照して、図３及び図４に示されたソフト制約条件を用いたトラッキング実行過程を説明する。ソフト制約条件を用いたトラッキング過程では、ハード制約条件を用いたトラッキング過程で設定されたエッジ領域を基準として再度周辺領域に拡張しながら、ハード制約条件により人体領域（有効領域）として抽出されなかった領域を、ソフト制約条件を用いたトラッキング実行結果、抽出された人体領域に合わせたり、大きさが小さい有効領域であるため、ノイズと仮定されて削除された領域を復元する。
【００８８】
まず、第２演算部６４は、図９に示すように、ハード制約条件を用いたトラッキング実行過程で設定されたエッジ領域Ｅに属する一つの点を抽出する（８１０）。
【００８９】
次に、第２演算部６４は、動作８１０を通じて抽出された一つの点に隣接する８個の点を抽出する（８２０）。ここで、抽出された点に隣接する８個の点は、図８に示されたように、抽出された点（ｘ、ｙ）を上下左右、対角線方向に包囲する８個の点のことを意味する。
【００９０】
その後、第２演算部６４は、隣接する点が現在のフレームで候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第２設定値（例：５００ｍｍ）未満（ソフト制約条件を満足）であるか否かを判断する（８３０）。
【００９１】
隣接する点が現在のフレームで候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第２設定値未満であれば（８３０での‘はい’）、第２演算部６４は、動作８３０での条件を満足させる隣接する点に対して、以前のフレームで抽出された人体領域（有効領域）と同じラベルを設定する（８４０）。例えば、以前のフレームで抽出された人体領域に対してラベル“１”を設定（格納）した場合、動作８３０での条件を満足させる隣接する点に対しても同じラベル“１”を設定する。
【００９２】
一方、動作８３０での条件を満足させなければ（８３０での‘いいえ’）、第２演算部６４は、隣接する点を無視（ｓｋｉｐ）し、動作８５０に移動する。
【００９３】
次に、第２演算部６４は、エッジ領域に存在する全ての点に対する検査（動作８３０での条件を満足させるか否かに対する検査）が完了したか否かを判断する（８５０）。
【００９４】
エッジ領域に存在する全ての点に対する検査が完了しなかった場合（８５０での‘いいえ’）、第２演算部６４は、動作８２０に戻り、動作８４０で以前のフレームの有効領域と同じラベルが設定された点のそれぞれに隣接する８個の点を抽出して、前述した動作８３０ないし動作８４０を、エッジ領域に存在する全ての点に対する検査が完了するまで反復的に行う。
【００９５】
一方、エッジ領域に存在する全ての点に対する検査が完了した場合（８５０での‘はい’）、第２演算部６４は、ソフト制約条件を用いたトラッキング実行の結果を第３演算部６６に伝送する。
【００９６】
以下では、図６、図８及び図１０を参照して、図３及び図４に示された新しい有効領域抽出過程を説明する。新しい有効領域抽出過程では、ハード制約条件を用いたトラッキング過程及びソフト制約条件を用いたトラッキング過程で人体領域として抽出されていない残っている候補領域に対する検査を通じて、新しい人体領域（有効領域）を抽出する。例えば、以前のフレームでは存在しなかった新しい人が出現した場合に、これを抽出する過程を意味する。
【００９７】
まず、第３演算部６６は、図１０に示すように、現在のフレームで新しく抽出された候補領域に属する一つの点を抽出する（９１０）。
【００９８】
次に、第３演算部６６は、動作９１０を通じて抽出された一つの点に隣接する８個の点を抽出する（９２０）。ここで、抽出された点に隣接する８個の点は、図８に示されたように、抽出された点（ｘ、ｙ）を上下左右、対角線方向に包囲する８個の点のことを意味する。
【００９９】
その後、第３演算部６６は、隣接する点が現在のフレームで新しく抽出された候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第１設定値（例：５０ｍｍ）未満（ハード制約条件を満足）であるか否かを判断する（９３０）。
【０１００】
隣接する点が現在のフレームで新しく抽出された候補領域に属し、抽出された一つの点と隣接する点との間の深さの差が第１設定値未満であれば（９３０での‘はい’）、第３演算部６６は、動作９３０での条件を満足させる隣接する点に対して、以前のフレームで抽出された人体領域（有効領域）と異なる新しいラベルを設定する（９４０）。例えば、以前のフレームで抽出された人体領域に対してラベル“１”を設定（格納）した場合、動作９３０での条件を満足させる隣接する点に対しては新しいラベル“２”を設定する。
【０１０１】
一方、動作９３０での条件を満足させなければ（９３０での‘いいえ’）、第３演算部６６は、隣接する点を無視（ｓｋｉｐ）し、動作９５０に移動する。
【０１０２】
次に、第３演算部６６は、新しい候補領域に存在する全ての点に対する検査（動作９３０での条件を満足させるか否かに対する検査）が完了したか否かを判断する（９５０）。
【０１０３】
新しい候補領域に存在する全ての点に対する検査が完了しなかった場合（９５０での‘いいえ’）、第３演算部６６は、動作９２０に戻り、動作９４０で以前のフレームの有効領域と異なる新しいラベルが設定された点のそれぞれに隣接する８個の点を抽出して、前述した動作９３０及び動作９４０を、新しい候補領域に存在する全ての点に対する検査が完了するまで反復的に行う。
【０１０４】
一方、新しい候補領域に存在する全ての点に対する検査が完了した場合（９５０での‘はい’）、第３演算部６６は、新しい有効領域抽出実行の結果を後処理部６８に伝送する。
【０１０５】
後処理部６８は、抽出された人体領域（選択されたピクセル）に対して様々な後処理（ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ）、例えば、アウトライア（ｏｕｔｌｉｅｒ）除去、穴（ｈｏｌｅ）埋め、ローパスフィルタリング（ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）、バンドパスフィルタリング（ｂａｎｄ  ｐａｓｓ  ｆｉｌｔｅｒｉｎｇ）などを行うことによって、最終人体領域（最終ターゲットオブジェクト領域）を抽出する。
【符号の説明】
【０１０６】
１０    映像処理装置
２０    顔検出部
３０    ダウンサンプリング部
４０    背景モデル生成／更新部
５０    候補領域抽出部
６０    人体領域抽出部
７０    格納部
【図１】
2013122763.tif 000003
【図２】
2013122763.tif 000004
【図３】
2013122763.tif 000005
【図４】
2013122763.tif 000006
【図５】
2013122763.tif 000007
【図６】
2013122763.tif 000008
【図７】
2013122763.tif 000009
【図８】
2013122763.tif 000010
【図９】
2013122763.tif 000011
【図１０】
2013122763.tif 000012