【手続補正書】
【提出日】平成20年9月25日(2008.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人間の検出及び追跡のために情景の内容の分析を実行するコンピュータに基づくシステムであって、
映像信号を受信するための映像入力と、
前記映像入力から前記映像信号を受信し、前記映像信号を元に情景の内容を分析し、前記映像信号中に見られる１つ以上の対象を元にイベントを判定するための、前記映像入力に結合された内容分析モジュールと、
前記映像信号、前記イベントに関連するデータ、又は前記システムの設定及び動作に関連するデータを記憶するためのデータ記憶モジュールと、
ユーザが前記内容分析モジュールを前記イベントに対する警告を生成するように設定することを可能にするための、前記内容分析モジュールに結合されたユーザインターフェースモジュールと
を備え、前記イベントが認識されると、前記内容分析モジュールが前記警告を生成する、システム。
【請求項２】
前記イベントは、前記映像信号中の目標となる人間に関連するデータ又は前記目標となる人間の動きに関連するデータの検出に対応する請求項１に記載のシステム。
【請求項３】
前記内容分析モジュールは、
前記映像信号中の前記１つ以上の対象の動き又は前記動きの変化を検出し、前記映像信号を元に前景を判定するための動き及び変化検出モジュールと、
前記前景を１つ以上のブロッブに分けるための前景ブロッブ抽出モジュールと、
前記１つ以上のブロッブを元に１つ以上の目標となる人間を判定するための人間の検出及び追跡モジュールと
を備える請求項１に記載のシステム。
【請求項４】
前記人間の検出及び追跡モジュールは、
前記１つ以上のブロッブをマッピングし、１つ以上の対象の特徴が人間の構成要素を含むかどうかを判定するための人間の構成要素及び特徴検出モジュールと、
人間の構成要素を含むと判定される前記１つ以上の対象の特徴に関連するデータを受信し、前記データを元に１つ以上の人間のモデルを生成するための人間検出モジュールと、
前記１つ以上の人間のモデルに関連するデータを受信し、前記１つ以上の人間のモデルのうちの１つ以上の動きを追跡するための人間追跡モジュールと
を備える請求項３に記載のシステム。
【請求項５】
前記人間の構成要素及び特徴検出モジュールは、
前記１つ以上のブロッブを追跡するブロッブ追跡器モジュールと、
前記追跡されたブロッブにおいて人間の頭部を検出する頭部検出器モジュールと、
前記検出された人間の頭部を追跡する頭部追跡器モジュールと、
平均的な目標となる人間と比較した前記１つ以上のブロッブの相対サイズを与える相対サイズ推定器モジュールと、
前記追跡された１つ以上のブロッブにおいて人間の輪郭の数を抽出する人間の輪郭抽出モジュールと、
前記検出された人間の頭部において人間の顔が存在するかどうかを検出する顔検出器モジュールと、
前記追跡された１つ以上のブロッブに対してスケール不変特徴を抽出するスケール不変特徴変換（ＳＩＦＴ）モジュールと
を備える請求項４に記載のシステム。
【請求項６】
前記頭部検出器モジュールは、
前記追跡された１つ以上のブロッブにおいて潜在的な人間の頭部を検出する頭部位置検出モジュールと、
前記潜在的な人間の頭部と同じ対象に対応する複数の頭部を検出する楕円形頭部適合モジュールと、
一致性のために前記検出された頭部を比較し、最もよく一致する頭部の対を認定する一致検証モジュールと、
前記最もよく一致する頭部の対が人間の頭部であるのに十分な胴体裏付けを有するかどうかを判断する胴体裏付け検証モジュールと
を備える請求項５に記載のシステム。
【請求項７】
前記頭位置検出モジュールは、
前記追跡された１つ以上のブロッブの上部輪郭を認定する上部輪郭生成モジュールと、
前記上部輪郭に対して微分演算を実行する微分計算モジュールと、
前記微分演算において１つ以上の傾斜を認定する傾斜モジュールと、
前記上部輪郭及び前記傾斜に基づいて潜在的な人間の頭部の位置を検出する頭部位置発見器モジュールと、
を備える請求項６に記載のシステム。
【請求項８】
前記楕円形頭部適合モジュールは、
１つ以上の潜在的な人間の頭部を含む境界ボックスと１つ以上の入力画像マスクとを入力として受け、前記境界ボックス内の前記入力画像マスクの外形エッジを抽出するマスクエッジ検出器モジュールと、
前記外形エッジから頭部外形の画素を抽出する頭部外形判定器モジュールと、
前記頭部外形の画素から楕円形頭部モデルを推定する大まかな適合モジュールと、
前記楕円形頭部モデルを精緻化し、全体的な適合の誤差を最小化する精緻な適合モジュールと
を備える請求項６に記載のシステム。
【請求項９】
前記精緻な適合モジュールは、
前記大まかな適合モジュールによって得られた前記楕円形頭部モデル上のすべての頭部外形の画素の平均適合誤差を計算する初期平均適合誤差モジュールと、
各楕円形パラメータに対して調整を行い、前記調整されたモデルが平均適合誤差を減少させるかどうかを判定する調整モジュールと
を備える請求項８に記載のシステム。
【請求項１０】
前記頭部追跡器モジュールは、
前記検出された人間の頭部における曲線を追跡する目標モデルモジュールと、
頭部の目標のモデルに対する初期状態を選択する目標初期化モジュールと、
前記検出された人間の頭部の近似的な位置を取得する動的伝搬モデルモジュールと、
各サンプルの設定のために事後確率を生成する事後確率生成及び測定モジュールと、
前記事後確率を生成するために必要とされるサンプルの数を決定する計算コストモジュールと
を備える請求項５に記載のシステム。
【請求項１１】
前記相対サイズ推定器モジュールは、
１つ以上の目標となる人間のインスタンスを選択し、人間のサイズの統計を蓄積する人間のサイズ訓練モジュールと、
平均の人間の高さ、幅及び画像フレーム上のあらゆる画素位置に対する画像領域データを記憶するとともに参照する人間のサイズ統計参照モジュールと、
平均的な目標となる人間に対する新たな目標の相対サイズを推定する相対サイズ問い合わせモジュールと
を備える請求項５に記載のシステム。
【請求項１２】
前記人間の輪郭抽出モジュールは、
人間の輪郭の目標垂直投影輪郭を生成する垂直投影輪郭モジュールと、
前記抽出された人間の輪郭の数について前記目標垂直投影輪郭を正規化する垂直投影輪郭正規化器モジュールと、
前記目標垂直投影輪郭のピークと谷を探索することによって潜在的な人間の形状の投影輪郭を抽出する人間の輪郭検出器モジュールと
を備える請求項５に記載のシステム。
【請求項１３】
前記人間検出モジュールは、
入力された目標がブロッブの裏づけを有するかどうかをチェックするブロッブ裏付けチェックモジュールと、
前記入力されたブロッブ目標内に人間の頭部又は顔が存在するかどうかをチェックする頭部及び顔裏付けチェックモジュールと、
前記入力されたブロッブ目標が人間の胴体を含むかどうかチェックする胴体裏付けチェックモジュールと、
前記入力されたブロッブ目標が目標となる人間であるかどうかをチェックし、前記ブロッブ目標が前記目標となる人間である場合に、前記目標となる人間の状態を判定する人間の状態判定器モジュールと
を備える請求項４に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
[00052]図２は、本発明の実施形態による、内容分析モジュール１０４を用いた人間の検出／追跡の動作の実施形態の構成図を示す。まず、システムは、動き及び変化検出モジュール２０２を使用して背景２０４から前景を分けることができ、このモジュールの出力は、各フレームに対する前景マスクとなることができる。次に、前景領域をブロッブ抽出モジュール２０６によって別個のブロッブ２０８に分割することができ、これらのブロッブは各タイムスタンプにおける目標の観測結果である。人間検出／追跡モジュール２１０は、映像中のそれぞれの目標となる人間を検出及び追跡することができ、情景内に人間が存在する場合に警告１１０を送出することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
[00064]次に、微分又は輪郭計算モジュール６０４が、輪郭に対する微分演算を実行する。傾斜モジュール６０６は、一部の、ほとんどの、任意の、又は全ての上り及び下り傾斜の位置を検出することができる。本発明の一実施形態において、１つの上り傾斜は輪郭の微分が極大である場所であってよく、その値は最小の頭部勾配閾値よりも大きい。同様に、１つの下り傾斜は輪郭の微分が極小である位置であってよく、値は上記最小の頭部勾配閾値の符号を負にした値よりも小さい。潜在的な頭部の中心は１つの上り傾斜の位置と１つの下り傾斜の位置との間にある可能性があり、そこで当該上り傾斜は当該下り傾斜の左側になければならない。潜在的な頭部に対しては少なくとも片側の肩の裏付けが必要とされる可能性がある。左の肩は、正の輪郭微分値を有する上り傾斜の位置の左の直近の領域である可能性がある。右の肩は、負の輪郭微分値を有する上り傾斜の位置の右の直近の領域である可能性がある。検出された潜在的な頭部の位置６０８は、画素の境界ボックスによって定義することができる。左肩の位置が最小であれば左の位置が、又は左肩がなければ上り傾斜の位置が検出される可能性がある。境界ボックスの右側は右肩の位置の最大である可能性があり、又は右肩がなければ下り傾斜の位置が検出される可能性がある。頂部は境界ボックスの左端と右端の間の最大輪郭位置である可能性があり、底部は左端及び右端の最小輪郭位置である可能性がある。このモジュールにおいて複数の潜在的な頭部の位置を検出することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
[00083]目標初期化要素１３０４に関して、情景内の背景の雑然性のためにＣＯＮＤＥＮＳＡＴＩＯＮ追跡器のほとんどの既存の実装は目標のモデルに対する初期状態を手動で選択する。本発明に関しては、頭部検出器モジュール４０４が、各映像フレームに対して自動頭部検出を実行することができる。それらの検出される頭部は、異なる人間追跡器によって追跡されている既存の人間の頭部であってよく、又は新たに検出された人間の頭部であってもよい。時間的な検証が、これらの新たに検出された頭部に対して実行されることができ、頭部追跡モジュール４０６を初期化することができ、新たに検出された頭部が時間的な一貫性検証に通った時点でさらなる自動追跡を開始する。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2008542922.tif 000001