【手続補正書】
【提出日】平成16年6月10日(2004.6.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アフィン変形に基づく、イメージストリーム内におけるリアルタイムのブロッブ検出およびトラッキングのためのサブサンプリング方法であって、
イメージ内でサブサンプリングすべき領域を特定するステップと、
イメージ内の特定された領域を予め定められたサイズのウインドウにマッピングするアフィン変換を計算するステップと、
計算されたアフィン変換の逆変換を前記予め定められたサイズのウインドウのピクセル座標に適用するステップと、
前記予め定められたサイズのウインドウの各ピクセルについて、ピクセル値を計算し、これらの値を元のイメージ内の関連のピクセル座標とともに記憶するステップとを含む、サブサンプリング方法。
【請求項２】
前記適用するステップが、
ブロッブの位置と、サブサンプリングすべき領域に含まれるブロッブの長軸および短軸の方向および長さとを、イメージ内に規定される座標軸に対して推定するステップと、
ブロッブをウインドウ内の変形されたイメージ上にマッピングするように前記アフィン変換を定義するステップとを含み、変形されたイメージの長軸および短軸はウインドウ内に規定される座標系のそれぞれの軸に平行であり、変形されたイメージの長軸および短軸はウインドウの辺より短く、さらに
逆アフィン変換およびニアレストネイバーまたは線形補間を適用して、変形されたイメージのそれぞれのピクセル値および座標を計算するステップを含む、請求項１に記載のサブサンプリング方法。
【請求項３】
前記推定するステップが、ブロッブの位置と、サブサンプリングすべき領域に含まれるブロッブの長軸および短軸の方向および長さとをイメージ内に規定される座標軸に対して推定するステップを含む、請求項２に記載のサブサンプリング方法。
【請求項４】
前記固定されたサイズのウインドウは固定されたサイズの正方形であり、
前記定義するステップが、ブロッブをウインドウ内の変形されたイメージ上にマッピングするように前記アフィン変換を定義するステップを含み、変形されたイメージの長軸および短軸はウインドウ内に規定される座標系のそれぞれの軸に平行であり、変形されたイメージの長軸および短軸はウインドウの辺より短く、長軸と短軸とは同じ長さである、請求項３に記載のサブサンプリング方法。
【請求項５】
前記アフィン変換は以下の式で規定され、
【数１】
2004163989.tif 000001
ここでui=[ui,vi]Tおよびθiはｉ番目の測定時にイメージにおいて規定される座標系によって表わされる形状の位置と向きであり、aiおよびbiはそれぞれその形状の長軸および短軸の半分の長さであり、wは前記ウインドウの前記予め規定されたサイズであり、sは変形された形状がウインドウよりもどれほど小さくなるべきかを特定する縮尺係数である、請求項２から請求項４のいずれかに記載のサブサンプリング方法。
【請求項６】
アフィン変形に基づくイメージストリーム内でのリアルタイムのブロッブ検出およびトラッキングのためのサブサンプリング方法をコンピュータに行なわせるコンピュータ実行可能プログラムであって、前記サブサンプリング方法は、
イメージ内でサブサンプリングすべき領域を特定するステップと、
イメージ内の特定された領域を予め定められたサイズのウインドウにマッピングするアフィン変換を計算するステップと、
計算されたアフィン変換の逆変換を予め定められたサイズのウインドウのピクセル座標に適用するステップと、
前記予め定められたサイズのウインドウの各ピクセルについて、ピクセル値を計算し、これらの値を元のイメージ内の関連のピクセル座標とともに記憶するステップとを含む、コンピュータ実行可能プログラム。
【請求項７】
前記適用するステップが、
ブロッブの位置と、サブサンプリングすべき領域に含まれるブロッブの長軸および短軸の方向および長さとをイメージ内に規定される座標軸に対して推定するステップと、
ブロッブをウインドウ内の変形されたイメージ上にマッピングするようにアフィン変換を定義するステップとを含み、変形されたイメージの長軸および短軸はウインドウ内に規定される座標系のそれぞれの軸に平行であり、変形されたイメージの長軸および短軸はウインドウの辺より短く、さらに
逆アフィン変換およびニアレストネイバーまたは線形補間を適用して変形されたイメージのそれぞれのピクセル値および座標を計算するステップを含む、請求項６に記載のプログラム。
【請求項８】
前記推定するステップが、ブロッブの位置と、サブサンプリングすべき領域に含まれるブロッブの長軸および短軸の方向および長さとをイメージ内に規定される座標軸に対して推定するステップを含む，請求項７に記載のプログラム。
【請求項９】
前記固定されたサイズのウインドウは固定されたサイズの正方形であり、
前記定義ステップが、ブロッブをウインドウ内の変形されたイメージ上にマッピングするように前記アフィン変換を定義するステップを含み、変形されたイメージの長軸および短軸はウインドウ内に規定される座標系のそれぞれの軸に平行であり、変形されたイメージの長軸および短軸はウインドウの辺より短く、長軸と短軸とは同じ長さである、請求項８に記載のプログラム。
【請求項１０】
アフィン変換は以下の式で規定され、
【数２】
2004163989.tif 000002
ここでui=[ui,vi]Tおよびθiはｉ番目の測定時にイメージ内に規定される座標系によって表わされる前記形状の位置と向きであり、aiおよびbiはそれぞれその形状の長軸および短軸の半分の長さであり、wは前記ウインドウの前記予め規定されたサイズであり、sは変形された形状がウインドウよりもどれほど小さくなるべきかを特定する縮尺係数である、請求項７から請求項９のいずれかに記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
[参考文献]
［１］  Ｃ．ブレグラー著、「ビデオシーケンス内での人間の動力学の学習と認識」、ＩＥＥＥコンピュータ・ソサエティ大会、コンピュータ・ビジョンとパターン認識予稿集、５６９頁−５７４頁、サン・ファン、プエルトリコ、１９９７年（C.  Bregler.  Learning  and  recognizing  human  dynamics  in  video  sequences.  In  Proc.  IEEE  Computer  Society  Conf.  Computer  Vision  and  Pattern  Recognition,  pp.  569-574,  San  Juan,  Puerto  Rico,  1997.）
［２］  Ｄ．コマニシュー、Ｖ．レメシュ、およびＰ．メール著、「移動平均を用いた、非剛体オブジェクトのリアルタイム・トラッキング」、ＩＥＥＥコンピュータ・ソサエティ大会、コンピュータ・ビジョンとパターン認識予稿集、第２巻、１４２頁−１４９頁、ヒルトン・ヘッド、サウス・キャロライナ、２０００年（D.  Comaniciu,  V.  Ramesh,  and  P.  Meer.  Real-time  tracking  of  non-rigid  objects  using  mean  shift.  In  Proc.  IEEE  computer  Society  Conf.  Computer  vision  and  Pattern  Recognition.  Vol.  2,  pp.  142-149,  Hilton  Head,  South  Carolina,  2000.）
［３］  Ｎ．ジョジック、Ｍ．ターク、およびＴ．Ｓ．ファン著、「密な不均衡マップ内での、自己オクルージョンを起こす連接オブジェクトのトラッキング」、第７回コンピュータ・ビジョン国際会議予稿集、１２３頁−１３０頁、ケルキラ、ギリシャ、１９９９年（N.  Jojic,  M.  Turk,  and  T.S.  Huang.  Tracking  self-occluding  articulated  objects  in  dense  disparity  maps.  In  Proc.  7th  Int.  Conf.  computer  Vision,  pp.  123-130,  Kerkyra,  Greece,  1999.）
［４］  Ｓ．Ｊ．マッケナ、Ｙ．ラージャ、およびＳ．Ｇ．ゴン著「適応的混色モデルを用いたカラー・オブジェクトのトラッキング」、イメージおよびビジョン・コンピューティング、１７（３−４）、２２５頁−２３１頁、１９９９年３月（S.J.  McKenna,  Y.  Raja,  and  S.  Gong.  Tracking  colour  objects  using  adaptive  mixture  models.  Image  and  Vision  Computing,  17(3-4):  225-231,  March  1999.）
［５］  Ａ．ウデ、Ｔ．シバタ、およびＣ．Ｇ．アトキソン、「ヒューマノイド・ロボットとの対話のためのリアルタイム・視覚システム」、ロボティックス・アンド・オートノマス・システムズ、３７（２−３）、１１５頁−１２５頁、２００１年１１月（A.  Ude,  T.  Shibata,  and  C.G.  Atkenson.  Real-time  visual  system  for  interaction  with  a  humanoid  robot.  Robotics  and  Autonomous  Systems,  37(2-3):  115-125,  November  2001.）
［６］  Ｙ．ウーおよびＴ．Ｓ．ファン著、「ロバストな視覚トラッキングへの共演繹アプローチ」、第８回コンピュータ・ビジョン国際会議予稿集、第１１巻、２６頁−３３頁、バンクーバー、カナダ、２００１年（Y.  Wu  and  T.S.  Huang.  A  co-inference  approach  to  robust  visual  tracking.  In  Proc.  Eight  Int.  Conf.  Computer  Vision,  Vol.  11,  pp.  26-33,  Vancouver,  Canada,  2001.）
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図７はこの実施例の方法を実現するコンピュータシステムを例示する。図８はシステムのブロック図である。図７を参照して、この実施例を実現するコンピュータシステム２０は、ＦＤ（フレキシブルディスク）ドライブ５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ５０を有するコンピュータ４０と、いずれもコンピュータ４０に接続された、キーボード４６と、マウス４８と、モニタ４２と、ビデオカメラ３０とを含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
図８を参照して、コンピュータ４０は、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に加えて、ＣＰＵ（中央処理装置）５６と、ＣＰＵ５６、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に接続されたバス６６と、バス６６とカメラ３０とに接続されたビデオキャプチャボード６８と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）５８と、ＣＰＵ５６に接続され、プログラム命令、システムプログラム、およびデータを記憶するランダムアクセスメモリ（ＲＡＭ）６０とを含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図１０はステップ３２４の処理の制御構造をより詳細に示す。この処理はまた、しきい値を推定するステップ（３２０）にも適用される。図１０を参照して、オブジェクト検出処理３２４は、形状モデル４０２からブロッブの形状と場所をランダムに生成するステップから開始する（４００）。処理３２４はさらに、イメージストリーム４０４内のイメージにアフィン変形を適用するステップと、色モデル４０６に基づき確率の和を推定するステップ４２４と、しきい値が利用可能であるかを判断するステップ４２６とを含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
一旦ブロッブが検出されると処理が開始され、ブロッブのトラッキングが始まり（５００）、この処理は、ブロッブを含むイメージストリーム５０２内のイメージにアフィン変形を適用するステップ（５２０）と、色モデル５０４に基づき色確率を評価するステップと、色モデル５０４および形状モデル５０６に基づき形状と色の確率を組合わせるステップ（ＥＭアルゴリズムにおける期待ステップ）５２４と、ステップ５２４の出力に基づきブロッブの形状と場所を推定し、結果に基づき形状モデル５０６を更新するステップ５２６（ＥＭアルゴリズムにおける最大化ステップ）と、アルゴリズムが収束したか、または繰返しステップ限界を超えたかを判断するステップ（５２８）とを含む。アルゴリズムが収束したか、繰返しステップの限界を超えていれば、制御はステップ５３０に進み、そうでなければ制御はステップ５２４に戻り、ステップ５２４および５２６でＥＭアルゴリズムを繰り返す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
なお、ステップ５２０では予測されたブロッブの形状および位置を用いてアフィン変換が計算されるが、これは単に、先のイメージで推定されたブロッブの位置および形状でもよい。マッピングにより、ブロッブの周りの領域が、ブロッブが固定サイズの新たなイメージウインドウの中心に位置付けられその形状が円となるように変換され、これは図３および図４に示すとおりである。この円の半径は予測の不正確さを勘定にいれるため、ウインドウよりも小さい。