【手続補正書】
【提出日】平成22年3月12日(2010.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ステレオカメラの補正された画像対から３次元の人の顔表面データを再構築するための装置であって、
前記ステレオカメラのキャリブレーションパラメータと前記補正された画像対とに基づいて前記人の顔のサイズとホロプタ範囲とを推定するためのホロプタ範囲推定手段と、
前記画像対の一方の画像中の前記人の顔の各画素について、前記画像対の他方の画像における前記ホロプタ範囲内のディスパリティ値を推定するためのディスパリティ推定手段と、
前記補正された画像対、前記ディスパリティ値、及び前記ステレオカメラのキャリブレーションパラメータに基づいて、前記人の顔の３次元表面データを再構築するための３次元表面再構築手段と、
無効なディスパリティ値を有する無効なデータ点を見出し、前記無効なデータ点を隣接するデータ点で補間することによって、前記３次元表面データ内のノイズを消去するためのノイズ消去手段と、
予め定められた当てはめアルゴリズムを利用して、顔平面を前記３次元表面データに当てはめるための当てはめ手段と、
前記３次元表面データのうち前記顔平面から予め定められた距離以内にあるものを３次元の人の顔として抽出するための抽出手段と、を含む、装置。
【請求項２】
前記ホロプタ範囲推定手段は、
前記画像対の前記一方の画像中の両眼間パターンを特定するための第１の特定手段と、
前記他方の画像において前記両眼間パターンに対応するエピポーラ線に沿った対応のパターンを特定するための第２の特定手段と、
前記一方の画像における前記両眼間パターン付近の顔候補と前記対応のパターンとが検証条件を満たしているか否かを検証するための検証手段と、
ある顔候補が前記認証条件を満たすまで、前記第１及び前記第２の特定手段と前記検証手段とを繰返し動作させるための手段と、
前記検証条件を満たす前記顔候補によって、顔領域を規定するための手段と、を含む、請求項１に記載の装置。
【請求項３】
前記ディスパリティ推定手段は、
前記ホロプタ範囲及び前記顔領域の前記サイズについて、相関ウィンドウサイズを規定するための手段と、
予め選択された類似度尺度に従って、最も高い類似度尺度を生じる画素を、前記他方の画像で探索することによって、前記人の顔における各画素のディスパリティ値を計算するための手段と、を含む、請求項２に記載の装置。
【請求項４】
前記ノイズ消去手段は、
前記顔の前記サイズについて偏差ウィンドウのサイズを規定して、前記偏差ウィンドウにおける画素の深さの標準偏差を求めるための手段と、
前記一方の画像において前記顔領域内の各画素について、前記一方の画像における前記顔領域の前記画素の各々について計算された前記ディスパリティと前記画像対とを用いて、前記各画素付近の前記サイズの偏差ウィンドウ内の画素の深さの局所標準偏差と平均とを計算する手段と、
前記各画素付近の偏差ウィンドウの平均からの前記各画素の深さの値の偏差が前記各画素付近の偏差ウィンドウの標準偏差値より小さいか否かに依存して、前記顔領域内の各画素を、有効と無効とに分類するための手段と、
無効と分類された画素の深さ値をそれぞれ隣接する画素の深さ値で補間するための手段と、を含む、請求項３に記載の装置。
【請求項５】
前記当てはめ手段は、
前記３次元表面データにおいて左目と右目とをつなぐ目線を見出すための手段と、
前記目線に直交する３次元の顔対称線を見出すための手段と、
前記顔平面に当てはめるべきデータ点を選択するための手段と、
前記予め定められた当てはめアルゴリズムを用いて、前記顔平面を前記当てはめるべきデータ点に当てはめるための手段を含む、請求項１〜請求項４のいずれかに記載の装置。
【請求項６】
前記当てはめ手段は、
最小二乗誤差による当てはめを利用して、前記顔平面を前記当てはめるべきデータ点に当てはめるための手段と、
前記顔平面と前記３次元表面データとの間の誤差が全て予め定められたしきい値内にあるか否かを判定する手段と、
前記手段が、前記誤差の全てが前記予め定められたしきい値より小さくはないと判定したことに応じて、前記３次元表面からある高い誤差のある点を消去するための手段と、
前記判定手段が前記誤差の全てが前記予め定められたしきい値より小さいと判断するまで、前記当てはめ手段、前記判定手段、及び前記消去手段を繰返し動作させるための手段と、を含む、請求項５に記載の装置。
【請求項７】
コンピュータ上で実行されると、コンピュータを、
ステレオカメラのキャリブレーションパラメータと補正された画像対とに基づいて人の顔のサイズとホロプタ範囲とを推定するためのホロプタ範囲推定手段と、
前記画像対の一方の画像中の前記人の顔の各画素について、前記画像対の他方の画像における前記ホロプタ範囲内のディスパリティ値を推定するためのディスパリティ推定手段と、
前記補正された画像対、前記ディスパリティ値、及び前記ステレオカメラのキャリブレーションパラメータに基づいて、前記人の顔の３次元表面データを再構築するための３次元表面再構築手段と、
無効なディスパリティ値を有する無効なデータ点を見出し、前記無効なデータ点を隣接するデータ点で補間することによって、前記３次元表面データ内のノイズを消去するためのノイズ消去手段と、
予め定められた当てはめアルゴリズムを利用して、顔平面を３次元表面データに当てはめるための当てはめ手段と、
前記３次元表面データのうち前記顔平面から予め定められた距離以内にあるものを３次元の人の顔として抽出するための抽出手段と、として機能させる、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
これらの画像を補正することにより、対応する線１７２Ｌと１７２Ｒとは補正後の左右の画像１８０Ｌ及び１８０Ｒではエピポーラ線１８２Ｌ及び１８２Ｒとして画像の行に整列している。補正なしの場合、３Ｄステレオ画像からのリアルタイムの３Ｄの顔再構築はほとんど不可能である。補正は、所定の計算によって実施できる。この計算では、キャリブレーションパラメータメモリ８２に記憶されたキャリブレーションパラメータが用いられる。補正ソフトウェアもまた、商業的に入手可能である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
ここで用いる「ホロプタ」はステレオ相関アルゴリズムの探索間隔でカバーされる３Ｄの容積を意味する。「ホロプタ範囲」はここで、ステレオカメラの前にある３Ｄの容積の範囲である。これらの用語はステレオビジョンの分野ではしばしば用いられ、ステレオ画像対の画素（対画素）の３Ｄ座標点を見出すのに有用である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
顔平面パラメータが図１に示す３Ｄ頭部姿勢推定モジュール８８にさらに与えられる。図２５を参照して、３Ｄ顔座標系形成モジュール５４０は、まず図２７に示すように眼の線に平行な単位ベクトル５８６を求め、図２８に示すように顔平面５２０に垂直な単位ベクトル５８８を求め、その後、図２９に示すようにベクトル５８６及び５８８のクロス乗積である単位ベクトル５９０を計算する。これら３個のベクトルが３Ｄ顔座標系を形成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
＜実験的セットアップ＞
ＶｉｄｅｒｅステレオビジョンハードウェアとＳＶＳソフトウェアがこの実現に利用される。カメラのキャリブレーション及び補正はＳＶＳライブラリを用いて自動的に行われる。ＳＶＳソフトウェアはステレオビデオシーケンスをキャプチャすることができ、ステレオ対の３Ｄデータを３２０×２４０の全画像解像度で３０Ｈｚで再構築する。しかしながら、３Ｄの再構築に関係ある領域はこの実験においてユーザの顔区域であるので、ディスパリティ探索区域を、上述の説明の通り、顔のホロプタ周辺に限定した。したがって、顔の外側で深さの異なる再構築された３Ｄデータは、図２３（Ｃ）に示すように３Ｄ推定が不正確である。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図３２
【補正方法】変更
【補正の内容】
【図３２】
2008242833.tif 000001