(57)【要約】単眼カメラで顔を撮像し、撮像した動画像から視線を求める画像処理装置であって、顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、静的パラメータ及び動的パラメータを推定することによって視線を求めることを特徴とする。また、単眼カメラで三次元物体を撮像し、撮像した動画像から三次元物体の運動を求める画像処理装置であって、画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、ｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めることを特徴とする。
2005006251.tif 000002
【特許請求の範囲】
【請求項１】
単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定する画像処理装置であって、
前記動画像のフレーム各々から、前記所定の特徴点の画像面への投影座標を抽出する観測ベクトル抽出手段と、
第１のパラメータと第２のパラメータと初期投影座標とに基づいて前記所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を前記観測ベクトル抽出手段によって前記動画像の初期フレームから抽出する三次元モデル初期化手段と、
前記初期フレームとは異なる前記動画像の処理対象フレームが撮影された撮影時点での前記所定の特徴点の座標を前記モデル座標から算出するための運動演算式における第３のパラメータと、前記第１のパラメータと、前記第２のパラメータとを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて前記所定の特徴点の運動に関する出力値を出力する運動推定手段と、
を備え、
前記モデル座標演算式は前記単眼カメラの逆投影に基づいており、前記第１のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、前記第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータであり、
前記運動推定手段は、
前記処理対象フレームが撮影された撮影時点における前記状態変数の予測値を状態遷移モデルに基づいて算出し、
前記初期投影座標と、前記状態変数の予測値に含まれている前記第１のパラメータと前記第２のパラメータとを、前記モデル座標演算式に適用することによって、前記撮影時点におけるモデル座標の推定値を算出し、
前記状態変数の予測値に含まれている前記第３のパラメータと前記モデル座標の推定値とを前記運動演算式に適用することによって、前記撮影時点における前記所定の特徴点の座標の推定値を算出し、
前記所定の特徴点の座標の推定値を、前記単眼カメラの観測モデルに基づく観測関数に適用することによって、前記所定の特徴点の観測ベクトルの推定値を算出し、
前記観測ベクトル抽出手段によって前記処理対象フレームから前記所定の特徴点の投影座標を観測ベクトルとして抽出し、
抽出した前記観測ベクトルと前記観測ベクトルの推定値とを用いて前記状態変数の予測値をフィルタリングすることによって、前記撮像時点における前記状態変数の推定値を算出する、
画像処理装置。
【請求項２】
前記第１のパラメータは、特定の値に収束する静的パラメータであり、
前記第２のパラメータは、前記所定の特徴点を含む部分の運動によって変化する動的パラメータである、請求項１記載の画像処理装置。
【請求項３】
前記静的パラメータは、前記画像面から前記所定の特徴点への奥行きである、請求項２記載の画像処理装置。
【請求項４】
前記動的パラメータは、前記所定の特徴点を含む部分の回転運動を特定するための回転パラメータである、請求項２又は３記載の画像処理装置。
【請求項５】
前記回転パラメータは、前記所定の特徴点を含む部分の中心を原点とする座標系における２つの座標軸に対して、該原点から該所定の特徴点へのベクトルが各々なす角度である、請求項４に記載の画像処理装置。
【請求項６】
前記第１のパラメータは、ｒｉｇｉｄパラメータであり、
前記第２のパラメータは、ｎｏｎ−ｒｉｇｉｄパラメータである、請求項１に記載の画像処理装置。
【請求項７】
前記ｒｉｇｉｄパラメータは、前記画像面から前記モデル座標までの奥行きである、請求項６に記載の画像処理装置。
【請求項８】
前記ｎｏｎ−ｒｉｇｉｄパラメータは、前記所定の特徴点を含む部分の運動による前記所定の特徴点の位置変化に関する変化量である、請求項６又は７に記載の画像処理装置。
【請求項９】
前記運動モデルは、前記三次元物体の回転及び並進運動に基づいており、
前記第３のパラメータは、前記三次元物体の並進量を特定するための並進パラメータ及び該三次元物体の回転量を特定するための回転パラメータである、
請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記運動推定手段は、前記フィルタリングとして拡張カルマンフィルタリングを適用する、請求項１〜９の何れか１項に記載の画像処理装置。
【請求項１１】
単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定する画像処理方法であって、
第１のパラメータと第２のパラメータと初期投影座標とに基づいて前記所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を前記動画像の初期フレームから抽出する三次元モデル初期化ステップと、
前記初期フレームとは異なる前記動画像の処理対象フレームが撮影された撮影時点での前記所定の特徴点の座標を前記モデル座標から算出するための運動演算式における第３のパラメータと、前記第１のパラメータと、前記第２のパラメータとを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて前記所定の特徴点の運動に関する出力値を出力する運動推定ステップと、
を含み、
前記モデル座標演算式は前記単眼カメラの逆投影に基づいており、前記第１のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、前記第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータであり、
前記運動推定ステップにおいて、
前記処理対象フレームが撮影された撮影時点における前記状態変数の予測値を状態遷移モデルに基づいて算出し、
前記初期投影座標と、前記状態変数の予測値に含まれている前記第１のパラメータと前記第２のパラメータとを、前記モデル座標演算式に適用することによって、前記撮影時点におけるモデル座標の推定値を算出し、
前記状態変数の予測値に含まれている前記第３のパラメータと前記モデル座標の推定値とを前記運動演算式に適用することによって、前記撮影時点における前記所定の特徴点の座標の推定値を算出し、
前記所定の特徴点の座標の推定値を、前記単眼カメラの観測モデルに基づく観測関数に適用することによって、前記所定の特徴点の観測ベクトルの推定値を算出し、
前記処理対象フレームから前記所定の特徴点の投影座標を観測ベクトルとして抽出し、
抽出した前記観測ベクトルと前記観測ベクトルの推定値とを用いて前記状態変数の予測値をフィルタリングすることによって、前記撮像時点における前記状態変数の推定値を算出する、
画像処理方法。
【請求項１２】
前記第１のパラメータは、特定の値に収束する静的パラメータであり、
前記第２のパラメータは、前記所定の特徴点を含む部分の運動によって変化する動的パラメータである、請求項１１記載の画像処理方法。
【請求項１３】
前記静的パラメータは、前記画像面から前記所定の特徴点への奥行きである、請求項１２記載の画像処理方法。
【請求項１４】
前記動的パラメータは、前記所定の特徴点を含む部分の回転運動を特定するための回転パラメータである、請求項１２又は１３記載の画像処理方法。
【請求項１５】
前記回転パラメータは、前記所定の特徴点を含む部分の中心を原点とする座標系における２つの座標軸に対して、該原点から該所定の特徴点へのベクトルが各々なす角度である、請求項１４に記載の画像処理方法。
【請求項１６】
前記第１のパラメータは、ｒｉｇｉｄパラメータであり、
前記第２のパラメータは、ｎｏｎ−ｒｉｇｉｄパラメータである、請求項１１に記載の画像処理方法。
【請求項１７】
前記ｒｉｇｉｄパラメータは、前記画像面から前記モデル座標までの奥行きである、請求項１６に記載の画像処理方法。
【請求項１８】
前記ｎｏｎ−ｒｉｇｉｄパラメータは、前記所定の特徴点を含む部分の運動による前記所定の特徴点の位置変化に関する変化量である、請求項１６又は１７に記載の画像処理方法。
【請求項１９】
前記運動モデルは、前記三次元物体の回転及び並進運動に基づいており、
前記第３のパラメータは、前記三次元物体の並進量を特定するための並進パラメータ及び該三次元物体の回転量を特定するための回転パラメータである、
請求項１１〜１８の何れか１項に記載の画像処理方法。
【請求項２０】
前記フィルタリングとして拡張カルマンフィルタリングを適用する、請求項１１〜１９の何れか１項に記載の画像処理方法。
【請求項２１】
単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定するようにコンピュータを動作させる画像処理プログラムであって、該コンピュータに、
第１のパラメータと第２のパラメータと初期投影座標とに基づいて前記所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を前記動画像の初期フレームから抽出する三次元モデル初期化ステップと、
前記初期フレームとは異なる前記動画像の処理対象フレームが撮影された撮影時点での前記所定の特徴点の座標を前記モデル座標から算出するための連動演算式における第３のパラメータと、前記第１のパラメータと、前記第２のパラメータとを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて前記所定の特徴点の運動に関する出力値を出力する運動推定ステップと、
を実行させ、
前記モデル座標演算式は前記単眼カメラの逆投影に基づいており、前記第１のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、前記第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータであり、
前記運動推定ステップにおいて、
前記処理対象フレームが撮影された撮影時点における前記状態変数の予測値を状態遷移モデルに基づいて算出し、
前記初期投影座標と、前記状態変数の予測値に含まれている前記第１のパラメータと前記第２のパラメータとを、前記モデル座標演算式に適用することによって、前記撮影時点におけるモデル座標の推定値を算出し、
前記状態変数の予測値に含まれている前記第３のパラメータと前記モデル座標の推定値とを前記運動演算式に適用することによって、前記撮影時点における前記所定の特徴点の座標の推定値を算出し、
前記所定の特徴点の座標の推定値を、前記単眼カメラの観測モデルに基づく観測関数に適用することによって、前記所定の特徴点の観測ベクトルの推定値を算出し、
前記処理対象フレームから前記所定の特徴点の投影座標を観測ベクトルとして抽出し、
抽出した前記観測ベクトルと前記観測ベクトルの推定値とを用いて前記状態変数の予測値をフィルタリングすることによって、前記撮像時点における前記状態変数の推定値を算出する、ように前記コンピュータを動作させる、画像処理プログラム。
【請求項２２】
単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定するようにコンピュータを動作させる画像処理プログラムが記録されたコンピュータ読取可能な記録媒体であって、コンピュータに、
第１のパラメータと第２のパラメータと初期投影座標とに基づいて前記所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を前記動画像の初期フレームから抽出する三次元モデル初期化ステップと、
前記初期フレームとは異なる前記動画像の処理対象フレームが撮影された撮影時点での前記所定の特徴点の座標を前記モデル座標から算出するための運動演算式における第３のパラメータと、前記第１のパラメータと、前記第２のパラメータとを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて前記所定の特徴点の運動に関する出力値を出力する運動推定ステップと、
を実行させ、
前記モデル座標演算式は前記単眼カメラの逆投影に基づいており、前記第１のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、前記第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータであり、
前記運動推定ステップにおいて、
前記処理対象フレームが撮影された撮影時点における前記状態変数の予測値を状態遷移モデルに基づいて算出し、
前記初期投影座標と、前記状態変数の予測値に含まれている前記第１のパラメータと前記第２のパラメータとを、前記モデル座標演算式に適用することによって、前記撮影時点におけるモデル座標の推定値を算出し、
前記状態変数の予測値に含まれている前記第３のパラメータと前記モデル座標の推定値とを前記運動演算式に適用することによって、前記撮影時点における前記所定の特徴点の座標の推定値を算出し、
前記所定の特徴点の座標の推定値を、前記単眼カメラの観測モデルに基づく観測関数に適用することによって、前記所定の特徴点の観測ベクトルの推定値を算出し、
前記処理対象フレームから前記所定の特徴点の投影座標を観測ベクトルとして抽出し、
抽出した前記観測ベクトルと前記観測ベクトルの推定値とを用いて前記状態変数の予測値をフィルタリングすることによって、前記撮像時点における前記状態変数の推定値を算出する、ように前記コンピュータを動作させる、ように前記コンピュータを動作させる画像処理プログラムが記録された記録媒体。
【請求項２３】
単眼カメラで顔を撮像し、撮像した動画像から視線を求める画像処理装置であって、
顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、前記静的パラメータ及び前記動的パラメータを推定することによって視線を求めることを特徴とする画像処理装置。
【請求項２４】
前記静的パラメータは、カメラ座標系における瞳の奥行きであることを特徴とする請求項２３に記載する画像処理装置。
【請求項２５】
前記動的パラメータは、眼球の回転パラメータであることを特徴とする請求項２３又は請求項２４に記載する画像処理装置。
【請求項２６】
前記眼球の回転パラメータは、眼球の座標系での２つの座標軸に対して回転可能である２自由度であることを特徴とする請求項２５に記載する画像処理装置。
【請求項２７】
単眼カメラで三次元物体を撮像し、撮像した動画像から三次元物体の運動を求める画像処理装置であって、
画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、前記ｒｉｇｉｄパラメータ及び前記ｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めることを特徴とする画像処理装置。
【請求項２８】
前記ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の奥行きであることを特徴とする請求項２７に記載する画像処理装置。
【請求項２９】
前記ｎｏｎ−ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の変化量であることを特徴とする請求項２７又は請求項２８に記載する画像処理装置。
【請求項３０】
単眼カメラで顔を撮像し、撮像した動画像から視線を求める画像処理方法であって、
顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、前記静的パラメータ及び前記動的パラメータを推定することによって視線を求めることを特徴とする画像処理方法。
【請求項３１】
前記静的パラメータは、カメラ座標系における瞳の奥行きであることを特徴とする請求項３０に記載する画像処理方法。
【請求項３２】
前記動的パラメータは、眼球の回転パラメータであることを特徴とする請求項３０又は請求項３１に記載する画像処理方法。
【請求項３３】
前記眼球の回転パラメータは、眼球の座標系での２つの座標軸に対して回転可能である２自由度であることを特徴とする請求項３２に記載する画像処理方法。
【請求項３４】
単眼カメラで三次元物体を撮像し、撮像した動画像から三次元物体の運動を求める画像処理方法であって、
画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、前記ｒｉｇｉｄパラメータ及び前記ｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めることを特徴とする画像処理方法。
【請求項３５】
前記ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の奥行きであることを特徴とする請求項３４に記載する画像処理方法。
【請求項３６】
前記ｎｏｎ−ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の変化量であることを特徴とする請求項３４又は請求項３５に記載する画像処理方法。
【請求項３７】
単眼カメラによって撮像された顔の動画像から視線を求めるようにコンピュータを動作させる画像処理プロラムであって、
顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、前記静的パラメータ及び前記動的パラメータを推定することによって視線を求めるように該コンピュータを動作させる、画像処理プログラム。
【請求項３８】
単眼カメラによって撮像された三次元物体の動画像から該三次元物体の運動を求めるように、コンピュータを動作させる画像処理プログラムであって、
画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、前記ｒｉｇｉｄパラメータ及び前記ｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めるようにコンピュータを動作させるように、該コンピュータを動作させる、画像処理プログラム。
【請求項３９】
単眼カメラによって撮像された顔の動画像から視線を求めるようにコンピュータを動作させる画像処理プログラムが記録されたコンピュータ読取可能な記録媒体であって、コンピュータに読み取られることによって、
顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、前記静的パラメータ及び前記動的パラメータを推定することによって視線を求めるように該コンピュータを動作させる画像処理プログラムが記録された記録媒体。
【請求項４０】
単眼カメラによって撮像された三次元物体の動画像から三次元物体の運動を求めるようにコンピュータを動作させる画像処理プログラムが記録されたコンピュータ読取可能な記録媒体であって、コンピュータに読み取られることによって、
画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、前記ｒｉｇｉｄパラメータ及び前記ｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めるようにコンピュータを動作させる画像処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、単眼カメラによって撮像された三次元物体の動画像に画像処理を施す画像処理装置及び画像処理方法に関するものであり、特に、三次元物体の動画像から三次元物体の運動を推定する画像処理装置及び画像処理方法に関する。また、本発明は、コンピュータに当該画像処理方法を実行させる画像処理プログラム、及び当該画像処理プログラムが記録されたコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】  三次元物体のローカルな動きを検出するための種々の画像処理方法がある。例えば、三次元物体である顔を対象として、カメラによって撮影された顔の動画像から顔自体の姿勢や顔の各部の動き等の検出を行う画像処理方法がある。このような画像処理方法には、眼の視線を求めるものがある（非特許文献１：Ｊ．Ｈｅｉｎｚｍａｎｎ  ａｎｄ  Ａ．Ｚｅｌｉｎｓｋｙ，”３−Ｄ  ｆａｃｉａｌ  ｐｏｓｅ  ａｎｄ  ｇａｚｅ  ｐｏｉｎｔ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ａ  ｒｏｂｕｓｔ  ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ  ｐａｒａｄｉｇｍ”，ＩＥＥＥ  Ｉｎｔ．Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｎｇｎｉｔｉｏｎ，ｐｐ１４２−１４７，１９９８を参照）。非特許文献１には、単眼カメラで顔を撮像し、その動画像から顔を追跡しながら視線を求める方法が記載されている。非特許文献１に記載の方法によれば、顔の多数の特徴点がカルマンフィルタリングによって算出され、算出された特徴点を用いて顔の姿勢及び視線が求められる。
【発明の開示】
【０００３】  上記した視線を求める方法では、顔姿勢や視線のパラメータが直接フィルタリングされるのではなく、特徴点にのみフィルタリングが行われるので、視線に対しての最適な推定を行えない。また、この方法では、眼の両端の特徴点と瞳の中心点との相対的な位置変化を用いて視線が推定される。したがって、特定の特徴点（すなわち、眼の両端の特徴点）に依存するので、視線の推定に限界がある。さらに、眼の両端の特徴点と瞳の中心点の相対的な位置変化を用いて視線が推定されるが、この方法は、カメラモデルのアフィン変換［Ａｆｆｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ］を前提としている。そのため、この方法は、一般的な透視投影変換［Ｐｅｒｓｐｅｃｔｉｖｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ］の下では成り立たないので、応用範囲が狭い。
【０００４】  また、顔の場合、様々な表情変化があり、表情に応じて唇等の顔の各部が動く。そのため、顔の姿勢に対応しながら、顔の各部の運動を求めることは非常に難しい。さらに、このような運動を行うのは、顔だけでなく、心臓等の様々な三次元物体に見られる。
【０００５】  そこで、本発明は、三次元物体の全体的な運動に対応しつつ、三次元物体の各部のローカルな運動を高精度に求めることができる画像処理装置及び画像処理方法を提供することを目的とする。また、本発明は、コンピュータに当該画像処理方法を実行させる画像処理プログラム、及び当該画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することを目的とする。
【０００６】  本発明の一側面に係る画像処理装置は、単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定する画像処理装置である。この画像処理装置は、動画像のフレーム各々から、観測ベクトル抽出手段と、三次元モデル初期化手段と、運動推定手段とを備える。
【０００７】  観測ベクトル抽出手段は、所定の特徴点の画像面への投影座標を抽出する。三次元モデル初期化手段は、観測ベクトル抽出手段によって動画像の初期フレームから初期投影座標を抽出する。三次元モデル初期化手段は、第１のパラメータと第２のパラメータと初期投影座標とに基づいて前記所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を観測ベクトル抽出手段によって動画像の初期フレームから抽出する。ここで、モデル座標演算式は単眼カメラの逆投影に基づいており、第１のパラメータは所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータである。
【０００８】  運動推定手段は、第１のパラメータ、第２のパラメータ、及び、第３のパラメータを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて所定の特徴点の運動に関する出力値を出力する。ここで、第３のパラメータは、初期フレームとは異なる動画像の処理対象フレームが撮影された撮影時点での所定の特徴点の座標を三次元物体の運動モデルに基づきモデル座標から算出するための運動演算式におけるパラメータである。
【０００９】  運動推定手段は、処理対象フレームが撮影された撮影時点における状態変数の予測値を状態遷移モデルに基づいて算出する。運動推定手段は、初期投影座標と、状態変数の予測値に含まれている第１のパラメータと第２のパラメータとを、モデル座標演算式に適用することによって、モデル座標の推定値を算出する。運動推定手段は、状態変数の予測値に含まれている第３のパラメータとモデル座標の推定値とを運動演算式に適用することによって、撮影時点における所定の特徴点の座標の推定値を算出する。運動推定手段は、所定の特徴点の座標の推定値を、単眼カメラの観測モデルに基づく観測関数に適用することによって、所定の特徴点の観測ベクトルの推定値を算出する。運動推定手段は、処理対象フレームから所定の特徴点の投影座標を観測ベクトルとして観測ベクトル抽出手段によって抽出し、抽出した観測ベクトルと観測ベクトルの推定値とを用いて、状態変数の予測値をフィルタリングすることによって、撮像時点における前記状態変数の推定値を算出する。
【００１０】  また、本発明の別の一側面に係る画像処理方法は、単眼カメラによって撮影された三次元物体の動画像から該三次元物体の所定の特徴点の運動を推定する画像処理方法である。この画像処理方法は、三次元モデル初期化ステップと、運動推定ステップとを含む。
【００１１】  三次元モデル初期化ステップでは、１のパラメータと第２のパラメータと初期投影座標とに基づいて所定の特徴点のモデル座標を算出するためのモデル座標演算式における該初期投影座標を動画像の初期フレームから抽出する。ここで、モデル座標演算式は単眼カメラの逆投影に基づいており、第１のパラメータは所定の特徴点を含む部分のローカルな運動に依存しないパラメータであり、第２のパラメータは前記所定の特徴点を含む部分のローカルな運動に依存するパラメータである。
【００１２】  運動推定ステップでは、第１のパラメータ、第２のパラメータ、及び、第３のパラメータを含む状態変数の推定値を算出し、該状態変数の推定値に含まれる第２のパラメータに基づいて所定の特徴点の運動に関する出力値を出力する。ここで、第３のパラメータは、初期フレームとは異なる動画像の処理対象フレームが撮影された撮影時点での所定の特徴点の座標を三次元物体の運動モデルに基づきモデル座標から算出するための運動演算式におけるパラメータである。
【００１３】  運動推定ステップでは、処理対象フレームが撮影された撮影時点における状態変数の予測値を状態遷移モデルに基づいて算出する。運動推定手段は、初期投影座標と、状態変数の予測値に含まれている第１のパラメータと第２のパラメータとを、モデル座標演算式に適用することによって、モデル座標の推定値を算出する。運動推定ステップでは、状態変数の予測値に含まれている第３のパラメータとモデル座標の推定値とを運動演算式に適用することによって、撮影時点における所定の特徴点の座標の推定値を算出する。運動推定ステップでは、所定の特徴点の座標の推定値を、単眼カメラの観測モデルに基づく観測関数に適用することによって、所定の特徴点の観測ベクトルの推定値を算出する。運動推定ステップでは、処理対象フレームから所定の特徴点の投影座標を観測ベクトルとして抽出し、抽出した観測ベクトルと観測ベクトルの推定値とを用いて、状態変数の予測値をフィルタリングすることによって、撮像時点における前記状態変数の推定値を算出する。
【００１４】  また、本発明の他の一側面に係る画像処理プログラムは、上述した本発明の画像処理方法をコンピュータに実行させるためのプログラムである。また、本発明の更に別の一側面に係る記録媒体は、コンピュータ読取可能な記録媒体であって、上述した本発明の画像処理プログラムが記録されている。
【００１５】  上述した本発明によれば、状態変数には、所定の特徴点のモデル座標を算出するためのパラメータが、ローカルな運動に依存しない第１のパラメータと、ローカルな運動に依存する第２のパラメータとに分離されている。したがって、特定の値に収束すべき第１のパラメータと、ローカルな運動に伴って変化する第２のパラメータとが分離されているので、正確にモデル座標を推定することができる。また、三次元物体の全体的な運動後の所定の特徴点の座標が、三次元物体の全体的な運動を算出するための第３のパラメータを用いて、このモデル座標から推定される。したがって、当該運動後の座標を、三次元物体の全体的な運動に対応しつつ、算出することができる。更に、推定した所定の特徴点の座標から算出される観測ベクトルの推定値と実測の観測ベクトルとを用いて、状態変数の予測値をフィルタリングすることによって、所定の特徴点の運動を推定するためのパラメータに直接フィルタリングを施すことができ、これらパラメータを含む状態変数の推定値を正確に推定することができる。故に、本発明によれば、第２のパラメータに基づいて所定の特徴点の運動に関する出力値を正確に算出することができる。
【００１６】  上述した本発明において、第１のパラメータは、特定の値に収束する静的パラメータであり、第２のパラメータは、所定の特徴点を含む部分の運動によって変化する動的パラメータであることができる。静的パラメータは、前記画像面から前記所定の特徴点への奥行きであることが好適であり、動的パラメータは、前記所定の特徴点を含む部分の回転運動を特定するための回転パラメータであることが好適である。この場合に、回転パラメータは、前記所定の特徴点を含む部分の中心を原点とする座標系における２つの座標軸に対して、該原点から該所定の特徴点へのベクトルが各々なす角度であることができる。
【００１７】  上述した本発明において、第１のパラメータは、ｒｉｇｉｄパラメータであり、第２のパラメータは、ｎｏｎ−ｒｉｇｉｄパラメータであることができる。ｒｉｇｉｄパラメータは、前記画像面から前記モデル座標までの奥行きであることが好適であり、ｎｏｎ−ｒｉｇｉｄパラメータは、所定の特徴点を含む部分の運動による所定の特徴点の位置変化に関する変化量であることが好適である。
【００１８】  また、上述した本発明において、運動モデル、三次元物体の回転及び並進運動に基づくモデルであってもよく、この場合には、第３のパラメータは、三次元物体の並進量を特定するための並進パラメータ及び該三次元物体の回転量を特定するための回転パラメータであることができる。
【００１９】  また、上述した本発明において、フィルタリングとして拡張カルマンフィルタリングを適用することが好適である。
【００２０】  また、本発明に係る画像処理装置は、単眼カメラで顔を撮像し、撮像した動画像から視線を求める画像処理装置であって、顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、静的パラメータ及び動的パラメータを推定することによって視線を求めることを特徴とする。
【００２１】  この画像処理装置では、単眼カメラで顔を撮像した動画像に対して、顔画像上の瞳中心点における三次元構造を静的パラメータと動的パラメータによって定義する。さらに、画像処理装置では、フィルタリング等によって静的パラメータ及び動的パラメータを推定し、この推定値から視線方向を求める。このように、画像処理装置では、実際に起こりうる瞳の動きを静的パラメータや動的パラメータを用いてモデリングしているので、高精度に視線を推定することができる。また、この画像処理装置は、単眼カメラで、無制限の顔の動きに対応しながら視線の最適推定を行うことがきる。
【００２２】  本発明に係る画像処理方法は、単眼カメラで顔を撮像し、撮像した動画像から視線を求める画像処理方法であって、顔画像上の瞳中心の三次元構造を静的パラメータと動的パラメータで定義し、静的パラメータ及び動的パラメータを推定することによって視線を求めることを特徴とする。
【００２３】  なお、動画像は、時間的に連続した画像である。静的パラメータは、決まった値を元々有しているパラメータであり、例えば、眼球や瞳に関する値である。動的パラメータは、決まった値を有していないパラメータであり、例えば、顔や眼球の動きで変わる値である。
【００２４】  また、本発明の画像処理プログラムは、この画像処理方法をコンピュータに実行させるプログラムである。また、本発明の記録媒体は、当該画像処理プログラムが記録されたコンピュータ読取可能な記録媒体である。
【００２５】  本発明の上記画像処理装置、上記画像処理方法、画像処理プログラム、及び記録媒体では、静的パラメータは、カメラ座標系における瞳の奥行きであると好適である。さらに、本発明の上記画像処理装置及び上記画像処理方法では、動的パラメータは、眼球の回転パラメータであると好適であり、特に、眼球の回転パラメータは、眼球の座標系での２つの座標軸に対して回転可能である２自由度であると好適である。
【００２６】  本発明に係る画像処理装置は、単眼カメラで三次元物体を撮像し、撮像した動画像から三次元物体の運動を求める画像処理装置であって、画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、ｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めることを特徴とする。
【００２７】  この画像処理装置では、単眼カメラで三次元物体を撮像した動画像に対して、その画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータによって定義する。さらに、画像処理装置では、フィルタリング等によってｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータを推定し、この推定値から三次元物体の運動を求める。このように、画像処理装置では、実際に起こりうる三次元物体の特徴点の動きをｒｉｇｉｄパラメータやｎｏｎ−ｒｉｇｉｄパラメータを用いてモデリングしているので、ｎｏｎ−ｒｉｇｉｄな変化を伴う三次元物体の運動を高精度に推定することができる。また、この画像処理装置は、単眼カメラで、無制限の三次元物体の動きに対応しながら三次元物体の各部の運動の最適推定を行うことがきる。例えば、この画像処理装置を顔の各部の運動を求めるために適用した場合、顔の並進や回転による動きに対応しながら、顔に表情変化がある場合の顔の各部（唇等）の運動を求めることができる。
【００２８】  本発明に係る画像処理方法は、単眼カメラで三次元物体を撮像し、撮像した動画像から三次元物体の運動を求める画像処理方法であって、画像上の三次元物体の三次元構造をｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄパラメータで定義し、ｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータを推定することによって三次元物体の運動を求めることを特徴とする。
【００２９】  なお、三次元物体としては、様々な三次元物体に適用可能であり、特に、三次元物体全体で回転や並進の運動を行うとともに三次元物体の各部でｎｏｎ−ｒｉｇｉｄな変化をする三次元物体に適用可能であり、例えば、顔や心臓である。ｒｉｇｉｄパラメータは、三次元物体の三次元構造におけるｒｉｇｉｄ構造を表すためのパラメータである。ｎｏｎ−ｒｉｇｉｄパラメータは、三次元物体の三次元構造におけるｎｏｎ−ｒｉｇｉｄな変化を表すためのパラメータである。
【００３０】  また、本発明の画像処理プログラムは、この画像処理方法をコンピュータに実行させるプログラムである。また、本発明の記録媒体は、当該画像処理プログラムが記録されたコンピュータ読取可能な記録媒体である。
【００３１】  本発明の上記画像処理装置、上記画像処理方法、画像処理プログラム、及び記録媒体では、ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の奥行きであると好適である。さらに、本発明の上記画像処理装置及び画像処理方法では、ｎｏｎ−ｒｉｇｉｄパラメータは、モデル座標系における三次元物体の特徴点の変化量であると好適である。
【００３２】  なお、上記した各画像処理方法では、上記した画像処理装置と同様の作用効果を奏する。
【図面の簡単な説明】図１は、本発明の実施の形態に係る画像処理システムの構成を示す図である。
図２は、カメラ座標系を示す図である。
図３は、顔が固定の場合のカメラ座標系、顔座標系、眼球座標系、視線座標系の関係を示す図である。
図４は、眼球モデルを示す図である。
図５は、Ｄｙｎａｍｉｃ  Ｃｏｎｖｅｒｇｉｎｇ−Ｃｏｎｎｅｃｔｅｄ  Ｇａｚｅ  Ｍｏｄｅｌを示す図である。
図６は、顔が動いた場合のカメラ座標系、顔座標系、眼球座標系、視線座標系の関係を示す図である。
図７は、本発明の実施の形態に係る画像処理方法の流れを示すフローチャートである。
図８は、三次元モデル初期化ステップの詳細な処理の流れを示すフローチャートである。
図９は、運動推定ステップの詳細な処理の流れを示すフローチャートである。
図１０は、拡張カルマンフィルタを用いる処理の詳細な流れを示すフローチャートである。
図１１は、本発明の実施の形態に係る画像処理プログラムの構成を、録媒体と共に示す図である。
図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
図１３は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
図１４Ａは、図１の画像処理装置において視線を推定した場合の顔の画像例であり、顔姿勢が左方向で視線が左方向の場合の画像例である。
図１４Ｂは、図１の画像処理装置において視線を推定した場合の顔の画像例であり、顔姿勢が右方向で視線が左方向の場合の画像例である。
図１５Ａは、顔の動き及び唇の動きが初期状態の場合における顔の唇の各特徴点を模式的に示す図である。
図１５Ｂは、唇のみが動いた場合における顔の唇の各特徴点を模式的に示す図である。
図１５Ｃは、図１５Ｂに示す唇の動きに顔の動きを伴った場合における各特徴点を模式的に示す図である。
図１６は、モデル座標系を示す図である。
図１７は、顔が並進及び回転運動した場合のモデル座標系を示す図である。
【発明を実施するための最良の形態】
【００３３】  以下、図面を参照して、本発明の好適な実施の形態を説明する。【００３４】  本実施の形態は、本発明を、単眼カメラで撮像された三次元物体としての顔の動画像に画像処理を施す画像処理システムの画像処理装置に適用したものである。本実施の形態に係る画像処理装置は、コンピュータ上に構成され、顔の動画像から顔における運動を推定することができる装置である。【００３５】  本実施の形態には、２つの形態がある。第１の実施の形態は、動画像の各フレームが撮影された時点における眼の視線方向を顔の各部のローカルな運動として推定する画像処理装置である。第２の実施の形態は、顔の各部（唇等）の運動を推定する画像処理装置である。なお、本実施の形態は、顔の動きには制限がなく、第１の実施の形態では右眼の視線方向と左眼の視線方向とは同じ方向として視線の推定を行う。【００３６】  ［第１の実施の形態］【００３７】  以下、本発明の第１の実施の形態について説明する。図１は、本発明の実施の形態に係る画像処理システムの構成を示す図である。【００３８】  図１に示す画像処理システム１は、透視投影変換のカメラモデルを用い、非接触で視線推定を行う。画像処理システム１では、画像取得装置２が画像処理装置３に接続されている。画像処理装置３は、画像取得装置２によって撮影された顔の動画像データを取得する。そして、画像処理システム１では、画像処理装置３によって、その取得した動画像データから視線の最適推定が行われる。画像処理システム１では、必要に応じて、画像処理の過程や結果を出力するためにモニタ（図示せず）等の出力装置が、画像処理装置３に接続されている。なお、画像処理システム１は、少なくとも視線の推定を行うが、必要に応じて、顔の姿勢の推定等の顔に対する他の画像処理も行う。【００３９】  画像取得装置２は、ＣＣＤ［Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ］カメラ（図示せず）及びデータ変換装置（図示せず）からなる。ＣＣＤカメラは、単眼カメラであり、撮像素子としてＣＣＤを用いている。ＣＣＤカメラでは、カメラのレンズから入射する光がＣＣＤに入射し、ＣＣＤによって光の情報がデジタルデータに変換されて画像データとして出力される。また、ＣＣＤカメラは、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。データ変換装置は、ＣＣＤカメラから入力された動画像データの形式を画像処理装置３で取り扱うことができる形式に変換する。画像取得装置２は、ＣＣＤカメラによって被験者の顔全体を撮像し、データ変換装置によってその動画像データを所定の形式に変換して画像処理装置３に出力する。【００４０】  以下、図１〜図６を参照して、画像処理装置３について説明する。図２は、カメラ座標系を示す図である。図３は、顔が固定の場合のカメラ座標系、顔座標系、眼球座標系、視線座標系の関係を示す図である。図４は、眼球モデルを示す図である。図５は、Ｄｙｎａｍｉｃ  Ｃｏｎｖｅｒｇｉｎｇ−Ｃｏｎｎｅｃｔｅｄ  Ｇａｚｅ  Ｍｏｄｅｌを示す図である。図６は、顔が動いた場合のカメラ座標系、顔座標系、眼球座標系、視線座標系の関係を示す図である。【００４１】  画像処理装置３は、パーソナルコンピュータ等の��ンピュータに構成されている。画像処理装置３は、三次元モデル初期化部（三次元モデル初期化手段）１０、推定部（運動推定手段）１１、観測ベクトル抽出部（観測ベクトル抽出手段）１２を備えている。三次元モデル初期化部１０及び推定部１１は、画像処理装置３用のアプリケーションプログラムをコンピュータ上で実行することによって構築される。【００４２】  なお、画像処理装置３は、Ｎ＋２個（ｉ＝１，２，・・・，Ｎ＋２）の特徴点を取り扱うが、そのうちのＮ個（ｉ＝１，２，・・・，Ｎ）が瞳の中心点以外の顔の特徴点であり、２個（ｉ＝Ｎ＋１，Ｎ＋２）が左右の瞳の中心点である。【００４３】  画像処理装置３では、図３及び図６に示す４つの座標系を定義している。図３〜図６において、（Ｘｃ，Ｙｃ，Ｚｃ）は画像処理を行う上での基準の座標系であるカメラの座標系の互いに直交する三軸であり、（Ｘｈ，Ｙｈ，Ｚｈ）は顔の座標系の互いに直交する三軸であり、（Ｘｅ，Ｙｅ，Ｚｅ）は眼球の座標系の互いに直交する三軸であり、（Ｘｇ，Ｙｇ，Ｚｇ）は視線（瞳）の座標系の互いに直交する三軸である。【００４４】  観測ベクトル抽出部１２は、顔の特徴点の画像面における投影座標（ｕ，ｖ）を動画像の各フレームから抽出する。観測ベクトル抽出部１２は、例えば、固有空間法と称される方法によって、顔の複数の特徴点各々の投影座標を抽出することができる。固有空間法の詳細については、Ｍ．Ａ．Ｔｕｒｋ  ａｎｄ  Ａ．Ｐ．Ｐｅｎｔｌａｎｄ，”Ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｅｉｇｅｎｆａｃｅｓ，”Ｐｒｏｃ．ｏｆ  ＩＥＥＥ  Ｃｏｎｆ．ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．５８６−５９１，１９９１．”を参照されたい。以下、固有空間法に基づき顔の特徴点の投影座標を抽出する方法について簡単に説明する。【００４５】  固有空間法では、処理対象のフレームを全探索し、特徴点ごとに生成された複数の固有空間に、探索位置における部分画像を投影した後、逆投影することによって、複数の近似画像を求める。複数の固有空間は各々、複数の被験者を予め撮影した画像から、対応の特徴点の部分画像を用いて生成されている。固有空間法では、全探索によって得られる全ての近似画像を用いてマッチングを行うことによって、最も誤差の少ない近似画像を特定し、特定した近似画像の基の部分画像の処理対象のフレームにおける位置が、抽出すべき特徴点の投影座標とされる。【００４６】  この固有空間法に基づく処理を実現するために、観測ベクトル抽出部１２は、予め複数の被験者の顔の画像を取得し、各々が対応の特徴点の部分画像から形成される固有空間Ｗを生成している。【００４７】  ここで、特徴点の番号をｉ（ｉは１以上の整数）、被験者の番号をｊ（ｊは１以上の整数）とする。特徴点番号ｉの部分画像Ｌｉの共分散行列Ｑｉは、ｊ＝１〜ｎの部分画像Ｌｉｊから、次式（ａ−１）及び次式（ａ−２）によって求められる。
2005006251.tif 000003
【００４８】  被験者の数ｎがＬの次元数より小さいとすると、共分散行列Ｑｉの固有ベクトルはＶｉｊ、固有値はλｉｊ（ｊ＝１，・・・ｎ）となる。ここで、λ１＞・・・＞λｎとすると、近似したＬｉの固有空間Ｗｉは、次式（ａ−３）によって定義される。
2005006251.tif 000004
【００４９】  観測ベクトル抽出部１２は、式（ａ−１）、（ａ−２）、及び（ａ−３）の演算によって複数の固有空間Ｗｉを生成し、各々の固有空間Ｗｉの固有ベクトル及び固有値を記憶している。【００５０】  観測ベクトル抽出部１２は、処理対象のフレームを全探索し、探索位置における部分画像Ｉを切り出し、該部分画像Ｉを上記の固有空間Ｗｉの全てに次式（ａ−４）の演算によって投影し、固有空間各々における点ｃｉを求める。
2005006251.tif 000005
【００５１】  観測ベクトル抽出部１２は、全ての投影点ｃｉを次式（ａ−５）の演算によって逆投影し、対応の投影点ｃｉに対する近似画像ＩＡｉを各々求める。
2005006251.tif 000006
【００５２】  観測ベクトル抽出部１２は、全探索の結果得られる全ての近似画像の誤差Ｅを次式（ａ−６）の演算によって求め、各特徴点に関して最小の誤差となる近似画像の基となった部分画像の座標を対応の特徴点の投影座標とする。
2005006251.tif 000007
【００５３】  観測ベクトル抽出部１２は、動画像の初期フレームに対しては、固有空間法を用いて、全ての特徴点の投影座標を抽出する。観測ベクトル抽出部ｓ１２は、その他のフレームに対しては、初期フレームにおける投影座標近傍の部分画像を用いたブロックマッチングによって、投影座標を抽出することができる。なお、観測ベクトル抽出部１２は、全てのフレームに対して、固有空間法を用いて投影座標を抽出してもよい。【００５４】  以下、三次元モデル初期化部１０について説明する。三次元モデル初期化部１０では、初期フレームに基づいて、顔の特徴点と瞳の特徴点（中心点）の三次元構造を定義する。初期フレームは、動画像における時間的に最初のフレームであり、画像処理を行う上での基準となるフレームである。初期フレームでは、顔が固定であり、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）がカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に一致している。【００５５】  三次元モデル初期化部１０は、まず、観測ベクトル抽出部１２を動作させて、初期フレームの画像からＮ個の顔の特徴点の画像面への投影座標（ｕｉ，ｖｉ）を抽出する。このＮ個の投影座標は、初期投影座標として、後述する処理に用いられる。【００５６】  三次元モデル初期化部１０は、初期フレームの画像からＮ個の顔の特徴点の座標（ｘｉ，ｙｉ，ｚｉ）（ｉ＝１，２，・・・，Ｎ）を抽出する。三次元モデル初期化部１０は、抽出した顔の特徴点の座標（ｘｉ，ｙｉ，ｚｉ）から次式（１）に示すモデル座標演算式によって顔の三次元構造を定義する。顔の特徴点（ｘｉ，ｙｉ，ｚｉ）は、カメラ座標上の位置である。
2005006251.tif 000008
【００５７】  式（１）において、ｉは、顔のＮ個の特徴点の番号を表し、（ｕｉ，ｖｉ）は、顔の特徴点をＣＣＤ上に投影した初期投影座標であり、初期フレームで求めた後はその値に固定される。αｉは、顔の特徴点の座標（ｘｉ，ｙｉ，ｚｉ）からＣＣＤまでの距離であり、特徴点の奥行きを示している。βは、ＣＣＤカメラの焦点距離ｆの逆数（ｆ−１）である。【００５８】  式（１）によって定義される顔の特徴点の座標（ｘｉ，ｙｉ，ｚｉ）は、モデル座標である。モデル座標は、初期フレームが撮影された時点での顔とカメラとの位置関係が固定されている状態での特徴点の座標であり、顔の三次元構造を定義する。すなわち、三次元モデル初期化部１０は、初期投影座標（ｕｉ，ｖｉ）を抽出する。また、三次元モデル初期化部１０は、式（１）のαｉの初期値を設定することによって、顔の三次元構造（三次元モデル）の初期化を行う。なお、式（１）のαｉの初期値は、任意の値であることができ、例えば、経験に基づく値が設定される。【００５９】  なお、図２には、カメラ座標系が示されており、（０，０，−ｆ）がＣＣＤカメラの焦点（カメラのレンズの中心）であり、焦点距離ｆ離れた位置に画像面（すなわち、レンズからの光を受けるＣＣＤ）が位置している。カメラ座標系の原点（０，０，０）は、画像面上にある。画像面に顔の特徴点（ｘｃ，ｙｃ，ｚｃ）が投影されると、その投影座標は、（ｕ，ｖ，０）となる。カメラ座標系のＺ軸方向において、原点（０，０，０）から特徴点（ｘｃ，ｙｃ，ｚｃ）までの奥行きがαとなる。このカメラ座標系では、焦点距離ｆと奥行きαとが分離されている。【００６０】  次に、三次元モデル初期化部１０では、初期フレームの画像から左右の瞳の中心点の画像面への投影座標（ｕｉ，ｖｉ）（ｉ＝Ｎ＋１，Ｎ＋２）を抽出し、これを瞳の中心点の初期投影座標とする。【００６１】  三次元モデル初期化部１０は、抽出した瞳の中心点の初期投影座標（ｕｉ，ｖｉ）、眼球の回転角、カメラ座標系上の奥行きによって、瞳の中心点の三次元構造を定義する。そのために、三次元モデル初期化部１０では、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）、眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）、視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）が定義されている（図３参照）。なお、画像処理装置３では、初期フレームにおいて、眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）とカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）及び顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）とはＺ軸が平行で向きが逆方向と仮定している。【００６２】  顔が固定で眼球が回転した場合、視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）に対して次式（２）、（２−１）、（２−２）及び（２−３）のように表される。顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）（カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ））から視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換Ｔｈｇは、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）（カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ））から眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）への変換Ｔｈｅと眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）から視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換Ｔｅｇとの積によって表される（図３参照）。
2005006251.tif 000009
【００６３】  式（２）、（２−１）、（２−２）及び（２−３）において、ｉは、Ｎ＋１、又はＮ＋２であり、瞳の特徴点（中心点）の番号を示している。Ｔｈｇは、視線座標系の顔座標系に対する変換（４×４の行列）である。Ｔｈｅは、眼球座標系の顔座標系に対する変換（４×４の行列）である。変換Ｔｈｅは、式（２−１）による眼球座標系の顔座標系に対する並進移動ｔｈ（３×１の並進行列）と式（２−２）による眼球座標系の顔座標系に対する回転ＲＸｈ，π（３×３の回転行列）によって表される（図３参照）。並進移動ｔｈは、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）（カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ））から眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）への原点の移動である。回転ＲＸｈ，πは、Ｚ軸に対する１８０°回転である。式（２−１）において、ｕｉ及びｖｉは、瞳の中心点の画像面（ＣＣＤ）への投影座標値であり、ｒｅｙｅは眼球の半径であり、αｉは、画像面（ＣＣＤ）から瞳の中心点までの距離（瞳の奥行き）である。【００６４】  Ｔｅｇは、視線座標系の眼球座標系に対する変換（４×４の行列）であり、式（２−３）による視線座標系の眼球座標系に対する回転Ｒｅ（３×３の回転行列）によって表される（図３参照）。式（２−３）において、φ及びθは、眼球座標系における瞳の中心点の動き（眼球の回転）を示す回転角度である。回転Ｒｅは、図４に示すように、眼球の回転による瞳の中心点のＩ０からＩへの回転である。この瞳の中心点であるＩは、式（３）によって表される。
2005006251.tif 000010
【００６５】  式（３）において、Ｉ０は、初期フレームでの眼球座標系における瞳の中心点であり、Ｉは、顔座標系からの瞳の中心点である。Ｉ０は、図４に示すように、眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）においてＺ軸上にあり、Ｚ軸上における眼球の半径ｒｅｙｅに位置する。眼球の回転による瞳の中心点のＩ０からＩへの移動は、図４に示すように、２つの回転角θ，φによって規定される。つまり、眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）のうちのＹｅ軸とＸｅ軸に対して回転する角度によって規定されている。この２つの軸に対して回転可能となっている回転角を動的パラメータとする。θ、φは、Ｙｅ軸とＸｅ軸に対して回転可能であることから２自由度である。【００６６】  図４に示すＩ０を中心としたｒｉｒｉｓは、瞳の半径である。瞳の半径ｒｉｒｉｓを画像面（ＣＣＤ）上に投影すると、式（４−１）に示すようになる。さらに、眼球の半径ｒｅｙｅを画像面上に投影した瞳の半径ｓｉによって表すと、次式（４−２）に示すようになる。
2005006251.tif 000011
【００６７】  式（４−１）及び式（４−２）において、ｉはＮ＋１又はＮ＋２であり、ｓｉは、画像面（ＣＣＤ）上に投影した瞳の半径である。式（４−２）におけるλは、眼球と瞳との半径比であり、一般的に人によって差が少ないので一定値と仮定することができる。さらに、左右の眼球の半径も同じ値と仮定すると、次式（５）が成立する。
2005006251.tif 000012
【００６８】  式（５）において、下付き文字のＮ＋１，Ｎ＋２のうちの一方が左の眼球（瞳）を示し、他方が右の眼球（瞳）を示す。【００６９】  三次元モデル初期化部１０では、式（２）〜式（５）から導かれる次式（６）に示すモデル座標演算式によって、顔が固定の場合の眼球運動による瞳の中心点の三次元構造を定義する。
2005006251.tif 000013
【００７０】  式（６）において、ｉは、Ｎ＋１又はＮ＋２であり、ｘｉ，ｙｉ，ｚｉは、顔が固定の場合のカメラ座標系上の瞳の中心点の座標値である。すなわち、Ｉは、瞳の中心点のモデル座標であり、ｘｉ，ｙｉ，ｚｉは瞳の中心点のモデル座標の座標値である。また、αｉは、次式（６−１）に示す関係をもつ。
2005006251.tif 000014
【００７１】  式（６）において、瞳中心点の初期投影座標（ｕｉ，ｖｉ）は、初期フレームから求められた固定値である。半径比λは、実際には人によって異なるがその差が少ないので、人体工学よって求められる一定値を用いる。ちなみに、半径比λは、実際に測定した値を用いてもよい。回転角（θ，φ）は、眼球の回転運動によって変わり、未知である。回転角（θ，φ）は、値が決まっていないので、動的パラメータとする。焦点距離βは、ＣＣＤカメラによって変わり、未知である。瞳中心点の奥行きαｉは、決まった値を元々有しているが、未知である。奥行きαｉは、ある決まった値に収束するので、静的パラメータとする。【００７２】  このように、三次元モデル初期化部１０は、瞳の中心点の初期投影座標（ｕｉ，ｖｉ）を抽出し、静的パラメータαｉ、動的パラメータφ及びθの初期値を設定することによって、顔の中心点の三次元構造（三次元モデル）の初期化を行う。式（６）のαｉ、φ、θの初期値は、任意の値であることができ、例えば、経験に基づく値が設定される。【００７３】  なお、瞳中心点の奥行きαｉは、式（５）から、式（６−１）に示すように、左右の瞳の一方の奥行きαＮ＋２を他方の奥行きαＮ＋１で表すことができる。したがって、他方の奥行きαＮ＋１を推定すれば、一方の奥行きαＮ＋２を求めることができる。【００７４】  以下、推定部１１について説明する。推定部１１では、顔の運動モデルと眼球の運動モデルが定義されており、この２つの運動モデルからＤｙｎａｍｉｃ  Ｃｏｎｖｅｒｇｉｎｇ−Ｃｏｎｎｅｃｔｅｄ  Ｇａｚｅ  Ｍｏｄｅｌ（以下、ＤＣＣＧＭと記載する）が生成される。推定部１１は、ＤＣＣＧＭに対して拡張カルマンフィルタを適用し、視線を推定する。【００７５】  具体的に、推定部１１は、上記の静的パラメータα及び動的パラメータθ，φを含む状態変数の予測値を算出し、状態変数の予測値に含まれる静的パラメータα及び動的パラメータθ，φ、並びに初期投影座標（ｕ，ｖ）を用いて推定されるモデル座標から運動モデルに基づき運動後の特徴点の座標の推定値を算出する。推定部１１は、観測モデルに基づき、特徴点の座標の推定値を画面上に投影した投影座標、すなわち観測ベクトルの推定値を算出し、観測ベクトルの推定値と処理対象のフレームから抽出される観測ベクトルとを用いて、状態変数の予測値をフィルタリングすることによって、状態変数の推定値を算出する。このフィルタリングには、拡張カルマンフィルタが用いられる。推定部１１は、状態変数の推定値に含まれている動的パラメータに基づいて、視線方向を抽出する。【００７６】  以下、より詳細に推定部１１について説明する。推定部１１では、顔の運動モデルとして、回転運動と並進運動とが想定されている。顔の動きをカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する回転運動と並進移動とで表すと、顔の特徴点の座標（ｘｃｉ，ｙｃｉ，βｚｃｉ）は、次式（７−１）の運動演算式によって表される。
2005006251.tif 000015
【００７７】  式（７−１）において、ｘｃｉ，ｙｃｉ，ｚｃｉは各々、顔が動いた場合の顔の特徴点をカメラ座標系上に投影した座標の座標値であり、（ｔｘ，ｔｙ，ｔｚ）はカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する顔座標系の並進移動量であり、３×１の並進行列である。Ｒｃはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する顔座標系の回転を表す回転行列であり、３×３の回転行列である。ｍｉベクトルは、顔の各特徴点のモデル座標のベクトル表現であり、ｉ＝１，・・・Ｎの場合（瞳の中心点を除く場合）には、式（１）を変形した次式（７−１−１）によって表すことができる。なお、瞳の中心点のモデル座標は、式（６）から求めることができる。
2005006251.tif 000016
【００７８】  式（７−１）におけるＲｃは、次式（７−１−２）から求めることができる。
2005006251.tif 000017
式（７−１−２）において、Ｒｏｌｄは、処理対象のフレームに関連する時点である現時点より前の時点に対して求められたＲｃであり、初期には、単位行列とすることができる。Ｒ（ｑ）は、次式（７−１−３）によって、δｑは、次式（７−１−４）及び（７−１−５）によって表すことができる。なお、（７−１−５）におけるｗｘ、ｘｙ、ｗｘについては後述する。
2005006251.tif 000018
【００７９】  推定部１１では、観測モデルとして画像面上への透視投影変換が想定されている。この顔の特徴点（ｘｃｉ，ｙｃｉ，βｚｃｉ）を画像面（ＣＣＤ）上に投影した投影座標の推定値、すなわち、ｏｉベクトル（観測ベクトル）の推定値は、式（７−１）から算出される顔の特徴点の座標値を用いる次式（７−２）に示す観測関数ｆによって表すことができる。
2005006251.tif 000019
【００８０】  ここで、全ての顔の特徴点（ｉ＝１，２，・・・，Ｎ）に対する観測ベクトルであるＯベクトルは、式（７−３）で表すことができる。このように、推定部１１は、顔の特徴点に対する観測モデルを表す。
2005006251.tif 000020
【００８１】  推定部１１では、この顔の運動モデルの状態遷移表現（状態遷移モデル）における状態変数であるｐベクトルが次式（８−１）で定義されている。ｐベクトルは、顔の姿勢と構造パラメータで構成される。推定部１１では、顔の運動モデルの状態空間表現が次式（８−２）で定義されている。
2005006251.tif 000021
【００８２】  式（８−１）において、（ｔｘ，ｔｙ，βｔｚ）は顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）のカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する並進移動量であり、（ｗｘ，ｗｙ，ｗｚ）は前フレームからのカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する各軸の回転量であり、回転行列Ｒｃに関係する量である。βはＣＣＤカメラの焦点距離の逆数であり、α１〜αＮ＋１は顔の特徴点と瞳中心点の各奥行きである。式（８−２）において、下付き文字のｔは現時点（処理対象のフレームである現フレームに関連する時点）を示し、下付き文字のｔ−１は一時刻前（現フレームの前フレームに関連する時点）を示す。Ａ（１）は現状態と一時刻前の状態との顔の運動特性を表す状態遷移行列であり、μｔ（１）は現状態と一時刻前の状態とのノイズを表す。μｔ（１）は、ゼロの平均とノイズの分散共分散行列Ｑ（１）で構成されるガウシアン分布のランダムベクトルである。【００８３】  推定部１１では、眼球の運動モデルの状態遷移表現（状態遷移モデル）における状態変数であるｑベクトルが式（９−１）で定義されている。ｑベクトルは、２自由度の回転パラメータで構成される。さらに、推定部１１では、眼球の運動モデルの状態空間表現が式（９−２）で定義されている。
2005006251.tif 000022
【００８４】  式（９−１）において、（θ，φ）は眼球の回転を表す２つの回転角である（図４参照）。式（９−２）において、ｑｔベクトルは、現時点での眼球の運動モデルの状態変数であり、ｑｔ−１ベクトルは、一時刻前の眼球の運動モデルの状態変数である。Ａ（２）は現状態と一時刻前の状態との眼球の運動特性を表す状態遷移行列であり、μｔ（２）は現状態と一時刻前の状態とのノイズを表す。μｔ（２）は、ゼロの平均とノイズの分散共分散行列Ｑ（２）で構成されるガウシアン分布のランダムベクトルである。【００８５】  式（１）と式（６）から判るように、顔の特徴点の三次元構造と瞳の中心点の三次元構造とは、初期フレームの画像座標（初期投影座標）を用いることによって定義される面では同じである。しかしながら、瞳の中心点の三次元構造には、それに動的な画像上の移動量（θ，φ）が加えられている。そこで、この眼球座標系（Ｘｅ，Ｙｅ，Ｚｅ）の運動に対応するために、推定部１１は、図５に示すように、顔の運動モデルと眼球の運動モデルとを結合し、一点に集中させるＤＣＣＧＭを生成する。図５に示すＯｔベクトル（ｔ＝１，２，・・・）は、顔の運動モデルの状態変数ｐベクトルと眼球の運動モデルの状態変数ｑベクトルを結合した観測ベクトルである。Ｏｔベクトルは、顔の特徴点（ｉ＝１，２，・・・，Ｎ）及び瞳の中心点（ｉ＝Ｎ＋１，Ｎ＋２）の全てのモデル点を画像面（ＣＣＤ）上に投影した座標（投影座標）で構成される。【００８６】  推定部１１では、式（８−１）、式（８−２）で示す顔の運動モデルと式（９−１）、式（９−２）で示す眼球の運動モデルとから、ＤＣＣＧＭの状態空間表現が次式（１０−１）で定義されている。
2005006251.tif 000023
式（１０−１）において、Ｘｔベクトルは、現時点での顔の運動モデルと眼球の運動モデルの状態変数を示すｐｔベクトルとｑｔベクトルからなるＤＣＣＧＭの状態変数である。Ｘｔ−１ベクトルは、一時刻前のＤＣＣＧＭの状態変数である。推定部１１は、式（１０−１）に基づく状態遷移方程式に基づき、一時刻前の状態変数の推定値Ｘｔ−１から現時点の状態変数の予測値Ｘｔ−を算出する。【００８７】  さらに、推定部１１では、観測ベクトルであるＯｔベクトルが次式（１０−２）で定義されている。
2005006251.tif 000024
式（１０−２）において、ｆ（）は観測関数であり、νｔはノイズを表す。Ｏｔベクトルは、（Ｎ＋２）個分のｏｉベクトル、すなわちＮ個の顔の特徴点及び２個の瞳の特徴点それぞれの観測ベクトルを含んでいる。【００８８】  推定部１１では、式（１）で定義した顔の特徴点（ｉ＝１，２，・・・，Ｎ）のモデル座標と式（６）で定義した瞳の中心点（ｉ＝Ｎ＋１，Ｎ＋２）のモデル座標との剛性変換（回転と並進移動）を行う運動演算式である次式（１１）によって、顔が動いた場合の三次元構造が定義されている。
2005006251.tif 000025
【００８９】  式（１１）において、（ｘｉ，ｙｉ，ｚｉ）は、モデル座標であり、（ｘｃｉ，ｙｃｉ，ｚｃｉ）は、顔が動いた場合の顔の特徴点及び瞳の中心点をカメラ座標系上に投影した座標であり、Ｔｃｈはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）から顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）への変換（４×４の行列）である。Ｒｃはカメラ座標系に対する顔の回転を示す３×３の回転行列であり、ｔｃはカメラ座標系に対する顔の位置移動を示す３×１の並進行列である（図６参照）。この顔の動きには、制限がなく、回転行列Ｒｃと並進行列ｔｃによってあらゆる動きを表すことができる。なお、Ｒｃ及びｔｃについては、式（７−１−２）のＲｃ、式（７−１）の（ｔｘ、ｔｙ、ｔｚ）を参照されたい。【００９０】  推定部１１は、式（１１）を用いて、現時点での特徴点の座標の推定値を算出する。推定部１１は、特徴点の座標の推定値を算出する際に、顔の特徴点（ｉ＝１，２，・・・，Ｎ）に関しては、状態変数の予測値Ｘｔ−に含まれているパラメータと初期投影座標とを式（１）で示すモデル座標演算式に適用することによって得られるモデル座標（ｘｉ，ｙｉ，ｚｉ）を式（１１）に適用する。瞳の中心点（ｉ＝Ｎ＋１，Ｎ＋２）に関しては、推定部１１は、状態変数の予測値Ｘｔ−に含まれているパラメータと初期投影座標とを式（６）で示すモデル座標演算式に適用することによって得られるモデル座標（ｘｉ，ｙｉ，ｚｉ）を式（１１）に適用する。【００９１】  推定部１１では、式（１１）で示す顔の特徴点及び瞳の中心点の座標（ｘｃｉ，ｙｃｉ，ｚｃｉ）を画像面（ＣＣＤ）上に投影したｏｉベクトル（観測ベクトル）が次式（１２）によって定義されている。すなわち、推定部１１は、式（１１）によって得られる顔の特徴点及び瞳の中心点の座標の推定値（ｘｃｉ，ｙｃｉ，ｚｃｉ）を、式（１２）の観測関数ｆに適用することによって、観測ベクトルの推定値を算出する。
2005006251.tif 000026
【００９２】  このように、推定部１１は、式（１０−２）で示す観測ベクトルＯｔの推定値から状態変数Ｘｔを推定するために、式（１１）を用いて、顔が動いた場合の三次元構造、すなわち特徴点の座標の推定値を算出し、当該推定値を式（１２）に適用することによって観測ベクトルｏｉの推定値を算出する。【００９３】  推定部１１は、式（１０−２）の観測ベクトルＯｔに対して拡張カルマンフィルタリングを施し、式（１０−１）の状態変数であるＸｔベクトル（すなわち、顔の運動モデルの状態変数であるｐベクトル及び眼球の運動モデルであるｑベクトル）の各パラメータ（α１〜αＮ＋２、β、θ、φ等）を推定する。この観測過程では、式（１２）によって得られる観測ベクトルｏｉの推定値及び式（１１）によって得られる三次元構造が用いられる。【００９４】  より具体的に、推定部１１は、拡張カルマンフィルタを用いた推定を実行する前に、次式（ｂ−１）及び（ｂ−２）に示す予測を実行する。
2005006251.tif 000027
式（ｂ−１）において、Ａは式（１０−１）における状態遷移行列であり、Ｘｔ−１は一時刻前（時刻ｔ−１）の状態変数の推定値であり、Ｘ−ｔは、現時点（時刻ｔ）の状態変数の予測値である。本実施の形態では、動画像のフレーム間のタイムインターバルが短く、一時刻前と現時点とでは顔の動きが無視できるものと仮定し、Ａとして単位行列が用いられている。【００９５】  また、式（ｂ−２）において、Ｐｔ−１は一時刻前（時刻ｔ−１）の推定誤差共分散行列の推定値であり、Ｐ−ｔは現時点（時刻ｔ）の推定誤差共分散行列の予測値であり、Ｑは式（１０−１）の状態遷移モデルにおけるノイズの分散共分散行列である。ここで、Ｐｔ−１の要素の初期値は、任意の値であることができ、例えば、０に設定される。ノイズの分散共分散行列Ｑは、フレーム間での顔の動きから経験的に定めることができる。【００９６】  推定部１１は、これらの予測を行った後に、次式（ｃ−１）で示される拡張カルマンフィルタリングを行い、現時点での状態変数の推定値を算出し、更に、次式（ｃ−２）によって現時点での推定誤差共分散行列の推定値を算出する。
2005006251.tif 000028
【００９７】  式（ｃ−１）において、Ｘｔは現時点（時刻ｔ）の状態変数の推定値であり、Ｘ−ｔは式（ｂ−１）によって得られる現時点（時刻ｔ）の状態変数の予測値であり、Ｋｔは現時点（時刻ｔ）でのカルマンゲインであり、Ｏｔは現時点の処理対象のフレームから実際に抽出された観測ベクトルであり、ｆ（Ｘ−ｔ）は式（１２）の観測関数に現時点での状態変数の予測値Ｘ−ｔを適用することによって得られる観測ベクトルの推定値である。式（ｃ−２）において、Ｐｔは現時点で推定誤差共分散行列の推定値、Ｐ−ｔは現次点での推定誤差共分散行列の予測値である。Ｊｔは観測関数ｆのヤコビ行列である。【００９８】  なお、推定部１１は、式（ｃ−１）及び式（ｃ−２）による演算を行うために、次式（ｃ−３）の演算によってヤコビ行列Ｊｔを算出した後、次式（ｃ−４）の演算によってカルマンゲインを算出する。なお、次式（ｃ−４）において、Ｃは、観測過程において生じるノイズであり、例えばカメラのぶれによって生じるノイズを表している。本実施の形態では、カメラは固定されていて、このノイズを実質的に無視することができるものとしている。したがって、Ｃは単位行列となっている。
2005006251.tif 000029
【００９９】  ここで、状態変数Ｘの各パラメータＸ［ｊ］に対して、式（ｃ−３）のＪ［ｉ，ｊ］は、次式（ｃ−５）となる。
2005006251.tif 000030
【０１００】  以下、状態変数Ｘの各パラメータＸ［ｊ］について、式（ｃ−５）における（∂ｘｃｉ／∂Ｘ［ｊ］，∂ｙｃｉ／∂Ｘ［ｊ］，∂ｚｃｉ／∂Ｘ［ｊ］）Ｔの演算式を、次式（ｄ−１）〜（ｄ−７）に示す。
2005006251.tif 000031
2005006251.tif 000032
2005006251.tif 000033
【０１０１】  推定部１１は、フィルタリングによって推定した各パラメータからカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換Ｔｃｇ（４×４の行列）を求める。変換Ｔｃｇは、式（１３）に示すように、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）から顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）への変換Ｔｃｈ（４×４の行列）と顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）から視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換Ｔｈｇ（４×４の行列）との積である。変換Ｔｃｈは、式（１１）に示すように、顔の動きに応じて回転行列Ｒｃ及び並進行列ｔｃが設定される。変換Ｔｈｇは、式（２）に示すように、ｐベクトル及びｑベクトルの各パラメータの推定値を用いて設定される。
2005006251.tif 000034
【０１０２】  式（１３）において、Ｒはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する瞳の中心点の回転を示す３×３の回転行列であり、ｔはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対する瞳の中心点の位置移動を示す３×１の並進行列である（図６参照）。回転行列Ｒは、次式（ｅ−１）の演算式を用いて算出される。
2005006251.tif 000035
【０１０３】  推定部１１は、並進行列ｔで示される位置を始点として回転行列Ｒの３番目の列ベクトル（Ｒ１３，Ｒ２３，Ｒ３３）Ｔで示す方向を視線方向とする。この視線方向は、左右の眼で同じ方向である。ちなみに、回転行列Ｒの３番目の列ベクトルは、視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）におけるＺ軸方向である。【０１０４】  このように、画像処理装置３は、顔の運動モデルと眼球の運動モデルとを結合したＤＣＣＧＭを生成し、ＤＣＣＧＭに対する拡張カルマンフィルタによって静的パラメータ及び動的パラメータを推定する。そして、画像処理装置３は、その各パラメータの推定値からカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）から視線座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換行列を求め、視線方向を求める。【０１０５】  以下、画像処理装置３の動作を説明し、併せて本発明の実施の形態に係る画像処理方法を説明する。図７は、本発明の実施の形態に係る画像処理方法の流れを示すフローチャートである。【０１０６】  図７に示すように、この画像処理方法では、三次元モデル初期化部１０による三次元モデル初期化ステップＳ０１と、推定部１１による運動推定ステップＳ０２から構成される。【０１０７】  図８は、三次元モデル初期化ステップの詳細な処理の流れを示すフローチャートである。三次元モデル初期化ステップＳ０１では、まず、三次元モデル初期化部１０が、観測ベクトル抽出部１２によって、動画像の初期フレームから、特徴点（ｉ＝１，・・・，Ｎ，Ｎ＋１，Ｎ＋２）の画像面上における投影座標（ｕｉ，ｖｉ）する（ステップＳ１１）。この抽出方法には、上述した固有空間法が用いられる。なお、三次元モデル初期化ステップＳ０１にて抽出された投影座標は初期投影座標となる。【０１０８】  次いで、三次元モデル初期化部１０が、ｉ＝１，・・・，Ｎの顔の特徴点については、式（１）のαｉ、ｉ＝Ｎ＋１，Ｎ＋２の瞳の中心点については、式（６）のαｉ，φ，θといったパラメータの初期値を設定することによって、三次元モデルの初期化を行う（ステップＳ０２）。【０１０９】  次いで、推定部１１による運動推定ステップＳ０２が実行される。図９は、運動推定ステップの詳細な処理の流れを示すフローチャートである。図９に示すように、運動推定ステップＳ０２では、まず、推定部１１が、式（ｂ−１）の演算式を実行することによって、現時点ｔの状態変数の予測値Ｘ−ｔを算出する（ステップＳ２１）。また、推定部１１が、式（ｂ−２）の演算式を実行することによって、現時点ｔの推定誤差共分散行列のＰ−ｔ予測値を算出する（ステップＳ２２）。【０１１０】  次いで、推定部１１は、現時点ｔに対応の処理対象のフレームから、観測ベクトルＯｉ（ｉ＝１，・・・，Ｎ，Ｎ＋１，Ｎ＋２）を抽出する（ステップＳ２３）。次いで、推定部１１は、拡張カルマンフィルタリングによって現時点ｔの状態変数の推定値Ｘｔを算出する（ステップＳ２４）。図１０は、拡張カルマンフィルタを用いる処理の詳細な流れを示すフローチャートである。【０１１１】  図１０に示すように、ステップＳ２４において、推定部１１は、まず、式（ｃ−３）の演算式を実行することによって、観測行列ｆのヤコビ行列Ｊｔを算出する（ステップＳ３１）。次いで、推定部１���は、式（ｃ−４）の演算式を実行することによって、カルマンゲインＫｔを算出する（ステップＳ３２）。【０１１２】  そして、推定部１１は、現時点のモデル座標を更新する（ステップＳ３３）。ステップＳ３３では、現時点ｔの状態変数の予測値Ｘｔに含まれているパラメータ及び初期投影座標が式（７−１−１）の演算式に適用されることによって、ｉ＝１，・・・，Ｎの特徴点のモデル座標が算出される。また、現時点ｔの状態変数の予測値Ｘｔに含まれているパラメータ及び初期投影座標が式（６）の演算式に適用されることによって、ｉ＝Ｎ＋１，Ｎ＋２の特徴点（瞳の中心点）のモデル座標が算出される。【０１１３】  次いで、推定部１１は、ステップＳ３３にて抽出されたモデル座標を式（１１）の運動演算式に適用することによって、現時点ｔでのｉ＝１，・・・，Ｎ，Ｎ＋１，Ｎ＋２の特徴点の座標の推定値を算出する（ステップＳ３４）。【０１１４】  次いで、推定部１１は、ステップＳ３４にて算出した特徴点の座標の推定値を式（１２）の観測関数に適用することによって、現時点ｔでの特徴点の投影座標の推定値を算出する（ステップＳ３５）。ステップＳ３５で算出された投影座標は、現時点ｔでの観測ベクトルＯｉの推定値である。【０１１５】  次いで、推定部１１は、式（ｃ−１）のフィルタ方程式の演算を実行することによって、現時点ｔの状態変数の推定値Ｘｔを算出する（ステップＳ３６）。そして、推定部１１は、を式（ｃ−２）の演算式を実行することによって、現時点ｔの推定誤差共分散行列の推定値Ｐｔ算出する（ステップＳ３７）。【０１１６】  図９に戻り、次に、推定部１１は、状態変数の推定値Ｘｔに基づき、運動を表す力値を出力する（ステップＳ２５）。第１の実施の形態では、ステップＳ２５において、現時点ｔの状態変数の推定値Ｘｔのφ，θが式（ｅ−１）の演算式に適用されることによって、回転行列Ｒが算出される。そして、回転行列Ｒの第３番目の列ベクトル、及び並進行列ｔが視線方向の運動を表す出力値として出力される。【０１１７】  次に、推定部１１は、全フレームの処理が終了したか否かをテストし（ステップＳ２６）、全フレームの処理が終了していない場合（ＮＯの場合）には、現時点ｔの時刻を更新（ｔ＝ｔ＋１）し（ステップＳ２７）、ステップＳ２１からの処理を繰り返す。一方、推定部１１は全フレームの処理が終了している場合（ＹＥＳの場合）には、処理を終了する。【０１１８】  以下、コンピュータを本発明の画像処理装置として動作させる画像処理プログラム及び、当該画像処理プログラムが記録された記録媒体の実施の形態について説明する。図１１は、本発明の実施の形態に係る画像処理プログラムの構成を、記録媒体と共に示す図である。【０１１９】  図１１に示すように、画像処理プログラム５０は、記録媒体１００に格納されて提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。【０１２０】  図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１３は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。図１２に示すように、コンピュータ１１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１１４と、記録媒体１００に記憶されたプログラムを記憶するメモリ１１６と、ディスプレイといった表示装置１１８と、入力装置であるマウス１２０及びキーボード１２２と、データ等の送受を行うための通信装置１２４と、プログラムの実行を制御するＣＰＵ１２６とを備えている。コンピュータ１１０は、記録媒体１００が読取装置１１２に挿入されると、読取装置１１２から記録媒体１００に格納された画像処理プログラム５０にアクセス可能になり、当該画像処理プログラム５０によって、画像処理装置３として動作することが可能になる。【０１２１】  図１３に示すように、画像処理プログラム５０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した画像処理プログラム５０をメモリ１１６に格納し、当該画像処理プログラム５０を実行することができる。【０１２２】  図１１に示すように、画像処理プログラム５０は、処理を統括するメインモジュール５２と、観測ベクトル抽出モジュール５４と、三次元モデル初期化モジュール５６と、運動推定モジュール５８とによって構成されている。【０１２３】  観測ベクトル抽出モジュール５４は、上述した観測ベクトル抽出部１２と同様の機能をコンピュータに実行させる。三次元モデル初期化モジュール５６は上述した三次元モデル初期化ステップＳ０１を、運動推定モジュール５８は上述した運動推定ステップＳ０２をコンピュータに実行させる。三次元モデル初期化モジュール５６は、及び運動推定モジュール５８は、その処理の中で、適宜観測ベクトル抽出モジュール５４を呼び出す。【０１２４】  以下、画像処理システム１の有効性の確認のために行われた実験の結果を説明する。図１４Ａ及び図１４Ｂに、画像処理システム１によって実際に推定した視線方向を顔画像に描いた一例を示す。この例では、３２０×２４０の画像サイズを有する動画像が用いられている。図１４Ａ及び図１４Ｂでは、黒色の矢印で顔姿勢の方向が示されており、白色の矢印で視線方向が示されており、大きい白色の円で瞳の外周が示されており、多数の小さい白色の円で顔の特徴点が示されている。図１４Ａの例では、顔姿勢が左方向であり、視線が顔姿勢より中心よりの左方向である。図１４Ｂの例では、顔姿勢が右方向であり、視線が左方向である。【０１２５】  画像処理システム１（画像処理装置３）によれば、実際に起こりうる瞳の動きを数学式でモデリングするとともに静的パラメータや動的パラメータを直接フィルタリングしているので、視線方向を高精度に推定することができる。また、画像処理システム１では、単眼カメラで制限のない顔の動きに対して視線の推定が可能である。さらに、画像処理システム１では、最も一般的な透視投影変換をカメラモデルに使用しているので、応用範囲が広い。また、画像処理システム１では、非接触式で視線の推定が可能であり、高価なカメラシステムや装置を必要としない。【０１２６】  ［第２の実施の形態］【０１２７】  第２の実施の実施の形態に係る画像処理システムを説明する前に、図１５Ａ、図１５Ｂ、及び図１５Ｃを参照して、顔の唇の運動について説明しておく。図１５Ａ、図１５Ｂ、及び図１５Ｃは、顔の唇の各特徴点を示す顔画像を模式的に示しており、図１５Ａが顔の動き及び唇の動きが初期状態の場合を示し、図１５Ｂが唇のみが動いた場合を示し、図１５Ｃが図１５Ｂの唇の動きに顔の動きを伴った場合を示している【０１２８】  図１５Ａの顔画像では、顔が真正面を向いており、唇が閉じた状態である初期状態を示す。唇には、左右端及び中央の上下端に特徴点（十印参照）が設定されている。図１５Ｂの顔画像では、顔が真正面を向いたままで、唇を開いた状態を示す。このように、唇の動きによって、唇の特徴点が変化する。図１５Ｃの顔画像では、顔が斜め前方を向き、唇を開いた状態を示す。このように、顔の動きを伴うことによって、唇の特徴点が更に変化する。つまり、顔の運動と唇の三次元形状の変化によって、これら３つの画像上の特徴点の動きはお互いに異なる。【０１２９】  このように、唇に設定された特徴点の動きから唇の運動情報を求める場合、顔画像上の特徴点には顔の動きと唇の動きとが混在する。そのため、顔の運動と唇の三次元形状の構造が判らないと、ｎｏｎ−ｒｉｇｉｄな変化をする唇の運動情報を求めることができない。そこで、第２の実施の形態では、顔の三次元構造を、ｒｉｇｉｄ構造を表すためのｒｉｇｉｄパラメータとｎｏｎ−ｒｉｇｉｄな変化を表すためのｎｏｎ−ｒｉｇｉｄパラメータによって定義する。ｒｉｇｉｄ構造は、顔に表情の変化がない場合（顔の三次元形状にｎｏｎ−ｒｉｇｉｄな変化がない場合）の顔の三次元構造である。ｎｏｎ−ｒｉｇｉｄな変化は、顔の表情の変化による顔の三次元構造の変化である。なお、顔には、ｎｏｎ−ｒｉｇｉｄな変化をする箇所としては、唇だけでなく、目、鼻、頬等の様々な箇所がある。【０１３０】  以下、図１を参照して、第２の実施の形態に係る画像処理システム２１について説明する。なお、第２の実施の形態では、第１の実施の形態に係る画像処理システムと同様の構成については同一の符号を付し、その説明を省略する。【０１３１】  画像処理システム２１は、透視投影変換のカメラモデルを用い、非接触で顔の各部（唇等）の運動の推定を行う。画像処理システム２１では、画像取得装置２が画像処理装置２３に接続され、画像処理装置２３において画像取得装置２で取得した動画像データから顔の各部の運動の最適推定を行う。画像処理システム２１でも、必要に応じて、モニタ等の出力手段が画像処理装置２３に接続される。【０１３２】  図１、図１６及び図１７を参照して、画像処理装置２３について説明する。図１６は、モデル座標系を示す図である。図１７は、顔が並進及び回転運動した場合のモデル座標系を示す図である。【０１３３】  画像処理装置２３は、第１の実施の形態に係る画像処理装置３と同様の装置であり、観測ベクトル抽出部１２、三次元モデル初期化部３０及び推定部３１を備えるが、各部３０，３１で行う処理が異なる。なお、画像処理装置２３では、Ｎ個（ｉ＝１，２，・・・，Ｎ）の特徴��を取り扱う。また、画像処理装置２３では、画像処理を行う上での基準の座標系であるモデル座標系（Ｘｃ，Ｙｃ，Ｚｃ）が定義されている。【０１３４】  三次元モデル初期化部３０について説明する。三次元モデル初期化部３０は、初期フレームに基づいて、顔の特徴点の三次元構造を定義する。初期フレームでは、顔が固定であり、顔座標系（Ｘｈ，Ｙｈ，Ｚｈ）がカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に一致している。なお、第２の実施の形態では、このカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）をモデル座標系として定義している。【０１３５】  三次元モデル初期化部３０は、初期フレームの画像からＮ個の顔の特徴点（ｘｉ，ｙｉ，ｚｉ）（ｉ＝１，２，・・・，Ｎ）の投影座標（ｕｉ、ｖｉ）を抽出する。三次元モデル初期化部３０は、抽出した投影座標（ｕｉ、ｖｉ）を用いて、式（１４）に示すモデル座標演算式によって顔の特徴点のモデル座標（ｘｉ，ｙｉ，ｚｉ）を定義し、顔の三次元構造を定義している。すなわち、三次元モデル初期化部３０は、モデル座標を定義する式（１４）におけるパラメータの初期値を設定する。顔の特徴点（ｘｉ，ｙｉ，ｚｉ）は、モデル座標上の位置である。
2005006251.tif 000036
【０１３６】  図１６は、初期フレームで定義するモデル座標系を示している。図１６において、（０，０，−ｆ）がＣＣＤカメラの焦点であり、焦点距離ｆ離れたところに画像面が位置している。モデル座標系の原点（０，０，０）は、画像面上にある。画像面に顔の特徴点（ｘｉ，ｙｉ，ｚｉ）が投影されると、観測点（ｕｉ，ｖｉ，０）となる。モデル座標系のＺ軸方向において、原点（０，０，０）から特徴点（ｘｉ，ｙｉ，ｚｉ）までの奥行きがαｉとなる。モデル座標系では、焦点距離ｆと奥行きαとに分離されている。【０１３７】  式（１４）は、顔の特徴点のモデル座標を演算するためのモデル座標演算式を示している。（ｕｉ，ｖｉ，０）は、顔の特徴点をＣＣＤ上に投影した初期投影座標（画像座標）であり、初期フレームで求めた後はその値に固定される。αｉは、顔の特徴点（ｘｉ，ｙｉ，ｚｉ）からＣＣＤまでの距離であり、特徴点の奥行きを示している。αｉは、決まった値を有しているが、未知である。ψｉは、初期フレームから現フレームまでのｕｉの変化量であり、画像上の特徴点のピクセル移動量を示す。ζｉは、初期フレームから現フレームまでのｖｉの変化量であり、画像上の特徴点のピクセル移動量を示す。δｉは、初期フレームから現フレームまでのαｉの変化量であり、奥行きαｉの移動量を示す。ψｉ，ζｉ，δｉは、顔の表情の変化に応じて変化する値であり、未知である。βは、ＣＣＤカメラの焦点距離ｆの逆数（ｆ−１）であり、ＣＣＤカメラによって変わり、未知である。【０１３８】  各特徴点の奥行きαｉは、顔の各特徴点の三次元構造のｒｉｇｉｄ構造を表し、顔の三次元形状に対応する。また、ψｉ，ζｉ，δｉは、顔の各特徴点の三次元構造のｎｏｎ−ｒｉｇｉｄな変化を表す、唇の動き等の顔の表情の変化に対応する。奥行きαｉの移動量δｉは、顔の表情が変化した場合（すなわち、顔の三次元形状がｎｏｎ−ｒｉｇｉｄな変化をした場合）、その値は殆ど変わらないので、無視することができる。したがって、δｉを０とし、初期フレームから現フレームまでの画像を用いて、モデル座標系上における初期フレームでの特徴点からのピクセル移動量（ψｉ，ζｉ）を帰納的に推定することにより、顔の各特徴点でのｎｏｎ−ｒｉｇｉｄな変化が求められることになる。【０１３９】  １つの三次元特徴点に対しては、一般にｒｉｇｉｄ構造とそのｎｏｎ−ｒｉｇｉｄな変化を表すためには６個のパラメータが必要であるが、ここでは３つのパラメータでそれを可能としている。すなわち、ｒｉｇｉｄ構造を表すためのｒｉｇｉｄパラメータ（αｉ）とｎｏｎ−ｒｉｇｉｄな変化を表すためのｎｏｎ−ｒｉｇｉｄパラメータ（ψｉ，ζｉ）の３つのパラメータで三次元特徴点を表すことができる。【０１４０】  推定部３１について説明する。推定部３１では、顔の運動モデルを定義し、顔の運動モデルに対して拡張カルマンフィルタリングを施し、顔の各部の運動を推定する。【０１４１】  推定部３１は、顔の運動モデルとして、回転運動と並進運動とによって表現される運動モデルを想定している。顔の動きをモデル座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対して回転と並進移動で表すと、モデル座標から顔の特徴点（ｘｃｉ，ｙｃｉ，βｚｃｉ）は、次式（１５−１）によって��定される（図１７参照）。
2005006251.tif 000037
【０１４２】  式（１５−１）において、（ｔｘ，ｔｙ，ｔｚ）はモデル座標系（Ｘｉ，Ｙｉ，Ｚｉ）からの３×１の並進行列ｔｃであり、Ｒｃはモデル座標系（Ｘｃ，Ｙｃ，Ｚｃ）からの３×３の回転行列であり、ｍｉベクトル、すなわちモデル座標は式（１４）で表すことができる。顔の動きには、制限がなく、並進行列ｔｃと回転行列Ｒｃによってあらゆる動きを表すことができる。【０１４３】  この顔の特徴点の座標の推定値（ｘｃｉ，ｙｃｉ，βｚｃｉ）を画像面（ＣＣＤ）上に投影したｏｉベクトル（観測ベクトル）の推定値は、式（１５−１）の演算式によって算出される顔の特徴点の座標の推定値（ｘｃｉ，ｙｃｉ，βｚｃｉ）から次式（１５−２）によって算出される（図１７参照）。
2005006251.tif 000038
ここで、全ての顔の特徴点（ｉ＝１，２，・・・，Ｎ）に対する観測ベクトルであるＯベクトルは、次式（１５−３）で表すことができる。このように、推定部３１は、顔の特徴点に対する観測モデルを表す。
2005006251.tif 000039
【０１４４】  推定部３１では、この顔の運動モデルの状態空間表現（状態遷移モデル）の状態変数であるＸベクトルが次式（１６−１）で定義されている。Ｘベクトルは、顔の姿勢とｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータで構成される。さらに、推定部３１では、顔の運動モデルの状態空間表現が式（１６−２）で定義されている。
2005006251.tif 000040
【０１４５】  式（１６−１）において、（ｔｘ，ｔｙ，βｔｚ）は顔のモデル座標系（Ｘｃ，Ｙｃ，Ｚｃ）における並進移動量であり、（ｗｘ，ｗｙ，ｗｚ）は前フレームからのモデル座標系（Ｘｃ，Ｙｃ，Ｚｃ）における各軸の回転量であり、βはＣＣＤカメラの焦点距離の逆数であり、α１〜αＮは顔の特徴点の各奥行きであり、ψ１〜ψＮは画像上の特徴点座標であるｕ１〜ｕＮの初期フレームから現フレームまでの各変化量であり、ζ１〜ζＮは画像上の特徴点座標であるｖ１〜ｖＮの初期フレームから現フレームまでの各変化量である。式（１６−２）において、下付き文字のｔは現時点（現フレームに対応する時刻）を示し、下付き文字のｔ−１は一時刻前（前フレームに対応する時刻）を示し、Ａ（１）は現状態と一時刻前の状態との顔の運動特性を表す状態遷移行列であり、μｔ（１）は現状態と一時刻前の状態とのノイズを表す。特に、μｔ（１）は、ゼロの平均と分散共分散行列で構成されるガウシアン分布のランダムベクトルである。【０１４６】  推定部３１では、顔の運動モデルの状態変数であるＸｔベクトルと観測ベクトルであるＯｔベクトルとの関係が次式（１７）で定義されている。Ｏｔベクトルは、Ｎ個分のｏｉベクトルを含んでいる。式（１７）において、ｆ（）は観測関数であり、νｔはノイズを表し、ゼロの平均とノイズの共分散行列Ｒ（１）とで構成されるランダムベクトルである。ここで、Ｘｔベクトルを変数とする観測関数ｆ（）は、各特徴点の座標（ｘｃｉ，ｙｃｉ，ｚｃｉ）の推定値を用いる観測関数ｆｉ（）によて、次式（１７−１）のように表現される。
2005006251.tif 000041
2005006251.tif 000042
【０１４７】  さらに、推定部３１では、式（１７）で示す観測ベクトルＯｔから状態変数Ｘｔを推定するために、顔の各特徴点の座標の推定値（ｘｃｉ，ｙｃｉ，ｚｃｉ）を画像面（ＣＣＤ）上に投影したｏｉベクトル（観測ベクトル）の推定値が次式（１７−２）で定義されている
2005006251.tif 000043
【０１４８】  式（１７）から、状態変数であるＸｔベクトルと観測ベクトルであるＯｔベクトルとの関係は非線形であることが判る。そこで、推定部３１は、式（１７）の観測ベクトルＯｔに対して拡張カルマンフィルタリングを施し、式（１６−１）の顔の運動モデルの状態変数であるＸｔベクトルの各パラメータ（ｔｘ，ｔｙ，βｔｚ，ｗｘ，ｗｙ，ｗｚ，α１〜αＮ、β、ψ１〜ψＮ、ζ１〜ζＮ）を推定する。この観測過程では、式（１５−２）の観測ベクトルｏｉ及び式（１５−１）の三次元構造を用いる。【０１４９】  推定部３１は、推定したパラメータを用いて、顔の並進及び回転運動を考慮しながら、顔の三次元構造と初期フレームで設定した特徴点のｎｏｎ−ｒｉｇｉｄな変化を推定し、顔の各部の運動情報を求める。【０１５０】  このように、画像処理装置２３では、顔の運動モデルに対する拡張カルマンフィルタによって状態変数であるＸｔベクトルの各パラメータを推定し、顔の並進及び回転の運動、顔の各特徴点でのｒｉｇｉｄ構造及び顔の各特徴点でのｎｏｎ−ｒｉｇｉｄ変化を推定する。そして、画像処理装置２３では、各パラメータの推定値から、顔の動きに対応しながらｎｏｎ−ｒｉｇｉｄな変形を伴う顔の各部の運動を求めている。【０１５１】  以下、この画像処理装置２３の動作及び画像処理装置２３で実行される画像処理方法を説明する。ここでは、上述の図７〜図１０を用いて、第１の実施の形態と異なる動作についてのみ説明する。【０１５２】  第２の実施の形態の画像処理方法も、三次元モデル初期化ステップＳ０１及び運動推定ステップＳ０２によって構成されている。三次元モデル初期化ステップＳ０１では、三次元モデル初期化部３０が、ステップＳ１１において、Ｎ個の顔の特徴点の初期投影座標を抽出する。また、ステップＳ１２において、三次元モデル初期化部３０が、上記のα１〜αＮ、ψ１〜ψＮ、ζ１〜ζＮといったパラメータの初期値を設定することによって、三次元モデルを初期化する。【０１５３】  運動推定ステップＳ０２では、推定部３１が、第１の実施の形態と同様のステップＳ２１からステップＳ２３の処理を行い、ステップＳ２４において、推定部３１は、観測関数ｆのヤコビ行列Ｊｔを算出する（ステップＳ３１）。ヤコビ行列は、式（ｃ−３）及び式（ｃ−５）によって求められるが、第２の実施の形態は第１の実施の形態と状態変数Ｘが異なるので、上述の式（ｄ−１）〜（ｄ−４）、次式（ｄ−８）及び（ｄ−９）の演算式が実行される。
2005006251.tif 000044
2005006251.tif 000045
【０１５４】  次いで、推定部３１は、現時点ｔの状態変数の予測値Ｘ−ｔに含まれているパラメータを式（１４）の演算式に適用することによって、現時点ｔのモデル座標ｍｉを更新し（ステップＳ３３）、式（１５−１）の演算式を実行することによって、現時点ｔの特徴点の座標の推定値を算出する（ステップＳ３４）。【０１５５】  次いで、推定部３１は、式（１７−２）の観測関数ｆに現時点ｔの特徴点の座標の推定値を代入することによって、現時点ｔでの観測ベクトルＯｉの推定値を算出する（ステップＳ３５）。【０１５６】  そして、推定部３１は、第１の実施の形態と同様にステップＳ３６及びステップＳ３７の処理を実行し、現時点ｔの状態変数の推定値Ｘｔを算出する。次いでイ、推定部３１は、ステップＳ２５において、現時点ｔの状態変数の推定値Ｘｔのパラメータをそのまま、顔の各部の運動を表す出力値として出力する。次いで、推定部３１は、第１の実施形態と同様のステップＳ２６を実行し、ステップＳ２６のテストがＮＯの場合には、ステップＳ２７へ移行し、ＹＥＳの場合には処理を終了する。【０１５７】  以下、第２の実施の形態の画像処理装置２３としてコンピュータを動作させる画像処理プログラム及び当該画像処理プログラムを記録した記録媒体について説明する。図１１に示すように、第２の実施の形態の画像処理プログラム５０も第１の実施の形態の画像処理プログラムと同様の構成を有し、記録媒体１００についても同様である。第２の実施の形態の画像処理プログラム５０では、三次元モデル初期化モジュール５６が、第２の実施の形態の三次元モデル初期化ステップＳ０１をコンピュータに実行させ、運動推定モジュール５８が、第２の実施の形態の運動推定ステップＳ０２をコンピュータに実行させる。【０１５８】  以上説明したように、画像処理システム２１（画像処理装置２３）によれば、顔の三次元構造をｒｉｇｉｄパラメータ及びｎｏｎ−ｒｉｇｉｄパラメータでモデリングするとともにｒｉｇｉｄパラメータやｎｏｎ−ｒｉｇｉｄパラメータを直接フィルタリングしているので、顔の表情が変化した場合でも、顔の各部の運動を高精度に推定することができる。特に、画像処理システム２１によれば、顔の動きに関わらず、顔の各部のｎｏｎ−ｒｉｇｉｄな運動情報を求めることができる。また、画像処理システム２１は、単眼カメラで制限のない顔の動きに対して顔の各部の運動の推定が可能である。さらに、画像処理システム２１は、最も一般的な透視投影変換をカメラモデルに使用しているので、応用範囲が広い。また、画像処理システム２１では、非接触式で顔の各部の運動の推定が可能であり、高価なカメラシステムや装置を必要としない。【０１５９】  以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。【０１６０】  例えば、本実施の形態ではコンピュータでアプリケーションプログラムを実行することによって画像処理装置を構成したが、視線や顔の各部の運動を推定するための専用の画像処理装置で構成してもよいし、あるいは、人の視線情報や顔の各部の運動情報を必要とする装置（例えば、ロボット、自動車の安全装置）に組み込まれる構成でもよい。���０１６１】  また、本実施の形態では視線を推定するための画像処理装置とｎｏｎ−ｒｉｇｉｄな変化を伴う顔の各部の運動を推定するための画像処理装置を別々に構成したが、視線とｎｏｎ−ｒｉｇｉｄな変化を伴う顔の各部の運動を推定するための画像処理装置を一体で構成してもよい。【０１６２】  また、本実施の形態では状態変数を推定するために拡張カルマンフィルタを用いたが、他のフィルタやフィルタ以外の手段等によって推定してもよい。【０１６３】  また、第２の実施の形態では三次元物体として顔に適用したが、三次元物体全体が並進及び回転運動をするとともに三次元物体の各部がｎｏｎ−ｒｉｇｉｄな変化する三次元物体に適用可能であり、例えば、心臓に適用可能である。
【産業上の利用可能性】
【０１６４】  本発明によれば、三次元物体の運動を高精度に求めることができる。特に、視線を高精度に求めることができる。また、ｎｏｎ−ｒｉｇｉｄな変化を伴う三次元物体の運動を高精度に求めることができる。
【図１】
2005006251.tif 000046
【図２】
2005006251.tif 000047
【図３】
2005006251.tif 000048
【図４】
2005006251.tif 000049
【図５】
2005006251.tif 000050
【図６】
2005006251.tif 000051
【図７】
2005006251.tif 000052
【図８】
2005006251.tif 000053
【図９】
2005006251.tif 000054
【図１０】
2005006251.tif 000055
【図１１】
2005006251.tif 000056
【図１２】
2005006251.tif 000057
【図１３】
2005006251.tif 000058
2005006251.tif 000059
2005006251.tif 000060
【図１６】
2005006251.tif 000061
【図１７】
2005006251.tif 000062
【国際調査報告】
2005006251.tif 000063
2005006251.tif 000064
2005006251.tif 000065
2005006251.tif 000066
2005006251.tif 000067
2005006251.tif 000068