JP 4136888 B2 2008.8.20(57)【特許請求の範囲】【請求項１】
画像データを入力する入力手段と、前記入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像
データの変化の仕方をモデル化し、前記モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性
抽出手段と、
前記入力手段に入力された対象物体の第ｉ姿勢の画像データと、前記記憶手段に保存されている第ｉ姿勢特性量とに基づいて、前記対象物体のテクスチャ特性を表わすテクスチ

10ャ特性量を推定するテクスチャ特性推定手段と、第ｊ姿勢の指定に応じて、前記推定した対象物体のテクチャ特性量と、前記記憶手段に保存されている第ｊ姿勢特性量とに基づいて、前記対象物体の第ｊ姿勢の画像データの特徴量を推定する画像データ推定手段と、前記入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段とを備え、
前記姿勢特性抽出手段は、
前記入力手段にテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、前記特徴ベクトル算出手段で前記各々の画像デー
タの特徴ベクトルが算出されたときに、前記各特徴ベクトルを要素とする行列Ｂを直交行

20

(2)

JP 4136888 B2 2008.8.20

列Ｕ、対角行列Ｓおよび直交行列Ｖによって、ＵＳＶTの積の形に特異値分解する特異値
分解手段と、
前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを
前記第ｋ姿勢特性量として前記記憶手段に保存する保存手段とを備え、
前記テクスチャ特性推定手段は、前記入力手段に対象物体の第ｉ姿勢の画像データが入力されて、前記特徴ベクトル算出手段で前記対象物体の第ｉ姿勢の画像データの特徴ベク
トルＡiが算出されたときに、前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わすテクスチャ状態ベクトルｖを前記テクスチャ特性量として推定10し、
前記画像データ推定手段は、第ｊ姿勢の指定に応じて、前記テクチャ状態ベクトルｖと前記記憶手段に保存されている第ｊ姿勢特性ベクトルＰjとに基づいて、前記対象物体の第ｊ姿勢の画像データの特徴ベクトルを前記第ｊ姿勢の画像データの特徴量として推定す
る、画像生成装置。
【請求項２】
前記保存手段は、前記行列Ｕと前記行列Ｓとの積である行列ＵＳを算出し、前記行列Ｕ
Ｓの第ｋ行を第ｋ姿勢特性ベクトルＰkとして前記記憶手段に保存する、請求項１記載の画像生成装置。
【請求項３】

20

前記画像生成装置は、さらに、
前記行列Ｓの特異値のうち、所定の値以上の特異値がｒ個あるときに、前記行例Ｕの第１列から第ｒ列までにより構成される行列Ｕ′と、前記行列Ｓの第１列から第ｒ列まで、
および第１行から第ｒ行までにより構成される行列Ｓ′を生成する手段を含み、前記保存手段は、前記行列Ｕ′と前記行列Ｓ′との積である行列Ｕ′Ｓ′を算出し、前記行列Ｕ′Ｓ′の第ｋ行を第ｋ姿勢特性ベクトルＰkとして前記記憶手段に保存する、請求項１記載の画像生成装置。
【請求項４】
前記テクスチャ特性推定手段は、（ＰiTＰｉ）‑1ＰiTＡiをテクスチャ状態ベクトルｖとして推定し、

30

前記画像データ推定手段は、Ｐjｖを第ｊ姿勢の特徴ベクトルとして推定する、請求項
１記載の画像生成装置。
【請求項５】
前記テクスチャ特性推定手段は、さらに、
前記入力手段に対象物体の第ｊ姿勢の画像データが入力され、前記特徴ベクトル算出手段で算出された前記入力された対象物体の第ｊ姿勢の画像データの特徴ベクトルと、前記推定した対象物体の第ｊ姿勢の特徴ベクトルとの誤差に基づいて前記テクスチャ状態ベク
トルｖを更新する、請求項４記載の画像生成装置。
【請求項６】
前記テクスチャ特性推定手段は、前記特徴ベクトル算出手段で算出された前記入力され40た対象物体の第ｊ姿勢の画像データを観測べクトルとしたカルマンフィルタ処理によって
前記テクスチャ状態ベクトルｖの更新を行なう、請求項５記載の画像生成装置。
【請求項７】
前記特徴ベクトル算出手段は、前記入力された画像データをブロックに分割し、各ブロ
ック内の画素値の平均値を算出し、全ブロックについての前記平均値からなる特徴ベクトルを生成する、請求項１記載の画像生成装置。
【請求項８】
画像データを入力する入力手段と、前記入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像

50

(3)

JP 4136888 B2 2008.8.20

データの変化の仕方をモデル化し、前記モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性
抽出手段と、
前記入力手段に入力された対象物体の第ｉ姿勢の画像データと、前記記憶手段に保存されている第ｉ姿勢特性量とに基づいて、前記対象物体のテクスチャ特性を表わすテクスチ
ャ特性量を推定するテクスチャ特性推定手段と、
ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、前記記憶手段に保存されている第ｋ姿勢特性量と、前記推定した対象物体のテクチャ特性量とに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴量を推定する画像データ推定手段と、前記入力手段に前記対象物体の未知姿勢の画像データが入力されたときに、前記推定し10たｓ個の画像データのうち、前記未知姿勢の画像データに最も類似する画像データが第ｎ姿勢のときに、前記対象物体の姿勢が第ｎ姿勢であると判定する判定手段と、前記入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段とを備え、
前記姿勢特性抽出手段は、
前記入力手段にテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、前記特徴ベクトル算出手段で前記各々の画像デー
タの特徴ベクトルが算出されたときに、前記各特徴ベクトルを要素とする行列Ｂを直交行
列Ｕ、対角行列Ｓおよび直交行列Ｖによって、ＵＳＶTの積の形に特異値分解する特異値
分解手段と、

20

前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを
前記第ｋ姿勢特性量として前記記憶手段に保存する保存手段とを備え、
前記テクスチャ特性推定手段は、前記入力手段に対象物体の第ｉ姿勢の画像データが入力されて、前記特徴ベクトル算出手段で前記対象物体の第ｉ姿勢の画像データの特徴ベク
トルＡiが算出されたときに、前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わすテクスチャ状態ベクトルｖを前記テクスチャ特性量として推定
し、
前記画像データ推定手段は、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋに30ついて、前記テクチャ状態ベクトルｖと前記記憶手段に保存されている第ｋ姿勢特性ベク
トルＰkとに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴ベクトルを前記第ｋ姿勢の画像データの特徴量として推定し、
前記判定手段は、前記入力手段に前記対象物体の未知姿勢の画像データが入力されて、前記特徴ベクトル算出手段で前記対象物体の未知姿勢の画像データの特徴ベクトルが算出されたときに、前記推定したｓ個の特徴ベクトルのうち、前記未知姿勢の画像データの特徴ベクトルとベクトル間距離が最小となる特徴ベクトルを特定し、前記特定した特徴ベク
トルが第ｎ姿勢特性ベクトルのときに、前記対象物体の姿勢が第ｎ姿勢であると判定する、姿勢認識装置。
【請求項９】

40

画像データを入力する入力手段と、前記入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像
データの変化の仕方をモデル化し、前記モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性
抽出手段と、
前記入力手段に入力された対象物体の第ｉ姿勢の画像データと、前記記憶手段に保存されている第ｉ姿勢特性量とに基づいて、前記対象物体のテクスチャ特性を表わすテクスチ
ャ特性量を推定するテクスチャ特性推定手段と、
ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、前記記憶手段に保存

50

(4)

JP 4136888 B2 2008.8.20

されている第ｋ姿勢特性量と前記推定した対象物体のテクチャ特性量とに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴量を推定する画像データ推定手段と、前記入力手段に未知対象の画像データが入力されたときに、前記推定したｓ個の画像データのうち、前記未知対象の画像データに所定の範囲で類似する画像データが存在するときには、前記入力された画像データに前記対象物体が含まれると判定し、前記所定の範囲
で類似する画像データが存在しないときには、前記入力された画像データに前記対象物体が含まれないと判定する判定手段と、前記入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段とを備え、
前記姿勢特性抽出手段は、

10

前記入力手段にテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、前記特徴ベクトル算出手段で前記各々の画像デー
タの特徴ベクトルが算出されたときに、前記各特徴ベクトルを要素とする行列Ｂを直交行
列Ｕ、対角行列Ｓおよび直交行列Ｖによって、ＵＳＶTの積の形に特異値分解する特異値
分解手段と、
前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを
前記第ｋ姿勢特性量として前記記憶手段に保存する保存手段とを備え、
前記テクスチャ特性推定手段は、前記入力手段に対象物体の第ｉ姿勢の画像データが入力されて、前記特徴ベクトル算出手段で前記対象物体の第ｉ姿勢の画像データの特徴ベク

20

トルＡiが算出されたときに、前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わすテクスチャ状態ベクトルｖを前記テクスチャ特性量として推定
し、
前記画像データ推定手段は、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、前記テクチャ状態ベクトルｖと前記記憶手段に保存されている第ｋ姿勢特性ベク
トルＰkとに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴ベクトルを前記第ｋ姿勢の画像データの特徴量として推定し、
前記判定手段は、前記入力手段に未知対象の画像データが入力されて、前記特徴ベクトル算出手段で前記未知対象の画像データの特徴ベクトルが算出されたときに、前記推定し30たｓ個の特徴ベクトルの中に、前記未知対象の画像データの特徴ベクトルとベクトル間距
離が所定値以下である特徴ベクトルが存在するときには、前記入力された未知対象の画像
データに前記対象物体が含まれると判定し、存在しないときには、前記入力された未知対象の画像データに前記対象物体が含まれないと判定する、物体追跡装置。
【請求項１０】
テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、前記取得した各画像データの特徴を表わす特徴ベクトルを算出するステップと、
前記各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖに
よって、ＵＳＶTの積の形に特異値分解するステップと、

40

前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを記憶手段に保存する保存するステップと、対象物体の第ｉ姿勢の画像データを取得するステップと、前記取得した対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiを算出するステップと、
前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わす
テクスチャ状態ベクトルｖを推定するステップと、第ｊ姿勢の指定に応じて、前記テクチャ状態ベクトルｖと前記記憶手段に保存されてい

50

(5)

JP 4136888 B2 2008.8.20

る第ｊ姿勢特性ベクトルＰjとに基づいて、前記対象物体の第ｊ姿勢の画像データの特徴
ベクトルを推定するステップとを備える、画像生成方法。
【請求項１１】
テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、前記取得した各画像データの特徴を表わす特徴ベクトルを算出するステップと、
前記各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖに
よって、ＵＳＶTの積の形に特異値分解するステップと、
前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを

10

記憶手段に保存する保存するステップと、対象物体の第ｉ姿勢の画像データを取得するステップと、前記取得した前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiを算出するステ
ップと、前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わす
テクスチャ状態ベクトルｖを推定するステップと、
ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、前記テクチャ状態ベ
クトルｖと前記記憶手段に保存されている第ｋ姿勢特性ベクトルＰkとに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴ベクトルを推定するステップと、

20

前記対象物体の未知姿勢の画像データを取得するステップと、前記取得した未知姿勢の画像データの特徴ベクトルを算出するステップと、前記推定したｓ個の特徴ベクトルのうち、前記未知姿勢の画像データの特徴ベクトルとベクトル間距離が最小となる特徴ベクトルを特定し、前記特定した特徴ベクトルが第ｎ姿
勢特性ベクトルのときに、前記対象物体の姿勢が第ｎ姿勢であると判定するステップとを備える、姿勢認識方法。
【請求項１２】
テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、前記取得した各画像データの特徴を表わす特徴ベクトルを算出するステップと、

30

前記各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖに
よって、ＵＳＶTの積の形に特異値分解するステップと、
前記行列Ｕと前記行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを記憶手段に保存する保存するステップと、対象物体の第ｉ姿勢の画像データを取得するステップと、前記取得した前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiを算出するステ
ップと、前記対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、前記記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、前記対象物体のテクスチャ特性を表わす

40

テクスチャ状態ベクトルｖを推定するステップと、
ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、前記テクチャ状態ベ
クトルｖと前記記憶手段に保存されている第ｋ姿勢特性ベクトルＰkとに基づいて、前記対象物体の第ｋ姿勢の画像データの特徴ベクトルを推定するステップと、
未知対象の画像データを取得するステップと、前記取得した未知対象の画像データの特徴ベクトルを算出するステップと、前記推定したｓ個の特徴ベクトルの中に、前記未知対象の画像データの特徴ベクトルとベクトル間距離が所定値以下である特徴ベクトルが存在するときには、前記取得した未知対象の画像データに前記対象物体が含まれると判定し、存在しないときには、前記取得した未知対象の画像データに前記対象物体が含まれないと判定するステップとを備える、物

50

(6)

JP 4136888 B2 2008.8.20

体追跡方法。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、画像生成装置、姿勢認識装置、物体追跡装置、画像生成方法、姿勢認識方法、および物体追跡方法に関し、特に、アピアランスベースの画像生成装置、姿勢認識装置、物体追跡装置、画像生成方法、姿勢認識方法、および物体追跡方法に関する。
【背景技術】【０００２】
従来、画像認識システム、およびコンピュータグラフィックスシステムでは、対象物体

10の幾何学的モデルを用いて、対象物体の認識、または対象物体の画像の生成が行なわれてきた。このような幾何学的モデルを用いる場合には、モデルの構築は人手で行なわれる。
そのため、対象物体の形状が複雑であれば、モデルの構築の作業が膨大で、モデルの構築は実際上、不可能となる場合もある。
【０００３】
これに対して、非特許文献１では、アピアランスベースを用いて物体の認識を行なう方法が記載されている。このアピアランスベースによる方法では、サンプル画像を用いて自動的に統計的なモデルが構築されるので、モデルの構築が容易である。
【非特許文献１】Hiroshi Murase and Shree k.Nayar, Visual Learning and Recognitio
n of 3‑D Objects from Appearance, International Journal of Computer Vision, 14,20

5‑24 (1995)【発明の開示】【発明が解決しようとする課題】【０００４】
しかしながら、非特許文献１に記載のアピアランスベースモデルでは、物体のテクスチ
ャ特性が考慮されてない。図２０は、３種類の服装の人物画像を示す。同図に示されるよ
うに、人物画像では、服装などの違いによってテクスチャ特性が大きく変化する。非特許
文献１では、テクスチャ特性を考慮しないため、人物などの画像の処理がうまくゆかない。すなわち、非特許文献１では、モデルの構築に用いた画像とテクスチャ特性とが異なる画像の生成がうまくゆかず、また、モデルの構築に用いた物体とテクスチャ特性が異なる

30

物体の姿勢認識や物体の追跡処理をうまく行なうことができない。
【０００５】
それゆえに、本発明の目的は、物体のテクスチャ特性が変化しても処理精度の劣化を抑制できる画像生成装置、姿勢認識装置、物体追跡装置、画像生成方法、姿勢認識方法、および物体追跡方法を提供することである。
【課題を解決するための手段】【０００６】
上記課題を解決するために、本発明に係る画像生成装置は、画像データを入力する入力
手段と、入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物
体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画40

像データの変化の仕方をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性抽
出手段と、入力手段に入力された対象物体の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性量とに基づいて、対象物体のテクスチャ特性を表わすテクスチャ特性量を推定するテクスチャ特性推定手段と、第ｊ姿勢の指定に応じて、推定した対象物体のテクチャ特性量と、記憶手段に保存されている第ｊ姿勢特性量とに基づいて、対象物体の第ｊ姿勢の画像データを推定する画像データ推定手段とを備える。
【０００７】
好ましくは、画像生成装置は、入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段をさらに備え、姿勢特性抽出手段は、入力手段にテクスチャ

50

(7)

JP 4136888 B2 2008.8.20

がそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、特徴ベクトル算出手段で各々の画像データの特徴ベクトルが算出されたときに、各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖによって、ＵＳＶTの積の形に特異値分解する特異値分解手段と、行列Ｕと行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを第ｋ姿勢特性量として記憶手段に保存す

る保存手段とを備え、テクスチャ特性推定手段は、入力手段に対象物体の第ｉ姿勢の画像
データが入力されて、特徴ベクトル算出手段で対象物体の第ｉ姿勢の画像データの特徴ベ
クトルＡiが算出されたときに、対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、対象物体のテクスチ

10ャ特性を表わすテクスチャ状態ベクトルｖをテクスチャ特性量として推定し、画像データ
推定手段は、姿勢ｊの指定に応じて、テクチャ状態ベクトルｖと記憶手段に保存されている第ｊ姿勢特性ベクトルＰjとに基づいて、対象物体の第ｊ姿勢の画像データの特徴ベクトルを推定する。
【０００８】
好ましくは、保存手段は、行列Ｕと行列Ｓとの積である行列ＵＳを算出し、行列ＵＳの第ｋ行を第ｋ姿勢特性ベクトルＰkとして記憶手段に保存する。
【０００９】
好ましくは、画像生成装置は、さらに、行列Ｓの特異値のうち、所定の値以上の特異値がｒ個あるときに、行例Ｕの第１列から第ｒ列までにより構成される行列Ｕ′と、行列Ｓ20の第１列から第ｒ列まで、および第１行から第ｒ行までにより構成される行列Ｓ′を生成する手段を含み、保存手段は、行列Ｕ′と行列Ｓ′との積である行列Ｕ′Ｓ′を算出し、行列Ｕ′Ｓ′の第ｋ行を第ｋ姿勢特性ベクトルＰkとして記憶手段に保存する。
【００１０】
好ましくは、テクスチャ特性推定手段は、（ＰiTＰｉ）‑1ＰiTＡiをテクスチャ状態ベ
クトルｖとして推定し、画像データ推定手段は、Ｐjｖを第ｊ姿勢の特徴ベクトルとして推定する。
【００１１】
好ましくは、テクスチャ特性推定手段は、さらに、入力手段に対象物体の第ｊ姿勢の画像データが入力され、特徴ベクトル算出手段で算出された入力された対象物体の第ｊ姿勢

30の画像データの特徴ベクトルと、推定した対象物体の第ｊ姿勢の特徴ベクトルとの誤差に基づいてテクスチャ状態ベクトルｖを更新する。
【００１２】
好ましくは、テクスチャ特性推定手段は、特徴ベクトル算出手段で算出された入力された対象物体の第ｊ姿勢の画像データを観測べクトルとしたカルマンフィルタ処理によってテクスチャ状態ベクトルｖの更新を行なう。
【００１３】
好ましくは、特徴ベクトル算出手段は、入力された画像データをブロックに分割し、各ブロック内の画素値の平均値を算出し、全ブロックについての平均値からなる特徴ベクトルを生成する。

40【００１４】
また、本発明に係る姿勢認識装置は、画像データを入力する入力手段と、入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性抽出手段と、入力手段に入力された対象物体の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性
量とに基づいて、対象物体のテクスチャ特性を表わすテクスチャ特性量を推定するテクス
チャ特性推定手段と、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、記憶手段に保存されている第ｋ姿勢特性量と、推定した対象物体のテクチャ特性量とに基

50

(8)

JP 4136888 B2 2008.8.20

づいて、対象物体の第ｋ姿勢の画像データを推定する画像データ推定手段と、入力手段に対象物体の未知姿勢の画像データが入力されたときに、推定したｓ個の画像データのうち、未知姿勢の画像データに最も類似する画像データが第ｎ姿勢のときに、対象物体の姿勢
が第ｎ姿勢であると判定する判定手段とを備える。
【００１５】
好ましくは、姿勢認識装置は、入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段をさらに備え、姿勢特性抽出手段は、入力手段にテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、特徴ベクトル算出手段で各々の画像データの特徴ベクトルが算出されたときに、各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖによっ

10て、ＵＳＶTの積の形に特異値分解する特異値分解手段と、行列Ｕと行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを第ｋ姿勢特性量として記憶手段に保存す

る保存手段とを備え、テクスチャ特性推定手段は、入力手段に対象物体の第ｉ姿勢の画像
データが入力されて、特徴ベクトル算出手段で対象物体の第ｉ姿勢の画像データの特徴ベ
クトルＡiが算出されたときに、対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、対象物体のテクスチ
ャ特性を表わすテクスチャ状態ベクトルｖをテクスチャ特性量として推定し、画像データ
推定手段は、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、テクチャ
状態ベクトルｖと記憶手段に保存されている第ｋ姿勢特性ベクトルＰkとに基づいて、対20

象物体の第ｋ姿勢の画像データの特徴ベクトルを推定し、判定手段は、入力手段に対象物
体の未知姿勢の画像データが入力されて、特徴ベクトル算出手段で対象物体の未知姿勢の画像データの特徴ベクトルが算出されたときに、推定したｓ個の特徴ベクトルのうち、未知姿勢の画像データの特徴ベクトルとベクトル間距離が最小となる特徴ベクトルを特定し、特定した特徴ベクトルが第ｎ姿勢特性ベクトルのときに、対象物体の姿勢が第ｎ姿勢であると判定する。
【００１６】
また、本発明に係る物体追跡装置は、画像データを入力する入力手段と、入力手段に入力されたテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方

30をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存する姿勢特性抽出手段と、入力手段に入力された対象物体の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性
量とに基づいて、対象物体のテクスチャ特性を表わすテクスチャ特性量を推定するテクス
チャ特性推定手段と、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、記憶手段に保存されている第ｋ姿勢特性量と推定した対象物体のテクチャ特性量とに基づいて、対象物体の第ｋ姿勢の画像データを推定する画像データ推定手段と、入力手段に未知対象の画像データが入力されたときに、推定したｓ個の画像データのうち、未知対象の画像データに所定の範囲で類似する画像データが存在するときには、入力された画像デー
タに対象物体が含まれると判定し、所定の範囲で類似する画像データが存在しないときに40は、入力された画像データに対象物体が含まれないと判定する判定手段とを備える。
【００１７】
好ましくは、物体追跡装置は、入力された画像データの特徴を表わす特徴ベクトルを算出する特徴ベクトル算出手段をさらに備え、姿勢特性抽出手段は、入力手段にテクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データが入力され、特徴ベクトル算出手段で各々の画像データの特徴ベクトルが算出されたときに、各特徴ベクトルを要素とする行列Ｂを直交行列Ｕ、対角行列Ｓおよび直交行列Ｖによって、ＵＳＶTの積の形に特異値分解する特異値分解手段と、行列Ｕと行列Ｓとに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性ベクトルＰkを算出し、算出した第ｋ姿勢特性ベクトルＰkを第ｋ姿勢特性量として記憶手段に保存す

50

(9)

JP 4136888 B2 2008.8.20

る保存手段とを備え、テクスチャ特性推定手段は、入力手段に対象物体の第ｉ姿勢の画像
データが入力されて、特徴ベクトル算出手段で対象物体の第ｉ姿勢の画像データの特徴ベ
クトルＡiが算出されたときに、対象物体の第ｉ姿勢の画像データの特徴ベクトルＡiと、記憶手段に保存されている第ｉ姿勢特性ベクトルＰiとに基づいて、対象物体のテクスチ
ャ特性を表わすテクスチャ状態ベクトルｖをテクスチャ特性量として推定し、画像データ
推定手段は、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、テクチャ
状態ベクトルｖと記憶手段に保存されている第ｋ姿勢特性ベクトルＰkとに基づいて、対象物体の第ｋ姿勢の画像データの特徴ベクトルを推定し、判定手段は、入力手段に未知対象の画像データが入力されて、特徴ベクトル算出手段で未知対象の画像データの特徴ベク
トルが算出されたときに、推定したｓ個の特徴ベクトルの中に、未知対象の画像データの10

特徴ベクトルとベクトル間距離が所定値以下である特徴ベクトルが存在するときには、入力された未知対象の画像データに対象物体が含まれると判定し、存在しないときには、入力された未知対象の画像データに対象物体が含まれないと判定する。
【００１８】
また、本発明に係る画像生成方法は、テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、Ｍ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存するステップと、対象物体の第ｉ姿勢の画像データを取得し、対象物体

20の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性量とに基づき、対象
物体のテクスチャ特性を表わすテクスチャ特性量を推定するステップと、第ｊ姿勢の指定に応じて、推定した対象物体のテクチャ特性量と、記憶手段に保存されている第ｊ姿勢特性量とに基づいて、対象物体の第ｊ姿勢の画像データを推定するステップとを含む。
【００１９】
また、本発明に係る姿勢認識方法は、テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、Ｍ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し30、記憶手段に保存するステップと、対象物体の第ｉ姿勢の画像データを取得し、対象物体の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性量とに基づき、対象
物体のテクスチャ特性を表わすテクスチャ特性量を推定するステップと、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、記憶手段に保存されている第ｋ姿勢特性量と、推定した対象物体のテクチャ特性量とに基づいて、対象物体の第ｋ姿勢の画像データを推定するステップと、対象物体の未知姿勢の画像データを取得し、推定したｓ個の画像データのうち、未知姿勢の画像データに最も類似する画像データが第ｎ姿勢のときに、対象物体の姿勢が第ｎ姿勢であると判定するステップとを含む。
【００２０】
また、本発明に係る物体追跡方法は、テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサ

40

ンプル物体のＫ（Ｋ≧２）個の姿勢について、それぞれの画像データを取得するステップと、Ｍ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方をモデル化し、モデルに基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、記憶手段に保存するステップと、対象物体の第ｉ姿勢の画像データを取得し、対象物体の第ｉ姿勢の画像データと、記憶手段に保存されている第ｉ姿勢特性量とに基づき、対象
物体のテクスチャ特性を表わすテクスチャ特性量を推定するステップと、ｓ（１≦ｓ≦Ｋ）個の互いに相違する１以上Ｋ以下のｋについて、記憶手段に保存されている第ｋ姿勢特性量と、推定した対象物体のテクチャ特性量とに基づいて、対象物体の第ｋ姿勢の画像データを推定するステップと、未知対象の画像データを取得し、推定したｓ個の画像データ

50

(10)

JP 4136888 B2 2008.8.20のうち、未知対象の画像データに所定の範囲で類似する画像データが存在するときには、取得した未知対象の画像データに対象物体が含まれると判定し、類似する画像データが存在しないときには、取得した未知対象の画像データに対象物体が含まれないと判定するス
テップとを含む。
【発明の効果】【００２１】
本発明によれば、物体のテクスチャ特性が変化しても、画像生成の精度、姿勢認識の精度、または物体追跡の精度の劣化を抑制できる。
【発明を実施するための最良の形態】【００２２】

10

以下、本発明の実施の形態について図面を用いて説明する。
【００２３】［第１の実施形態］（姿勢変化モデル）
まず、本実施の形態の姿勢変化モデルについて説明する。
【００２４】（１）

特徴ベクトルの算出

まず、計算コストを削減するために、入力された画像データから特徴を抽出する。図１
は、画像データをブロック分割する方法を示す。同図に示すように、（ｍ×ｎ）個の画素からなる画像データを（ｐ×ｑ）個の画素からなるブロックに分割する。各ブロックをＸ

20

1、Ｘ2、・・・ＸNとする。ブロックＸlについて、数式（１）に示すように、画素値の平均値ａｌを計算する。
【００２５】【数１】【００２６】
ここで、ｘ（ｓ、ｔ）は、座標（ｓ、ｔ）における画素値である。

30【００２７】
すべてのブロックについて、数式（１）にしたがって、画素値の平均値を計算すること
により、数式（２）に示す特徴ベクトルＡが得られる。この特徴ベクトルＡによて、入力された画像データの特徴を表わすこととする。
【００２８】【数２】

40【００２９】
ｐ＝ｑ＝１のとき、数式（２）の特徴ベクトルＡは、画像データと一致する。
【００３０】（２）

２つの姿勢間での変化のモデル

まず、２つの姿勢間での変化のモデルについて説明する。姿勢の変化は、物体の移動、ジェスチャ動作、カメラの移動などによって起こり、同一物体の形状が変化することをいう。図２に示すように、サンプル物体の２つの姿勢をｉとｊとし、第ｉ姿勢の画像データと第ｊ姿勢の画像データがあるときに、第ｉ姿勢から第ｊ姿勢への特徴ベクトルの変化は、数式（３）で表わすことができる。
【００３１】50

(11)JP 4136888 B2 2008.8.20【数３】【００３２】
ここで、Ｔijは、第ｊ姿勢の特徴ベクトルＡiを第ｊ姿勢の特徴ベクトルＡjへ変換する
ための変換行列を表わす。
【００３３】
テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体について、第ｉ姿勢の画像

10

データと第ｊ姿勢の画像データとがあるときには、数式（３）は、数式（４）に拡張される。
【００３４】【数４】【００３５】
第ｉ姿勢の特徴ベクトル列Ｂiを、数式（５）のように定義する。第ｊ姿勢の特徴ベク

20

トル列Ｂjも同様である。
【００３６】【数５】【００３７】
次に、変換行列Ｔijは、擬似逆行列を用いると、数式（６）のように表わされる。
【００３８】30【数６】【００３９】
変換行列Ｔijは、図３に示すように、第ｉ姿勢の特徴ベクトルＡiから第ｊ姿勢への特徴ベクトルＡjへの直接マッピングを表わす。
【００４０】
次に、上記と別の視点から上記と同様の関係を記述する。

40【００４１】
特徴ベクトル列ＢiとＢjとからなる（２Ｎ×Ｍ）の特徴行列Ｂを数式（７）に示すように、特異値分解する。
【００４２】
【数７】

50

(12)

JP 4136888 B2 2008.8.20【００４３】
ここで、Ｕは、２Ｎ×２Ｎの直交行列であり、Ｖは、Ｍ×Ｍの直交行列であり、Ｓは、
２Ｎ×Ｍの対角行列である。Ｓの対角項には、特異値が大きい順に並ぶ。数式（７）は、数式（８）のようにも表わすことができる。
【００４４】【数８】

10【００４５】
数式（８）を参照して、ＶTのｍ番目の列ベクトルｖ(m)は、行列Ｂのｍ番目の列ベクト
ル［Ａi(m)T

Ａj(m)T］Tに対応している。したがって、ｖ(m)は、Ｍ個のサンプル物体の中のサンプル物体ｍに固有の特徴、すなわちサンプル物体ｍのテクスチャ特性を表わしているとみなすことができる。それゆえ、各列ベクトルｖ(m)（ｍ＝１〜Ｍ）をサンプル物
体のテクスチャ状態ベクトルということにする。
【００４６】
さらに、数式（８）における行列ＵＳは、特徴行列Ｂからテクスチャの特性が抽出された後の特徴を示す行列であるので、物体に共通の姿勢特性を表わしているとみなすことが20できる。また、数式（９）に示すように、行列ＵＳは、２つの部分に分けることができる。
【００４７】【数９】【００４８】30

Ｐiは、第ｉ姿勢の特性を示していると考えることができるので、第ｉ姿勢特性ベクトルといい、Ｐjは、第ｊ姿勢の特性を示していると考えることができるので、第ｊ姿勢特性ベクトルという。
【００４９】
さらに、数式（９）を用いると、数式（８）は、数式（１０）および数式（１１）のよ
うに変形することができる。
【００５０】【数１０】40【００５１】【数１１】【００５２】
数式（１０）および数式（１１）より、数式（１２）が得られる。

50

(13)

JP 4136888 B2 2008.8.20【００５３】【数１２】【００５４】
数式（１２）と数式（４）とを比較することにより、変換行列Ｔijは、数式（１３）のようにも表わすことができる。
【００５５】

10【数１３】【００５６】
数式（１３）は、第ｉ姿勢の特徴ベクトルＡiから第ｊ姿勢への特徴ベクトルＡjへの直接マッピングを、数式（６）の表現とは異なる形式で表わしたものである。
【００５７】
さて、対角行列Ｓは、２Ｎ×Ｍの行列であり、数式（１４）のように表わされる。

20【００５８】【数１４】30【００５９】
ここで、ｓ1、ｓ2、・・・、ｓMは、特異値であり、ｓ1≧ｓ2、・・・、≧ｓMである。
Ｍ個の特異値のうち、所定値以上の特異値がｔ個のときに、数式（１５）に示すように、対角行列Ｓの第１列〜第ｔ列と、および第１行〜第ｔ行による構成される対角行列Ｓ′を生成する。
【００６０】【数１５】

40【００６１】
ここで、ｔ≦Ｍである。対角行列Ｓ′は、ｔ×ｔの大きさである。そして、直交行列ＵとＶの大きさも、対角行列Ｓ′の大きさに合わせる。直交行列Ｕの第１列〜第ｔ列による構成される直交行列Ｕ′を生成する。直交行列Ｖの第１列〜第ｔ列による構成される直交行列Ｖ′を生成する。直交行列Ｕ′の大きさは、２Ｎ×ｔとなり、直交行列Ｖ′の大きさ

50

(14)

JP 4136888 B2 2008.8.20

は、Ｍ×ｔとなる。
【００６２】
直交行列Ｕ′および対角行列Ｓ′を用いて、数式（９）を書換えると数式（１６）のようになる。
【００６３】【数１６】

10【００６４】
図４は、数式（１２）による、特徴ベクトルＡiから特徴ベクトルＡjへの間接マッピン
グを模式化したものである。同図に示すように、第ｉ姿勢についての特徴ベクトルＡiは、第ｉ姿勢の特性を表わす姿勢特性ベクトルＰi′との演算によってテクスチャの特性だ
けが抽出されて、テクスチャ状態ベクトルｖ（＝（Ｐi′TＰi′）‑1Ｐi′TＡiの推定値が得られる。そして、このテクスチャ状態ベクトルｖの推定値は、第ｊ姿勢の特性を表わす
第ｊ姿勢特性ベクトルＰj′との演算によって、第ｊ姿勢についての特徴ベクトルＡjの推定値が得られる。

20【００６５】（３）

３以上の複数姿勢間での変化のモデル

次に、（２）で説明した２つの姿勢間での変化のモデルを、複数姿勢間の変化のモデルに拡張する。Ｋ（Ｋ≧２）個の姿勢があるときに、数式（７）は、数式（１７）のように修正される。
【００６６】【数１７】

30【００６７】
ここで、特徴行列Ｂの大きさは、（Ｋ×Ｎ）×Ｍであり、直交行列Ｕの大きさは、（Ｋ×Ｎ）×（Ｋ×Ｎ）であり、直交行列Ｖの大きさは、Ｍ×Ｍであり、対角行列Ｓの大きさ
は、（Ｋ×Ｎ）×Ｍである。
【００６８】
また、数式（９）は、数式（１８）のように修正される。
【００６９】40

(15)JP 4136888 B2 2008.8.20【数１８】【００７０】

10

さて、対角行列Ｓは、（Ｋ×Ｎ）×Ｍの行列であり、数式（１９）のように表わされる。
【００７１】【数１９】20【００７２】
ここで、ｓ1、ｓ2、・・・、ｓMは、特異値であり、ｓ1≧ｓ2、・・・、≧ｓMである。
ここで、Ｍ個の特異値のうち、所定値以上の特異値がｒ個のときに、数式（２０）に示す
ように、対角行列Ｓの第１列〜第ｒ列と、および第１行〜第ｒ行による構成される対角行列Ｓ′を生成する。
【００７３】【数２０】30【００７４】
ここで、ｒ≦Ｍである。対角行列Ｓ′は、ｒ×ｒの大きさである。そして、直交行列ＵとＶの大きさも、対角行列Ｓ′の大きさに合わせて調整する。すなわち、直交行列Ｕの第１列〜第ｒ列による構成される直交行列Ｕ′を生成する。直交行列Ｖの第１列〜第ｒ列による構成される直交行列Ｖ′を生成する。直交行列Ｕ′の大きさは、（Ｋ×Ｎ）×ｒで、直交行列Ｖ′の大きさは、Ｍ×ｒとなる。
【００７５】
直交行列Ｕ′および対角行列Ｓ′を用いて、数式（１８）を書き直すと、数式（２１）のようになる。
【００７６】40

(16)JP 4136888 B2 2008.8.20【数２１】【００７７】（４）10

対象物体の任意姿勢での特徴ベクトルの推定

次に、対象物体の第ｉ姿勢についての特徴ベクトルＡiが得られたときに、１≦ｋ≦Ｋの任意のｋについて第ｋ姿勢についての特徴ベクトルＡjを推定する方法について説明する。
【００７８】
数式（１０）〜（１２）より、対象物体の第ｉ姿勢についての特徴ベクトルＡiが与えられたときに、対象物体のテクスチャ状態ベクトルｖの推定値は、数式（２２）に示すよ
うに、第ｉ姿勢特性ベクトルＰi′と特徴ベクトルＡiとによって表わされる。
【００７９】【数２２】

20【００８０】
また、数式（１０）〜（１２）より、対象物体の第ｋ姿勢についての特徴ベクトルＡkの推定値は、数式（２３）に示すように、第ｋ姿勢特性ベクトルＰk′と対象物体のテクスチャ状態ベクトルｖとによって表わされる。
【００８１】【数２３】30【００８２】
図５は、数式（２２）および数式（２３）による、特徴ベクトルＡiから特徴ベクトル
Ａjへの変換を模式化したものである。同図に示すように、対象物体の第ｉ姿勢についての特徴ベクトルＡiは、第ｉ姿勢の特性を表わす姿勢特性ベクトルＰi′との演算によって対象物体のテクスチャの特性だけが抽出されて、対象物体のテクスチャ状態ベクトルｖの推定値が得られる。そして、この対象物体のテクスチャ状態ベクトルの推定値は、第ｊ姿勢の特性を表わす第ｊ姿勢特性ベクトルＰj′との演算によって、第ｊ姿勢についての特徴ベクトルＡjの推定値が得られる。この特徴ベクトルＡjの推定値は、対象物体のテクス

40

チャ特性を有し、かつ第ｊ姿勢の特性を有する。
【００８３】（５）

対象物体の特徴ベクトルの順次推定

次に、時刻０において、対象物体の第ｌ０姿勢についての特徴ベクトルＡl0が得られ、時刻ｔにおいて、対象物体の姿勢が第ｌｔ姿勢と指定されたときに、特徴ベクトルＡltを推定する方法について説明する。
【００８４】
対象物体のテクスチャ状態ベクトルｖ0の推定値は、数式（２３）を書換えると、数式（２４）に示すように、第ｌ０姿勢特性ベクトルＰl0′と特徴ベクトルＡl0とによって表
わされる。

50

(17)

JP 4136888 B2 2008.8.20【００８５】【数２４】【００８６】
また、対象物体の第ｌｔ姿勢についての特徴ベクトルＡltの推定値は、数式（２３）を書換えると、数式（２５）に示すように、第ｌｔ姿勢特性ベクトルＰlt′と対象物体のテ
クスチャ状態ベクトルｖ0とによって表わされる。
【００８７】

10【数２５】【００８８】（構成）
図６は、本実施の形態に係る人物画像生成装置１の内部構成を示すブロック図である。
同図を参照して、この人物画像生成装置１は、画像データが入力される入力部１１と、特徴ベクトル算出部２１と、姿勢特性抽出部３０と、姿勢特性ベクトル群記憶部６０と、姿勢変化画像生成部４０と、表示部５０とから構成される。

20【００８９】
入力部１１は、姿勢特性抽出の対象となるＭ個サンプル物体のＫ個の姿勢の画像データ、および姿勢変化画像生成の対象となる対象物体の画像データを外部から取込む。また、
入力部１１は、外部から姿勢番号の指定を受ける。
【００９０】
特徴ベクトル算出部２１は、入力部１１に入力された各画像データの特徴ベクトルを算出する。すなわち、特徴ベクトル算出部２１は、図１に示すように、ｍ×ｎ個の画素からなる画像データをｐ×ｑ個の画素からなるブロックに分割する。特徴ベクトル算出部２１
は、各ブロックＸlについて、数式（１）に示すように、平均値ａｌを計算し、すべてのブロックについて数式（１）にしたがって、平均値を計算することにより、数式（２）に30示す特徴ベクトルを生成する。さらに、特徴ベクトル算出部２１は、Ｍ個のサンプル物体のＫ個の姿勢の画像データの特徴ベクトルを生成した後、数式（５）に示すように、ｋ＝
１〜Ｋについて、特徴ベクトルＡK(m) （ｍ＝１〜Ｍ）より第ｋ姿勢の特徴ベクトル列Ｂkを作成し、ｋ行目が特徴ベクトル列Ｂkである特徴行列Ｂを作成する。
【００９１】
姿勢特性抽出部３０は、特異値分解部３１と、次元縮小部３２と、姿勢特性ベクトル算
出部３３とで構成される。
【００９２】
特異値分解部３１は、数式（１７）に基づいて、（Ｋ×Ｎ）×Ｍの大きさの特徴行列Ｂを特異値分解して、（Ｋ×Ｎ）×（Ｋ×Ｎ）の大きさの直交行列Ｕ、（Ｋ×Ｎ）×Ｍの大40

きさの対角行列Ｓ、および（Ｍ×Ｍ）の大きさの直交行列Ｖを得る。
【００９３】
次元縮小部３２は、対角行列ＳのＭ個の特異値ｓ1、ｓ2、・・・ｓMのうち、値が所定値以上となる、ｓ1、ｓ2、・・、ｓrを選択し、数式（２０）に示すように、対角行列Ｓの第１列〜第ｒ列、および第１行〜第ｒ行による構成される対角行列Ｓ′を生成する。また、次元縮小部３２は、直交行列Ｕの第１列〜第ｒ列による構成される直交行列Ｕ′を生成し、直交行列Ｖの第１列〜第ｒ列による構成される直交行列Ｖ′を生成する。
【００９４】
姿勢特性ベクトル算出部３３は、数式（２１）に基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢特性ベクトルＰｋ′を算出して、姿勢特性ベクトル群記憶部６０に保

50

(18)

JP 4136888 B2 2008.8.20

存する
姿勢特性ベクトル群記憶部６０は、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢特性
ベクトルＰk′を記憶する。
【００９５】
姿勢変化画像生成部４０は、テクスチャ状態ベクトル推定部４１と、特徴ベクトル推定部４２とで構成される。
【００９６】
テクスチャ状態ベクトル推定部４１は、特徴ベクトル算出部２１で算出された対象物体の時刻０における姿勢ｌ０についての特徴ベクトルＡl0と、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクトルＰl0′とにより、数式（２４）に基づいて、テクスチャ状態ベク

10

トルｖ0を推定する
特徴ベクトル推定部４２は、入力部１１を通じて時刻ｔにおいて姿勢番号ｌｔが指定されたときに、姿勢特性ベクトル記憶部６０内の姿勢特性ベクトルＰlt′とテクスチャ状態
ベクトルｖ0とにより、数式（２５）に基づいて、対象物体の第ｌｔ姿勢についての特徴
ベクトルＡltを推定する。
【００９７】
表示部５０は、特徴ベクトル推定部４２で推定された特徴ベクトルを表示する。
【００９８】（動作）
図７は、本実施の形態に係る人物画像生成装置１による人物画像生成処理の動作手順を20示すフローチャートである。
【００９９】
図７を参照して、まず、入力部１１は、Ｍ個のサンプル物体のＫ個の姿勢について、サンプル画像データＳＩK(m)（ｋ＝１〜Ｋ、ｍ＝１〜Ｍ）を取得する（Ｓ１０１）。
【０１００】
特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、取得した各サンプル
画像データＳＩK(m)について特徴ベクトルＡK(m) （ｋ＝１〜Ｋ、ｍ＝１〜Ｍ）を算出す
る（Ｓ１０２）。
【０１０１】
特徴ベクトル算出部２１は、数式（５）に示すように、ｋ＝１〜Ｋについて、特徴ベク
(m)

トルＡK

30

（ｍ＝１〜Ｍ）より第ｋ姿勢の特徴ベクトル列Ｂkを作成し、ｋ行目が特徴ベ

クトル列Ｂkである特徴行列Ｂを作成する（Ｓ１０３）。
【０１０２】
次に、特異値分解部３１は、数式（１７）に基づいて、特徴行列Ｂを特異値分解して、直交行列Ｕ、対角行列Ｓ、直交行列Ｖを得る（Ｓ１０４）。
【０１０３】
次に、次元縮小部３２は、対角行列ＳのＭ個の特異値ｓ1、ｓ2、・・・ｓMのうち、値が所定値以上となる、ｓ1、ｓ2、・・、ｓrを選択し、数式（２０）に示すように、対角行列Ｓの第１列〜第ｒ列、および第１行〜第ｒ行による構成される対角行列Ｓ′を生成する。また、次元縮小部３２は、直交行列Ｕの第１列〜第ｒ列による構成される直交行列Ｕ40′を生成し、直交行列Ｖの第１列〜第ｒ列による構成される直交行列Ｖ′を生成する（Ｓ１０５）。
【０１０４】
次に、姿勢特性ベクトル算出部３３は、数式（２１）に基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢特性ベクトルＰｋ′を算出して、姿勢特性ベクトル群記憶部６０に保存する（Ｓ１０６）。
【０１０５】
次に、入力部１１は、時刻０において姿勢番号ｌ０と、対象物体の第ｌ０姿勢の画像データＯＩl0を取得する（Ｓ１０７）。
【０１０６】50

(19)JP 4136888 B2 2008.8.20

特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、対象物体の姿勢ｌ０の画像データの特徴ベクトルＡl0を算出する（Ｓ１０８）。
【０１０７】
次に、テクスチャ状態ベクトル推定部４１は、算出した特徴ベクトルＡl0と、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクトルＰl0′とにより、数式（２４）に基づいて、テクスチャ状態ベクトルｖ0を推定する（Ｓ１０９）。
【０１０８】
次に、入力部１１は、時刻ｔにおいて姿勢番号ｌｔを取得する（Ｓ１１０、Ｓ１１１）。
【０１０９】

10

次に、特徴ベクトル推定部４２は、姿勢特性ベクトル記憶部６０内の姿勢特性ベクトル
Ｐlt′とテクスチャ状態ベクトルｖ0とにより、数式（２５）に基づいて、対象物体の第ｌｔ姿勢の画像データの特徴ベクトルＡltを推定する（Ｓ１１２）。
【０１１０】
表示部５０は、推定した特徴ベクトルＡltを表示する（Ｓ１１３）。
【０１１１】
以下、Ｓ１１１〜Ｓ１１５の処理が終了の指示があるまで繰返される。
【０１１２】
以上のように、本実施の形態に係る人物画像生成装置によれば、サンプル物体の画像データを用いて物体に共通の姿勢特性が抽出される。この物体に共通の姿勢特性を用いて、

20

対象物体の画像データから対象物体に固有のテクスチャ特性が抽出される。そして、この抽出された対象物体の固有のテクスチャ特性と、物体に共通の姿勢特性とによって、対象
物体の所望の姿勢の画像データ（正確には、特徴ベクトル）が生成される。したがって、
サンプル物体のテクスチャ特性と、対象物体のテクスチャ特性が相違しても、画像生成の精度が劣化しない。
【０１１３】［第２の実施形態］
本実施の形態は、テクスチャ状態ベクトルの更新にカルマンフィルタを適用した人物画
像生成装置に関する。
【０１１４】

30（カルマンフィルタモデル）
まず、本実施の形態で用いるカルマンフィルタモデルについて説明する。対象物体のテ
クスチャ特性を表わすテクスチャベクトルｖtを、観測される特徴ベクトルＡltを通して観測することを考える。時刻ｔに指定された姿勢番号をｌｔとしたときに、時刻ｔの観測行列は、Ｐlt′となる。このとき、観測される特徴ベクトルＡltは、数式（２６）に示される観測過程により得られると考える。
【０１１５】【数２６】
40【０１１６】
ここで、ｅtは、観測誤差であり、その共分散をＲtとする。
【０１１７】
通常のカルマンフィルタでは、状態ベクトルの変動（運動）モデルを考え、変動を遷移
行列Ｆを用いて定式化するが、ここでは、簡単のため遷移行例Ｆ＝Ｉとし、テクスチャ状
態ベクトルの変動は考えないものとする。
【０１１８】
したがって、フィルタ方程式は、数式（２７）および（２８）のように表わされる。
【０１１９】50

(20)JP 4136888 B2 2008.8.20【数２７】【０１２０】【数２８】【０１２１】

10

ここで、￣ｖtは、時刻ｔの観測前のテクスチャ状態ベクトルの推定値、＾ｖtは、時刻ｔの観測後のテクスチャ状態ベクトルの推定値を表わす。なお、数式において、上部に＾または￣が付けられた文字は、文章中では、左部に＾または￣が付けられた文字で表わす。
【０１２２】
数式（２８）は、数式（２７）を用いて書換えると、数式（２９）のように表わされる。
【０１２３】【数２９】20【０１２４】
ここで、カルマンゲインＫｔは、数式（３０）のように表わされる。
【０１２５】【数３０】30【０１２６】
推定誤差共分散行列は、数式（３１）および（３２）で表わされる。
【０１２７】【数３１】【０１２８】【数３２】40【０１２９】
ここで、￣Ｅtは、時刻ｔの観測前の推定誤差共分散行列の推定値、＾Ｅtは、時刻ｔの観測後の推定誤差共分散行列の推定値を表わす。また、Ｑt‑1は、時刻（ｔ−１）から時
刻ｔの間の遷移誤差、つまり、推定誤差の増大分を示す。
【０１３０】
また、数式（２６）より、時刻ｔの観測前の特徴ベクトルの推定値を￣Ａtとすると、

50

(21)

JP 4136888 B2 2008.8.20

数式（３３）が成り立つ。
【０１３１】【数３３】【０１３２】
数式（３３）は、数式（２７）を用いて書換えると、数式（３４）のように表わされる
10。
【０１３３】【数３４】【０１３４】
数式（２９）と数式（３４）とを参照すると、テクスチャ状態ベクトル^ｖtは、１時刻前のテクスチャ状態ベクトル^ｖt‑1に、観測した特徴ベクトルＡltと推定した特徴ベクトル￣Ａltの差にカルマンゲインＫtを乗じた値を加えることによって更新されることがわかる。

20【０１３５】
上述のカルマンフィルタのモデルに従って、以下のように特徴ベクトルＡの推定およびテクスチャ状態ベクトルｖの更新が行なわれる。
【０１３６】
まず、数式（３５）にしたがって、時刻０のテクスチャ状態ベクトル^ｖ0が推定される。
【０１３７】【数３５】30【０１３８】
次に、数式（３６）にしたがって、テクスチャ状態ベクトル^ｖ0を用いて、時刻１の特徴ベクトル￣Ａl1が推定される。
【０１３９】【数３６】

40【０１４０】
次に、数式（３７）にしたがって、テクスチャ状態ベクトルｖの更新、すなわち時刻１のテクスチャ状態ベクトル^ｖ1が推定される。
【０１４１】
【数３７】

50

(22)

JP 4136888 B2 2008.8.20【０１４２】
次に、数式（３８）にしたがって、テクスチャ状態ベクトル^ｖ1を用いて、時刻２の特徴ベクトル￣Ａl2が推定される。
【０１４３】【数３８】【０１４４】

10

以下、数式（２９）および（３４）にしたがって、テクスチャ状態ベクトル^ｖtの更新
および特徴ベクトル￣Ａltの推定が順次繰返される。
【０１４５】（構成）
図８は、本実施の形態の人物画像生成装置２の内部構成を示すブロック図である。同図において、図６の構成要素と同一の構成要素には、同一の符号を付している。同図を参照
して、この人物画像生成装置２が、図６の人物画像生成装置１と相違する点は、姿勢変化
画像生成部４３の特徴ベクトル推定部４６とカルマンフィルタ処理部４７である。以下、
本実施の形態の特徴ベクトル推定部４６と、カルマンフィルタ処理部４７について説明する。

20【０１４６】
特徴ベクトル推定部４６は、入力部１１を通じて時刻ｔにおいて姿勢番号ｌｔが指定されたときに、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクトルＰlt′と、テクスチャ
状態ベクトル推定部４１で推定されたテクスチャ状態ベクトル^ｖ0、またはカルマンフィ
ルタ処理部４７から出力されるテクスチャ状態ベクトル^ｖt‑1（ｔ＞１）とにより、数式（３４）に基づいて、第ｌｔ姿勢についての特徴ベクトル￣Ａltを推定する。
【０１４７】
カルマンフィルタ処理部４７は、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクトル
Ｐlt′とテクスチャ状態ベクトル^ｖt‑1と、特徴ベクトル算出部２１で算出された時刻ｔに入力された対象物体の第ｌｔ姿勢の画像データの特徴ベクトルＡltとにより、数式（２30９）に基づいて、更新したテクスチャ状態ベクトル^ｖtを生成する。
【０１４８】（動作）
図９は、本実施の形態に係る人物画像生成装置２による人物画像生成処理の動作手順を示すフローチャートである。
【０１４９】
人物画像生成装置は、図７に示す第１の実施形態の処理手順と同様にＳ１０１〜Ｓ１０
６の処理を行なう（Ｓ２０１）。
【０１５０】
次に、入力部１１は、時刻０において姿勢番号ｌ０と、対象物体の第ｌ０姿勢の画像デ

40

ータＯＩl0を取得する（Ｓ２０２）。
【０１５１】
特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、対象物体の第ｌ０姿
勢の画像データの特徴ベクトルＡl0を算出する（Ｓ２０３）。
【０１５２】
次に、テクスチャ状態ベクトル推定部４１は、算出した特徴ベクトルＡl0と、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクトルＰl0′とにより、数式（３５）に基づいて、テクスチャ状態ベクトル^ｖ0を推定する（Ｓ２０４）。
【０１５３】
次に、入力部１１は、時刻ｔにおいて姿勢番号ｌｔを取得する（Ｓ２０５、Ｓ２０６）

50

(23)

JP 4136888 B2 2008.8.20。
【０１５４】
次に、特徴ベクトル推定部４６は、姿勢特性ベクトル群記憶部６０内の姿勢特性ベクト
ルＰlt′とテクスチャ状態ベクトル^ｖt‑1とにより、数式（３４）に基づいて、第ｌｔ姿
勢の画像データの特徴ベクトル￣Ａltを推定する（Ｓ２０７）。
【０１５５】
表示部５０は、推定した特徴ベクトル￣Ａltを表示する（Ｓ２０８）。
【０１５６】
次に、入力部１１は、対象物体の第ｌｔ姿勢の画像データＯＩltを取得する（Ｓ２０９）。

10【０１５７】
特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、取得した対象物体の第ｌｔ姿勢の画像データの特徴ベクトルＡltを算出する（Ｓ２１０）。
【０１５８】
次に、カルマンフィルタ処理部４７は、姿勢特性ベクトル群記憶部６０内の姿勢特性ベ
クトルＰlt′とテクスチャ状態ベクトル^ｖt‑1と、Ｓ２０９で算出した特徴ベクトルＡltとにより、数式（２９）に基づいて、更新したテクスチャ状態ベクトル^ｖtを生成する（Ｓ２１１）。
【０１５９】
以下、Ｓ２０６〜Ｓ２１３の処理が終了の指示があるまで繰返される。

20【０１６０】
以上のように、第１の実施形態では、対象物体の１つの姿勢の画像データによって、対象物体のテクスチャ状態ベクトルが推定され、その後値が固定されたが、本実施の形態に係る人物画像生成装置によれば、カルマンフィルタ処理によって、順次入力される画像データに基づいて、対象物体のテクスチャ状態ベクトルの値が順次更新されるので、対象物体のテクスチャの特徴をより良く反映した画像を生成することができる。
【０１６１】［第３の実施形態］
本実施の形態は、人物のジェスチャなどによって変化する人物の姿勢を認識する人物姿
勢認識装置に関する。

30【０１６２】（構成）
図１０は、本実施の形態の人物姿勢認識装置３の内部構成を示すブロック図である。同図において、図６の構成要素と同一の構成要素には、同一の符号を付している。同図を参照して、この人物姿勢認識装置３が図６の人物画像生成装置１と相違する点は、姿勢変化
画像生成部４４の特徴ベクトル推定部４５の機能が相違し、表示部５０の代わりに姿勢判定部５１を備える点である。以下、本実施の形態の特徴ベクトル推定部４５と、姿勢判定
部５１について説明する。
【０１６３】
特徴ベクトル推定部４５は、姿勢特性ベクトル群記憶部６０内のｓ個（１≦ｓ≦Ｋ）の40

互いに相違する第ｋ1姿勢特性ベクトルＰk1′〜第ｋs姿勢特性ベクトルＰks′と、テクス
チャ状態ベクトルｖ0とにより、数式（２３）に基づいて、第ｋ1、ｋ2、・・・ｋs姿勢についての特徴ベクトルＡk1、Ａk2、・・・Ａksを推定する。
【０１６４】
姿勢判定部５１は、特徴ベクトル推定部４５で推定されたｓ個の特徴ベクトルＡk1、Ａ
k2、・・・Ａksのうち、特徴ベクトル算出部２１で算出された時刻ｔに入力された対象物

体の画像データの特徴ベクトルＡtと最も類似する特徴ベクトル、すなわち特徴ベクトル
Ａtとベクトル間距離（たとえば、ユークリッド距離）が最小の特徴ベクトルを特定し、特定した特徴ベクトルがＡnの場合には、時刻ｔにおける対象物体の姿勢を第ｎ姿勢と判
定とする。

50

(24)

JP 4136888 B2 2008.8.20【０１６５】（動作）
図１１は、本実施の形態に係る人物姿勢認識装置３による人物姿勢認識処理の動作手順を示すフローチャートである。
【０１６６】
人物姿勢認識装置３は、図７に示す第１の実施形態の処理手順と同様にＳ１０１〜Ｓ１
０９の処理を行なう（Ｓ３０１）。
【０１６７】
次に、特徴ベクトル推定部４５は、姿勢特性ベクトル群記憶部６０内のｓ個（１≦ｓ≦
Ｋ）の互いに相違する第ｋ1姿勢特性ベクトルＰk1′〜第ｋs姿勢特性ベクトルＰks′と、

10

テクスチャ状態ベクトルｖ0とにより、数式（２３）に基づいて、第ｋ1、ｋ2、・・・ｋs
姿勢についての特徴ベクトルＡk1、Ａk2、・・・Ａksを推定する（Ｓ３０２）。
【０１６８】
次に、入力部１１は、時刻ｔにおいて対象物体の未知姿勢の画像データＯＩtを取得する。この時刻ｔは、初期値が１であり、１ずつ順次更新される（Ｓ３０３、Ｓ３０４、Ｓ
３０８）。
【０１６９】
特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、対象物体の未知姿勢の画像データＯＩtの特徴ベクトルＡtを算出する（Ｓ３０５）。
【０１７０】

20

次に、姿勢判定部５１は、Ｓ３０２で推定された特徴ベクトルのうち、算出した特徴ベ
クトルＡtと最も類似する特徴ベクトル、すなわち特徴ベクトルＡtとベクトル間距離が最小の特徴ベクトルを特定し、特定した特徴ベクトルがＡnの場合には、時刻ｔにおける対象物体の姿勢を第ｎ姿勢であると判定とする（Ｓ３０６）。
【０１７１】
以下、Ｓ３０４〜Ｓ３０８の処理が終了の指示があるまで繰返される。
【０１７２】
以上のように、本実施の形態に係る人物姿勢認識装置によれば、サンプル物体のテクス
チャ特性と対象物体のテクスチャ特性が相違しても、対象物体のテクスチャ特性を有する、予想することのできる姿勢の画像を生成することができるので、対象物体が予想するこ30とができる姿勢をとっているか否かの認識精度の劣化を抑制することができる。
【０１７３】［第４の実施形態］
本実施の形態は、人物の移動を追跡する人物追跡装置に関する。
【０１７４】（構成）
図１２は、本実施の形態の人物追跡装置４の内部構成を示すブロック図である。同図において、図１０の構成要素と同一の構成要素には、同一の符号を付している。同図を参照
して、この人物追跡装置４が、図１０の人物姿勢認識装置３と相違する点は、姿勢判定部
５１の代わりに、追跡判定部６１を備えた点である。以下、本実施の形態の追跡判定部６40

１について説明する。
【０１７５】
追跡判定部６１は、特徴ベクトル推定部４５で推定されたｓ個の特徴ベクトルＡk1、Ａ
k2、・・・Ａksのうち、特徴ベクトル算出部２１で算出された時刻ｔに入力された画像データの特徴ベクトルＡtと所定の範囲で類似する特徴ベクトル、すなわち、ベクトル間距離（たとえば、ユークリッド距離）が所定値以下となる特徴ベクトルが存在するか否かを調べ、存在する場合には、時刻ｔに入力された画像データに対象物体が含まれると判定し、存在しない場合には、上記画像データに上記対象物体が含まれないと判定する。
【０１７６】
（動作）

50

(25)

JP 4136888 B2 2008.8.20

図１３は、本実施の形態に係る人物追跡装置４による人物追跡処理の動作手順を示すフ
ローチャートである。
【０１７７】
同図を参照して、人物追跡装置４は、図７に示す第１の実施形態の処理手順と同様にＳ
１０１〜Ｓ１０９の処理を行なう（Ｓ４０１）。
【０１７８】
次に、特徴ベクトル推定部４５は、姿勢特性ベクトル群記憶部６０内のｓ個（１≦ｓ≦
Ｋ）の互いに相違する第ｋ1姿勢特性ベクトルＰk1′〜第ｋs姿勢特性ベクトルＰks′と、テクスチャ状態ベクトルｖ0とにより、数式（２３）に基づいて、第ｋ1、ｋ2、・・・ｋs
姿勢についての特徴ベクトルＡk1、Ａk2、・・・Ａksを推定する（Ｓ４０２）。

10【０１７９】
次に、入力部１１は、時刻ｔにおいて未知対象の画像データＯＩtを取得する。この時
刻ｔは、初期値が１であり、１ずつ順次更新される（Ｓ４０３、Ｓ４０４、Ｓ４０８）。
【０１８０】
特徴ベクトル算出部２１は、数式（１）および（２）に基づいて、取得した未知対象の画像データＯＩtの特徴ベクトルＡtを算出する（Ｓ４０５）。
【０１８１】
次に、追跡判定部６１は、Ｓ４０２で推定された特徴ベクトルのうち、算出した特徴ベ
クトルＡtとベクトル間距離が所定値以下となる特徴ベクトルが存在するか否かを調べ、存在する場合には、Ｓ４０４で取得した未知対象の画像データＯＩtにＳ１０７で取得し20た画像データＯＩ0に含まれる対象物体が含まれると判定し、存在しない場合には、Ｓ４０４で取得した未知対象の画像データＯＩtに上記対象物体が含まれないと判定する（Ｓ４０６〜Ｓ４０８）。
【０１８２】
以下、Ｓ４０４〜Ｓ４１０の処理が終了の指示があるまで繰返される。
【０１８３】
以上のように、本実施の形態に係る人物追跡装置によれば、サンプル物体のテクスチャ
特性と対象物体のテクスチャ特性が相違しても、対象物体のテクスチャ特性を有する、予想することのできる姿勢の画像を生成することができるので、カメラで撮影された画像データに対象物体が含まれるか否かの判定精度、すなわち、対象物体の追跡精度の劣化を抑30制することができる。
【０１８４】（実験結果）
以下、本発明の第１および第２の実施形態に関して行なった実験内容とその結果について説明する。
【０１８５】（１）

第１の実施形態に関する実験１（物体が立方体の場合）

図１４（ａ）〜（ｃ）は、姿勢特性の抽出、すなわち学習に用いたサンプル物体である
立方体の画像を示す。各画像のデータサイズは、６０×６０である。画像データのブロッ
ク分割は、行なっていない。したがって、画像データは、１×１画素を１ブロックとして

40、６０×６０個のブロックで構成される。姿勢特性の抽出に用いた画像は、テクスチャの種類が第１テクスチャ〜第５００テクスチャの５００種類であり、姿勢の個数が第１姿勢〜第６姿勢の６個である。各姿勢は、１０度ずつ回転角が異なる。図１４（ａ）〜（ｃ）
では、第１テクスチャと、第２テクスチャと、第３テクスチャの画像が代表的に表されている。
【０１８６】
図１４（ａ）は、テクスチャの種類が第１テクスチャである第１姿勢〜第６姿勢の画像を示す。図１４（ｂ）は、テクスチャの種類が第２テクスチャである第１姿勢〜第６姿勢の画像を示す。図１４（ｃ）は、テクスチャの種類が第３テクスチャである第１姿勢〜第６姿勢の画像を示す。

50

(26)

JP 4136888 B2 2008.8.20【０１８７】
図１５は、対象物体の推定された画像を示す。最も左側の画像が入力された第１姿勢の画像であり、その右の６個の画像が推定された第１姿勢〜第６姿勢の画像である。
【０１８８】
図１５（ａ）は、第５０１テクスチャを有する対象物体の推定された画像を示す。図１５（ｂ）は、第５０２テクスチャを有する対象物体の推定された画像を示す。図１５（ｃ）は、第５０３テクスチャを有する対象物体の推定された画像を示す。
【０１８９】
図１５（ａ）〜図１５（ｃ）に示されるように、入力された画像の回転角と推定する画像の回転角の差が大きくなると、すなわち、姿勢の差が大きくなるほど推定精度は悪くな

10

るが、全体的にいえば、第１の実施形態による画像生成装置によって生成された画像の推定精度は、ほぼ良好であることがわかる。
【０１９０】（２）

第２の実施形態に関する実験２

姿勢特性の抽出に用いた立方体の画像は、（１）の実験と同様である。
【０１９１】
図１６は、対象物体の推定された画像を示す。それぞれ、最も左側の画像が入力された第１姿勢の画像であり、その右の６個の画像が推定された第１姿勢〜第６姿勢の画像である。
【０１９２】20

図１６（ａ）は、第５０４テクスチャを有する対象物体の時刻ｔ（＝０）における推定された画像を示す。図１６（ｂ）は、第５０４テクスチャを有する対象物体の時刻ｔ（＝１）における推定された画像を示す。図１６（ｃ）は、第５０４テクスチャを有する対象
物体の時刻ｔ（＝２）における推定された画像を示す。図１６（ｄ）は、第５０４テクス
チャを有する対象物体の時刻ｔ（＝３）における推定された画像を示す。図１６（ｅ）は、第５０４テクスチャを有する対象物体の時刻ｔ（＝４）における推定された画像を示す。図１６（ａ）〜（ｅ）に示されるように、カルマンフィルタ処理によりテクスチャ状態
ベクトルが更新されるので、時間の経過とともに画像の推定精度が良くなることがわかる。
【０１９３】（３）30

第１の実施形態に関する実験３（物体が人物の場合）

図１７は、姿勢特性の抽出に用いた人物画像を示す。各画像のデータサイズは、１２０×１８０である。画像データは、５×５画素を１ブロックとして、２４×３６個のブロックに分割した。なお、図示される各画像は、特徴ベクトル、すなわち、ブロックごとの平均値を表示したものである。姿勢特性の抽出に用いた画像は、テクスチャの種類が第１テ
クスチャ〜第６０テクスチャの６０種類であり、姿勢が第１姿勢〜第１０姿勢の１０個である。図１７では、第１テクスチャの画像が代表的に表されている。
【０１９４】
図１８は、第６１テクスチャを有する対象物体の推定された画像を示す。最も左側の画像（ａ）が入力された第１姿勢の画像であり、その他の画像（ｂ）が推定された第２姿勢

40〜第９姿勢の画像である。
【０１９５】
図１９は、第６２テクスチャを有する対象物体の推定された画像を示す。最も左側の画像（ａ）が入力された第１姿勢の画像であり、その他の画像（ｂ）が推定された第２姿勢〜第９姿勢の画像である。
【０１９６】
図１８および図１９に示されるように、入力された画像が立位の姿勢の画像であるにも係らず、座位の画像が精度良く推定されて生成されていることがわかる。
【０１９７】
（変形例）

50

(27)

JP 4136888 B2 2008.8.20

本発明は、上記の実施形態に限定されるものではなく、以下のような変形例も含まれる。
【０１９８】（１）

特徴ベクトル

本発明の実施形態では、ブロックごとの画素の平均値を要素とする特徴ベクトルを算出したが、これに限定するものではない。たとえば、特徴ベクトルは、ブロックごとの平均値と分散値を要素とするものであってもよく、また、ブロックごとの画素の頻度が最大の画素の値や中央値を要素とするものであってもよい。
【０１９９】（２）

カルマンフィルタ

10

第２の実施形態では、カルマンフィルタ処理によって、テクスチャ状態ベクトルを更新したが、これに限定するものではない。実際の画像データの特徴ベクトルと推定した特徴
ベクトルとの誤差に基づいて、テクスチャ状態ベクトルを更新する方法であれば、その他
どのようなものであってもよい。
【０２００】（３）

第３および第４の実施形態の特徴ベクトルの推定第３および第４の実施形態では、特徴ベクトル推定部４５は、第ｋ1、ｋ2、・・・ｋs
姿勢についての特徴ベクトルＡk1、Ａk2、・・・Ａksを推定したが、第ｋ1、ｋ2、・・・
ｋs姿勢は、時刻ｔとともに変化させるものであってもよく、たとえば時刻（ｔ−１）の姿勢から時刻ｔの予姿勢を予想してもよい。また、個数ｓも固定値でなくてもよく、時刻20ｔとともに変化するものであってもよい。
【０２０１】（４）

物体

本発明の実施の形態では、物体を人物として説明したが、これに限定するものではなく、テクスチャが個々の物体ごとに変化するようなものであれば、どのようなものであってもよい。
【０２０２】（５）

第４の実施形態

図１２の人物追跡装置４の動作手順を表わした図１３におけるＳ４０８（対象物なし）の後、対象物を見失ったと考えられるので、人物追跡処理を終了するものとしてもよい。

30【０２０３】（６）

次元縮小部

本発明の実施形態では、次元縮小部３２が、対角行列ＳのＭ個の特異値ｓ1、ｓ2、・・・ｓMのうち、値が所定値以上となる、ｓ1、ｓ2、・・、ｓrを選択することにより、対角行列Ｓ′と、直交行列Ｕ′と、直交行列Ｖ′とを生成したが、この処理は省略するものとしてもよい。省略した場合には、姿勢特性ベクトル算出部３３は、数式（２１）ではなく、数式（１８）に基づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢特性ベクトル
Ｐｋを算出して、姿勢特性ベクトル群記憶部６０に保存するものとすればよい。そして、その他の構成要素も、第ｋ姿勢特性ベクトルＰｋ′の代わりに、第ｋ姿勢特性ベクトルＰｋを用いるものとすればよい。

40【０２０４】（７）

特異値分解と姿勢変化のモデル

本発明の実施形態では、特徴行列Ｂを特異値分解することによって、テクスチャ状態ベ
クトルと姿勢特性ベクトルとを抽出したが、特異値分解することなく、その他の方法で、テクスチャ状態ベクトルと姿勢特性ベクトルとを算出するものとしてもよい。
【０２０５】
また、姿勢変化のモデルも、本発明の第１の実施形態で説明したようなモデルに限定するものではなく、その他の形式のモデルであってもよい。つまり、テクスチャがそれぞれ異なるＭ（Ｍ≧１）個のサンプル物体のＫ（Ｋ≧２）個の姿勢の画像データに基づいて、サンプル物体の姿勢の変化による画像データの変化の仕方をモデル化し、そのモデルに基

50

(28)

JP 4136888 B2 2008.8.20

づいて、１以上Ｋ以下のすべてのｋについて、第ｋ姿勢の特性を表わす第ｋ姿勢特性量を算出し、対象物体の第ｉ姿勢の画像データと、第ｉ姿勢特性量とに基づいて、対象物体のテクスチャ特性を表わすテクスチャ特性量を推定し、第ｊ姿勢の指定に応じて、推定した対象物体のテクチャ特性量と、第ｊ姿勢特性量とに基づいて、対象物体の第ｊ姿勢の画像
データを推定することができるものであれば、どのようなモデルであってもよい。
【０２０６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図され10る。
【図面の簡単な説明】【０２０７】【図１】画像データをブロック分割する方法を示す図である。
【図２】２つの姿勢間での変化のモデルを説明するための図である。
【図３】２つの姿勢間での直接マッピングを表わす図である。
【図４】２つの姿勢間での間接マッピングを表わす図である。
【図５】複数姿勢間の変化のモデルにおける２つの姿勢間での変換を模式化した図である。
【図６】第１の実施の形態に係る人物画像生成装置１の内部構成を示すブロック図である

20。
【図７】第１実施の形態に係る人物画像生成装置１による人物画像生成処理の動作手順を示すフローチャートである。
【図８】第２の実施の形態に係る人物画像生成装置２の内部構成を示すブロック図である。
【図９】第２の実施の形態に係る人物画像生成装置２による人物画像生成処理の動作手順を示すフローチャートである。
【図１０】第３の実施の形態に係る人物姿勢認識装置３の内部構成を示すブロック図である。
【図１１】第３の実施の形態に係る人物姿勢認識装置３による人物姿勢認識処理の動作手30

順を示すフローチャートである。
【図１２】第４の実施の形態に係る人物追跡装置４の内部構成を示すブロック図である。
【図１３】第４の実施の形態に係る人物追跡装置４による人物姿勢認識処理の動作手順を示すフローチャートである。
【図１４】第１の実施形態の実験１および第２の実施形態の実験２におけるサンプル物体の画像を示す図である。
【図１５】第１の実施形態の実験結果１の画像を示す図である。
【図１６】第２の実施形態の実験結果２の画像を示す図である。
【図１７】第１の実施形態の実験３におけるサンプル物体の画像を示す図である。
【図１８】第１の実施形態の実験結果３の画像を示す図である。

40【図１９】第１の実施形態の実験結果３の他の画像を示す図である。
【図２０】３種類の服装の人物画像を示す図である。
【符号の説明】【０２０８】
１，２

人物画像生成装置、３、２１

人物姿勢認識装置、４特徴ベクトル算出部、３０

縮小部、３３

テクスチャ状態ベクトル算出部、４２，４６，４５
追跡判定部。

姿勢判定部、５０

入力部

特異値分解部、３２

姿勢特性ベクトル算出部、４０，４３、４４

マンフィルタ処理部、５１
部、６１

人物追跡装置、１１

姿勢特性抽出部、３１

次元

姿勢変化画像生成部、４１

特徴ベクトル推定部、４７

表示部、６０カル

姿勢特性ベクトル群記憶

(29)
【図１】

【図３】

【図２】
【図４】

【図５】

【図６】

JP 4136888 B2 2008.8.20

(30)
【図７】

【図８】

【図９】

【図１０】

JP 4136888 B2 2008.8.20

(31)
【図１１】

【図１３】

【図１２】

JP 4136888 B2 2008.8.20

(32)
【図１４】

JP 4136888 B2 2008.8.20

(33)
【図１５】

JP 4136888 B2 2008.8.20

(34)
【図１６】

JP 4136888 B2 2008.8.20

(35)
【図１７】

JP 4136888 B2 2008.8.20

(36)
【図１８】

JP 4136888 B2 2008.8.20

(37)
【図１９】

JP 4136888 B2 2008.8.20

(38)
【図２０】

JP 4136888 B2 2008.8.20

(39)JP 4136888 B2 2008.8.20

フロントページの続き(72)発明者 内海 章
京都府相楽郡精華町光台二丁目２番地２ 株式会社国際電気通信基礎技術研究所内審査官 松永 稔(56)参考文献 特表２００５−５１４６８３（ＪＰ，Ａ）
特開２００３−２２８７０２（ＪＰ，Ａ）
特開２００２−１０９５４６（ＪＰ，Ａ）(58)調査した分野(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ

７／００

Ｇ０６Ｔ

７／６０

10