(57)【特許請求の範囲】
【請求項１】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
前記手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
前記固有ベクトルの集合を格納する固有ベクトル記憶手段と、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、前記手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の手画像正規化手段と、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の固有空間投影手段と、
前記第２の固有空間投影手段が求めた前記投影座標と、前記手形状画像情報記憶手段に格納した前記投影座標とをそれぞれ比較し、前記入力手形状画像に最も近い前記手形状画像を求める手形状画像選択手段と、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを、前記手形状画像情報記憶手段から取得して出力する形状・姿勢出力手段とを備える、手の形状と姿勢の認識装置。
【請求項２】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
前記手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
前記固有ベクトルの集合を格納する固有ベクトル記憶手段と、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、前記手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかを求めて前記手形状画像情報記憶手段に格納すると共に、各クラスタに関する統計情報を求めるクラスタ分析手段と、
前記統計情報を、対応するクラスタと共に、それぞれ格納するクラスタ情報記憶手段と、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の手画像正規化手段と、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の固有空間投影手段と、
前記第２の固有空間投影手段が求めた前記投影座標と、前記クラスタ情報記憶手段に記憶した前記統計情報とをそれぞれ比較し、最も近いクラスタを求める最尤クラスタ判別手段と、
前記最も近いクラスタに属する前記手形状画像と前記入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い前記手形状画像を求める画像比較手段と、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを、前記手形状画像情報記憶手段から取得して出力する形状・姿勢出力手段とを備える、手の形状と姿勢の認識装置。
【請求項３】
画像比較手段は、
前記最尤クラスタ判別手段が求めたクラスタに属する前記手形状画像と、前記第２の手画像正規化手段が生成した前記入力手形状画像とを比較する際に、前記手形状画像を同一クラスタ内の同一形状ごとにグループ化する同一形状分類手段と、
前記グループを表現する統計量を求める形状グループ統計量計算手段と、
前記入力手形状画像と前記統計量との距離を計算し、最も近いグループに属する形状を出力する最尤形状判別手段とで構成されることを特徴とする、請求項２に記載の手の形状と姿勢の認識装置。
【請求項４】
前記クラスタ分析手段は、各クラスタに対する前記手形状画像と前記形状情報とを前記手形状画像情報記憶手段から取得し、各前記手形状画像を判別するための部分領域をそれぞれ計算して前記クラスタ情報記憶手段に格納し、
前記画像比較手段は、前記最尤クラスタ判別手段で求めたクラスタに属する前記手形状画像と、前記第２の手画像正規化手段が生成した入力手形状画像とを比較する際に、前記クラスタに対応する前記部分領域内のみで比較することを特徴とする、請求項２に記載の手の形状と姿勢の認識装置。
【請求項５】
前記入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
前記第２の手画像正規化手段は、複数の前記入力手画像のそれぞれについて前記入力手形状画像を生成し、
前記第２の固有空間投影手段は、前記第２の手画像正規化手段が生成した複数の前記入力手形状画像について固有空間内での投影座標をそれぞれ求め、
前記最尤クラスタ判別手段は、前記第２の固有空間投影手段が求めた各前記投影座標と前記統計情報とを比較して、最も近いクラスタをそれぞれ求め、
前記画像比較手段は、前記最尤クラスタ判別手段が求めた複数の前記最も近いクラスタを統合し、各クラスタに属する前記手形状画像の前記形状情報および前記姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする、請求項２に記載の手の形状と姿勢の認識装置。
【請求項６】
光学的読取手段によって取得された一連の意味ある動作を行う連続した手の画像（以下、手振り動作画像という）の意味を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
前記手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
前記固有ベクトルの集合を格納する固有ベクトル記憶手段と、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、前記手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかを求めて前記手形状画像情報記憶手段に格納すると共に、各クラスタに関する統計情報を求めるクラスタ分析手段と、
前記統計情報を、対応するクラスタと共に、それぞれ格納するクラスタ情報記憶手段と、
前記手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する手領域検出手段と、
前記検出した手領域において前記手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める手動作分節手段と、
前記手振り動作画像中の手動作分節点である画像から、前記検出した手領域の部分を切り出す手画像切出手段と、
前記手画像切出手段において前記手振り動作画像から切り出された１つ以上の手画像（以下、手画像系列という）について、当該手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の手画像正規化手段と、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の固有空間投影手段と、
前記第２の固有空間投影手段が求めた前記投影座標と、前記クラスタ情報記憶手段に記憶した前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する最尤クラスタ判別手段と、
前記最尤クラスタ判別手段が出力する前記手画像系列に対応したシンボル（以下、シンボル系列という）を、当該手画像系列の元となる前記手振り動作画像の意味と共に系列識別辞書手段に登録する系列登録手段と、
前記手振り動作画像の意味と対応する前記シンボル系列とを記憶する前記系列識別辞書手段と、
前記最尤クラスタ判別手段が出力する前記シンボル系列に該当する意味を、前記系列識別辞書手段から取得して出力する識別演算手段とを備える、手の形状と姿勢の認識装置。
【請求項７】
前記手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する大局動作認識手段と、
一連の意味ある動作に基づいて、入力された前記手振り動作画像の意味を制約する制約条件を予め記憶する制約条件記憶手段とをさらに備え、
前記識別演算手段は、前記最尤クラスタ判別手段が出力する前記シンボル系列に該当する意味を、前記制約条件に従いつつ前記系列識別辞書手段から取得して出力することを特徴とする、請求項６に記載の手の形状と姿勢の認識装置。
【請求項８】
前記手領域検出手段は、
入力する前記手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す領域候補切出手段と、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する領域マスク記憶手段と、
前記手振り動作画像から切り出された手領域候補の領域に、前記領域マスクを付加し、さらに前記固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する手領域画像正規化手段と、
前記手領域候補の領域を正規化した画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める手領域固有空間投影手段と、
前記手領域固有空間投影手段が求めた前記投影座標と、前記クラスタ情報記憶手段に記憶した前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する手領域最尤クラスタ判別手段と、
前記評価値に基づいて、最も高い前記評価値を持つ前記手領域候補の位置情報とそのクラスタとを出力する領域決定手段とで構成されることを特徴とする、請求項６または７に記載の手の形状と姿勢の認識装置。
【請求項９】
前記第１の手画像正規化手段および前記第２の手画像正規化手段は、それぞれ、
入力する手の画像から抽出すべき前記手領域を、色分布として予め記憶する色分布記憶手段と、
前記色分布に従い、入力する手の画像から手領域を抽出する手領域抽出手段と、
手首方向を求め、当該手首方向に従い前記手領域から手首領域を削除する手首領域削除手段と、
前記手首領域を削除した前記手領域を、画像上の予め定義した位置に移動させる領域移動手段と、
前記手領域内の手が、予め定めた一定方向に向くように回転角を求める回転角計算手段と、
前記回転角に従い、手が一定方向に向くように前記手領域を回転させる領域回転手段と、
回転させた前記手領域の大きさを、予め定めた一定の大きさに正規化する大きさ正規化手段とで構成されることを特徴とする、請求項１，２または６に記載の手の形状と姿勢の認識装置。
【請求項１０】
前記形状情報および前記姿勢情報に対応する命令をそれぞれ格納する命令記憶手段と、
前記形状・姿勢出力手段が出力する前記形状情報および前記姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を前記命令記憶手段から取得して出力する命令出力手段とをさらに備える、請求項１に記載の手の形状と姿勢の認識装置。
【請求項１１】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
前記手形状画像について求めた前記投影座標と、前記入力手形状画像について求めた前記投影座標とをそれぞれ比較し、前記入力手形状画像に最も近い前記手形状画像を求める比較ステップと、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを出力するステップとを備える、手の形状と姿勢の認識方法。
【請求項１２】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
前記入力手形状画像について求めた前記投影座標と、前記統計情報とをそれぞれ比較し、最も近いクラスタを求める判別ステップと、
前記最も近いクラスタに属する前記手形状画像と前記入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い前記手形状画像を求める比較ステップと、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを出力するステップとを備える、手の形状と姿勢の認識方法。
【請求項１３】
前記比較ステップは、
前記判別ステップが求めたクラスタに属する前記手形状画像と、前記第２の正規化ステップが生成した前記入力手形状画像とを比較する際に、前記手形状画像を同一クラスタ内の同一形状ごとにグループ化するステップと、
前記グループを表現する統計量を求めるステップと、
前記入力手形状画像と前記統計量との距離を計算し、最も近いグループに属する形状を出力するステップとを含むことを特徴とする、請求項１２に記載の手の形状と姿勢の認識方法。
【請求項１４】
前記分析ステップは、各クラスタに対する前記手形状画像と前記形状情報とに基づいて、各前記手形状画像を判別するための部分領域をそれぞれ計算し、
前記比較ステップは、前記判別ステップで求めたクラスタに属する前記手形状画像と、前記第２の正規化ステップが生成した前記入力手形状画像とを比較する際に、前記クラスタに対応する前記部分領域内のみで比較することを特徴とする、請求項１２に記載の手の形状と姿勢の認識方法。
【請求項１５】
前記入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
前記前記第２の正規化ステップは、複数の前記入力手画像のそれぞれについて前記入力手形状画像を生成し、
前記第２の投影ステップは、前記第２の正規化ステップが生成した複数の前記入力手形状画像について固有空間内での投影座標をそれぞれ求め、
前記判別ステップは、前記第２の投影ステップが求めた各前記投影座標と前記統計情報とを比較して、最も近いクラスタをそれぞれ求め、
前記比較ステップは、前記判別ステップが求めた複数の前記最も近いクラスタを統合し、各クラスタに属する前記手形状画像の前記形状情報および前記姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする、請求項１２に記載の手の形状と姿勢の認識方法。
【請求項１６】
光学的読取手段によって取得された一連の意味ある動作を行う連続した手の画像（以下、手振り動作画像という）の意味を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
前記手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する検出ステップと、
前記検出した手領域において前記手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める分節ステップと、
前記手振り動作画像中の手動作分節点である画像から、前記検出した手領域の部分を切り出す切出ステップと、
前記手振り動作画像から切り出された１つ以上の手画像（以下、手画像系列という）について、当該手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の投影ステップと、
前記入力手形状画像について求めた前記投影座標と、前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する判別ステップと、
判別した前記手画像系列に対応したシンボル（以下、シンボル系列という）を、当該手画像系列の元となる前記手振り動作画像の意味と共に記憶するステップと、
入力する前記手振り動作画像を識別する場合、判別した前記シンボル系列に該当する意味を、記憶している前記シンボル系列とその意味とに基づいて出力する識別ステップとを備える、手の形状と姿勢の認識方法。
【請求項１７】
前記手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する認識ステップと、
一連の意味ある動作に基づいて、入力された前記手振り動作画像の意味を制約する制約条件を予め記憶する記憶ステップとをさらに備え、
前記識別ステップは、判別した前記シンボル系列に該当する意味を、前記制約条件に従いつつ記憶している前記シンボル系列とその意味とに基づいて出力することを特徴とする、請求項１６に記載の手の形状と姿勢の認識方法。
【請求項１８】
前記検出ステップは、
入力する前記手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す切出ステップと、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する記憶ステップと、
前記手振り動作画像から切り出された手領域候補の領域に、前記領域マスクを付加し、さらに前記固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する正規化ステップと、
前記手領域候補の領域を正規化した画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める投影ステップと、
前記投影座標と前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する判別ステップと、
前記評価値に基づいて、最も高い前記評価値を持つ前記手領域候補の位置情報とそのクラスタとを出力する決定ステップとを含むことを特徴とする、請求項１６または１７に記載の手の形状と姿勢の認識方法。
【請求項１９】
前記第１の正規化ステップおよび前記第２の正規化ステップは、それぞれ、
入力する手の画像から抽出すべき前記手領域を、色分布として予め記憶する色記憶ステップと、
前記色分布に従い、入力する手の画像から手領域を抽出するステップと、
手首方向を求め、当該手首方向に従い前記手領域から手首領域を削除するステップと、
前記手首領域を削除した前記手領域を、画像上の予め定義した位置に移動させるステップと、
前記手領域内の手が、予め定めた一定方向に向くように回転角を求めるステップと、
前記回転角に従い、手が一定方向に向くように前記手領域を回転させるステップと、
回転させた前記手領域の大きさを、予め定めた一定の大きさに正規化するステップとを含むことを特徴とする、請求項１１，１２または１６に記載の手の形状と姿勢の認識方法。
【請求項２０】
前記形状情報および前記姿勢情報に対応する命令をそれぞれ格納する命令記憶ステップと、
前記出力するステップが出力する前記形状情報および前記姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を前記命令記憶ステップから取得して出力するステップとをさらに備える、請求項１１に記載の手の形状と姿勢の認識方法。
【請求項２１】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
前記手形状画像について求めた前記投影座標と、前記入力手形状画像について求めた前記投影座標とをそれぞれ比較し、前記入力手形状画像に最も近い前記手形状画像を求める比較ステップと、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを出力するステップとを含む動作環境を、前記コンピュータ装置上で実現するためのプログラムを記録した、記録媒体。
【請求項２２】
光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
前記入力手画像を入力し、当該入力手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
前記入力手形状画像について求めた前記投影座標と、前記統計情報とをそれぞれ比較し、最も近いクラスタを求める判別ステップと、
前記最も近いクラスタに属する前記手形状画像と前記入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い前記手形状画像を求める比較ステップと、
前記最も近い手形状画像の前記形状情報と前記姿勢情報とを出力するステップとを含む動作環境を、前記コンピュータ装置上で実現するためのプログラムを記録した、記録媒体。
【請求項２３】
前記比較ステップは、
前記判別ステップが求めたクラスタに属する前記手形状画像と、前記第２の正規化ステップが生成した前記入力手形状画像とを比較する際に、前記手形状画像を同一クラスタ内の同一形状ごとにグループ化するステップと、
前記グループを表現する統計量を求めるステップと、
前記入力手形状画像と前記統計量との距離を計算し、最も近いグループに属する形状を出力するステップとを含むことを特徴とする、請求項２２に記載の記録媒体。
【請求項２４】
前記分析ステップは、各クラスタに対する前記手形状画像と前記形状情報とに基づいて、各前記手形状画像を判別するための部分領域をそれぞれ計算し、
前記比較ステップは、前記判別ステップで求めたクラスタに属する前記手形状画像と、前記第２の正規化ステップが生成した前記入力手形状画像とを比較する際に、前記クラスタに対応する前記部分領域内のみで比較することを特徴とする、請求項２２に記載の記録媒体。
【請求項２５】
前記入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
前記前記第２の正規化ステップは、複数の前記入力手画像のそれぞれについて前記入力手形状画像を生成し、
前記第２の投影ステップは、前記第２の正規化ステップが生成した複数の前記入力手形状画像について固有空間内での投影座標をそれぞれ求め、
前記判別ステップは、前記第２の投影ステップが求めた各前記投影座標と前記統計情報とを比較して、最も近いクラスタをそれぞれ求め、
前記比較ステップは、前記判別ステップが求めた複数の前記最も近いクラスタを統合し、各クラスタに属する前記手形状画像の前記形状情報および前記姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする、請求項２２に記載の記録媒体。
【請求項２６】
光学的読取手段によって取得された一連の意味ある動作を行う連続した手の画像（以下、手振り動作画像という）の意味を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、前記手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
前記手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
前記投影座標を、クラスタ分析によりそれぞれグループ分けし、各前記手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
前記手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する検出ステップと、
前記検出した手領域において前記手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める分節ステップと、
前記手振り動作画像中の手動作分節点である画像から、前記検出した手領域の部分を切り出す切出ステップと、
前記手振り動作画像から切り出された１つ以上の手画像（以下、手画像系列という）について、当該手画像の手首領域を削除した後前記手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の正規化ステップと、
前記入力手形状画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の投影ステップと、
前記入力手形状画像について求めた前記投影座標と、前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する判別ステップと、
判別した前記手画像系列に対応したシンボル（以下、シンボル系列という）を、当該手画像系列の元となる前記手振り動作画像の意味と共に記憶するステップと、
入力する前記手振り動作画像を識別する場合、判別した前記シンボル系列に該当する意味を、記憶している前記シンボル系列とその意味とに基づいて出力する識別ステップとを含む動作環境を、前記コンピュータ装置上で実現するためのプログラムを記録した、記録媒体。
【請求項２７】
前記手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する認識ステップと、
一連の意味ある動作に基づいて、入力された前記手振り動作画像の意味を制約する制約条件を予め記憶する記憶ステップとをさらに含み、
前記識別ステップは、判別した前記シンボル系列に該当する意味を、前記制約条件に従いつつ記憶している前記シンボル系列とその意味とに基づいて出力することを特徴とする、請求項２６に記載の記録媒体。
【請求項２８】
前記検出ステップは、
入力する前記手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す切出ステップと、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する記憶ステップと、
前記手振り動作画像から切り出された手領域候補の領域に、前記領域マスクを付加し、さらに前記固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する正規化ステップと、
前記手領域候補の領域を正規化した画像を前記固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める投影ステップと、
前記投影座標と前記統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する判別ステップと、
前記評価値に基づいて、最も高い前記評価値を持つ前記手領域候補の位置情報とそのクラスタとを出力する決定ステップとを含むことを特徴とする、請求項２６または２７に記載の記録媒体。
【請求項２９】
前記第１の正規化ステップおよび前記第２の正規化ステップは、それぞれ、
入力する手の画像から抽出すべき前記手領域を、色分布として予め記憶する色記憶ステップと、
前記色分布に従い、入力する手の画像から手領域を抽出するステップと、
手首方向を求め、当該手首方向に従い前記手領域から手首領域を削除するステップと、
前記手首領域を削除した前記手領域を、画像上の予め定義した位置に移動させるステップと、
前記手領域内の手が、予め定めた一定方向に向くように回転角を求めるステップと、
前記回転角に従い、手が一定方向に向くように前記手領域を回転させるステップと、
回転させた前記手領域の大きさを、予め定めた一定の大きさに正規化するステップとを含むことを特徴とする、請求項２１，２２または２６に記載の記録媒体。
【請求項３０】
前記形状情報および前記姿勢情報に対応する命令をそれぞれ格納する命令記憶ステップと、
前記出力するステップが出力する前記形状情報および前記姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を前記命令記憶ステップから取得して出力するステップとをさらに含む、請求項２１に記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実行するプログラムを記録した記録媒体に関し、より特定的には、データグローブなどのケーブル等をつけた手袋を用いることなく人間の手の形状と姿勢推定の認識を行い、当該認識結果に基づいて人間と機器との間のインタフェース装置や手話認識装置等に利用可能な手の形状と姿勢の認識装置およびその方法並びに当該方法を実行するプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
現在、新たなヒューマンインタフェースの手法として、人間の手の形状を認識し、手を用いて人間が提示する情報を取得する装置の研究開発が盛んに行われている。また、聴覚障害者と健常者との間のコミュニケーション支援を目指して、手話動作中で提示される手の形状と姿勢を認識する研究も盛んに行われている。
【０００３】
一般に、人間の手の形を取得する方法として、手にデータグローブ等のセンサを付けて各状態を測定する手法、例えば、電気学会計測研究会資料（１９９４  第４９項〜第５６項）（以下、第１の文献という）が有名である。この第１の文献には、指に沿ってグローブ光ファイバを設置し、ファイバが伸びているときと曲がっているときの綱領の変化を利用して、指関節の角度を推定する手法が述べられている。
【０００４】
また、上記第１の文献に述べられているようにセンサ付き手袋を用いない手法としては、カメラを用いて手の形状を認識する方法、例えば、渡辺，岩井，八木，谷内田による論文「カラーグローブを用いた指文字の認識」（電子情報通信学会誌  Ｖｏｌ．Ｊ８０−Ｄ−２，Ｎｏ．１０，第２７１３頁〜第２７２２頁）（以下、第２の文献という）が存在する。この第２の文献には、複数の色を付けた手袋（マーカ）を手に装着して、この手袋の画像から手の形状を認識する手法が述べられている。
【０００５】
一方、手に手袋等のマーカを装着しないでカメラによって手の形状と姿勢を認識する手法としては、例えば、特開平８−２６３６２９号公報「物体の形状・姿勢検出装置」（以下、第３の文献という）に開示されているものが存在する。この第３の文献には、少なくとも３台のカメラを用いて手を撮影し、手を平面とみなして、その手がどのカメラに対して向いているかを判別し、正面に向いているカメラの画像から形状を認識し、姿勢を推定する手法が記載されている。
【０００６】
さらに、正面に向いているカメラの画像から形状を認識する手法として、石淵，岩崎，竹村，岸野による論文「画像処理を用いた実時間手振り推定とヒューマンインタフェースへの応用」（電子情報通信学会論文誌  Ｖｏｌ．Ｊ７９−Ｄ−２，Ｎｏ．７，第１２１８項〜第１２２９項）（以下、第４の文献という）が存在する。この第４の文献には、複数のカメラから得られる手の画像から手首−中指方向（以下、掌主軸と呼ぶ）を求め、同時に伸びている指先の位置を求めて伸展指が何本あるかを認識する手法が述べられている。
【０００７】
さて、一般に顔や車などの物体の姿勢と種類を認識するために、近年、見かけの画像を用いた手法と固有空間法とを組み合わせた画像認識法が注目されている。ここで、見かけの画像に基づく手法とは、予め取得した三次元物体の二次元の見かけ画像のみを用いて、物体の姿勢や種類を認識するものである。一方、固有空間法とは、古くから行われている手法で、画像集合の共分散行列（または、自己相関行列）の固有ベクトルから構成される固有空間を用いるものであり、主成分分析若しくはＫＬ展開による手法を用いるものが有名である。
以下、上記主成分分析を画像について適用する手法を、簡単に述べる。
【０００８】
主成分分析は、多次元空間上の特徴点を、より見やすく、あるいは扱いやすくするために、固有空間を利用して少ない次元で表現しようとする統計手法で、多変量解析の一手法としてよく使われている。原理は、多次元空間上の特徴点を分散の大きい少数の低次元の直交部分空間に線形射影するというものである。
この主成分分析手法を画像に適用する場合、まず、ｎ×ｍ画素の画像をラスタスキャンして得た列ベクトルをＵとし、ｐ個の画像が属する画像群を、
｛Ｕ1 ，Ｕ2 ，Ｕ3 ，…，Ｕp ｝
で表現する。
次に、この画像群の各要素から画像集合の平均画像ｃの要素を引いた列ベクトルからなるｎｍ×ｐ行列をＡとすると、行列Ａ
Ａ＝［Ｕ1−ｃ，Ｕ2−ｃ，Ｕ3−ｃ，…，Ｕp−ｃ］
によって、画像集合の共分散行列Ｑは、下記式（１）で計算される。なお、行列ＡT は、行列Ａの転置行列を表す。
Ｑ＝ＡＡT   …（１）
そして、この共分散行列Ｑを用いて、下記式（２）の固有方程式を解く。
λi ＝Ｑｅi   …（２）
【０００９】
ここで、求めるべき部分空間は、その次元をｋとすれば、ｋ個の大きな固有値に対応する固有ベクトル
ｅ1 ，ｅ2 ，…，ｅk  （λ1≧λ2≧  …  ≧λk≧  …  ≧λp）
を基底ベクトルとすることにより得られる部分空間となる。
従って、ある画像ｘを、下記式（３）に従って固有ベクトルによる部分空間に線形射影することにより、ｎ×ｍ次元の画像をｋ次元特徴ベクトルｙに次元圧縮することができる。
ｙ＝［ｅ1 ，ｅ2 ，…，ｅk ］T ｘ  …（３）
【００１０】
一方、主成分分析若しくはＫＬ展開を用いて、人間の顔の様な複雑で多種多様な実体を検出認識する手法としては、例えば、特開平８−３３９４４５号公報「確率的固有空間解析を用いた複雑な対象物の検出、認識、および符号化方法および装置」（以下、第５の文献という）に開示されているものが存在する。この第５の文献では、従来から行われている上記手法を複雑な対象物、特に顔に対して適用していることに特徴がある。上記第５の文献には、複雑な対象物の例として手の形状の認識に適用した実施例が示されており、以下にその手法を説明する。
【００１１】
まず、手振り若しくはジェスチャーで用いられる手の画像集合を、黒の背景に対して撮影する。次に、手の二次元輪郭を、Ｃａｎｎｙのエッジ・オペレータを用いて抽出する。そして、得られたエッジ画像集合に対してＫＬ展開を行って部分空間を求めるわけだが、２値のエッジマップをそのまま使用すると、画像間で互いにほとんど相関がなく、それにより非常に部分空間の次元ｋをかなり大きくしなければならなかった。そこで、上記第５の文献に記載されている実施例では、２値のエッジマップ上で、拡散処理を介してエッジをぼかして部分空間を求めることにより、部分空間の次元を押さえることを提案している。また、入力画像から手の位置を求めるために、全画像を、ある一定の大きさで探索することにより手の位置を求め、認識を行っている。
【００１２】
【発明が解決しようとする課題】
しかしながら、人の手の形状を認識しようとするとき、上記第１の文献に述べられているような、手にデータグローブを装着して手形状認識を行う場合、手にコードをつけるため動作が制約されたり、装着感に課題が残る。
【００１３】
また、カメラを用いて手の形状を認識する場合でも、上記第２の文献に述べられているような、手袋などのマーカを装着することを前提とする場合、手袋がないときには手形状認識ができない上、装着時の違和感が問題となっている。
さらに、上記第３の文献に記載されているような、手袋やマーカを装着しないで複数カメラにより手の形状と姿勢を認識する場合、手を平面とみなして、その手がどのカメラに対して向いているかにより姿勢を判別するが、実際に手は様々な形状を表現することが可能であり、その中には平面に近似できない形状も多数存在する。従って、認識対象として伸展指の本数などの単純な形状には対処できるが、より複雑な形状（例えば、親指と人差指を接触させて穴をつくった形状）などには適用不可能である。
【００１４】
一方、上記第４の文献に述べられているような、より一般的な固有空間解析に基づいた手法では、手のみの正規化された画像をどのようにして取得するのかが明らかでない。固有空間解析に基づいた手法では、認識する対象物体の画像領域をいかに切り出して正規化をするかということが重要である。一般に、剛体で認識する対象物体が明らかに違う場合、この正規化は大きさや明るさの正規化だけで十分であるが、手や顔といった複雑な物体の場合、その部分を切り出す処理が重要である。
例えば、顔の認識にこの方法を用いる場合は、目、鼻の位置をある一定の位置に移動させ、顎（あご）や髪の毛を削除する手法がよく使われている。一方、手の場合、手首の領域を何らかの手法で削除し、手を一定の位置に移動させ正規化を行う必要があり、その処理をしないで複数の手の形状と姿勢の認識に固有空間解析に基づく手法を用いても認識率が悪いという課題がある。
【００１５】
また、上記第５の文献に述べられているような、実際に手の画像に固有空間解析を適用する場合も、手の画像のエッジによる輪郭を求め、さらにエッジをぼかす必要があった。そのため、指１本が伸展している画像と指２本を接触させた形で伸展させた画像では、その違いが画像上区別できなくなり、結果として、より複雑な形状などには適用不可能であった。
【００１６】
それ故、本発明の目的は、予め認識すべき手形状に対して、様々な姿勢を示す画像から手首領域を削除して正規化し、正規化した画像に対して固有空間解析に基づく方法を適用することにより、より複雑な手形状の画像に対してもその形状と姿勢を認識する手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実行するプログラムを記録した記録媒体を提供することである。
【００１７】
【課題を解決するための手段および発明の効果】
第１の発明は、光学的読取手段によって取得された手の画像（以下、入力手画像という）の形状および姿勢を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
固有ベクトルの集合を格納する固有ベクトル記憶手段と、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の手画像正規化手段と、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の固有空間投影手段と、
第２の固有空間投影手段が求めた投影座標と、手形状画像情報記憶手段に格納した投影座標とをそれぞれ比較し、入力手形状画像に最も近い手形状画像を求める手形状画像選択手段と、
最も近い手形状画像の形状情報と姿勢情報とを、手形状画像情報記憶手段から取得して出力する形状・姿勢出力手段とを備える。
【００１８】
上記のように、第１の発明によれば、様々な手形状と手姿勢とを持つ複数の手の画像と認識対象である入力手画像の両方から手首領域を削除するため、単純に大きさと明るさを正規化するよりも精密に手画像の正規化を行うことができる。これにより、固有空間に基づく手法を手の形状および姿勢の認識に用いても、十分に精度の高い結果を得ることが可能になる。
また、固有空間に基づく手法を手の形状および姿勢の認識に用いることにより、伸展指の個数を数えるなどの幾何的な特徴による手法により、幾何的な特徴がとれにくい、より複雑な手の形状に対しても認識が可能である。
【００１９】
第２の発明は、光学的読取手段によって取得された入力手画像の形状および姿勢を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
固有ベクトルの集合を格納する固有ベクトル記憶手段と、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかを求めて手形状画像情報記憶手段に格納すると共に、各クラスタに関する統計情報を求めるクラスタ分析手段と、
統計情報を、対応するクラスタと共に、それぞれ格納するクラスタ情報記憶手段と、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の手画像正規化手段と、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の固有空間投影手段と、
第２の固有空間投影手段が求めた投影座標と、クラスタ情報記憶手段に記憶した統計情報とをそれぞれ比較し、最も近いクラスタを求める最尤クラスタ判別手段と、
最も近いクラスタに属する手形状画像と入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い手形状画像を求める画像比較手段と、
最も近い手形状画像の形状情報と姿勢情報とを、手形状画像情報記憶手段から取得して出力する形状・姿勢出力手段とを備える。
【００２０】
上記のように、第２の発明によれば、手形状画像情報記憶手段に記憶した複数の手形状画像を固有空間内におけるクラスタ分析によりグループ化し、入力手画像を認識するときに、最初にどのグループに属するかを求め、そのグループ内でどの手形状画像に最も近いかを求める。これにより、画像比較回数を減らすことができ、さらに高速に処理を行うことが可能となる。また、違う形状でも似た画像が存在する場合でも正確に手の形状および姿勢を求めることが可能になる。
【００２１】
第３の発明は、第２の発明に従属する発明であって、
画像比較手段は、
最尤クラスタ判別手段が求めたクラスタに属する手形状画像と、第２の手画像正規化手段が生成した入力手形状画像とを比較する際に、手形状画像を同一クラスタ内の同一形状ごとにグループ化する同一形状分類手段と、
グループを表現する統計量を求める形状グループ統計量計算手段と、
入力手形状画像と統計量との距離を計算し、最も近いグループに属する形状を出力する最尤形状判別手段とで構成されることを特徴とする。
【００２２】
上記のように、第３の発明によれば、第２の発明において、姿勢まで出力する必要がない場合に、姿勢と形状の両方を認識する場合よりも正確に手の形状を求めることが可能になる。
【００２３】
第４の発明は、第２の発明に従属する発明であって、
クラスタ分析手段は、各クラスタに対する手形状画像と形状情報とを手形状画像情報記憶手段から取得し、各手形状画像を判別するための部分領域をそれぞれ計算してクラスタ情報記憶手段に格納し、
画像比較手段は、最尤クラスタ判別手段で求めたクラスタに属する手形状画像と、第２の手画像正規化手段が生成した入力手形状画像とを比較する際に、クラスタに対応する部分領域内のみで比較することを特徴とする。
【００２４】
上記のように、第４の発明によれば、第２の発明において、画像を判別するための部分領域を予め定めておき、この部分領域内のみで手形状画像と入力手形状画像とを比較する。これにより、第４の発明に比べ、画像比較回数を減らすことができると共に、認識対象となる手の画像を認識するときに、違う形状でも似た画像が存在する場合でも正確かつ高速に手の形状および姿勢を求めることが可能となる。
【００２５】
第５の発明は、第２の発明に従属する発明であって、
入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
第２の手画像正規化手段は、複数の入力手画像のそれぞれについて入力手形状画像を生成し、
第２の固有空間投影手段は、第２の手画像正規化手段が生成した複数の入力手形状画像について固有空間内での投影座標をそれぞれ求め、
最尤クラスタ判別手段は、第２の固有空間投影手段が求めた各投影座標と統計情報とを比較して、最も近いクラスタをそれぞれ求め、
画像比較手段は、最尤クラスタ判別手段が求めた複数の最も近いクラスタを統合し、各クラスタに属する手形状画像の形状情報および姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする。
【００２６】
上記のように、第５の発明によれば、第２の発明において、複数の視点から撮影した入力手画像から求めたクラスタに基づき、最も近いクラスタを統合して、入力手画像の形状および姿勢を求める。これにより、１方向からの画像だけでは形状および姿勢が決定できないような場合（例えば、横方向の手の画像など）でも、正確に手の形状および姿勢を求めることが可能となる。
【００２７】
第６の発明は、光学的読取手段によって取得された一連の意味ある動作を行う連続した手の画像（以下、手振り動作画像という）の意味を認識する装置であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の手画像正規化手段と、
手形状画像を、当該手形状画像に関する形状情報および姿勢情報と共に、それぞれ格納する手形状画像情報記憶手段と、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する固有空間計算手段と、
固有ベクトルの集合を格納する固有ベクトル記憶手段と、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求め、手形状画像情報記憶手段に格納する第１の固有空間投影手段と、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかを求めて手形状画像情報記憶手段に格納すると共に、各クラスタに関する統計情報を求めるクラスタ分析手段と、
統計情報を、対応するクラスタと共に、それぞれ格納するクラスタ情報記憶手段と、
手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する手領域検出手段と、
検出した手領域において手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める手動作分節手段と、
手振り動作画像中の手動作分節点である画像から、検出した手領域の部分を切り出す手画像切出手段と、
手画像切出手段において手振り動作画像から切り出された１つ以上の手画像（以下、手画像系列という）について、当該手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の手画像正規化手段と、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の固有空間投影手段と、
第２の固有空間投影手段が求めた投影座標と、クラスタ情報記憶手段に記憶した統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する最尤クラスタ判別手段と、
最尤クラスタ判別手段が出力する手画像系列に対応したシンボル（以下、シンボル系列という）を、当該手画像系列の元となる手振り動作画像の意味と共に系列識別辞書手段に登録する系列登録手段と、
手振り動作画像の意味と対応するシンボル系列とを記憶する系列識別辞書手段と、
最尤クラスタ判別手段が出力するシンボル系列に該当する意味を、系列識別辞書手段から取得して出力する識別演算手段とを備える。
【００２８】
上記のように、第６の発明によれば、ジェスチャー単語や手話単語等のような一連の意味ある手振り動作画像に対して、手動作の分節点となる画像のクラスタ系列をその意味と共に予め記憶し、手振り動作画像を認識するときに、求めたクラスタ系列に基づいて記憶している意味を出力する。これにより、ジェスチャー単語や手話単語等のような一連の意味ある動作に対して、より誤認識を減らし、正確に意味を求めることが可能となる。
【００２９】
第７の発明は、第６の発明に従属する発明であって、
手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する大局動作認識手段と、
一連の意味ある動作に基づいて、入力された手振り動作画像の意味を制約する制約条件を予め記憶する制約条件記憶手段とをさらに備え、
識別演算手段は、最尤クラスタ判別手段が出力するシンボル系列に該当する意味を、制約条件に従いつつ系列識別辞書手段から取得して出力することを特徴とする。
【００３０】
上記のように、第７の発明によれば、第６の発明において、手の大局的動作の特徴に基づく制約条件をさらに加えて、手振り動作画像の意味を導き出す。これにより、手振り動作画像の誤認識を減らすことができる。
【００３１】
第８の発明は、第６，第７の発明に従属する発明であって、
手領域検出手段は、
入力する手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す領域候補切出手段と、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する領域マスク記憶手段と、
手振り動作画像から切り出された手領域候補の領域に、領域マスクを付加し、さらに固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する手領域画像正規化手段と、
手領域候補の領域を正規化した画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める手領域固有空間投影手段と、
手領域固有空間投影手段が求めた投影座標と、クラスタ情報記憶手段に記憶した統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する手領域最尤クラスタ判別手段と、
評価値に基づいて、最も高い評価値を持つ手領域候補の位置情報とそのクラスタとを出力する領域決定手段とで構成されることを特徴とする。
【００３２】
上記のように、第８の発明によれば、第６，第７の発明において、手領域を検出するときに手領域候補の領域を固有空間へ投影して、該当クラスタを求めることによって手領域を検出する。このため、手領域を検出すると同時にその手領域の該当クラスタを求めることができるので、手領域検出と手の形状と姿勢の認識、若しくは手領域検出と手振り動作認識処理を一つの処理として統合することが可能となる。
【００３３】
第９の発明は、第１，第２，第６の発明に従属する発明であって、
第１の手画像正規化手段および第２の手画像正規化手段は、それぞれ、
入力する手の画像から抽出すべき手領域を、色分布として予め記憶する色分布記憶手段と、
色分布に従い、入力する手の画像から手領域を抽出する手領域抽出手段と、
手首方向を求め、当該手首方向に従い手領域から手首領域を削除する手首領域削除手段と、
手首領域を削除した手領域を、画像上の予め定義した位置に移動させる領域移動手段と、
手領域内の手が、予め定めた一定方向に向くように回転角を求める回転角計算手段と、
回転角に従い、手が一定方向に向くように手領域を回転させる領域回転手段と、
回転させた手領域の大きさを、予め定めた一定の大きさに正規化する大きさ正規化手段とで構成されることを特徴とする。
【００３４】
上記のように、第９の発明によれば、第１，第２，第６の発明において、手画像を正規化する際に、手首領域を削除するだけではなく、肌色により手領域を抽出する。これにより、一般的で自然な背景で撮影した手の画像から手領域を抽出することができ、さらに、正確に手の形状および姿勢を認識することが可能となる。
【００３５】
第１０の発明は、第１の発明に従属する発明であって、
形状情報および姿勢情報に対応する命令をそれぞれ格納する命令記憶手段と、
形状・姿勢出力手段が出力する形状情報および姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を命令記憶手段から取得して出力する命令出力手段とをさらに備える。
【００３６】
上記のように、第１０の発明によれば、第１の発明の認識装置を、求めた手の形状および姿勢に従い、他の機器の制御を行うインタフェースとして機能させることができる。
【００３７】
第１１の発明は、光学的読取手段によって取得された入力手画像の形状および姿勢を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
手形状画像について求めた投影座標と、入力手形状画像について求めた投影座標とをそれぞれ比較し、入力手形状画像に最も近い手形状画像を求める比較ステップと、
最も近い手形状画像の形状情報と姿勢情報とを出力するステップとを備える。
【００３８】
上記のように、第１１の発明によれば、様々な手形状と手姿勢とを持つ複数の手の画像と認識対象である入力手画像の両方から手首領域を削除するため、単純に大きさと明るさを正規化するよりも精密に手画像の正規化を行うことができる。これにより、固有空間に基づく手法を手の形状および姿勢の認識に用いても、十分に精度の高い結果を得ることが可能になる。
また、固有空間に基づく手法を手の形状および姿勢の認識に用いることにより、伸展指の個数を数えるなどの幾何的な特徴による手法により、幾何的な特徴がとれにくい、より複雑な手の形状に対しても認識が可能である。
【００３９】
第１２の発明は、光学的読取手段によって取得された入力手画像の形状および姿勢を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
入力手形状画像について求めた投影座標と、統計情報とをそれぞれ比較し、最も近いクラスタを求める判別ステップと、
最も近いクラスタに属する手形状画像と入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い手形状画像を求める比較ステップと、
最も近い手形状画像の形状情報と姿勢情報とを出力するステップとを備える。
【００４０】
上記のように、第１２の発明によれば、複数の手形状画像を固有空間内におけるクラスタ分析によりグループ化し、入力手画像を認識するときに、最初にどのグループに属するかを求め、そのグループ内でどの手形状画像に最も近いかを求める。これにより、画像比較回数を減らすことができ、さらに高速に処理を行うことが可能となる。また、違う形状でも似た画像が存在する場合でも正確に手の形状および姿勢を求めることが可能になる。
【００４１】
第１３の発明は、第１２の発明に従属する発明であって、
比較ステップは、
判別ステップが求めたクラスタに属する手形状画像と、第２の正規化ステップが生成した入力手形状画像とを比較する際に、手形状画像を同一クラスタ内の同一形状ごとにグループ化するステップと、
グループを表現する統計量を求めるステップと、
入力手形状画像と統計量との距離を計算し、最も近いグループに属する形状を出力するステップとを含むことを特徴とする。
【００４２】
上記のように、第１３の発明によれば、第１２の発明において、姿勢まで出力する必要がない場合に、姿勢と形状の両方を認識する場合よりも正確に手の形状を求めることが可能になる。
【００４３】
第１４の発明は、第１２の発明に従属する発明であって、
分析ステップは、各クラスタに対する手形状画像と形状情報とに基づいて、各手形状画像を判別するための部分領域をそれぞれ計算し、
比較ステップは、判別ステップで求めたクラスタに属する手形状画像と、第２の正規化ステップが生成した入力手形状画像とを比較する際に、クラスタに対応する部分領域内のみで比較することを特徴とする。
【００４４】
上記のように、第１４の発明によれば、第１２の発明において、画像を判別するための部分領域を予め定めておき、この部分領域内のみで手形状画像と入力手形状画像とを比較する。これにより、第２３の発明に比べ、画像比較回数を減らすことができると共に、認識対象となる手の画像を認識するときに、違う形状でも似た画像が存在する場合でも正確かつ高速に手の形状および姿勢を求めることが可能となる。
【００４５】
第１５の発明は、第１２の発明に従属する発明であって、
入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
第２の正規化ステップは、複数の入力手画像のそれぞれについて入力手形状画像を生成し、
第２の投影ステップは、第２の正規化ステップが生成した複数の入力手形状画像について固有空間内での投影座標をそれぞれ求め、
判別ステップは、第２の投影ステップが求めた各投影座標と統計情報とを比較して、最も近いクラスタをそれぞれ求め、
比較ステップは、判別ステップが求めた複数の最も近いクラスタを統合し、各クラスタに属する手形状画像の形状情報および姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする。
【００４６】
上記のように、第１５の発明によれば、第１２の発明において、複数の視点から撮影した入力手画像から求めたクラスタに基づき、最も近いクラスタを統合して、入力手画像の形状および姿勢を求める。これにより、１方向からの画像だけでは形状および姿勢が決定できないような場合でも、正確に手の形状および姿勢を求めることが可能となる。
【００４７】
第１６の発明は、光学的読取手段によって取得された手振り動作画像の意味を認識する方法であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する検出ステップと、
検出した手領域において手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める分節ステップと、
手振り動作画像中の手動作分節点である画像から、検出した手領域の部分を切り出す切出ステップと、
手振り動作画像から切り出された手画像系列について、当該手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の投影ステップと、
入力手形状画像について求めた投影座標と、統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する判別ステップと、
判別した手画像系列に対応したシンボル系列を、当該手画像系列の元となる手振り動作画像の意味と共に記憶するステップと、
入力する手振り動作画像を識別する場合、判別したシンボル系列に該当する意味を、記憶しているシンボル系列とその意味とに基づいて出力する識別ステップとを備える。
【００４８】
上記のように、第１６の発明によれば、ジェスチャー単語や手話単語等のような一連の意味ある手振り動作画像に対して、手動作の分節点となる画像のクラスタ系列をその意味と共に予め記憶し、手振り動作画像を認識するときに、求めたクラスタ系列に基づいて記憶している意味を出力する。これにより、ジェスチャー単語や手話単語等のような一連の意味ある動作に対して、より誤認識を減らし、正確に意味を求めることが可能となる。
【００４９】
第１７の発明は、第１６の発明に従属する発明であって、
手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する認識ステップと、
一連の意味ある動作に基づいて、入力された手振り動作画像の意味を制約する制約条件を予め記憶する記憶ステップとをさらに備え、
識別ステップは、判別したシンボル系列に該当する意味を、制約条件に従いつつ記憶しているシンボル系列とその意味とに基づいて出力することを特徴とする。
【００５０】
上記のように、第１７の発明によれば、第１６の発明において、手の大局的動作の特徴に基づく制約条件をさらに加えて、手振り動作画像の意味を導き出す。これにより、手振り動作画像の誤認識を減らすことができる。
【００５１】
第１８の発明は、第１６，第１７の発明に従属する発明であって、
検出ステップは、
入力する手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す切出ステップと、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する記憶ステップと、
手振り動作画像から切り出された手領域候補の領域に、領域マスクを付加し、さらに固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する正規化ステップと、
手領域候補の領域を正規化した画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める投影ステップと、
投影座標と統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する判別ステップと、
評価値に基づいて、最も高い評価値を持つ手領域候補の位置情報とそのクラスタとを出力する決定ステップとを含むことを特徴とする。
【００５２】
上記のように、第１８の発明によれば、第１６，第１７の発明において、手領域を検出するときに手領域候補の領域を固有空間へ投影して、該当クラスタを求めることによって手領域を検出する。このため、手領域を検出すると同時にその手領域の該当クラスタを求めることができるので、手領域検出と手の形状と姿勢の認識、若しくは手領域検出と手振り動作認識処理を一つの処理として統合することが可能となる。
【００５３】
第１９の発明は、第１１，第１２，第１６の発明に従属する発明であって、
第１の正規化ステップおよび第２の正規化ステップは、それぞれ、
入力する手の画像から抽出すべき手領域を、色分布として予め記憶する色記憶ステップと、
色分布に従い、入力する手の画像から手領域を抽出するステップと、
手首方向を求め、当該手首方向に従い手領域から手首領域を削除するステップと、
手首領域を削除した手領域を、画像上の予め定義した位置に移動させるステップと、
手領域内の手が、予め定めた一定方向に向くように回転角を求めるステップと、
回転角に従い、手が一定方向に向くように手領域を回転させるステップと、
回転させた手領域の大きさを、予め定めた一定の大きさに正規化するステップとを含むことを特徴とする。
【００５４】
上記のように、第１９の発明によれば、第１１，第１２，第１６の発明において、手画像を正規化する際に、手首領域を削除するだけではなく、肌色により手領域を抽出する。これにより、一般的で自然な背景で撮影した手の画像から手領域を抽出することができ、さらに、正確に手の形状および姿勢を認識することが可能となる。
【００５５】
第２０の発明は、第１１の発明に従属する発明であって、
形状情報および姿勢情報に対応する命令をそれぞれ格納する命令記憶ステップと、
出力するステップが出力する形状情報および姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を命令記憶ステップから取得して出力するステップとをさらに備える。
【００５６】
上記のように、第２０の発明によれば、第１１の発明の認識装置を、求めた手の形状および姿勢に従い、他の機器の制御を行うインタフェースとして機能させることができる。
【００５７】
第２１の発明は、光学的読取手段によって取得された入力手画像の形状および姿勢を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
手形状画像について求めた投影座標と、入力手形状画像について求めた投影座標とをそれぞれ比較し、入力手形状画像に最も近い手形状画像を求める比較ステップと、
最も近い手形状画像の形状情報と姿勢情報とを出力するステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００５８】
第２２の発明は、光学的読取手段によって取得された入力手画像の形状および姿勢を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
入力手画像を入力し、当該入力手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める第２の投影ステップと、
入力手形状画像について求めた投影座標と、統計情報とをそれぞれ比較し、最も近いクラスタを求める判別ステップと、
最も近いクラスタに属する手形状画像と入力手形状画像とをそれぞれ比較し、当該入力手形状画像に最も近い手形状画像を求める比較ステップと、
最も近い手形状画像の形状情報と姿勢情報とを出力するステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００５９】
第２３の発明は、第２２の発明に従属する発明であって、
比較ステップは、
判別ステップが求めたクラスタに属する手形状画像と、第２の正規化ステップが生成した入力手形状画像とを比較する際に、手形状画像を同一クラスタ内の同一形状ごとにグループ化するステップと、
グループを表現する統計量を求めるステップと、
入力手形状画像と統計量との距離を計算し、最も近いグループに属する形状を出力するステップとを含むことを特徴とする。
【００６０】
第２４の発明は、第２２の発明に従属する発明であって、
分析ステップは、各クラスタに対する手形状画像と形状情報とに基づいて、各手形状画像を判別するための部分領域をそれぞれ計算し、
比較ステップは、判別ステップで求めたクラスタに属する手形状画像と、第２の正規化ステップが生成した入力手形状画像とを比較する際に、クラスタに対応する部分領域内のみで比較することを特徴とする。
【００６１】
第２５の発明は、第２２の発明に従属する発明であって、
入力手画像が、認識対象となる手を複数の視点から撮影した複数の画像である場合、
第２の正規化ステップは、複数の入力手画像のそれぞれについて入力手形状画像を生成し、
第２の投影ステップは、第２の正規化ステップが生成した複数の入力手形状画像について固有空間内での投影座標をそれぞれ求め、
判別ステップは、第２の投影ステップが求めた各投影座標と統計情報とを比較して、最も近いクラスタをそれぞれ求め、
比較ステップは、判別ステップが求めた複数の最も近いクラスタを統合し、各クラスタに属する手形状画像の形状情報および姿勢情報から矛盾しない形状・姿勢を推定することを特徴とする。
【００６２】
第２６の発明は、光学的読取手段によって取得された手振り動作画像の意味を認識する方法を、コンピュータ装置において実行するためのプログラムを記録した記録媒体であって、
予め様々な形状と姿勢の手を撮影した複数の画像を入力し、当該画像の手首領域を削除した後予め定めた画像形態に正規化した手形状画像を、それぞれ生成する第１の正規化ステップと、
固有空間法による解析を行って、手形状画像から固有値と固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第１の投影ステップと、
投影座標を、クラスタ分析によりそれぞれグループ分けし、各手形状画像がどのクラスタに属するかと、各クラスタに関する統計情報とを求める分析ステップと、
手振り動作画像を入力し、当該手振り動作画像の各画像の中から手領域をそれぞれ検出する検出ステップと、
検出した手領域において手振り動作画像の手の動きをそれぞれ求め、手の動きに従い手動作の分節点を求める分節ステップと、
手振り動作画像中の手動作分節点である画像から、検出した手領域の部分を切り出す切出ステップと、
手振り動作画像から切り出された手画像系列について、当該手画像の手首領域を削除した後手形状画像と同等の画像形態となるように正規化した入力手形状画像を、それぞれ生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める第２の投影ステップと、
入力手形状画像について求めた投影座標と、統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルをそれぞれ出力する判別ステップと、
判別した手画像系列に対応したシンボル系列を、当該手画像系列の元となる手振り動作画像の意味と共に記憶するステップと、
入力する手振り動作画像を識別する場合、判別したシンボル系列に該当する意味を、記憶しているシンボル系列とその意味とに基づいて出力する識別ステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００６３】
第２７の発明は、第２６の発明に従属する発明であって、
手振り動作画像を入力し、当該画像の動作主体の動きと位置とから意味の候補を出力する認識ステップと、
一連の意味ある動作に基づいて、入力された手振り動作画像の意味を制約する制約条件を予め記憶する記憶ステップとをさらに含み、
識別ステップは、判別したシンボル系列に該当する意味を、制約条件に従いつつ記憶しているシンボル系列とその意味とに基づいて出力することを特徴とする。
【００６４】
第２８の発明は、第２６，第２７の発明に従属する発明であって、
検出ステップは、
入力する手振り動作画像の各画像の中から、手領域の候補となる領域をそれぞれ切り出す切出ステップと、
手画像の候補となる領域だけを矩形領域から抜き出すための領域マスクを記憶する記憶ステップと、
手振り動作画像から切り出された手領域候補の領域に、領域マスクを付加し、さらに固有ベクトルを計算する時に用いた手画像と同等の画像形態となるように正規化した画像をそれぞれ生成する正規化ステップと、
手領域候補の領域を正規化した画像を固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標をそれぞれ求める投影ステップと、
投影座標と統計情報とをそれぞれ比較し、最も近いクラスタを求め、当該クラスタを特定するシンボルと比較対象のクラスタとの近さを示す評価値とをそれぞれ出力する判別ステップと、
評価値に基づいて、最も高い評価値を持つ手領域候補の位置情報とそのクラスタとを出力する決定ステップとを含むことを特徴とする。
【００６５】
第２９の発明は、第２１，第２２，第２６の発明に従属する発明であって、
第１の正規化ステップおよび第２の正規化ステップは、それぞれ、
入力する手の画像から抽出すべき手領域を、色分布として予め記憶する色記憶ステップと、
色分布に従い、入力する手の画像から手領域を抽出するステップと、
手首方向を求め、当該手首方向に従い手領域から手首領域を削除するステップと、
手首領域を削除した手領域を、画像上の予め定義した位置に移動させるステップと、
手領域内の手が、予め定めた一定方向に向くように回転角を求めるステップと、
回転角に従い、手が一定方向に向くように手領域を回転させるステップと、
回転させた手領域の大きさを、予め定めた一定の大きさに正規化するステップとを含むことを特徴とする。
【００６６】
第３０の発明は、第２１の発明に従属する発明であって、
形状情報および姿勢情報に対応する命令をそれぞれ格納する命令記憶ステップと、
出力するステップが出力する形状情報および姿勢情報を入力し、当該形状情報および当該姿勢情報に対応する命令を命令記憶ステップから取得して出力するステップとをさらに含む。
【００６７】
上記のように、第２１〜第３０の発明は、上記第１１〜第２０の発明の手の形状と姿勢の認識方法を実行するためのプログラムを記録した記録媒体である。これは、既存の装置に対し、上記第１１〜第２０の発明の手の形状と姿勢の認識方法を、ソフトウエアの形態で供給することに対応させたものである。
【００６８】
【発明の実施の形態】
以下、本発明の各実施形態を説明するに先立ち、説明内で用いる「手形状」および「手姿勢」という用語についての定義を行う。
【００６９】
人間がジェスチャーや手話等のように、手に何らかの意味を持たせて提示する場合、指と掌による関節の曲げ角によって決められる手のポーズ（例えば、「グー」，「チョキ」，「パー」等）と、手首および腕関節によって決められる手の方向（例えば、指差しの方向等）との２つの意味が含まれている。そこで、本発明の各実施形態の説明においては、指と掌による関節の曲げ角によって決められる手のポーズを「手形状」と呼び、手首および腕関節によって決められる手の方向を「手姿勢」と呼ぶ。
【００７０】
ここで、手姿勢を厳密に定義する場合、例えば、図３７のように定義することができる。
まず、ある形状を示す手が存在する三次元空間において、手の手首断面中心から中指先端中心へ伸ばした方向をＸi 軸（掌主軸）と、Ｘi 軸と直交して手のひら平面に対して垂直方向をＹi 軸と、Ｘi 軸およびＹi 軸の双方に直交する方向をＺi 軸としたローカル座標系ｉを定義する（図３７（ａ））。一方、カメラにおいて手の画像を取り込んで投影するカメラ座標系ｃ（Ｘc 軸，Ｙc 軸，Ｚc 軸。なお、各軸は相互に直交する）を、予め設定する（図３７（ｂ））。なお、以下、カメラ座標系ｃのＺc 軸を光軸と表現する。
そして、カメラ座標系ｃ上に投影された手の画像に対して、手のローカル座標系ｉの各軸とカメラ座標系ｃの各軸との差を、次のように定義する（図３７（ｃ））。
θ：Ｘc 軸を中心とする回転角度
φ：Ｘc 軸−Ｚc 軸平面における回転角度
ψ：Ｘc 軸−Ｙc 軸平面における回転角度
これらの回転角度θ，φ，ψにより、手姿勢を定義する。
【００７１】
なお、手姿勢の表現は、このように厳密に定義することも可能だが、例えば、手の平がカメラに対してどの程度傾いているかを「カメラに対して正面、カメラに対して左に向いている」等の定性的な表現で定義することも可能である。本発明では、これらのいずれにおいても対応可能であるが、以下に示す各実施形態では、わかりやすく説明するために、定性的な表現で姿勢を定義する場合を一例に挙げて説明することにする。
【００７２】
以下、図面を参照して、本発明の各実施形態を詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態は、予め記憶する様々な手形状と手姿勢とを持つ複数の画像と、入力される認識対象である手の画像とを、固有空間法に基づき認識を行う場合に、用意する手の画像から手首領域を削除することによって正規化をすることにより、より複雑な形状の手画像に対しても手形状と手姿勢とを認識する装置および方法を提供するものである。
【００７３】
図１は、本発明の第１の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図１において、第１の実施形態に係る手の形状と姿勢の認識装置は、記憶部構築系１と、姿勢・形状認識系２とで構成される。
記憶部構築系１は、様々な手形状と手姿勢を示す複数の手形状画像とその形状情報と姿勢情報とから、認識するために必要な情報を予め構築する。姿勢・形状認識系２は、入力される認識対象となる手の画像（以下、入力手画像という）に対し、記憶部構築系１により構築された記憶部に格納されている情報を用いて、当該入力手画像の手形状および手姿勢を求める。
【００７４】
まず、記憶部構築系１および姿勢・形状認識系２の各構成を、それぞれ説明する。図１において、記憶部構築系１は、手画像正規化部１１と、手形状画像情報記憶部１２Ａと、固有空間計算部１３と、固有ベクトル記憶部１４と、固有空間投影部１５とを備える。姿勢・形状認識系２は、手画像正規化部２１と、固有空間投影部２２と、手形状画像選択部２３と、形状・姿勢出力部２４とを備える。
【００７５】
手画像正規化部１１は、様々な手形状と手姿勢とを持つ複数の手画像を入力し、当該手画像から手首領域を削除して予め定めた正規化を施した手形状画像をそれぞれ生成する。手形状画像情報記憶部１２Ａは、手画像正規化部１１が生成した複数の手形状画像を、別途与えられる当該手形状画像の形状情報および姿勢情報と、手形状画像を固有空間へ投影した固有空間投影座標と共にそれぞれ格納する。固有空間計算部１３は、手形状画像情報記憶部１２Ａが格納した手形状画像から、固有空間法による解析を行って固有値と固有ベクトルとを求める。ここで、固有空間計算部１３が行う固有空間解析の手法としては、例えば、手形状画像情報記憶部１２Ａに記憶した手形状画像から主成分分析を行って固有空間を求める手法、手形状画像情報記憶部１２Ａに記憶した手形状画像と形状情報とから判別分析を行ってその分析結果から手形状判別空間を求める手法等、種々の手法が考えられるが、第１の実施形態では、前者の手法で以降の動作を説明することにする。固有ベクトル記憶部１４は、固有空間計算部１３が求めた固有ベクトルを格納する。固有空間投影部１５は、手形状画像情報記憶部１２Ａに格納した手形状画像を、固有ベクトル記憶部１４に格納した固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求め、手形状画像情報記憶部１２Ａに格納する。
【００７６】
手画像正規化部２１は、入力手画像を入力し、当該入力画像が手形状画像情報記憶部１２Ａに予め記憶している手形状画像と同等のものとなるように、当該入力手画像から手首領域を削除して予め定めた正規化を施した入力手形状画像を生成する。固有空間投影部２２は、手画像正規化部２１が生成した入力手形状画像を、固有ベクトル記憶部１４に格納した固有ベクトルを基底とする固有空間に投影して、当該固有空間内での投影座標を求める。手形状画像選択部２３は、固有空間投影部２２が求めた投影座標と、手形状画像情報記憶部１２Ａに予め記憶している固有空間投影座標とを比較し、入力手形状画像に最も近い手形状画像を求める。形状・姿勢出力部２４は、手形状画像選択部２３が求めた最も近い手形状画像の形状情報と姿勢情報とを出力する。
【００７７】
次に、図２〜図５を用いて、第１の実施形態に係る手の形状と姿勢の認識装置が行う手形状／手姿勢の認識方法を、処理の順に説明する。図２は、図１の手画像正規化部１１が行う処理の概略を説明する図である。図３は、図１の手形状画像情報記憶部１２Ａが有する格納テーブルの一例を示す図である。図４は、図１の固有空間計算部１３において、固有空間を求める手法の一例の概略を説明する図である。なお、図４においては、上述した主成分分析による手法を用いた場合を一例として記載している。図５は、図１の固有空間投影部１５において、固有空間投影座標を求める手法の概略を説明する図である。
【００７８】
最初に、記憶部構築系１が行う処理を説明する。
記憶部構築系１は、上述したように、姿勢・形状認識系２に入力される入力手画像と比較するための手形状画像を、様々な手形状と手姿勢とを持つ複数の手画像を用いて予め構築する。ここで、記憶部構築系１は、手形状画像に対する固有空間を求めるため、手画像の正規化を行う。
【００７９】
図２を参照して、手画像正規化部１１は、まず、与えられた手画像から手首方向を求める（図２（ｂ））。次に、手画像正規化部１１は、手首側の端から掌側に向けて手首と背景との境界線に従い直線を引き、その直線との距離が予め定めたしきい値以上になった地点を手首領域の終点（手首切出点）として求める（図２（ｃ））。次に、手画像正規化部１１は、手画像から求めた手首切出点までの手首領域を削除する（図２（ｄ））。次に、手画像正規化部１１は、手首領域を削除した画像から手の部分だけを抜き出し、手首−中指方向が、ある一定方向に向くように回転する（図２（ｅ））。なお、本実施例では、その一定方向が真下であると仮定している。そして、手画像正規化部１１は、回転した手画像の大きさと全体の明るさとを、予め定めた値に正規化することで手形状画像を生成し（図２（ｆ））、この手形状画像の指の状態を示す形状情報（図２の例では、伸展３本指）および手画像の掌の向きを示す姿勢情報（図２の例では、掌方向：後）と共に、手形状画像情報記憶部１２Ａに記憶する。なお、図２の例では、姿勢情報として言葉で表現したものを用いたが、その他にも光軸に対する角度で表現してもかまわない。手画像正規化部１１は、上記正規化処理を様々な手形状と手姿勢とを持つ複数の手画像に対してそれぞれ行い、図３に示すように、複数の手形状画像を手形状画像情報記憶部１２Ａに記憶する。なお、手形状画像情報記憶部１２Ａにおける固有空間投影座標は、固有空間投影部１５によって求められた結果を格納するため、この時点では何も格納されていない。
【００８０】
次に、固有空間計算部１３は、手形状画像情報記憶部１２Ａに格納されたそれぞれの手形状画像の固有空間を求める。
図４を参照して、まず、固有空間計算部１３は、手形状画像情報記憶部１２Ａに記憶されている全ての手形状画像の平均画像ｃを求める（ステップＳ１）。次に、固有空間計算部１３は、各手形状画像ごとに、手形状画像から平均画像ｃを引いた画像をラスタスキャンして一次元ベクトルで表現し（ステップＳ２）、全ての画像の一次元ベクトルを列ベクトルとして並べた行列Ａを求める（ステップＳ３）。次に、固有空間計算部１３は、行列Ａから画像集合の共分散行列Ｑを求め（ステップＳ４）、この共分散行列Ｑの固有値と固有ベクトルとを求める（ステップＳ５）。最後に、固有空間計算部１３は、予め別途定義したｋ個の大きい固有値に対応する固有ベクトル（ｅ1 ，ｅ2 ，…，ｅk ）を基底ベクトルとする固有空間を求める（ステップＳ６）。
以上の処理により、固有空間計算部１３は、固有空間基底ベクトルを計算し、固有ベクトル記憶部１４に固有ベクトルの集合を格納する。
【００８１】
次に、固有空間投影部１５は、手形状画像情報記憶部１２Ａに格納されたそれぞれの手形状画像に対し、各手形状画像を固有空間へ投影した固有空間投影座標を求める。
図５を参照して、固有空間投影部１５は、手形状画像情報記憶部１２Ａに記憶されている各手形状画像ごとに、画像をラスタスキャンして一次元ベクトルを求め、当該一次元ベクトルと固有ベクトル記憶部１４に格納された固有ベクトルとの掛け算を行って固有空間投影座標を求める。そして、固有空間投影部１５は、この求めた各固有空間投影座標を、手形状画像情報記憶部１２Ａにそれぞれ格納する。
以上の処理によって、記憶部構築系１で予め行う処理が終了し、手形状画像情報記憶部１２Ａおよび固有ベクトル記憶部１４に全ての情報が格納される。
【００８２】
次に、姿勢・形状認識系２が行う処理を説明する。
認識対象となる入力手画像は、手画像正規化部２１に入力される。手画像正規化部２１は、入力手画像に対し、手画像正規化部１１と同様の手法で正規化した入力手形状画像を生成する。固有空間投影部２２は、手画像正規化部２１において生成された入力手形状画像について、固有空間投影部１５と同様に、固有ベクトル記憶部１４に記憶された固有ベクトルを用いて固有空間投影座標を求める。次に、手形状画像選択部２３は、固有空間投影部２２が求めた入力手形状画像に関する固有空間投影座標と、手形状画像情報記憶部１２Ａに予め記憶している各手形状画像の固有空間投影座標との距離（例えば、ユークリッド距離）をそれぞれ求め、入力手形状画像に最も近い手形状画像を求める。そして、形状・姿勢出力部２４は、求めた最も近い手形状画像の形状情報および姿勢情報を出力する。
以上の結果、入力手画像の手形状と手姿勢とを同時に求めることができる。
【００８３】
なお、典型的なハードウェア環境では、上記第１の実施形態に係る手の形状と姿勢の認識装置は、所定のプログラムデータが格納された記憶装置（ＲＯＭ，ＲＡＭ，ハードディスク等）とＣＰＵ（セントラル・プロセッシング・ユニット）と入出力装置とによって構成される。図６に、本第１の実施形態に係る手の形状と姿勢の認識装置を実現するハードウェア構成の一例を示す。
図６において、記憶装置５０は、例えば、ハードディスク等であって、手形状画像情報記憶部１２Ａおよび固有ベクトル記憶部１４の機能を持つ。ＣＰＵ５１は、各部の動作を制御する中央演算装置である。メモリ５２は、各部が動作するときに一時データを保存する。画像入力装置５３は、例えば、ビデオキャプチャーカード等であって、認識対象である入力手画像を入力する。入力装置５４は、様々な手形状と手姿勢とを持つ複数の手形状画像とその形状情報および姿勢情報を入力する。出力装置５５は、認識した手形状と手姿勢とを示すデータを出力する。これらのハードウェア構成をとることにより、第１の実施形態に係る手の形状と姿勢の認識装置を実現することができる。なお、このような場合、第１の実施形態に係る手の形状と姿勢の認識装置が行う各処理は、独立したプログラムデータの形態で提供される。このプログラムデータは、ＣＤ−ＲＯＭやフロッピーディスク等の記録媒体を介して導入されてもよい。
【００８４】
また、上記第１の実施形態に係る手の形状と姿勢の認識装置を、他の機器へのインタフェースとして使用する場合、次の機能を有する構成を付加すればよい。その構成とは、形状情報および姿勢情報に対する命令を記憶する命令記憶部と、当該命令を出力する命令出力部である。命令記憶部は、例えば、図７に示すような、形状情報および姿勢情報に対応する他の機器への命令を記憶している。図７は、オーディオ機器に対する命令が記憶されている一例を示す。そして、命令出力部は、形状・姿勢出力部２４が求めた形状情報・姿勢情報に従い、命令記憶部から形状情報・姿勢情報に対応する命令を他の機器に出力する。例えば、図７において、形状・姿勢出力部２４が「伸展５本指」の形状情報、かつ、「全姿勢」の姿勢情報を求めた場合には、命令出力部は、オーディオ機器を「スタート」する命令を出力するのである。このようにして、他の機器のインタフェースとして、上記第１の実施形態に係る手の形状と姿勢の認識装置を用いることが可能になる。
【００８５】
以上のように、本発明の第１の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、様々な手形状と手姿勢とを持つ複数の手画像と認識対象である入力手画像の両方から手首領域を削除するため、単純に大きさと明るさを正規化するよりも精密に手画像の正規化を行うことができる。これにより、固有空間に基づく手法を手形状と手姿勢との認識に用いても、十分に精度の高い結果を得ることが可能になる。
また、固有空間に基づく手法を手形状と手姿勢との認識に用いることにより、伸展指の個数を数えるなどの幾何的な特徴による手法により、幾何的な特徴がとれにくい、より複雑な手の形状に対しても対処が可能である。
さらに、複数の手形状画像と入力手形状画像とを比較する場合、全ての手形状画像とのマッチングを行おうとすると、画像数が膨大になることが考えられる。しかし、本第１の実施形態のように、手画像を正規化して固有空間内への投影してその投影座標を予め求めておき、その固有空間内で入力手形状画像と比較することにより、画像自体を比較するよりも計算量が減り、高速に処理を行うことができる。このため、様々な手形状と手姿勢とを示す複数の手形状画像のように膨大な量の手形状画像が考えられる場合には、非常に実用的な手法となる。
【００８６】
なお、上記第１の実施形態では、様々な手形状と手姿勢とを持つ複数の手形状画像として、実際の手画像を格納していることを仮定していたが、複数視点の画像を何らかの理由で撮影できない場合が考えられる。例えば、手の形状を認識する場合、手はいろいろな姿勢をとるため、予め様々な手姿勢で提示する手画像を用意する必要がある。実際の手をターンテーブルの上に載せて撮影することは不可能であり、また、人間にある姿勢を保つように命令し、その姿勢を撮影する場合、人間が示す姿勢の精度には限界があるため、実際には手の周囲を覆うような形で撮影する特別な機材を用意する必要があると考えられる。そこで、予め、ＣＡＤやＣＧなどで使われる三次元モデルとして手のモデルを用意し、そのモデルの複数視点の投影像を格納することにより、より、精度良く手形状画像とその時の手形状および手姿勢との関係を定義することができる。また、マネキン等で使われているような実際の手のモデル等を用いても、同等に定義することが可能である。なお、本第１の実施形態においては、三次元モデルの投影像を用意した場合でも実際の手画像を用意した場合でも、全く同じ構成および手法を用いることにより実現が可能である。
【００８７】
また、上記第１の実施形態は、手形状と手姿勢を１つだけ出力することを基本にしていたが、画像の解像度などの関係で、区別がつかないほど似ている場合等には、１つに絞れない場合があり得る。その場合は、複数の手形状と手姿勢の候補を出力することも考えられる。その場合も、上記第１の実施形態と全く同じ構成および手法を用いることにより実現が可能である。さらに、上記第１の実施形態は、手形状画像および入力手形状画像の両方に対し、濃淡画像を仮定したが、これらの画像がシルエット画像であっても、カラー画像であっても、上記第１の実施形態と全く同じ構成および手法を用いることにより実現が可能である。
【００８８】
（第２の実施形態）
一般に、手形状と手姿勢とが与えられている複数の手の画像を分類する場合、手形状ごとに、若しくは、手姿勢ごとに分類することが考えられる。しかしながら、手の画像の場合、「手形状は違うが似た画像（例えば、指を１本、若しくは２本出した形状を横から見た場合）」、「手姿勢は違うが似た画像（例えば、握った形状）」等が考えられる。そのため、手形状や手姿勢に従って分類すると、手形状と手姿勢を認識する場合に不都合な場合が多い。
【００８９】
そこで、本発明の第２の実施形態は、上記第１の実施形態で述べた固有空間法に基づく手の形状と姿勢の認識装置および方法において、手形状画像情報記憶部１２Ａに記憶した全ての手形状画像の固有空間投影座標をクラスタ分析により自動的にグループ分けし、認識対象である入力手画像が与えられたときに、最初にどのグループに属するかを求め、そして、そのグループ内のどの手形状画像に近いかを求めることにより、比較回数を減らし高速に処理を行う装置および方法を提供するものである。
【００９０】
図８は、本発明の第２の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図８において、第２の実施形態に係る手の形状と姿勢の認識装置は、上記第１の実施形態に係る手の形状と姿勢の認識装置と同様、記憶部構築系１と、姿勢・形状認識系２とで構成される。
図８において、記憶部構築系１は、手画像正規化部１１と、手形状画像情報記憶部１２Ｂと、固有空間計算部１３と、固有ベクトル記憶部１４と、固有空間投影部１５と、クラスタ分析部１６と、クラスタ情報記憶部１７Ａとを備える。姿勢・形状認識系２は、手画像正規化部２１と、固有空間投影部２２と、最尤クラスタ判別部２５と、画像比較部２６と、形状・姿勢出力部２４とを備える。
【００９１】
図８に示すように、第２の実施形態に係る手の形状と姿勢の認識装置は、上記第１の実施形態に係る手の形状と姿勢の認識装置に対し、記憶部構築系１において、手形状画像情報記憶部１２Ａを手形状画像情報記憶部１２Ｂに代えて、クラスタ分析部１６とクラスタ情報記憶部１７Ａとをさらに加えた構成であり、姿勢・形状認識系２において、手形状画像選択部２３を、最尤クラスタ判別部２５および画像比較部２６に代えた構成である。
なお、第２の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第１の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【００９２】
まず、第２の実施形態における記憶部構築系１および姿勢・形状認識系２の各構成を、上記第１の実施形態と異なる部分を中心に説明する。
手形状画像情報記憶部１２Ｂは、手画像正規化部１１が生成した複数の手形状画像を、その形状情報および姿勢情報と手形状画像を固有空間へ投影した固有空間投影座標と共にそれぞれ格納する。ここで、手形状画像情報記憶部１２Ｂは、上記第１の実施形態で述べた手形状画像情報記憶部１２Ａと異なり、複数の手形状画像を自動的にクラスタリングしたときのクラスタインデックス（以下、クラスタＩＤという）を格納する。クラスタ分析部１６は、手形状画像情報記憶部１２Ｂに格納された固有空間投影座標をクラスタ分析によりクラスタ化し、各手形状画像がどのクラスタに属するかを求め、クラスタを特定するクラスタＩＤを手形状画像情報記憶部１２Ｂに格納すると共に、各クラスタに関する統計情報を求める。クラスタ情報記憶部１７Ａは、クラスタ分析部１６が求めたクラスタＩＤおよび統計情報を格納する。
【００９３】
最尤クラスタ判別部２５は、固有空間投影部２２が求めた固有空間投影座標に最も近い投影座標を有するクラスタを取得する。画像比較部２６は、最尤クラスタ判別部２５が取得したクラスタに属する手形状画像情報記憶部１２Ｂに記憶された手形状画像から、手画像正規化部２１が生成した入力手形状画像に最も近い手形状画像を求める。
【００９４】
次に、図９〜図１１を用いて、第２の実施形態に係る手の形状と姿勢の認識装置が行う手形状／手姿勢の認識方法を、処理の順に説明する。図９は、図８の手形状画像情報記憶部１２Ｂが有する格納テーブルの一例を示す図である。図１０は、図８のクラスタ分析部１６が行う処理手順の一例を示すフローチャートである。なお、図１０においては、クラスタ分析の一手法であるＩＳＯＤＡＴＡ法を用いた場合を挙げて説明している。図１１は、図８の画像比較部２６において行う比較手法の概念の一例を示す図である。なお、図１１においては、単純なパターンマッチングによる比較手法を用いた場合を挙げて説明している。
【００９５】
最初に、記憶部構築系１が行う処理を説明する。
まず、手画像正規化部１１は、上記第１の実施形態と同様に、様々な姿勢を示す複数の手の画像から手首領域を削除して正規化を行うことで手形状画像をそれぞれ生成し、図９に示すように、複数の手形状画像、形状情報および姿勢情報を手形状画像情報記憶部１２Ｂに記憶する。なお、手形状画像情報記憶部１２Ｂにおける固有空間投影座標とクラスタＩＤとについては、固有空間投影部１５およびクラスタ分析部１６によって求められた投影座標とクラスタＩＤとを格納するため、この時点では何も格納されていない。
次に、固有空間計算部１３、固有ベクトル記憶部１４および固有空間投影部１５が、上記第１の実施形態と同様に固有空間法に基づいて固有空間を求め、固有空間へ手形状画像情報記憶部１２Ｂに記憶した手形状画像を投影し、投影によって求めた固有空間投影座標を手形状画像情報記憶部１２Ｂにそれぞれ格納する。
【００９６】
次に、クラスタ分析部１６は、手形状画像情報記憶部１２Ｂに格納された固有空間投影座標についてクラスタ分析を行い、手形状画像が近いもの同士を同一グループに分類されるようにグループ分けを行う。このクラスタ分析部１６で行うクラスタ分析の手法には、単純な再配置法（ｋ−平均法）やＩＳＯＤＡＴＡ法等の様々な手法が存在するが、ここでは、ＩＳＯＤＡＴＡ法によるクラスタリングの手法を一例に挙げて説明する。
【００９７】
ＩＳＯＤＡＴＡ法は、非階層的クラスタリングの中では代表的な手法で、再配置法によるクラスタリングに加えて、クラスタの分割と統合の手続からなっている。
図１０を参照して、クラスタ分析部１６は、まず、初期パラメータを設定する（ステップＳ１０１）。初期パラメータとしては、例えば、最終クラスタの数、再配置の収束条件、微少クラスタ・孤立データの判定条件、分裂・融合の分岐条件、反復計算の終了条件といったものがある。次に、クラスタ分析部１６は、初期クラスタの中心を決定する（ステップＳ１０２）。この初期クラスタは、手形状画像の投影座標集合に対し、適当に初期クラスタの中心となる画像を選択して決定することで代用できる。
【００９８】
次に、クラスタ分析部１６は、再配置法によりクラスタリングを行う。まず、クラスタ分析部１６は、固有空間内での各手形状画像とクラスタとの距離を計算し、それぞれの画像を距離が最小となるクラスタに配置する（ステップＳ１０３）。次に、クラスタ分析部１６は、再配置された画像の固有空間投影座標に従い、各クラスタの中心を再計算する（ステップＳ１０４）。そして、クラスタ分析部１６は、所属するクラスタを変えた画像数が、予め定めたしきい値以下である（収束した）か否かを判断する（ステップＳ１０５）。このステップＳ１０５の判断において、所属するクラスタを変えた画像数があるしきい値以下であれば、クラスタ分析部１６は、再配置法によるクラスタリング処理を終了し、それ以外の場合は、上記ステップＳ１０３に戻って処理を繰り返す。
【００９９】
上記ステップＳ１０５の判断において、収束したと判定した場合、クラスタ分析部１６は、個体の数が著しく少ないクラスタと、他の個体から著しく離れた個体とを、以後のクラスタリングから除外する（ステップＳ１０６）。次に、クラスタ分析部１６は、クラスタの数が最終クラスタ数を中心とする一定の範囲内にあり、クラスタ中心間の距離の最小値が予め定めたしきい値以下であるか否かを判断する（ステップＳ１０７）。このステップＳ１０７の判断において、クラスタ中心間の距離の最小値が予め定めたしきい値以下である場合、クラスタ分析部１６は、クラスタリングは収束したとして、各クラスタの情報（クラスタＩＤ、固有空間におけるクラスタの平均値、分散などの統計情報）をクラスタ情報記憶部１７Ａに記憶し、各手形状画像がどのクラスタに属するかを示すクラスタＩＤを手形状画像情報記憶部１２Ｂに記憶する（ステップＳ１０８）。一方、上記ステップＳ１０７の判断において、クラスタ中心間の距離の最小値が予め定めたしきい値以下でない場合、クラスタ分析部１６は、クラスタの分裂または融合を行う（ステップＳ１０９）。このステップＳ１０９では、クラスタ分析部１６は、クラスタ数が最終クラスタに対し一定の範囲を越えて大きいときは、クラスタの分裂を行い、小さいときは融合を行う。クラスタ数が一定の範囲にあるときは、反復回数が偶数なら融合を行い、奇数なら分裂を行う。
【０１００】
クラスタ分析部１６は、クラスタの融合では、クラスタ中心間の距離の最小値が予め定めたしきい値以下なら、そのクラスタ対を融合し新しいクラスタ中心を求める。次に、クラスタ分析部１６は、再び中心間距離を計算し、最小値がしきい値以上となるまで融合を続ける。
一方、クラスタ分析部１６は、クラスタの分裂では、クラスタの分散の最大値が予め定めたしきい値以上なら、そのクラスタを第１主成分に沿って２分し、新しいクラスタ中心と分散とを計算する。分散の最大値がしきい値以下となるまで分裂を繰り返す。
そして、クラスタ分析部１６は、上記ステップＳ１０９による分裂または融合が終了すると、再びステップＳ１０３に戻って処理を繰り返す。
【０１０１】
上記処理を行うことにより、クラスタ分析が終了し、各クラスタの情報であるクラスタＩＤ、固有空間におけるクラスタの平均値，分散等の統計情報がクラスタ情報記憶部１７Ａに、各手形状画像がどのクラスタに属するかを示すクラスタＩＤが手形状画像情報記憶部１２Ｂに格納される。なお、上記パラメータについて、実験などにより、最適なパラメータを随時選択することも考えられるが、それ以外に、ある情報量基準（例えば、ＡＩＣ，ＭＤＬ等）に従い、最終クラスタの数、クラスタの分割・統合基準を指定することも可能である。なお、本実施例では、ＩＳＯＤＡＴＡ法によるクラスタ分析について説明したが、単純な再配置法によるクラスタ分析であっても、しきい値等のパラメータを適切に設定することで、ＩＳＯＤＡＴＡ法と同等の効果を奏する。
以上の処理によって、記憶部構築系１で予め行う処理が終了し、手形状画像情報記憶部１２Ｂ、固有ベクトル記憶部１４およびクラスタ情報記憶部１７Ａに全ての情報が格納される。
【０１０２】
次に、姿勢・形状認識系２が行う処理を説明する。
認識対象となる入力手画像は、手画像正規化部２１に入力される。手画像正規化部２１および固有空間投影部２２は、上記第１の実施形態と同様に、正規化した入力手形状画像および固有空間投影座標を求める。最尤クラスタ判別部２５は、固有空間投影部２２が求めた固有空間投影座標とクラスタ情報記憶部１７Ａに記憶されているクラスタ情報との距離を求め、入力手形状画像に最も近い手形状画像が属するクラスタを求める。なお、最も近いクラスタを求める手法としては、各クラスタの平均とのユークリッド距離による手法、各クラスタとのマハラノビス距離による手法、最尤法により各クラスタと尤度を求め最も尤度が高いクラスタを近いクラスタとする手法等が考えられるが、ここでは、最尤法により最近クラスタを求める手法を一例に挙げて説明する。
【０１０３】
まず、最尤クラスタ判別部２５は、クラスタの統計情報として、クラスタ情報記憶部１７Ａにあるクラスタに属する画像の固有空間投影座標ｕから平均μを求め、クラスタ中心座標とする。さらに、最尤クラスタ判別部２５は、各画像の固有空間投影座標ｕとクラスタ中心座標とから共分散行列Σを求め、これらの値から下記式（４）に従って、クラスタｉに関する尤度関数Ｇi （ｕ）を定義する。なお、下記式（４）中のχ2 は、画像の固有空間投影座標ｕとクラスタｉとのマハラノビス距離を示す。
【数１】
0004332649.tif 000002
この尤度関数Ｇi （ｕ）により、最も尤度が高いクラスタを求める。
なお、これ以外の前述した手法（ユークリッド距離による手法、マハラノビス距離による手法）においても、登録している形状の数が少ない場合には、同等の効果を奏することができる。
【０１０４】
次に、画像比較部２６は、手形状画像情報記憶部１２Ｂに格納されているクラスタＩＤを参照して、最尤クラスタ判別部２５が求めたクラスタに属する手形状画像のみと、手画像正規化部２１が生成した入力手形状画像とを比較し、入力手形状画像に最も近い手形状画像を求める。なお、画像比較部２６において行う入力手形状画像と手形状画像との比較手法として各種考えられるが、例えば、単純なパターンマッチングによる手法で比較すればよい。そして、形状・姿勢出力部２４は、画像比較部２６が求めた手形状画像の形状情報および姿勢情報を出力する。
【０１０５】
以上のように、本発明の第２の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、記憶部構築系１において、手形状画像情報記憶部１２Ｂに記憶した複数の手形状画像を固有空間内におけるクラスタ分析によりグループ化し、姿勢・形状認識系２では、入力手画像を認識するときに、まず、最初にどのグループに属するかを求め、そして、そのグループ内でどの手形状画像に最も近いかを求めることにより、画像比較回数を減らすことができ、さらに高速に処理を行うことが可能となる。
また、固有空間内でのグループ分けのときに、手形状ごと若しくは手姿勢ごとといったグループ分けでなく、固有空間内で近い画像、すなわち似ている画像が同一グループとなるようにクラスタリングするので、異なる形状だが似た画像が存在する場合でも、正確にその手形状と手姿勢を求めることが可能になる。
【０１０６】
なお、上記第２の実施形態では、様々な手形状と手姿勢とを示す複数の手形状画像として、実際の手画像を格納していることを仮定していたが、上記第１の実施形態と同様に、予めＣＡＤやＣＧなどで使われる三次元モデルとして手のモデルを用意し、そのモデルの複数視点の投影像を格納することも考えられる。その場合、精度良く、投影像を取得したときのモデルの手姿勢を定義することができる。また、マネキン等で使われているような実際の手のモデル等を用いても、同等に定義することが可能である。
また、上記第２の実施形態は、手形状と手姿勢を１つだけ出力することを基本にしていたが、画像の解像度などの関係で、区別がつかないほど似ている場合等には、１つに絞れない場合があり得る。その場合は、複数の手形状と手姿勢の候補を出力することも考えられる。その場合も、上記第２の実施形態と全く同じ構成および方法を用いることにより実現が可能である。さらに、上記第２の実施形態は、似た画像を分類するために画像比較部２６を用いたが、状況により手形状まで出力すれば十分な場合もあり得る。その場合は、クラスタに属する手形状ごとに平均画像や、分散画像などの統計量に基づく手形状画像を求め、それらの画像と入力手形状画像とを比較することにより、手形状だけを求めることも可能である。また、第２の実施形態に係る手の形状と姿勢の認識装置をハードウェアで実現する場合には、上記図６で示したものと同等の構成を用いればよい。
【０１０７】
また、上記第２の実施形態に係る手の形状と姿勢の認識装置の画像比較部２６を、最尤クラスタ判別部２５が求めたクラスタに属する手形状画像情報記憶部１２Ｂに記憶した手形状画像と、手画像正規化部２１が生成した入力手形状画像とを比較する際に、手形状画像を同一クラスタ内の同一手形状ごとにグループ化する同一形状分類部と、分類した各グループを表現する統計量を求める形状グループ統計量計算部と、入力手形状画像と形状グループ統計量計算部が求めた統計量との距離を計算し、最も近いグループに属する手形状を出力する最尤形状判別部とからなる構成に置き換えてもよい。このようにすれば、さらに画像比較回数を減らすことができ、より高速に処理を行うことが可能となる。
【０１０８】
（第３の実施形態）
さて、上記第２の実施形態に述べたように、分析した各クラスタには、手形状や手姿勢によって分類された画像ではなく、似た画像が同一クラスタに分類されている。従って、例えば、図１３に示すような人差指と中指の２本の指を並べて立てる手画像と、人差指と中指の２本の指を重ねて立てる手画像とは、同一クラスタに分類される。このような手形状の違いは、例えば、現実的に手話の指文字を区別する場合に存在する。これらの手形状を判別する場合、上記第２の実施形態で述べたように画像の全体で違いを判別するのではなく、異なっている部分だけを抽出して判別する必要がある。
【０１０９】
そこで、本発明の第３の実施形態は、上記第２の実施形態における画像比較部２６が、入力手形状画像と手形状画像情報記憶部１２Ｂに格納されている手形状画像とをパターンマッチングにより直接全体比較するのではなく、予め各クラスタにおける判別枠を求めておき、この判別枠内で手形状を判別する手法を提供するものである。
【０１１０】
図１２は、本発明の第３の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図１２において、第３の実施形態に係る手の形状と姿勢の認識装置は、上記第２の実施形態に係る手の形状と姿勢の認識装置と同様、記憶部構築系１と、姿勢・形状認識系２とで構成される。
図１２において、記憶部構築系１は、手画像正規化部１１と、手形状画像情報記憶部１２Ｂと、固有空間計算部１３と、固有ベクトル記憶部１４と、固有空間投影部１５と、クラスタ分析／枠判別部１８と、クラスタ情報記憶部１７Ｂとを備える。姿勢・形状認識系２は、手画像正規化部２１と、固有空間投影部２２と、最尤クラスタ判別部２５と、画像比較部２７と、形状・姿勢出力部２４とを備える。
【０１１１】
図１２に示すように、第３の実施形態に係る手の形状と姿勢の認識装置は、上記第２の実施形態に係る手の形状と姿勢の認識装置に対し、記憶部構築系１において、クラスタ分析部１６をクラスタ分析／枠判別部１８に代え、クラスタ情報記憶部１７Ａをクラスタ情報記憶部１７Ｂに代え、姿勢・形状認識系２において、画像比較部２６を画像比較部２７に代えた構成である。
なお、第３の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第２の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１１２】
以下、第３の実施形態における記憶部構築系１および姿勢・形状認識系２の各構成および処理動作を、図１２および図１４を参照して、上記第２の実施形態と異なる部分を中心に説明する。図１４は、図１２のクラスタ分析／枠判別部１８が行う形状判別枠位置の算出方法の一例を示す図である。
【０１１３】
クラスタ分析／枠判別部１８は、まず、手形状画像情報記憶部１２Ｂに格納された固有空間投影座標についてクラスタ分析を行い、手形状画像が近いもの同士を同一グループに分類されるようにグループ分けを行う。この処理は、上記第１の実施形態で述べたクラスタ分析部１６と同じである。
次に、クラスタ分析／枠判別部１８は、各クラスタに対して、形状判別枠の位置を算出する。図１４を参照して、クラスタ分析／枠判別部１８は、まず、１つのクラスタ内に存在する同一手形状の手形状画像を複数抽出して平均化し、それぞれの手形状の平均画像を求める。次に、クラスタ分析／枠判別部１８は、予め定めた一定の枠（枠の形状は、任意に定めることができる。なお、図１４では、方形枠を用いている）を用い、それぞれの平均画像上で枠を移動させながら、枠内における双方の平均画像間の差を順次求め、最も差が大きい位置を形状判別枠の位置とする。そして、クラスタ分析／枠判別部１８は、この求めた形状判別枠の位置をクラスタ情報記憶部１７Ｂに記憶する。
【０１１４】
画像比較部２７は、まず、手形状画像情報記憶部１２Ｂに格納されているクラスタＩＤを参照して、最尤クラスタ判別部２５が求めたクラスタに属する手形状画像のみと、手画像正規化部２１が生成した入力手形状画像とを取得する。一方、画像比較部２７は、クラスタ情報記憶部１７Ｂから、最尤クラスタ判別部２５が求めたクラスタに対応する形状判別枠の位置を取得する。そして、画像比較部２７は、形状判別枠の位置内のみにおいて、取得した手形状画像と入力手形状画像とを比較し、入力手形状画像に最も近い手形状画像を求める。
【０１１５】
以上のように、本発明の第３の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、形状判別枠位置を予め定めておき、この形状判別枠内のみで手形状画像と入力手形状画像とを比較する。これにより、上記第２の実施形態に比べ、画像比較回数を減らすことができ、さらに高速かつ正確に処理を行うことが可能となる。
【０１１６】
（第４の実施形態）
本発明の第４の実施形態は、上記第２の実施形態において、最尤クラスタ判別部２５が求めたクラスタから、手形状と手姿勢を求めるときに、画像比較部２６によって、手形状画像情報記憶部１２Ｂに記憶している手形状画像と、入力手形状画像とを直接比較する代わりに、ある手形状と手姿勢とを示す手を複数のカメラを用いて複数の視点から撮影し、それぞれのカメラで撮影した手画像から最尤クラスタ判別部２５が求めたクラスタの中の形状情報を統合することにより、手形状と手姿勢とを求める手法を提供するものである。
【０１１７】
なお、本発明の第４の実施形態に係る手の形状と姿勢の認識装置の構成は、上記第２の実施形態に係る手の形状と姿勢の認識装置の構成と同様であるため図面を省略する。また、第４の実施形態における姿勢・形状認識系２の各構成および処理動作を、図８および図１５を参照して、上記第２の実施形態と異なる部分を中心に説明する。図１５は、本発明の第４の実施形態に係る手の形状と姿勢の認識装置において、複数台のカメラの入力手画像から手形状画像を求める概念の一例を説明する図である。なお、図１５においては、３台のカメラを用いた場合を一例に挙げて説明している。
【０１１８】
まず、前提として、図１５に示すように、ある手形状と手姿勢とを示す手を、３台のカメラを用いて異なる３方向から撮影し、３つの入力手画像を得る。この３方向から撮影した３つの入力手画像は、手画像正規化部２１，固有空間投影部２２および最尤クラスタ判別部２５によって各々処理され、対応する最も近いクラスタがそれぞれ求められる。これに対し、画像比較部２６は、３台のカメラの入力手画像から得られた３つのクラスタと、当該３つのクラスタに属する３つの手形状画像の形状情報および姿勢情報とから、以下の条件（１），（２）に従い、３つの入力手画像について最も近い手形状画像を求める。
（１）同一手形状であること
（２）カメラの位置関係と姿勢とが矛盾しないこと
【０１１９】
すなわち、画像比較部２６は、まず上記条件（１）に従って、３つのクラスタに属する手形状の中で、全てのクラスタに属する手形状（図１５に示す例では、伸展１本指となる）を抽出する。次に、画像比較部２６は、上記条件（２）に従って、それぞれ抽出した手形状に対応する手姿勢から、各カメラの位置関係に従って矛盾しない手形状画像を導き出す（統合する）。図１５に示す例では、第１カメラで手の甲側の画像を選択した場合、第２カメラでは掌が下向きの画像、第３カメラでは手が手前を向いている画像を選択すれば矛盾しなくなる。
上記の処理を行うことで、それぞれのカメラからの入力手画像に従い、最も条件に合う手形状画像が選択され、認識対象である入力手画像に対する手形状と手姿勢とを導くことができる。
【０１２０】
以上のように、本発明の第４の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、複数カメラからの入力手画像から求めたクラスタに基づき、各クラスタに属する手形状画像の形状情報と姿勢情報とをカメラの位置関係を用いて統合して、入力手画像の手形状および手姿勢を求める。これにより、１方向からの画像だけでは、手形状および手姿勢が決定できないような場合（例えば、横方向の手の画像など）でも、正確に手形状および手姿勢を求めることが可能となる。
【０１２１】
なお、上記第４の実施形態では、各カメラの画像から求めたクラスタにおいて、全てが矛盾しないように統合するように説明したが、各カメラからの結果に従い、多数決等によって一部のカメラのクラスタ選択することで、最も可能性が高い手形状および手姿勢を出力することも可能である。また、上記第４の実施形態では、３台のカメラを用いた場合を一例に説明したが、他の複数台のカメラを用いた場合であっても、上記と同様に実施することができる。
【０１２２】
（第５の実施形態）
上記第２の実施形態では、認識対象の手画像が静止画像（例えば、人差指を１本だけ伸ばして数字「１」を表現するだけの場合）であることを前提に、入力手画像に対応する手形状および手姿勢を出力する手の形状と姿勢の認識装置について述べた。しかし、ジェスチャーや手話等で行われる手振り動作には、動画像としての一連の動作を完了することで１つの意味を表す場合がある（例えば、人に行き先を教えるとき等によく用いられる人差指を１本だけ伸ばして指差す方向を変化させるような場合である）。このような動画像である手振り動作に関しては、上記第２の実施形態に係る手の形状と姿勢の認識装置では、手振り動作の意味を求めることができない。
【０１２３】
そこで、本発明の第５の実施形態に係る手の形状と姿勢の認識装置は、認識対象の手画像が一連の意味ある手振り動作を行う手を撮影した動画像（以下、手振り動作画像という）である場合に対応するものであり、様々な手振り動作について各々特徴点を抽出してその意味と共に予め記憶し、入力する手振り動作画像の特徴点と記憶する特徴点とを比較することにより、手振り動作の意味を求める手法を提供するものである。
以下、第５の実施形態においては、手振りを行う人物の上半身若しくは全身が撮影されている手振り動作画像が入力される場合を想定して説明する。なお、人物を撮影する方向としては、正面，斜め上，横等の様々な方向が考えられるが、第５の実施形態では、そのいずれの方向から撮影した画像に対しても有用な効果を奏することが可能である。
【０１２４】
図１６は、本発明の第５の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図１６において、第５の実施形態に係る手の形状と姿勢の認識装置は、上記第２の実施形態に係る手の形状と姿勢の認識装置と同様、記憶部構築系１と、姿勢・形状認識系２とで構成される。
図１６において、記憶部構築系１は、手画像正規化部１１と、固有ベクトル記憶部１４と、固有空間計算部１３と、手形状画像情報記憶部１２Ｂと、固有空間投影部１５と、クラスタ情報記憶部１７Ａと、クラスタ分析部１６とを備える。また、姿勢・形状認識系２は、手領域検出部２８と、手動作分節部２９と、手画像切出部３０と、手画像正規化部２１と、固有空間投影部２２と、最尤クラスタ判別部２５と、識別演算部３３Ａと、系列登録部３１と、系列識別辞書３２と、データ経路制御部３４Ａとを備える。
【０１２５】
図１６に示すように、第５の実施形態に係る手の形状と姿勢の認識装置は、上記第２の実施形態に係る手の形状と姿勢の認識装置に対し、姿勢・形状認識系２において、手領域検出部２８、手動作分節部２９および手画像切出部３０を手画像正規化部２１の前段に加え、画像比較部２６を系列登録部３１、系列識別辞書３２、識別演算部３３Ａおよびデータ経路制御部３４Ａに代えた構成である。
なお、第５の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第２の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
ここで、第５の実施形態で言う記憶部構築系１とは、上記第２の実施形態に係る手の形状と姿勢の認識装置に関する記憶部構築系１を意味し、系列識別辞書３２が記憶部構築系１側に含まれない形で構成される。しかし、第５の実施形態において用いる「記憶部構築系１」および「姿勢・形状認識系２」という系の名称は、あくまでも上記第２の実施形態との関連性を示すためにのみ存在するものであり、実際の内部処理、例えば姿勢・形状認識系２において辞書（系列識別辞書３２）を作成することについて拘束するものではないことをここに明記する。
【０１２６】
まず、第５の実施形態における姿勢・形状認識系２の各構成を、上記第２の実施形態と異なる部分を中心に説明する。
手領域検出部２８は、手振り動作画像を入力し、各々の画像から手領域をそれぞれ検出する。手動作分節部２９は、手振り動作画像から手形状と手姿勢の変化点を求め、変化点を含む１つまたは２つ以上の画像のみで構成される手振り動作画像系列を作成する。手画像切出部３０は、手動作分節部２９が作成した手振り動作画像系列から手が含まれる周辺領域をそれぞれ切り出して手画像系列を作成し、手画像正規化部２１に出力する。系列登録部３１は、手振り動作画像（手振り動作画像系列）を登録する場合において、最尤クラスタ判別部２５が出力する手画像系列に対応するクラスタ系列を、その手振り動作画像の意味と共に系列識別辞書３２に登録する。系列識別辞書３２は、系列登録部３１が出力するクラスタ系列を、対応して与えられる手振り動作画像の意味と共に格納する。識別演算部３３Ａは、手振り動作画像を認識する場合において、最尤クラスタ判別部２５が出力するクラスタ系列と、系列識別辞書３２に登録されているクラスタ系列とを比較することで、手振り動作画像の意味を認識する。データ経路制御部３４Ａは、最尤クラスタ判別部２５から出力されるクラスタ系列が、登録する場合には系列登録部３１へ、認識する場合には識別演算部３３Ａへ出力されるように制御する。
【０１２７】
次に、図１７〜図２０を用いて、第５の実施形態に係る手の形状と姿勢の認識装置が行う認識方法を、処理の順に説明する。図１７は、図１６の手領域検出部２８、手動作分節部２９および手画像切出部３０が行う処理の概念を示す図である。図１８は、図１６の手画像系列および当該手画像系列から求められるクラスタ系列の一例を示す図である。図１９および図２０は、図１６の系列識別辞書３２が有する記憶形態の一例を示す図である。なお、図１９においては、単純なテーブル形式における記憶形態の例を示し、図２０においては、隠れマルコフモデルに基づいた記憶形態の例を示している。
【０１２８】
第５の実施形態において、記憶部構築系１は、上記第２の実施形態に係る手の姿勢と形状の認識装置と同一の処理を行うため、ここでの説明を省略する。
姿勢・形状認識系２は、以下に述べる２つのモードの処理を行う。
１．登録モード（第１の登録モード）
入力される手振り動作画像から得られるクラスタ系列を、その意味と共に系列識別辞書３２へ登録するモードである。
２．認識モード
入力される手振り動作画像から得られるクラスタ系列に基づいて、その意味を認識するモードである。この認識モードは、上記第２の実施形態で行う姿勢・形状認識に該当する処理であり、固有ベクトル記憶部１４およびクラスタ情報記憶部１７Ａおよび系列識別辞書３２を用いて、手振り動作の意味を認識する。
これらの各モードは、データ経路制御部３４Ａに対して、どちらのモードを選択するかを入力することにより切り替えることができる。以下、それぞれのモードに従い、順を追って説明する。
【０１２９】
最初に、各モードにおいて共通に行われる手領域検出部２８、手動作分節部２９、手画像切出部３０および手画像正規化部２１の動作について説明する。
複数の画像から構成される手振り動作画像（図１７（ａ））は、手領域検出部２８に入力される。手領域検出部２８は、入力される手振り動作画像に対して、画像中で手が存在する領域（手領域）をそれぞれ検出する。ここでは、撮影される手振り動作画像が、背景から手領域を分離しやすい画像であると仮定し、単純に画像を二値化し、手の領域に近い面積を持つ領域を手領域として検出する。
【０１３０】
手動作分節部２９は、手領域検出部２８が出力する手振り動作画像に対して、手形状と手姿勢に関してキーとなる画像（以下、キーフレームと呼ぶ）を求める。ここでいうキーフレームとは、手形状と手姿勢とを人間が認識できる画像を指す。一般に手振り動作の場合、手が動いている間は、残像などの影響で人間は手形状と手姿勢とを認識していない。そこで、手動作分節部２９では、相対的に手の動きが小さな画像（フレーム）を求め、その画像をキーフレームとする。手動作分節部２９が求めた１つまたは２つ以上のキーフレームは、手振り動作画像系列（図１７（ｂ））として、手画像切出部３０に出力される。
なお、上記相対的な手の動きを求める手法としては、例えば、手領域検出部２８によって得られた手領域の手振り動作画像中における変位量や手領域内部の変動を求める手法や、手領域から手振り動作画像中における手の位置を追跡して手の軌跡から手が相対的に止まっている点（これには手の動作軌跡における曲率が相対的に大きなフレームも含まれる）を求める手法や、手振り動作画像から時間差分画像を求め、その時間差分画像の情報から手が相対的に止まっている点を求める手法等が考えられる。また、手振り動作画像の全ての画像をキーフレームとする場合もある。
【０１３１】
手画像切出部３０は、手動作分節部２９が求めた手振り動作画像系列の各キーフレームから、手領域検出部２８が求めた手領域部分をそれぞれ切り出して、手の部分が含まれる手画像系列（図１７（ｃ），図１８（ａ））を作成する。この手画像系列を構成する個々の手画像は、上記第２の実施形態において入力される手画像と同等の画像である。この手画像切出部３０が作成した手画像系列は、手画像正規化部２１へ出力される。
【０１３２】
そして、手画像正規化部２１，固有空間投影部２２および最尤クラスタ判別部２５は、手画像系列を構成する各キーフレームに対し、上記第２の実施形態で述べた各処理を行ってキーフレームに対応する最も近いクラスタをそれぞれ求め、クラスタ系列（図１８（ｂ））として出力する。
以上の処理が、各モードの前処理部として共通に行われ、手振り動作画像から対応するクラスタ系列が求められる。
【０１３３】
次に、各モード個別の処理について説明する。
まず、登録モードにおける処理について説明する。
この登録モードでは、最尤クラスタ判別部２５が出力するクラスタ系列が、手振り動作を特徴づける系列であると定義して、手振り動作が示す意味とともに系列識別辞書３２に登録（格納）する処理を行う。
【０１３４】
登録モードでは、データ経路制御部３４Ａは、最尤クラスタ判別部２５が出力するクラスタ系列が系列登録部３１に入力されるように、経路を切り換える。
系列登録部３１は、最尤クラスタ判別部２５から入力するクラスタ系列を、別途与えられる当該クラスタ系列に対応する手振り動作の意味と共に、系列識別辞書３２に登録する。系列識別辞書３２にデータを登録する場合の記憶形式としては幾つかの手法が存在するが、図１９および図２０の場合の２通りを一例に挙げて説明する。
図１９は、最尤クラスタ判別部２５で得られたクラスタ系列に対し、そのクラスタ系列を意味と共にそのまま登録した例である。なお、図１９のように、１つの意味に対して複数のクラスタ系列が存在するのは、同じ意味の手振り動作でも実行する人間によって速度や形状等が微妙に異なっているためであり、同じ意味の手振り動作に対して登録処理を複数回行うことで作成される。
図２０は、状態遷移モデルの一例として隠れマルコフモデル（ＨＭＭ）の形で登録した例である。この隠れマルコフモデルとは、音声認識の分野等で知られている技術であり、図１９に示したような１つの意味に対して複数存在するクラスタ系列を、１つの状態遷移モデルに統合した形で表すものである。隠れマルコフモデルに関する詳細な技術内容は、例えば、技術文献“中川著「確立モデルによる音声認識」コロナ社、電子情報通信学会編”に記載されており、図２０はこの文献に準じて書き表したものである。なお、図２０中、スカラ値はＳ１〜Ｓ３への状態遷移確率を、ベクトル値はクラスタ１〜５の状態遷移による条件付きの出力確率を示している。
【０１３５】
なお、系列識別辞書３２の構築方法として、画像から得られた手形状と手姿勢とをそのまま登録する場合が一般的である。しかしながら、その場合、上記第２の実施形態で述べたように、手の画像には「手形状は違うが似た画像」、「手姿勢は違うが似た画像」があるため、上記第３および第４の実施形態のように画像を比較したり、複数のカメラからの画像を用いなければ、誤認識が生じやすい。そこで、第５の実施形態では、そのような手法とは違い、見た目が近い画像を同一クラスタとしたクラスタ系列を系列識別辞書３２に登録することにより、誤認識がより少ない形で認識できるようにしている。
【０１３６】
次に、認識モードにおける処理について説明する。
この認識モードでは、入力された手振り動作画像に対して、系列識別辞書３２を用いて実際にその意味を求める処理を行う。
認識モードでは、データ経路制御部３４Ａは、最尤クラスタ判別部２５が出力するクラスタ系列が識別演算部３３Ａに入力されるように、経路を切り換える。
識別演算部３３Ａは、最尤クラスタ判別部２５から入力するクラスタ系列と、系列識別辞書３２に登録されている複数のクラスタ系列とを比較し、同一または最も近いクラスタ系列を判断する。そして、識別演算部３３Ａは、同一または最も近いと判断したクラスタ系列の意味を系列識別辞書３２から抽出して、出力する。
【０１３７】
以上のように、本発明の第５の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、上記第２の実施形態と同様のクラスタ情報を用いるにあたり、ジェスチャー単語や手話単語等のような一連の意味ある手振り動作画像に対して、手動作の分節点となる画像のクラスタ系列をその意味と共に予め記憶し、手振り動作画像を認識するときに、求めたクラスタ系列に基づいて記憶している意味を出力する。
これにより、ジェスチャー単語や手話単語等のような一連の意味ある動作に対して、より誤認識を減らし、正確に意味を求めることが可能となる。
【０１３８】
なお、上記第５の実施形態では、キーフレームにおける手画像を認識する方法を記載した。しかし、本発明の第５の実施形態は、この他にも、全てのフレームをキーフレームにした場合、一定間隔にサンプリングしたフレームをキーフレームにした場合、手振り動作の開始時と終了時のフレームのみをキーフレームにした場合等においても、上記処理を行うことで同様の効果を奏することができる。
【０１３９】
（第６の実施形態）
本発明の第６の実施形態は、上記第５の実施形態の記憶部構築系１において、手形状画像情報記憶部１２Ｂに、予め様々な姿勢と形状の手画像を記憶する代わりに、手振り動作画像から得られる手画像系列の各画像とその意味とを記憶するようにしたものである。
【０１４０】
図２１は、本発明の第６の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図２１において、第６の実施形態に係る手の形状と姿勢の認識装置は、上記第５の実施形態に係る手の形状と姿勢の認識装置のように記憶部構築系１と姿勢・形状認識系２とを区別することなく一つの統合された形で構成される。
図２１において、第６の実施形態に係る手の形状と姿勢の認識装置は、手領域検出部２８と、手動作分節部２９と、手画像切出部３０と、手画像正規化部２１と、固有空間投影部２２と、最尤クラスタ判別部２５と、識別演算部３３Ａと、系列識別辞書３２と、データ経路制御部３４Ｂと、手画像登録部３５と、系列再構成部３６と、固有空間計算部１３と、固有ベクトル記憶部１４と、手形状画像情報記憶部１２Ｃと、クラスタ分析部１６と、クラスタ情報記憶部１７Ａとを備える。
【０１４１】
図２１に示すように、第６の実施形態に係る手の形状と姿勢の認識装置は、上記第５の実施形態に係る手の形状と姿勢の認識装置に対し、記憶部構築系１と姿勢・形状認識系２を統合するため、図１６において、手画像正規化部１１と手画像正規化部２１、固有空間投影部１５と固有空間投影部２２をそれぞれ統合し、手形状画像情報記憶部１２Ｂを手形状画像情報記憶部１２Ｃに、データ経路制御部３４Ａをデータ経路制御部３４Ｂに、さらに系列登録部３１を手画像登録部３５および系列再構成部３６にそれぞれ代えた構成である。
なお、第６の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第５の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１４２】
まず、第６の実施形態に係る手の形状と姿勢の認識装置の各構成を、上記第５の実施形態と異なる部分を中心に説明する。
手画像登録部３５は、手画像正規化部２１から与えられる手振り動作画像に対応する手画像系列を、その系列の意味と共に手形状画像情報記憶部１２Ｃに登録する。手形状画像情報記憶部１２Ｃは、登録する手振り動作画像に対応する手形状画像系列（手画像系列）を、その系列の意味と共にそれぞれ格納する。また、手形状画像情報記憶部１２Ｃは、上記第５の実施形態における手形状画像情報記憶部１２Ｂと同様、各々の手形状画像を固有空間へ投影した投影座標およびクラスタＩＤをそれぞれ格納する。系列再構成部３６は、手形状画像情報記憶部１２Ｃに格納した情報に基づいて、格納したそれぞれの手形状画像系列に対応するクラスタ系列とその意味を系列識別辞書３２に登録する。データ経路制御部３４Ｂは、手画像正規化部２１から出力される手画像系列が、登録する場合には手画像登録部３５へ、認識する場合には固有空間投影部２２へ出力されるように制御する。
【０１４３】
次に、図２２を用いて、第６の実施形態に係る手の形状と姿勢の認識装置が行う認識方法を、処理の順に説明する。図２２は、図２１の手形状画像情報記憶部１２Ｃが有する格納テーブルの一例を示す図である。
【０１４４】
第６の実施形態に係る手の姿勢と形状の認識装置は、以下に述べる２つのモードの処理を行う。
１．登録モード（第２の登録モード）
入力される手振り動作画像から得られるクラスタ系列を、その意味と共に系列識別辞書３２へ登録するモードである。この登録モードは、手形状画像情報記憶部１２Ｃ、固有ベクトル記憶部１４およびクラスタ情報記憶部１７Ａを構築するモードであり、上記第２の実施形態に係る記憶部構築系１に該当する処理である。すなわち、入力される手振り動作画像から得られる手画像系列（手形状画像系列）をその意味と共に手形状画像情報記憶部１２Ｃに格納し、格納した手形状画像をもとに固有空間の計算およびクラスタ分析を行う。そして、求めたクラスタ系列とその意味とを系列識別辞書３２へ登録する。
２．認識モード：手振り認識
入力される手振り動作画像から得られるクラスタ系列に基づいて、その意味を認識するモードである。この認識モードは、上記第５の実施形態で説明した認識モードと同様、上記第２の実施形態で行う姿勢・形状認識に該当する処理であり、固有ベクトル記憶部１４およびクラスタ情報記憶部１７Ａおよび系列識別辞書３２を用いて、手振り動作の意味を認識する。
これらの各モードは、データ経路制御部３４Ｂに対して、どちらのモードを選択するかを入力することにより切り替えることができる。以下、それぞれのモードに従い、順を追って説明する。
【０１４５】
まず、登録モードにおける処理について説明する。
上述したように、手領域検出部２８、手動作分節部２９、手画像切出部３０および手画像正規化部２１が、上記第５の実施形態と同等の処理で入力する手振り動作画像に対応する手画像系列を求める。一方、データ経路制御部３４Ｂは、手画像正規化部２１が出力する手画像系列が手画像登録部３５に入力されるように、経路を切り換える。
次に、手画像登録部３５は、手画像正規化部２１から入力する手画像系列を、別途与えられる当該手画像系列に対応する手振り動作の意味と共に、手形状画像情報記憶部１２Ｃに格納する。図２２に、手形状画像情報記憶部１２Ｃが有する格納テーブルの一例を示す。図２２に示すように、手形状画像情報記憶部１２Ｃには、上記第２の実施形態における手形状画像情報記憶部１２Ｂの形状情報および姿勢情報の代わりに、手画像系列の番号、手画像系列に対応する手振り動作画像の意味、系列中の手形状画像が何番目に位置する画像であるかという情報（ステップ）がそれぞれ格納される。なお、両手が接触しているような画像の場合、両手が接触している画像を１つの手形状画像として登録する。
【０１４６】
固有空間計算部１３、固有ベクトル記憶部１４、固有空間投影部２２およびクラスタ分析部１６は、手形状画像情報記憶部１２Ｃに格納した各々の手形状画像について上記第２の実施形態で述べた処理を行い、固有ベクトル記憶部１４およびクラスタ情報記憶部１７Ａに対応する情報を格納すると共に、手形状画像情報記憶部１２Ｃに固有空間投影座標およびクラスタＩＤを格納する。
系列再構成部３６は、手形状画像情報記憶部１２Ｃへの情報格納がされると、格納されている手画像系列毎にクラスタ系列とその意味を、系列識別辞書３２に登録する。
【０１４７】
次に、認識モードにおける処理について説明する。
認識モードでは、識別演算部３３Ａは、最尤クラスタ判別部２５から入力するクラスタ系列と、系列識別辞書３２に登録されている複数のクラスタ系列とを比較し、同一または最も近いクラスタ系列を判断する。そして、識別演算部３３Ａは、同一または最も近いと判断したクラスタ系列の意味を系列識別辞書３２から抽出して、出力する。
【０１４８】
以上のように、本発明の第６の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、手形状画像情報記憶部１２Ｃに記憶する画像を実際の認識時と同じ画像を使うことができるため、別の画像をわざわざ取得する必要もなく、また、同一の環境で画像を取得することが保証されるため、画像の誤認識を減らすことができる。
【０１４９】
なお、上記第６の実施形態に係る手の形状と姿勢の認識装置に、上記第５の実施形態で述べた系列登録部３１およびデータ経路制御部３４Ａの構成をさらに加え、系列識別辞書３２へのクラスタ系列とその意味の登録を、第１の登録モードまたは第２の登録モードのいずれを用いてもできるようにしてもよい。
このような構成にすることで、手形状画像情報記憶部１２Ｃが固定的なデータベースとして用いられているような場合であっても、第１の登録モードによって新たな手振り動作画像に関するデータ登録（系列識別辞書３２の更新）を行うことが可能となる。
【０１５０】
（第７の実施形態）
本発明の第７の実施形態は、上記第５または第６の実施形態において、認識対象の手画像がジェスチャーや手話などの一連の意味ある動作を行う手を撮影した手画像である場合、第５または第６の実施形態による認識装置をジェスチャーや手話を認識するための装置の１モジュールとして用いることにより、動作の意味を求める手法を提供するものである。
【０１５１】
例えば、手話の認識のために本発明を用いる場合を考える。手話の場合、手の形状の他に手の空間位置、手の動き、手形状、手姿勢といったい幾つかの構成要素から、その意味が成り立っているといわれている。さらに、手形状では、手話単語の開始時の形状と終了時の形状（右手のみ、左手のみ、左手右手両方）とを構成要素として挙げることができる。図２３に、幾つかの手話単語を構成要素で記述した一例を示す。図２３において、「言う」という意味の手話単語の場合、右手を用い、人差指を伸ばした手形状を、まず口元若しくは口の前に持っていき、その後その手形状のまま前方に出すという動作で表現される。一方、「好き」という意味の手話単語の場合、右手を用い、まず親指と人差指を伸ばした手形状をあごの部位に持っていき、次に指を閉じながら下方に引くという動作で表現される。
【０１５２】
そこで、第７の実施形態に係る手の形状と姿勢の認識装置では、手話やジェスチャーといった動作に対し、手の空間位置や動きといった手の大局的動作に関する特徴による認識部の制約条件を加えることによって、手画像の誤認識を減らすものである。
【０１５３】
図２４は、本発明の第７の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。図２４において、第７の実施形態に係る手の形状と姿勢の認識装置は、手画像登録部３５と、固有ベクトル記憶部１４と、固有空間計算部１３と、手形状画像情報記憶部１２Ｃと、クラスタ情報記憶部１７Ａと、クラスタ分析部１６と、系列再構成部３６と、手領域検出部２８と、手動作分節部２９と、手画像切出部３０と、手画像正規化部２１と、固有空間投影部２２と、最尤クラスタ判別部２５と、識別演算部３３Ｂと、系列識別辞書３２と、データ経路制御部３４Ｂと、大局動作認識部３７と、制約条件記憶部３８とを備える。
図２４に示す第７の実施形態に係る手の形状と姿勢の認識装置は、上記第６の実施形態に係る手の形状と姿勢の認識装置に、大局動作認識部３７および制約条件記憶部３８を加え、識別演算部３３Ａを識別演算部３３Ｂに代えた構成である。なお、第７の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第６の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１５４】
まず、制約条件記憶部３８には、手話単語のような意味ある動作に基づいて手形状と手姿勢とを制約する制約条件が、予め記憶されている。この制約条件とは、例えば、図２３に示す手話単語「言う」の場合、開始の手形状と終了の手形状との双方共、人差指を伸ばした形状に、また、手姿勢，位置および動作を上述した内容のように記憶する。なお、手話単語「言う」の動作は、右手のみで行われるため、図２３の例では左手に関する条件が記載されていない。
【０１５５】
手振り動作画像は、大局動作認識部３７および手領域検出部２８にそれぞれ入力される。大局動作認識部３７は、入力する手振り動作画像に対して、手領域検出部２８と同様に手領域を抽出し、当該手領域における手の軌跡と身体に対する手の位置とを求め、手の軌跡と手の位置の情報を識別演算部３３Ｂへ出力する。この大局動作認識部３７は、例えば、本願発明者等が先に出願した「手動作認識装置」（特開平１１−１７４９４８号）に記載された手法に従って、手の軌跡と手の位置とを求める。
一方、手領域検出部２８に入力される手振り動作画像に対しては、上記第６の実施形態で述べた処理が手動作分節部２９、手画像切出部３０、手画像正規化部２１、固有空間投影部２２および最尤クラスタ判別部２５において各々行われ、手振り動作画像に対応するクラスタ系列が最尤クラスタ判別部２５から識別演算部３３Ｂへ出力される。
【０１５６】
識別演算部３３Ｂは、まず、制約条件記憶部３８に記憶されたデータを検索して、大局動作認識部３７から与えられる手振り認識結果（手の軌跡と手の位置の情報）と同一の動作データの手話／ジェスチャー単語を、１つ以上抽出する。次に、識別演算部３３Ｂは、最尤クラスタ判別部２５から入力するクラスタ系列と、系列識別辞書３２に登録されている複数のクラスタ系列とを比較し、同一または最も近いクラスタ系列を判断して、当該判断したクラスタ系列の意味を系列識別辞書３２から１つ以上抽出する。そして、識別演算部３３Ｂは、１つ以上抽出した手話／ジェスチャー単語と、１つ以上抽出した意味とに基づいて、入力した手振り動作画像について最も近い意味を出力する。
【０１５７】
以上のように、本発明の第７の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、手の大局的動作の特徴に基づく制約条件をさらに加えて、手振り動作画像の意味を導き出す。
これにより、手振り動作画像の誤認識を減らすことができる。
【０１５８】
なお、上記第７の実施形態では、大局動作認識部３７、制約条件記憶部３８および識別演算部３３Ｂを、上記第６の実施形態に係る手の形状と姿勢の認識装置に対して構成した場合を説明したが、上記第５の実施形態に係る手の形状と姿勢の認識装置に対して構成してもよいし、上記第６の実施形態のなお書きで述べたように第５の実施形態と第６の実施形態とを合成した手の形状と姿勢の認識装置に対して構成してもよい。
【０１５９】
（第８の実施形態）
本発明の第８の実施形態は、上記第５〜第７の実施形態の手領域検出部２８において、手領域に関してもクラスタ情報を利用することによって、より高精度に画像中の手領域を検出する手法を提供するものである。
【０１６０】
図２５は、本発明の第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部の詳細な構成を示すブロック図である。図２５において、第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部４８は、領域候補切出部３９と、領域マスク記憶部４０と、画像正規化部４１と、固有空間投影部２２と、最尤クラスタ判別部２５と、領域決定部４２とを備える。
なお、第８の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第５〜第７の実施形態に係る手の形状と姿勢の認識装置の構成とそれぞれ同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１６１】
まず、第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部４８の各構成を説明する。
領域候補切出部３９は、入力する手振り動作画像から手領域の候補となる画像範囲をそれぞれ切り出す。また、領域候補切出部３９は、切り出した手領域の位置情報を領域決定部４２へ出力する。領域マスク記憶部４０は、領域候補切出部３９が切り出した候補手領域から、予め定めた領域のみを抜き出すためのマスクを記憶する。画像正規化部４１は、領域候補切出部３９が切り出した候補手領域に対し、大きさを正規化して領域マスク記憶部４０に記憶したマスク領域を付加した後、明るさを正規化することで手領域候補画像を得る。固有空間投影部２２は、上記第５〜第７の実施形態で述べたように、画像正規化部４１によって得られる手領域候補画像を固有空間へ展開する。最尤クラスタ判別部２５は、上記第５〜第７の実施形態で述べたように、固有空間投影部２２が求めた固有空間投影座標に最も近い投影座標を有するクラスタを取得する。領域決定部４２は、最尤クラスタ判別部２５がクラスタを取得したときの尤度を、全ての手領域候補画像に対して比較し、最も高い尤度を持つ手領域候補画像の位置とその時のクラスタインデックスを出力する。
【０１６２】
次に、図２６〜図２８を用いて、第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部４８が行う手領域検出方法を、処理の順に説明する。図２６は、図２５の領域候補切出部３９が行う手領域候補を求める手法の一例を説明する図である。なお、図２６においては、単純にスキャンを行う手法、色情報他の知識により手領域候補を切り出す手法、および、前時刻の手領域検出結果に従い現時刻の手領域位置を予測して手領域を切り出す手法の３つについて説明している。図２７は、図２５の画像正規化部４１における処理の概要を示す図である。図２８は、図２５の領域マスク記憶部４０に記憶されているマスク領域の一例を示す図である。
【０１６３】
まず、領域候補切出部３９は、手領域候補を求めて、入力する手振り動作画像から求めた手領域候補に対応する矩形領域を切り出す。この手領域候補を求める手法としては、例えば図２６に示す３つの手法が考えられる。
第１の手法は、最も単純な手法であり、手領域候補として切り出す領域の大きさを予め決めておき、切り出す矩形領域を手振り動作画像上でスキャンさせて、スキャンによって順次得られる全ての領域を手領域候補とする手法である（図２６（ａ））。なお、この手法の場合、手振り動作画像上の手の距離によって、スキャンさせる大きさを可変してもよい。
第２の手法は、色情報（例えば、肌色情報）などを用いることにより、手振り動作画像から、その色に対応する領域の前後のみをスキャンさせる対象として、手領域候補の矩形領域を切り出す手法である。この手法の場合、肌色情報を用いることにより、手と顔の周辺領域の画像のみを手領域候補とすることができる（図２６（ｂ））。
第３の手法は、前時刻の手領域の位置情報（領域決定部４２からフィードバックされる情報）から現時刻の手領域の位置を予測し、予測した手領域の位置の周辺をスキャンすることによって手領域候補を切り出す手法である。この手法の場合、例えば、前時刻の手の位置に前時刻の手の速度を足し合せることによって現時刻の手領域を予測する手法、また、予測の時にカルマンフィルタを用いて手の位置を求める手法等がある（図２６（ｃ））。
【０１６４】
次に、画像正規化部４１は、図２７に示すように、領域候補切出部３９が切り出した手領域候補に対し、大きさを正規化し、領域マスク記憶部４０に記憶した手領域マスクを重ね合せ、明るさを正規化する。手領域候補に対してマスク処理を行うのは、処理対象が掌や顔といった矩形領域ではない部位だからである。このため、領域マスク記憶部４０に記憶されている手領域マスクの一例としては、図２８（ａ）に示すような幾何形状マスク（単純な幾何形状（円、楕円など）を用いたマスク）や、図２８（ｂ）に示すような学習画像から作成したマスク（過去に得られた画像群を重ね合せてＯＲ演算をしたマスク）等が好ましい。
このように、画像正規化部４１は、上記手領域マスクと手領域候補の画像とを重ね合せ、明るさの正規化を行うことにより、手領域候補画像を生成する。
【０１６５】
その後は、上記第５〜第７の実施形態と同様に、固有空間投影部２２は、画像正規化部４１が出力する各手領域候補画像を、固有ベクトル記憶部１４に従って固有空間へ投影して投影座標をそれぞれ求める。そして、最尤クラスタ判別部２５は、固有空間投影部２２が求めた投影座標がクラスタ情報記憶部１７Ａに記憶しているどのクラスタに属するかを判断し、各手領域候補画像ごとに該当クラスタとそのときの尤度を領域決定部４２へ出力する。
【０１６６】
そして、領域決定部４２は、最尤クラスタ判別部２５が出力する各手領域候補画像に対応する尤度から、最も尤度の高いときの手領域候補を求め、その時の手領域の位置（領域候補切出部３９から与えられる）と大きさとを手領域検出結果として、手動作分節部２９へ出力する。
【０１６７】
以上のように、本発明の第８の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、手領域を検出するときに手領域候補の領域を固有空間へ投影して、該当クラスタを求めることによって手領域を検出する。
このため、手領域を検出すると同時にその手領域の該当クラスタを求めることができるので、手領域検出と手の形状と姿勢の認識、若しくは手領域検出と手振り動作認識処理を一つの処理として統合することが可能となる。
【０１６８】
なお、第８の実施形態では、手振り動作画像に対して上記手法を適用したが、一般の動作画像に対しても上記手法を用いることにより、動作主体の検出を行うことは可能であり、同等の効果を奏することができる。
【０１６９】
（第９の実施形態）
本発明の第９の実施形態は、上記第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部４８の画像正規化部４１および領域決定部４２において、前時刻のクラスタ情報を利用することにより、現時刻の手領域検出をより高精度に行う手法を提供するものである。
【０１７０】
図２９は、本発明の第９の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部の詳細な構成を示すブロック図である。図２９において、第９の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部５８は、領域候補切出部３９と、領域マスク記憶部４５と、画像正規化部４１と、固有空間投影部２２と、最尤クラスタ判別部２５と、領域決定部４２と、クラスタ遷移情報記憶部４３と、クラスタ遷移情報登録部４４とを備える。
図２９に示すように、第９の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部５８は、上記第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部４８に、クラスタ遷移情報記憶部４３およびクラスタ遷移情報登録部４４を付加し、領域マスク記憶部４０を領域マスク記憶部４５に代えた構成である。
なお、第９の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第８の実施形態に係る手の形状と姿勢の認識装置の構成と同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１７１】
以下、図３０〜図３１を用いて、第９の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部５８が行う手領域検出方法を、処理の順に説明する。図３０は、図２９のクラスタ遷移情報記憶部４３に記憶されるクラスタ遷移情報の一例を示す図である。図３０に示すように、クラスタ遷移情報記憶部４３には、ある時刻ｔのクラスタが与えられたとき、次の時刻ｔ＋１にどのクラスタに遷移しやすいかを示すクラスタ遷移の頻度を記載した遷移度マップが格納されている。なお、ここではクラスタ遷移の度合いをクラスタ遷移度と呼ぶ。図３１は、図２９の領域マスク記憶部４５に記憶されているマスク領域の一例を示す図である。図３１に示すように、領域マスク記憶部４５には、予め学習画像から作成したマスクが各クラスタごとに別々に登録されている。
【０１７２】
まず、領域候補切出部３９は、上記第８の実施形態と同様、入力する手振り動作画像から手領域候補を求め、求めた候補に対応する矩形領域を切り出す。
次に、画像正規化部４１は、領域候補切出部３９によって得られた手領域候補の大きさを正規化し、領域マスク記憶部４５に記憶した手領域マスクを重ね合せて明るさを正規化する。このとき、画像正規化部４１は、前時刻の該当クラスタをもとに、クラスタ遷移情報記憶部４３を参照して遷移度の高いクラスタを複数個選び、それぞれのクラスタに該当するマスクを領域マスク記憶部４５から抜き出す。そして、画像正規化部４１は、抜き出した複数個のマスクを重ね合せＯＲ演算をすることにより新たなマスクを作成し、当該作成したマスクを得られた手領域候補に重ね合せ、明るさの正規化を行うことにより、手領域候補画像を生成する。
【０１７３】
その後は、上記第８の実施形態と同様に、固有空間投影部２２は、画像正規化部４１が出力する各手領域候補画像を、固有ベクトル記憶部１４に従って固有空間へ投影して投影座標をそれぞれ求める。そして、最尤クラスタ判別部２５は、固有空間投影部２２が求めた投影座標がクラスタ情報記憶部１７Ａに記憶しているどのクラスタに属するかを判断し、各手領域候補画像ごとに該当クラスタとそのときの尤度を領域決定部４２へ出力する。
【０１７４】
そして、領域決定部４２は、クラスタ遷移情報記憶部４３に記憶されている遷移度マップを参照して、最尤クラスタ判別部２５が出力する各手領域候補画像に対応するクラスタおよび尤度に基づいて、ある値より高い遷移度のクラスタのうち、最も高い尤度を持つクラスタの手領域候補を求め、その時の手領域の位置（領域候補切出部３９から与えられる）と大きさとを手領域検出結果として、手動作分節部２９へ出力する。また、領域決定部４２は、検出した手領域のクラスタをクラスタ遷移情報登録部４４へ出力する。
【０１７５】
クラスタ遷移情報登録部４４は、領域決定部４２における手領域検出結果に従い、クラスタ遷移情報記憶部４３を更新することを要求する指示がある場合にのみ動作する。この指示は、このシステムを用いるユーザ、若しくはこのシステムを構築する管理者によって入力される。そして、更新することを要求する指示があった場合に、クラスタ遷移情報登録部４４は、検出したクラスタと前時刻のクラスタとに従い、クラスタ遷移情報記憶部４３のクラスタ遷移情報を更新する。例えば、単純に遷移度マップの該当する場所の値をある値だけ増やすことにより更新することができる。
【０１７６】
以上のように、本発明の第９の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、上記第１０の実施形態に係る手の形状と姿勢の認識装置に対し、手領域の決定時にクラスタの遷移情報を用いる。このため、手領域の決定をより正確に行うことができる。
【０１７７】
なお、第９の実施形態では、手振り動作画像に対して上記手法を適用したが、一般の動作画像に対しても上記手法を用いることにより、動作主体の検出を行うことは可能であり、同等の効果を奏することができる。
【０１７８】
（第１０の実施形態）
本発明の第１０の実施形態は、上記第１〜第７の実施形態の手画像正規化部１１，２１において、手画像を正規化する際に、手首領域を削除するだけではなく、肌色により手領域を抽出したり、正規化した手画像からさらに指の特徴を強調するような手法を加えることによって、一般的で自然な背景で撮影した手画像から手領域を抽出することを可能にし、さらに、より正確に手形状と手姿勢とを認識する手法を提供するものである。
【０１７９】
図３２は、本発明の第１０の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部１１，２１のさらに詳細な構成を示すブロック図である。
図３２において、第１０の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部１１，２１は、色分布記憶部６１と、手領域抽出部６２と、手首領域削除部６３と、領域移動部６４と、回転角計算部６５と、領域回転部６６と、大きさ正規化部６７と、指特徴強調部６８とを備える。
なお、第１０の実施形態に係る手の形状と姿勢の認識装置におけるその他の構成は、上記第１〜第７の実施形態に係る手の形状と姿勢の認識装置の構成とそれぞれ同様であり、当該構成については、同一の参照番号を付してその説明を省略する。
【０１８０】
まず、第１０の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部１１，２１の各構成を説明する。
色分布記憶部６１は、入力手画像から抽出すべき手領域を、色分布として予め記憶する。手領域抽出部６２は、色分布記憶部６１が記憶する色分布に従い、手領域を抽出する。手首領域削除部６３は、手領域抽出部６２が抽出した領域から手首方向を求め、求めた手首方向に従って当該抽出した領域から手首領域を削除する。領域移動部６４は、手首領域削除部６３により手首領域を削除した手領域を画像上の予め定義した位置に移動させる。回転角計算部６５は、手領域から光軸に対して垂直な手の回転角を求める。領域回転部６６は、回転角に従い手が一定方向に向くように回転変換を施す。大きさ正規化部６７は、回転させた手領域の大きさを予め定めた一定の大きさに正規化する。指特徴強調部６８は、正規化した手画像から指以外の一定領域を削除し、指の特徴を強調する。
【０１８１】
次に、図３３〜図３５を用いて、第１０の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部１１，２１が行う手画像の正規化方法を、処理の順に説明する。図３３は、図３２の色分布記憶部６１が有する格納テーブルの構造の一例を示す図である。なお、図３３においては、格納テーブルが、ＲＧＢ色空間の三次元ルックアップテーブル（ＬＵＴ）である場合を一例に挙げている。図３４は、図３２の回転角計算部６５が行う処理の概略を説明する図である。図３５は、図３２の指特徴強調部６８が行う処理の一例を説明する図である。
【０１８２】
最初に、色分布記憶部６１に、自然な背景の画像から手領域を抜き出すために必要な肌色領域を設定する。色分布記憶部６１は、図３３に示すような、ＲＧＢ色空間の三次元ＬＵＴを有している。この三次元ＬＵＴは、各々離散値をとる３つの色値Ｒ，Ｇ，Ｂで構成された三次元色空間ＣＳを、各色を軸として、それぞれの軸に対しｄ１，ｄ２，ｄ３の幅で分割し、この分割した結果得られる個々の分割空間ＤＳの重心位置（格子点）の色に対応するデータ値を保持することにより、得られるテーブルである。換言すれば、三次元ＬＵＴは、各格子点の三次元座標（ｒ，ｇ，ｂ）をパラメータとする関数の値ｃ｛＝ｆ（ｒ，ｇ，ｂ）｝を記憶するものである。
第１０の実施形態で説明する例では、この色分布記憶部６１の手の色領域、すなわち肌色領域部分に正の値を、それ以外の色領域部分に“０”の値を設定する。
【０１８３】
まず、手領域抽出部６２は、入力される画像をスキャンし、得られた画素の色と色分布記憶部６１に記憶されている三次元ＬＵＴの格子点の色との間で、最も近い距離にある格子点のデータ値を求める。これにより、画素の色が肌色であれば正の値が出力され、それ以外の色であれば“０”が出力されるので、肌色領域を抽出することができる。なお、最も近い距離にある格子点として得られた画素の色の近傍にある６つの格子点からの補間演算による値を、上述した関数ｆとして定義しても同等の効果を奏する。
そして、手領域抽出部６２は、抽出した肌色領域のうち、手の大きさに最も近い領域を手領域とし、それ以外の領域をノイズとみなし削除した手画像を、手首領域削除部６３に出力する。
なお、肌色領域を色分布記憶部６１に設定する手法としては、上述した手法以外にも、例えば、肌色領域を全て一定の値（例えば、２５５ビット）に設定する手法（この場合、手領域抽出部６２が出力する画像は、シルエット画像となる）や、肌色領域のうち、影の領域を暗い値に、反射が強い領域を明るい値となるように三次元ＬＵＴを設定する手法や、手の画像の持つ色の度数分布を、そのまま三次元ＬＵＴに設定する手法等を用いることが可能である。
【０１８４】
次に、手首領域削除部６３は、手領域抽出部６２が抽出した手画像から手首方向を求め、求めた手首方向に従って手首領域を削除する。この手首領域の削除は、図２で示した手法で実現することが可能である。領域移動部６４は、手首領域削除部６３によって手首領域が削除された手画像を入力し、残った手領域の重心点が手画像の中心になるように移動変換を行う。そして、回転角計算部６５は、図３４で示すように、手領域のモーメント主軸（手という図形が伸びている方向、すなわち、手首−中指方向）と画像上のある軸（例えば、ｘ軸）との角度を計算する。
【０１８５】
今、手の画像をｆ（ｘ，ｙ）と、手の重心座標を（ｘg ，ｙg ）とし、下記式（５）に従って、Ｍ11，Ｍ20，Ｍ02を求める。
【数２】
0004332649.tif 000003
この結果、モーメント主軸とｘ軸とのなす角θは、下記式（６）により求めることができる。
【数３】
0004332649.tif 000004
【０１８６】
上記の角度計算の後、領域回転部６６は、モーメント主軸がｙ軸と同じ方向を向くように回転変換を施す。最後に、大きさ正規化部６７は、回転変換を施した手領域が予め定めた一定の大きさになるように手画像を正規化する。
この手首領域削除部６３，領域移動部６４，回転角計算部６５，領域回転部６６および大きさ正規化部６７は、上記第１〜第７の実施形態における手画像正規化部１１，２１の典型的な構成例を詳細に説明したものであるが、第１０の実施形態においては、より正確に画像認識を行うために、最後に、指特徴強調部６８が、正規化した手画像から指以外の一定領域を削除して、指の特徴を強調する処理を行う。以下、図３５を参照して、指特徴強調部６８が行う処理の一例を説明する。
【０１８７】
図３５において、［例１］では、手領域の重心点（すなわち、画像の中心点）から、−ｙ方向（モーメント主軸の手首方向）に±Ａ度の角度をなす扇形形状を手画像から削除することにより、指領域を強調する。［例２］では、手領域の重心点から、−ｙ方向に対して距離Ｄより以遠にある手首側を手画像から削除することにより、指領域を強調する。［例３］では、より簡単に、手画像の手首側を一定距離分だけ削除することにより、指領域を強調する。［例４］では、手画像に対して極座標変換を行うことにより、指領域を強調する。
【０１８８】
以上のように、本発明の第１０の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、手画像を正規化する際に、手首領域を削除するだけではなく、肌色により手領域を抽出したり、正規化した手画像からさらに指の特徴を強調する。これにより、一般的で自然な背景で撮影した手の画像から手領域を抽出することができ、さらに、より正確に手形状と手姿勢とを認識することが可能となる。
【０１８９】
（第１１の実施形態）
本発明の第１１の実施形態は、上記第１〜第１０の実施形態において、手形状画像情報記憶部１２Ａ〜１２Ｃに格納された手形状画像が、掌主軸周りの回転に対する手形状画像しか格納していない場合に、認識対象となる手を複数の視点のカメラから撮影し、その撮影した入力手画像から手の方向を求め、手の方向に対しても正規化することにより、実際には、手形状画像として格納されていない手の方向の画像においても、手形状と手姿勢とを認識する手法を提供するものである。
【０１９０】
この第１１の実施形態は、上記第１〜第１０の実施形態における手画像正規化部２１に、複数台のカメラから与えられる入力手画像の各々に対し、モーメント主軸を求めることで手の方向を求め、その方向に対して正規化する手法を付加することにより実現できる。
なお、本発明の第１１の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部２１は、上記第１〜第１０の実施形態で述べた手画像正規化部２１と同様の構成であるため、その図面を省略する。図３６に、複数台のカメラから手の方向を求め、正規化する手法の概念の一例を示す。なお、図３６においては、３台のカメラを用いた場合を一例に挙げて説明している。
【０１９１】
今、３台のカメラが図３６に示す位置で手を撮影するとする。
まず、手画像正規化部２１は、上記各実施形態で述べたと同様の手法で各入力手画像の手首領域を削除する。次に、手画像正規化部２１は、手首領域を削除した入力手画像の手領域を画像の中心に移動させ、手領域のモーメント主軸の方向を求める（上記第１０の実施形態の領域移動部６４および回転角計算部６５で述べた手法と同様である）。次に、手画像正規化部２１は、求めたモーメント主軸から三次元空間における主軸の方向をベクトル値として求め、求めた主軸の方向が各カメラに対して光軸に垂直な一定方向を向くような変換行列を求める。そして、手画像正規化部２１は、求めた変換行列に従い、各カメラの撮影によって入力した入力手画像を変形させる。なお、入力手画像の変形に対しては、例えば、一般に行われているアフィン変換を用いた変形手法を用いることができる。
【０１９２】
以上のように、本発明の第１１の実施形態に係る手の形状と姿勢の認識装置および認識方法によれば、手形状画像情報記憶部１２Ａ〜１２Ｃに、掌主軸周りの回転に対する手形状画像しか格納していない場合でも、実際には、手形状画像として格納されていない手の方向の画像に対して、手形状と手姿勢とを認識することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図２】図１の手画像正規化部１１が行う処理の概略を説明する図である。
【図３】図１の手形状画像情報記憶部１２Ａが有する格納テーブルの一例を示す図である。
【図４】固有空間計算部１３において固有空間を求める手法の一例の概略を説明する図である。
【図５】図１の固有空間投影部１５が行う処理の概略を説明する図である。
【図６】本発明の第１の実施形態に係る手の形状と姿勢の認識装置を実現するためのハードウェア構成の一例を示す図である。
【図７】形状情報および姿勢情報に対する命令を記憶する命令記憶部に、オーディオ機器に対する命令が記憶されている一例を示す。
【図８】本発明の第２の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図９】図８の手形状画像情報記憶部１２Ｂが有する格納テーブルの一例を示す図である。
【図１０】図８のクラスタ分析部１６が行う処理の一例を示すフローチャートである。
【図１１】図８の画像比較部２６において行う比較手法の概念の一例を示す図である。
【図１２】本発明の第３の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図１３】図８のクラスタ分析部１６により同一グループに分類される似た画像の一例を示す図である。
【図１４】図１２のクラスタ分析／枠判別部１８が行う処理概念の一例を示す図である。
【図１５】本発明の第４の実施形態に係る手の形状と姿勢の認識装置において、複数台のカメラの入力手画像から手形状画像を求める概念の一例を説明する図である。
【図１６】本発明の第５の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図１７】図１６の手領域検出部２８、手動作分節部２９および手画像切出部３０が行う処理の概念を示す図である。
【図１８】図１６の手画像系列および当該手画像系列から求められるクラスタ系列の一例を示す図である。
【図１９】図１６の系列識別辞書３２が有する記憶形態の一例を示す図である。
【図２０】図１６の系列識別辞書３２が有する記憶形態の一例を示す図である。
【図２１】本発明の第６の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図２２】図２１の手形状画像情報記憶部１２Ｃが有する格納テーブルの一例を示す図である。
【図２３】手姿勢を定義する方法の一例の概略を説明する図である。
【図２４】本発明の第７の実施形態に係る手の形状と姿勢の認識装置の構成を示すブロック図である。
【図２５】本発明の第８の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部の詳細な構成を示すブロック図である。
【図２６】図２５の領域候補切出部３９における処理の一例を示す図である。
【図２７】図２５の画像正規化部４１における処理の概要を示す図である。
【図２８】図２５の領域マスク記憶部４０に記憶されているマスク領域の一例を示す図である。
【図２９】本発明の第９の実施形態に係る手の形状と姿勢の認識装置を構成する手領域検出部の詳細な構成を示すブロック図である。
【図３０】図２９のクラスタ遷移情報記憶部４３に記憶されるクラスタ遷移情報の一例を示す図である。
【図３１】図２９の領域マスク記憶部４５に記憶されているマスク領域の一例を示す図である。
【図３２】本発明の第１０の実施形態に係る手の形状と姿勢の認識装置を構成する手画像正規化部１１，２１のさらに詳細な構成を示すブロック図である。
【図３３】図３２の色分布記憶部６１が有する格納テーブルの構造の一例を示す図である。
【図３４】図３２の回転角計算部６５が行う処理の概略を説明する図である。
【図３５】図３２の指特徴強調部６８が行う処理の一例を説明する図である。
【図３６】本発明の第１１の実施形態に係る手の形状と姿勢の認識装置において、複数台のカメラの入力手画像から手の方向を求め正規化する概念の一例を示す図である。
【図３７】手姿勢を定義する方法の一例の概略を説明する図である。
【符号の説明】
１…記憶部構築系
２…姿勢・形状認識系
１１，２１…手画像正規化部
１２Ａ，１２Ｂ，１２Ｃ…手形状画像情報記憶部
１３…固有空間計算部
１４…固有ベクトル記憶部
１５，２２…固有空間投影部
１６…クラスタ分析部
１７Ａ，１７Ｂ…クラスタ情報記憶部
１８…クラスタ分析／枠判別部
２３…手形状画像選択部
２４…形状・姿勢出力部
２５…最尤クラスタ判別部
２６，２７…画像比較部
２８，４８，５８…手領域検出部
２９…手動作分節部
３０…手画像切出部
３１…系列登録部
３２…系列識別辞書
３３Ａ，３３Ｂ…識別演算部
３４Ａ，３４Ｂ…データ経路制御部
３５…手画像登録部
３６…系列再構成部
３７…大局動作認識部
３８…制約条件記憶部
３９…領域候補切出部
４０，４５…領域マスク記憶部
４１…画像正規化部
４２…領域決定部
４３…クラスタ遷移情報記憶部
４４…クラスタ遷移情報登録部
５０…記憶装置
５１…ＣＰＵ
５２…メモリ
５３…画像入力装置
５４…入力装置
５５…出力装置
６１…色分布記憶部
６２…手領域抽出部
６３…手首領域削除部
６４…領域移動部
６５…回転角計算部
６６…領域回転部
６７…大きさ正規化部
６８…指特徴強調部
【図１】
0004332649.tif 000005
【図２】
0004332649.tif 000006
【図３】
0004332649.tif 000007
【図４】
0004332649.tif 000008
【図５】
0004332649.tif 000009
【図６】
0004332649.tif 000010
【図７】
0004332649.tif 000011
【図８】
0004332649.tif 000012
【図９】
0004332649.tif 000013
【図１０】
0004332649.tif 000014
【図１１】
0004332649.tif 000015
【図１２】
0004332649.tif 000016
【図１３】
0004332649.tif 000017
【図１４】
0004332649.tif 000018
【図１５】
0004332649.tif 000019
【図１６】
0004332649.tif 000020
【図１７】
0004332649.tif 000021
【図１８】
0004332649.tif 000022
【図１９】
0004332649.tif 000023
【図２０】
0004332649.tif 000024
【図２１】
0004332649.tif 000025
【図２２】
0004332649.tif 000026
【図２３】
0004332649.tif 000027
【図２４】
0004332649.tif 000028
【図２５】
0004332649.tif 000029
【図２６】
0004332649.tif 000030
【図２７】
0004332649.tif 000031
【図２８】
0004332649.tif 000032
【図２９】
0004332649.tif 000033
【図３０】
0004332649.tif 000034
【図３１】
0004332649.tif 000035
【図３２】
0004332649.tif 000036
【図３３】
0004332649.tif 000037
【図３４】
0004332649.tif 000038
【図３５】
0004332649.tif 000039
【図３６】
0004332649.tif 000040
【図３７】
0004332649.tif 000041