「インタラクション2000」平成12年2月

顔と手の認識による視覚インタフェース技術の構築
ConstructionofVision−basedInterfaceTbchnologyuslngFaceandHandRecognition
渡辺博己† 本郷仁志† 安本 護† 丹羽義典† 山本和彦‡†（財）ソフトピアジャパン地域結集型共同研究推進室、科学技術振興事業団 ‡岐阜大学工学部

HirokiWatanabe†HitoshiHongo†Mamoru％sumoto†YbshinoriNiwa† Kazuhiko％mamoto‡†SoftopiaJapanFoundation，RegionalIntensiveResearchProject，JST‡GifuUniversity
1． はじめに
人間と機械が円滑なコミュニケーションを行うた

めには、ノンバーバル情報を無視することはできない。特に、人間の意図を機械に伝えるためには顔や手の認識による視覚インタフェース技術が重要である。そこで、我々は、顔やハンドサインの識別技術によるユーザフレンドリーなインタフェースの実現を目指している。本研究では、顔やハンドサインの認識を行い、判別空間の構成の違いによる、認識率の変化について考察する。

2．顔・手領域の抽出

図1がカも大きい肌色領域を顔領域として抽出する。図1中の白枠の矩形で囲まれた部分が顔領域として抽出された部分である。次に、顔領域の周囲に存在する肌

図1抽出結果色領域を手領域として抽出する。手領域は2つ存在するが、人間が対象に向かってサインを出すときには、顔に近い位置で出す傾向があるため、ここでは顔領域に最も近い手領域を1つ抽出する。図1中の黒枠の条巨形で囲まれた部分が手領域として抽出された部分である。
肌色領域は、人間の知覚色差が幾何学的に近似できるとされているLUV表色糸を用いて決定した。肌色の取り得る UV値の範囲内で最も画素数の多い（a）入力画像

UV値を基準肌色とし、基準肌色UV値と入力画像の色差ヒストグラムに判別分析法を適用することで肌色領域を抽出する【1］。
3．特徴量の抽出仏）水平面（c）右上がり面（心右下がり面（e）垂直面

前節で得られた顔、手領域に対し、4方向面特徴【2］を用いてそれぞれの特徴量を抽出する。4方向面
特徴は文字認識の分野において開発され、有用性が図2 4方向面特徴証明された手法の1つである。特徴抽出方法は、入解析手法である。

力画像からPrewittオペレ一夕を用いて、水平、垂直、右上がり、右下がりの4つの方向面を抽出する。
そして、これら4つのエッジ方向面をそれぞれ正規化、低解像度化し、低解像度化された方向面の画素の濃淡値を特徴量として抽出する。抽出された特徴学習の際には、画像データから得られた特徴量を線形判別分析することにより、係数行列と各クラスの平均ベクトルを生成し判別空間を構成した。しかし、様々な特徴量をもつものを同一判別空間内に分布させると、局所的に分布が集中したり、個々の分面の一例を図2に示す。この特徴量は4つの方向面布状態が拡散したりするため、よい判別空間を構成に分けてから解像度を低くするため、入力画像の解像度を直接低くする場合よりも、高解像度でのエッジ情報が保持される。また、特徴面の濃淡値を特徴量としているので、空間配置情報を特徴量として保持している。

することは困難であると予想される。そこで、適度な分布状態を形成するため、認識対象物をカテゴリに分類し、その中で判別空間を構成するように階層化を行った。

認識実験では、未知の画像データから特徴量を抽出し、係数行列を用いた写像変換より生成されるベ

4．パターン認識

クトルとのユークリッド距離を測ることでパターンパターン認識には線形判別分析［3】【4］を用いた。線認識を行った。この時、階層化された判別空間による認識の際には2回判別式を計算することになる。

形判別分析は、より低い次元で、しかも、クラス間の分離を最大限強調する線形写像を構成する多変量−75−

験を行った。ここで、ユーザ毎の小分類の手法を用いたのは、ユーザ毎に微妙な形状、姿勢の違いをもつハンドサインで同一の判別空間を構成した場合よりも、異なる判別空間を構成した場合の方が、認識率が向上することを期待したためである。結果を表2

ねce（l）hand（1）ねce（2）ha几d（2）托ほe（m）hand（n）＼Jに示す。

（a）実験1（b）実験2

表1顔の認識率
学習デー

タ（％） 未知データ（％）

実験199．6

実験210094．096．6

表3 大分類の認識率（C）実験3実験2

図3 判別空間の構成

ハンドサイン（％）

顔（％）

被験者含む

100100

被験者含まない99．092．0

5．認識実験
顔は、カメラを中心に9つの指標（3Ⅹ3，15度間

5．4 考察実験により、判別空間の階層化は認識率を向上さ隔）を設置し、各指標を見ているときの顔をそれぞれ100枚、計900フレーム分を1セットとして5人せることが示された。実験3で行った多面化の平均分を学習した（計4，500フレーム）。ハンドサインは、認識率は低下しているが、これは、ユーザによって11種のサインをカメラに対して正面に向け、100フレーム分を5人について学習した（計5，500フレーム）。これらの画像について4方向面特徴を用いた特徴量を計算し、判別空間の構成の違い（図3）による3つの実験を行った。

姿勢の変化をうけやすいサインの認識率が極端に下がったためである。それを除外すると、全体的に認識率は上がっていた。また、学習データが少なかったことも認識率の低下の要因と考えられる。よって、ユーザ間で姿勢が異なるハンドサインにおいては、個別の判別空間の構成は有効であると考えられる。

5．1実験1
顔とハンドサインを全て1つにまとめた、16クラスの判別空間を作成し実験を行った。結果を表1、2

6． まとめ顔やハンドサインの識別技術による視覚インタフェースの実現に向けて、判別空間の構成の違いによる認識率の変化について考察し、判別空間の構成方法が認識率に影響を及ぼすことを示した。
今後、これらの結果を基に認識率の向上を目指し、に示す。表1は学習データと未知データに対する顔の認識率の平均である。表2はそれぞれのハンドサインの未知データに対する認識率の平均である。ハンドサインに関しては、学習データに被験者を含む場合と含まない場合の結果も示す。
5．2 実験2

システムの安定性を高くする方法を検討していく予

村象のカテゴリ（顔、ハンドサイン）に応じて、定である。また、複雑背景下や複数人が存在する環大分類のクラスを作り、同じカテゴリの中で小分類境におけるシステムの実現に向けて研究を行っていのクラスを作るといった2段階に階層化された判別く予定である。

空間を作成し実験を行った。ここで、大分類、小分類の手法を用いたのは、顔や手といった明らかに特参考文献

徴が違うもので同一の判別空間を構成した場合よりも、異なる判別空間を構成した場合の方が、認識率【1】村田，羽飼，本郷，加藤，山本， 形状変化に強い目・口領域の抽出方法の提案 ，信学技法，が向上することを期待したためである。結果を表1、2、3に示す。表3は大分類での顔とハンドサインのPRMU97・159，pP．55−60，1997

未知データに対する認識率の平均である。ここでも、Methodon ConsiderationofNeighborPointsand
Its Abilityin Common Database ，IEICE trans［2】K．Yamamoto， Present State ofRecognition学習データに被験者を含む場合と含まない場合の結果を示す。

actions，Vbl．E79−D，No．5，pP．417−422，1996

5．3 実験3［3】大津， パターン認識における特徴抽出に関する数理的研究 ，電総研研究報告，第811号，1981

実験2と同様に階層化された判別空間を構成するとともに、ユーザ毎にハンドサインの小分類のクラ【4】栗田， 柔らかな情報処理のための統計的手法のスを作るといった多面化された判別空間を作成し実応用に関する研究 ，電総研研究報告，第957号，1993

表2 ハンドサインの認識率
被験者含む

手1

手2

実験1
実験2

100
100

71．7
71．0

実験3

93．7

84．3

手1

手2

被験者含まない
実験1
実験2

81．7
68．0

手3

手4

92．3
96．0

手3

65．7
63．3

手598．3

手4■
14．3
20．3

手6

97．0
85．0

手7100
100

79．3

99．3

手5

手690．089．7

−76−

手8・

手9

手10

手11

平均

100 100 88．7 81．0 86．7 99．3 92．4
99．3 100 94．0 98．7 99．0 87．0 93．6

100手7

40．7
5q．0

97．3

手8

41．3
38．0

72．0

91．3

100

手10

手11

平均

手9
95．3
99．7

61．3
58．0

90．0
84．7

97．7

32．0
39．0

92．1

9．7
3．0

56．5
55．8