「インタラクション2000」平成12年2月

3次元姿勢情報を利用したジェスチャ・インタフェース
山内康晋、土井美和子（株）東芝研究開発センター〒210−8582 神奈川県川崎市小向東芝町1
TEL．044−549−2286 FAX．044−520・1308〈yasunobu．yamauchi，miwako．doi）＠toshiba．co．jp
マウスに代表される我々を取り巻く計算機とのインタフェースは、いまだ2次元の域を出ていない。我々は、新しい3次元ジェスチャ入力インタフェースを目指して、距離画像より3次元姿勢情報を検出し、それによるインタフェースを構築している。距離画像の抽出には，開発している入力デバイス：モーションプロセッサを用いた。本論文では、取得した距離画像から求められる、画像モーメント、ならびに撮像物体表面の法線ベクトルを用いて、撮像物体の3次元的な姿勢情報を誤差5度以内にリアルタイムで検出できることを示す。人間の手を使った動作入力インタフェースに応用したアプリケーションを紹介する。手の傾きや回転といった3次元姿勢情報を利用することで、より直感的な情報入力インタフェースが実現できた。

3Dposturedetectionforgestureinterface％sunobu％mauchi，MiwakoDoi
CorporateResearchandDevelopmentCenter，TbshibaCorp．
1，KomukaiTbshiba−Cho，Saiwai−ku，Kawasaki，Kanagawa210−8582，Japan
TEL．044−549・2286，M．044・520−1308（yasunobu．yamauchi，miwako．doi）＠toshiba．co．jp

Conventionalhumaninterfacedevicessuchasamousehandleonly2Dinformation．

Ourpurposeistobuilda3Dinterfacebyarangeimageinreal・time・Anewkineticand
3DimageinputdeviceMbtion伽cessorcandetectthedistancefromthecameratothe
objectsurfaceinreal・time．Thispapershowsanobject

s3DposturedetectionmechanismusinglmagemOmentSandnormalvectorsofthetargetobject ssurfacedetectedbyth
MbtionPncessor，andalsoshowsthedetectionerrorofpostureangleiswithin5degreesthroughan

experiment・Thedetected3Dpostureinformationisappliedtohumangestureinterface；
3D object manipulation and a virtualplng−POng．These application shows that3D

gestureinterfaceisessentialto naturalandintuitive communicationbetween humanandcomputers．

ー99−ので、物体の3次元的な形状情報も取得するこ

1．はじめにとができる。

近年、コンピュータは処理性能の飛躍的な向上、低価格化などを背景に、オフィスや家庭で広く利用されるようになってきた。また、認識精度の向上に伴う音声認識システムの実装などで、より自然なコンピュータとのコミュニケーションが実現されつつある。さらに、CCDカ
メラ等に代表される撮像デバイスの実装は、自本論文では、モーションプロセッサで切り出された物体の3次元形状情報を基に、3次元空間内での撮像物体の動きや、姿勢検出の手法を示す。さらに、人の手を対象に検出された3次元位置、姿勢情報を用いることで、仮想空間内の物体操作やインタラクションが行えることを示す。

然画像や動画といったイメージ情報を使ったイ

以下、2節では対象切り出しを行うモーショ

ンタラクションをよりユーザに身近なものとしンプロセッサの概要を説明する。3節では、距
離画像を対象に特徴量を算出することで、画像内回転姿勢、奥行き方向の傾き姿勢といった3次元姿勢情報の検出手法について説明し、4節
では、手の姿勢情報を利用した仮想物体操作、てきた。しかし、未だ多くの人々にとって、コンピュータは必ずしも直感的に扱えるものになったとは言えない。

我々、人間同士のコミュニケーションでは、音声だけでなく、身振りや手振りといったビジおよびインタラクションを行うアプリケーショュアルな情報が、コミュニケーション意図の伝ンを紹介する。

達に重要な役割を果たしていると考えられてい2．モーションプロセッサの概要

る。このようなビジュアル情報を利用すること
で、直感的に、自然に、コンピュータを操作できる機構が切望されている。

図1は我々が開発してきたモーションプロセッサと手を対象に撮像された画像である。中従来のに、ジェスチャなどの認識に関して様々な研究央のレンズの周囲に、近赤外光を照射するLEDが行われてきている［1，2］。Snake法【7】を適用して撮像画像から手などの対象物を抽出するには、を配してあり、レンズの奥に受光部のカスタム・センサチップがある。撮像画像を見ると、手の部分のみが検出されており、背景にある物体が痕像されてないことがわかる。これは、モ多大な時間と計算量を必要するという問題があった［3・5，17］。コンピュータの進化によりリラルタイムに処理できるようなったとしても、抽出ーションプロセッサの動作原理に基づいている。

されるのは、2次元での重心、傾き、形状、動きである。3次元操作インタフェース構築には、3次元空間の中で物体の重心、傾き、形状、動きが必要である。3次元画像取得方法としては、カメラ2台を使うステレオ法やレンジファインダがあるが、どちらも装置が大きく，さらに撮像自身がリアルタイムでないという問題がある。
我々は、リアルタイムに対象画像の切り出し

図1モーションプロセッサと撮像画像が行えるデバイス「モーションプロセッサ」［8】により、3次元操作インタフェースの構築を行っている。モーションプロセッサは、光の反射

イメ⊥ジセンサの原理を用いて、背景画像を取り除くことで、対象物の画像のみを取り出す新規画像処理技術を採用した画像情報入力デバイスである。反射
光量は、物体とカメラの距離によって変化する

図2 動作原理

一100−

図2にモーションプロセッサの動作原理を示す。

試作したモーションプロセッサの性能を表LEDから発光された近赤外光が物体で反射さ1に示す。

れ、センサ部分でその反射光を受光するように
以上のように、モーションプロセッサは、背なっている。

つまり、背景からの物体切り出しが可能なのは、反射光は距離の2乗に反比例するので、背距離画像としてリアルタイムに取得することの景からの反射光は微弱であり、モーションプロ可能なデバイスであり、手や身体を使ったジェセッサでは検出されないためである。また、画像中に見られる濃淡値は、モーションプロセッ
サから撮像物体までの距離に対応しており、画スチャ入力に適したデバイスである。

景部分の除去と同時に、対象物の奥行き情報をまた、モーションプロセッサの特性を生かしたアプリケーションの作成を行う上で、高速な素値が濃い部分ほど、モーションプロセッサと画像処理ライブラリは必須であり、我々は、の距離が近いことを示している。前述のとおり、反射光は距離の2乗に反比例して減衰するため、SDK（Software DevelopmentKit）を並行して開発してきている【9，11］。

反射光の光強度を上物休までの距離をムとすると、式（1）のような関係式で表すことができる（丘は定数）。

3．距離画像を用いた3次元姿勢情報の検出
我々は今まで、モーションプロセッサを利用′ニ（1）し、人間の手を使った動作を入力とするマルチ⊥2

このように反射光強度と距離との間に相関関係があるため、反射光強度から、対象物の奥行き距離情報を得ることが出来るのである。厳密には、反射光の強度は、対象物体の表面属性（反射率といった反射特性や色）などに依存するが、手のように全体を通して均†とみなせる物体であれば、反射光の強度をそのまま奥行き情報に対応させることができる。また、撮像系に起因する撮像画素値の非線形性に関しては、補正モデルを仮定することで、奥行き距離値、およびに3次元空間内、同一平面上の濃度分布に関して、補正を行い適正な距離画像を取得することができる【10】。

メディア・アプリケーションを作成してきた【9】。
そこでは、形状パターンといった特徴量、あるいは、対象物体の重心位置やその変化成分を認識することで、アプリケーションを操作していた。その結果、ユーザの意図やテンポに応じたインタフェースの作成が可能となった。

ところが、人間の手の持っ情報量を考えた場合、単なる重心位置や形状パターンといった画像レベルの特徴量だけでなく、傾きや回転といった姿勢情報も重要な特徴量の一つである。特に、アナログな情報量の入力場面や、微妙なニュアンスをジェスチャで入力したい場合、形状パターンといったシンボルレベルの情報や、画像内重心位置といった撮像エリアなどの制約を受ける情報量で扱うよりは、手首の ひねり表1試作機の性能
解像度

64Ⅹ64pixels

といった姿勢情報を用t）る方が直感的で適して奥行き深度 ・128階調いる。

動作レ⊥ト 毎秒−25−50鈷ames
撮像距離25・100cm

画角対角700

モーションプロセッサを用いたインタフェースを考えた場合、手のひねり量に応じた特徴量を検出できればよいことになる。そこで、我々（奥行40cmで40x40cmヲ）

は対象物体を構成する面の傾き姿勢に着目する

本体サイズ W75×・fIL80×D95lmm］

ことした。2節で述べたようにモーションプロ

対応システム PC仏丁互換機

セッサを用いれば、奥行き方向の距離情報を取得することが出来るため、対象物体表面の傾き具合を3次元的に検出することが可能である。

対応OS

MicrosoftWindows95／98

接続方法

専用ボードでPCI接続−101−

の除去を行っている。モーションプロセッサは近赤外光の照射、および反射光の受光というアクティブセンサの特性上、撮像物体側面の距離成分も観測されてしまう。撮像物体表面の傾き具合を計測する上で、このような成分は計測誤差となる可能性があるため、輪郭線を構成するピクセルは冗長なピクセルとして除去を行っている。

図4ROIによる手領域の検出

3．2 奥行き軸に対する回転姿勢の検出
図3 3次元姿勢情報検出処理の流れ
モーションプロセッサ撮像画像における撮像物体の画像内回転量を検出することは、3次元る。図3は本システムにおける3次元姿勢情報検出処理の流れを表したものである。以下では、各ステップを順に説明していく。

空間中における撮像物体の奥行き方向、つまりZ軸周りの回転姿勢を検出していることになる。
画像内回転量の検出には、撮像物体の平行移動、大きさに依存しない特徴量である画像モーメン

3．1 注目領域の検出と前処理トを用いることにする。画像モーメントは、画像中の画素分布から撮像物体の大まかな姿勢検画像中から特定の領域を検出する場合、従来出に用いられる一般的な手法であり、撮像物体の細かな形状の差も吸収できるため、手のような撮像対象に対しても、適用できるものである

は色相情報や時間差分情報などを用いていた［6］。しかし、これらの手法では、撮像環境に強く依存したり、静止物体を検出できないなど、安定性に関する問題があった。モーションプロ【13，14】。

セッサを用いれば、距離情報から背景画像を除去することが可能であるだけでなく、上半身の画像モーメントは、以下のように求めることができる。ム，カを画素k，カの画素値として、2次までの画像モーメント量〟を以下に示す。

前にある手など距離的に比較的近くにある複数物体を区別することも可能である【12】。ここで検出した複数の画像領域を、それぞれ注目領域〟。。＝∑∑′（ズ，γ）（幻〟‖＝∑∑可（ズ，γ）（3）（RegionofInterest：ROI）として設定すること叫。＝∑∑叫ちγ）（心〟2。＝∑∑膏（ズ，γ）（5）

∫γ

∫ノ■

で、以後の認識処理をそのROI領域の画像のみに限定して行うことが出来るようになっている。

∫ナ■

∫γ

〟。1＝∑∑〆（ズ，γ）（￠〟。2＝∑∑直（ズ，γ）（7）∫γ

これらの領域検出処理により、両手を区別すると同時に、それぞれの手の姿勢情報を検出するといったことが可能である。ROIによる領域切り出し画面の例を図4に示す。左手が四角形領域（ROI）に設定されていることが分かる。
前処理部分では、大きく分けて、ノイズ成分∫J′

これらのモーメント量から画像重心（‰，釣）、Z軸周り回転量βz、対象物体を最も近似する四辺形物体の長軸ム、短軸ムは以下のように求められる。ここで、画像重心は撮像物体の位置、回転量は姿勢、ム，ムは中心軸に対する画像分布の縦横比を表している。の除去と対象物体輪郭周辺に存在する冗長画素

ー102−検出手法は、大きく2つに分けられる。一つ目

ズc＝（8）γc＝（少は、あらかじめ検出したい姿勢の対象物体を撮像し、その撮像画像をテンプレート画像として登録しておくことで、撮像画像とのマッチングを取る手法である［4，17］。手の奥行き方向傾き姿勢量の検出を考えた場合、カメラに対する手

arctan（b，（a−C））∂ヱ＝（10）∂2＋（α−C）2）（11）の傾き姿勢を変えて撮像した画像をテンプレー

ェ2＝ふ」。−ノ打『扇（12）トとして複数登録しておき、撮像画像とのパターンマッチングを行うことで、手の姿勢を検出することができる。また、データグローブ等のただし、
α＝‰ィ（13）∂＝2（ズcγぐ）（14）〟センサでテンプレート画像における姿勢量を計。0測しておけば、手の姿勢畳も同時に取得するこ￣γ。 2（15）C＝とができる。しかし、この手法では、どの程度〟00

Z軸周りの回転姿勢量の概念図を図5に、図6に手の撮像画像から、画像モーメントを用いて手の傾き姿勢を検出した様子を示す。図6（b）のテンプレート数を用意すれば精度よく姿勢検出が行えるか見極めが難しい上に、テンプレー
ト数が増えると、検出までの適合度の計算に多大な時間がかかってしまう。
一方、撮像物体を表現する3次元モデルを定義し、撮像画像に当てはめることで、モデルのパラメータを検出するという手法も存在する［15，16】。手を対象にした傾き姿勢の検出では、指先、指のつけね、指の関節といった特徴点の角度パラメータなどを検出することになる。モーションプロセッサを使えば、各特徴点における奥行き距離値が取得できるため、手のひらを構成する3点を抽出し、姿勢を検出することがでは、長軸の長さム，短軸の長さムの四辺形オブジェクトを回転角βzだけ回転させており、手の回転姿勢が検出されていることがわかる。

できる。しかし、手を大きく回転させたり、指が少し曲がっていたりした場合、撮像されない領域（手前の指が奥の指を遮ってしまう現象など）が存在するという問題が起こってしまい、対応点の探索が困難になってしまう。

図5Z軸周り回転姿勢量の概念図

そこで、我々は、撮像物体表面の勾配情報から生成される法線ベクトルの分布を用いることで、傾き姿勢の検出を行うことにする。まず、モーションプロセッサで撮像した距離画像を三次元空間上にマッピングを行う。画素（i，j）の画素
値を凡j）とした場合、各画素を（i，j，k，j））で表現される3次元空間中の1頂点に対応づけるこ

図6Z軸周り回転姿勢量の検出結果（め撮像画像払）最近似四辺形オブジェクトとにする。

次に、隣りあう画素、つまり隣り合う頂点で3．3 奥行き方向傾き姿勢量の検出構成される各四辺形パッチの法線ベクトルを求める。まず、隣りあう3次元頂点情報からパッ1枚の画像を用いた3次元的な姿勢情報のチを構成する各頂点の法線ベクトルを算出した−103−

れた奥行き方向傾き姿勢量であるⅩ軸〝軸周穣偉物体表面りの回転量を、平板オブジェクトの回転処理に適用し、3次元表示したものである。手首周り

J仏力の ひねり 、 かざし といった姿勢が検出でぞ− ＿ノt些

きていることがわかる。

ノ∬＞J

図7 距離画像の3次元表現と法線ベクトル後、それらを平均化することで、四辺形パッチの法線ベクトルを算出する（図7参照）。
そして、撮像物体を構成する仝四辺形パッチ
において、上記で求めた法線ベクトルを平均化することで、撮像物体表面を代表する法線ベクトル成分を求める。2節で述べたモーションプ
ロセッサの対象物体操像原理より、各項点のz値が0の四辺形パッチは背景とみなせるため、この段階で除外できる。ムら融爾を四辺形パッチpβ比め色ガにおける法線ベクトル、撮像物体を構成する仝パッチ数をG適すると、撮像物体の図8奥行き方向傾き姿勢量の概念図表面を構成する法線ベクトル」鳩【適αは以下のように求めることができる。

Ⅳ∫〟ゆ。e＝（ ∑Ⅳク瑚，′，））／Cク。′。カ（16）α／／蝕c坤，ノ）⊂撮偉物体

最後に、撮像物体表面を代表する法線ベクト
ルから、X軸、およびにY軸周りの姿勢回転量を求める。法線ベクトルA忘【適αのXZ平面への投影ベクトルを入ら∽念必YZ平面への投影ベクトルを」鳩王適α冴とすると、Ⅹ軸周りの姿勢回転量βxおよびY軸周りの姿勢回転量βyは以下

図9奥行き方向傾き姿勢量の検出結果のように求めることができる。
Ox＝arCCOS（Ⅳ∫ゆe㍑●ぴγ（由撮像パターン1払）3次元表示結果1（d撮像パターン2、（心3次元表示結果2）（17）l〃、、〟由一1て3．4 評碑実験P，〒arCCOS（∧r、叫匝⊥㍑●Uて）（1白）3．3節で述べた手法の実効性を評価するた
め、奥行き方向の傾き角度の検出実験を行う。
ここでは、反射率の一様な薄い板を参照物体として、板の断面が影響を与えない0度から80度までの範囲で、5度刻みにY軸周りに回転させ、その奥行き方向傾き角度の検出実験を行っl∧r、ゆ山′′・

ただし、U∫＝（1，0，0）、Uγ＝（0，l，0）

奥行き方向傾き姿勢量の概念図を図8に示す。
図9は、手の撮像画像を対象に、法線ペグトルを用いた奥行き方向傾き姿勢を検出した様子をた。実験結果を図10に示す。横軸が板の傾き示している。図角度、縦軸が検出角度を表している。実験では、−104−修正を加えていない撮像画像と、2節で述べたを補正し、線形特性に変換した補正画像とに対ことで、マウスやキーボードでなく、自分の手のひねり具合で、3次元オブジェクトを操作し、眺めている感覚が得られる。これは、バーチャして行った。なお、各頂点z値に関しては、モルモールなどで、ショーケースに展示された商

画素値と距離値との間に存在する2乗減衰特性ーションプロセッサの画像解像度（Ⅹ，y成分）

品サンプルである64階調と等しくなるよう、0〜63の範を自分の手囲に線形マッピングを行っている。実験の結果、に取った感撮像画像に対して補正処理を行うことで、誤差5度以内で検出でき、リアルタイムにインタフ

覚でいろんェースとして利用できることが確認できた。ま眺める、とた、距離値の補正を行わないと、傾き角45度あたりで、最大10度程度大きめな値として検出される傾向にあることも分かる。

が考えられな角度からいった用途る。

卯〃乃

図11物体操作画面

4．2 バーチャル・ピンポン

検 β♂
芸

図12は仮想空間内に設定された3次元コート内で、人の手と仮想ボールとのインタラク（deg帽e）∫♂
g♂

ションを行い、ピンポンゲームを行うアプリケーション画面である。人の手は、仮想ラケット／♂

ββJβ〟ββイβ ガββ 7Pβ♂タ♂

として、仮想空間内にワイヤフレーム表示され奥行き方向傾き角度（degr88）

図10 奥行き方向傾き姿勢の検出実験結果ている。モーションプロセッサ撮像画像内の手の重心位置から仮想ラケット位置を決定し、モ4．3次元姿勢情報のインタフェース応用

ーションプロセッサに対する手の奥行き方向傾き姿勢から仮想ラケット面の角度を決定している。仮想ボールは、仮想ラケット面との衝突が検出された場合、仮想ラケット面に対して正反射するようになって串り、ユーザの手の傾け具

ここでは、モーションプロセッサで撮像した
人間の手から、3節で述べた手法で3次元姿勢情報を検出し、インタフェースとして3次元アプリケーションに応用した例を紹介する。

合が打ち返したボールの軌道に反映するようになっている。手の姿勢がラケットの姿勢として3次元表示されるため、あたかも、自分の手を4．1 3次元物体操作
図11は、手の奥行き方向傾き姿勢量に応じて、3次元オブジェクトを回転させて眺めることの出来るアプリケーションの操作画面である。
Ⅹ軸、およびY軸周りの回転量として検出された手の傾き量を、3次元オブジェクトのⅩ軸、Y軸周りの姿勢回転量にマッピングすることで、任意の角度の姿勢制御が可能となっている。こ
こでは、さらに臨場感を増すために、モーションプロセッサで撮像した手を3次元モデル化し［18］、オブジェクト操作画面にインポーズする

図12 バーチャル・ピンポン操作画面

ー105−使ったような感覚でボール操作が実現できる。
また、このゲームはネットワークに対応しており、ネットワーク上で離れた相手とのピンポンゲームも可能であり、相手コート手前の仮想空間上に対戦相手の手画像を投影するなど、より【7］M．Kass，A．Witkn and D／rbrzopoulos，臨場感の高いゲーム・シーンが構成できるよう【8］S・Numazakielal．，【6］岡隆一，西村拓一，向井利朗， しぐさで伝える，，，

信学会誌，Ⅶl．82，pp．332−339，1999．
Active ContourModels

Snakes：，hlternationalLburnalQf

Co〝甲〟ねr掩わ〃，pp．32ト331，1988．になっている。

AKineticand3DImageTnput

Device ，C〃J98，pP．237−238，1998．

【9］三原功雄，森下明，梅木直子，沼崎俊一，山内康5．おわりに晋，土井美和子， ハンドアクションを用いた直感的な情報入力装置 ，ヒューマンインタフェース・シ

本論文では、モーションプロセッサによって撮像された距離画像から、画像モーメントによりZ軸周りの回転姿勢量、およびに撮像物体表面の距離勾配から求められる法線ベクトルより、奥行き方向の傾き姿勢量を算出することで、撮像物体の3次元姿勢情報の検出が行えることを示し、奥行き方向の姿勢検出実験からその有効

ンポジウム，pp．30l−304，1998．

［10］沼崎俊一，森下明，梅木直子，土井美和子， 反射
画像を用いた3次元位置検出手法に関する検評，，Interaction 99，pP．177−184，1999．

［11］山内康晋，三原功雄，梅木直子，森下明，土井美和子， モーションプロセッサ用ソフトウェア開発キット ，情報処理学会第58回全国大会，No．4，性を確かめた。さらに、この手法を手の3次元pp．155−156，1999．

姿勢情報の検出に適用することで、特殊な姿勢検出デバイスを装着することなく、非接触で仮想物体とのインタラクション操作が可能なアプ
リケーションを紹介した。今後は、上半身や両【12】三原功雄，山内康晋，土井美和子、 モーション
プロセッサを用いたビジョン型インタフェースの構築 ，WISS，99，pp．33−42，1999．
［13］WTFreemanetal．，

ComputerⅥsionforInteractive

手といったセグメント単位での姿勢検出を通しComputerGraphicsて、身体を使ったジェスチャ入力の可能なインタフェースの構築に取り組んでいきたい。

Applications，MayHtme1998．
【14］B．K．PHorn，

参考文献【15］）．M．Rehg，andTKanade，，IEEEComputerGraphicsand

RobotVision，MITpress，Cambridge，

Ma5Sり1986．

［1］Vl．Pavlovic，R．Sharma，andTS．Huang，VisualⅥsual甘ackingofHigh

DOF Articulated StruCtureS：An Application toInterpretation ofHand GestureSfor Human−Com−

HumanHand甘acking

PuterInteraction：AReview

LNCS，Ⅵ）l．801，pP．3546，1994．

，rEEETtans．Pattem，ComputerVision−ECCV

AnalysIS and Machine Tntelligence，VOl．19，nO．7， ［16］岩井儀雄，八木康史，谷内田正彦，

94，

単眼動画像

からの手の3次元運動と位置の推定 ，信学諭pp．677−695，1997．
［2】黒川隆夫， ノンバーバルインターフェース ，オー（D−Il），Ⅵ）l．J80−D−II，No．1，PP．44−55，1997．

［17】渡辺孝彦，李七雨，谷内田正彦， インタラクテ

ム社1994．
［3］R．Cipo11a，Y OkamOtOandY Kun0，

Qualitativeィブシステム構築のための動画像からの実時間

visual interpretation of 3D hand gestures using

ジェスチャ認識一仮想指揮システムへの応用 ，motion parallax

信学論（D−II），Ⅶl．J80−DIT，No．6，pp．1571−1580，，伽ceeh7gS 4 MV492，

1997．

pp．477司82，1992．

［4］TJ・DarellandA．RPentland， Space⊥timegestureS ，【5］Miyakeetal．，

AgestureCOn什01ledhumaninter免ce

using an artiRcialretina chip

【18】山内康晋，三原功雄，土井美和子， 奥行き距離情報を用いた3次元可視化インタフェース ，情P和Cee掬〆〟闇J タj，1993．

，Co／痴nncePmceeゐ唱∫ダムEαり玩＼如．l，pp．292−293，1996．

−106−

報処理学会第59回全国大会，No．特1，Pp．7l−72，
1999．