画像認識による身体動作入力にもとづく仮想カメラ視点の制御
米元聡＊

中野裕史＊＊

谷口倫一郎＊＊

九州産業大学 情報科学部 知能情報学科＊
九州大学大学院 システム情報科学研究院＊＊
E‑mail: yonemoto@is.kyusan‑u.ac.jp
URL: http://www.is.kyusan‑u.ac.jp/ yonemoto/１．はじめに
本研究では，直接的な３次元動作入力をもとにした仮想環境とのインタラクションを実現するた身体構造の制約にばねモデルを仮定し，位置入力の変位をもとに当てはめ計算を行うことで姿勢の更新を行う．

めの要素技術として画像認識による非接触な３次元身体動作の計測手法を開発し利用する．非接触

３．誘発型ユーザインタフェース

での身体動作の計測は，効率やそのスマートさか

本研究は，アフォーダンスの考え方などをもとら仮想空間と実空間とのシームレス化に重要であにして，仮想空間中のオブジェクトがインタラクる．しかしカメラを用いて動作計測を行う場合，ションに関与する情報を積極的にシステムに与え身体動作を精度よく推定することが一般に困難なることにより，インタラクションが誘発的に行わ課題であるため，比較的安定に推定可能な手や顔れることを目指している．そこで仮想空間と実空の動作情報のみから身体姿勢の推定を自動的に行間のユーザとの間の円滑なインタラクションを遂うアプローチにより，リアルな身体動作を仮想空行するために，以下の２つの誘発的なインタラク間上に再現することを目指している．

ションを実現する機構を導入する．

また，仮想空間と実空間での円滑なインタラクションを遂行するために，計測した身体動作の入仮想空間におけるアフォーダンスの概念によるア力をもとにユーザの本来意図した動作を適切に再バターの適切な動作制御現するための誘発型ユーザインタフェースの枠組滑に行うために，実世界において扱われるアフォみについても検討している．

ーダンスの概念を仮想空間上へ応用する．環境にインタラクションを円相当する仮想空間において，オブジェクト（仮想２．画像認識による身体動作の入力と動作生成物体）が，人間に相当するアバターに対し意味・本研究では，身体動作を画像より推定するため価値のある情報，ここでは動作情報をアフォードの画像特徴として肌色領域を用いる．肌色領域とすると捉える．ユーザの身体動作入力をきっかけしては，上半身では顔，両手部分が相当し，肌色に各オブジェクトに定義された動作情報がアフォ領域を身体部位とみなして観測する．２視点以上ードされ，システムがそれらより適切なものをピの画像について同一部位の肌色領域が観測できるックアップし，実際のアバターの動作やシーンイ

場合，ステレオ視の原理によってその領域重心のベントとして反映されることにより遂行される．

３次元位置を計算することができる．上半身の動

具体的には，仮想物体の特性に応じた手指の詳細

作においては，顔，両手の重心の３次元位置を求動作や，ドアの開閉に伴うオブジェクトの変化へめることになる．前の時刻での計測位置を初期位の適応動作，関心のある仮想物体へ顔を向けるた置としてこれらの３次元位置の追跡処理を行う．

めの視線制御などが挙げられ，これらは行われてまた，物体操作のための把持状態判定のために，いるインタラクションについてユーザへの提示効推定した手の位置についてユーザの手の状態（把果を高めると考えられる．

持状態，開放状態）の推定を行う．
得られた少数の位置情報より自然な動作を生成

仮想カメラ視点の制御

仮想空間の提示の仕方，するための姿勢推定法として物理法則に基づいたつまり視点の制御を工夫することでユーザの行為動作生成を行う方法を導入する．物理法則としてを誘発することができる．本研究では，極座標系

Vision-based Direct Manipulation Interfaces with
Virtual Camera Control, S.Yonemoto, H.Nakano and
R.Taniguchi (Kyushu Sangyo Univ. Kyushu Univ.)

による視点パラメータ，カメラ視点より目標点までの距離，方位角(azimuth)，仰角(elevation)によ方式の視点制御による仮想空間ナビゲーションやり表現し，カメラ視点より注視する目標点の位置物体操作を行うことができる．図２に仮想空間ナを基準にする．

ビゲーションの例を示す．ユーザは視点制御③の以下，視点制御の方法を３種類述べる．

方法で，右手による操作により注目対象（ぬいぐ① 最も単純で直接的な視点制御の方法は，ユーるみ）の位置へとウォークスルーし，任意の視点ザの頭部位置に応じて視点の制御を行うことを選択する．その後，物体操作モードに切り替え，である．ユーザが左右へ頭部を傾ける際の変注目対象を把持・移動する．

位を上記の視点制御のパラメータのうちの方位角の変位に対応させ，ユーザが前後へ頭部を傾ける際の変位をカメラ視点より目標点までの距離の変位に対応させる．
② 仮想物体操作において，アフォーダンスの概念による動作情報によりユーザが関心のある物体を特定することができる．ユーザが円滑にインタラクションを遂行できるようにする

図１．システムの概観(左)と仮想空間操作の例（右）．

ために注目対象を目標点位置に設定し視点を自動調整する．
③ 通常マウス操作により行われる視点制御をユーザの動作にマッピングする．具体的には，仮想カーソルをユーザの正面に想定し，そのカーソルを掴んだ状態で行われるユーザの手の変位に合わせて視点を制御する．カーソル

図２．身体動作による仮想空間ナビゲーション．

を掴んだ状態がマウスのボタンのクリック時に相当する．手の前後の変位をカメラ視点よ５．おわりにり目標点までの距離に，手の左右の変位を方

画像認識からの少数動作入力をもとにアバター

位角，手の上下の変位を仰角の変位にそれぞの自然な動作制御を行う技術及び仮想空間との円れ対応させる．

滑なインタラクションを可能にする誘発型ユーザインタフェースの枠組みについて検討し，ユーザ４．プロトタイプシステムの実装の動作入力に応じてシステムが誘発を行うことでプロトタイプシステムとして，デスクトップ型ユーザの本来意図した動作を自然な形で代行表現のインタラクションシステムを構築した．画像認するための動作制御の方法，身体動作にもとづく識用にカメラ２台を用い，実空間上には提示用の仮想カメラ視点の制御の方法について述べた．

大画面モニタ，机，椅子を配置し，上半身のみが両カメラにより撮像される．１台の汎用ＰＣで画本研究の一部は科学研究費補助金特定領域研究(C)

像認識から仮想空間の提示処理までを行うことが14019071「個人適応能力を有する高次マルチモーダ可能である．図１にシステムの概観を示している．

ルインタフェースに関する研究」の補助を受けた．

ユーザが実空間で行う動作に合わせアバターが仮

参考文献

想空間で同様の動作を再現する．アバターの身体[1]

動作の提示が必要な場合に有効であり，視点制御

Vision-based 3D Direct Manipulation Interface for①により方位角などを制御し，動作情報により右Smart Interaction, in proc. of International Conference

SatoshiYonemotoandRin-ichiroTaniguchi,

手の物体を目標点とする視点制御②を行っている． on Pattern Recognition, pp.655-658, 2002.
ユーザの身体表現をアバターとして仮想空間上[2] Satoshi Yonemoto and Rin-ichiro Taniguchi, A Directに陽には存在させず、位置情報の入力に応じて視Manipulation

Interfacewith

Vision-based

点制御を行うことも可能である．ウォークスルー

Figure Control, HCI International 2003

Human(発表予定).