ウィンドウインタフェースシステムにおける頭部位置・姿勢の有効な利用法
北島 光太郎†佐藤 洋一‡†電気通信大学 情報システム学研究科

小池 英樹†‡東京大学 生産技術研究所

本稿では，画像処理を用いユーザの頭部位置・姿勢をリアルタイムに検出し，ヒューマンイン
タフェースとして有効に利用する手法を提案する．従来，視線をウィンドウインタフェースシス
テムへ応用した例では，視線の特徴からポインティングは高速に行う事が可能であるがコマンドの決定には不向きであった．本研究では頭部の位置・姿勢を有効に利用しウィンドウインタフェースシステムを操作する手法を提案する．それらの手法を評価するために X Window 上で顔の向きおよび位置を用いた操作を行うことができるシステムを試作し，基本的な操作に対する評価実験を行った．その結果から，頭部の位置・姿勢情報をインタフェースシステムにどのように利用することが有効であるかについて考察する．

The Effective Use of Head Pose and Position
for Window Interface System
Kotaro KITAJIMA†

Yoichi SATO‡

Hideki KOIKE††Graduate School of Information Systems, University of Electro-Communications‡Institute of Industrial Science, The University of Tokyo
This paper discusses the use of head pose and position for human-computer interaction by using a real-time
face tracking system. The previous studies indicate that the use of gaze information is not the best suited forexecuting commands while it can be used effectively for pointing tasks. In this work, we study how to use
head pose and position more effectively for interactions in window-based interface systems. In particular, we
propose the use of face directions in conjunction with other inputs, i.e., key inputs. We have conducted
experimental studies by using our prototype system which can measure a user’s face direction in real-time byusing a vision-based face tracking without using any intrusive devices. Based on the experimental results, wedemonstrate the effectiveness of the proposed approaches for using head pose and position for
window-interface systems.

1．はじめに

これまでに視線情報をヒューマンインタフェースの分野に応用しようとする研究は数多く行われており，その多くがマウスやタッチパネルなどの入力デバイス
を視線に置き換えたものであった．このようなシステ
ムでは，コンピュータの操作すべてを視線で行おうとしているが，視線を向けたコマンドすべてが選択されてしまうという問題などにより，コンピュータインタ
フェースとして必ずしも効率的ではなかった[3]．
また，
視線計測時において頭部装着型のデバイスを利用した
場合でも，測定誤差が生じてしまうことや人間の固視微動による誤差によって，ユーザが特定のドットを視線で指し続ける事は不可能に近い．そのため，上記のようなコマンド入力型のインタフェースシステムに視

現在，広く一般的に利用されているマウスやキーボードに代表されるインタフェースよりも快適に利用できるインタフェースとして，実世界指向，状況依存型インタフェース（PUI：Perceptual User Interface）に期待が寄せられている[1][2]．
PUI としては音声認識，ジェスチャ認識，視線認識などが研究されている．その中でも人間の目や顔の動き
は人の注意や意図と深く関係していることや，高速に移動できる，疲れないといった特徴がある．そのため，ユーザの視線および顔の向きを検出することによってコンピュータによる状況認識及び，ユーザの意図理解への応用が期待できる．

1

に座るだけでリアルタイムに頭部の位置および姿勢の検出が可能なシステムを構築している[6]．
図 1 にシステム構成を示す．システムはユーザの顔領域を観察するカメラ２台と顔領域を照らす近赤外照明装置，画像処理を行う PC，処理結果を出力するモニタから構成される．

線を利用する手法より，画面を見ている自然な注視点から情報を獲得する手法が望ましい[4]．
本稿では，画像処理によりリアルタイムに検出されるユーザの頭部位置および姿勢をウィンドウシステム
操作に有効に利用する為の方法を検討する．具体的なシステムとして，X Window 上に組み込んだものを試作し，評価実験を行いその有効性を評価したのでここに報告する．
以下に本システムの特徴をあげる．
・ 画像処理を用い完全に非接触でリアルタイムにユーザの頭部位置・姿勢を検出することが可能．これによりユーザは特殊な装置を身につける事なく作業を行うことができる．
・ ユーザの顔の 3 次元姿勢をもとに X Window のフォーカス制御，及びウィンドウの移動を行うことが可能．ユーザは作業を行いたいウィンドウに顔を向け，キーボードのキーを押すだけでウィンド
ウの選択，移動が可能となる．
・ 頭部の３次元位置・姿勢を用いてウィンドウ上でのアプリケーション操作が可能．
・ 提案システムは X Window 上の環境への統合が容易であり，ユーザは簡単な操作方法を覚えるだけ
でより快適な操作環境が利用可能となる．

図１ プロトタイプシステム外観

本システムの基本的な処理の流れは，２台のカメラ
から複数の顔の特徴点をテンプレートマッチングにより検出し，頭部の 3 次元での位置・姿勢を決定するというものである．以下で処理の概略を説明する．
（１）初期化部
カメラユニットに取り付けられた近赤外照明の反射
光をもとに顔領域を検出し，顔領域内で目と口の両端位置を検出する．検出した目及び口の両端をテンプレートとして登録する(図２(左))．この時，左右 2 台のカ
メラはあらかじめキャリブレーションしておく[7]．これにより，左右のカメラ画像中から得られた特徴点の対応を用いて，その特徴点の 3 次元位置が計算できる．
このとき得られた特徴点の 3 次元位置を基準の剛体モデルとして登録しておく．
（２）主処理部
前フレームでの特徴点の 3 次元位置を基準に，フレーム間で特徴領域の移動量は微少であると仮定して 2 次
元での特徴点の探索領域を決定する．このようにして得られた探索領域内においてテンプレートマッチングを行い，最も相関値の高い点を検出点とする(図２(右))．
ただし，テンプレートマッチングで検出された点は誤差のため，間違った点が検出されてしまうことがある．
そこでこれらの点は初期化部で登録された剛体モデル
を元に剛体としての性質を保つように修正される．これにより，特徴点の一部が間違って検出されても修正され，安定した検出が可能となる．最後に両目と口の特徴点の位置から定義される面を顔平面とし，その顔
平面の法線方向から顔方向を推定する．ユーザが顔を向けている対象はこの法線ベクトルとディスプレイ平面の交点から求めることができる．

本稿ではまず第 2 章で実時間頭部位置・姿勢検出シ
ステムの構成を簡単に述べた後，第 3 章で今回提案する頭部の位置・姿勢によるインタフェースの枠組みを紹介し，提案手法を評価する為に用いた X Window シ
ステムの頭部位置・姿勢による制御手法について述べる．そして第 4 章で試作したシステムを用いた評価実験の結果を報告しその有効性について考察を行う．

2．頭部位置・姿勢検出システム
従来，視線を検出するシステムとしては，頭部装着型のものと非装着型のものが開発されてきた．頭部装着
型は，高速かつ安定に，視線を検出することが可能であるが，重量がありユーザが自然な動作を行うには適していない．一方，非装着型としては，カメラでユー
ザの顔領域を撮影し，画像処理を用いて視線を検出するシステムがある．これらのシステムでは，特徴領域を明確にするためにマーカーを顔につけるなどの制約
や，システムのキャリブレーションに非常に時間がかかり使いにくいなどの問題点があった[5]．その為，日常のインタフェースシステムとして利用するには向いていないものが多かった．
インタフェースシステムとして快適に利用する為には，システムが完全に非接触，リアルタイム処理，受動的であることが必要である．本研究では松本らの手法を基本とし画像処理を用いた非装着型でカメラの前

2

ユーザが見ているウィンドウへ自動的にフォーカスが移動するシステムが提案されてきた．
これら従来のシステムでは，ウィンドウを見ている
時間などを考慮してアクティブにするウィンドウを自動的に切り替えていた．例えば，大野のシステムでは，
ユーザがウィンドウに注目している度合いを利用する
ことで，アクティブにするウィンドウを決定している[8]．これにより，ウィンドウの境界付近を見ている時にたまたま見た他のウィンドウにフォーカスが移動してしまうという問題点を回避している．しかし，ユー
ザの自然な動作を見てみると，作業しているウィンド
ウを常に見ているわけではなく，手元にある本や隣のウィンドウを参照しながらキーボード入力を行うことが多い．また，ウィンドウ上のアプリケーションで，視線情報や頭部のジェスチャを利用する場合に，常に目的のウィンドウを見ながらジェスチャを行わなければならないという拘束があった．つまり，従来のシス
テムではユーザは入力を行う時に常に目的のウィンドウを見ながら作業することを強いられていた．
そこで本研究では，ウィンドウインタフェースにおける基本的な操作のうち，（1）フォーカスウィンドウの切り替え，（2）ウィンドウの移動，（3）ウィンドウの重なり制御，（4）ズームやスクロールなど 3 次元の操作の各々，を考えこれらの操作を頭部の位置・姿勢を用いてどのように効率よく行うことができるか検討する．また，これらの手法を評価するために，前章で述べた視線検出システムからの情報を利用して，X
Window システムを制御するシステムを試作した．

図２ テンプレート画像（左）とマッチングの様子（右）上記の手法を用いて顔の特徴領域の追跡を行った結果を図３に示す．顔の移動に対しても，安定して目や口の両端の位置が検出できているのがわかる．また，
テンプレートマッチングには正規化相関を用いている
為，明るさの変化に対して比較的安定な追跡が実現されている．顔の姿勢に関しては，最大誤差約±1 度，
顔の位置に関して，最大誤差約±1mm の精度での検出が可能である．
また，処理速度に関しては PC（Pentium
Ⅲ 550MHz，Linux OS）と HITACHI IP5005 画像
処理ボードを使用し，毎秒 20 フレームでのリアルタイ
ム処理が可能となっている．カメラは SONY XC-EI50
CCD-IR カメラモジュールを使用した．

これまでの研究で視線とマウスによる操作を組み合わせることで作業効率が上がるということが報告されている[9][10]．これらは，視線の特徴である高速な移動とマウスによるユーザの明示的なコマンド決定を組み合わせたものであり，視線によるコマンド決定時のあいまいさをなくすことが可能となっている[3]．本
手法では，顔の向きで位置の指定のみを行い，フォー
カスの移動やウィンドウ移動のコマンド決定はユーザのキーボード入力にゆだねる．ここではユーザがキー
ボードを主に利用している環境を想定しているためキー入力に伴う負荷は少ないと思われる．またキーが押された時の頭部姿勢のみを利用する為，頭部姿勢検出システムの誤差による影響の軽減が期待できる．視線
ではなく顔の向きを用いた理由は，画像解像度や視線の特徴の問題から視線方向を検出すると顔の向き以上に誤差が大きくなりディスプレイ上の点を高精度で指定することが難しくなる為である．顔の向きを用いた
場合，高速な眼球の動きを利用できなくなるため視線を用いた時のような高速性は期待できないが，キーボードからマウスに手を移動するよりは作業効率が上が

図３ トラッキングの様子

3．

ウィンドウインタフェースにおける頭部の位置・姿勢の利用

我々が普段ウィンドウシステムを使用する際には，入力を行うウィンドウ（フォーカスウィンドウ）を切
り替えながら作業を行っている．一般にフォーカスウ
ィンドウを切り替えるときには，マウスポインタを目的のウィンドウの上に移動するか，またはキーボード
操作によってフォーカスウィンドウを決定している．
しかし，キーボードを主に利用している環境を考えた
場合キーボードからマウスへの手の移動がユーザの負荷になってしまう．そこでユーザは作業を行うウィン
ドウを必ず見ている事から，視線検出システムを用い

3

問題点があった．そこで頭部の 3 次元位置・姿勢を利用することで 3 次元操作をより直感的にかつ高速に行う事ができる手法について地図アプリケーションを例に検討する．地図のアプリケーションを利用する場合には，縮尺率を変更せずに目的の場所を探すよりも，縮尺率を変更しながら探す方が効率が良いことが知られている[11]．しかし，縮尺率を変更するためにはモードの変更や画面を切り替える必要があり，目的の縮尺率にすぐに調節することは困難であった．そこで，頭部の位置を利用して地図の拡大縮小を行い，地図の縮尺率を瞬時に変更できるシステムを試作した．操作はウィンドウ上に地図が表示されており，基本的には図5 に示すようにユーザがディスプレイに顔を近づけるとズームイン，遠ざけるとズームアウトする．また顔の向きによって画面のスクロールを行うことができる．
今回は，頭部の位置を用いズームレベルを制御する３種類の手法を評価した．

ると思われる．また，頭部の 3 次元位置をズームやス
クロールなどの 3 次元操作に利用することにより，マウスなど 2 次元のポインティングデバイスには不向きな操作をより直感的に行うことが可能になると期待される．以下で各操作方法について述べる．

操作１：フォーカスウィンドウの切り替えシステムによりユーザの頭部姿勢はリアルタイムに検出される．ユーザによってキーボードのフォーカス
制御キーが押されると，ユーザの顔が向いているウィ
ンドウにフォーカスが移動する．ウィンドウが複数枚重なっている時には一番上のウィンドウにフォーカスが移動する．この時，一度フォーカスが移動するとフォーカスは固定されるので，各ウィンドウアプリケー
ション上で独立して頭部による操作が可能となる．

操作２：ウィンドウの移動
ウィンドウが複数枚重なっている時など，ユーザは頻繁にウィンドウを移動する．マウスなどを使用した
場合，ウィンドウの移動はウィンドウのタイトルバー
をドラッグすることで可能である．しかし，その場合
キーボードからマウスへ手を移動することがユーザにとって負荷となっていた．また，従来の視線を使用したウィンドウ制御システムでは，コマンドを選択するなどしてウィンドウの移動を行っていたが，コマンド選択にかかる時間や疲労，移動場所の決定時などに問題があり，必ずしも快適な操作環境ではなかった．
これに対し本手法では，ウィンドウ移動キーを押す
ことで，現在フォーカスのあるウィンドウを顔が向いている位置に移動する．これは顔を他の方向に動かしてもフォーカスウィンドウが自動的に変更されない為可能となっている．

操作３：ウィンドウの重なり制御

図４ 地図アプリケーションの操作

大きなウィンドウがディスプレイ最前部にある為に，作業を行いたいウィンドウが完全に隠され，見えない
場合がある．そのような時には，最前部のウィンドウ
を他の位置に移動するかアイコン化するなどして，目的のウィンドウを最前部に移動する．本手法では重なり制御キーを押すことで，現在のフォーカスウィンド
ウを最後部に移動する．この時，後部のウィンドウが自動的に最前部に移動しフォーカスも後部のウィンドウに移動する．

・ 手法 1
頭部の位置が直接ズームの割合になっている．つまり，
ディスプレイに顔を近づけると地図が拡大して表示され，顔を遠ざけると縮小して表示される．
（ダイレクト型）（図５）．

操作 4：ズームやスクロールなどの 3 次元操作
ウィンドウアプリケーションにおいて，3 次元の操作が必要なものは多く存在する．例えば，地図アプリ
ケーションやドローツールでは頻繁に拡大率を変更しながら作業している．また，3 次元空間におけるウォークスルーでは必然的に 3 次元の操作が必要になってくる．これらの操作をマウスなど 2 次元の入力デバイスで行うにはモードの変更やキー入力の組み合わせを必要とする為，直感的でなく操作が複雑になるなどの

図５ 手法１（ダイレクト型）

・ 手法２
ジョイスティックのアナロジーに基づき頭部の位置を使用しズームレベルを操作する．自然な姿勢で頭部がある位置をニュートラル位置とする．ある閾値以上
ディスプレイに近づくと on となり，一定の速度でズー

4わせた後スペースキーを押し選択する．正しいウィン
ドウを選択した場合，ターゲットウィンドウは他のウ
ィンドウにランダムに移動する．被験者には１０回連続でターゲットウィンドウを選択してもらいその時間を測定した．実験は各入力手段に関して 5 セット行いその平均を用いている．図８(a)にウィンドウが６枚の時の様子を示す．また，各入力手段のウィンドウ制御は以下に示す通りである．

ムインし続ける．再びニュートラル位置に頭部を戻すとズームは止まる（デジタル型）（図６）．

図６ 手法２（デジタル型）

・ 手法３
マウスボタンを押している間のみダイレクト型のように操作することが可能である．このためボタンを押している時以外は頭部を自由に動かすことができる．
また，ユーザがマウスのボタンを押した時の頭部の位置を基準にズームの原点がシフトする為，マウスボタンを押した時に突然ズームレベルが変化することがな
い．
（ダイレクト＋原点シフト型）（図 7）．

(a)ウィンドウ選択(b)ウィンドウ移動(c)ウィンドウ重なり制御

図８ ウィンドウ選択実験環境

・顔の向き

４．

図７ 手法３（ダイレクト＋原点シフト型）

被験者は目的のウィンドウの方向を向き，フォーカ
ス移動キーを押すことで，目的のウィンドウにフォー
カスを移動することができる．

評価実験

・マウス

以上で述べた手法の有効性を評価するために，ウィ
ンドウ操作及び，アプリケーション操作に関する実験を行った．それぞれの実験において被験者は５人である．また，被験者は日頃 Window システムを利用しており，マウスやキーボードの操作に慣れている．ディスプレイは 19 インチのものを使用した．

マウスカーソルを目的のウィンドウ上に移動することでフォーカスを移動することができる．ただし，本
実験では，被験者が普段キーボードによる操作を行っており，フォーカスの移動時のみマウスを利用する場合を仮定しているため，片手のみで操作を行ってもらった．また，手の移動にかかる時間も一定にするために，マウスを置く位置はキーボードの右側に固定した．

４．１ ウィンドウ選択に関する実験
ウィンドウ選択に関する実験・キーボードまず，ウィンドウ選択にかかる時間を顔の向き，マウス，キーボードの各手段を用いて測定した．ここではユーザがプログラム開発など基本的にキーボードを利用して作業を行っている状況を想定した上で入力手段とウィンドウの枚数の違いによりウィンドウ選択時
間にどのような差が生じるのか比較を行う．ディスプ
レイ上にウィンドウが重ならない状態で 2 枚，4 枚，
または 6 枚現れる．この時ウィンドウが重ならないよ
うにするため，枚数が増えるとウィンドウのサイズが小さくなる．表示されたウィンドウ中の 1 枚が緑色に変化する（ターゲットウィンドウ）．タスクとして，被験者は顔の向き，マウス，キーボードのそれぞれの入力手段によりターゲットウィンドウにフォーカスを合Ctrl キーを押すことでフォーカスウィンドウを巡回させることができる．
図９に各入力手段についてウィンドウを 10 回選択
するのに要した時間を示す．ここで，グラフの縱線は標準偏差を示している．顔の向きはウィンドウの枚数に関わらず，安定して高速なウィンドウ選択を行うことができた．ウィンドウが２枚の場合にはキーボードを使用した時が最も速いが，これはフォーカスを移動する対象のウィンドウが１枚しかないため，単純にキーを一回押すだけでターゲットウィンドウにフォーカ
スを移動できるためである．反対にウィンドウの枚数5が増加するにつれてキーボードによる操作は時間が増加している．マウスはキーボードからマウス位置への手の移動時間が長いため時間がかかっていると考えられる．しかし，ウィンドウの枚数が多くなっても，あまり影響を受けず安定した操作が可能であることを示している．

面の反対側に移動する時間を計測する．各手法でのウ
ィンドウ移動方法について以下で述べる．

・顔の向き
移動したいウィンドウにフォーカスを合わせた後，移動したい場所を向きウィンドウ移動キーを押す．

・マウス
ウィンドウのタイトルバーをドラッグして移動する．

図９ ウィンドウ選択時間結果（１０回分合計）

図１０ ウィンドウ移動時間結果（１０回分合計）

次に，ウィンドウが重なっていない場合において，ユーザが実際にキー操作を行う回数について考察する．
フォーカスをターゲットウィンドウに移動するためには，顔の向きを利用した場合，１回のキー入力が必要になる．キーボードを利用した場合には，ウィンドウが２枚の時には１回の入力で済むが，ウィンドウの枚数が増加するにしたがって入力回数は増えていく．ウ
ィンドウが６枚の時には最大５回のキー入力が必要になってくる．設定によって逆向きの巡回を行うこともできるがその場合でも，最大３回のキー入力が必要になる．つまり，ウィンドウの数が４枚以上の場合には顔の向きを用いた方が少ない操作で作業を行えるということが言える．マウスはキー操作を伴わずにウィン
ドウ選択が可能であるため，単純に操作回数での比較はできないが，キーボードからマウスへ手を移動する
際の時間や疲労を考えると，ウィンドウの選択において，顔の向きはマウスよりも効率的であると言える．
一方でアイコンの選択など高精度でポインティングを行わなければならないようなタスクでは，顔の向きによるポインティング精度の低さによりマウスの方が適していると思われる．また，今回はウィンドウの選択時において基本的にキーボードをメインで使用している場面を想定しているが，ウェブのブラウジングのようにマウスをメインで使用するような場面では，視線とマウスとの組み合わせによる操作も有効であると思われる[9]．

各被験者に対して 5 セットの計測を行った結果が図１１である．時間に関しては，若干視線の方が早かったが，大きな差は見られなかった．前節の実験からも分かるように，マウスを使用する場合，キーボードからマウスへの手の移動時間が大きな問題となる．しかし，今回の実験ではマウスから手を離さず作業を行うことができたため，差が生じなかったものと思われる．
実際にキーボードを使用する作業においては，キーボ
ードから手を離さずウィンドウの移動を行える顔の向きは有効であると思われる．

４．２

ウィンドウの移動に関する実験

次に，ウィンドウの移動にかかる時間をマウスと顔の向きで比較した．図８(b)に示すように，画面の片側にウィンドウが 10 枚あり，そのウィンドウをすべて画

6

４．３ ウィンドウの重なり制御に関する実験
図８に示すような，ウィンドウが複数枚重なっている状況でターゲットウィンドウを選択するのに要する時間を測定した．ターゲットウィンドウが最上位のウィンドウに隠されている場合，顔の向きを利用した場
合は重なり制御キーを押すことで現在フォーカスが存在するウィンドウを最後部に移動することができる．
一方，キーボードを利用する場合には，ウィンドウ選択の実験と同様に Ctrl キーを押すことですべてのウィ
ンドウを順に巡回する．マウスを使用する場合，最上位のウィンドウを他の場所へ移動する，アイコン化する，またはコマンド選択によって最下位に移動する，などさまざまな方法で制御行っており単純に比較できない．そのため，今回は視線とキーボードの比較のみを行った．
実験は基本的に 4.1 節のウィンドウ選択に関する実験と同様に行い，ウィンドウが重なった状況でターゲットウィンドウを 10 回選択するのに要する時間を測定するという作業を 5 セット行った．
ウィンドウの枚数を 4 枚，6 枚，または 8 枚と変え２（デジタル型），３（ダイレクト＋原点シフト型）とキーボードを用いタスク終了までの時間を測定した．
キーボードはズームインとズームアウトを行うそれぞれのキーを用意した．また，カーソルの移動にはすべてマウスを使用している．結果を図１３に示す．

た時の結果を図１１に示す．ウィンドウの枚数に関わらず，顔の向きを利用した方が短い時間でウィンドウを選択できるという結果になった．ただし，ウィンドウの総数が少ない場合には，4.1 節のウィンドウ選択の実験から分かるようにキーボードによってフォーカスを巡回する方法が効率的であると思われる．しかし，ウィンドウの枚数が多くなると，キーボードによる選択は効率が悪くなる．本手法では，ウィンドウの重なり制御キーを用いることで顔が向いている場所の付近のみでウィンドウのフォーカスを巡回することができるため，すべてのウィンドウに対してフォーカスが巡回するキーボードと比較した場合も効率的であると思われる．

図１３ 頭部の位置による操作実験結果（１０回分合計）

図１１ ウィンドウ重なり実験結果（１０回分合計）

４．３ 頭部の位置によるアプリケーション操作

図１２ 地図アプリケーション操作実験

次に，頭部の位置によるズーム操作の有効性を検証するための実験を行った．実験では図１２に示すように画面に５０×５０のセルが表示される．このうち１つのセルが黄色に変化する（ターゲット）．被験者は，
ズーム機能を利用しターゲットを発見し，カーソルをマウスで操作しターゲットに重ね，マウスのボタンを押すことで選択することができる（このときターゲッ
トに対して十分ズームインしていないと選択できない）．ターゲットは選択されると現在の場所から一定の距離離れた場所にランダムに移動する．被験者にはターゲットを１０回連続して選択してもらいその時間を測定した．測定は各手法について 5 回である．ズーム
操作には頭部の位置を利用した手法１（ダイレクト型），

7

手法１（ダイレクト型）が最も高速であるという結果になった．これは，頭部の位置が直接ズームの割合に対応している為，ズームにかかる時間を省略することができる為だと思われる．また，地図全体の確認（ズームアウト）と，詳細の表示（ズームイン）を最も直感的に行う事ができた．しかし，その縮尺率のまま操作するには頭部の位置を固定したまま作業しなければならない．つまり，極端にディスプレイに近づいた状
態や遠い状態で作業しなければならない場面が生じるため不便であった．そこで，本手法は空間上の情報を常に移動しながら眺めるような作業に向いていると思われる．例えば，画像ブラウザなどにおいてさまざまな画像を眺めながら好きな画像を探し出すような作業は本手法に向いていると思われる．
手法２（デジタル型）は，最も時間がかかったが，ズームの速度を変更することで，時間を短縮することが可能であると思われる．しかし，ズームの速度を速くしすぎると，微調整ができず，ユーザが希望する縮尺率にすることが難しくなってしまう．ニュートラル
領域からの移動量に応じてズーム速度を変更すること
で微調整は可能になるが，結局，作業を行う時には頭部をニュートラル位置に固定することが必要となりそれがユーザの負荷になってしまうという結果になった．
手法３（ダイレクト＋原点シフト型）は比較的高速に操作が可能であり，ズームの微調整も可能であった．
また，被験者全員が手法 3 を最も使い易いと答えた．
これは，ボタンを押しているとき以外は頭部の位置が自由であり，また直感的でもあることが理由として考えられる．他の手法では顔の位置がある程度拘束される為，疲れるという意見も多かった．この手法は普段は画面を固定している状況で作業し，場合によってズ

ームレベルを変更するようなタスク，例えばドローツ
ールなどに対して有効であると思われる．

感じることがなく，また，他のデバイスよりも高速に作業を行うことができた．また，頭部の位置による操
作は，3 次元の操作を必要とするタスクに対して，マウスなど 2 次元のポインティングデバイスを利用する
よりも直感的で効率が良いことが言える．さらに，頭部位置・姿勢検出には頭部装着型のデバイスを用いていないため，ユーザはカメラの前に座るだけでシステ
ムの利用が可能となった．
今後の課題としては，今回提案した手法のより詳し
い評価，視線情報をさらに有効に利用するためのインタフェースデザインの検討，また，視線検出部における課題としては、視線検出の精度の向上，顔の姿勢と瞳の位置からより細かな視線方向を測定すること，顔トラッキングシステムの安定性の更なる向上などがあげられる。

４．５ 被験者の主観的評価
実験後にアンケート記入形式での質問を被験者に対して行い，頭部の位置と顔の向きによる操作の主観的な使い易さについて調べた．アンケートの項目は各操作に関して使いやすさ,精度,疲れ,慣れ,有効性,好み,などを含んでいる．
まず，顔の向きによるウィンドウの各操作については，その有効性や好みに関して良いという意見が多かった．逆に，疲れの項目はマウスやキーボードよりもやや疲れるという意見が多かった．これは顔トラッキ
ングシステムの精度の問題から被験者がある程度顔の姿勢を保ったまま実験タスクを行ったことが原因と思われる．これは今後の顔トラッキングシステムの精度向上によって解決するものと思われる．また，視線でなく顔の向きを利用することによるギャップに関して
は，ディスプレイのように狭い対象範囲では顔をやや意識して動かす必要があり若干の違和感があるという意見があった．つまり顔の向きを利用する場合には大型のスクリーンのように視線に対応して自然と顔が向く大きさの対象の方が自然であると思われる．
次に，頭部の位置によるズーム操作についてはその有効性や好みにおいて高い評価を得ることができた．
特に他のデバイスと比較して直感的であると言う意見が多くみられた．疲れに関しても他のデバイスと同程度であり，頭部を動かす負担をあまり感じなかったという意見が多くみられるなど，頭部の位置による操作
は顔の向きによるインタラクションよりも全体的に高い評価を得ることができた．

参考文献[1] M. Turk, “Moving from GUIs to PUIs,” Proc. Fourth
Symposium on Intelligent Information Media, Tokyo, Japan,
December 1998.
[2] 暦本純一，長尾確、 ポスト GUI: 今後の展望 、Bit 別冊
ビジュアルインタフェース-ポスト GUI を目指して-、共立出
版 pp.177-198, 1996.
[3] R. J. K. Jacob, “What you look at is what you get: Eyemovement-based interaction techniques,” Proc. CHI'90, pp.11-18,
1990.
[4] R. J. K. Jacob, J. J. Leggett, B. A. Myer, R. Paucsh, “Interaction
styles and input/output devices,” Behavior and Information
Technology, Vol.12, No.2, pp. 69-79, 1993.
[5]伴野明，岸野文郎，小林幸雄、 動向の抽出処理と頭部の動きを許容する視線検出装置の試作 、電気情報通信学会論文
誌 D-Ⅱ Vol.J76-D-Ⅱ No.3, pp. 636-646, 1993.
[6] Y. Matsumoto, A. Zelinsky, “Real-time Face Tracking System
for Human-Robot Interaction,” Proc. 1999 IEEE International
Conference on Systems, Man, and Cybernetics (SMC '99), pp.
2-830-2-835, 1999.

５．まとめと今後の課題
ウィンドウインタフェースシステムにおいて頭部の位
置・姿勢の情報を有効に利用するために，ウィンドウシステムの各基本操作について頭部の姿勢および位置の有効な利用法について検討を行った．具体的には，ウィンドウシステムの 4 つの操作について頭部の位
置・姿勢を利用した手法を提案した．ここで共通したアプローチとして，顔の向きをポインティングのみに利用し，コマンドの決定部分はユーザに委ねることにした．また，3 次元の操作を行うタスクには頭部の位
置情報を用いた．これらの手法を評価するために，画像処理による頭部の位置及び姿勢が検出可能なシステ
ムを利用し X Window の制御及びアプリケーション操
作を行うシステムを試作し，その使いやすさについての評価を行った．
ポインティング作業は，ユーザが必要な時のみ行う事ができるため，従来のシステムにあったストレスを[7] R. Y. Tsai, “A Versatile Camera Calibration Technique for HighAccuracy Machine Vision Metrology Using Off-the-Shelf TV
Cameras and Lenses,” IEEE Journal of Robotics and Automation,
Vol. 3, No. 4, pp. 323-344, August 1987.
[8] 大野健彦、 視線を利用したウインドウ操作環境 、信学
技報 HIP99-29, pp. 17-24, 1999.
[9] S. Zhai, C. Morimoto, and S. Ihde, “Manual and Gaze Input
Cascaded (MAGIC) Pointing,” Proc. CHI '99, pp. 246-253, 1999.
[10] 大和，神代，門田，松本，井上、 視線によるマウスカ
ーソルの自動移動 ，情報処理学会研究報告 99-HI-84, 1999.
[11] G. W. Furnas and B. B. Bederson, “Space-Scale Diagrams:
Understanding Multiscale Interface,” Proc. CHI '95, pp. 234-241,1995.

8