平成＝年度 研究報告 大分県産業科学技術センター

首の動作を利用したユーザインタフェースに関する研究
阿南正明
機械電子部

S紬dyonMantMac鮎neInter払eeもasedonHuman−sNeekMovement
HasaakiANAN
Mechanics＆Electronics Division

要旨
一昨年から本年度までに，1）運動視差に基づく立体図形の表示 2）うなずき検出 3）首動作による文章入力装置（ワープロ）の3点を試作し．コンピュータ画面の表示がユーザの首の動作に連動して変化するようなユーザインタフェー
スの試作を行った．特にうなずき検出に関して，必要なパラメータ（速度の聞イ嵐 フラグのディケイ）を求め，Yes（うなずく動作）でもNo（首を横に振る動作）でもない，貧乏ゆすりや自然な首の運動などを除去する方法について検討した．
1．はじめに始まる．

コンピュータを使用している際，画面上に「終了します

画面にある簡単な文章（例えば「ドラエもんはネズミがか？（y／n）」などのような質問文（メッセージボックス）が苦手である．」）と簡単なマンガを表示し，正しければう表示される事がよくある．通常コンピュータのユーザはなずいてもらい．間違っていれば首を横に振ってもらった．

キーボード，もしくはマウスから，YまたはNの回答を来場者の首動作が，クイズとして正解であれば「あた入力する．もし画面をながめているままの状態で，軽くうり」のマーク，間違っていれば．「はずれ」のマークを表

なずくだけで回答が入力できれば，話は速い．また両手の示し，同時に「次に行きますか．」という一文を表示して，不自由なユーザに対しても．このような方法で，コンここでもう一回うなずいてもらう．
余談であるが，全問正解（5問）者には．景品を用意しピュータとのインタフェースを提供することが出来る．

た。又あたり，はずれのマークを表示する際 正しい解答

首の動作を積極的にコンピュータへの入力方法に取り入をカツコ書きで説明した．

れていくことには，下記のようなメリットがある．

健常者の利用例に限った場合．うなずき検出の導入に

1）首だけの動作認識であれば，ゼスチュア認識などによって，コンピュータによる作業の効率が飛躍的に向上す比べてシステムの実現がしやすい．

るとか，何か仝達で出蕩かか「十重が出吏ス上う乙、Yぉろゎ

ウ1／l＼丹J璃よぅ爪お、久｛ヽドか1一「い7●いスノートパ、ノ「、ノ 】 ノ 」 ■．二王二／V ／ ／ 〉ノしLノ ノ′〉 ） ヽ′ノ ノ， 、， q′／

けでは決してない．などが出回りつつある（タイムリーである）．

しかしながら，そこには，コンピュータを楽しく使うと

3）上述のように，両手の不自由なユーザでも，コンピいう要素があり．来場者のアンケートなどを見ても，今回ュータヘの回答の入力が可能になる．のデモで，実際に使用してもらったユーザの「受け」はかなり良かった．

1．1試作機のデモについて要旨に述べた3点のうち．「うなずき検出」の装置につ1．2 心理面の効果について

いては，昨年度の当センターの公開行事（センターフェア

もちろん個人差もあると思われるが，基本的に何か簡単999）において今回試作したうなずき検出装置をクイズ形式な回答をコンピュータに入力する際に，マウスやキーボーでデモを行った．

対象は4〜15才程度の子供が多く，合計60程度に対ドに手をのばすのは，意外にめんどうくさい。コンピューしてデモを行った．まず，回答者にはPSD発光素子を取タに向かってうなずいたり．首を横に振るはうがはるかにり付けたヘッドフォンをしてもらい．最初に練習画面で，速く．楽である．

うなずいたら「Ye s」のマークが，首を様に振れば「Nよく似た例で．音声認識の利用という方法があるが．

o」のマークが出るよう，練習してもらう．画面内には「コンピュータに話しかける」という行為は意外に不自然「練習モードの終r」とかかれた領域があり，やはり首をであり，又状況によっては人目が気になる．何を入力して動かして．その領域内にカーソルを持っていくとクイズがいるのか絶え間なく第三者に発表している状態で入力しな−20−

平成11年度 研究報告 大分県産業科学技術センタ岬

くてはならないというのも解せない．（その方がいいとい2．1ハードウェアについてうケースもあり，又これには心理的な側面や．ユーザの性格などによる個人差があると思われる．）
なお．今回の首動作検出に関する研究は，例えばウインドウズ上の任意のソフトを首動作だけで動かすというようなものではなく，首動作を活かした専用のソフトウェアをひとつひとつ作る．という考え方である．前者の可能性については，今後の課題とする．
2．首動作を利用したソフトウェアの試作
一昨年から本年度までに1）運動視差に基づく立体図形の表示 2）Yes／No検出 3）首動作による文章入力装置（ワープロ）の3点を試作した．各々の装置の概略は以下のようなものである．
Fig．1システム概要

Tablel試作装置の概要
名 称

概 要

対象

今回の試作では，すべてFig．1に示すハードウェアを使用した．ユーザの頭部位置をPSD位置検出装置（将来は（利用目的）ステレオカメラを予定）で検出し．コンピュータ本体にそ運動視差に基づく 首を動かすことに 03次元CAD
3次元図面表示装 より，運動視差の変 03次元シミュレーション
置
更分を画面に表示さの情報を送る，PSDの発光体はヘッドフォンに取り付け，ユーザに装着してもらう．コンピュータは受け取った頭部れた3次元図形に反位置の情報に基づき，首の位置 動作を目的に応じて検出映させ，現実物体と同じように，のぞきし，ソフトウェアから利用する，込む効果を付加す（PSDこPositiDn Sensing Deviceの賂）る．

2．2 運動視差に基づく3次元図面の表示
Yes／甑検出器

うなずく，首を縦 ○アンケート

この装置は，ユーザの首動作から生じる運動視差を，すに振るなどの動作をでに画面上に表示されている3次元図形に反映させる．

検出し，画面上の質（詳細は，昨年と一昨年の研究報告書を参凰）間に対するユーザの回答を入力する、

これにより．ユーザは，本来2次元にまで落とされているはずのワイヤーフレーム軌二運動視差分を付加した図形

首動作に基づく簡易ワープロを見ることになり，結果的に画面上の図形の側面や穴をの画面上の文字テー ○障害者のためのぞき込むことが、出来るようになる．

ブルから，首動作により文字を選ぶ事に消去法的に言えば，バーチャルリアリティーから、両眼より，辛が不自由で視差の効果を除き，卓上化したものであるな

あっても文章を入力

のぞき込み移動量（以下の式でd斤）を明確にするため，することができる．

3次元のベクトルを使ってのぞき込み表示のための透視投（現状は平仮名のみ影の式を求めた．2）を入力できる，）（のぞき込み表示）

Sl＝dFx十（F／tl）（Px sin8肌Py cos8−dFx）
S2＝dFy−（F／tl）（Px cos8cos￠＋Py sin8cosd）−Pz sin￠†dFy）
ここで．

tl＝（Px cos8sin￠すPy sinOsind）＋Pz cos￠）−21−平成11年度 研究報告 大分県産業科学技術センター
ただし，パラメータとしては，下記の変数を用いた．
斤三g

物体上の任意の点
視線の水平角度βU

視線の垂直角度d

目の位置＜うなずき検出（注意点）＞＝（x，y，Z）① うなずくのと，首を横に振るのとでは，＝（Ex，Ey．Ez）

速度．距離が，微妙に異なる（一般にうなずく動作のほうが．短く．速い）② 首を横に振る回数は，決まっていない．

冒と画面との距離：F（回数は．判定条件としては，不可．）

冒から画面原点までの垂直なべクトル ：斤③ そうでない動作（貧乏ゆすり等）の除去

ユーザの初期状態における仮想視点と仮想スクリーンとの垂直距離：Fo

画面に対する視点のずれ

2．4 首動作に基づく文章入力装置について：d斤＝（dFx，dFy，0）（画面上の座標で）本装置は．下記のような手順でひらがなの文章を入力する．234234：（sl，S2）

2次元画面上の描画点（求める値）

なお簡単のため，

P＝ガーガとかく．

＜首動作ワープロの使用法＞（2）

1）PSD発光素子を付加したヘッドフォンを装着．
2）練習モード

PSDの検出した頭部位置（F．dFx．dFy）を（1）式に代入

うなずいたら，Ye sし，（sl，S2）を画面上で線分で結んでいく事により．運動

首を頓に振ったら．Noのマークが出るよう視差を含めたワイヤーフレーム画像の表示を行う事が出来練習する，る．表示は絶え間なく更新し，首動作に合わせて連続的に

3）練習モードの終了

画像を変更する．

「練習モード終了」と書かれた領域へ首を移動．

2．3 Ye s・No検出について

4）50音表から文字を選ぶ．

PSDの出力した首の位置に関する情報から．最終的に画面上の50音表から，苗を動かすことにより，下記のようなアルゴリズムを用いて．うなずき検出を行っカーソルを動かし，入力したい文字の位置でた．

0．5秒以上静止する．例えば「あ」という平仮名を入力したいのであれば，「あ」という文字の上で．0．5秒以上カーソルを静止させる．

＜首動作の判定について ＞
首動作の方向（L，R，T，B）と速さを算出し，5）確認

1）速さが．ある条件範囲内なら，「あ？」と聞いてくる．

フラグを立てる2）フラグは， 余韻を持たせで 消去
3）T（上向き）とB（下向き）のフラグが同時に立てば，正しければ，うなずく．
違っていたら．首を様に振る．
6）上記の4）、5）を繰り返す．

〔Ye s」

7）終ア時には，「×」マークの上に0．5秒以上4）L（左向き）とR（右向き）のフラグが同時にたてば， 「No」

カーソルをとどめる．入力した文章は。

5）判定直後のデータは，少しの間一 捨てる†−tmp．txt− にセーブされる．

＜ある条件範遇とは＞ある範園の速さをもつものがヶ ある時限以上に示したように，首動作ワープロは、内部でうな連続する× 短かすぎ（例：びんぼう揺すり，ずき検出を利用する震え）× 長すぎ （例∵太かぶりな動作）「速さ範囲」￣時間範囲」は†あとから，調整3。実験方法（＊） 構と経では，範題のしきい胎は異なる

今回は下記の3種類の，首動作を利用した装置の試作
笠十−∴二2．首動作を利用したソフトウェアの試作て述べたような各種アルゴリズムを用い作成した

このアルゴリズムに関する注意点は，ー22−平成＝年度 研究報告 大分県産業科学技術センタ鰍

この12種類のパラメータは，4．2に述べたように，方1）運動視差に基づく立体図形の表示
2）Yes／No検出

向によって，全部違う値であり，12種類すべてを細かく

3）首動作による文章入力装置（ワープロ）設定することにより，Yes／No がうまく検出できる値の組み合わせを求めた．ただし，そのしきい値を捜す作業はそれほど簡単ではなく，実際の値はCPUスピードな4．結果と考蕪

どに依存するため− 値としては今回紹介していない．

4．1結果

しきい値を捜すためのアルゴリズムを自動化できれば，運動視差に基づく3次元図形の表示に関して詳しくは，昨年，1昨年の研究報告書を参照されたい．簡単な3次

CPUやセンサの特性，センサのノイズ等に依存しない元図形に対し．運動視差を付加した表示を行うことが出システムを組む事が出来る．現状では，CPUやセンサ来た．

が変わる度に．しきい値を手作業で修正する必要がある．

うなずき検出に関しては，1．1で述べたような公開行事でデモを行い，約60人の被験者のほぼ全員に対してヶ4．4 髪型等の影響について満足なYes／Noの検出を行う事が出来た．1名，髪型等

今回はセンサとしてPSDを使用したため，前髪が浮の影響により，どうしてもうまく検出が出来ず会場であき上がっているような髪型の使用者に対して，PSD発やまって引き取ってもらった．

光素子が髪の中に埋没し，うまく判定できないケースが出口のアンケートで49名が最も印象的なブースとしてあった．
そのほか，PSDの検出範囲はある程度限られ，ディこのデモを上げてくれた．

スプレイそのものも死角をつくるため，来場者の身長に首動作ワープロに関しては．上述のように．現在ひらがなのみの短い文章が入力でき，ディスクにセーブできよって椅子の高さを変えるなどの必要があった．
これらの点についても，今後の検討が必要である．

る．

5．まとめ

4．2 うなずき検出の方向について

うなずき検出では，Yes と Noの速度は異なり，また昨年度までに試作した，運動視差による画像の変化を同じYes内でも，上向きと下向きの速度は異なる。（一付加する表示装置の発展形として，首動作を利用したさ般にYesの動きは．No より速い．又，Yesの中では下らに2つの装置を試作した，福祉利用なども含め，首動向きが速く．首を持ち上げる動作は若干遅い．この点を作を利用したインタフェースについて．さらに検討して考慮しない初期の試作は失敗し，首動作を検出することいきたい．

が出来なかった．

参考文献
4．3 うなずき検出のパラメータについて

1）増田千尋： ●3次元ディスプレイ q．産業図書（1990）

うなずき検出のアルゴリズムの中のパラメータは以下

2）平成9年度年次毎告書：いのぞき込み可能な3次元形状表示装置の試作 ，大分県産業科学技術センター（1998）の12種類である．

3）平成iO年度年次報告書： のぞき込み可能な3次元形状ある速さの動作が，ある一定時間連続する 9 なら，表示装置と奥行き感の強調についてい．

フラグを立てるものとして．
L方向二ある速さの値．ある一定時間の値．ディケイ

大分県産業科学技術センター（柑99）

R方向二ある速さの値，ある一定時間の値，ディケイ
U方向：ある速さの低 ある一定時間の低 ディケイ
B方向：ある速さの低 ある一定時間の低 ディケイ
ディケイは，フラグを消すための待ち時間を意味する．
又厳密には，速さと時間は上限，下限の間の範囲であり，それぞれの2つの値を持つ．

また上述のように，これらのフラグについてL，Rのフラグが同時に立てば．No
U．Bのフラグが動じに立てば．Ye sと判断した．

−23−