平成12年度 研究報告 大分県産業科学技術センター

首の動作を利用したユーザインタフェースとその小型化について
阿南正明
機械電子部

StudyonMan−MachineInterfacebasedonHuman．sNeckMovement

andMakingCompactSizeVersion
MasaakiANAN
Mechanics＆ElectronicsDivision

要旨
これまでに首の動作を利用したインタフェースとして，1）運動視差に基づく立体図形の表示 2）うなずき検出 3）首動作による文章入力装置（ワープロ）の3点を試作し，コンピュータ画面の表示がユーザの首の動作に連動して変化するようなエーザインタフニースの試作を行ってきた．
本年度，これらの装置の山部を，実用化のための足がかりとして，市販の小型カメラ（USBカメラ）に移植する作業を行った．USBカメラを使ったものでは，顔の肌色の重心を絶え間なく検出することにより，ユーザの首の位置を判定し，パソコン側に質問に対するユーザの解答を入力することが可能である，
1。はじめに1．1．ユーザに対する機器の装着について

現在は，パソコンヘの情報の入力装置として，キーボ

首動作の利用方法は，大別して，ードとマウスが，一般化している．次世代のインタフェÅ）ヘッドフォンや目がねのようなものを装着してからースとしては，音声入力が有望視されているが，複数の使う。

人が同時にたくさんのパソコンを使うようなケースでB）なにも装着せずに，コンピュータの前に座って使は，干渉（隣の人の声が自分のパソコンにはいってしまう．

う等）があり，また，夜中に使いにくいなどの面があるの2種類がある．

ため，万全とはいえない．

A）のほうが精度にすぐれ，首の3次元的な位置が必サイレントな入力手段にも，電子ペンや，データグロ要な場合も，一般的にはA）の装着型となる。

ーブをはじめ，さまざまなタイプのものが開発されてきB）は，感覚的にはパソコンの椅子に座っただけで，ているが，本研究では，とくにユーザの首の動きに注目ソフトウェアが動かせるという意味ですぐれている。両しぅ 画面上の図形を首動作と連動させて覗き込めるよう手の不自由な人への福祉利用を考える場合もB）がのぞにしたり，画面上の質問に対するユーザの解答を，首のましい．

動きで入力したりする方法について，これまで検討して今回の実験では，A）としてPSDという既存の赤外きた。

線センサと赤外線LEDを用い，B）として，パソコン用

首の動きの利用には，下記のようなメリットがある．の小型カメラ（USB接続のもの）を使用した．

0 うなずく，首を横に振る，覗き込む，画面上の2A）の，そのほかの装置としては，磁気センサの利

つのアイコンのどちらかを見つめる，など，日常用，帽子＋アーム型の検出器を頭にとりつけるもの，な的で，自然なインタフェースを実現しやすい．

どがあり，B）では，棒状の赤外線センサをディスプレ

0 障害者（両手の不自由な人）への福祉機器としてイにとりつける物（一般には1次元検出となる）等が知の応用が可能である．

られている．

0 ものに触れずに，コンピュータに解答を入力する，という面白さ，平易さがある．

2．首動作を利用したソフトウェアの試作

本年度は特に，PSD（PositionSensingDevice）を使っ

P SD版では1）運動視差に基づく立体図形の表示て作成した試作機の一部をパソコン用の，小型カメラ

2）Yes／No検出 3）首動作による文章入力装置（ワー（USB接続）に置き換える作業を中心に行った．

プロ）の3点を，試作した．

USBカメラ版では，画面上の選択肢から，ユーザの首の動作によってコマンド選択するソフトを試作した。

ー1Tl一

平成12年度 研究報告 大分県産業科学技術センタ…
Tablel試作装置について

PSD 使用○運動視差ミこ基づく立体表示
ユーザの首の位置に連動した画像上の運平
成（のぞき込み表示）

USBカメラ 使用

sl＝dFx一（F／tl）（Px sine −Py cosB −dFx）
s2＝dF〉y−（Fノ／tl）（Px cos∂cos￠

十Py sin∂cosd −Pz sin￠ ＋dFy）
ここで，動視差の変化．
（Fig．1，Fig．2）

tl＝（Px cosesin￠ 十Py sin8sln￠＋Pz cos￠）

10， ○うなずき検出装置
四 ユーザの首の運動

年 （うなずく，首を 横（1）に振るなど）を検出

度

ただし，パラメータとしては，下記の変数を用いた．

する装置を試作した．

○首動作ワープロ
上記を用い，首の動作のみで文字を入力する装置を試作し（ひらがなのみ，）：g ＝（Ex，Ey，Ez）

視線の水平角度：8

視線の垂直角度：￠：F

目から画面原点までの垂直なべクトル ：デューザの初期状態における仮想視点と

○平
成
年
度

：斤 ＝（x，yブZ）

目の位置

目と画面との距離た．

12

物体上の任意の点

仮想スクリーンとの垂直距離

置：Fo

画面に対する視点のずれ

画面上の2つのアイコンのうち，どちらかを長く見つめると，入力される．（Fig．4）（画面上の座標で）‥d斤＝（dFx，dFy，0）

2次元画面上の捧画点（求める値）
なお簡単のため，＊PSD：位置検出素子（LEDをヘッドフォンで装着）：（sl，S2）㌘＝庚∵一点とかく．

＊USBカメラ：ハ￠リコンに接続する市販の小型カメラ

2．L PSD版について（2）

PSDの検出した頭部位置（F，dFx，dFy）を（り式に代入

これまでに作製した装置では，ユーザの頭部位置をPSD位置検出装置で検出し，コンピュータ本体にその情し，（Sl，S2）を画面上で線分で結んでいく事により，運動視報を送り，PSDの発光体はヘッドフォンに取り付け，差を含めたワイヤーフレーム画像の表示を行う事が出来ユーザに装着してもらった。コンビュ山夕は受け取った

る．表示は絶え間なく更新し，首動作に合わせて連続的頭部位置の情報に基づき，首の位置，動作を目的に応じに画像を変更する1

ニj、U S Bカメラ根についてて検出し，ソフトウェアから利用する．

広域共同：応用技術開事業として，（株）アウストラー

2．2．運動視差に基づく3次元図面の表示

ダに，任意の色を小型カメラで常時追従するソフトウェ

この装置は，ユーザの首動作から生じる運動視差を，ア開発を依頼した。

すでに画面上に表示されている3次元図形に反映させ委託内容る．

これにより，ユーザは，本来2次元にまで落とされてパソコンに接続できる小型のUSBカメラを用い，指定した色の目標物の位置を常時検出するソフトウェいるはずのワイヤーフレーム画に運動視差分を付加した図形を見ることになり，結果的に画面上の図形の側面やアの開発．結果的に，色のマーカ使用と，顔の肌色を直接検出するものと，両方の使用法が可能であるが，穴をのぞき込むことが出来るようになる．

今回は，顔の肌色を直接検出するものを使用した．

消去法的に言えば，バーチャルリアリティーから，両眼視差の効果を除き，卓上化したものである．

これを受けて画面上の2つのアイコンから首の動作にのぞき込み移動量（以下の式でdダ）を明確にするため，3次元のベクトルを使ってのぞき込み表示のためのよりぅ 長くみつめている方が選択されるようなエーザイ
ンタフエースを試作した．

透視投影の式を求めた．

一18−

平成12年度 研究報告 大分県産業科学技術センター

Table3 検出装置とソフトウェア仕様

3．実験方法首動作を利用したPSD試作装置について，小型カメ

PSD 使用ラによるバージョンの作成を行い，両者を比較した，USBカメラ使用

Yes′¶0 検出

うなずく・首を 分割画面上から2横に振る動作の 択検出（ユーザにとっては，2つのアイコ文字の入力○（可能）

図形ののぞき込みについては，ワイヤーフレームによる実験用の簡易立体図形を作成し，実際に運動視差を変ンからの選択．）化させて覗き込む実験を行った．ユーザからの解答入力
については，簡単なクイズを画面に表示し，答えを選ん

×（不可）（画面上50音表かでもらうような，簡単なアプリケーションをそれぞれ試ら注視）

運動視差と首動 ○運動視差との △左右2択形式
完全な連動が可 で，ソフトウェア作の連動作した．

により，擬似的な．

4．結果と考察

覗き込み表示を作成した

4．1．結果PSD使用：

結果を，Fig．1，Fig．2に示す．

USBカメラ使用：結果を，Fig．3，Fig．4に示す．

な鳩s／Noの検出を行う事が出来た．1名，髪型等の影
響により，どうしてもうまく検出が出来なかった．ヘッ
ドフォンではなくヘアバンド、眼鏡タイプの機器への変Table2 各素子の比較
PSD 使用USBカメラ使用

方法（赤外線LEDの位置をPSDカ メ ラ で追跡．）

更等、今後の検討が必要である．
首動作ワープロに関しては，現在ひらがなのみの短い方法（顔の肌色を通常のカ文章が入力でき，ディスクにセーブできる．

メ ラ画像から追跡．）○精度の高い検出可能．
〇3次元で位置を検出でき

4．2．入力確定のタイミングについて
USBカメラ使用版では，福祉目的の利用が前提であ× ラフな検出のみ

× 一般に2次元の検出り，キーボードや，マウスを一切使わないことを保証し○ ヘット■フォン等，無装着でで，る．

た．このため，リターンキーやクリックを使えないの×LEDをユーザに装着しなければならない

1）問題文などの表示中は，選択肢は表示しない．

使える2）はじめて首を大きく動かした時点で，選択肢を表〇 安価（約1万）×高価（約300万）

示し，6秒見つめつづけたら，確定する．という方法にし，アプリケーションの冒頭にそれらを練＊LED（＝赤外線発光ダイオード）習してもらう箇所をつくった。少し慣れると，首の動作PSDを使用した場合，シビアな頭部位置を3次元で検だけで，選択肢に対する解答を快適に入力していくこと出できるため，これを用いて，立体図形の運動視差と，が可能である．

首の動きを連動させた表示装置などを構成することが出

4．3．使用環境について来る．

USIき版は，通常の光源下，通常の環境で使用できる

US8カメラを使うと，さらに極めて安価で小型の装置が，今のところユーザはアジア人に限定し，また肌色のを試作可能であることがわかったが，検出は2次元とな服や肌色の壁が画面内にないことを，前提としている．

り，又，極めてラフな検出となるため，それに合わせたソフトウェアの変更が一部必要となった．

5．まとめ

安定した検出を行うため，今回は首の可動領域を左右昨年度までに試作した，首動作を利用したインタフに2分割し，2つの要素から選択をおこなう方式をとっェースを小型のUSBカメラに移植し，ソフトウェアに変．

更を加える作業を行った．結果として画面上の2択程度

運動視差に基づく3次元図形の表示に関して詳しくであれば，無装着でキーボードヤマウスに触れずに，充は，昨年，1昨年の研究報告書を参照されたい．2j3）

分、回答の入力が出来ることがわかった．次年度は特

簡単な3次元図形に対し，運動視差を付加した表示をに，実際の福祉目的に使えるようなアプリケーションに行うことが出来た（Fig．1，Fig．2）

ついて，検討をすすめたい．

うなずき検出に関しては，昨年度，所内の公開行事でデモを行い，約60人の被験者のほぼ全員に対して，満足

一19−

平成12年度 研究報告 大分県産業科学技術センター

参考文献
1）増田千尋：‖3次元ディスプレイーー，産業図書（1990）

5）平成11年度年次報告書一骨の動作を利用したユーザイン

タフェース‖，大分県産業科学技術センター（2000）

2）平成10年度年次報告書：−，のぞき込み可能な3次元形状表示装置と奥行き感の強調についで−，（1999）

Fig．1のぞき込み位置による画像の変化（＊）PSD使用。
（＊）首の位置は、3次元で検出。
（＊）PSD用の赤外線LEDをヘッドフォンに取り付けたものを装着し、撮影。

ー20−平成12年度 研究報告 大分県産業科学技術センター

Fig．2 のぞき込み位置による画像の変化と遠近法の強調（＊）横方向は、のぞき込み効果（＊）縦方向1段目：通常表示

2段唱：1／2接写による遠近法強調
3段目：1／4接写による遠近法強調−21−平成12年度 研究報告 大分県産業科学技術センター

Fig．3 USBカメラ（左）と、パソコンへの接続部（右）（「はい」選択画面）（「いいえ」選択画面）

Fig．4 ユーザの首の位置による画面上の選択肢の変化（＊）6秒間、見つめ続けると、入力（＊）初期状態では、質問のみを表示し、はじめて首を動かした時点で、選択肢を表示する−コご・一一