NAIST-IS-MT0951082

修士論文

家電操作のための投影型リモコンシステム

土屋 太二

2011 年 2 月 3 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
土屋 太二

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）

家電操作のための投影型リモコンシステム∗
土屋 太二

内容梗概
家庭内には多種多様な家電機器があり，これらを遠隔操作する手段として，リ
モコンによる操作が現在最も多く利用されている．しかし，従来のリモコンには「どこにあるか分からなくなる」「置き場所に困る」等のユーザの不満が多く存在
する. これらの問題点を解決するには，リモコンのような装置を携帯することなく利用可能な家電操作システムが有効である．本研究では，この要件を満たすと同時に，様々な家電機器の多様な操作に対してユーザが理解しやすく簡単な入力で操作できるシステムの実現を目的とする．
目的を達成するために，パン・チルト・ズーム駆動のプロジェクタカメラユニッ
トを用い，タッチ入力可能な投影型リモコンシステムを提案する．プロジェクタ・
カメラを用いることにより，操作パネルの投影と人物の動作認識が可能となり，ユーザが欲しい時のみに手元に操作パネルが提示されるリモコンシステムが実現できる．またプロジェクタカメラユニットをパン・チルト・ズーム駆動させること
で，室内の複数地点で家電機器の操作が可能になる．提案システム実現における課題としてタッチ動作の検出があるが，本研究では手の陰影を用いた手法とノッ
ク音を用いた手法を併用することで解決する．最後に，実験により構築した提案
システムの有用性を示し，課題および改善方策について考察する．

キーワード
家電機器操作，投影型リモコン，PTZ プロジェクタカメラシステム，タッチ検出，
ユーザインタフェース∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0951082, 2011 年 2 月 3 日.

iProjection-Based Remote Control System
for Home Appliances∗
Taiji Tsuchiya

Abstract
There are various appliances at home. We usually use many remote controllers
to operate them. However, a conventional remote controller has some complaints,
such as ”Sometimes the location of it is lost.” andThe place of it is worried

about. To solve these problems, an operation system of home appliances without
handheld devices such as standard remote controllers is eﬀective. This researchaims at the realization of system that meets the requirement and makes a user
to operate various home appliances easily.
To realize the proposed system above, a projection-based remote control system, which allows a user touch operations, is constructed. The projection based
remote control system uses a pan-tilt-zoom projector-camera unit. This system
can recognize human actions and project an operation panel when a user wants
to operate appliances. In addition, the system allows the user to operate appliances from diﬀerent locations. To detect a user’s touch action, the system uses
a shadow of the user’s hand and a sound of knock. Finally, the usefulness of the
proposed system is demonstrated by experiments and some remaining problems
are then discussed.

Keywords:∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0951082, February 3, 2011.

ii

operation of home appliances, projection-based remote controller, PTZ projectorcamera system, touch detection, user interface

iii

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

5

2.1

操作デバイスを携帯・装着しない家電操作インタフェースの関連研究

5

2.2

本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

3. 投影型リモコンシステムの構築

13

3.1

システムの設計方針および概要 . . . . . . . . . . . . . . . . . . .

13

3.2

システムの処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

15

3.3

人物検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.4

起動動作の検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.5

操作パネルの投影 . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.6

タッチ動作の検出 . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

3.7

家電機器の制御 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4. 評価実験30

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

4.1.1

プロトタイプシステムの構築 . . . . . . . . . . . . . . . .

30

4.1.2

評価実験環境の構築 . . . . . . . . . . . . . . . . . . . . .

34

4.2

実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

4.3

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

4.4

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

4.1

5. おわりに49

5.1

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5.2

今後の課題

49

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

謝辞

51

参考文献

52

iv

付録

55

A. プロトタイプシステムで提示した操作パネル

55

B. 実験結果

60

B.1 各被験者の実験結果 . . . . . . . . . . . . . . . . . . . . . . . . .

60

B.2 被験者の意見 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

B.2.1 操作の簡単さについて . . . . . . . . . . . . . . . . . . . .

63

B.2.2 表示パネルの見やすさについて . . . . . . . . . . . . . . .

63

B.2.3 システムの便利さについて . . . . . . . . . . . . . . . . . .

64

B.2.4 肉体的苦痛の小ささについて . . . . . . . . . . . . . . . .

65

B.2.5 精神的苦痛の小ささについて . . . . . . . . . . . . . . . .

65

B.2.6 提案システムについて，良い点・悪い点について（自由記述） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

B.2.7 提案システムが家庭に導入された場合積極的に使いたいか

67

v

図目次
1

ジェスチャーリモコン [15] . . . . . . . . . . . . . . . . . . . . . .

92

インテリジェントルーム [16] . . . . . . . . . . . . . . . . . . . . .

10

3

CRISTAL[19] . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4提案システムのイメージ . . . . . . . . . . . . . . . . . . . . . . .

14

5

提案システムの処理の流れ . . . . . . . . . . . . . . . . . . . . . .

15

6

人物の検出

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

7

ノック音の検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

8

ユーザに提示する操作パネルの例 . . . . . . . . . . . . . . . . . .

20

9提案システムにおける座標系と操作パネル投影の様子 . . . . . . .

2210

操作パネルの投影 . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

11

手と影の領域の抽出. . . . . . . . . . . . . . . . . . . . . . . . .

26

12

タッチ動作における影の領域の変化 . . . . . . . . . . . . . . . . .

27

13

システム構成図 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

14

マイク KM358 の指向性パターン . . . . . . . . . . . . . . . . . .

32

15

実験機器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

16

構築した評価実験環境の概観. . . . . . . . . . . . . . . . . . . .

3517

家電機器の配置状況. . . . . . . . . . . . . . . . . . . . . . . . .

35

18

テレビ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

19

間接照明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

20

空気清浄機

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

21

ヒーター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

22

CD プレイヤ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

23

実験タスクにおける専用リモコンの配置場所 . . . . . . . . . . . .

42

24

実験タスクにおける操作パネルの投影位置候補 . . . . . . . . . . .

42

25

携帯音楽プレーヤ iPhone4(Apple) . . . . . . . . . . . . . . . . . .

44

26

操作パネル構成図 . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

27

メインメニュー . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

28

照明機器メニュー . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

vi

29

空調機器メニュー . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

30

テレビメニュー . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

31

番組表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

32

曲選択メニュー 1 . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

33

曲選択メニュー 2 . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

34

曲詳細情報

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

1

従来のリモコンと関連研究の比較 . . . . . . . . . . . . . . . . . .

11

2

機器の仕様

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3

専用リモコンの頻度の高い置き場所 . . . . . . . . . . . . . . . . .

41

4

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

5

実験結果

被験者 A〜E . . . . . . . . . . . . . . . . . . . . . . .

61

6

実験結果

被験者 F〜I . . . . . . . . . . . . . . . . . . . . . . . .

61

7

実験結果

被験者 J〜N . . . . . . . . . . . . . . . . . . . . . . . .

62

8

実験結果

被験者 O〜R . . . . . . . . . . . . . . . . . . . . . . .

62

表目次

vii

1. はじめに
近年，情報技術の発展に伴い，様々な機能を持った家電機器が登場し，我々の生活は快適かつ豊かなものになってきている．しかしその一方で，家庭内に様々な機器が増えたことにより，機器ごとに異なった操作を覚える煩わしさを強いてしまうことや，使い慣れない機能を利用する場合に操作手順を間違いやすいことなど，ユーザに負担やストレスを与えるシーンが多くなってきている．今後，ユビキタス技術の進歩に伴い，家庭内のあらゆる機器がネットワーク接続され多機能化することを考えると，このようなシーンはさらに増え，より深刻な問題になることが予想される．このため，ユーザに負担やストレスを与えない家電操作イ
ンタフェースが望まれてきている．
現在利用されている家電機器の操作インタフェースとしては，操作デバイスにユーザが手を触れて操作するタイプのものが一般的である．代表的なものとして各家電機器付属の専用リモコンがある．その他にも，複数機器の操作を学習できる汎用型学習リモコン，ビルトイン型の操作パネル，また携帯電話などが存在する．

• 専用リモコン
個別の家電機器専用のリモコンは，従来の様々な家電に対して最もよく用いられてきたインタフェースである．機器に備わった機能のほぼ全てを利用できる．しかし問題点としては，ラベルの文字が小さく視認しにくいことや，操作対象によってはボタンの数が増えることにより，ボタンの配置
や対応する操作を記憶することが多くなることでユーザの混乱を招きやすい．また機器ごとに専用リモコンが必要となるため，機器の数が増えるとリモコンの数も増えてしまう．テレビのリモコンに関する意識調査 [1] によると，既存の専用リモコンに関連する困った経験を聞いたところ，「紛失」が56 ％，デジタル機器の導入に伴ってリモコンが増える「置き場所への困惑」
が 53.7 ％と過半数を占めており，「機能が多すぎる（23 ％）」「ボタンの数が多い（18.1 ％）」と続いた．また “リモコンの居場所に関する意識調査” [2]によると，専用リモコンを紛失した経験のあるユーザのうちのおよそ 4 割

1

半のユーザが「月に一度以上の頻度でリモコンが行方不明になる」という結果が明らかになっている．

• 汎用型学習リモコン専用リモコンでは機器ごとにリモコンが必要になることに対して，汎用型
学習リモコンは専用リモコンが出力する信号を学習してボタンに割り当てることで，1 台で専用リモコンの代替とすることができる．使用するリモコンの数が減らせるという利点がある一方，ボタンの配置や対応する操作をユーザが全て把握しておく必要があり，学習した信号の数によっては「一つの機能に対して複数のボタンを押す」といったような複雑な操作手順が要求されるため，専用リモコン以上にユーザに混乱を招きやすい．

• ビルトイン型リモコン
ビルトイン型リモコンは主に照明や浴室制御，エアコンなどに用いられている．壁面に固定されているため，専用リモコンのように紛失するおそれが無く，液晶表示との併用により操作が理解しやすいという利点があるが，操作のためにビルトイン型リモコンの設置された位置までユーザが移動しなければならないといった問題点がある．

• 携帯電話
携帯電話は主に家庭外から利用するような遠隔サービスを利用する際に用いられる．現在普及している携帯電話の多くはインターネットに接続する機能を持っており，ブラウザや独自アプリなどを利用して家庭の機器の状
態確認や制御をするインタフェースが提供されている [3–5]．家庭内で用いた場合，汎用型学習リモコンと同様に使用するリモコンの数を減らせる利点がある．しかし問題点として，専用リモコンと比べて操作時に毎回アプ
リやブラウザを立ち上げる必要があり操作が煩雑になることや，携帯電話そのものに対しても「機能が多すぎる [6]」といったユーザの不満が多く存在するため，家電操作機能を新たに付加させることでより一層ユーザに混乱を与えてしまう可能性がある．
このように従来の家電操作インタフェースの問題として，「物理的な操作デバ

2

イスの置き場所に関する問題」と「操作時の混乱の招きやすさに関する問題」に大別される．前者については，本質的にユーザは自分の好きな位置から家電機器を操作したいと考え，また自分の居る位置から遠い位置にある操作デバイスを操作することを億劫に感じる．その結果，操作デバイスを自分の好き勝手な位置に放置しがちになり，紛失などの問題が発生すると考えられる．特に家庭内においては複数人で家電機器を利用する場合が多いことを考慮すると，このような現象はより顕著に現れると推測される．また後者については，専用リモコンのような小さなデバイスに多くの機能に対応するボタンを配置していることにより，発生している問題である．この問題を回避するためには操作メニューを階層化し限られたボタンのみを提示する方法が考えられるが，小さなデバイスでは一度に配置できるボタン数が少なくなり階層が多くなることで複雑な操作が必要になり，やはりユーザの混乱を招いてしまう．ここで新たに家電操作のために大きいデバイ
スを用いることが考えられるが，前者の問題であるようにユーザの好きな位置に持ち運ぶことがより億劫になってしまうため，新たな不満やストレスになりかねない．
これらの問題は総じて物理的な操作デバイスを用いることにより起因する部分が大きい．このことを解決するためには，従来のリモコンのような操作デバイス
を用いずにユーザが家電機器を操作できる操作システムが有効であると考えれられる．近年では装置の小型化・高性能化に伴いウェアラブルコンピュータ [7] と提唱される分野の研究が盛んに行われているが，ウェアラブルデバイスをユーザの身体に装着することは拘束感を与えてしまうため，ユーザの負担となる．特に家庭内における人の行動を考えると，アクセサリや腕時計などの拘束感の強い装着物は外すことが多く，リラックスできる状態で過ごす人が多い．このことから家電機器の操作時にウェアラブルデバイスの装着を強いることはユーザのストレスになりやすいと予想される．
そこで本研究では，ユーザが使いたいときのみに手元に大きく提示される投影型リモコンシステムの構築を目的とする．システム実現にあたり，パン・チルト・
ズーム駆動可能なプロジェクタカメラユニットを用いる．カメラによって室内に存在するユーザの入力動作の認識を行い，プロジェクタによってコントロールパ3

ネルの提示を行う．さらにユニットをパン・チルト・ズーム駆動させることにより，ユーザの居る場所に操作パネルを投影することによって，ユーザは操作デバ
イスを携帯・装着することなく，部屋の様々な場所から家電機器の操作が可能になる．
以降，2 章では操作デバイスを携帯・装着せずに利用できる家電操作インタフェー
スの関連研究を概観し，本研究の位置付けを示す．3 章では，本研究で提案する投影型リモコンシステムについて説明し，4 章では，構築したプロトタイプシス
テムの評価結果について述べ，考察する．最後に，5 章において本論文のまとめと今後の課題について述べる．

4

2. 関連研究と本研究の位置づけ
本章では，関連研究と本研究の位置づけについて述べる．2.1 節では操作デバ
イスを携帯・装着しない家電操作インタフェースに関連する研究の特徴をまとめ，比較する．2.2 節において本研究の位置付けと方針について述べる．

2.1 操作デバイスを携帯・装着しない家電操作インタフェースの関連研究
家電操作インタフェースにおいて物理的な操作デバイスを用いることはユーザの不満やストレスを与える要因となる．このために操作デバイスを携帯や装着の必要がない家電操作インタフェースが望まれ，研究が進められている．本節では操作デバイスを携帯・装着せずに利用可能な家電操作インタフェースとして，視線入力・音声入力・ジェスチャ入力・タッチテーブル入力を用いた研究について述べる．

• 視線入力カメラや EOG（Electro oculogram）センサなどの装置を用いて人物の目の動きを捉えることによって視線方向の推定を行い，コンピュータへコマン
ドを入力する視線入力の研究が盛んに行われている．装置を装着せずに視線入力できる家電操作インタフェースの研究 [8–10] では，テレビ付近に設置したカメラを用いて視線方向を推定し，テレビ画面に提示されたアイコンをユーザが数秒注視することでテレビ機能の操作を行うシステムを提案している．視線入力を利用した家電操作インタフェースの特徴としては，眼球や瞼以外の運動を必要としないためユーザに与える肉体的な負担は軽く，また運動機能に障害を持つユーザも利用可能である．しかし眼球運動を認識する上で，瞬間的な眼球運動（サッカード）を操作コマンドとして誤認識しないように，数秒程度の判定時間を設ける必要があり，家電操作イン
タフェースとしての即応性に欠ける．さらに現状のシステムは，「眼球を計測可能な位置までシステムに近づく必要がある」「操作中は頭を大きく動か

5してはいけない」という制約がある．これらの問題は，専用リモコンを使い慣れたユーザにとっては大きなストレスを与える要因になる．
く動かさずにカメラ付近を注視し続ける必要があり，このことがユーザの身体の自由を奪いかねない．

• 音声入力音声入力では，音声認識エンジン [11, 12] を利用して人物の発話内容を認識し，その結果に応じてシステムの入力を行う．音声入力を用いた家電操作
インタフェースの研究 [13–15] として，内田ら [13] らは自然な発話による対話型の家電操作システムを提案している．例えば「エアコンの設定温度は，今何度.」とユーザが発話すると，システムは「18 度に設定されています．
」と返答する．同様に「もっと暖かくして」というユーザからの発話が行われると，システムは「20 度に設定しました．
」と返答すると同時に，エアコ
ンの温度設定を変更する，といった流れで操作が行われる．音声入力を用いた家電操作インタフェースの利点としては，ユーザが発話することができ，かつその音声をマイクが収録することさえできれば，ユーザがどこの位置に居ても，どのような体勢であっても入力が可能なことである．しかし現状の音声認識エンジンには誤認識率の問題がある．音声入力は，音声認識エンジンの精度やユーザの発話環境の影響により，従来のリモコン操作と比べると操作コマンドを正しく認識する確率が低い（例えば，「電源」な
どの簡単な発話でテレビを操作するシステム [14] の場合，音声認識精度は88.3%であった)．実生活環境では家電機器の振る舞いがユーザの日常生活と密に関係するため，このような誤認識によって家電機器がユーザの意図しない動作を行うことが，ユーザの危険やストレスを招く要因となる．この問題に対して近年では，家電機器の誤動作を軽減するために榊原らの手
法 [15] のように，正しく認識できなかった場合でもシステムが家電機器の内部情報を元に「カーテンを閉めますか？」といった，ユーザが「はい」「いいえ」で答えられるような質問で聞き返すことで，音声認識エンジンの性能に依存されにくいシステムが提案されている．この手法を用いることで家電機器の意図しない動作を減らすことができるが，ユーザとシステムの6

やりとりの回数が増え，操作に時間がかかってしまう問題もある．また音
声入力を用いた家電操作インタフェースは認識精度の問題に加えて，ユー
ザが操作コマンド一覧を眺めながら操作することができないため，操作コ
マンドを事前に把握しておく必要がある．家電機器の種類や機能の数が多くなった場合，操作コマンドも多くなることでユーザに混乱を与える可能性がある．

• ジェスチャ入力
ジェスチャ入力では，人物の身体の動きを操作コマンドとしてカメラやセンサで認識し，システムの入力を行う．ジェスチャ入力を家電操作インタ
フェースとして利用した研究として，ジェスチャーリモコンシステム [16]では，ユーザは図 1(a) のように距離センサが内蔵されたテレビの前に立ち，
図 1(b) のように手を動かすことでテレビのチャンネルやボリュームの変更などの操作を実現している．このシステムでは，ユーザが家電機器を直感的に操作できる利点があるが，距離センサで計測できる位置までユーザが移動する必要がある．ユーザがセンサの計測可能位置まで移動せずに利用できるジェスチャ操作インタフェースとして，若村らが提案するインテリ
ジェントルーム [17] がある．このシステムでは図 2(a) で示すように室内に複数台設置されたパン・チルト・ズーム駆動可能なカメラを用いることで部屋の中に存在するユーザの特定と指差し動作や図 2(b) で示すような動作の認識を行うことによって家電機器の操作を実現している．ジェスチャ操作インタフェースの特徴として，身振り手振りといった，人間が日常的に行う動作を操作コマンドとして用いる場合が多く，ユーザにとって操作内容から操作コマンドを連想しやすいという利点がある．しかし，問題点としてユーザは事前に全てのコマンドを覚えておく必要があることが挙げられる．家電機器の種類や機能の数が多くなると，覚えるべきジェスチャが増えるため，操作コマンドを連想しやすいとはいえ，ユーザの負担が大きくなってしまう．また，操作を意図しないユーザの動きを操作コマンドとして誤認識しないようにするため，大きな動きを操作コマンドとして登録するシステムが多いが，その場合だと操作コマンドの使用が複数回に渡る

7

とユーザに大きな肉体的な疲労を与えてしまう．

• タッチテーブル入力
近年，従来のテーブルに映像提示機能とタッチ入力機能を搭載したタッチ
テーブル [18, 19] の登場により，家庭やオフィスなどの空間で利用できるイ
ンタラクティブな情報システムに注目が集まっている．タッチテーブルを用いた家電操作インタフェースの研究として，Seifried らが提案するシステ
ム CRISTAL [20] では，部屋の天井に設置した広角カメラからの映像を図 3のようにユーザに提示する．そしてユーザは操作したい家電機器の映像部
分をタッチすることによって操作パネルが映像中に現れ，それをさらにタッチすることで家電機器を操作することができる．ユーザは一目で操作したい家電機器とその操作内容を理解することができ，またタッチという従来のリモコンに近い操作方法での入力が可能である．タッチテーブルを用いた家電操作インタフェースの利点として，映像に触れるだけで操作できるという単純な操作性と，大画面での映像提示により，操作時におけるユー
ザの混乱を招きにくい操作インタフェースが実現できる．ただし問題点として，ユーザが操作したいときは必ずタッチテーブルまで移動する必要があることや，従来のテーブルと比較して「耐久性が低い」「テーブル面に傷を付けると誤作動を引き起こす」「熱い物を置けない」などの制約が存在するため，テーブルとしての機能性が低いことが挙げられる．
従来の専用リモコンと以上の入力方法を用いた家電操作インタフェースの研究の特徴を表 1 にまとめる．ここでは比較するための判断基準として，ユーザにス
トレスを与える要因として考えられる「操作可能位置」「操作時間」「肉体的な疲労」を挙げ，それぞれの項目に対して，ユーザに与えるストレスが小さい（○），
大きい（×），場合によっては大きい（△）の三段階で評価した．またこれらの項目には当てはまらないがユーザのストレスに関連する特徴については備考に記述した．

8

(a) 操作の様子(b) 操作コマンドの例

図 1 ジェスチャーリモコン [15]9(a) システム概観(b) 操作コマンドの例

図 2 インテリジェントルーム [16]図 3 CRISTAL[19]10表 1 従来のリモコンと関連研究の比較操作可能位置

操作時間

肉体的疲労

専用

○

○

○

リモコン

赤外線が届く

短時間で

疲労を

範囲

操作可能

伴わない

備考
・機器数に伴い
リモコンが増加・視認性が低い・紛失しやすい

視線入力

×

×

○

カメラで眼球を

注視判定に

疲労を

大きく動かしては計測可能な位置

時間が必要

伴わない

いけない

○

△

○

音声が収録

認識失敗時に疲労を可能な範囲

やりとりが必要

伴わない

ジェスチャ

○

○

×

入力

カメラやセンサで

短時間で

ジェスチャが計測可能な範囲

操作可能

疲労を伴う

タッチ

×

○

○

・大画面で表示可能

テーブル

タッチテーブル

短時間で疲労を・テーブルとしての

入力

の設置位置

操作可能

伴わない

機能性が低い音声入力

11

・操作中は頭を・操作コマンドを把握する必要あり

・操作コマンドを把握する必要あり

2.2 本研究の位置づけ
表 1 で挙げるようにどの入力方法も一長一短であるが，タッチテーブル入力を用いた家電操作インタフェースについて注目すると，大画面で映像を提示することにより表示性が高く，タッチという単純な動作で入力できるために，従来のリモコンやコンピュータに不慣れなユーザであっても利用しやすいものである．このインタフェースの操作位置の問題を除くと，ユーザに与える負担やストレスを小さくできることから，多機能化しつつある家電機器を一括的に操作するインタ
フェースとして適した入力方法であると言える．
そこで本研究では，操作デバイスの携帯・装着を必要とせずに，様々な家電機器に対してユーザが理解しやすく簡単な入力方法で操作できる家電操作システムの実現を目的とする．この目的を達成するために，パンチルトズーム駆動可能なプロジェクタカメラユニットを用いた，タッチ入力可能な投影型リモコンシステ
ムを提案する．プロジェクタ・カメラを用いることにより，操作パネルの投影と人物の動作認識が可能となり，ユーザが欲しい時のみに手元に大きな操作パネル
映像を提示することが可能になる．またプロジェクタカメラユニットをパン・チ
ルト・ズーム駆動させることによって，室内の様々な場所に操作パネルを投影することができる．このことによって，タッチテーブルの問題であった操作場所が限られる問題が解決でき，また同時に通常のテーブルに比べて，テーブルとしての機能性が低いタッチテーブルを室内に設置せずとも利用できるため，ユーザに負担やストレスを与えにくい家電操作システムを実現することが可能になる．

12

3. 投影型リモコンシステムの構築
3.1 システムの設計方針および概要
本節では，提案する投影型リモコンシステムの設計方針と概要について述べる．
提案システムの設計方針として「操作デバイスの携帯・装着が不要」かつ「ユーザが理解しやすく簡単な入力方法で操作できる」という要件を満たす家電操作シス
テムの構築を目指す．複数の家電機器が設置されているリビングルームを想定し，室内にいるユーザがリモコンを探すような行動は取らずに，ユーザの居る場所か
ら全ての家電機器を操作できるようにする．さらに，ユーザ付近のテーブルなどに大画面映像で家電操作パネルが提示され，それを直接タッチすることによって家電機器を操作できるようにする．このことにより，ユーザにとって理解しやす
くストレスの少ない家電操作インタフェースを実現することができる．これらのことを，提案システムでは図 4 のようにリビングルームを想定した部屋の天井に
パン・チルト・ズーム駆動が可能なプロジェクタカメラユニットを設置することで実現する．プロジェクタを用いることによって，リビングルーム内に存在するテーブルや壁などの平面がある場所に操作パネルを投影することが可能になる．
またカメラを用いることによって室内に居る人物の動きを認識することで，ユーザに操作デバイスの携帯や装着を強いることなくタッチ入力動作を判定することが可能になる．さらにプロジェクタとカメラを設置したユニットをパン・チルト・
ズーム駆動させることによって，リビング内の複数位置から利用可能な家電操作システムを実現することができる．
以降，3.2 節では提案システムの処理の流れについて述べ，3.3 節では室内に存在する人物の検出方法，3.4 節では起動動作の検出方法，3.5 節では操作パネルの投影方法，3.6 節ではタッチ動作の検出方法，3.7 節では家電機器の制御方法について述べる．

13

プロジェクタカメラ
ユニット

図 4 提案システムのイメージ

14

3.2 システムの処理の流れ
本節では，提案する投影型リモコンシステムの処理の流れについて述べる．処理の流れを図 5 に示す．人物検出ステップでは，カメラを広角モードにすることで広域な情報を取得し，リビング内に存在する人物の検出と位置推定を行う．起動
動作認識ステップでは，ユーザの起動動作を検出し，システムの起動を行う．操作パネル投影ステップでは，ユーザ付近に存在するテーブルなどの平面領域に対して，操作パネルをプロジェクタで投影する．入力動作認識ステップでは，ユー
ザのタッチ動作検出を行い，操作パネル上におけるタッチされた位置を推定する．
このとき，カメラを望遠モードに切り替え，パンチルトユニットを操作して，ユー
ザの手元周辺の詳細な映像を取得する．家電制御ステップでは，入力された情報から，ネットワークまたは赤外線通信を通じて家電機器の制御を行う．制御後は操作終了判定ステップに移り，ユーザが終了ボタンをタッチするか，または数分程度の入力動作認識を行い，ユーザからの入力が検出されなかった場合は操作終了とみなして，人物検出ステップに戻る．このような一連の流れによって提案シ
ステムは動作する．

人物検出
起動動作認識操作パネル投影
入力動作認識家電制御
操作終了判定図 5 提案システムの処理の流れ

15

3.3 人物検出
提案システムでは，操作パネルをユーザの手元に投影するために，室内に存在する人物の検出と位置推定を行う．実現手段として，カメラを用いて事前に取得しておいた背景画像と観測画像を比較することで動物体の抽出を行う背景差分を用いる方法や，サーモグラフィを用いて高い熱分布を持った物体を検出する方法，
また距離センサを用いて動物体の検出を行う方法などが考えられる．
本研究で構築したプロトタイプシステムでは，図 6 で示すように広角モードに設定したカメラによって，室内に存在する人物の位置を取得し，人物のうちの一人がシステム起動動作を行った場合，その人物の手元付近に操作パネルの提示を行うものとする．問題の簡単化のために部屋に存在する人物は一人であることを仮定する．具体的な処理として，図 6(a) で示すように部屋に人物が存在していない状態の全景映像を背景として事前に取得しておく．次に，人物が室内に存在す
る場合，図 6(b) のような入力画像がカメラから得られる．これら二枚の画像の差分をとることによって図 6(c) のような動物体領域のみを抽出した画像を生成する
ことができる．最後にこの動物体抽出画像を用いて動物体領域の重心位置を算出することで，これをユーザの存在している位置とする．重心位置の算出方法を式(1),(2) に示す．ここでは，動物体領域の重心の位置を G = [xG , yG ]T とした．
∑ ∑
∑ ∑
x
y yf (x, y)xy xf (x, y), ∑ ∑)[xG , yG ] = ( ∑ ∑xy f (x, y)xy f (x, y)

(1)

ただし，

{
f (x, y) =1;（抽出された動物体の領域）
0;（それ以外）

16(2)

(a) 背景画像(b) 入力画像(c) 動物体抽出画像

図 6 人物の検出17

3.4 起動動作の検出
提案システムでは，ユーザが必要とする時にのみ操作パネルを提示するという要件を満たすために，ユーザのシステム起動動作を認識する必要がある．音声入力を用いた手法 [15] であれば「テレビ オン」といったように単語を発話することをシステム起動のトリガーとしている．またジェスチャを用いた手法 [17] では
指差しなどのジェスチャをシステム起動のトリガーとしている．その他にも，カメラによってユーザの眼球運動を認識し，家電機器が注視されることでシステムが起動するものや，距離センサに対して手をかざすなどの行動をとることで起動するものなど，様々な方法がシステム起動のトリガーとして考えられる．
構築したプロトタイプシステムでは，室内に存在するユーザが手軽に行える動作として，テーブルを「コン，コン」と 2 回ノックすることをシステム起動のトリガーとする．具体的な処理としては，室内に人物が存在している場合，プロジェ
クタカメラユニットに取り付けたマイクによってノック音を検出し，操作パネルの投影を行う．ここではノック音の検出方法として音の大きさに注目し，図 7 で示すように決められた時間内に閾値を超えるインパルス音を 2 回検出することでpower

ユーザの起動動作の判定を行った．

thresholdTime
図 7 ノック音の検出

18

3.5 操作パネルの投影
ユーザに提示する操作パネルの設計について，家庭内の家電機器は頻繁に新しい製品に入れ替わることを考えると，家電機器の入れ替わりに応じて操作パネルのデザインも変更する必要がある．そこで提案システムでは，家電機器メーカから提供された製品情報（操作内容の情報や画像による機器概観情報等）をイン
ストールすることで，動的に操作パネルのデザインや操作対象機器を変更できるものを想定する．ここで，操作パネルにおけるボタン配置等の操作インタフェースの設計については，提案システム開発者がある程度のデザインテンプレートを用意した上で，各家電メーカの競争を促すために，家電メーカ独自の操作インタ
フェース設計ができる余地を残しておく．また同時に，ユーザによっても好みのボタン配置等の簡易的なカスタマイズができるようにしておくことにより，様々なニーズに対応できるシステムになりえると考える．また将来的に家電機器の製品情報を自動で読み取れる規格が実現されれば，システムが製品情報を自動的に取得した上で操作パネルに反映させることも可能になると予想される．これらのことを実現するために提案システムでは，第三者がインタフェースの設計を行い易いように，操作パネルを一般的な記述言語である html や xml などで記述することを想定する．
プロトタイプシステムで設計した操作パネルの例を図 8 に示す．従来のリモコンとは異なり，ユーザに大画面で操作パネルを提示できる利点を活かして，図 8(a)のように操作ボタンの配置に加えて，操作対象を把握しやいように家電機器の概観画像を配置した．また図 8(b) のように操作内容やコンテンツ情報を提示することにより，単なる操作デバイスだけではなく，新しい情報提示ツールとしての利用の可能性を考慮して設計を行った．すべての操作パネルの構成を付録 A に示す．

19

(a) 空調機器の操作パネル(b) CD プレイヤーの操作パネル

図 8 ユーザに提示する操作パネルの例

20

提案システムでは操作パネルをユーザの手元に投影するにあたり，起動動作を行ったユーザの位置情報と室内に存在する平面領域の位置情報から投影位置を決定し，操作パネルを提示する．3.3 節で求められたユーザの位置から最も近い平面領域を操作パネル投影位置として決定し，投影を行う．
プロトタイプシステムでは操作パネル投影において，問題の簡単化のために，室内の平面領域が既知であり，また事前にいくつかの投影候補位置が求まっているものとして構築を行った．複数の投影候補位置のうち，ユーザの位置から最も近い位置を操作パネル投影位置とする．そして投影位置に応じて操作パネル画像
を図 10(a) のように幾何変換処理させることで，図 10(b) のようにユーザに適切な位置関係で操作パネルを提示することができる．ここでは，見やすさのために

A3 の大きさ（420mm × 297mm）でユーザの手元に操作パネルが提示されるように，幾何変換処理を行った．具体的な処理としては，プロジェクタ画像平面と投影面の間における射影変換行列 Hp を算出し，操作パネル画像の幾何変換処理を行う．プロジェクタ画像上の同次座標 (Xp , Yp , 1)T と投影された平面上の同次座標(X, Y, 1)T の変換は式 (3) のように表される．提案システムにおけるプロジェクタ
座標系と投影面の座標系の関係を図 9 に示す．ここでは，投影候補位置に A3 横向きの大きさのボードを置き，プロジェクタ画像平面の座標系におけるボード上の四隅の点を，マウスポインタを投影することで手動で取得し，ボードの四隅の点におけるプロジェクタ画像上の座標と投影された平面上の座標を式 (3) に代入し，Hp を事前に算出しておく．そしてユーザに操作パネルを提示する際に Hp を用いて操作パネル画像の幾何変換処理を行う．このとき，画像処理・コンピュータ
ビジョン用ライブラリ OpenCV [21] で用意されている FindHomography 関数とWarpPerspective 関数を用いて，Hp の算出と画像の射影変換処理を行った．これにより，プロジェクタカメラユニットのキャリブレーションを行わずに操作パネルの幾何変換が行える．この Hp の算出を全ての投影候補位置それぞれで行う．

 
 
Xp
X
 
 
 Y  = Hp  Yp 
 
 
1
1

21

(3)

Xp

Xc

Yp

プロジェクタカメラ

Yc

プロジェクタ画像

カメラ画像

変換行列 Hp

変換行列 Hc
X

Y
投影平面
図 9 提案システムにおける座標系と操作パネル投影の様子

22

(a) 幾何変換処理後の操作パネル画像(b) ユーザへの提示

図 10 操作パネルの投影

23

3.6 タッチ動作の検出
提案システムでは，ユーザに操作デバイスを携帯・装着させることなく操作パ
ネルにタッチ入力ができるシステムを実現する．実現するための手法として，赤外線光源と赤外線パスカメラを用いることで手の影領域の検出を行う手法 [22] や，
指先を硬物体に押し当てた際に指先の色が変化する性質を利用した手法 [23] の研究が報告されている．その他にも，ノックによるタッチ操作を採用し，マイクによってノック時に発生するインパルス音を検出することでタッチのタイミングを検出することが可能であり，指先が映った映像と組み合わせることでタッチ動作とタッチ位置を検出する方法が考えられる．
構築したプロトタイプシステムでは，タッチ動作の検出は投影された操作パネ
ルにユーザが手を触れた際に行う．操作パネルを投影しているプロジェクタ光を手で遮ると図 11(b) のようにはっきりとした影が現れることを利用して，影の形状の変化を画像解析することでユーザのタッチ動作の検出する．具体的には，ユーザが操作パネルをタッチしている場合とそうでない場合で図 12 のように影領域が変化する．この変化を検出するために，手領域と影領域の情報を用いることで，ユーザの手がタッチしているか否かの判定を行う．処理は以下の流れで行う．

1. 事前に図 11(a) ように操作パネルが投影された状態の映像を背景画像として取得する．

2. 図 11(b) のようにユーザの手などの物体が映りこんだ入力画像が得られた
とき，背景画像との差分を求めることで図 11(c) のような動物体領域を抽出する．

3. 色情報を用いて，動物体領域を図 11(d)，図 11(e) のように手領域と影領域に分割する．

4. 手領域から画像上の指の幅を以下の処理により計測する．
(a) 画像の四辺上の動物体領域が最も長く存在する一辺を算出し，ユーザの手の侵入方向とする．

24

(b) ユーザの手の侵入方向と最も離れた動物体領域中の点を指先位置とする．

(c) 指先位置からユーザの手の進入方向に一定距離離れ，手の進入方向に対し垂直な線上で手領域の画素数を計測し，それを指の幅 Wf とする．

5. 4(c) と同じ線上で影領域の画素数を計測し，それを指の影の幅 Ws とする．
6. 以下の条件を満たす場合，タッチ状態であると判定する．タッチ状態である場合，指先位置をタッチ位置とする．

th1 ≤ Wf ≤ th2(4)

Ws ≤ th3(5)

th1，th2，th3 は閾値．
構築したプロトタイプシステムでは影領域が抽出しにくいシーンであっても頑強なタッチ動作検出を実現するために，影の形状の変化を検出する手法だけではなく，マイクを用いてノックによるタッチ時のタイミングを検出する方法も併用する．具体的には，影の形状の変化を検出する手法によってタッチ状態と判定された場合でも，ノックによるインパルス音が検出されなければタッチ状態ではな
いと判定する．このことによって，影領域の抽出が正しく抽出できずに誤検出される場合でも正しいタッチ動作のタイミングを検出することが可能になる．ノッ
クによるインパルス音の検出には音の大きさを利用し，決められた時間内に閾値を超えるインパルス音を 1 回検出することでタッチ動作のタイミングを検出した．

25

(a) 背景画像(b) 入力画像(c) 動物体画像(d) 手領域画像(e) 影領域画像

図 11 手と影の領域の抽出

26

(a) 非タッチ時における影領域(b) タッチ時における影領域

図 12 タッチ動作における影の領域の変化

27ここで，カメラ画像平面におけるタッチ位置を操作パネル上の位置に対応させるために，カメラ画像平面と投影面の間における射影変換行列を算出し，タッチ
位置の変換処理を行った．具体的な処理としては，図 9 に示すようにカメラ画像
平面と投影面の間における射影変換行列 Hc を算出し，タッチ位置の幾何変換処理を行う．カメラ画像上の同次座標 (Xc , Yc , 1)T と投影された平面上の同次座標(X, Y, 1)T の変換は式 (6) のように表される．提案システムにおけるカメラ座標系と投影面の座標系の関係を図 9 に示す．ここでは 3.5 節と同様に，投影候補位置に A3 横向きの大きさのボードを置き，カメラで撮影した画像からボード上の四隅の点を手動で取得し，ボードの四隅の点におけるカメラ画像上の座標と投影された平面上の座標を式 (6) に代入し，Hc を事前に算出しておく．そしてタッチ動作が検出される度に Hc を用いて，カメラ画像平面におけるタッチ位置を操作パ
ネル上の位置に対応させる．これにより，プロジェクタカメラユニットのキャリ
ブレーションを行わずにタッチ位置の幾何変換が可能になる．この Hc の算出を
全ての投影候補位置それぞれで行う．

 
 
X
Xc
 
 
 Y  = Hc  Yc 
 
 
1
1

28

(6)

3.7 家電機器の制御
家電機器を制御する手段として，従来のリモコンなどに利用されている赤外線通信を用いる方法の他に，UPnP [24] や DLNA [25]，OSGi [26]，ECHONET [27]など，ネットワーク接続可能な家電機器に対してネットワーク経由で機器の制御やデータのやりとりができる枠組みが整備されつつある．これらの技術を利用することで提案システムから様々な家電機器を制御することが可能となる．
本研究で構築したプロトタイプシステムでは，現状の家電機器において最も多く搭載されている赤外線通信機能を利用することで家電機器の制御を行う．ここでは，事前に各家電機器を制御する赤外線信号のパターンを記憶しておき，複数機器の一括制御が可能な学習リモコン装置を用いて，家電機器の制御を行う．

29

4. 評価実験
提案システムの有用性についての評価を行うため，プロトタイプシステムを構築し，被験者実験を行った．実験環境については 4.1 節で述べ，4.2 節では実験方法について，4.3 節では実験結果について，4.4 節では考察を述べる．

4.1 実験環境
4.1.1 プロトタイプシステムの構築構築したプロトタイプシステムの構成図を図 13 に示し，機器の仕様を表 2 に示す．
プロジェクタカメラユニット
カメラ

計算機

プロジェクタ

スピーカ

赤外線送信
ユニット

家電機器

家電機器

マイク
パンチルト
ユニット

図 13 システム構成図30

表 2 機器の仕様
機器の種類

名称

仕様

計算機

自作

CPU:Core i7 3.07GHz
メモリ:2.99GB

カメラ

VB-C50FSi(Canon)

解像度:640×480
フレームレート：30fps
光学ズーム:26 倍
水平画角:1.7 °〜42.0 °
重量:0.53kg

コンバージョンレンズ

HD-3035PRO(raynox)

レンズ倍率:対角 0.3 倍
水平 0.42 倍
重量:0.14kg

プロジェクタView Light NP64J(NEC)

解像度:1024×768
明るさ:3000 ルーメン
水平画角:1.7 °〜42.0 °
重量:1.7kg

パンチルトユニット

PTU-46D-70(Directed Perception)

最大搭載重量:4.08kg
動作範囲:

Tilt -47 °〜+31 °Pan +/-159 °
重量:1.37kg
マイク

KM358

感度:60dB
周波数範囲:50hz〜10khz

S/N 比:40dB
重量:0.16kg
指向性のパターン:図 14 参照

PC 制御用学習リモコン

PC-OP-RS1(BUFFALO)

出力ポート数:4

スピーカ

MS-77WH(ELECOM)

周波数帯域:200hz〜18khz

31図 14 マイク KM358 の指向性パターン
プロトタイプシステムでは図 15(a) に示すプロジェクタカメラユニットを構築
し，利用している．ここでは PC 制御可能なパンチルトユニットにプロジェクタとカメラを取り付けることで実験環境中における複数地点におけるプロジェクタ
投影とカメラによる映像取得を実現している．プロジェクタとカメラ間の距離を50cm 離して設置し，タッチ検出ステップにおいて影領域を大きく抽出できるよ
うにしている．カメラは実験環境中の広域映像と人物の手元の詳細映像を取得するために光学ズーム機能のあるカメラを用いる．ここで人物検出ステップにおいて，より広範囲の映像を取得するためにワイドコンバージョンレンズをカメラに取り付けることで最大広角モードの画角を広げている．またタッチ検出ステップ
において望遠モードに設定する際に，人物の手元の映像をより高解像度で取得するために，カメラとプロジェクタの向きを平行の状態から 10 度内側に傾けて設置した．3.4，3.6 節で述べたように音を利用するために，プロジェクタカメラユ
ニットに指向性の高いマイクも取り付けている．また，実験にあたり家電機器を制御するために図 15(b) に示す PC からの制御が可能な学習リモコン装置を赤外
線送信ユニットとして用い，さらに被験者にタッチ時の音によるフィードバックを与えるためにスピーカも用いる．

32

プロジェクタ
View Light NP64J(NEC)

マイク
KM358

解像度：1024 ｘ 768
明るさ：3000ルーメン
重量：1.7kg

感度：60dB
周波数範囲：50hz~10khz
S/N比：40dB
重量：0.16kg

カメラ
VB-C50FSi(Canon)

コンバージョンレンズ
HD-3035PRO(raynox)

解像度：640 x 480
フレームレート：30fps
光学ズーム：26倍
水平画角：1.7 ° ~42.0 °
重量：0.53kg

レンズ倍率： 対角0.3倍
水平0.42倍
重量：0.14kg(a) プロジェクタカメラユニット(b) PC 制御用学習リモコン PCOP-RS1(BUFFALO)

図 15 実験機器

33

パンチルトユニット
PTU-46D-70(Directed Perception)

最大搭載重量：4.08kg
動作範囲： Tilt：-47 ° ~+31 °Pan：+/-159°
重量：1.37kg

4.1.2 評価実験環境の構築
評価実験を行うにあたり，図 16 に示すような一般家庭のリビングを模した環境の構築を行った．このような環境に対して，リモコンによって操作する頻度の高い家電機器としてテレビ・間接照明・空気清浄機・ヒーター・CD プレイヤを挙げ，これらの機器と構築したプロジェクタカメラユニットを図 17 のように配置した．
実際に設置した家電機器を図 18-22 に示す．ここで，間接照明は， 図 19(b) で示
すような本来リモコン機能を持っていない機器に対して，リモコン機能を付加させる装置を用いることによって，間接照明のリモコン操作を実現している．

34

図 16 構築した評価実験環境の概観

テレビ

間接照明
本棚

ヒーター
ソファー
テーブル
ＣＤプレイヤソファー
プロジェクタカメラ
ユニット

空気清浄機

食卓

椅子
入口

図 17 家電機器の配置状況

35

(a) プ ラ ズ マ テ レ ビ
HR8000(日立製作所)

W37P- (b) 付属リ
モコン

図 18 テレビ(a) テーブルスタンド (b) リモコン機能を付加する装置
OTS-15（人体センサ付電源リモコン SHBR1200）

図 19 間接照明(a) 空気清浄機 F-P06-U4（National）(b) 付属リモコン

図 20 空気清浄機

36

(a) カーボンヒーター DC-RJ09 (b) 付属リモコン（YAMAZEN）

図 21 ヒーター(a) リモコン付き CD ラジカセ KMG08-7018 (b) 付属リモコン（LIFELEX ）図 22 CD プレイヤ

37

4.2 実験方法
本実験では，家庭で頻繁に起きうる家電機器操作に関する状況を設定し，その状況に対して現在最も一般的に利用されている専用リモコンによる操作と，構築したプロトタイプシステムによる操作の二つの実験タスクを行い，比較を行った．
この二つの実験タスク両方を行った後に，被験者にアンケートを行った．本実験
では全体の被験者数を 18 名として，うち 9 名は専用リモコンによる実験タスクを行った後にプロトタイプシステムによる実験タスクを行いアンケートを行った．
残りの 9 名は順序を逆にしてプロトタイプシステムによる実験タスクを行った後に専用リモコンによる実験タスクを行い，アンケートを行った．
本実験で設定した実験タスクについて述べる．まず二つの実験に共通する前提条件を以下に示す．

[想定する家庭内における設定]• 普段から専用リモコンの設置場所は特に決めていない．
• 専用リモコン・プロトタイプシステム，どちらの操作も普段から使い慣れている．
本実験で行う実験タスクでは，以下のような状況を想定した．

[想定する実生活における状況]
1. 帰宅したばかりで，被験者が家族の中で最も早く帰宅した．
2. 入り口からリビングに入り，テレビ・間接照明・空気洗浄機・ヒーターの電源を点ける．このときヒーターは首振りモード，テレビは 6 チャンネルにしておく．

3. 食卓の自席につき，飲み物や軽食を摂り，休憩を入れる．
4. 休憩後，ソファーに移動して腰を下ろし，テレビを視聴する．

38

5. 視聴していたテレビ番組が一段落した後，最近購入した CD アルバムのことを思い出し，テレビを消した後に，最もお気に入りの曲を聞くことにする．
被験者は実験を行う上でシステムに慣れるために，どちらの操作方法においても事前に 10 分間の練習を行うものとする．また専用リモコンを用いた実験タスク
では，「普段からリモコンの設置位置は特に決めていない」という前提条件から，被験者は各専用リモコンが部屋のどこに置いてあるかわからない状態で実験タスクを始めるものとする．ただし，一般家庭においては自分や家族が使った後のリ
モコンの置き場所について全く検討がつかないという状況は多くないと考えられる．このため，各専用リモコンについて，表 3 で示すいずれかの場所に置いている頻度が高いという事前知識を被験者は持っているものとして実験タスクを行った．専用リモコンによる実験タスクにおける専用リモコンの配置場所を図 23 に示す．またプロトタイプシステムを用いた実験タスクでは，専用リモコンは室内に存在しないものとして実験を行った．プロトタイプシステムによる実験タスク
における操作パネルの投影位置の候補を図 24 に示す．被験者が行う各実験タス
クの流れを以下に示す．

[専用リモコンによる実験タスクの流れ]
1. 入り口（図 17 参照）から歩きだす．
2. リモコンを探して部屋を歩き，以下の操作を行う．(順不同)• テレビを ON にし，その後に 6 チャンネルに変更する．
• 間接照明を ON にする．
• 空気清浄機を ON にする．
• ヒーターを ON にし，その後に首振りモードにする．
3. 食卓（図 17 参照）に着席する．
（しばらく時間を置くことを想定する．
）
4. ソファー（図 17 参照）に移動し，着席した後に以下の操作を行う．(順不同)• テレビの番組表機能を操作し，好みの番組に変更する．
39

• テレビの音量を二段階上げる．
5. テレビを鑑賞する．
（しばらく時間を置くことを想定する．
）
6. 以下の操作を行う．
(a) テレビを OFF にする．
(b) CD プレイヤで曲を指定し，再生する[プロトタイプシステムによる実験タスクの流れ]
1. 入り口（図 17 参照）から歩きだす．
2. 食卓（図 17 参照）に着席して，以下の操作を行う (順不同)• テレビを ON にし，その後に 6 チャンネルに変更する．
• 間接照明を ON にする．
• 空気清浄機を ON にする．
• ヒーターを ON にし，その後に首振りモードにする．
3. 食卓で休憩する．
（しばらく時間を置くことを想定する．
）
4. ソファー（図 17 参照）に移動し，着席した後に以下の操作を行う．(順不同)• テレビの番組表機能を操作し，好みの番組に変更する．
• テレビの音量を二段階上げる．
5. テレビを鑑賞する．
（しばらく時間を置くことを想定する．
）
6. 以下の操作を行う．
(a) テレビを OFF にする．
(b) CD プレイヤで曲を指定し，再生する40ここで本実験において CD プレイヤで複数存在する曲の中から一曲を指定して再生する際に，高い表示性を持つプロトタイプシステムと，極めて表示性の低い
図 22 に示す CD ラジカセでは一覧性が大きく異なり，また操作手順も異なるた
め，比較する上で公平性に欠けることが懸念される．このため，本実験では従来のリモコンを用いた CD プレイヤの操作として，図 25 に示す携帯音楽プレイヤ
を表示性のあるリモコンとして仮定し，選曲・再生操作をすることで実験タスクを行った．さらに，実験で使用した図 21 のヒータは，仕様上，電源の ON/OFF
はリモコン制御ができないため，本実験では弱モードを OFF，強モードを ON であると仮定して実験タスクを行った．
表 3 専用リモコンの頻度の高い置き場所
家電機器

置き場所

テレビ

照明

空気清浄機

ヒーター

CD プレイヤ

本体周辺

壁に設置

本体周辺

本体周辺

ソファー周辺

ソファー付近食卓周辺

ソファー周辺

ソファー周辺

本体周辺

食卓付近

食卓周辺

41

テレビ

間接照明

リモコン：
リモコン：
ＣＤプレイヤプレイヤ
ＣＤ
ＣＤプレイヤ

ヒーター

リモコン：
リモコン：
空気清浄機

リモコン：
リモコン：
テレビ

空気清浄機

リモコン：
リモコン：
間接照明
リモコン：
リモコン：
ヒーター

図 23 実験タスクにおける専用リモコンの配置場所

テレビ

間接照明
ＣＤプレイヤヒーター
空気清浄機

プロジェクタカメラ
ユニット

操作パネル
操作パネル
投影候補位置
投影候補位置

図 24 実験タスクにおける操作パネルの投影位置候補42

本実験では，被験者が実験タスク開始から実験タスク終了までの所要時間の計測を行った．ただし，時間を置くことを想定した項目（各実験タスクのおける流れの項目 3,5）については，時間計測に含まないようにした．被験者に行ったア
ンケートを以下に示す．

• 操作の簡単さ
提案システムが従来リモコンに対して，操作が「かなり簡単である（+2），
やや簡単である（+1），従来リモコンと同じ（0），やや簡単ではない（-1），
簡単ではない（-2）」を評価してもらった上で理由を記述してもらう．

• 表示パネルの見やすさ
提案システムが従来リモコンに対して，表示パネルが，「見やすい（+2），やや見やすい（+1），従来リモコンと同じ（0），やや見にくい（-1），見にくい（-2）」を評価してもらった上で理由を記述してもらう．

• システムの便利さ
提案システムが従来リモコンに対して，「便利である（+2），やや便利である（+1），従来リモコンと同じ（0），やや便利でない（-1），便利でない（-2）」を評価してもらった上で理由を記述してもらう．

• 肉体的苦痛の小ささ
提案システムが従来リモコンに対して，肉体的苦痛が，「小さい（+2），やや小さい（+1），従来リモコンと同じ（0），やや大きい（-1），大きい（-2）」を評価してもらった上で理由を記述してもらう．

• 精神的苦痛の小ささ
提案システムが従来リモコンに対して，精神的苦痛が，「小さい（+2），やや小さい（+1），従来リモコンと同じ（0），やや大きい（-1），大きい（-2）」を評価してもらった上で理由を記述してもらう．

• 提案システムにおける良い点，悪い点について自由に記述してもらう．
43

• 提案システムが一般家庭に導入された場合，積極的に使いたいかどうかに対して「はい いいえ 改善されるなら，はい」を評価して評価してもらった上で理由を記述してもらう．

• 他に提案システムを利用した感想，または改善してほしい点について自由に記述してもらう．

図 25 携帯音楽プレーヤ iPhone4(Apple)

4.3 実験結果
実験によって得られた各実験タスクの所要時間とアンケートの結果について，専用リモコンによる実験タスクを行った後にプロトタイプシステムによる実験タ
スクを行ったグループを「グループ 1」，プロトタイプシステムによる実験タスクを行った後に専用リモコンによる実験タスクを行ったグループを「グループ 2」とし，グループ 1，2 と被験者全体の評価をまとめた結果を表 4 に示す．また各被験者の評価結果とアンケートの自由記述で得られた被験者の意見を付録 B に示す．
有意水準 5%で平均値の t 検定を行った結果，提案システムを用いた操作の方が専用リモコン操作と比較して「表示パネルの見やすさ」「システムの便利さ」「肉体的苦痛の小ささ」「精神的苦痛の小ささ」について有意差があることが確認で44

表 4 実験結果
グループ 1
所要時間差

操作の簡単さ表示パネルの見やすさ

システムの便利さ

肉体的苦痛の小ささ

精神的苦痛の小ささ

グループ 2

全体

平均-5.3 秒+7.2 秒+0.9 秒

標準偏差

22.37

11.94

19

平均

+0.4

+0.6

+0.5

標準偏差

1.07

1.07

1.07

平均

+1.2

+1.4

+1.3

標準偏差

1.03

0.5

0.82

平均

+1.8

+1.1

+1.4

標準偏差

0.41

0.57

0.6

平均

+1

+0.4

+0.7

標準偏差

0.82

0.68

0.8

平均

+0.7

+0.9

+0.8

標準偏差

0.94

0.73

0.85

き，またそれ以外の項目についても専用リモコンと同等の結果であった．また「表示の見やすさ」と「システムの便利さ」については，提案システムによる操作が専用リモコンに対して「かなり良い」「やや良い」という評価が大半であった．

45

4.4 考察
操作所要時間に関する考察
リモコン操作による実験タスクにおいて，時間がかかった要因として以下のことが挙げられる．

• リモコンを取りに行くことに時間がかかっていた．
• テレビの番組表機能の操作に戸惑っていた．
プロトタイプシステム操作による実験タスクにおいて，時間がかかった要因として以下のことが挙げられる．

• 起動動作からプロジェクタカメラユニットのパンチルト機構が駆動してユーザの位置に向くまでに 3〜4 秒程度時間がかかっていた（実験タスクには起動動作を行う機会が 3 回存在する）.

• 1 回のタッチ動作から家電機器の動作までに 1 秒近くかかっていた．
• 認識ミスが発生したことによって，被験者が再度タッチ動作を行う場合があった．
本実験で設定した状況では，どの家電機器に対しても簡単な操作が多かったことや，リモコンの配置場所についてもわかりやすい位置に配置させていたために，
実験タスク中に被験者が操作に戸惑うことやリモコンを探し回るようなことは少なかった．しかし実生活においてこのように，ユーザが戸惑うような複雑な操作を行う場合やリモコンを捜し回るような状況が発生する場合には，提案システムと比較してリモコン操作を用いるとより多くの時間がかかると予想される．また
本実験で行った簡単な状況に対してもリモコン操作と同じ程度の所要時間であったことから，提案システムはユーザに操作時間の遅さによるストレスを与えるものではないと言える．
提案システムの操作所要時間短縮の改善案として，プロジェクタカメラユニッ
トのパンチルト駆動速度を上げる他に，操作が終了されても初期位置も戻らず，

46

カメラのみを広角モードにしてパンチルトせずに同じ場所に操作パネルを投影できるように待機しておく方法も考えられる．一度家電機器の操作を行ったユーザ
が再びシステムを操作を行う可能性が高いことから，カメラ画角が十分に確保できれば有用なアイディアであると考えられる．またその他にも，タッチ動作にも時間を要していたために，処理の高速化や頑強なタッチ動作検出手法の検討が必要となる．

操作の簡単さに関する考察
簡単さについては全体の平均では＋ 0.5 と従来のリモコンと比較して同程度かそれ以上の評価は得られていた．このことから本研究の目的の一部である簡単な入力方法で操作できる家電操作システムの実現について，目的を達成できていると考えられる．提案システムに良い評価を行った被験者の理由として，「操作パネ
ルの操作ボタンが大きく押しやすかった」「リモコンのように装置を持ってボタンを押し込まなくても，軽い力だけで操作できるので簡単だった」という意見であった．また従来リモコンに良い評価を付けた被験者の理由として「提案システムはボタンを押した感覚がないのでわかりにくかった」という不満の意見があった．
改善案として，提案システムでリモコンのボタンのような触覚フィードバックを与えることは難しいが，視覚や聴覚によるフィードバックを提示することによって問題の改善が可能である．本実験で構築したプロトタイプでは操作パネルのボタンが押されると，PC のクリック音に近い音を提示し，タッチ位置に円を描く
フィードバックを提示していたが，提示にタッチ動作検出による時間遅れが発生していたことや控えめな提示だったために，フィードバックが不十分だったと考えられる．タッチ動作検出及びフィードバックの改善が今後の課題としてあげられる．

提案システムの表示パネルの見やすさに関する考察
表示パネルの見やすさについては，評価の全体平均が+1.4 であり，ほとんどの被験者が肯定的な評価であった．特に「画面が大きいため見やすい」という意見

47

がかなり多かった．また実験を通しても，提案システム操作において被験者が混乱している様子が見受けられなかったことからも操作パネルの視認性が高かったと判断できる．

システムの便利さに関する考察
システムの便利さについては，全ての被験者からの「かなり良い」「やや良い」という評価を得ることができた．挙げられていた理由として「リモコンを探す手
間がいらない」「移動せず一箇所で操作ができる」という意見が非常に多かった．
このことから，本研究の目的の一部である操作デバイスの携帯・装着を必要とせずに操作できる家電操作システムを実現できていると考えられる．

肉体的苦痛の小ささに関する考察
肉体的な苦痛に関する評価では，「探す手間が無くてよい」という肯定的な意見が多かった一方，「リモコンのボタンを押すことに比べて，何度もノックするのが疲れる」という否定的な意見もあった．
家電機器を毎日操作するインタフェースとして考えると，ユーザが疲れるという問題は改善すべきものである．今後の課題として，ノックによるタッチ動作検出に代わる，ユーザに疲れを与えにくいタッチ動作の検出方法の検討が必要になると思われる．

48

5. おわりに
5.1 まとめ本研究では，操作デバイスの携帯・装着を必要とせずに，様々な家電機器に対してユーザが理解しやすく簡単な入力方法で操作できる家電操作システムの実現を目的とし，パンチルトズーム駆動可能なプロジェクタカメラユニットを用いた，タッチ入力可能な影型リモコンシステムの提案を行った．プロジェクタ・カメラ
を用いることにより，操作パネルの投影と人物の動作認識が可能となり，ユーザが欲しい時のみに手元に大きな操作パネル映像を提示することを可能にした．またプロジェクタカメラユニットをパン・チルト・ズーム駆動させることによって，室内の様々な場所に存在するユーザの手元に操作パネルを投影することができる
家電操作システムを実現することができた．
評価実験ではプロトタイプシステムを構築し，一般家庭における実生活を想定した実験タスクに対して，専用リモコンによる操作との比較を行った．実験の結果から，全ての被験者が提案システムの便利さを認めており，「リモコンを探す手
間がいらない」「移動せずに一箇所で全ての家電の操作ができる」等の肯定的な意見が多かったことから，専用リモコンに対する「どこにあるか分からなくなる」「置き場所に困る」等のユーザの不満を解決することができたと言える．また，提案システムは専用リモコンと比較して，表示パネルの見やすさに関する評価が高
く，操作の簡単さについても，現在最も一般的な家電操作インタフェースである
リモコンでの操作と比較して同程度かそれ以上の評価を得られたことから，提案
システムがユーザにとって理解しやすく簡単な操作システムであったことから，
本研究の目的を達成することができたと言える．これらの実験結果から提案シス
テムの有用性を確認することができた．

5.2 今後の課題評価実験では被験者から得た評価に関して，全ての項目において専用リモコンと比較して同等かそれ以上の結果であったが，実験中において被験者のタッチ動49

作の認識ミスが数回発生していたことや，「誤認識で手間が増えた」という意見があったことから，精度良く，かつユーザに負担を与えにくいタッチ動作検出方法を検討することが必要であると考えられる．今回行った実験では，投影位置は事前に求まっていることを前提にしたが，提案システムの実用化に向けて投影位置を自動決定する方法を検討する必要がある．ここで実生活のシーンを考えると，テーブルには様々な物が置いてあるケースが多く，提案システムではそれらを避けて操作パネルを投影することが必要となるため，ユーザ付近のテーブルの 3 次
元形状を動的に取得する方法やオクルージョンを回避する方法についても検討する必要がある．また今回の実験では想定していなかった，複数人で同時利用する場合も考慮する必要があり，例えば同時に複数の手が操作パネル上に侵入した場合にも対応できるようシステムの改良が必要である．
また実験では提案システムが専用リモコンと同等かそれ以上であることを示したが，実際は提案システムと専用リモコンは排他的なものではなく，音声入力やジェスチャ入力，タッチテーブル入力などその他の操作インタフェースと共に，「頻繁に使う機能は提案システム」「仕様頻度の高くない詳細な機能は専用リモコ
ン」「手が使えない場合は音声入力」「立ち歩きながら操作する場合はジェスチャ
入力」といったように，状況や目的に応じてユーザが使い分けることが考えれる．
これにより，ユーザの様々なニーズに応えることができ，よりユーザにストレスを与えにくい操作インタフェースが実現できる．

50

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜った視覚情報メディア講座 横矢直和教授に心より感謝致します．本研究の遂行にあたり有益な御助言，御指導を頂いたインタラクティブメディア設計学講座 加藤博一教授に厚く御礼申し上げます．そして，本研究のテーマ設定から日々の研究活動，本論文の執筆に至るまで，本研究の全過程を通して多大なる御指導，御助言を頂いた視覚情報
メディア講座 山澤一誠准教授に心より感謝致します．さらに，本研究の遂行に的確な御助言を頂いた環境知能学講座 神原誠之助教に深く感謝致します．そして，本研究を進める上で，多大なる御助言，御指導頂いた佐藤智和助教に心より感謝致します．本研究の被験者実験に御協力頂いた皆様に心より感謝致します．また，研究室の生活を支えて頂いた視覚情報メディア講座事務補佐員 高橋美央女史，中村美奈女史に厚く御礼申し上げます．そして，研究活動だけでなく日々の生活においてもお世話になった視覚情報メディア講座の諸氏に深く感謝致します．最後に，私の二年間の大学院生活を見守り支えてくれた家族に感謝します．

51

参考文献
[1] 朝日インタクティブ: “リモコンで困った！1 位は「紛失」、2 位は「置き場所」、3 位は…”, 2007.

urlhttp://japan.cnet.com/news/tech/20348078/.
[2] アイシェア: “リモコンの居場所に関する意識調査”, 2009.
http://release.center.jp/2009/09/2901.html.
[3] NTT ネオメイト: “ユーコンセントサービス”.
http://www.ntt-neo.com/news/2007/070419.html.
[4] 一色, 平原, 岸本: “ネットワーク家電 “FEMINITYT M シリーズ” のシステム概要”, 東芝レビュー, Vol. 57, No. 10, pp. 7–10, 2002.

[5] 中山, 瀬川, 大堀哲央: “携帯電話で家電を制御する「ケータイホームシス
テム」の開発”, NTT DOCOMO テクニカル・ジャーナル, Vol. 18, No. 2,

pp. 90–96, 2010.
[6] ブランド総合研究所: “デジタル家電ストレス調査”, 2010.
http://www.tiiki.jp/corp new/pressrelease/2010/20101014.html.
[7] S. Mann: “Wearable computing: A ﬁrst step toward personal imaging,”
IEEE Computer, Vol. 30, No. 2, pp. 25–32, 2002.
[8] 叶世, 阿部, 大山, 大井: “視線入力制御によるパソコンテレビ観賞システム”, 電子情報通信学会技術研究報告. WIT, 福祉情報工学, Vol. 104, No. 636,

pp. 37–42, 2005.
[9] 伊藤, 伊福部: “ビデオキャプチャ画像処理による視線検出及び意思伝達装置への応用”, 電子情報通信学会論文誌. D-I, Vol. 88, No. 2, pp. 527–535, 2005.

[10] M. C. Su, K. C. Wang and G. D. Chen: “An eye tracking system and its application in aids for people with severe disabilities,” Biomedical Engineering
Applications Basis and Communications, Vol. 18, No. 6, pp. 319–327, 2006.
52

[11] NUANCE: “IBM Via Voice”.
http://japan.nuance.com/viavoice/.
[12] NUANCE: “ドラゴンスピーチ”.
http://japan.nuance.com/naturallyspeaking/.
[13] 内田, 常盤, 西, 高木, 麻生, 橋本, 森, 中島, 伊東, 小林, 八名: “意味の位置づけを可能にする意味表現を用いた情報家電操作のための対話的インタフェース”, 電子情報通信学会技術研究報告. SP, 音声, Vol. 104, No. 543, pp. 19–24,

2004.
[14] 河原崎, 安齊, 清水, 吉留, 西原: “音声認識による家電機器のリモコン制御”,
福祉工学シンポジウム講演論文集, Vol. 2004, pp. 197–200, 2004.

[15] 榊原: “家電状態を利用したホームネットワークシステムのための音声操作
インタフェースの提案”, 奈良先端科学技術大学院大学修士論文, NAIST-IS-

MT0651040, 2008.
[16] 松原, 徳永, 黒澤, 星野, 尾崎: “快適操作を提供するユーザーインタフェース
技術”, 日立評論, Vol. 91, No. 9, pp. 726–727, 2009.

[17] 若村, 鈴木, 入江, 梅田: “インテリジェントルームの構築-直感的なジェス
チャを用いた家電製品の操作-”, 画像の認識・理解シンポジウム (MIRU2005),

pp. 1074–1081, 2005.
[18] Microsoft: “Surface”.
http://www.microsoft.com/surface/.
[19] Circle Tewlve: “Diamond Touch”.
http://www.circletwelve.com/products/diamondtouch.html.
[20] T. Seifried, M. Haller, S. D. Scott, F. Perteneder, C. Rendl, D. Sakamoto and
M. Inami: “Cristal: Design and implementation of a remote control system
based on a multi-touch display,” in Proceedings of the ACM International
Conference on Interactive Tabletops and Surfaces 2009, pp. 37–44, 2009.
53

[21] “OpenCV”.
http://sourceforge.net/projects/opencvlibrary/.
[22] A. D. Wilson: “Playanywhere: a compact interactive tabletop projectionvision system,” Proceedings of the 18th annual ACM symposium on Userinterface software and technology, pp. 83–92, 2005.
[23] N. Sugita, D. Iwai and K. Sato: “Touch sensing by image analysis of ﬁngernail,” InProceedings of SICE Annual Conference 2008, pp. 1520–1525,
2008.
[24] “The UPnP Forum”.
http://www.upnp.org/.
[25] “Digital Living Network Alliance”.
http://www2.dlna.org/.
[26] “OSGi Alliance”.
http://www.osgi.org/.
[27] “ECHONET CONSORTIUM”.
http://www.echonet.gr.jp/.

54

付録

A. プロトタイプシステムで提示した操作パネル
プロトタイプシステムにおいて，想定した操作パネルの構成図を図 26 に示す．
プロトタイプシステムでは，赤枠で示した部分のみを実装し，実験を行った．実装をした操作パネルを図 27-34 に示す．
メイン
メニュー

番組表

照明機器
メニュー

空調機器
メニュー

テレビ
メニュー

音楽
メニュー

レコーダ
メニュー

ゲームメ
ニュー

連動データ

録画

詳細機能

曲選択
メニュー

録画データ
選択メニュー

ゲーム選択
メニュー

曲詳細情報

録画データ
詳細情報

ゲーム
詳細情報

番組選択
メニュー

図 26 操作パネル構成図55

図 27 メインメニュー

図 28 照明機器メニュー56

図 29 空調機器メニュー

図 30 テレビメニュー

57

図 31 番組表

図 32 曲選択メニュー 158

図 33 曲選択メニュー 2

図 34 曲詳細情報

59B. 実験結果
B.1 各被験者の実験結果
評価実験で得られた被験者 A〜R の結果に示す．被験者 A〜I は専用リモコンによる実験タスクを行った後にプロトタイプシステムによる実験タスクを行ったグループ 1，被験者 J〜R は提案システムによる実験タスクを行った後に専用リ
モコンによる実験タスクを行ったグループ 2 に属するものとする．

60

表 5 実験結果

被験者 A〜E

被験者 A

被験者 B

被験者 C

被験者 D

被験者 E

所要時間

144 秒

151 秒

128 秒

116 秒

117 秒

順番

1 回目

1 回目

1 回目

1 回目

1 回目

所要時間

92 秒

129 秒

139 秒

116 秒

135 秒

順番

2 回目

2 回目

2 回目

2 回目

2 回目

専用リモコンとの時間差− 52 秒− 22 秒+ 11 秒± 0秒+ 18 秒

操作の簡単さ

+1

+1

±0

−1

±0

表示パネルの見やすさ

+2

+2

+2

+2

−1

システムの便利さ

+2

+1

+2

+2

+1

肉体的苦痛の小ささ

+1

+1

±0

+1

±0

精神的苦痛の小ささ

±0

+1

±0

+1

−1

専用リモコン

提案システム表 6 実験結果 被験者 F〜I
被験者 F 被験者 G 被験者 H
専用リモコン

被験者 I

所要時間

131 秒

125 秒

106 秒

137 秒

順番

1 回目

1 回目

1 回目

1 回目

所要時間

106 秒

128 秒

128 秒

134 秒

順番

2 回目

2 回目

2 回目

2 回目

専用リモコンとの時間差− 25 秒+ 3秒+ 22 秒− 3秒

操作の簡単さ

+2

+2

±0

−1

表示パネルの見やすさ

±0

+2

+1

+1

システムの便利さ

+2

+2

+2

+2

肉体的苦痛の小ささ

+2

+2

±0

+2

精神的苦痛の小ささ

±0

+2

+2

+1

提案システム61

表 7 実験結果

被験者 J〜N

被験者 J

被験者 K

被験者 L

被験者 M

被験者 N

所要時間

111 秒

129 秒

103 秒

145 秒

100 秒

順番

2 回目

2 回目

2 回目

2 回目

2 回目

所要時間

103 秒

148 秒

126 秒

132 秒

112 秒

順番

1 回目

1 回目

1 回目

1 回目

1 回目

専用リモコンとの時間差− 8秒+ 19 秒+ 23 秒− 13 秒+12 秒

操作の簡単さ

+2

−1

±0

+2

+1

表示パネルの見やすさ

+2

+1

+1

+2

+1

システムの便利さ

+1

+1

+1

+2

+1

肉体的苦痛の小ささ

+1

±0

−1

+1

+1

精神的苦痛の小ささ

+2

+1

±0

+1

+1

専用リモコン

提案システム

表 8 実験結果 被験者 O〜R
被験者 O 被験者 P 被験者 Q
専用リモコン

被験者 R

所要時間

99 秒

99 秒

123 秒

104 秒

順番

2 回目

2 回目

2 回目

2 回目

所要時間

118 秒

110 秒

125 秒

104 秒

順番

1 回目

1 回目

1 回目

1 回目

専用リモコンとの時間差+ 19 秒

+11 秒

+ 2秒

± 0秒

操作の簡単さ

±0

+1

−1

+1

表示パネルの見やすさ

+2

+1

+1

+2

システムの便利さ

+2

+1

±0

+1

肉体的苦痛の小ささ

±0

±0

+1

+1

精神的苦痛の小ささ

+1

±0

±0

+2

提案システム62

B.2 被験者の意見
アンケートの自由記述欄から得られた被験者の意見を以下に示す．

B.2.1 操作の簡単さについて
専用リモコンに比べて，本プロトタイプシステムの方が，操作が簡単だと思った理由• 本プロトタイプシステムはリモコンを捜し回ることを考えると簡単である• 本プロトタイプシステムはボタンが大きく押しやすい• 本プロトタイプシステムは軽い力で触れるだけで良いので操作しやすかった

本プロトタイプシステムに比べて，専用リモコンの方が，操作が簡単だと思った理由• 本プロトタイプシステムはボタンを押した感覚が無く安心感が無い• 本プロトタイプシステムは音と映像によるフィードバックが遅れていてわ
かりにくかった

B.2.2 表示パネルの見やすさについて
専用リモコンに比べて，本プロトタイプシステムの方が，操作パネルが見やすいと思った理由• 本プロトタイプシステムはアイコンが大きいためとてもわかりやすい• 本プロトタイプシステムは歌詞情報が出て，助かる• 本プロトタイプシステムは説明が大きく見やすい• 本プロトタイプシステムは表示が簡潔だった
63

• 専用リモコンはボタンや本体の大きさがそれぞれ異なり見辛いが，本プロ
トタイプシステムは大きさが統一されており，見やすかった• 本プロトタイプシステムは視覚的にわかりやすかった

本プロトタイプシステムに比べて，専用リモコンの方が，操作パネルが見やすいと思った理由• ボタンの色や配置が専用リモコンの方がわかりやすかった．
B.2.3 システムの便利さについて
専用リモコンに比べて，本プロトタイプシステムの方が，便利だと思った理由• 本プロトタイプシステムは一箇所で操作が行える• 本プロトタイプシステムはリモコンを探して移動する手間が無かった• 本プロトタイプシステムは全ての機器の操作が直感的に行える• 本プロトタイプシステムは人の居る所に操作パネルが現れるので便利だった• 専用リモコンはリモコンを見つけた順番で手当たり次第の操作になるが，本プロトタイプシステムは頭で考えている順番に操作ができていた本プロトタイプシステムに比べて，専用リモコンの方が，便利だと思った理由• 本プロトタイプシステムは移動しながら使うことができないため不便に感じた

64

B.2.4 肉体的苦痛の小ささについて
専用リモコンに比べて，本プロトタイプシステムの方が，肉体的苦痛が小さいと思った理由• 専用リモコンは移動して操作する必要があるが，本プロトタイプシステム
は移動する必要がなかった• 本プロトタイプシステムはリモコンを探す手間がなかった• 本プロトタイプシステムは軽い力で触れるだけで良いので操作しやすかった
本プロトタイプシステムに比べて，専用リモコンの方が操作が，肉体的苦痛が小さいと思った理由• 本プロトタイプシステムはノックすることが疲れたり，手が痛くなる
B.2.5 精神的苦痛の小ささについて
専用リモコンに比べて，本プロトタイプシステムの方が，精神的苦痛が小さいと思った理由• 本プロトタイプシステムはリモコンが見当たらないことを考える必要が無
く，心配が無かった• 本プロトタイプシステムは一箇所に座るだけで操作できるので，仕事帰りで疲れていても楽に操作できそうだった• 専用リモコンは捜し回るのが面倒だった• 家で一旦座ると立ち上がることがかなりしんどいので，本プロトタイプシ
ステムは楽だった

本プロトタイプシステムに比べて，専用リモコンの方が操作が，精神的苦痛が小さいと思った理由65• 本プロトタイプシステムはどのボタンを押しているかわかりにくかった• 本プロトタイプシステムは音と映像によるフィードバックが遅れていてわ
かりにくかった• 本プロトタイプシステムは誤認識を起こすことがあり，操作の手間が増えた• 本プロトタイプシステムは初期メニューに戻る操作が煩わしかった• 本プロトタイプシステムは音を鳴らすことが煩わしかった

B.2.6 提案システムについて，良い点・悪い点について（自由記述）
良い点• 複数機器を一括操作可能である• 場所を問わずに利用できる• 操作パネルのボタンが揃っていて，理解しやすい• リモコンを探す手間がいらない• 操作パネルの見た目が分かりやすく，誰にでも使える• 単純に楽しい• リモコンを置くスペースが必要ない• 歌詞情報などが見れるのは便利である
悪い点• 誤認識が発生する場合がある• ノックをすることが手間である• 手が痛くなった• 操作パネルのボタン色が全て同じだったのでわかりにくい• 手の上に投影されるのは違和感がある• リモコンがすぐ見つかる場合は専用リモコンの方が良い• 即応性に欠けていた• 装置が大きい66• 本当にボタンを押せたのか分かるまでに時間が掛かっていた• 字が少し見にくかった• プロジェクタ映像が眩しかったB.2.7 提案システムが家庭に導入された場合積極的に使いたいか「はい」と答えた被験者の意見• リモコンをよく紛失するため• 仕事から帰ったら，極力動きたくないため• インタフェースが理解しやすいため• 様々な機器を同じインタフェースで扱えるため• リモコンが無くなって操作できなくなる心配がないため「改善されるなら，はい」と答えた被験者の意見• 価格が安く，壊れにくければ使いたい• 現状のリモコンにそれほど困っていない• 認識精度が向上するなら使いたい• 場所を選ばないなら使いたい• 指が疲れないくらい小さな動きで操作できるなら使いやすい• リモコンが見当たらない場合などに補助的に利用したい

67