情報処理学会 インタラクション 2014
IPSJ Interaction 2014

14INT011
2014/2/28

装着デバイス間の直接通信によるウェアラブルコンピューティングの信頼性確保
寺田 努1,2,a)

柳沢 豊1,3,b)

岸野 泰恵3,c)

塚本 昌彦1,d)

須山 敬之3,e)

概要：ウェアラブルコンピューティングを医療や航空などの分野で用いる場合，物理的なデバイス故障やシステムハングアップによる情報提示の中断が深刻な問題を引き起こす可能性がある．そこで本研究では，
ハングアップ等のトラブル時に入出力デバイスをバイパスすることで情報提示を継続する枠組みを提案する．提案方式は，認知度が高くなるように情報変換を行う機構を備えるため，トラブル時でも途切れなく情報提示を継続できる．

On Achieving Dependability
for Wearable Computing by Device Bypassing
Terada Tsutomu1,2,a)

Yanagisawa Yutaka1,3,b) Kishino Yasue3,c)Suyama Takayuki3,e)Tsukamoto Masahiko1,d)Abstract: On using wearable computing for medical care and aviation safety, halts of information presentation by hardware/software troubles lead to serious problems. We propose a mechanism that continues
information presentation by I/O device bypassing. Our method selects appropriate data converters considering recognizability to present information that is easily understandable to users.

1. はじめに一方，ウェアラブルコンピューティングは従来のコン
ピューティングスタイルと異なり，多様な装着機器の組合

コンピュータを装着して常時情報支援を受けるウェアラ

せへの対応の必要性，物理的な故障の多さといった特徴がブルコンピューティングでは各種の生体情報を取得するセある．例えば，図 1 に示す手術支援システムでは，内視鏡

ンサや装着型情報提示デバイスを用いることで，ハンズフ

手術で医者が HMD を装着し，患者体内のカメラ映像やセリーで安全かつ便利に情報支援を受けられる．このようなンサ情報を閲覧している [1] が，ディスプレイの故障やシス特徴から，ウェアラブルコンピューティングは医療現場やテムのハングアップによる数十秒間の表示停止が医療事故

救助活動，軍事活動，建設現場などクリティカルな分野をなど致命的な結果につながる可能性がある．つまり，ウェ含めた様々な応用が期待されており，ビジネスとしても大アラブルコンピュータには機器の故障時を含めて (1) そのきな可能性を秘めている．

とき利用可能な機器の組合せに応じて作業環境の状態を途

1

2

3

a)
b)
c)
d)
e)

神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University
科学技術振興機構さきがけ
PRESTO, Japan Science and Technology Agency
NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories
tsutomu@eedept.kobe-u.ac.jp
kani@ieee.org
kishino.yasue@lab.ntt.co.jp
tuka@kobe-u.ac.jp
suyama.takayuki@lab.ntt.co.jp© 2014 Information Processing Society of Japan

切れなく提示すること，(2) ユーザやセンサからの入力に対し，即応性・確実性の高い制御を行うこと，が必須要件となる．従来のデスクトップコンピューティングでは，このような信頼性の確保を行うにあたっては冗長化や多重化といった手法が用いられてきたが，機器を装着するウェア
ラブルコンピューティングでは，複数の機器装着は重量や配線の問題からデメリットが大きい．
そこで，本研究ではシステムハングアップなどのトラブ

76

情報提示処理ソフト（ユーザプログラム）
ウィンドウシステム

カーネル

PCハードウェア

入力デバイス

操作

情報提示
ユーザ

情報提示処理ソフト

データフロー制御システム

ファイルシステム
ネットワークデバイスドライバ
表示デバイス

フロー制御ルール

センサデバイス
環境データ
実世界環境

ファイルシステム カーネル
デバイスドライバ

ネットワーク
データコンバータ
PCハードウェア

データコンバータ
表示デバイス

情報提示

データコンバータ
入力デバイス

操作

ユーザ

センサデバイス
環境データ
実世界環境

従来のシステム構成図 2 提案システムと従来システムの違い
提案システムの構成の信頼性に関する研究としては，CLAD(Cross-Linkage for
図 1

内視鏡手術支援システムの利用シーン

Assembled Devices) がある [6]．CLAD はウェアラブルセ
ンサの故障を考慮したセンサ管理デバイスであり，センサ

ル時に入出力デバイスを自動的にバイパスし，簡易なフィルタを用いて情報提示を継続する枠組みを提案する．以下，2 章では関連研究について述べ，3 章で提案手法を説明する．4 章でプロトタイプの実装について述べ，5 章でシステムを評価する．最後に 5 章で本稿をまとめる．

2. 関連研究ウェアラブルコンピューティング向けプラットフォームに関する研究は盛んに行われている．Wearable Toolkit[2]では，イベント駆動型ルールを用いて，センサ状態の変化などをトリガとしたアプリケーションを実行できる．このようなプラットフォームでは多種のデバイスを利用でき容易にアプリケーション開発が行えるが，システムトラブル
時の対処については考慮されておらず，そもそも提示デバ
イスの選択的利用を想定していない．
さまざまな入出力デバイスを想定しているマルチモーダ
ルインタフェースに関する研究も盛んに行われている．しかし，多くのマルチモーダルインタフェースに関する研究
では，提示デバイスに汎用的なものは少なく，視覚提示と振動提示に限ったもの [3] など，特定のデバイスや特定の研究領域をターゲットとしているものが多い．汎用的な提示デバイスの研究として，WWHT フレームワーク [4] では，アプリケーションに依存しない汎用的なミドルウェアの開発を行っており，提示情報の整理の仕方は本研究と類似している．また，マルチモーダルアプリケーション作成
プロセスを示す研究 [5] もある．この研究は，アプリケー
ション開発時の注意点を示すガイドラインのようなものである．これらの研究は，本研究における情報提示デバイスの選択機構の参考になるが，いずれも障害時の情報提示継続を考慮していない．
コンピュータの信頼性を高める手法としては，ハード
ディスクにおける RAID(Redundant Arrays of Inexpensive

Disks) が挙げられる．これは基本的に予備のハードディス
クを活用してデータの耐故障性を高めるものである．このような多重化による信頼性向上は，ウェアラブルコンピュー
ティングのようにデバイスの大きさや重さに制約がある
環境では利用しづらい．ウェアラブルコンピューティング© 2014 Information Processing Society of Japan

故障時にあたかもセンサが生存しているかのような情報を擬似的に生成することで，システムの稼働を継続する．しかし，CLAD はセンサの故障対策のみを考えているため，

PC 障害や PC 上のアプリケーション障害に対処できない．

3. デバイス間バイパスによる信頼性確保
提案する信頼性確保の機構は，OS レベルでの実現またはミドルウェアレベルでの実現の両方が考えられる．どちらの場合においても機構の動作としては大きく変わらない
ため，本稿では特に区別しない．まず，図 2 に従来のシス
テムにおける情報入力から出力への流れ (図左) および提案システムを用いた場合の流れ (図右) を示す．従来のコンピュータでは，センサや入力デバイスからの入力をデバイ
スドライバが処理してユーザプログラムに渡し，ユーザプ
ログラムは出力内容を同じくデバイスドライバを経由して出力デバイスに提示する．この場合，入出力デバイスの故障，PC の故障，OS やユーザプログラムのハングアップのいずれが起こっても情報を提示できない．一方，提案シス
テムは通常，従来システムと同様にセンサや入力デバイス
からの入力をユーザプログラムが処理するが，システムハ
ングアップ時には，あらかじめ定められた入力デバイスと出力デバイスが直接有線/無線で接続され，情報の提示が継続される．このような機構を実現するために，提案シス
テムには従来システムと比べて主に以下の 2 つの要素が追加されている．
データフロー制御システム: 提案機構を実現するためには，
システムダウン時にどのデバイスとどのデバイスを接続
し，どのようなデータ変換を行って提示するかをあらかじめシステム通常稼働時に定義しておく必要があるが，適切なデバイス接続やデータ変換は接続デバイスの状態 (種類，
稼働状態，破損状態，情報精度等) や，PC やユーザがおかれている状況 (実行プロセス，サービス内容，ユーザの現在の行動等) によって変化する．そのため，データフロー
制御システムはこれらの情報を統合的に判断し，システムダウン時の処理をあらかじめデータコンバータとして用意
し，入出力デバイスに配置しておく．

77

提示情報

ソフトウェアアプリケーション

提案機構

提示情報の分類

データフロー制御システム

カーネル

ユーザ状況
周辺環境

状況取得

PCハードウェア

データコンバータ データコンバータ センサデバイス
出力デバイス
出力デバイス
情報提示
情報提示
環境データ
ユーザ

認識アルゴリズム
センサ

実世界環境

通常時

ソフトウェア
データフロー制御システム

OS

ボタン
カメラ
スピーカ 振動子 HMD
図 4 データフロー制御システムの構成図

テムは，利用すべき情報提示デバイスの組合せおよびデー
タ変換を行うフィルタを状況に合わせて決定する機構であり，システムダウン時のためにあらかじめフィルタの集合

カーネル

カーネル

提示装置の列挙

フ
ィ
ル
タ
の
適
用

イに表示される情報は読みづらい．データフロー制御シス

ソフトウェア
データフロー制御システム

影響度の算出 提示装置評価モジュール

提
示
装
置
の
決
定

であるデータコンバータを入出力デバイスに配置する．
PCハードウェア

PCハードウェア

データコンバータ データコンバータ センサデバイス
出力デバイス
出力デバイス
情報提示
情報提示
環境データ

データコンバータ データコンバータ センサデバイス
出力デバイス
出力デバイス
情報提示
情報提示
環境データ

ユーザ

ユーザ

実世界環境

デバイス故障時

図 3

実世界環境

障害時のデータ処理

システムダウン時

図 4 に示すデータフロー制御システムは，提示すべき情報やデバイスの接続状況を表示装置評価モジュールに渡し，表示装置評価モジュールが提示装置を適切に情報変換して出力デバイスにデータを出力する一方，システムダウ

データコンバータ: データフロー制御システムによってン時のために入出力デバイスの組合せ情報とデータコン

データ変換方式等を決定しても，システム異常時にその挙

バータを適宜入出力デバイスに送信する．データコンバー

動を実現するためには入出力デバイスが自律的に動作し

タは (1) 提示情報の情報取得，(2) 利用できるデバイスのなければならない．したがって，入出力デバイスはシステ

列挙と状況取得，(3) 提示デバイスの影響度の算出と組合

ム通常稼働時に動的にデータコンバータを取得し，システ

せの決定，のステップで決定される．以下，各ステップのム異常時に自律的に実行できる枠組みが必要となる．そこ処理について述べる．

で，本研究では入出力デバイスがもつマイコンにデータ変1．提示情報の情報取得

換等の処理を行わせる．

センサから得られた値などの情報をどのようにユーザにシステム障害時の挙動を図 3 に示す．入出力デバイス故

提示すべきかは，アプリケーションの目的に依存する．例

障時は，図中央に示すようにデータフロー制御システムがえば心拍センサの値は，ジョギング時の健康管理システム

デバイスの異常を検知し，残ったデバイスの中で表示に適

では運動効率のよい一定範囲内に入っているかがわかる

したものを選択して出力する．また，同時に OS 異常時のことが大事であり，手術における患者の心拍モニタリング

ために入出力デバイスに配置するデータコンバータを現状システムでは心拍の変化が重要になる．そこで提案機構でに合わせて再配置する．ソフトウェアや OS がハングアッは，提示情報のメタデータとして情報の種類，情報の性質，

プした場合は，図右に示すように入出力デバイス間が直接情報の提示制約をアプリケーションがあらかじめ定義する

接続され，データコンバータによって適切にユーザに情報ものとし，データコンバータの構築を行う際にはこの情報を提示する．以下，それぞれの機構の詳細について述べる．

を活用することとする．
情報の種類とは数値や文字などのデータ形式を表し，情3.1 データフロー制御システム

報の提示制約は提示デバイス制約や提示方法制約を表す．

データフロー制御システムは，複数の入出力デバイスが現在は，利用したいデバイス，禁止するデバイス，利用し存在した際に，どの情報をどの提示デバイスに割り当てる

たいフィルタ，禁止するフィルタを直接指定する．情報のか，またどのようなデータ変換が必要かを管理する機構で性質は，緊急性 (ユーザに早く伝達する必要があるか)，機

ある．情報をユーザに伝えるためにあらゆる情報がすべて

密性 (他人に知られてはいけない情報か)，有効性 (ユーザの提示デバイスに出力されればユーザにとって鬱陶しいに意味がある情報か)，持続性 (情報の有効期限はどのくら

情報提示となる．また，周辺環境やユーザの行動などによいか) を指定する．これらの性質は，以後の提示デバイス

り，提示デバイスによっては情報の閲覧が困難になる可能を選択するステップで，それらの性質を満たすような変換性がある．例えば，バイクレースのピットクルー支援シス

や提示を行うために定義する．例えば，緊急性の高い情報

テム [7] では，音声出力は周囲のエンジン音によって聞きは，緊急にユーザに伝えられる提示デバイスで提示する，取りづらい．また，観光地案内システム等を屋外で使う場

機密な情報は他人に知られないデバイスを用いて提示す合，日中など明るい場所や歩行中では腕時計型ディスプレ

る．これらの指定や以降の影響度計算などは，筆者らの研© 2014 Information Processing Society of Japan

78

表 1
装置名

LED
7 セグメント

提示デバイスの例
提示方法

表 2

フィルタ名

入力情報

出力情報

（瞬時値，連続値）

Text to Image

テキスト

画像

明るさの程度程度

Text to Voice

テキスト

音

点滅パターン

時系列データTime to Text

テキスト

テキスト

数字

ディスプレイドットマトリクス

情報変形フィルタの例

提示情報の種類

画像

数値，

Direction to Text

方向

テキスト

時系列データ

Number to Text

数字

テキスト

画像，動画

Text to Notification

テキスト

通知

Notification to Boolean

通知

2値

ディスプレイ

HMD

画像

画像，動画

Notification to Sound

通知

音

腕時計型ディスプレイ

画像

画像，動画

Notification to Image

通知

画像
程度

スピーカ

音

程度，音

Number to Degree

数字

バイブレータ

振動の程度

2 値データ，Changing volume

音音

振動パターン

時系列データGrayscale

画像

画像

温冷覚提示

熱さの程度

程度，–

Resizing image

画像

画像

香りディスプレイ

香りの程度，種類

程度，–

Changing image position

画像

画像

Summarizing Text

テキスト

テキスト

究報告 [8] に詳細を記述したものを参考にしている．

2．利用できるデバイスの列挙と状況取得提案機構では，ウェアラブルコンピューティングで用いられるあらゆる提示デバイスを想定しているが，すべての提示デバイスがどのような情報でも提示できるわけではない．そこで本ステップで，接続中の提示デバイスの列挙，
入力として利用できる情報の種類と提示デバイスの制限を取得する．表 1 は，提示デバイスとその提示情報の種類の関係例を示す．各提示デバイスは，提示情報の種類に示す
情報の種類であれば提示可能である．たとえば LED は程度のデータを入力として光の階調を出力として点灯でき，HMD は画像や動画を入力および出力できる．
各提示デバイスは，提示可能な情報に対して情報の粒度や表示のサンプリングレートといった制限をもつ．例えば，800×600 ピクセルの情報を提示できる腕時計型ディスプレ
イには大きなサイズの画像はそのままでは提示できないた
め，提示可能なサイズにまでリサイズを行う必要がある．
次に，実際に情報が提示可能なデバイスを抽出する．具
体的には，あらかじめ定義している，情報の種類を変換す
るフィルタを組み合わせて用い，提示情報を提示デバイスに適合する種類に変換できるかを判断する．本研究では，
表 2 に示すような情報変換フィルタを考えている．例えば，テキスト情報に Text to Image フィルタを適用することで，画像提示デバイスで提示可能となる．このように生成したフィルタの組合せがデータコンバータとなる．デー
タコンバータの例を図 5 に示す．また，適するフィルタが存在しない場合は情報が提示できない．例えば，テキスト
をモールス信号のような時系列 2 値情報に変換する Text

to TimeSeriesBinary フィルタを定義していれば，LED のような 2 値情報を提示できるデバイスでテキスト情報を提示可能であるが，そのようなフィルタがなければ，テキス
ト情報は 2 値情報を提示するデバイスでは提示できない．

3．提示デバイスの影響度の算出と組合せの決定提案機構では，各提示デバイスの提示情報認知に影響す© 2014 Information Processing Society of Japan

図 5

情報変形フィルタ適用の例

るユーザ状況や周辺環境を接続されたセンサ等から取得する．例えば，光学式シースルー型 HMD は背景が明るい場
合には情報が読み取れず [9]，人込みや階段歩行中には注視できない [10] といった特徴が先行研究で明らかである
ため，光学式シースルー型 HMD に対しては，その影響度を算出するために必要な特徴量である HMD の背景となる
視界領域の画素の階調値，ユーザ周辺の混雑度合い，ユー
ザが階段を歩行中かどうかを取得することになる．またス
ピーカに対しては，周囲の音がうるさいと情報が取得できない，会話中であると聞き逃すことがあるという先行研
究 [11] から，周辺音の音量や会話状況を取得する．本研究では状況の取得方法については具体的には言及せず，状況認識部を通じてあらかじめ定義したユーザの認知に影響する状況・環境の特徴量が取得できているものとする．
これらの情報を用いることでデータコンバータを評価できる．具体的には，生成した複数のデータコンバータを変換コスト，および各提示デバイスごとに定義している評価
モジュールを用いて取得した状況や環境に応じた認知コストに基づいて評価し，もっともコストが小さいデータコン
バータを，ユーザにもっとも適切に通知が行える方法として採用する．ここで，変換コストとは情報を変換する際に発生する情報の質に対する影響度を指す．例えば，テキス
ト要約フィルタを用いることで情報が欠損するため，変換コストは大きな値となる．また，提示要求時に提示制約が79

与えられている場合は，アプリケーション制作者が意図しもすべて入出力デバイス上で実現する．中間デバイスが存ない変換を行う場合にも大きな値となる．本研究では，簡在しないためシステムのディペンダビリティは高くなる

単のため各変換フィルタごとに初期値として変換コストをが，入出力デバイスにフィルタ処理を行う処理能力が必要定数で定め，制約に反する変換を行う際には変換コストをとなる．また，それぞれのデバイスが PC の生存確認を行大きな値とするだけとした．

うためシステム全体の通信量が大きくなる．

認知コストは，ユーザの状況や周辺環境が与える認知への影響度であり，各提示デバイスごとに定義している提4. 実装

示装置評価モジュールを用いて算出する．例えば，光学式

集中管理方式および完全分散方式のプロトタイプを実装

シースルー型 HMD に提示された情報の読み取りやすさにした．集中管理方式では，米国 Atmel 社の ATmega88 をは，HMD の背景領域とユーザの注視状況が影響すること

2 個使用し，開発環境である AVR Studio 4.16 上で C 言がわかっており，式 1 により求められる HMD の背景が提語を用いてデバイスマネージャを実装した．プロセッサ

示情報の視認性に与える影響度が閾値 Td = 4.09 を超えた

は，PC の監視と入出力デバイスの管理をそれぞれ担当し，ときに提示情報が読み取れないことが分かっている [9]．なSPI(Serial Peripheral Interface) により通信する．PC とデ

R

G

B

バイスマネージャ，デバイスマネージャと入出力デバイス

は，YCbCr 色空間の輝度 Y の階調

は UART(Universal Asynchronous Receiver Transmitter)

お式中の A ，A ，A は RGB 色空間の各色の階調値のY平均を示し，V ，VS

で 38.4kbps の通信を行っている．入出力デバイスとして

値，HSV 色空間の彩度 S の階調値の分散を示す．

S = 0.6AR + 0.9AG + 4AB + 40V Y + 200V S(1)は，ボリューム，加速度センサ，7 セグメント LED，ブザー，
振動モータを作成した．それぞれのデバイスは ATmega88

このようにして算出した変換コストおよび認知コストのを 1 つ搭載しており，デバイスマネージャからのプロファ

和をデータコンバータの評価値とする．例えば，図 5 で示

イル要求およびデータ要求に対応する．データ要求では，したデータコンバータの例においては，イヤフォンに提示

PC が動作している場合にはデバイスマネージャ経由で PCするフィルタパスの影響度は，「Summarize Filter」「Text

へデータを送信し，PC が停止している場合には出力デバ

to Sound Filter」「Changing volume Filter」の変換コスト，

イスへデータを送信する．閾値フィルタを含めたいくつか

およびイヤフォンの評価モジュールによって算出できる認のフィルタを実装しているが，動的なデータコンバータの

知コストの和を影響度として算出する．

配布には対応していない．システムは初期化の際に，PC
停止時にどのフィルタを有効にするかをデバイスマネー

3.2 データコンバータと入出力デバイス

ジャに書き込んでおく．

前節で述べたように，提案するデータフローを実現する

完全分散方式に関しては，著者らが開発した Cilix(図 6)

ためには，入出力デバイスが直接通信し，フィルタによっを I/O デバイスに搭載する．Cilix は.NET Framework でてデータの変換が自動的に行われる必要がある．この仕組利用される中間言語 (CIL) を実行できる仮想マシンであみを実現するためには，システム通常稼働時 (入出力デバイ

り，32bit RISC CPU (32MHz), 128K ROM, 128K RAM,

スが直接通信を行っていない状態) にフィルタのプログラ

4Mbit Flash, リチウムイオン電池，IEEE802.15.4 無線機

ムをなんらかの手段で入出力デバイスに配置すること，お器をもつ構成のプロトタイプデバイスに実装されている．

よび入出力デバイスがシステムダウンを検出すること，さこのデバイスは，通信チャネルとして I2C, シリアルポー

らにはシステムダウン時に直接通信に切り替えてデータ表

ト，デジタル I/O ポート，アナログ I/O ポートをを備えて示を継続すること，が必要となる．本研究では，これらのおり，入力デバイスとしては，加速度センサ，照度センサ，機能を実現するために以下の 2 つのアプローチを試みた．

温度センサ，湿度センサ，GPS，呼吸センサ，心拍センサ，集中管理方式: PC と入出力デバイス間にデバイスマネー

ボタン，方位センサを実装した，出力デバイスとしては，

ジャを配置し，PC の生存確認および入出力デバイス間のLED や振動子，ブザー，有機 EL ディスプレイを実装し直接通信の指示を行わせる．フィルタは各入出力デバイス

た．プロトタイプでは，各デバイスは一定期間ごとに Pingが備えるが，データ通信をすべてデバイスマネージャ経由

メッセージで PC の生存確認を行っている．PC が接続不で行うことで，フィルタ処理もデバイスマネージャに一元可になった場合には I/O デバイス同士の直接通信モードに化することが可能である．この方式を採ることで，既存の移行し，PC が通信可能になったことを検出すると通常の入出力デバイスを大きく変更することなく提案機構が利用モードに戻る．表 2 に示すものを含めてデータ変換フィル

できるが，PC と同時にデバイスマネージャがダウンした

タは Microsoft Visual C# を用いて実装し，PC から I/O

場合には情報提示が継続できない．

デバイスに動的に送信される．データフロー管理システム

完全分散方式: PC と入出力デバイスは直接通信し，PC のを含めた PC 用ソフトウェアは Microsoft Visual C++ お生存確認や PC ダウン時の通信相手切り替え，データ変換

よび C# を用いて実装した．

© 2014 Information Processing Society of Japan

80

表 3

ナビゲーションシステムにおける情報提示の変化
通常時の

必要な情報

システム障害時の情報提示方法

情報提示方法現在地

地図を画像で表示

座標を数値で提示

周辺の情報

建物等の注釈の付いた座標を数値で提示
不可

地図を画像で提示
ルート案内

図 6

Cilix デバイスのプロトタイプ

ルート付き地図を提示，不可

音声案内で提示

地図

地図を画像で提示

不可

ユーザの向き方位を文字で提示

方位を文字で提示

方位角を数値で提示

方位角を数値で提示

目的地の方向方位を文字で提示

方位を文字で提示

方位角を数値で提示

方位角を数値で提示

目的地との方位を文字で提示

方位を文字で提示

相対方向

方位角を数値で提示

方位角を数値で提示

健康管理システム
このアプリケーションは呼吸センサ，心拍センサ，加速度センサ，温度センサ，湿度センサ，照度センサの値をもとに，呼吸数や心拍数の推移のグラフ，ユーザの姿勢，不図 7 ナビゲーションシステム

快指数，目への負担の度合いを図 9 に示すように HMD に表示する．ホスト PC に障害が発生した場合には，呼吸セ
ンサと心拍センサはデータをそのまま有機 EL ディスプレ
イに送り，有機 EL ディスプレイは文字表示フィルタおよびグラフ描画フィルタを利用して呼吸数と心拍の状況のグラフを腕に装着した有機 EL ディスプレイに図 10 に示す
ように描画する．加速度センサは移動平均フィルタを使ってデータを振動素子に送信し，振動素子は姿勢認識フィル

図 8

有機 EL ディスプレイでの進むべき方向の提示

タおよび二値化フィルタを利用し，ユーザの姿勢が適切でない時に腰につけた振動子を振動させる．LED は不快指提案システムを利用したアプリケーション例として，以下の 2 つを実装した．
ナビゲーションシステム
このアプリケーションは図 7 に示すように GPS と方位センサの値をもとに，インターネット経由で取得した現在地周辺の地図とユーザの進行方向を HMD に表示する．ホ
スト PC に障害が発生した場合には，有機 EL ディスプレ
イに目的地までの距離の数値と目的地との相対的な方向の文字を表示する．このとき，GPS 及び方位センサは平均化フィルタを利用し，生データの変動を小さくしている．有機 EL ディスプレイはデータ記憶フィルタにより目的地の緯度と経度を覚えており，GPS からデータを受け取った場
合には距離計算フィルタを用いて現在地と目的地の距離を計算する．また，方位センサからデータを受け取った場合には相対方位算出フィルタを用いてユーザから見た相対的な目的地の方向を算出する．計算結果は文字表示フィルタを用いて図 8 に示すように表示する．このように，ホスト

PC に障害が起きた場合にも情報表示が継続されることを確認した．このアプリケーションにおける通常時の提示内
容とシステム障害時の情報提示内容を表 3 にまとめる．

© 2014 Information Processing Society of Japan

数計算フィルタと二値化フィルタを利用し，温度センサと湿度センサの値を元に不快指数の数値に応じて腕に装着した赤，黄，青の LED を点灯させる．また照度センサも二値化フィルタを利用し，周囲の照度から目への負担の大きさを同じく腕に装着した赤，黄，青の LED を点灯させる．
このような変換によりユーザは呼吸数の推移と心拍の推移
を有機 EL ディスプレイから，姿勢の善し悪しを振動セン
サから，そして不快指数及び目への負担の大きさを三色のLED により三段階表示で取得でき，ホスト PC に障害が起きた場合にも情報表示が継続されることを確認した．健康管理システムにおける通常時とシステム障害時の情報提示
内容を表 4 にまとめる．
このように，提案する情報変換機構を用いることで，システム障害時にも必要な情報を取得できることがわかる．
その他の想定シナリオとして，例えば航空や医療分野においては下記のような利用を想定している．
航空分野での想定シナリオ(1) 民間旅客機において，パイロットがレーダや機体に備え付けられているセンサからの計測データをコックピットに備え付けられているコンピュータにより HUD を通じて81

(4) 数十秒後，コンピュータが再起動することによって
HUD による情報提示が再開される．以降は通常通りコン
ピュータ支援による操縦を続けられる．
医療分野での想定シナリオ(1) 医療現場において，医者が医療機器から送信される患者のバイタルサインや心電図の情報を HMD に表示しながら手術を行っている．

(2) PC が正常に動作している状態では順調に手術は進ん
図 9

健康管理システムでいたが，突然コンピュータが停止してしまい患者の状態を把握できなくなる．一刻も早く患者の状態を知る必要があり，数十秒の情報遮断が患者の生命に影響する．

(3) 提案システムを用いていると，PC 停止と同時に LED
やブザーなどの出力デバイスよって医者に患者のバイタルサインなどの情報を提示できるので，危機的な状況を免れる．また，心肺停止や失神など手術にとって重要なイベン
トを検知するフィルタを用いることで，トラブルに迅速に
図 10

有機 EL ディスプレイによる心拍の推移の提示

表 4 健康管理システムにおける情報提示の変化
必要な情報

通常時の
情報提示方法

情報提示方法

心拍数

推移をグラフ表示

推移をグラフ表示

心拍の変化
呼吸数
呼吸の変化

システム障害時の対処できる．

(4) 数十秒後，PC の再起動により通常の手術に戻る．

5. 評価

心拍数を数値表示

心拍数を数値表示提案機構で新規に着目している提示デバイスを選択的

上昇/下降等を上昇/下降を文字表示に利用することの有効性を簡単なテキスト情報を提示す

文字で提示

LED で表示推移をグラフ表示

推移をグラフ表示

るアプリケーションを用いて評価した．被験者は，提示呼吸数を数値表示

呼吸数を数値表示

デバイスとして光学式シースルー型 HMD(島津製作所，

上昇/下降を上昇/下降を文字表示

DataGlass2/A) とスピーカを接続したウェアラブルコン

文字で提示

LED で表示ピュータ (Sony，VGN-UX90PS) を装着し，提案機構の影響

振動で提示

LED で表示度から最も適するデバイスを選択する方法 (Best Device)，

姿勢

姿勢図を表示振動で提示

影響度が最も高く，提示に不適切なデバイスを選択する方

不快指数

数値で提示

数値で提示

法 (Worst Device)，および常にすべてのデバイスで提示す目への負担

負担度を数値表示

LED で提示る方法 (All Device) の 3 種類の手法で決定されたデバイス

振動で提示
総合

良/悪を文字表示不可に提示された情報を読み取る．またこれら 2 種類の提示方

過去との比較

変化を数値や図で提示

不可法は，被験者に分らないように情報を提示する際にランダムで選択する．実験では，「Click 2 times !」といった 2，3

確認しながら操縦している．また，着陸時であれば HUD

単語で構成されたテキスト情報を図や音声を用いて平均到上の視界に重畳して滑走路へのガイドを表示している．

着率 1 分のポアソン分布の間隔で提示する．音声や HMD(2) 突然機器にトラブルが発生しコンピュータが停止してを通じてメッセージが提示されると，被験者は腰に装着ししまう．コンピュータが再起動するまでの間，パイロットたボタンを用いて反応する．大学生 7 名を被験者とし，さがレーダや機体の状態データを把握できなくなり，危険をまざまな状況における反応回数及び反応時間を測定した．

生じる．着陸時であれば HUD 上に表示されているガイド

表 5 は，被験者が正しく返答した回数を示す．表から，が突然消えるため危険度はさらに高まる．

Best Device は Worst Device と比較して高い割合で応答で(3) 提案システムを用いていると，LED やブザーなどの出きていることが分かる．また All Device と比較した場合

力デバイスによってパイロットへ HUD に表示していた情は，同程度かやや劣る割合となった．ただし，All Device

報の一部を提示でき，危機的な状態を免れる．パイロットと比較して，Best Device は少ない提示デバイスで情報をは入出力デバイスとフィルタの組合せを予め設定している

提示しているため，ユーザを困惑させたりユーザを不快さので，個人の嗜好に合わせた情報提示が可能である．また，せることは少ないと考えられる．また表 6 は，情報提示か

失速や着陸のための誘導電波の受信不良など，特定のトラらユーザが反応するまでの平均時間を示している．表かブルに対してブザーを鳴らすといったフィルタを用いるこ

ら，反応時間は Best Device も Worst Device も大きな差とで，トラブルに対処しやすくなる．

は見られない一方，All Device では比較的早く反応できて© 2014 Information Processing Society of Japan

82

表 5

できる枠組みを提案する予定である．

反応回数

ユーザ状況

Best

Worst

All

静止時

16/16

9/10

18/18

人の少ない場所の歩行

22/24

10/15

21/21

階段の上り

17/18

8/14

18/18

階段の下り
17/20
6/15
21/22
表中の数字は (反応回数 / 提示回数) である.
表 6

謝辞
本研究の一部は，科学技術振興機構戦略的創造研究推進
事業 (さきがけ) および文部科学省科学研究費補助金基盤研
究 (A)(20240009) によるものである．ここに記して謝意を
表す．

反応時間

ユーザ状況

Best

Worst

All

静止時

1.41 秒

2.02 秒

1.62 秒

人の少ない場所の歩行2.04 秒

2.15 秒

1.51 秒

階段の上り

2.42 秒1.85 秒

1.92 秒

階段の下り

1.95 秒

2.21 秒

1.90 秒

参考文献
[1]

[2]

いる．これは，音の提示はユーザに積極的に提示を行える
ためユーザは早くに気付くことができるが，ディスプレイ
での提示はユーザの注視が必要であるため判断が遅れるか[3]らであると考えられる．つまり反応速度に関しては，デバ
イスそのものの特性が影響しているものと考えられる．実[4]

験では，提示情報に緊急性を求めていないためこのような結果となったが，緊急性を高く設定した情報を入力することで，提案機構ではディスプレイでの提示に影響度が高く[5]算出され，音での提示が選択されやすくなる．
評価結果から，すべての装置で提示する場合と比較して，提案手法は少ない提示デバイスで同等の気づきやすさ[6]を実現でき，その点で有用である．特にウェアラブルコン
ピューティングでは，ユーザは情報を受ける機会が多く，毎回すべての提示デバイスを用いて提示が行われると，ユー[7]

ザにとって不快であると考えられるため，提示するデバイスを減らすことは重要であるといえる．

6. おわりに[8]

本研究では，ウェアラブルコンピューティングの信頼性を高めるために，入出力デバイスをバイパスすることによる情報提示手法を提案した．提案手法は，入力デバイスと出力デバイスの間でデータを直接やりとりするため，ウェ[9]

アラブルコンピュータ上のアプリケーションや OS 自体がハングアップしていても情報提示を継続できる．また，情報の形式変換を行うフィルタを評価する手法を提案し，[10]

ユーザにより情報の内容が伝わるフィルタの組合せを自動決定する機構を実現した．予備的な評価により，情報提示においてフィルタが適切に選択されることを確認した．

[11]

今後の課題としては，多数のフィルタを実装して実環境
において運用することが挙げられる．また，現状ではシス
テム稼働時の状況でデータコンバータが確定されるため，システムダウン後の状況の変化にフィルタが追随できな
い．今後は起こりうる状況変化に対応したフィルタセット[12]

五味雄一，森田圭紀，寺田 努，東 健，塚本昌彦，“内視鏡手術における HMD 利用に関する一考察,” 情報処理学
会研究報告 (2008-HCI-130), pp. 75–81 (Nov. 2008)．
寺田 努，宮前雅一，山下雅史，“Wearable Toolkit: その場プログラミング環境実現のためのイベント駆動型ルー
ル処理エンジンおよび関連ツール,” 情報処理学会論文誌,
Vol. 50, No. 6, pp. 1587–1597 (June 2009)．
Harders, M., and Szekely, G., “Enhancing humancomputer interaction in medical segmentation,” Proc. of
the IEEE, Vol. 91, No. 9, pp. 1430–1442 (Sep. 2003).
Rousseau, C., Bellik, Y., Vernier, F., and Bazalgette,D., “A framework for the intelligent multimodal presentation of information,” Signal Process, Vol. 86, No. 12,
pp. 3696–3713 (June 2006).
Duarte, C. and Carriço, L., “A conceptual framework fordeveloping adaptive multimodal applications,” Proc. ofInternational conference on Intelligent user interfaces(IUI 2006), pp. 132–139 (Jan. 2006).
村尾和哉，竹川佳成，寺田 努，西尾章治郎，“ウェアラブルコンピューティングのためのセンサ管理デバイスの設計と実装,” 情報処理学会論文誌，Vol. 49, No. 9, pp.
3327–3339 (Sep. 2008).
Terada, T., Miyamae, M., Kishino, Y., Fukuda, T., andTsukamoto, M., “An Event-Driven Wearable Systems
for Supporting Pit-Crew and Audiences on Motorbike
Races,” iiWAS2008 Special issue in Journal of Mobile
Multimedia (JMM), Vol. 5, No. 2, pp. 140–157 (June2009).
田中宏平，寺田 努，西尾章治郎，“ウェアラブルコンピュー
ティングのためのユーザ状況を考慮した知覚影響度に基づく情報提示手法,” 情報処理学会シンポジウムシリー
ズ マルチメディア，分散，協調とモバイルシンポジウム(DICOMO2008) 論文集，pp. 1479–1486 (July 2008)．
田中宏平，岸野泰恵，宮前雅一，寺田 努，西尾章治郎，“光学式シースルー型 HMD のための読みとりやすさを考慮した情報提示手法,” 情報処理学会論文誌，Vol. 48, No.
4, pp. 1847–1858 (Apr. 2007)．
中尾誠幸，寺田 努，塚本昌彦，“ウェアラブルコンピュー
ティング環境における周辺環境を考慮した装着型ディスプレイへの情報提示手法,” 情報処理学会研究報告，Vol.
2012-HCI-149, No. 9, pp. 1–8 (July 2012)．
矢高真一，田中宏平，寺田 努，塚本昌彦，西尾章治郎，“ウェアラブルコンピューティングのための状況依存音声
情報提示手法,” 情報処理学会論文誌，Vol. 51, No. 12, pp.
2384–2395 (Dec. 2010)．
岸野泰恵，柳沢 豊，田中 聡，寺田 努，塚本昌彦，“小型無線デバイスのための CIL 仮想マシン,” 情報処理学会シンポジウムシリーズ マルチメディア，分散，協調とモバ
イルシンポジウム (DICOMO2009) 論文集, pp. 893–900(July 2009)．

をあらかじめ入出力デバイスに格納しておき，システムダ
ウン時でも状況に応じてデータコンバータを選択的に利用© 2014 Information Processing Society of Japan83