第１１回ＮＡＩＳＴ産学連携フォーラム発表資料

２００５年９月１２日

ポータブルからウェアラブルへ
日常生活を拡張する着用指向情報パートナーの開発
ー ウェアラブルで日常生活は変わる、変えたい、？ ー

奈良先端科学技術大学院大学（ＮＡＩＳＴ）
情報科学研究科（ＩＳ）
木戸出 正継kidode@is.naist.jp

Wearable Information Playing Station (WIPS)

情報パートナーの開発コンセプト

日常生活における情報活動をＷＩＰＳで支援する

情報活動支援処理を楽しむ、自然に行う、また使いたくなる、・・・・
Information Player, Information Partner,
Information Playing Station,などのイメージ……

高度メディア社会の生活情報技術の捉え方• 日常生活における情報活動の支援機能
記憶、処理、通信、操作など• 着用型常時作動機器
意識利用・無意識作動• ユビキタス環境との融合• 機器のファッション性や実装性の追求はなし例：私の日常生活での欲しい支援機能• ボケ防止 物忘れ・人忘れ・場所忘れ対策（無意識／常時稼動情報の活用）• 旅ガイド 海外旅行中のオンライン提示（ＭＭ情報アノテーション）• 機器接続 ＡＶ機器接続・ＰＣネット接続（専門家との簡単な共同作業）

WIPSの利用者イメージ
先物指向の若者を中心にヘッドマウント型
カメラ＋ディスプレイ
イヤフォン＋マイク

ショルダー型マイクアレイ

ネクタイ型マイク
腕時計型マイク
ディスプレイ＋カメラ

空間共有
没入型提示装置(IPT)

ウェアラブルコンピュータ

拡張記憶アルバム-記憶の要約，編集，検索

知的共同作業支援

知的ナビゲーション

・ユーザ注視検出，注目映像抽出・記録
・映像情報の構造化/画像連想検索-複数ユーザ・地点での空間共有

知的応用

GPS
ジャイロ

拡張現実IF

着用指向音声IF-耐雑音・ハンズフリー音声認識-実環境と仮想環境のレジストレーション
・GPS，ジャイロセンサ，ビデオ情報の統合

・極小規模マイクアレイ-ささやき声・つぶやき声-実環境アノテーションと情報共有

ウェアラブルインタフェース-HW資源管理-コンテキストアウェアネス管理（ミドルウェア対応）

ウェアラブルＯＳfront-end DBMS

着用指向ビジョンIF-バーチャル入力デバイス-身振り認識・物体認識

ウェアラブルＤＢ

backend DBMS

-知的データ交換 -階層的データ要約-追記型履歴データベース-XMLデータベース-映像のオンライン要約

ウェアラブルネットワーキング・無線通信環境でのセキュリティ，プライバシ保護・動的グループ形成
他者のWearable機器

サーチエンジン

プラットフォーム基盤

新しい応用を目指して(応用のビジュアル化も含めて）(1) 拡張記憶アルバム 例：映像備忘録（常時稼動、無意識） 物忘れ防止支援(2)知的ナビゲーション 例：観光地、室内案内
災害救助支援(3) 知的共同作業支援 例：室内デザイン

拡張記憶アルバム：映像備忘録，物忘れ防止支援
・可視光・赤外線反射統合型カメラによる把持物体領域の効率的な抽出・頭部装着カメラの常時獲得画像を用いた類似映像の検索・対象物に「触れる」メタファによる拡張記憶の整理・閲覧・共有・把持物体認識による拡張記憶の検索

SARA…
Where?

Wearable Virtual Tablet

Memory Editing- 編集・情報付加

I’m Here! …

Residual Memory
Memory Retrieval- 拡張記憶の検索

I’m Transportation
MemoryHere!
- 実世界対象との関連付け
による拡張記憶の整理…

RetrievedMemory

実世界オブジェクト…

カメラ Ubiquitous Memories

Memory Exchange- 拡張記憶の共有

知的ナビゲーション応用（１）ー屋内外案内拡張現実感技術 : 現実環境に仮想物体を重畳表示する技術‐ ユーザに対して直感的な最新情報の提示が可能
正しい位置・姿勢に注釈情報を重畳表示
ユーザの位置・姿勢の計測が必要
特にユーザの位置計測が課題

ユーザの位置計測のいろいろーその１
赤外線ビーコン送信機
環境埋込み型センサ（IrDA送信機、RFIDタグ）を利用してユーザ位置を特定
RFIDタグ

歩数計測を利用して環境埋込み型センサからのユーザの相対的な位置を推定

拡張現実ナビにおける位置姿勢測定技術（１）
姿勢センサ
2

ユーザの姿勢INTERTRAX(INTERSENSE)

カメラ
現実環境の映像

QV-700N(Logitech)

表示デバイスClip On
Display(MicroOptical)

注釈付加画像慣性航法モジュール
DRM-III(PointResearchCorporation)

ユーザの位置 環境埋込み型センサ
検出装置
IrDA受信機(MISystems)
RFIDタグリーダ V720(OMRON)

計算機
INSPIRON
8100 (DELL)

拡張現実ナビにおける位置姿勢測定技術（２）
画像マーカを用いた室内ユーザ位置検出
広範囲で利用でき、安価で設置の手間が少ない方式
天井に貼り付けた多数の画像マーカを頭部搭載の上向きカメラで検出し、ユーザ位置を推定••– 位置が既知である少数のマーカを基準に順次その他のマーカ位置を算出– マーカとカメラの相対位置からユーザの位置・姿勢を推定– 複数マーカを用い、また時間方向に蓄積することで高精度化装置が非常に安価で、設置の手間が少ない
位置精度はおよそ数ｃｍ〜１０ｃｍ程度••

注釈の表示例（ロボット）
天井の画像マーカ•

ハードウェア–ＬａｐｔｏｐＰＣ DELL Ｉｎｓｐｉｒｏｎ８１００
–
–––

•

ビデオカメラ ＤｒａｇｏｎＦｌｙ（Ｐｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅａｒｃｈ社）
ディスプレイ Ｃｌｉｐ‐ｏｎ Ｄｉｓｐｌａｙ（ＭｉｃｒｏＯｐｔｉｃａｌ社）

ソフトウェア–ＯＳ ＲｅｄＨａｔ７.１–

ＡＲＴｏｏｌｋｉｔ （Ｗａｓｈｉｎｇｔｏｎ大学）

ユーザ知的ナビゲーション応用（２）−災害救助用無人ヘリコプタの操縦支援
ヘリコプタ

オペレータ

全方位画像

展開画像

知的共同作業支援
VR/MR プラットフォーム間での協調作業
没入型 VR 空間

実空間でのMR表現

空間共有
協調作業

設置型大型ディスプレー

コンテンツの一貫性制御
環境・ユーザのセンシング
ウェアラブルインタフェース

異種プラットフォーム
実時間通信

ウェアラブルPC

IR タグ

全方位ビジョンセンサによる実空間モデリング

広角カメラ

知的共同作業支援のための要素技術
対話的な仮想物体の操作とレンダリング

共有 MR 空間

MRVR

ユーザの位置センシング
ウェアラブルPC用デバイスレスI/F

Hand-Menu

Hand-Key

Hand-Pad

Hand-PointerDial-Menu

優しい操作・自然な使い勝手なIFの具体化(1) ビジョンインタフェース
注視物体認識仮想タブレット（どこでも入力）(2) 音声インタフェース
マイクアレイ（音源定位）、耐雑音認識
音響拡張現実感着用指向ビジョンインタフェース


視野画像からの注視領域の検出

仮想指書きタブレット



視野カメラ


環境中の３次元注視点座標の推定
点

長さ
物体

例：ロボット移動

指で平面物体をなぞって文字や図形を入力
リアルタイムで指先と平面物体の３次元位置・姿勢を計算

着用指向音声インタフェース
耐雑音音声信号処理

z Small microphones on glasses or awrist-watch.（マイクロフォンアレイ）
z Extract speech signal from noisy
data using Blind Source Separation.
（信号分離）

マルチモーダル音声理解

z Whisper recognition by speaker
adaptation and large database.
（話者適応とささやき声認識辞書）
z Integration of Lip reading andspeech recognition using Viseme.
（唇画像認識と結合）

日常生活におけるどこでも音声入力の実現

音声インタフェース（音響拡張現実感）
拡張された音情景

現実の音情景
イヤホン
マイクバ
イノ｜
ラ
男声は聞きル
取り辛いB
定位感・残響感 Sを損なうことなく、 S
約15 dBの分離が可能

分解された
音情景１

女声はそのままの音色・位置を保ち、男声の音質のみが変形される

分解された音情景２

声質変換と音源定位も男声⇒女声（聞き取り易い音へ）

コンパクトで便利な基盤の実現(1) コンパクトなウェアラブル向きDB
知的データ交換・配信を支えるウェアラブルDB(2) コンパクトなウェアラブル向きOS
コンテキストアウェアサービスを支えるウェアラブルOS

知的データ交換・配信を支えるウェアラブルDB
位置依存情報の詳細度を考慮した移動オブジェクト群への情報配信
研 究 背 景 移動端末への情報配信

多数の移動端末への効率的な情報配信手段が必要
データ放送の利用 利用者の位置を考慮した情報サービスの必要性
 データ放送による位置依存情報サービスの実現

例えば、利用者は位置情報を用いて特定範囲内の情報を受信

問 題 点

基 本 ア イ デ ア

 あるエリア内の全ての位置依存情報が同等に扱われる


距離に応じて情報の重要度が変化すべき

 情報量の増大に伴いデータ放送周期が長くなるデータ量と放送周期とのトレードオフ

What’s theinformation
about theneighboringarea

近傍だけの区域内の全て位置依存情報の位置依存情報
近傍の情報だけの放送によりNeighboring areas for

データ量の減少、放送周期の短縮化

コンパクトなウェアラブル向きOS（１）
目的別再構
成可能構造

Original
retargetable
OS Lambda,
highdevelopment
efficiency

OS設計

サイズ最適化技術

Operating
Systemfor theWearableComputer
System

新機能追加：
ウェアラブルＯＳ（２）−コンテキスト依存

Low power
consumption
memorymanagement

省電力メモリ管理

Size
reductiontechniques for
multi-purpose
OSs

Low power
consumption
dataencoding

省電力
アルゴリズム

省電力符号化コンテキストアウェアサービスを支える
ウェアラブル向きOS（２）(ミドルウェア）
現在の状況(コンテキスト)を利用してサービスを提供
AppApp

生活環境
位置情報ビーコン

App

天気

着用型情報パートナ
価格情報
温度

GPS

データの収集・加工が非常に煩雑→ ミドルウェアが必要

etc…

不確かなデータソースや必要な精度を満たさないデータソースがありうる→ データの評価が必要→QoC情報(精度,鮮度, 信頼度等)をあつかう必要がある

ユーザを常に補助するためユーザを危険にさらすことが→ 信頼性が重要

事故

実験と評価の手順
準備： Concept-image Video Production

目標イメージの明確化（ビデオ創作）
応用イメージ
インタフェースイメージ
基盤イメージ実験と評価の手順• 中間評価; 2003年秋
基礎実験（要素毎、小規模）と改良
新規性の確認（ロバスト性の追及）• 最終評価 ; 2005年冬
評価実験（統合を目指して、中規模）
有効性の確認（デモ展示）

実験と評価の位置付け• 新しい応用の実現（新規性と有効性の追及）
拡張記憶アルバム
拡張現実ナビゲーション
知的共同作業支援• ウェアラブル機能のビジュアル化（新規性と有効性の追求）
画像と音声のインタフェース
基盤となるDBとOS

情報発信（会議主催）• 国際ワークショップ at NAIST
１st ２００２年２月２８日ー３月１日
２nd ２００３年５月２３日ー２４日
ＩＳＷＣ０４と連動して at Arlington, USA
3rd ２００４年１０月３１日• ＩＳＷＣ０５と共催して 大阪産業創造館
4th ２００５年１０月１８日ー２１日

情報発信（メディア対応、他）• CNBC News (2001秋)、奈良TVニュース（２００３年１月）• 日経(2002/3/22)、日経産業(2002/4/3)• ZDNet JAPAN, CRESTワークショップ特集（2003/6/5）• 映像情報メディア学会誌特集号（２００３年３月）• 計測自動制御学会システムインテグレーション部門
講演会SI2003特別セッション発表（２００３年１２月）• 社会との連携
応用場面の開拓（市場開拓）、HMDメーカとの評価協力、社会展開（例、障害者支援への協力）

ウェアラブル国際会議ISWC2005 in大阪
• アジア/太平洋地域では初の開催– これまで米国7回，欧州1回• 会期（予定）：– 2005年10月18日（火）〜21日（金）• 10/18: チュートリアル，併設ワークショップ等• 10/19-21: 本会議• 会場（予定）：大阪産業創造館– 4Fイベントホール：口頭発表，ショー等イベント– 3Fマーケットプラザ：企業展示，コーヒーブレーク– 6F会議室：デモ発表・ポスター発表– 16Fレストラン/ヴィアーレ大阪：懇親会等

今後の課題と展開方向• 実用化・社会普及
入出力機器の実装、本体のウェアラブル化• 技術のロバスト化・高度化（パッケージ化）• 技術の統合（システムインテグレーション）
マルチメディア・マルチモーダルの有効性追求• キーアプリの探索・提案
特殊作業（共同）、遺跡発掘（ナビ）
体験映像の蓄積・映像記憶機器（拡張記憶）、等々
ウェアラブル以外への技術展開（ＨＩ、ケータイ・ＰＤＡ関連）

展開方向イメージ（１）平城京タイムトラベル（案１）
拡張現実ナビゲーションの具体化展示

・毎日開催
・観客は自由に歩きまわれる・復元された構造物とシームレスにバーチ
ャルな構造物が特殊メガネに重畳表示
・門番/物売り等のバーチャルキャラクタが当時の姿で歩き回る

ディジタル大極殿（案２）
拡張現実舞台の具体化展示

・観客は着席して観劇・リアルアクターとバーチャルアクターの入り混じったミュージカル
・バーチャルアクターは舞台の範囲を超えて動き回り，飛び，変身・背景・大道具を瞬時に切替
・リアル/バーチャルアクター間の立ち回り（・観客に浮遊感のある映像・音響を提供）

展開方向イメージ（２）−ユビキタス環境との融合

ユビキタスカメラシステムとの情報交換による仮想透視映像生成・提示 観測画像
スーパーXビジョン
カメラ

ネットワーク（情報交換）

透視映像
HMD
情報交換

拡大映像