「インタラクション2000」平成12年2月

什報獲得機能を持つウェアラブル・オーサリングシステム
大内一成 大盛善啓 松下宗一郎 土井美和子㈱東芝研究開発センターヒューマンインタフェースラボラトリー

E−mail：（kazushige・OuChi，yOShihiro・Ohmori，genSO・matSubara，miwako．doi）＠toshiba．cojp
それらの作業は後から別の編集用システムを利用し1．はじめにて行わざるをえなかった。

日常生活において、過去に収集したマルチメディ

3。システム概要

アデータの編集、レポート作成などの作業は非常に手間がかかるのが現状である。これは、撮影した画この問題点を解決するために、音声認識により認像データとそれに対するメモなどが、それぞれ関連識されたキーワードを検索タグとして利用できるよ付けられずに蓄積されていることに起因する。

うにマルチメディアデータを構造化するウェアラブ

一方、ウェアラブルコンピュータにおいてストレル・オーサリングシステムを提案する。図lに、本スのない入力を実現するためにはContext−aWareneSSが利用される［1】。Context−aWareneSSを利用し情報提示を行う試みや【2】、データ入力の際にータの例を示す。本システムは、状況認識センサ、Context−aWareneSSを利用する試み［3］、などが報告さPC（Librettoff1100）で構成される。ユーザの手首に取システムの概観と、構造化されたマルチメディアデ
帽子に取り付けられたカメラ、マイク、ミニノート

れているが、データ入力、情報提示の両方に利用さり付けられた状況認識センサは、加速度センサとれるべきであると考えられる。

MPUで構成される。手首の動作の認識はすべてこのそこで我々は、ユーザの動作を認識する状況認識

MPUで処理され、PCには認識結果のみが送れらる。

センサを手首に装着し、ハンズフリーでデータ入力

従って、PCの処理に負荷をかけることなく、動作のを行い、即座にそれらのマルチメディアデータを構認識を行うことが可能である。この状況認識センサ

造化してHTML形式で保存するウェアラブル・オーにより認識された動作により、画像の撮影、音声メサリングシステムを提案する。まず、従来のデータモの録音、音声キーワードの認識、の3つの入力モ収集システムにおける問題点について触れ、次にードをハンズフリーで切り替えることができる。

PCでは、マルチメディアデータ構造化と音声認識我々が開発したウェアラブル・オーサリングシステ

ムについて説明し、展示会で実際に本システムを使の処理を行う。音声認識エンジンには弊社で開発し用した際の結果を紹介する。

た音声認識モジュールを用いてキーワード認識をする。状況認識センサにより音声メモ入力と音声キー2．従来のシステムワード入力を切り替える。これらの音声データとタ

例えば展示会を見学してレポートを作成する際、イムスタンプは自動的に画像データと関連付けられ見学者はデジタルカメラでたくさんの画像を撮影し、［4】、検索タグとして利用することができる。このよ

それとは別にメモを書く。そして、オフィスや自宅うにして構造化されたマルチメディアデータは互いに戻ってからそれらのデータを整理してレポートをにリンクされ、編集しなくても実用に耐えるデータ作成する。その際、撮影時の鮮明な印象が失われてとしてHTML形式で保存される。

いる場合が多く、また構造化されていないマルチメ

このようにして、本システムでは、収集したマルディアデータの整理には非常に手間がかかるというチメディアデータがその場ですぐにHTML形式の問題があった。

レポートとなる。

また、カメラ対し、一定時間の音声メモを録音することができるものがあるが、後から音声メモをデータの検索等に利用できるといったものはない。
このように、従来のデータ収集システムは、あくまで素材としてのマルチメディアデータを収集するためだけに作られており、収集されたデータ間の高度な関連付けや、自動編集などには適しておらず、AWearableAuthoringSystemUsingOrganizedMultimediaData
KazushigeOuchi，YoshihiroOhmori，SoichiroMatsushita
andMiwakoDoi
HumanInterfhce Laboratory，TOSHIBA Research and Develop−
mentCenter−45−

状況認識センサ

図1システム概要

4．実験
本システムの有効性を検証するために、1000人規模の展示会で本システムを展示し、ブースに訪れた．タグ検索

方々のデータを実際に入力して即座に統計を作る実工廠廟験を行った。

まず、来訪者の画像を2枚撮影し、その画像に対享．興味する音声メモ（3秒間）と、音声認識による音声キ、、、、、…

、、、、、、−、、‖、、−■、、、−−、、ヨーワードを2種類入力した。キーワードには、来訪輝新者の所属と、興味のある分野を入力した。ここで認柄繹前澤搭鍔罰維

識するキーワードは予めキーワード辞書に登録（10数個）しておいたものである。尚、これらの入力の‡．最新データ腰漣抱童憲

切り替えは、前述の状況認識センサによりユーザの手首の動作を認識して行ったため、両手をふさぐことなく入力することができた。

図3統計グラフの一例

このようにして入力された一連のマルチメディアデータはミニノートPCで関連付け、構造化され、HTML ファイル形式のデータとして生成されて、り、収集したデータを編集しなくても実用的なデーWebサーバへワイヤレスLANを用いてその場で送タとして自動的に生成することができる。

（サムネイルつき棒グラフ）

図3の例では、興味のある分野ごとに色別で棒グ信される。送信された個人データは、Ⅵねbブラウザ上で例えば図2のように表示される。ここで画像をラフ形式で表示している。縦軸は時間帯を示し、横クリックすると、その画像が撮影されたときに入力

軸はその時間帯に訪れた人の人数を示している。グされた音声メモが再生される。また音声認識によりラフ中の各サムネイルは、それぞれの個人データヘリンクされているので、クリックするだけで、図2認識された二つのキーワードが画像の横にテキストで表示されている。このキーワードはデータの検のような個人データを表示させることができる。

索・統計等に利用することができる。今回の実験では、一目で約100名のデータを入力した。

5．まとめ
本稿では、音声認識による音声キーワードを用い本システムではさらに、音声キーワードを用いることにより、集められたマルチメディアデータからてマルチメディアデータを構造化することにより、図3のようなサムネイルつきの統計グラフを生成し編集することなくレポートやⅥ晦bページを作成することができる、ウェアラブル・オーサリングシスて表示することもできる。左側のフレームの各メニテムを提案した。今後は、音声認識に加えて、画像データ中の文字を文字認識させることにより、より有用なインデックスを利用することを計画している。

ューを選択することにより、所属別、興味別の一覧リストや、他の統計グラフも即座に参照することができる。このように、本システムを用いることによ

また、獲得したデータを利用する際にも状況認識センサを利用し、ユーザの状況に応じて適切な情報を提示する方法についても検討を行っていく。

参考文献［1］B．Schilit，etal．， Context−AwareComputingAppli−
Cations，IEEE Wbrkshop on Mobile Computing

SystemsandApplications，85−90，1994．
［2］S・Feiner，etal．，

ATburingMachine：Prototyping3D

Mobile Augmented Reality Systemsfor Exploring
theUrbanEnvironment，MISWC−97，October1997．
［3］J・Pascoe，AddingGenericContextualC叩abilities

toWearableComputers，【4］YOhmori，

ISWC−99，October1999．

ATbolfbrProgrammableAccesstoOr−

ganized Multimedia Data，pp．249−252，199S

図2保存された個人データの例

ー46−

IEEE APCHI

98，