62 日本バーチャルリアリティ学会誌第 7 巻 3 号 2002 年 9 月
225

トピックス

【トピックス】

トピックス

ザの身体能力に差がある場合などに、できるだけ同じ感◆ ATR メディア情報科学研究所
における五感メディアの研究

動を追体験できるように、五感表現を相互に変換する技術も必要になってくる。五感メディアの流れを図 1 に示す。すなわち、体験データをそのまま追体験側に伝える〜体験 Web と五感メディア〜

ことは技術的に容易であるが、相手に感動を効果的に伝鉄谷信二えたことにはならないという問題が起きる。そこで、五ATR メディア情報科学研究所

次のような検討を進める。

感メディアの研究でこれらの問題を解決できるように、電子メール、インターネットの普及によって、政治・（1）五感情報の認識・理解変換技術

経済・文化のグローバル化が加速したものの、同時に、コミュニケーションとしては、音声、映像でかなりの異文化間で対立の先鋭化、デジタル・デバイド、大衆の情報を伝えることができるが、体験を伝える点から考え分衆化、世代間断絶の拡大などの新たな問題が生じていると、人の動き、表情、触覚、脈拍等の生体情報は不可る。これらの問題を解決して、より多くの人がユビキタ欠な情報である。これらは、体験の感動を伝える情報でス環境を利用できるようになるためには、グローバル化あり、これらを意味のある情報に変換することが要求さだけでなく、異文化、異分野の多様性を認め合う視点、れる。

すなわちダイバシティ（多様性）化を実現する研究開発

これまでに人の動きを捉えるための入力としてカメラが必要になる。そこで、メディアの研究の立場から、世を利用した取り組みで、人物の行動認識を扱ってきてい代、地域、職業、文化、社会を越えたダイバシティを認る。この方法は、映像の中から、非同期多視点画像を利め合うコミュニケーションを実現するためのメディアと用して人の動きを追跡し、同時に動作認識（立った、座っして、Web を介して人の体験、創造活動に関する情報た等）も行うことができる。特に、非同期ということで、を相互共有できる「体験 Web」構想のもとに、体験 Web

カメラが数 10 台と増えたとしても対応でき、広範囲のにおける機能性の追及という観点から、入出力に関わる行動を捉えることができる。さらに、カメラの追加にお五感メディアにおける取り組みを行っている。

いては、すでに設置されている複数のカメラから推定し、体験 Web を構築する場合に、相手に感動を伝えるの自動校正を可能としている。に効果がある感覚情報として、現在の Web にあるテキ人が特定できると、人物の表情をとるために頭部およスト、映像、音以外のどんなメディアが利用できるかび眼の位置を特定する必要がある。頭部の検出には、肌を明らかにする必要がある。次に、体験を発信するユー色と眉間の領域の濃淡に着目したリングフィルタの利用

ザと、追体験するユーザとの間で、観測または体験できにより見つけることを進めてきており、眉間の位置からるメディアや環境が異なった場合にできるだけ同じ感動眼の位置を検出することを行ってきた。顔画像が特定さを体験するにはどのようにすればよいかという問題があれている場合には、瞬きの変化をフレーム差分で検出する。
また、両ユーザでメディアが同じでもそれぞれのユーる方法を試みている。このような入力系においては、環62JVRSJ Vol.7 No.3 September, 2002

トピックス

境変化に対するロバスト性の向上に課題を置き、背景・63
226

試み、有効性の評価を進める。

照明条件に適応的に対処するアルゴリズムを構築するこ

嗅覚関連では、香りの搬送方法の検討を進める。複数とに主眼をおいている。その他の生体情報は、既存センの人がいたとした場合に、各人に同時に異なる香りの提サーを利用する方向で考えている。

示ができる方法を検討する。味覚に関しては、直接的に次に、得られた認識結果だけでは、ユーザ間でメディ味わうということはせず、視覚を中心とした他の刺激とア環境が異なる場合には、発信者の感動を思い通りに相組み合わせて、味として記憶に残っている感覚を想起さ手に伝えることができないので、得られた認識結果に意せる手法をとる。また、他の刺激と同時に味を強制的に味を持たせることにより、変換を可能とする。例えば、記憶させ、刺激により味の想起をさせる試みを行う。

人の行動において、迷っているのか、不審な行動をしているのか、疲労した状態なのか等の意味を持たせる。そ（3）五感情報の相互変換技術のためのラベル付けを行うことになるが、人手では膨大体験を体感に変換させる場合、入力されたデータを出な手間がかかる。そこで、動画像認識で動きを抽出し、力側で忠実に再現することは困難である。入力データと人の行動を解析することから始め、自動的にラベル付け体感出力との整合性を鑑み、単純な変換だけでは本当にを行うことを試みることを、今後、検討する。

伝わったかが分からない場合がある。そのため、双方向の感覚フィードバックを行うことで、本当に伝えたい感（2）体感として伝える研究

覚に近づけることを考える。本研究では、感覚変換へのテキスト、映像、音以外に体験を再現するのに、五感心理的要因の解明、感覚再現間の相関関係の定量的な把情報、生体情報、身体情報という情報が必要となる。感握、さらに、双方感覚フィードバック手法等の研究を進

覚情報の中で、ユーザ自身が動き、肌で感じることによっめる。て得られる体験が、感動を増す効果がある。そこで、触覚では、手、足、皮膚という対象から研究を進める。

最後に、五感メディアの取り組みにおいて、どの体感体感型スポーツとして、マラソンにおけるプロの選手の表現手法を用いても、体験を完全に再現することは困の運動を体験する試みを行ってきている。しかし、プロ難である。つまり、本当の体験をすることはできない。の選手並に走ることは到底無理である。そこで、個人のしかし、その再現された追体験から、本当に体験したく運動能力に応じて、その走る速度を変換することにおいなるという気持ちが生じれば、それは、成功であると考て、実際のプロの選手と同じ体験を味わうことができる。

え、研究を進める。

この変換には、脈拍を用いて疲労度に変換している。走行用のベルトは、速度設定をするものではなく、人の走る速度を検知して、その速度に応じて走行ベルトが動く

五感メディア
五感メディアの構成の構成

体験

観測系
観測系

仕組みになっている。従って、実際の道を走る感覚に近

特徴抽出

認識／理解認識／理解

温湿風空間

いものである。

触覚再現
人物の動き 触覚再現
人物の動き
握手再現
握手再現
検出
検出

他の体感としては振動を取り扱うことの検討を進めてそよ風
そよ風

いる。振動デバイスをマトリックス上に配置し、衣服に直接刺激直接刺激装着し、全身で振動を感じることができるようにする。

香り
香り

相互変換処理刺激として、直線的、曲線的、時間的変化等を与えるこ

全方位歩行とにより、被験者の感じ方のデータをとることにより、振動デバイスを用いた体感への表現方法を明らかにし追体験

再現装置ていく。また、雑踏、コンサートのような環境の中では

特徴パラ
特徴パラ
メータ群
メータ群

入力部

処理装置
特徴パラ
特徴パラ
メータ群
メータ群

出力部
出力部

メディア合成メディア変換メディア合成 メディア変換

視覚・聴覚に情報を与えることが困難であるが、背中に文字をなぞるように振動デバイスを駆動していくことに

図１

よって、情報を提示することが可能となる。これ以外に五感メディアの流れも、力覚フィードバックに関連する研究を進める。
間接刺激としては、温湿風環境の構築を行い、それ単本研究は通信・放送機構の研究委託により実施したもの

独の表現ではなく、他の刺激と組み合わせた感覚刺激をである。

63