Tangible Chat:キーボードチャットにおける触覚を利用した対話状況アウェアネスの伝達
山田 裕子 †平野 貴幸 †西本 一志 †

オンラインチャットは, 現在最も広く利用されているネットワーク上でのコミュニケーション手段の一つである。しかし, そこでは基本的に文字情報しかやり取りできないため, 非言語情報が欠落してしまう。この結果, 同じ文であっても, その発話者がどんな心境や状況でその発話をしたのかが不明瞭となってしまう。そこで本研究では, オンラインチャットで必ず行われ, かつもっとも自然な行為である「打鍵」に着目する。チャットで自然に行われるこのような打鍵行為によって生じる物理的作用である振動を対話相手に伝達し, 触覚情報として提示することにより, 対話状況アウェアネスを伝え合うことを試みる。プロトタイプシステムである Tangible Chat を用いた実験の結果, 複数の話題の同時進行が減少し, 発話順序交代が円滑化したことが確認された。また, 感情の伝達による対話内容の活性化についての有効性も確認することができた。

Tangible Chat:A Chat-System that Conveys
Conversation-context-awareness by Using Tactile Sensation
Yuko Yamada† , Takayuki Hirano† , and Kazushi Nishimoto†An on-line chat is a typical communication medium that is widely used. However, it canusually transmit only verbal information. Therefore, there is lack of non-verbal information.
Consequently, it is hard to exactly know the situation of conversation at remote locations. In
this study, we focused on “key-stroke” that is taken necessarily in an on-line chat, because itis considered key-stroke-act expresses some conversation-situation. We developed “TangibleChat” that conveys the conversation-context-awareness mutually by transmitting vibrationthat is naturallly produced by the key-stroke-act in the on-line chat to a dialog partner,
and by displaying it as tactile information. Based on experimental results, we confirmedthat simultaneous progress of two or more topics decreased and that smooth turn-taking
was achieved by using Tangible Chat. Moreover, I also confirmed that the chats were more
activated by Tangible Chat.

1

はじめにン手段である。しかし、そこでは基本的に文字情報しかやりとりできないため、非言語情報が欠落してしまう。この結果、同じ文であっても、その本研究は, オンラインでのテキストベース・コ発話者がどんな心境や状況でその発話をしたのかが不明瞭となってしまう。

ミュニケーションにおいて, 文字情報だけでなく対話状況をも伝達することを可能とする技術の確立を目指している。この目標への第一歩として, 本稿

たとえば通常, 対面で対話を行っている場合, 相では打鍵動作を触覚情報として伝え合うことができるテキストベース・チャットシステム Tangible

手の話を受けて自分が話す, といった具合に, 発話の順序交代が暗黙の内にうまく行われている。

Chat を構築し, その有用性を評価する。
オンラインチャットは、現在もっとも広く利用

しかし一般的なオンラインチャットの場合は, 対話相手の状況がまったくつかめないために, 対話されているネットワーク上でのコミュニケーショ内容をどんどん先に進めてしまったり, またそのことから対話内容が前後したり, 複数の話題が同時に進行してしまうことが多々ある。

† 北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology,Hokuriku
E-mail:{yuuko-y,hirano-t,knishi}@jaist.ac.jp

そこで本研究では、オンラインチャットで必ずおこなわれ、かつもっとも自然な行為である「打鍵」に着目する。たとえば怒ったとき、Enter キー

1を力強く叩いたりしてしまうように、チャットで自然におこなう打鍵行為によって生じる物理的作を打つ振動を検出し, 相手に伝達する。振動デー
タ/オーディオ変換モジュールは, 受け取った相用である振動を対話相手に伝達し、触覚情報として提示することにより、対話状況アウェアネスを手からの振動データを MIDI(Musical InstrumentDigital Interface) 音源を利用してオーディオデー伝え合うことを試みる。これによって, 発話の順序交代が円滑に行われるか, また感情面の情報をタに変換する。変換されたオーディオデータは,振動子から振動として出力される。

抽出・伝達することが可能となるかについて検証する。

振動の検出には, 図 2 に示すように加速度セン2サを用い, これをキーボードに取り付けることによってキーボードを打つ振動を抽出している。加速度センサは, アナログデバイス社の ADXL202

Tangible Chat の構築を使用した。このセンサにより計測された振動データは, パソコンにシリアル通信で送られる。

本研究では, 次のような機能を備えたチャット

これによって, 打鍵で生じる振動をリアルタイムに計測する。

システム “Tangible Chat” を開発する。

• 対話状況を非意図的に入力, 伝達する機能

振動出力のデバイスとしては, オメガ・プロジェ
クト社の言語学習用システム JX-1[1] を使用した。
このシステムは, 振動子を内蔵したクッションと打鍵で発生するキーボードの振動をセンサによって自動的に抽出し, 伝達する。これによっアンプで構成されており, 音声を増幅し振動に変えることで, 音を振動として体感させるものであて, 対話状況を意図的に入力する必要がなくなり, より自然な対話を行うことができるよる。これを利用し, オーディオデータを振動としうになる。て出力する。実験ではこのクッションを椅子の座面に置き, 被験者にはその上に座りながらチャッ• 非言語情報を非言語情報のまま提示する機能トを行ってもらった。

抽出・伝達された振動を, 振動のまま出力する。これによって, 非言語情報としての振動を自然な形で感じることができるようになり, 対話状況認識のための余分な認知負荷を必要としなくなる。

2.1

モジュール構成

図 2: キーボードに取り付けた加速度センサ

2.2

振動データの処理

チャットモジュール間でテキストデータを送受

図 1: ソフトウェア構成

信する一方, 振動検出モジュールと振動データ/オーディオ変換モジュールの間では, 振動データの送受信が行われる。

図 1 に示すように, 本システムのソフトウェアは, チャットモジュール, 振動検出モジュール, 振振動データから MIDI データへの変換は以下の動データ/オーディオ変換モジュールの３つのモジュールから構成される。チャットモジュールは,ような流れになる。an をセンサから取り込まれる加速度の現在値, an−1 をそのひとつ前の値と入力された文字情報を相手に伝達し, テキストとして表示する。振動検出モジュールは, キーボードして, まずその差分の絶対値 |a| を求める。すなわち,2感じて, 相手の様々な対話状況を察知することが可能となる。

|a| = an − an−1 。
今回使用した加速度センサの出力には, センサ自体を全く動かしていないにも関わらず値が変化するというドリフト現象が存在するため, このドリフト分の吸収を行うために閾値 x をもうけ, 閾値以上の値を振動として抽出した。すなわち抽出v = |a| + yv=0; if |a| > x; otherwise

評価実験

3.1

振動伝達の効果に対する仮説

通常のテキストベースチャットでは, 対話相手の状況がつかめないために, 対話内容の前後や複数される振動 v は,

3の話題が同時に進行してしまいがちである。しかし, 振動によって対話相手の状況をつかむことがで。

きるとすれば, 相手が入力しているという状況を把握できるので, 発話の順序交代を円滑化するとここに y は, 最も弱い振動を適切な音量の MIDIベロシティ値に対応させるための定数値である。

考えられるとともに, 複数の話題の同時進行が減るという効果があると考えられる。また Tangible
Chat では, キーボードを叩く強さが出力される振経験的に, x の値は 68 , y の値は −44 とした。
また,MIDI のベロシティには 1〜127 の範囲の値動の大きさに反映される。そのため, 感情の伝達にも効果があると考えられる。

が用いられるが, ここでは v > 100 のとき v =100 と一定値にした。よって, 抽出された振動は25 ≤ v ≤ 100 の範囲にマッピングされる。このような値の範囲としたのは, 25 未満だと値が小さ

3.2

実験 1

3.2.1

実験の概要と結果すぎて振動が感じられず, 逆に 100 以上だと値が大きすぎて, 出力される振動の強弱に差が感じられなかったからである。

本実験では, 対話状況伝達機能を持たない通常音の高さを表現するノートナンバーは 36 とした。これはかなり低めの音である。また, 出力するのテキストベースチャットと Tangible Chat の比較を行う。実験の被験者として学生 28 名を募り,2際の楽器の種類は Taiko Drum を選択した。振動を出力する際, 低い音程で, パッカーションやドラ

人 1 組で実験を行った。チャットは匿名で行い, 互いに相手が誰かを知らされていない。さらにチャッムといった打楽器の音に設定するともっとも心地よい振動が得られたため, このような選択にした。

トにおいて, 自分が誰であるのかを特定できる発言をしないよう教示した。また, 視覚や声などに以上の手順により, 受信側は受け取った振動デーよる意思疎通を排除するため, 2 台のシステムをそれぞれ別室に設置した。

タを MIDI データに変換し,MIDI デバイスと振動子を通し, 振動として出力する。

2.3

チャット内容として, 協調的意思決定型問題解決課題と対立課題を用意し, それぞれ振動がある場合・ない場合の 2 通りで実験を行った。したがっシステムの使用方法て被験者は計 4 回のチャットを行うことになる。

本システムを利用するにあたり, ユーザは通常のチャット以外に特別な操作を行う必要はない。

実験参加者の主観的な評価を得るため, ひとつの課題が終わる度にアンケート調査を実施した。

Tangible Chat のチャット機能は, 通常のチャットシステムと同様にユーザがメッセージを入力し,「送信」という行為を行わない限り相手にメッセージが送られることはない。一方, 振動は検出されると同時に相手側に送信され, 受け取った側で即座に振動として出力される。振動の検出と通信に関する一連の処理は, すべて自動的に行われる。
この結果,Tangible Chat の利用者は, 相手が文字メッセージを送ってくる前に, 打鍵による振動を問題解決型意思決定課題では, 相手と合意することができたか, 協調することができたか等を、対立課題では, 合意に達することができたか, 議論で相手に勝ったか等を調査目的とし, 総合アンケー
トでは, 振動のある場合と無い場合を比較した精神的負担, 発言のしやすさ, 発話タイミングのとりやすさに等ついてのアンケートを行った。
評価は, 各項目を 5 段階で, 達成度 (5 が最も大きい達成感), 満足度 (5 が最も満足), 難易度 (5 が3質問項目
意思決定課題
対立課題

振動有り

振動なし

平均

平均

4.3
相手の感情をどのくらい感じたか (楽しい)3.7
あなたは感情をどのくらい出していたか (楽しい)4.0
相手の感情をどのくらい感じたか (楽しい)3.6
議論の中で, 相手は譲歩したと思うか
2.8
議論は合意に達したか, それとも決裂か
2.5* は 10 ％で, ** は 5 ％の有意水準片側 ｔ 検定で有意

4.1
3.4
4.0
3.9
3.3
3.1

あなたは感情をどのくらい出していたか (楽しい)ｔ値

2.00**
1.69
0.18
1.55*
2.10**
1.89*

表 1: 感情の伝達について
質問項目

振動有り

振動なし

平均

分散

平均

分散

3.4
1.8
発言のしやすさについて
3.5
0.6
発話タイミングのとりかたについて
3.6
1.5
同時に複数の話題について話している時はあったか3.51.3
議論の流れはスムーズだったか
3.50.9** は 5 ％の有意水準両側 ｔ 検定で有意

3.8
2.8
2.6
3.3
3.1

1.5
10.8
1.60.9

精神的負担についてt値
1.09
2.63**
2.61**
1.441.51

表 2: 総合アンケート
最も難しい), 精神的負担 (5 が最も負担ではない)について評価した。

ことがわかることにより, 自分の発話入力を控えるため, 発話数が減少し, 対話の活性度が低下す

表 3 は, それぞれの課題において, 振動がある場ることが懸念されていたが, このような問題は実際には生じていないことが, この結果から確認で合とない場合のメッセージ総数の平均値と標準偏差を示したものである。また, 各実験後に行った

きた。

アンケート結果の一部を表 1 に, 総合アンケートの結果の一部を表 2 に示す。t 値は, それぞれの設次に, 表 1 と表 2 に基づき, 感情の伝達について検討する。問題解決型意思決定課題においては,問における振動ありの場合となしの場合の平均値を比較したものである。

あなたは感情をどのくらい出していたかという質問に対し, 振動有りの場合に被験者自身が楽しさ平均標準偏差ｔ値

問題解決型意思決定課題
振動有り
振動なし

対立課題
振動有り
振動なし

91.8
45.84

103.4
53.51

0.35

89.9
36.08

0.40を感じているということが確認できた。また, 相
手の感情をどのくらい感じたかという質問に対し

105.2
47.90ても, 振動有りの場合に相手の楽しさを感じることができたという点について, 十分な有意差は得られなかったものの, 振動なしの場合に比べてや

表 3: メッセージ総数の平均と分散や高い値が得られた。
一方, 対立課題においては, 振動有りの場合にお3.2.2いて, やはり相手の楽しさを感じることができたかという質問に対し, 十分な有意差は得られない

実験 1 の考察ながらも, 今度は逆に振動有りの方がやや低い値

表 3 から, 振動のあり・なしによってメッセー
ジの総数に有意差は認められなかった。したがっが得られた。また, 振動有りの場合の対立課題は,決裂してしまう傾向が見られた。これを裏付けるて, 振動の有無は, 発話の総数には特に影響を与えないことがわかった。相手が発話を入力しているものとして, 振動有りの場合は, 議論中相手は譲歩しなかったと感じたという結果が出ている。先に

4質問項目精神的負担について発言のしやすさについて発話タイミングのとりかたについて同時に複数の話題について話しているときはあったか
議論の流れはスムーズだったか

振動有り

振動なし

平均

平均

3.4
3.1
2.9
3.1
3.3

3.8
3.6
3.5
2.5
2.9

ｔ値

0.47
0.80
0.72
1.17
0.63

表 4: 実験 2 におけるアンケート結果述べた, 相手の楽しさについての結果も, これと関である。アンケートは総合アンケートのみ実施し連していると思われる。対立課題はその内容が口論のようなものとなることがある。その際の多少た。それ以外はすべて実験 1 と同様に,2 台のシステムをそれぞれ別室に設置し, チャットは匿名で不快な感情が Tangible Chat でより多く伝達された結果が, この楽しさの減少につながったので行った。
実験の最後におこなった総合アンケートの結果を表 4 に示す。

はないかと推測される。
以上から, 振動は特に楽しさという感情の伝達に有効に作用するということが示唆された。

3.3.2

続いて対話状況の伝達について検討する。実験中の対話状況に対する認識の変化について, 表 2から, 発言がしやすい, 発話タイミングがとりやす

実験 2 の考察

表 4 において, 発言のしやすさ, 発話タイミングのとりやすさ, 議論の流れのスムーズさに関していという結果が得られた。これは振動によって, 相手が入力中であるという状態を把握しやすくなる明確な有意差は得られなかった。しかし同時に複数の話題について話している時はなかったかという点については, やはりあまり有意差はないものためだと考えられる。その裏づけとして, 振動がある場合に, 明確な有意差は無いながらも同時に複の Tangible Chat のほうがやや少なかったという結果が得られた。

数の話題について話している時がなかった, 議論の流れがスムーズだったという結果が得られた。

また, 精神的負担については, やはり有意差は無3.3

実験 2

いが, MSN メッセンジャーの方がやや負担でないという結果が得られている。つまりこれは, 相手

3.3.1

実験の概要と結果が入力中であることがわかると, 自分の発言の入力を控えようとする心理によってわずかな負担が実験 2 は, 発話の入力状況を視覚的に提示する生じると推測され, Tangible Chat では相手が入力中であることが振動によって常にわかるため,場合と触覚的に提示する場合の差について検証することを目的とする。使用したチャットシステ
ムは,Tangible Chat とマイクロソフト社の MSN

MSN メッセンジャーの視覚による提示よりも, このことを強制的に感じさせられたためだと思われる。しかし, その結果議論の流れの錯綜は減少している。つまり, この両者はトレードオフの関係にあると見なせるだろう。

メッセンジャー [3] である。MSN メッセンジャー
では, 対話相手が入力を行うと, 入力中であることがウィンドウの下部に表示される。今回の実験では, 被験者を 8 名募り,2 人 1 組で行った。課題には対立課題のみを用意した。したがって, 被験者は計 2 回のチャットを行うことになる。課題がひ4

とつなのは, 今回の実験は対話の課題内容による関連研究変化を調査目的としていないためである。対立課
題を使用した理由は, 実験 1 において, 問題解決型カンバーセーションアウェアネスの提供を試みた研究 [2] では、ネットワーク上でのテキストベー意思決定課題よりも対立課題のほうが, 全体的に発話総数が多く, 活発な対話がなされていたから

ス・コミュニケーションにおいて、誰が話者で、誰が聴者なのか、誰が誰に対して発話しているの5

か、といった発話状況をリアルタイムに表示している。また,MSN メッセンジャーでは, 登録したメめに, 振動の強弱にメリハリがつくようにチューニングする必要性がある。

ンバーならオンラインなのかオフラインなのか,それとも退席中なのかといった状態を文字で提示

参考文献してくれる。また, 自分が入力している場合, 相手のウィンドウの下部に「・・・がメッセージを入力[1] http://www.bodysonic.co.jp/[2] 伊藤禎宣: カンバセーション状況の視覚化による新たなコミュニケーションツールの提案, 北陸先端科学技術大学院大学 知識科学研究科,2000.
[3] http://messenger.msn.co.jp/[4] 石井 裕: Tangible Bits: 情報の感触/気配の伝達, 情報処理, Vol.39, No.8, pp.745-751,
1998.
[5] 澤田秀之, 鶴丸朋史, 橋本周司: GraspCom力覚を利用した双方向入出力デバイスの試作-, インタラクション’99 論文集 情報処理学会 pp.201-208, 1999.
[6] 安部美緒子, 大村和典: 握力インターフェースによる遠隔地間でのインフォーマルコミュ
ニケーション, 電子情報通信学会技術研究報
告, Vol.99, No.582, 2000.

しています」という情報を表示することにより,相手が発言を入力中だということを提示することができる。
これらのシステムでは, すべての非言語情報を視覚化することにより伝達するため, どうしても非言語情報による自然な対話状況の認識を実現することができない。これは, 対話の違和感や余分な認知負荷を招く要因になると思われる。
物理的な感覚のやりとりだけで対話を実現するための遠隔地間コミュニケーションシステムとしては、in Touch[4]、GraspCom[5]、Hearty Egg[6]がある。これらは触覚を利用した遠隔地間コミュニケーションシステムで、相手の動きを物理的に感じることでコミュニケーションするシステムである。これらのシステムは、ユーザが意識して触れることで相手に触覚情報を送ることのできるコミュニケーション・メディアであり、互いの存在感や動作を無意識に伝達するというものではない。
また, 言語情報の伝達はできない。

5終わりに

本稿では, テキストベースの遠隔地間コミュニケーションツールにおける, 触覚による対話状況アウェアネス支援の伝達を試みた。このために対話相手の打鍵を振動によって伝達する TangibleChat を構築し, 被験者実験によって評価を行い,その有効性を確かめた。評価実験の結果から, テ
キストベース・チャットにおける対話状況アウェアネス伝達支援のための手法として, 振動伝達の有効性が示唆された。
今回の実験では, 振動による対話状況アウェアネス伝達において, 感情の伝達効果についての十分な結果が得られなかった。その原因として, 実
験を匿名で行ったため, 被験者同士の個性がわからないことと, 短時間の実験であったため, 相手の癖をつかむ余裕がなかったことが考えられる。感情を伝達するという仮説をさらに検証するためには, Tangible Chat を使用した長期的な実験が必要であると考える。また, 感情の伝達を促進するた

6