マルチモーダル刺激を対象とした記憶・想起のインタラクション
宮里勉

京都工芸繊維大学 〒606-8585 京都市 左京区 松ヶ崎 御所海道町
Tel/Fax: 075-724-7479 E-mail: miyasato@ipc.kit.ac.jp
１.

はじめにマウスでカードを選択すると，カード毎に絵，音最適なユーザインタフェースを設計するには，主楽，触覚刺激が再現される．カードに付与された情体となる人間についての十分な把握が不可欠であ

報は，絵の場合はカードの裏の絵柄が表示される．

る．人間の持つ多様な感覚を活かし，これらを効果

なお，絵は，現在は静止画であるが，動画の呈示も的に刺激することのできるデバイス類の実現が重要進行中である．また，音楽刺激の場合は，選択されである．人間の知覚・認知過程において，情報の７たカードの絵柄は変化せず，音楽が出力される．音０％以上は視覚からの情報で視覚情報への依存性が楽の呈示時間は，曲によって異なるが平均で６，７高いと言われる．しかしながら，触覚や体性感覚の秒間である．なお，音楽刺激には，歌手や曲名によように，視覚情報だけでは表現できない，あるいはる音楽刺激のイメージ化・記憶を避けるために，プ代行が困難な感覚刺激がある．

レーヤに馴染みの無さそうな曲を選んだ．また，触筆者らは，人間の感覚に対応する各メディアから覚刺激に関しては，現在は，音楽刺激による小型スの刺激と感覚の相互の関係やメディアの活用方法にピーカの振動で代用し，かつプレーヤには音楽が聞ついての研究を進めており[ 1 ] ，ユーザインタこえないようにしている．つまり，音楽情報を耳でフェース設計における多感覚刺激の相乗効果[2,3]にはなく，指への触感で判別することにしている．今ついて検討している．

後は，振動機能付きマウス[5]やコントローラーの本稿では，多感覚刺激評価実験環境をグループイ使用を予定している．

ン タ ラ ク シ ョ ン と エ デ ュ テ イ メ ン ト

ゲームは，パソコンの画面をプロジェクターで大（Edutainment）の観点からアレンジした応用につ画面に投影し，複数人のプレーヤが交互にカードをいて述べる．これは，カードゲームの「神経衰弱」マウスで指定する．その際，スイッチ付きのUSBハあるいは「絵合せ」，伝統的な「貝合せ」などのよ

ブにより，参加人数分のマウス（USBコネクタ付うな同一刺激マッチングであるが，画像に視覚刺激き）を排他的に分岐して用いている．したがって，だけではなく，音楽による聴覚刺激，指触りよる触

プレーヤは，１つの大画面を共有し，各自手許のマ覚刺激を対象としたマルチモーダルな記憶ゲームでウスとスイッチ押下による先手／後手の切り替えである．

ゲームを進行する．
図１に，マルチモーダル神経衰弱ゲーム実行中の

２.

マルチモーダル神経衰弱ゲーム

筆者らは，エデュテイメントと言語療法リハビリテーションへの応用の観点から，音声合成・認識ソ共有画面の例を示す．絵柄刺激以外は，プレーヤがカードを選択しても見た目上はカードの変化はな
く，音楽が流れたり，指先に振動を感じる．

フトを利用した電子「尻取り」ゲームを提案してい本ゲームは複数人で行うものであり，各プレーヤ

３. マルチモーダル神経衰弱ゲーム体験者の反応と考察
ゲーム終了後の体験者によると，絵柄＜音楽＜はマウスを用いてカードを選択する．プレーヤは，触覚の順で判定が困難になるとの感想であった．

一度に２枚のカード選択を行う．選択された２枚のなお，今回は動画映像を刺激として使用していな

カードの情報が同じであればさらにカードの選択をいが，予想としては絵柄と音楽の中間にくると思続けることができる．

われる．

る[ 4]．本稿のマルチモーダル神経衰弱ゲームも，同様なコンセプトによるものである．

Memory Game using Multimodal Stimuli
Tsutomu Miyasato
Kyoto Institute of Technology

刺激の違いによる難易度の差が起こる理由としては，一つには馴染みの程度が関係していると思われる．すなわち，絵柄のマッチングは，カードゲームとしてよく体験するが，音楽と手触りによをまとめあげるような場において，一つの叩き台るマッチングは体験することは少ない．また，絵に対して参加者がランダムに次々と修正・変更・柄刺激の場合は一時に捕らえられるが，音楽と動改善を加えていく行動にも類似している．

画の場合は時間軸の情報の記憶も必要となるた
列刺激の最初と最後以外の部分では想起が困難に

４.
まとめ
画像，音楽，触覚刺激を対象とした記憶ゲームとなっていると考えられる．

してのマルチモーダル神経衰弱ゲームについて述べ

め，記憶作業における系列位置効果によって時系さらに，手触りによるマッチングの場合に判別た．本ゲームは，最適なユーザインタフェースを設が困難になる他の理由として，人間における触覚計する上で欠かせない人間の多様な感覚を相互の関知覚の感度自体の高低問題も有るが（指で触れる係についての研究を進める一貫として制作したものだけで生地や繊維の種類などが分かる人もいである．本稿で紹介した記憶ゲームは，エデュテイる），その他に「アクティブタッチ」( A c t i v eメント（Edutainment）の観点や高齢者等を対象とt o u c h ) の有無も影響していることが考えられる．

した知的リハビリテーションの観点からの応用[4]すなわち，人間の認知処理においては，受動的なも期待できる．

感覚情報だけでなく，対象に対する能動的な働き

今後は，ゲームとしての観点からは，本格的なかけなどの運動と感覚との統合作用が重要であ

振動・触覚デバイスの使用，刺激としての動画映り，自発的・能動的な運動による視覚−運動経験像の使用などを予定している．また，マルチモーの「アクティブタッチ」が必要である[6,7]．しかダルインタフェースの観点から，記憶・想起負担しながら，触覚刺激のマッチングでは，自分の番や感覚フィードバックと操作性等の評価実験を進の場合は「アクティブタッチ」になっているが，める予定である．

相手の番での触覚刺激は，「パッシブタッチ」(Passive touch)である．そのため，感覚の認知精度参考文献の低下が起こったものと考えられる．

[1] 野間 ，宮里，北原：電気粘性流体を用いた，触ところで，ゲームを対話の一形態と捕えると，感覚提示装置の開発

実験機のための数値シ

参加者数分のマウスと一つの共有画面を使った

ミュレーション，映像情報メディア学会技術報

ゲームの進行は，グループインタラクションに近告HIR 98 36-59, pp. 23-30（1998）.

い．ゲームでは順番に進行するルールだが，相手[2] 宮里，井上 ："VirtuaLight" による物体内部の観よりも先に答えが分かると我先にマウス操作の優察 --超現実的なインタラクティブ展示方法--，映先権を奪って，カードを選択する場合があった．

像情報メディア学会マルチメディア情報処理研

これは，企画会議などのアイディアやコンセプト

究会MIP'98-53, Vol. 22, pp. 37-42（1998）.
[3] 宮里：共感覚現象に基づく情念空間生成の試
み，情報処理学会インタラクション1999論文

音楽，振動集， Vol. 99, No. 4, pp. 141-142（1999）.
[4] 宮里：音声合成・認識ソフトによる「尻取り」の実現，情報処理学会 インタラクション2000論
文集，Vol. 2000, No. 4, pp. 63-64（2000）.
[5] 坂巻，塚本，岡村 他：２次元アクチュエータを絵柄の例

用いた触覚呈示システム，ヒューマンインタ
フェース学会研究報告，Vol. 1, No. 5, pp.83-86(1999).
[6] 赤松：視覚と触覚と運動の統合，電子情報通信学会誌，Vol. 76, No. 11, pp.1176-1182 (1993).

図１

マルチモーダル神経衰弱ゲーム実行中のプレーヤの共有画面の一場面[7] 佐伯，佐々木：アクティブ・マインド，東京大学出版会 (1990).