(57)【特許請求の範囲】
【請求項１】
それぞれが五感のいずれかの一つ又は複数を利用した情報伝達を実行する複数の情報伝達チャンネルを有した多感覚インタフェース（６）の制御方法であって、
ユーザの感情状態および注意状態のうち少なくとも一方を表したユーザ状態を推定する第１のステップ（Ｓ１５０）と、
推定されたユーザ状態に応じて、前記情報伝達チャンネルのそれぞれをどの程度重視するかを表す加重値を、抑制的な影響を受けている感覚を利用する情報伝達チャンネルの重要度が下がり、他の情報伝達チャンネルの重要度が上がるように設定する第２のステップ（Ｓ１７０）と、
前記多感覚インタフェースを介して伝達するコンテンツが複数の部分コンテンツで構成され、前記加重値に応じて、前記情報伝達チャンネルのそれぞれに伝達させる部分コンテンツの割り当てを変更する第３のステップ（Ｓ２００）と、
を備えることを特徴とする多感覚インタフェースの制御方法。
【請求項２】
それぞれが五感のいずれかの一つ又は複数を利用した情報伝達を実行する複数の情報伝達チャンネルを有した多感覚インタフェースを制御する多感覚インタフェース制御装置（５）であって、
ユーザの感情状態および注意状態のうち少なくとも一方を表したユーザ状態を推定するユーザ状態推定手段（５：Ｓ１５０）と、
前記ユーザ状態推定手段によって推定されたユーザ状態に応じて、前記情報伝達チャンネルのそれぞれをどの程度重視するかを表す加重値を、抑制的な影響を受けている感覚を利用する情報伝達チャンネルの重要度が下がり、他の情報伝達チャンネルの重要度が上がるように設定する加重値設定手段（５：Ｓ１７０）と、
前記多感覚インタフェースを介して伝達するコンテンツが複数の部分コンテンツで構成され、前記加重値に応じて、前記情報伝達チャンネルのそれぞれに伝達させる部分コンテンツの割り当てを変更するコンテンツ調整手段（５：Ｓ２００）と、
を備えることを特徴とする多感覚インタフェース制御装置。
【請求項３】
前記コンテンツ調整手段は、前記加重値設定手段にて設定された加重値に従って、重要度の高い情報伝達チャンネルほど情報伝達量が増加し、重要度の低い情報伝達チャンネルほど情報伝達量が減少するように、前記部分コンテンツの割り当てを変更することを特徴とする請求項２に記載の多感覚インタフェース制御装置。
【請求項４】
前記コンテンツ調整手段は、前記加重値設定手段にて設定された加重値に従って、重要度の高い情報伝達チャンネルほど重要度の高い部分コンテンツを割り当て、重要度の低い情報伝達チャンネルほど重要度の低い部分コンテンツを割り当てることを特徴とする請求項２または請求項３に記載の多感覚インタフェース制御装置。
【請求項５】
前記コンテンツ調整手段は、提供する情報の量および質が、前記ユーザ状態によらず一定となるように、前記情報伝達チャンネルに対する前記部分コンテンツの割り当てを設定することを特徴とする請求項２ないし請求項４のいずれか１項に記載の多感覚インタフェース。
【請求項６】
前記加重値は、前記ユーザの感情状態および注意状態のうち少なくとも一方と該ユーザの五感の感度との対応関係に従って設定されていることを特徴とする請求項２ないし請求項５のいずれか１項に記載の多感覚インタフェース制御装置。
【請求項７】
前記ユーザ状態推定手段は、ユーザの表情およびユーザの生体信号のうち少なくとも一方から前記ユーザ状態を推定することを特徴とする請求項２ないし請求項６のいずれか１項に記載の多感覚インタフェース制御装置。
【請求項８】
それぞれが五感のいずれかの一つ又は複数を利用した情報伝達を実行する複数の情報伝達チャンネルを有した多感覚インタフェース（６）と、
請求項２ないし請求項７のいずれか１項に記載の多感覚インタフェース制御装置（５）と、
を備えることを特徴とする多感覚インタフェースシステム（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多感覚インタフェースを制御する技術に関する。
【背景技術】
【０００２】
近年、ＨＭＩ（Human-Machine Interface ）／ＨＣＩ（Human-Computer Interface）において、人間の五感（視覚、触覚、聴覚など）を利用した多感覚で情報伝達を行うものが知られている。
【０００３】
例えば、車両用のナビゲーション装置では、地図をベースとした現在位置や経路表示と、音声による経路案内とによる、視覚と聴覚とを統合したインタフェースが実現されている。
【０００４】
更に、単に多感覚での情報伝達を実現するだけでなく、ユーザの状態によって、提供するコンテンツを選択、変更する技術も知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１４／０１２５５５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、認知心理学や認知科学の分野では、人間が様々な感覚（五感）を受け入れ統合する全てのプロセスにおいて、感情の影響を受けることが、各種研究を通じて知られている。
【０００７】
例えば、うつ病が視覚、聴覚、嗅覚の敏感度を低下させること（R. Canbeyli (2010). Sensorimotor modulation of mood and depression: An integrative review. Behavioural Brain Research 207 (2010): 249-264. ）、被験者が聴覚、視覚のオッドボールタスク（auditory-visual oddball task）をする時に、悲しみの感情が聴覚ノイズによるプロセスの妨害度（distraction ）を増加させること（A. Pacheco-Unguetti & F. Parmentier (2014). Sadness Increases Distraction by Auditory Deviant Stimuli. Emotion 14(1): 203-213. ）、感覚、知覚、認知の基礎になる注意（attention ）自体が、感覚によってコントロールされること（A. Ohman, A. Flykt & F. Esteves (2001). Emotion drives attention: Detecting the snake in the grass. Journal of Experimental Psychology: General 130(3): 466-478.; D. Chen & P Dalton (2005). The Effect of Emotion and Personality on Olfactory Perception. Chemical Senses 30(4): 345-351.; J Easterbrook (1959). The effect of emotion on cue utilization and the organization of behavior. Psychological Review  66(3): 183-201.; M Calvo, A Gutierrez & A Fernandez-Martin (2012). Anxiety and deficient inhibition of threat distractors: Spatial attention span and time course. Journal of Cognitive Psychology 24(1): 66-78.）等が証明されている。
【０００８】
しかしながら、従来技術では、多感覚インタフェースを構成する複数の情報伝達チャンネルに、提供する情報を予め振り分けておき、状況が変わったとしてもその振り分けの割合が一定であるため、ある感覚を利用した情報伝達チャンネルでの情報伝達が困難な状況に陥った場合、ユーザに伝達したい全情報のうち、その情報伝達チャンネルに振り分けられた情報が欠落してしまうという問題があった。
【０００９】
本発明は、こうした問題に鑑みてなされたものであり、多感覚インタフェースにおいて、情報の不必要な損失を防ぎ、効率的な情報伝達を実現する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の多感覚インタフェースの制御方法は、それぞれが五感のいずれかの一つ又は複数を利用した情報伝達を実行する複数の情報伝達チャンネルを有した多感覚インタフェースを制御対象とする。そして、第１のステップでは、ユーザの感情状態および注意状態のうち少なくとも一方を表したユーザ状態を推定する。第２のステップでは、推定されたユーザ状態に応じて、前記情報伝達チャンネルのそれぞれをどの程度重視するかを表す加重値を設定する。第３のステップでは、多感覚インタフェースを介して伝達するコンテンツが複数の部分コンテンツで構成されているものとして、加重値に応じて、情報伝達チャンネルのそれぞれに伝達させる部分コンテンツの割り当てを変更する。
【００１１】
また、本発明の多感覚インタフェース制御装置は、上述の第１のステップに示した処理を実現するユーザ状態推定手段と、上述の第２のステップに示した処理を実現する加重値設定手段と、上述の第３のステップに示した処理を実現するコンテンツ調整手段とを備える。
【００１２】
更に、本発明の多感覚インタフェースシステムは、上述の多感覚インタフェースと、上述の多感覚インタフェース制御装置とを備える。
これらの発明によれば、重視する情報伝達チャンネルがユーザの状態に合わせて変更され、その重視度を表す加重値に応じて、情報伝達チャンネルに対する部分コンテンツの割り当てが適宜変更されるため、情報の不必要な損失を防ぎ、効率のよい情報伝達を実現することができる。
【００１３】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１４】
【図１】多感覚インタフェースシステムの構成を示すブロック図である。
【図２】調整情報の概要を示す説明図である。加重値とコンテンツの関係を例示する説明図である。
【図３】インタフェース制御の内容を示すフローチャートである。
【図４】情報伝達チャンネルの重要度が変化する様子を示す説明図である。
【図５】適用例１（運転支援システムに適用した場合）におけるデフォルトユーザ状態での情報伝達チャンネルの状態を示す説明図である。
【図６】適用例１においてユーザ状態が変化した時の情報伝達チャンネルの状態を示す説明図である。
【図７】適用例１においてユーザ状態が変化した時の情報伝達チャンネルの別の状態を示す説明図である。
【図８】適用例２（車両の表示パネルに適用した場合）におけるデフォルトユーザ状態での視覚用チャンネルの表示状態を示す説明図である。
【図９】適用例２においてユーザ状態が変化した時の視覚用チャンネルの表示状態を示す説明図である。
【図１０】適用例３（料理支援システムに適用した場合）におけるデフォルトユーザ状態での情報伝達チャンネルの状態を示す説明図である。
【図１１】適用例３においてユーザ状態が変化した時の情報伝達チャンネルの状態を示す説明図である。
【図１２】適用例３においてユーザ状態が変化した時の情報伝達チャンネルの別の状態を示す説明図である。
【図１３】適用例４（スマートフォン等の携帯端末に適用した場合）におけるデフォルトユーザ状態での情報伝達チャンネルの状態を示す説明図である。
【図１４】適用例４においてユーザ状態が変化した時の情報伝達チャンネルの状態を示す説明図である。
【図１５】適用例４においてユーザ状態が変化した時の情報伝達チャンネルの別の状態を示す説明図である。
【図１６】適用例５（携帯端末で実行するアプリに適用した場合）におけるデフォルトユーザ状態での情報伝達チャンネルの状態を示す説明図である。
【図１７】適用例５においてユーザ状態が変化した時の情報伝達チャンネルの状態を示す説明図である。
【図１８】適用例５においてユーザ状態が変化した時の情報伝達チャンネルの別の状態を示す説明図である。
【図１９】各情報伝達チャンネルに部分コンテンツを割り当てる時の考え方を示す概念図である。
【発明を実施するための形態】
【００１５】
以下に本発明が適用された実施形態について、図面を用いて説明する。
［構成］
図１に示すように、多感覚インタフェースシステム１は、伝達情報生成部２と、ユーザ状態測定部３と、調整情報記憶部４と、伝達調整部５と、多感覚インタフェース６とを備える。
【００１６】
多感覚インタフェース６は、それぞれが人間の五感（視覚、聴覚、触覚、嗅覚、味覚）のいずれかの一つ又は複数を利用して情報を伝達する複数の情報伝達チャンネルＣＨ１，ＣＨ２，…ＣＨｎ（ｎは正整数）を備える。例えば、視覚を利用する情報伝達チャンネルは表示装置や照明装置などで構成され、聴覚を利用する情報伝達チャンネルは音響装置などで構成され、触覚を利用する情報伝達チャンネルは振動発生装置や発熱装置、冷却装置などで構成され、嗅覚や味覚を利用する情報伝達チャンネルは香りを発生させる装置や味覚を刺激する装置などで構成される。なお、情報伝達チャンネルは、利用する感覚が異なる二種類以上のチャンネルで構成され、また、同じ感覚を利用するチャンネルが複数存在していてもよい。なお、ここでいう情報伝達とは、インタフェースの目的に関わらず、ユーザと装置の間で行われる全てのインタラクションのことをいうものとする。
【００１７】
伝達情報生成部２は、多感覚インタフェース６を利用してユーザに伝達する情報（コンテンツＸ）を生成する。例えば、車両に適用する場合は、車両に設けられた各種センサからの情報に基づいて各種運転支援のための必要な情報を生成する。また、何等かの作業を支援する装置に適用する場合は、作業の進行具合を検出する各種センサからの情報に基づいて情報を生成する。なお、各コンテンツＸは、複数の部分コンテンツＩ１，Ｉ２，…Ｉｘ（ｘは正整数）によって構成される。
【００１８】
ユーザ状態測定部３は、ユーザがどのような状態にあるかを測定する。具体的には、ユーザの挙動や表情を撮影するカメラ、ユーザの生体信号を測定する各種測定機器、ユーザが発する音声を取得するマイクなどを備える。なお、これらの検出結果は、ユーザの感情の状態（怒り、笑い、恐れ、楽しみ、悲しみなど）および注意状態（集中、散漫など）を表すユーザ状態Ｓ１，Ｓ２，…Ｓｍ（ｍは正整数）を推定するために使用される。
【００１９】
調整情報記憶部４は、伝達調整部５での処理に使用される調整情報を記憶する。調整情報には、加重値テーブルと、コンテンツ調整テーブルとからなる。
加重値テーブルは、図２（ａ）に示すように、ユーザ状態測定部３での測定結果から推定されるユーザ状態Ｓｉ（ｉ＝１〜ｍ）毎に、そのユーザ状態Ｓｉの時に、各情報伝達チャンネルＣＨ１〜ＣＨｎをどの程度重視するかを数値で表した加重値Ｇｉ１〜Ｇｉｎを対応づけたものである。ここでは、ユーザ状態Ｓ１をデフォルトユーザ状態とする。デフォルトユーザ状態は、通常、ニュートラルな感情・注意状態を表すが、他の感情・注意状態を表していてもよい。一方、コンテンツ調整テーブルは、図２（ｂ）に示すように、伝達するコンテンツＸの種類毎かつ情報伝達チャンネルＣＨｊ（ｊ＝１〜ｎ）毎に設定され、加重値Ｇｉｊ（またはその範囲）と、コンテンツの調整内容とを対応づけたものである。但し、加重値Ｇｉｊ＝０の場合は、その情報伝達チャンネルを使用しないことを意味する。
【００２０】
コンテンツの調整内容は、その情報伝達チャンネルを介して伝達する部分コンテンツを示す割当情報と、その割当情報を具体的にどのような態様で表示するのかを表す態様情報とからなる。態様情報は、例えば、視覚を利用した情報伝達チャンネルの場合、表示サイズ、表示位置、表示色等が含まれる。また、聴覚を利用した情報伝達チャンネルの場合、音量、音像定位、音色等が含まれる。つまり、各情報伝達チャンネルは、情報伝達時に、これら調整情報の内容に従った調整が可能となるように構成されている。
【００２１】
調整情報は、認知心理学や認知科学の分野の研究を通じて得られている知見（多感覚統合に感情が関わること）を利用して設定する。具体的な知見としては、例えば、うつ病が視覚、聴覚、嗅覚の敏感度を低下させること、悲しみの感情が聴覚ノイズによるプロセスの妨害度を増加させること、感覚、知覚、認知の基礎になる注意自体が、感覚によってコントロールされることなどが知られている。
【００２２】
これを利用し、ユーザ状態Ｓ１〜Ｓｍを、ユーザの感情状態（emotional status）および注意状態（attentional status）を表すように定義する。そして、そのユーザ状態に応じて、抑制的な影響を受けている感覚を利用する情報伝達チャンネルの重要度が下がり、他の情報伝達チャンネルの重要度が上がるように加重値を設定する。そして、重要度の高い情報伝達チャンネルによる情報伝達量が増加し、該チャンネルに重要度の高い部分情報が割り当てられ、逆に、重要度の低い情報伝達チャンネルによる情報伝達量が減少し、該チャンネルに重要度の低い部分情報が割り当てられるように、割当情報や調整情報を設定する。また、同じ感覚を利用する情報伝達チャンネルが複数存在する場合には、ユーザ状態に応じて、使用する情報伝達チャンネルを切り替えたり、同時使用したりするように設定してもよい。但し、ユーザに提供する情報の量および質（つまりコンテンツ自体）が、ユーザ状態によって大きく変化することがないように設定する。
【００２３】
伝達調整部５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３を備え、ＣＰＵ５１がＲＯＭ５２等の記録媒体に記録されているプログラムに従った処理を実行することにより、多感覚インタフェースシステム１を統括制御する。
【００２４】
［処理］
ここで、伝達調整部５が実行する伝達調整処理について、図３のフローチャートを用いて説明する。なお、本処理は、伝達情報生成部２によってコンテンツＸが生成される毎に起動する。
【００２５】
ＣＰＵ５１は、本処理が起動すると、まず、Ｓ１１０にて、生成されたコンテンツＸの種別を取得し、続くＳ１２０では、デフォルトユーザ状態Ｓ１の加重値Ｇ１１〜Ｇ１ｎを、調整情報記憶部４から取得する。
【００２６】
続くＳ１３０では、取得した加重値Ｇ１ｊ（ｊ＝１〜ｎ）に従って、加重値Ｇ１ｊがゼロではない情報伝達チャンネルＣＨｊを起動する。
続くＳ１４０では、コンテンツＸの種別と、加重値Ｇ１１〜Ｇ１ｎとに従って、調整情報記憶部４から各情報伝達チャンネルＣＨ１〜ＣＨｎのコンテンツ調整内容を取得し、その取得したコンテンツ調整内容に従った情報伝達を開始する。即ち、図２（ｂ）を参照して、該当情報伝達チャンネルＣＨｊの該当加重値Ｇ１ｊについて割当情報に示された部分コンテンツを、態様情報に示された態様で情報伝達する。
【００２７】
続くＳ１５０では、ユーザ状態測定部３から取得した測定結果に基づいてユーザ状態Ｓｉを推定し、続くＳ１６０にて、ユーザ状態Ｓｉが以前の状態から変化したか否かを判断する。ユーザ状態Ｓｉに変化がある場合はＳ１７０に移行し、ユーザ状態Ｓｉに変化がない場合は、Ｓ２１０に移行する。
【００２８】
Ｓ１７０では、Ｓ１５０で推定したユーザ状態Ｓｉに対応する加重値Ｇｉ１〜Ｇｉｎを、調整情報記憶部４から取得する。続くＳ１８０では、取得した加重値Ｇｉ１〜Ｇｉｎに基づき、使用する情報伝達チャンネルＣＨ１〜ＣＨｎに変更があるか否かを判断する。
【００２９】
使用する情報伝達チャンネルＣＨ１〜ＣＨｎに変更があれば（Ｓ１８０：ＹＥＳ）、Ｓ１９０にて、その変更に応じて対応する情報伝達チャンネルＣＨ１〜ＣＨｎを起動または停止してＳ２００に進む。一方、使用する情報伝達チャンネルＣＨ１〜ＣＨｎに変更がなければ（Ｓ１８０：ＮＯ）、Ｓ１９０をスキップしてＳ２００に進む。
【００３０】
Ｓ２００では、Ｓ１７０にて取得した加重値Ｇｉ１〜Ｇｉｎに従って、調整情報記憶部４から各情報伝達チャンネルＣＨ１〜ＣＨｎのコンテンツ調整内容を取得し、その取得したコンテンツ調整内容に従って、各情報伝達チャンネルＣＨ１〜ＣＨｎを使用して伝達する部分コンテンツＩ１〜Ｉｘの割り当てや、伝達の態様を変更して、Ｓ２１０に進む。
【００３１】
Ｓ２１０では、情報伝達中のコンテンツＸについて、予め設定された終了条件が成立したか否かを判断する。終了条件が成立していなければ（Ｓ２１０：ＮＯ）、Ｓ１５０に戻って、上述のＳ１５０〜Ｓ２００の処理を繰り返す。一方、終了条件が成立していれば（Ｓ２１０：ＹＥＳ）、Ｓ２２０に進み、全ての情報伝達チャンネルを停止して、本処理を終了する。
【００３２】
［動作］
図４−（ａ）に示すように、例えば、デフォルトのユーザ状態では、全ての情報伝達チャンネルを同じ重要度に設定する。これに限らず、デフォルトユーザ状態での重要度は、情報自体の特性に応じて、情報伝達チャンネル毎に異なっていてもよい。また、デフォルトユーザ状態では、必ずしも全ての情報伝達チャンネルを起動する必要はなく、一部の情報伝達チャンネルについては、特定のユーザ状態にある場合だけ起動する等、補助的に使用してもよい。
【００３３】
ユーザ状態に応じて、図４−（ｂ），（ｃ）に示すように、効率のよい情報伝達を期待できる状態にある感覚を利用する情報伝達チャンネルをより積極的に利用（加重値を大きく）し、逆に効率のよい情報伝達を期待できない状態にある感覚を利用する情報伝達チャンネルの使用を抑制（加重値を小さく）する。
【００３４】
図では、全ての情報伝達チャンネルが使用されているが、ユーザ状態に応じて、使用しない情報伝達チャンネルがあってもよい。
［効果］
以上説明したように、多感覚インタフェースシステム１によれば、重視する情報伝達チャンネルがユーザ状態に応じて変更され、その重視度を表す加重値Ｇｉｊに応じて、情報伝達チャンネルＣＨ１〜ＣＨｎに対する部分コンテンツの割り当てや伝達時の態様が適宜変更される。つまり、図１９に示すように、個々の部分コンテンツＩ１〜Ｉｘを伝達する際に使用される情報伝達チャンネルＣＨ１〜ＣＨｎは、ユーザ状態に応じて適宜変化するが、情報伝達チャンネルＣＨ１〜ＣＨｎの全体を見れば、必要な部分コンテンツＩ１〜Ｉｘが漏れなく伝達されるため、情報の不必要な損失を防ぎ、効率のよい情報伝達を実現することができる。
【００３５】
また、効率的な情報伝達を期待できない情報伝達チャンネルでの情報伝達を減らすことにより、情報を受け取るユーザの負担を削減することもできる。
［適用例１］
多感覚インタフェースシステム１を、車両を運転するドライバの運転支援システムに適用する場合について説明する。
【００３６】
この場合、情報伝達チャンネルとして、ナビゲーション用の情報を表示する表示装置からなる第１視覚用チャンネル（ＣＨ１）、音声案内などを行う音響装置からなる聴覚用チャンネル（ＣＨ２）、ハンドルに設けられた振動装置からなる触覚用チャンネル（ＣＨ３）、各種情報を表示するヘッドアップディスプレイからなる第２視覚用チャンネル（ＣＨ４）を備える。
【００３７】
デフォルトのユーザ状態では、例えば、図５に示すように、ＣＨ１、ＣＨ２、ＣＨ３を利用して、運転支援のため情報（コンテンツ）をドライバに提示する。ここでは、右折をナビゲートする場合について示している。ユーザ状態が、ドライバが何かに集中している等して、音声による情報伝達を効率よくできない状態に変化すると、図６に示すように、聴覚用チャンネルＣＨ２を停止し、触覚用チャンネルＣＨ３による情報伝達の強度を強める。また、ドライバの注意状態が散漫になっている時には、図７に示すように、第１視覚用チャンネルＣＨ１（通常画面）だけでなく、第２視覚用チャンネルＣＨ４（ヘッドアップディスプレイ）も併用して、視覚による情報伝達を強調する。この時、重視する必要のない情報伝達チャンネル（ここでは触覚用チャンネルＣＨ３）を停止するなどしてもよい。
【００３８】
［適用例２］
適用例１で示した運転支援システムにおいて、スピードメータなどの表示パネルを第１視覚用チャンネルＣＨ１として使用する場合について説明する。
【００３９】
本来、表示パネルには、図８に示すように、スピードメータ、タコメータ、冷却水温度メータ、燃料メータ、車両の各種状態を示すアイコンなど、多くの部分コンテンツが表示される。これに加えて、運転支援のための部分コンテンツとしての画像情報、ここでは車両前方の歩行者の存在などを表す画像が表示される。ユーザ（ドライバ）状態が変化した時に、運転支援用のための部分コンテンツを強調するために、図９に示すように、表示位置を変化させたり、重要度が相対的に低い他の部分コンテンツを省略したりすること考えられる。但し、単に省略するのではなく、第１視覚用チャンネルＣＨ１から省略された部分コンテンツの情報を、聴覚用チャンネルＣＨ２や触覚用チャンネルＣＨ３等の別の情報伝達チャンネルを介し量や質を変化させて伝達する（図１９参照）。これにより、ユーザ状態が変化しても、各情報伝達チャンネルによって伝達すべき部分コンテンツの割り当てが変化するだけで、情報を欠落させることなく、ユーザに伝達することができる。
【００４０】
［適用例３］
多感覚インタフェースシステム１を、料理支援システムに適用する場合について説明する。
【００４１】
この場合、情報伝達チャンネルとして、注目箇所を表示する眼鏡型ディスプレイからなる視覚用チャンネルＣＨ１、調理時に発生する音を増幅して出力する音響装置からなる聴覚用チャンネルＣＨ２を備える。
【００４２】
デフォルトのユーザ状態では、図１０に示すように、いずれの情報伝達チャンネルＣＨ１，ＣＨ２も使用されていないものとする。ユーザの注意状態が散漫であることを示すユーザ状態が検出されると、図１１に示すように、視覚用チャンネルＣＨ１を起動して、注意を向けるべき箇所Ｐを強調表示（注意領域を示す表示を重畳）する。その後、ユーザ状態が、聴覚を一番効果的に活用できる状態に変化した場合、図１２に示すように、聴覚用チャンネルＣＨ２を起動して、調理によって発生する音がよく聞こえるようにする。これにより、例えば、加熱のし過ぎによる料理の失敗や事故などを防止することができる。
【００４３】
［適用例４］
多感覚インタフェースシステム１を、スマートフォンなどの携帯端末での通話に適用する場合について説明する。
【００４４】
この場合、情報伝達チャンネルとして、視覚用チャンネルＣＨ１（画面）、聴覚用チャンネルＣＨ２（スピーカ）を使用する。また、ユーザ状態は、ユーザの発話状態などから推定する。
【００４５】
デフォルトのユーザ状態では、図１３に示すように、聴覚用チャンネルＣＨ２だけを利用した通信を行う。ユーザがいらいらするなどの感情変化により、聴覚情報だけでは重要な情報（例えば、打つ合わせの場所や時間など）の正確な伝達が困難なユーザ状態であることを検出した場合、視覚用チャンネルＣＨ２を起動して、図１４に示すように、通話時の音声から認識した場所を地図で表示す。あるいは、図１５に示すように、通話時の音声から認識した会話内容や、会話内容から抽出した場所や時間を、文字で表示する。このように聴覚用チャンネルＣＨ２の補助として、視覚用チャンネルＣＨ１を、ユーザ状態に応じて適宜起動することにより、重要な情報を確実に伝達することができる。
【００４６】
［適用例５］
多感覚インタフェースシステム１を、スマートフォンなどの携帯端末で実行されるアプリケーション（アプリ）、特にここでは、ウェルビーイング関連のアプリの一つである睡眠アプリに適用する場合について説明する。
【００４７】
この場合、情報伝達チャンネルとして、視覚用チャンネルＣＨ１（画面）、聴覚用チャンネルＣＨ２（スピーカ）、第１触覚用チャンネルＣＨ３（バイブレータ）、第２触覚用チャンネルＣＨ４（ヒータ）を使用する。また、ユーザ状態は、呼吸や心音などから推定する。
【００４８】
アプリを起動した直後の初期状態（デフォルト状態）では、図１６に示すように、視覚用チャンネルＣＨ１および聴覚用チャンネルＣＨ２を用いて爽やかな感覚を想起させる画像や音楽を出力する。デフォルトとは違うその他の状態で、デフォルトの感覚提示の効果がない場合、図１７に示すように、聴覚用チャンネルＣＨ２の出力を音楽から単調な効果音に切り替えると共に、第１触覚用チャンネルＣＨ３を起動して規則的な振動刺激をユーザに与える。また、前記その他の状態と違う状態では、図１８に示すように、視覚用チャンネルの出力を、温かな感覚を想起させる画像に切り替えると共に、第２触覚用チャンネルＣＨ４を起動して温感刺激をユーザに与えることによって、ユーザをリラックスした状態に導く。
【００４９】
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得る。
【００５０】
（１）上記実施形態における一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換等してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００５１】
（２）本発明は、上述した多感覚インタフェースシステム１、多感覚インタフェース制御装置（伝達調整部５）、多感覚インタフェースの制御方法（伝達調整部５での処理）の他、当該多感覚インタフェースシステムや多感覚インタフェース制御装置を構成要素とするシステム、当該多感覚インタフェース制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で実現することもできる。
【符号の説明】
【００５２】
１…多感覚インタフェースシステム  ２…伝達情報生成部  ３…ユーザ状態測定部  ４…調整情報記憶部  ５…伝達調整部  ６…多感覚インタフェース  ＣＨ１〜ＣＨｎ…情報伝達チャンネル  Ｘ…コンテンツ  Ｉ１〜Ｉｘ…部分コンテンツ
【図１】
0006365229.tif 000002
【図２】
0006365229.tif 000003
【図３】
0006365229.tif 000004
【図４】
0006365229.tif 000005
【図５】
0006365229.tif 000006
【図６】
0006365229.tif 000007
【図７】
0006365229.tif 000008
【図８】
0006365229.tif 000009
【図９】
0006365229.tif 000010
【図１０】
0006365229.tif 000011
【図１１】
0006365229.tif 000012
【図１２】
0006365229.tif 000013
【図１３】
0006365229.tif 000014
【図１４】
0006365229.tif 000015
【図１５】
0006365229.tif 000016
【図１６】
0006365229.tif 000017
【図１７】
0006365229.tif 000018
【図１８】
0006365229.tif 000019
【図１９】
0006365229.tif 000020