(57)【要約】【課題】  目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面において、話し手又は聞き手に視線の切替を要求することなく、それぞれに身体的引き込み現象をもたらすノンバーバル情報を与える身体的引き込み方法を提供する。【解決手段】  聞き手に対する身体的引き込み現象を話し手にもたらすに際し、コンピュータ31の演算部が算出する動作タイミングで駆動部13により駆動する動作単位14を話し手に所持させ、演算部は話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部13が動作単位14を駆動させて触覚的な感覚情報として動作タイミングを話し手に教示することにより、聞き手に対する身体的引き込み現象を話し手にもたらす。【選択図】  図２
2005251133.tif 000002
【特許請求の範囲】
【請求項１】
目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、聞き手に対する身体的引き込み現象を話し手にもたらすに際し、演算部が算出する動作タイミングで駆動部により駆動する動作単位を話し手に所持させ、演算部は話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位を駆動させて触覚的な感覚情報として動作タイミングを話し手に教示することにより、聞き手に対する身体的引き込み現象を話し手にもたらす触覚に訴える身体的引き込み方法。
【請求項２】
動作予測値は、話し手の音声の信号の移動平均により推定される請求項１記載の触覚に訴える身体的引き込みシステム。
【請求項３】
動作単位は、所持する話し手に引っ張り運動を与える請求項１記載の触覚に訴える身体的引き込み方法。
【請求項４】
動作単位は、所持する話し手に押圧運動を与える請求項１記載の触覚に訴える身体的引き込み方法。
【請求項５】
動作単位は、所持する話し手に振動を与える請求項１記載の触覚に訴える身体的引き込み方法。
【請求項６】
動作単位は、所持する話し手に風を与える請求項１記載の触覚に訴える身体的引き込み方法。
【請求項７】
目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、話し手に対する身体的引き込み現象を聞き手にもたらすに際し、演算部が算出する動作タイミングで駆動部により駆動する動作単位を聞き手に所持させ、演算部は話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位を駆動させて触覚的な感覚情報として動作タイミングを聞き手に教示することにより、話し手に対する身体的引き込み現象を聞き手にもたらす触覚に訴える身体的引き込み方法。
【請求項８】
動作予測値は、聞き手の音声の信号の移動平均により推定される請求項７記載の触覚に訴える身体的引き込みシステム。
【請求項９】
動作単位は、所持する聞き手に引っ張り運動を与える請求項７記載の触覚に訴える身体的引き込み方法。
【請求項１０】
動作単位は、所持する聞き手に押圧運動を与える請求項７記載の触覚に訴える身体的引き込み方法。
【請求項１１】
動作単位は、所持する聞き手に振動を与える請求項７記載の触覚に訴える身体的引き込み方法。
【請求項１２】
動作単位は、所持する聞き手に風を与える請求項７記載の触覚に訴える身体的引き込み方法。
【請求項１３】
目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、聞き手に対する身体的引き込み現象を話し手にもたらすシステムであって、所持した話し手に触覚的な感覚情報を与える動作単位と、該動作単位を駆動する駆動部と、該駆動部の動作タイミングを算出する演算部と、該演算部へ話し手の音声の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位を駆動させて触覚的な感覚情報として動作タイミングを話し手に教示して、聞き手に対する身体的引き込み現象を話し手にもたらす触覚に訴える身体的引き込みシステム。
【請求項１４】
動作予測値は、話し手の音声の信号の移動平均により推定される請求項13記載の触覚に訴える身体的引き込みシステム。
【請求項１５】
動作単位は、所持する話し手に引っ張り運動を与える請求項13記載の触覚に訴える身体的引き込みシステム。
【請求項１６】
動作単位は、所持する話し手に押圧運動を与える請求項13記載の触覚に訴える身体的引き込みシステム。
【請求項１７】
動作単位は、所持する話し手に振動を与える請求項13記載の触覚に訴える身体的引き込みシステム。
【請求項１８】
動作単位は、所持する話し手に風を与える請求項13記載の触覚に訴える身体的引き込みシステム。
【請求項１９】
目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、話し手に対する身体的引き込み現象を聞き手にもたらすシステムであって、所持した聞き手に触覚的な感覚情報を与える動作単位と、該動作単位を駆動する駆動部と、該駆動部の動作タイミングを算出する演算部と、該演算部へ話し手の音声の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた話し手の音声の信号から推定される動作予測値が予め定めた聞き手動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位を駆動させて聞き手に触覚的な感覚情報として動作タイミングを教示して、話し手に対する身体的引き込み現象を聞き手にもたらす触覚に訴える身体的引き込みシステム。
【請求項２０】
動作予測値は、聞き手の音声の信号の移動平均により推定される請求項19記載の触覚に訴える身体的引き込みシステム。
【請求項２１】
動作単位は、所持する聞き手に引っ張り運動を与える請求項19記載の触覚に訴える身体的引き込みシステム。
【請求項２２】
動作単位は、所持する聞き手に押圧運動を与える請求項19記載の触覚に訴える身体的引き込みシステム。
【請求項２３】
動作単位は、所持する聞き手に振動を与える請求項19記載の触覚に訴える身体的引き込みシステム。
【請求項２４】
動作単位は、所持する聞き手に風を与える請求項19記載の触覚に訴える身体的引き込みシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話し手又は聞き手に身体的引き込み現象をもたらすノンバーバル情報を触覚的な感覚情報として与える身体的引き込み方法と、前記触覚的な感覚情報を与えるシステムとに関する。
【背景技術】
【０００２】
会話によりコミュニケーションを図る話し手及び聞き手は、自分又は相手の音声(バーバル情報)を聞き取ると共に、自分又は相手の身体動作をはじめとした感覚情報(ノンバーバル情報)を五感で取得して身体リズムを共有し、より話しやすい又は聞きやすい状態を作り出して、会話に引き込まれていく。こうした身体リズムの共有により会話に引き込まれていく現象を、「身体的引き込み現象」と呼ぶ。これから、聞き手に代わって話し手に身体的引き込み現象をもたらす装置又はシステム、また話し手に代わって聞き手に身体的引き込み現象をもたらす装置又はシステムがあれば、話し手又は聞き手に、それぞれ身体的引き込み現象をもたらすことができる。
【０００３】
こうした身体的引き込み現象を利用した装置としては、例えば特許文献１がある。この特許文献１は、ノンバーバル情報として視覚的な感覚情報、すなわちロボットの身体動作により、このロボットに話しかける話し手、又はロボットから流れる音声を聞く聞き手に身体的引き込み現象をもたらす。ここで、前記身体動作は、口の開閉動作、目の瞬き動作又は身体の身振り動作の選択的な組み合わせからなるが、各部の動作は頭の頷き動作の動作タイミングを基準として決定される。この頷き動作タイミングは、聞き手の反応が最も顕著に現れると推定される時系列上の特定時点であり、この特許文献１では音声から推定される頷き予測値が予め定めた頷き閾値を越えた時点としている。ここで、ロボットに代えて、コンピュータ画像によるキャラクタであってもよい。
【０００４】
【特許文献１】特開2001-009169号公報(２頁〜６頁、図１)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の装置は、目前に相手方がいない会話を想定し、視覚的な感覚情報として捉えられるロボットの身体動作をノンバーバル情報として与え、話し手又は聞き手に身体的引き込み現象をもたらしている。しかし、会話では通常相手方が目前にいるため、ノンバーバル情報として視覚的な感覚情報を与えにくい。例えば、話し手に対し、聞き手とは別にロボット又はコンピュータ画像のキャラクタを用意すれば、話し手の視線は聞き手とロボット又はキャラクタの間で切り替えざるを得なくなる。しかし、こうした視線の切替は、聞き手やロボット又はキャラクタから得られるノンバーバル情報としての視覚的な感覚情報による身体的引き込み現象を引き起こしにくくする。
【０００６】
上記視線の切替による問題は、話し手又は聞き手が不特定又は多数である場面、具体的にはテレビ放送、講演、街頭演説やプレゼンテーションでも起きうる。特に、プレゼンテーションでは、ノンバーバル情報を視覚的な感覚情報として与えにくいと考えられる。通常のプレゼンテーションでは、全体として暗くされ、発表内容の表示画面に話し手又は聞き手の視線が向けられる。このため、表示画面以外からノンバーバル情報として視覚的な感覚情報を与えることは難しい。
【０００７】
ここで、特許文献１の装置は、頷き動作を中心としたロボットの身体動作を視覚的な感覚情報として特定の動作タイミングで実行している点に、身体的引き込み現象をもたらす働きがある。これから、視覚的な感覚情報以外のノンバーバル情報を特定のタイミングで与えれば、話し手又は聞き手に身体的引き込み現象をもたらすことができると考えられる。そこで、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面においても、話し手又は聞き手に視線の切替を要求することなく、それぞれに対して身体的引き込み現象をもたらすノンバーバル情報を与える身体的引き込み方法と、前記ノンバーバル情報を与えるシステムとを開発するため、検討した。
【課題を解決するための手段】
【０００８】
検討の結果開発したものが、ノンバーバル情報として触覚的な感覚情報を話し手又は聞き手に与えて、身体的引き込み現象をもたらす方法及びシステムである。まず、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、聞き手に対する身体的引き込み現象を話し手にもたらすに際し、演算部が算出する動作タイミングで駆動部により駆動する動作単位を話し手に所持させ、演算部は話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位を駆動させて触覚的な感覚情報として動作タイミングを話し手に教示することにより、聞き手に対する身体的引き込み現象を話し手にもたらす触覚に訴える身体的引き込み方法を用いる。ここで、話し手が動作単位を「所持」するとは、話し手の身体に動作単位が直接又は間接に接触していることを意味し、動作単位を手に持つ場合のほか、動作単位をポケットに入れる場合を含む(以下、同じ)。
【０００９】
上記動作タイミングは動作単位を駆動する時系列上の特定時点であるが、身体的引き込み現象との関係で言えば、動作タイミングは聞き手の反応が顕著に現れると推定される時系列上の特定時点を意味する。すなわち、話し手に対する触覚に訴える身体的引き込み方法は、聞き手の反応が顕著に現れると推定される時系列上の特定時点で駆動する動作単位により、触覚的な感覚情報を話し手に直接与えて反応させ、この動作単位を所持する話し手に適切な身体的引き込み現象をもたらす。
【００１０】
話し手の音声の信号から推定される動作予測値は、現在から一定時間範囲の過去に取得した話し手の音声の信号の現在に対する影響の度合いを積算して算出するとよい。前記影響の度合いは、現在と過去とを線形結合、非線形結合又はニューラルネットワーク等で関係づけることにより導き出すことができる。例えば、現在から一定時間範囲の過去に取得した話し手の音声の信号の現在に対する影響の度合いを線形結合で導き出す場合、動作予測値は話し手の音声の信号の移動平均(Moving Average)により推定する。前記移動平均は、例えば次式を用いる。数１中、ｙ(ｉ)は動作予測値、ａ(ｊ)は予測係数、そしてｘ(ｉ−ｊ)は話し手の音声の信号を表す。
【００１１】
【数１】
2005251133.tif 000003
【００１２】
上記数１に対し、下記数２に見られるように、乱数に基づくノイズｗ(ｉ)を加え、動作予測値ｙ(ｉ)を算出する度に異なる値にしてもよい。前記ノイズｗ(ｉ)は、動作予測値ｙ(ｉ)に自然なゆらぎを加味し、動作タイミングの決定から不自然な規則性を除外する働きがある。
【００１３】
【数２】
2005251133.tif 000004
【００１４】
本発明では、動作タイミングで動作単位を駆動し、触覚的な感覚情報を話し手に与えることができればよく、動作単位の構成は問わない。これから、動作単位は、所持する話し手に引っ張り運動を与える構成、所持する話し手に押圧運動を与える構成、所持する話し手に振動を与える構成、又は所持する話し手に風を与える構成のいずれか又は組み合わせて用いることができる。
【００１５】
次に、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、話し手に対する身体的引き込み現象を聞き手にもたらすに際し、演算部が算出する動作タイミングで駆動部により駆動する動作単位を聞き手に所持させ、演算部は話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位を駆動させて聞き手に触覚的な感覚情報として動作タイミングを教示することにより、話し手に対する身体的引き込み現象を聞き手にもたらす触覚に訴える身体的引き込み方法を用いる。
【００１６】
上記動作タイミングは動作単位を駆動する時系列上の特定時点であるが、身体的引き込み現象との関係で言えば、動作タイミングは聞き手の反応が顕著に現れると推定される時系列上の特定時点を意味する。すなわち、聞き手に対する触覚に訴える身体的引き込み方法は、聞き手の反応が顕著に現れると推定される時系列上の特定時点で駆動する動作単位により、触覚的な感覚情報を聞き手に直接与えて同期させ、この動作単位を所持する聞き手に適切な身体的引き込み現象をもたらす。
【００１７】
話し手の音声の信号から推定される動作予測値は、現在から一定時間範囲の過去に取得した話し手の音声の信号の現在に対する影響の度合いを積算して算出するとよい。前記影響の度合いは、現在と過去とを線形結合、非線形結合又はニューラルネットワーク等で関係づけることにより導き出すことができる。例えば、現在から一定時間範囲の過去に取得した話し手の音声の信号の現在に対する影響の度合いを線形結合で導き出す場合、動作予測値は話し手の音声の信号の移動平均(Moving Average)により推定する。前記移動平均は、例えば上記数１を用いることができる。
【００１８】
また、上記数２を用いて、乱数に基づくノイズｗ(ｉ)を加え、動作予測値ｙ(ｉ)を算出する度に異なる値にしてもよい。前記ノイズｗ(ｉ)は、動作予測値ｙ(ｉ)に自然なゆらぎを加味し、動作タイミングの決定から不自然な規則性を除外する働きがある。
【００１９】
ここで、上記話し手及び聞き手の各動作予測値は、基礎となる話し手の音声の信号が同じであることから、予測係数を同じにして、同じ値にすることができる。この場合、更に話し手及び聞き手の各動作閾値が同じであれば、話し手及び聞き手の各動作単位の動作タイミングも一致する。通常の会話におけるノンバーバル情報は、話し手に対する聞き手の反応が大半を占めている。このため、話し手及び聞き手は、前記話し手に対する聞き手の反応が顕著に現れると推定される時系列上の特定時点を等しく感得して身体リズムを共有し、それぞれに身体的引き込み現象をもたらすと考えられる。これから、話し手及び聞き手の各動作単位の動作タイミングは一致させ、話し手及び聞き手それぞれに同じタイミングで触覚的な感覚情報を与えることが現実的と考えられる。厳密に言えば、話し手に対して身体的引き込み現象をもたらすことに適した特定時点である動作タイミングは、聞き手の動作単位の動作タイミングと異なることも考えられるが、この場合は各算出式の予測係数を違えるほか、算出式そのものを異ならせるとよい。
【００２０】
聞き手の動作単位も、上述した話し手の動作単位同様、動作タイミングで駆動し、触覚的な感覚情報を聞き手に与えることができればよく、構成を問わない。これから、動作単位は、所持する聞き手に引っ張り運動を与える構成、所持する聞き手に押圧運動を与える構成、所持する聞き手に振動を与える構成、又は所持する聞き手に風を与える構成のいずれか又は組み合わせて用いることができる。
【００２１】
本発明の触覚に訴える身体的引き込み方法を用いたシステムは、次のように構成できる。すなわち、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、聞き手に対する身体的引き込み現象を話し手にもたらすシステムであって、所持した話し手に触覚的な感覚情報を与える動作単位と、この動作単位を駆動する駆動部と、この駆動部の動作タイミングを算出する演算部と、この演算部へ話し手の音声の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた話し手の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位を駆動させて触覚的な感覚情報として動作タイミングを話し手に教示して、聞き手に対する身体的引き込み現象を話し手にもたらす触覚に訴える身体的引き込みシステムである。
【００２２】
上記身体的引き込みシステムの動作単位は触覚により駆動が感得される物体、駆動部は前記物体を駆動するモータやシリンダ、演算部はコンピュータ、そして信号入力部は前記コンピュータに接続するマイク等の入力インタフェースから構成される。ここで、駆動部は動作単位を駆動させる部分を意味し、例えば小型振動モータでは、振動用錘を 動作単位、モータを駆動部と考えてもよいし、振動用錘を取り付けたモータを一体の動作単位とし、前記モータに駆動信号を送り出す部分を駆動部と考えてもよい。こうした身体的引き込みシステムにおいても、動作予測値は、話し手の音声の信号の移動平均(Moving Average)により推定するとよい。この場合、前記移動平均は、例えば上記数１又は数２を用いることにより、演算部の負担を軽くしながら、動作予測値を算出する時間間隔を短くすることができ、きめ細やかな動作タイミングの算出が可能となる。
【００２３】
具体的な動作単位は、所持する話し手に引っ張り運動を与える構成、例えばモータ又はシリンダによる反復運動するリングに話し手の指を挿入させてリングにより繰り返し引っ張らせる構成や、所持する話し手に押圧運動を与える構成、例えば例えばモータ又はシリンダにより拡大及び縮小を繰り返すリングに話し手の指を挿入させてリングにより繰り返し締め付ける構成や、所持する話し手に振動を与える構成、例えば偏心させた錘をモータにより所定ケース内で自転させて前記所定ケースを握る話し手の手に振動を感得させる構成や、又は所持する話し手に風を与える構成、例えばモータにより断続的又は周期的に回転数を変化させるファンで話し手の手に風を感得させる構成を例示できる。
【００２４】
また、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面で、話し手に対する身体的引き込み現象を聞き手にもたらすシステムであって、所持した聞き手に触覚的な感覚情報を与える動作単位と、この動作単位を駆動する駆動部と、この駆動部の動作タイミングを算出する演算部と、この演算部へ話し手の音声の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた話し手の音声の信号から推定される動作予測値が予め定めた聞き手動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位を駆動させて聞き手に触覚的な感覚情報として動作タイミングを教示して、話し手に対する身体的引き込み現象を聞き手にもたらす触覚に訴える身体的引き込みシステムもある。
【００２５】
上記身体的引き込みシステムの動作単位は触覚により駆動が感得される物体、駆動部は前記物体を駆動するモータやシリンダ、演算部はコンピュータ、そして信号入力部は前記コンピュータに接続するマイク等の入力インタフェースから構成される。ここで、駆動部は動作単位を駆動させる部分を意味し、例えば小型振動モータでは、振動用錘を 動作単位、モータを駆動部と考えてもよいし、振動用錘を取り付けたモータを一体の動作単位とし、前記モータに駆動信号を送り出す部分を駆動部と考えてもよい。こうした身体的引き込みシステムにおいても、動作予測値は、話し手の音声の信号の移動平均(Moving Average)により推定するとよい。この場合、前記移動平均は、例えば上記数１又は数２を用いることにより、演算部の負担を軽くしながら、動作予測値を算出する時間間隔を短くすることができ、きめ細やかな動作タイミングの算出が可能となる。
【００２６】
具体的な動作単位は、所持する聞き手に引っ張り運動を与える構成、例えばモータ又はシリンダによる反復運動するリングに聞き手の指を挿入させてリングにより繰り返し引っ張らせる構成や、所持する聞き手に押圧運動を与える構成、例えば例えばモータ又はシリンダにより拡大及び縮小を繰り返すリングに聞き手の指を挿入させてリングにより繰り返し締め付ける構成や、所持する聞き手に振動を与える構成、例えば偏心させた錘をモータにより所定ケース内で自転させて前記所定ケースを握る聞き手の手に振動を感得させる構成や、又は所持する聞き手に風を与える構成、例えばモータにより断続的又は周期的に回転数を変化させるファンで聞き手の手に風を感得させる構成を例示できる。
【発明の効果】
【００２７】
本発明により、目前に相手方がいる会話や、話し手又は聞き手が不特定又は多数である場面においても、話し手又は聞き手に視線の切替を要求することなく、それぞれに対して身体的引き込み現象をもたらすノンバーバル情報として触覚的な感覚情報を与え、話し手又は聞き手それぞれに適切な身体的引き込み現象をもたらすことができる。これにより、話し手及び聞き手は、それぞれ相手方から目を逸らさずに済み、話し手は話しやすく、また聞き手は話し手の話を聞きやすくなる効果がある。
【００２８】
とりわけ、触覚的な感覚情報を与えることから、周囲が暗く、又は見通しの悪い場面であっても、話し手又は聞き手にそれぞれ身体的引き込み現象をもたらすことができる。これにより、テレビ放送、講演、街頭演説やプレゼンテーション等においても、話し手は話しやすく、また聞き手は放送内容、講演内容、演説内容又は発表内容をよりよく聴取できるようになる効果がある。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して本発明の実施形態について説明する。図１は話し手及び聞き手にそれぞれ振動体10,20を所持させて構成した身体的引き込みシステムの構成図、図２は同身体的引き込みシステムのブロック図である。本例は、話し手及び聞き手が一対一の場合を想定している。これに対し、話し手又は聞き手のいずれかが複数の場合、それぞれに所持させる振動体10,20が増えるだけであるため、ここでは代表として話し手及び聞き手が一対一の場合の説明に留める。
【００３０】
本例の身体的引き込みシステムは、図１及び図２に見られるように、話し手及び聞き手に所持させる振動体10,20のみが個別で、その他は兼用である。具体的には、話し手の音声をピンマイク11で拾って送受信装置30へ無線で送信してコンピュータ31に取り込み、コンピュータ31で前記音声から動作タイミングを算出して、前記動作タイミングに合わせて駆動信号を前記送受信装置30から話し手及び聞き手の各振動体10,20へ送信し、話し手又は聞き手に振動を与える。ピンマイク11とコンピュータ31、そしてコンピュータ31と各振動体10,20とをそれぞれ無線で接続することで、有線によるシステム構成の複雑さを避け、話し手及び聞き手の人数の増減に対応しやすくなり、例えば出入り自由な講演会等に適したシステム構成ができる。
【００３１】
動作タイミングは、信号入力部であるピンマイク11から取り込む話し手の音声から算出する。話し手又は聞き手に対する振動体10,20の動作タイミングは異ならせることもできるが、前記各振動体10,20の動作タイミングは同じであるほうが、話し手及び聞き手の身体リズムを共有しやすくなる。そこで、本例では、話し手及び聞き手を区別することなく、単一のアルゴリズムにより推定された動作予測値を単一の動作閾値と比較して算出した動作タイミングを、話し手又は聞き手の各振動体10,20の動作タイミングとしている。
【００３２】
演算部は、コンピュータ31により構成する。上述のように、本例では、話し手及び聞き手に対する動作予測値の推定は単一のアルゴリズムを用い、そして単一の動作閾値と比較しているため、話し手及び聞き手それぞれに対する動作タイミングの算出に係る時間差はない。コンピュータ31は、演算部を構成するプログラムを実行させ、動作タイミングを算出する。このように、演算部はコンピュータ上のプログラムの実行により構成されることから、例えば話し手及び聞き手に対する動作タイミングの算出に同じ算出式を用いながら異なる予測係数や動作閾値を用いる場合や、話し手及び聞き手に対する動作タイミングの算出に異なる算出式を用いる場合でも、話し手用及び聞き手用の各演算部を容易に構成できる。
【００３３】
コンピュータ31は、送受信装置30を介して話し手又は聞き手が所持する振動体10,20へ駆動信号を送信する。本例の各振動体10,20は、略円筒状のケース12,22内に、前記駆動信号を受けて駆動する駆動部13,23と、この駆動部13,23の駆動により振動体10,20全体を振動させる動作単位14,24とを内蔵している。上述のように、本例では話し手及び聞き手に対する動作タイミングを一致させ、話し手及び聞き手が所持する振動体10,20は同じ構成にしているから、実際には、話し手が所持する振動体10と聞き手が所持する振動体20とを区別して取り扱う必要はない。これから、本発明の身体的引き込みシステムでは、実際上、話し手及び聞き手の区別なく同じ構成の振動体等を所持させれば、話し手及び聞き手それぞれに身体的引き込み現象をもたらすことができる。
【００３４】
本例の身体的引き込みシステムは、次のように働く。話し手が話し始めると、聞き手は話し手の音声(バーバル情報)を聞き取りながら、話し手の身振り等(ノンバーバル情報)を視覚的な感覚情報として取得することで、身体的引き込み現象がもたらされる。しかし、聞き手が話し手から目を逸らした場合、前記視覚的な感覚情報が激減し、円滑に身体的引き込み現象がもたらされなくなる虞れがある。ところが、本例の身体的引き込みシステムを用いれば、聞き手の視線を問わず、聞き手の反応が顕著に現れると推定される時系列上の特定時点を振動体20が振動によって聞き手に教えることにより、聞き手に不足するノンバーバル情報が補われ、円滑に身体的引き込み現象がもたらされる。聞き手が話し手から目を逸らさない場合、視覚的な感覚情報に加え、触覚的な感覚情報が与えられることから、より積極的に身体的引き込み現象が聞き手にもたらされる。
【００３５】
話し手は、聞き手の反応(ノンバーバル情報)を取得することにより、身体的引き込み現象がもたらされる。よって、聞き手の反応が十分でないと、話し手に身体的引き込み現象が円滑にもたらされなくなる。この場合でも、本例の身体的引き込みシステムを用いれば、聞き手の反応を問わず、聞き手の反応が顕著に現れると推定される時系列上の特定時点を振動体10が振動によって話し手に教えることができ、話し手に不足するノンバーバル情報を補って、円滑に身体的引き込み現象が話し手にもたらされる。また、本例の身体的引き込みシステムにより身体的引き込み現象が聞き手にもたらされているので、聞き手の反応はよくなっており、この良好な聞き手の反応を話し手が視覚的な感覚情報として受け取ることにより、身体的引き込み現象が話し手によりよくもたらされる。
【００３６】
このほか、本例では、話し手及び聞き手に対する動作タイミングを一致させ、同じ構成の振動体10,20により触覚的な感覚情報を与えているので、身体リズムの共有が容易になる利点もある。また、上述したことから明らかなように、視覚的な感覚情報と触覚的な感覚情報とは、互いが排斥する関係になく、むしろ相乗する関係にあることから、例えば話し手及び聞き手が身体的引き込み現象をもたらすキャラクタが表示されるテレビ電話で会話をする場合等に、各テレビ電話に表示されるキャラクタに加えて、同じ動作単位を話し手及び聞き手に所持させることで、会話がよりしやすくなる。このように、本発明は身体的引き込み現象を話し手又は聞き手に効率よくもたらす効果を有する。
【実施例】
【００３７】
次に、本発明の触覚に訴える身体的引き込みシステムが話し手に身体的引き込み現象をどの程度もたらすかを確認するため、数種類の触覚的な感覚情報を与える動作単位を実際に制作し、使用感を確認する官能評価試験を実施した。この度の官能評価試験では、従前より提案している視覚的な感覚情報により身体的引き込み現象をもたらすディスプレイ表示のキャラクタと併用することにより、視覚的な感覚情報及び触覚的な感覚情報を併用することの相乗効果についても確認した。
【００３８】
この度の官能評価試験では、試験の簡略化のため、話し手側の装置のみからなる身体的引き込みシステムを用いている。実際には、更に聞き手側に同様な装置を配して、図３に見られる対称な身体的引き込みシステムとして使用する。前記対称な身体的引き込みシステムは、相手方に代わって身体動作するディスプレイ上のキャラクタにより、視覚的な感覚情報を話し手又は聞き手に与えて、それぞれに身体的引き込み現象をもたらす。キャラクタは人間を模した構成で、頷き動作、瞬き動作、口の開閉動のほか、首、腰、肩、肘又は手首の関節を動かして、全体的な身振り動作をする。
【００３９】
この度の官能評価試験では、上記話し手側の装置のみからなる身体的引き込みシステムに、触覚的な感覚情報を与える動作単位を加え、話し手に対してディスプレイ上のキャラクタによる視覚的な感覚情報と、前記動作単位による触覚的な感覚情報とを話し手に与えるようにしている。このような視覚的な感覚情報と触覚的な感覚情報との併用は、次に示す効果が期待される。
【００４０】
第一に、視覚的な感覚情報を与えるキャラクタと触覚的な感覚情報を与える動作単位とを併用することにより、話し手に与えることのできるノンバーバル情報を増加させることができると考えられる。これは、視覚的な感覚情報と触覚的な感覚情報とが合わさってノンバーバル情報の総量を増加させる効果(相乗効果)である。
【００４１】
第２に、触覚的な感覚情報は、仮想的な別の聞き手の存在を話し手に想像させやすく、身体的引き込み現象をもたらしやすくすると考えられる。これは、視覚的な感覚情報を触覚的な感覚情報が補完することによる効果(補完効果)である。すなわち、話し手に触覚的な感覚情報を与えることで、キャラクタ以外の仮想的な別の聞き手を話し手に認識させ、この話し手に身体的引き込み現象をもたらしやすくなると考えられる。聞き手に関して言えば、自分以外の仮想的な別の聞き手の存在を聞き手に認識させ、この聞き手に身体的引き込み現象をもたらしやすくなると考えられる。
【００４２】
第３に、仮に視覚的な感覚情報が損なわれても、触覚的な感覚情報が存在すれば、話し手に身体的引き込み現象がもたらされると考えられる。これは、話し手及び聞き手が会話における身体リズムを共有しているとの認識を持つことのできる触覚的な感覚情報を与えることによる直接的な効果(固有効果)である。これから、場合によっては、視覚的な感覚情報に代えて、触覚的な感覚情報のみを扱うことができれば、遠隔地者である話し手及び聞き手のコミュニケーションが図れるようになると考えられる。
【００４３】
具体的な話し手側の装置の構成を図４に、前記話し手側の装置の使用状態を図５に示す。図４中、動作単位は振動する構成＝振動型を図示しているが、後述するように、この度の官能評価試験では、様々な触覚的な感覚情報を比較する目的もあり、引っ張り型、押圧型、振動型又は風型の４種類の動作単位を用いている、各動作単位は、それぞれ話し手の手又は指に対する引っ張り、絞り、振動又は送風によって、聞き手の反応が顕著に現れると推定される時系列上の特定時点を、触覚的な感覚情報として話し手に教える。
【００４４】
話し手の音声は、マイクによりコンピュータへ取り込まれる。コンピュータでは、取り込まれた話し手の音声の信号から動作予測値を推定し、予め定めた動作閾値と比較して動作タイミングを算出するプログラムを実行させて、演算部を構成している。そして、コンピュータは、算出された動作タイミングで駆動信号を出力し、USBインタフェース(USB I/O)を介して駆動部(アクチュエータ)へ前記駆動信号を送り込み、この駆動部が各種動作単位を駆動する。
【００４５】
コンピュータは、CPUがAMD K6 266MHz、メモリが128MBであり、マイクからの話し手の音声を取り込むためのサウンドカードと、駆動信号を出力するためのUSB ポートを備えている。演算部を構成するプログラム(実行ファイル)は約300KBで、前記プログラムはMicrosoft Windows(登録商標) 2000上で実行されている。また、USBインタフェースは、USBコントローラマイコンとしてサイプレスセミコンダクタのCY7C63001A-PC(USB 1.1規格、Low-Speedタイプ1.5Mbps)を使用し、コンピュータのUSBポートから+５Vの電源供給を受けて、バスパワー駆動させている。駆動部は、モルフィー企画社製汎用USB I/Oを利用して制御している。
【００４６】
話し手の音声の信号から推定される動作予測値は、現在から一定時間範囲の過去に取得した話し手の音声の信号の現在に対する影響の度合いを線形結合で導き出すこととして、既述した数１に見られる算出式を用いる話し手の音声の信号の移動平均(Moving Average)により推定している。ここで、話し手の音声の信号ｘ(ｉ−ｊ)は、現時点から過去２secの範囲の信号を60分割、すなわちＪ＝１〜60として、1/30sec単位の値を用いている。この度の官能評価試験では、予測係数ａ(ｊ)に前記1/30sec単位の時間間隔で予め定めた定数を用いている。実際の身体的引き込みシステムでは、ノイズｗ(ｉ)を加えた数２に基づいて、動作予測値を推定するとよい。
【００４７】
この度の官能評価試験に用いる身体的引き込みシステムは、視覚的な感覚情報と触覚的な感覚情報とを話し手に与えるため、両者が同じ動作タイミングで身体動作又は駆動することにしている。このため、視覚的な感覚情報を話し手に与えるキャラクタの身体動作の動作タイミングを算出する動作予測値と、触覚的な感覚情報を話し手に与える動作単位の動作タイミングを算出する動作予測値とは、同じ値を用いている。
【００４８】
具体的には、キャラクタの身体動作は頷き動作、瞬き動作及び身振り動作に大別し、頷き動作は上記動作予測値を動作閾値とを比較して算出される動作タイミングで実行し、瞬き動作は前記動作タイミングを起点として指数分布して実行し、そして身振り動作は記動作予測値を頷き動作の動作閾値より低い閾値とを比較して算出される動作タイミングで実行している。これに対し、動作単位は運動態様が一つであるため、上記動作予測値を動作閾値とを比較して算出される動作タイミングで駆動するのみである。
【００４９】
この度の官能評価試験で用意した触覚的な感覚情報を与える動作単位は、図６〜図９に見られる４種類である。触覚的な感覚情報を話し手に与える具体的な手段としては、多種多様なものが考えられることから、手に持たせた場合に感じやすい触覚的な感覚情報として、引っ張り運動(図６)、押圧運動(図７)、振動(図８)及び送風(図９)の触覚的感覚情報を与える動作単位を作成した。各動作単位は、身体的引き込み現象をもたらす身体動作をするロボット(増田屋コーポレーション社製「うなずき君」)の駆動部分を利用している。
【００５０】
押圧型の動作単位は、図６に見られるように、揺動運動する動作単位にゴム紐を掛け回し、話し手の指に前記ゴム紐を引っ掛けて、動作単位の揺動運動に従って話し手の指に引っ張り運動を与える構成である。引っ張り運動は、人間の気を引く運動として代表的なものと考えられ、身体的引き込み現象をもたらす触覚的な感覚情報として有望である。
【００５１】
押圧型動作単位は、図７に見られるように、ペットボトル内にカムを回転させる動作単位を収め、前記カムに接続したゴム紐をペットボトルから外に取り出し、話し手の指に掛け回しており、カムの回転によりゴム紐を引っ張ったり、緩めることで、ゴム紐を掛け回した話し手の指にゴム紐を絞り込んで、押圧運動を与える構成である。ゴム紐による絞りは、上記引っ張り運動と似ているが、ゴム紐の長さを短くしておくことで、ゴム紐の引っ張りは話し手の指に押圧感を与える。
【００５２】
振動型動作単位は、図８に見られるように、動作単位として小型振動モータ(TPC社製CM05J)をペットボトル内に収め、前記動作単位の駆動によりペットボトル全体に振動を与えることで、このペットボトルを握る話し手の手に振動を与える構成である。こうした振動による触覚的な感覚情報は、例えば携帯電話等の着信音の代用として広く利用されており、馴染みがあることから、身体的引き込み現象をもたらす触覚的な感覚情報として有望である。
【００５３】
風型動作単位は、図９に見られるように、動作単位としてモータをスティック状の筐体内に収め、前記モータによりファンを回転させることにより、筐体を握る話し手の手にファンから風を送る構成である。送風による触覚的な感覚情報は、寒冷を伴うことから、引っ張り、押圧又は振動といった物理的な運動に比較してより自然な触覚的な感覚情報を与えることができると考えられる。この度の官能評価試験では、他の動作単位との兼ね合いから、モータへの電源供給をUSBに頼っているため、ファンの回転及び停止の迅速な応答が望めない。そこで、ファンは常時低速回転させ、動作タイミングに合わせて高速回転に切り替えることとした。
【００５４】
各動作単位の仕様を、キャラクタの身体動作の駆動時間と共に表１に示す。ここで、起動時間とは、キャラクタが実際に頷き動作を開始する時点を基準時間(０msec）とした場合の前記基準時間からの遅延時間である。表１から明らかなように、各動作単位は駆動手段及び態様が異なるため、起動時間が異なっており、こうした起動時間の長短の影響についても評価対象にすることした。キャラクタは、1フレーム33msec(30fps)で動作する。
【００５５】
【表１】
2005251133.tif 000005
【００５６】
まず、身体的引き込み現象の発現については、いずれの動作単位でも話し手が感じる程度にもたらされることが確認できた。しかし、詳細には、各動作単位の起動時間の違いにより、もたされる身体的引き込み現象に程度差があることがわかった。具体的には、起動時間の大きな動作単位ほど、キャラクタの頷き動作をはじめとした身体動作と、各動作単位の駆動とのずれに、違和感が感じられるようである。これは、異なる感覚情報を話し手に与える場合、各感覚情報にずれが生じては、両感覚情報は相乗するのではなく、相殺してしまうことを意味する。これから、触覚的な感覚情報を与える動作単位を単独で用いることは有効であるが、視覚的な感覚情報を与えるキャラクタと併用する場合は、両感覚情報にずれが生じないようにする必要があることがわかった。
【００５７】
そこで、上記官能評価試験の結果を受け、図10に見られるような身体的引き込みシステムの構成を考えた。この身体的引き込みシステムは、動作単位が起動する遅延時間だけ遅延させてキャラクタを身体動作させるため、コンピュータからディスプレイの間に遅延回路を追加した構成になっている。動作単位がキャラクタの身体動作に比べて遅延して駆動する理由の一つに、機械的な動作をもたらす駆動部の存在がある。前記遅延回路は、この駆動部による遅延をキャラクタの身体動作にもたらす付加回路と見ることができる。
【００５８】
この遅延回路を備えた身体的引き込みシステムにより、上記同様な官能評価試験を実施した結果、各動作単位の起動時間が短くなるほど、すなわちキャラクタの身体動作と各動作単位の駆動とのずれが小さくなるほど、違和感なく身体的引き込み現象がもたらされるのみならず、キャラクタの身体動作のみの場合に比べて、引き込まれやすいとの回答を得た。これにより、触覚的な感覚情報により身体的引き込み現象がもたらされること、視覚的な感覚情報と触覚的な感覚情報とを併用することで、よりよく身体的引き込み現象がもたらされることが分かった。
【産業上の利用可能性】
【００５９】
本発明は、ロボットやディスプレイ上に表示されるキャラクタの身体動作によって視覚的な感覚情報を話し手又は聞き手に与えて、前記話し手又は聞き手に身体的引き込み現象を与える身体的引き込みシステムに対し、前記ロボットやキャラクタに代えて使用し得る触覚的な感覚情報を与える動作単位の有効性と、前記ロボットやキャラクタと共に使用し得る触覚的な感覚情報を与える動作単位の有効性とを提案する。
【００６０】
具体的には、対面する話し手及び聞き手が会話する場合、両者がそれぞれ動作単位を所持して会話をすれば、各動作単位の駆動が、いわば「合いの手」となって、話し手には話しやすさを、聞き手には聞きやすさを与えて、より緊密な会話ができるようにする。また、上記官能評価試験にも見られた身体的引き込みシステムは、そのまま遠隔地者である話し手及び聞き手のテレビ電話に応用し得る。
【００６１】
このほか、話し手又は聞き手が不特定又は多数である場面、具体的にはテレビ放送、講演、街頭演説やプレゼンテーション等において、各話し手及び聞き手が動作単位を所持することにより、話し手及び聞き手全員が身体リズムを共有できるようになる。ここで、視覚的な感覚情報による身体的引き込み現象と異なる点は、話し手又は聞き手の視線が拘束を受けない点にある。例えばプレゼンテーションでは、話し手及び聞き手がそれぞれ発表内容を表示する表示画面を見ている場面を想像すれば、触覚的な感覚情報によりもたらされる身体的引き込み現象の優位性が理解できる。このように、本発明は身体的引き込み現象の利用範囲を拡大する特徴を有する。
【図面の簡単な説明】
【００６２】
【図１】話し手及び聞き手にそれぞれ振動体を所持させて構成した身体的引き込みシステムの構成図である。
【図２】同身体的引き込みシステムのブロック図である。
【図３】話し手側の装置及び聞き手側の装置が対称に配された身体的引き込みシステムの構成図である。
【図４】身体的引き込みシステムにおける具体的な話し手側の装置の構成図である。
【図５】話し手側の装置の使用状態を表す写真である。
【図６】実際に制作した引っ張り型動作単位の写真である。
【図７】実際に制作した押圧型動作単位の写真である。
【図８】実際に制作した振動型動作単位の写真である。
【図９】実際に制作した風型動作単位の写真である。
【図１０】遅延回路を付加した身体的引き込みシステムにおける話し手側の装置の構成図である。
【符号の説明】
【００６３】
10  話し手の振動体
11  ピンマイク
12  略円筒状のケース
13  駆動部
14  動作単位
20  聞き手の振動体
22  略円筒状のケース
23  駆動部
24  動作単位
30  送受信装置
31  コンピュータ
【図１】
2005251133.tif 000006
【図２】
2005251133.tif 000007
【図３】
2005251133.tif 000008
【図４】
2005251133.tif 000009
【図５】
2005251133.tif 000010
【図６】
2005251133.tif 000011
【図７】
2005251133.tif 000012
【図８】
2005251133.tif 000013
【図９】
2005251133.tif 000014
【図１０】
2005251133.tif 000015