(57)【特許請求の範囲】
【請求項１】
複数の表示装置がユーザを囲むように配置された没入型仮想コミュニケーション環境において、
発話ユーザの発話内容を入力する発話入力過程と、
前記入力された発話内容から文字情報を生成する文字生成過程と、
前記没入型仮想コミュニケーション環境における発話ユーザと受話ユーザの３次元位置と視線ベクトルを抽出する抽出過程と、
前記発話ユーザと受話ユーザの３次元位置により発話ユーザと受話ユーザ間の距離を抽出する距離抽出過程と、
前記受話ユーザの視線ベクトルとあらかじめ決められた視界角により受話ユーザの視界を抽出する視界抽出過程と、
前記発話ユーザと受話ユーザの距離があらかじめ設定された距離内にあるという第１の条件と、前記発話ユーザの３次元位置が前記受話ユーザの視界内にあるという第２の条件との、２つの条件のいずれをも満たす場合は、発話から一定時間、前記発話ユーザの３次元位置の周囲を文字表示画像の提示位置とし、前記２つの条件のいずれかを満たさない場合は、前記発話ユーザの３次元位置の周囲から前記発話ユーザの視線ベクトル方向へ発話からの時間にともなって移動する位置を文字表示画像の提示位置とする提示位置決定過程と、
前記生成された文字情報を前記決定された文字表示画像の提示位置に出力する出力過程と
を有することを特徴とする会話情報提示方法。
【請求項２】
複数の表示装置がユーザを囲むように配置された没入型仮想コミュニケーション環境システムであって、
発話ユーザの発話内容を入力する発話入力手段と、
前記入力された発話内容から文字情報を生成する文字生成手段と、
前記没入型仮想コミュニケーション環境における発話ユーザと受話ユーザの３次元位置と視線ベクトルを抽出する抽出手段と、
前記発話ユーザと受話ユーザの３次元位置により発話ユーザと受話ユーザ間の距離を抽出する距離抽出手段と、
前記受話ユーザの視線ベクトルとあらかじめ決められた視界角により受話ユーザの視界を抽出する視界抽出手段と、
前記発話ユーザと受話ユーザの距離があらかじめ設定された距離内にあるという第１の条件と、前記発話ユーザの３次元位置が前記受話ユーザの視界内にあるという第２の条件との、２つの条件のいずれをも満たす場合は、発話から一定時間、前記発話ユーザの３次元位置の周囲を文字表示画像の提示位置とし、前記２つの条件のいずれかを満たさない場合は、前記発話ユーザの３次元位置の周囲から前記発話ユーザの視線ベクトル方向へ発話からの時間にともなって移動する位置を文字表示画像の提示位置とする提示位置決定手段と、
前記生成された文字情報を前記決定された文字表示画像の提示位置に出力する出力手段と
を具備することを特徴とする没入型仮想コミュニケーション環境システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、会話情報提示方法及び没入型仮想コミュニケーション環境システムに関し、特に、複数の表示装置がユーザを囲むように配置された没入型仮想環境において、聴覚障害者の会話支援等を目的とし、ユーザの発話内容を文字画像提示する会話情報提示技術に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、没入型仮想環境が体験できる没入型多面ディスプレイシステムがある。この没入型多面ディスプレイシステムは、本来、シミュレーション等の可視化環境として開発されたものである。近年ではそれをネットワークで接続し、コミュニケーション環境として利用する研究が盛んに行われている。没入型多面ディスプレイシステムは複数のスクリーン（表示装置）を前後左右上下等に配置し、ユーザを映像で囲むような構造になっており、高い臨場感を得ることができる。
【０００３】
このような没入型仮想コミュニケーション環境では、ユーザはアバタ（分身）となり立体的な仮想世界中を自由に歩き回ることができ、前後上下左右方向を見ることができ、他アバタ（他ユーザ）と遭遇したときに会話の場を持つことができる。このとき、発話ユーザの会話情報は音声で提示される。
【０００４】
このような没入型仮想コミュニケーション環境については、例えば、文献：信学技報、ＭＶＥ９９−４５、ｐｐ．１〜８、１９９９（河野隆志、鈴木由里子、山本憲男、志和新一、石橋聡著、表題“没入型仮想コミュニケーション環境”）に記載されている。
【０００５】
一方、一面ディスプレイで仮想環境を体験できる非没入型ディスプレイシステムにおいては、聴覚障害者支援等の為に会話内容の音声提示に替わる代替手段として、テレビの字幕のように会話情報を文字によって提示する方法がある。この場合、ユーザの視界方向にディスプレイが存在するため、ディスプレイの一部に文字情報を提示することでユーザは会話情報を獲得することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、非没入型ディスプレイシステムで採用されているテレビの字幕のような文字提示方法は、没入型多面ディスプレイシステムには不向きである。没入型多面ディスプレイシステムはユーザを囲むように複数のディスプレイが設置されており、ユーザが前後上下左右方向を見ることができるため、ユーザの視界方向は特定のディスプレイに固定されない。そのため、ある特定のディスプレイの一部にテレビ字幕のように文字情報を提示する方法では、ユーザがその特定のディスプレイを見ていない場合に会話情報の獲得に失敗するという問題があった。
【０００７】
また、ユーザがそのディスプレイを見ていた場合でも、発話者がユーザの視界にない場合には、ユーザが発話者の位置を把握できず、円滑なコミュニケーションが行えないという問題があった。さらには、ユーザが会話情報の獲得のためにその特定のディスプレイを視界に置こうとすることで、仮想空間内を自由に歩き回れないという問題が発生する。
【０００８】
本発明は、前記課題を解決するためになされたものであり、没入型仮想コミュニケーション環境において、ユーザが仮想空間内を自由に歩き回りながら、他ユーザと会話の場を容易に持つことが可能な会話情報提示技術を提供することを目的とする。
【０００９】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【００１１】
（１）複数の表示装置（ディスプレイ）がユーザを囲むように配置された没入型仮想コミュニケーション環境において、発話ユーザの発話内容を入力する発話入力過程と、前記入力された発話内容から文字情報を生成する文字生成過程と、前記没入型仮想コミュニケーション環境における発話ユーザと受話ユーザの３次元位置と視線ベクトルを抽出する抽出過程と、前記発話ユーザと受話ユーザの３次元位置により発話ユーザと受話ユーザ間の距離を抽出する距離抽出過程と、前記受話ユーザの視線ベクトルとあらかじめ決められた視界角により受話ユーザの視界を抽出する視界抽出過程と、前記発話ユーザと受話ユーザの距離があらかじめ設定された距離内にあるという第１の条件と、前記発話ユーザの３次元位置が前記受話ユーザの視界内にあるという第２の条件との、２つの条件のいずれをも満たす場合は、発話から一定時間、前記発話ユーザの３次元位置の周囲を文字表示画像の提示位置とし、前記２つの条件のいずれかを満たさない場合は、前記発話ユーザの３次元位置の周囲から前記発話ユーザの視線ベクトル方向へ発話からの時間にともなって移動する位置を文字表示画像の提示位置とする提示位置決定過程と、前記生成された文字情報を前記決定された文字表示画像の提示位置に出力する出力過程とを有する会話情報提示方法である。
【００１３】
（２）複数の表示装置（ディスプレイ）がユーザを囲むように配置された没入型仮想コミュニケーション環境システムであって、発話ユーザの発話内容を入力する発話入力手段と、前記入力された発話内容から文字情報を生成する文字生成手段と、前記没入型仮想コミュニケーション環境における発話ユーザと受話ユーザの３次元位置と視線ベクトルを抽出する抽出手段と、前記発話ユーザと受話ユーザの３次元位置により発話ユーザと受話ユーザ間の距離を抽出する距離抽出手段と、前記受話ユーザの視線ベクトルとあらかじめ決められた視界角により受話ユーザの視界を抽出する視界抽出手段と、前記発話ユーザと受話ユーザの距離があらかじめ設定された距離内にあるという第１の条件と、前記発話ユーザの３次元位置が前記受話ユーザの視界内にあるという第２の条件との、２つの条件のいずれをも満たす場合は、発話から一定時間、前記発話ユーザの３次元位置の周囲を文字表示画像の提示位置とし、前記２つの条件のいずれかを満たさない場合は、前記発話ユーザの３次元位置の周囲から前記発話ユーザの視線ベクトル方向へ発話からの時間にともなって移動する位置を文字表示画像の提示位置とする提示位置決定手段と、前記生成された文字情報を前記決定された文字表示画像の提示位置に出力する出力手段とを具備するものである。
【００１５】
前述の手段によれば、没入型仮想コミュニケーション環境内において、ユーザ（例えば、聴覚障害ユーザ）が、発話ユーザの位置と発話内容を把握することができる。これにより、仮想空間内を自由に歩き回りながら、他ユーザと会話の場を容易に持つことができる。
【００１６】
以下に、本発明について、本発明による実施形態（実施例）とともに図面を参照して詳細に説明する。
【００１７】
【発明の実施の形態】
図１は、本発明による一実施形態（実施例）の没入型仮想コミュニケーション環境システムの概略構成を示すブロック構成図である。
【００１８】
図１において、発話入力手段１は、発話ユーザの発話内容を入力し発話内容をデータ化するものである。この発話入力手段１としては、例えば、マイク等の発話音声入力機器やジェスチャー発話に対するモーションキャプチャ動作入力機器を用いる。
【００１９】
文字生成手段２は、発話入力手段１より入力された発話内容データを認識して文字情報に変換生成するものである。この文字生成手段２としては、例えば、前記発話内容データが音声情報であれば音声認識装置を使用し、発話内容データが動作情報であれば動作認識装置を使用する。
【００２０】
ここで、音声認識用ソフトウエアは、例えば、音声認識エンジンＲＥＸ（ＮＴＴ）が知られている。また、動作認識方法は、例えば、文献：信学技報、ＭＶＥ９９−３６、１９９９／７（矢部愽明，その他著、表題“ジェスチャ動画像と意記述単語系列とのネットワーク構造対応に基づくジェスチャ認識”）に記載されている。
【００２１】
抽出手段３−１、３−２は、それぞれ発話ユーザと受話ユーザの仮想環境内における３次元位置と視線ベクトルを抽出するものである。抽出する方法例として、ユーザの身体に位置を検出する位置センサを取りつけて仮想環境内における位置を抽出する方法がある。具体的には、三次元（３Ｄ）メガネに取りつけられた磁気センサや３次元ワンド（磁気センサとスイッチボタンとを備えた棒状のインタフェース装置）に備えられた磁気センサによって、現実の位置・方向情報処理用パーソナルコンピュータ（ＰＣ）等による仮想環境空間におけるユーザの３次元抽出手段を抽出することが考えられる。特に、視線ベクトルはユーザの見ている方向を忠実に抽出するためにもセンサを頭部につけるのがよいと考えられる。位置センサ装置にこだわる必要は無く、検出精度のよいものがいいのはいうまでもない。
【００２２】
ここで、抽出された仮想環境内における発話ユーザの３次元位置をＡ、その位置Ａでの視線ベクトルをベクトルａとし、受話ユーザの３次元位置をＢ、その位置Ｂでの視線ベクトルをベクトルｂとする。また、視線ベクトルａはユーザの３次元位置Ａを起点とした方向ベクトルとする。視線ベクトルｂも同様に３次元位置Ｂを起点とした方向ベクトルとする。
【００２３】
距離抽出手段４は、前記抽出手段３−１及び３−２で得られた発話ユーザの３次元位置Ａと受話ユーザの３次元位置Ｂを入力し、３次元位置Ａ、Ｂ間の距離を計算し、発話ユーザと受話ユーザの距離ｄを抽出するものである。
【００２４】
視界抽出手段５は、前記抽出手段３−２で得られた受話ユーザの視線ベクトルｂを入力し、その視線ベクトルｂを中心軸として、図２のように、あらかじめ設定した視界角Ｒの無限円錐状の視界Ｗを抽出するものである。視界角Ｒは仮想環境内で会話するときに必要と考えられる受話ユーザの視野の角度と定義し、視界Ｗの角度となる。この視界角Ｒは自由自在に調整することができ、視界角Ｒが大きければ大きいほど視界Ｗは広くなる。
【００２５】
提示位置決定手段６は、前記抽出手段３−１で抽出された３次元位置Ａと視線ベクトルａ、前記距離抽出手段４で抽出された距離ｄ及び前記視界抽出手段５で抽出された視界Ｗを入力し、それにもとづいて文字情報の提示位置を決定するものである。
【００２６】
出力手段７は、前記文字生成手段２で生成された文字情報及び提示位置決定手段６で決定された提示位置を入力し、文字情報を提示位置に基づいて出力する出力手段である。
【００２７】
図３は、前記提示位置決定手段６の処理手順を示すフローチャートである。前記提示位置決定手段６の処理手順は、図３に示すように、前記距離抽出手段４から前記発話ユーザと受話ユーザの距離ｄ、前記抽出手段３−１から発話者の３次元位置Ａ及び視界抽出手段５から視界Ｗを入力する。そして、距離Ｄを設定する。あらかじめ設定される距離Ｄは、仮想環境内におけるユーザ間の会話に適すると考えられる距離とする。距離Ｄは長ければ長いほど会話範囲が広くなり遠くにいるユーザとも明確な会話ができるようにすることができる。    発話ユーザが、図４のように、受話ユーザからの距離Ｄ内で、かつ視界Ｗ内にいる場合と、それ以外の場合とに分ける順序を、図３に示すように、ｄ≦Ｄの判断及びＡ⊂Ｗの判断で分類する。ｄ≦ＤかつＡ⊂Ｗが成り立つときは、文字情報の提示位置を、発話されてから一定時間Ｔ（設定時間）の間、発話ユーザの周囲と決定する。
【００２８】
一方、ｄ≦ＤあるいはＡ⊂Ｗが成り立たないときは、文字情報の提示位置を発話ユーザの周囲とする。これを初期提示位置とし、ある一定の時間Ｔ（設定時間）が経過すると発話ユーザの視線ベクトルａの方向に文字情報の提示位置を移動させる。
【００２９】
図５及び図６は、文字情報の出力例を示す模式図である。図５は、ｄ≦ＤかつＡ⊂Ｗが成り立つときの出力例であり、吹き出し画像が口元付近に出力され発話内容が吹き出しの中に表示される。また、ｄ≦ＤあるいはＡ⊂Ｗが成り立たないときは、図６のように、吹き出し画像が初期提示位置である口元に表示され、発話内容が吹き出しの中に表示される。
【００３０】
そして、発話してから一定時間Ｔになったときは、発話ユーザのベクトルａの方向へ前記初期提示位置から一定距離Ｐ先の提示位置へ移動させる。さらに時間Ｔの２倍の時間がたつと前記初期提示位置から距離Ｐの２倍の位置と、時間がｎ倍（ｎは自然数）増えるごとに初期提示位置からｎ倍増えた先を提示位置とする。時間Ｔと距離Ｐは自在に設定することができるが吹き出し内の文字が読み取りやすいようにバランスをとる必要がある。また、文字情報の出力には吹き出し以外にも球体、雲のような浮遊体等も考えられる。
【００３１】
すなわち、本実施例の会話情報提示方法は、図１に示すように、複数の表示装置（ディスプレイ）がユーザ（例えば、聴覚障害ユーザ）を囲むように配置された没入型仮想コミュニケーション環境において、発話ユーザの発話内容を発話入力手段１に入力し、この入力された発話内容から文字情報を文字生成手段２で生成し、前記没入型仮想コミュニケーション環境における発話ユーザと受話ユーザの３次元位置と視線ベクトルを抽出手段３−１と抽出手段３−２で抽出する。前記発話ユーザと受話ユーザの３次元位置により発話ユーザと受話ユーザ間の距離を距離抽出手段４で抽出し、前記受話ユーザの視線ベクトルとあらかじめ決められた視界角により受話ユーザの視界を視界抽出手段５で抽出する。前記発話ユーザと受話ユーザ間の距離と前受話ユーザの視界と発話ユーザの３次元位置及び発話ユーザの視線ベクトルに基づいて発話ユーザの文字情報の提示位置を提示位置決定手段６で決定し、前記生成された文字情報を前記決定された提示位置に基づいて出力手段７により出力し、表示装置（ディスプレイ）に表示する。
【００３２】
前記提示位置決定過程は、図３に示すように、前記発話ユーザと受話ユーザの距離があらかじめ設定された距離Ｄ内にあり、かつ発話ユーザの３次元位置が受話ユーザの視界内にある場合は、発話から一定時間Ｔ、発話ユーザの周囲を文字表示画像の提示位置とし、それ以外の場合は、発話ユーザの周囲から視線ベクトル方向へ発話からの時間にともなって移動する位置を提示位置とする。
【００３３】
以上、本発明者によってなされた発明を、前記実施形態（実施例）に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、ユーザ（例えば聴覚障害者）が、没入型仮想コミュニケーション環境内において、発話者の位置と発議内容を容易に把握することができ、また、発話者の発話行為も把握しやすくなるので、例えば、仮想空間内を自由に歩き回りながら他ユーザと会話の場を持つことができる。
【００３５】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、没入型仮想コミュニケーション環境内において、ユーザ（例えば、聴覚障害ユーザ）が、発話ユーザの位置と発話内容を把握することができる。これにより、仮想空間内を自由に歩き回りながら、他ユーザと会話の場を容易に持つことができる。
【図面の簡単な説明】
【図１】本発明による一実施形態（実施例）の没入型仮想コミュニケーション環境システムの概略構成を示すブロック構成図である。
【図２】本実施例における受話ユーザの視界Ｗの例を示す図である。
【図３】本実施例における提示位置決定手段の処理手順を示すフローチャートである。
【図４】本実施例における会話範囲分類例を示す図である。
【図５】本実施例における文字情報の出力例を示す図である。
【図６】本実施例における文字情報の出力例を示す図である。
【符号の説明】
１…発話入力手段、２…文字生成手段、３−１，３−２…抽出手段、４…距離抽出手段、５…視界抽出手段、６…提示位置決定手段、７…出力手段。
【図１】
0003621861.tif 000002
【図２】
0003621861.tif 000003
【図３】
0003621861.tif 000004
【図４】
0003621861.tif 000005
【図５】
0003621861.tif 000006
【図６】
0003621861.tif 000007