(57)【要約】【課題】  画像表示装置の有機エレクトロルミネッセンス素子により形成した曲面形状の表示画面で顔面を構成したダミーヘッドに遠隔地の会話者の表情を表示することで、聴覚的、視覚的に高い臨場感を持った遠隔会話技術を実現するダミーヘッドおよびこれを用いた高臨場感通信装置を提供する。【解決手段】  曲面形状に形成される表示画面で顔面６を構成してこれに遠隔地の会話相手Ａ、Ｂの表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手Ａ、Ｂの頭部と同一の音響伝達特性を有するダミーヘッド部４と、ダミーヘッド部４の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部８とより成る高臨場感通信における送受信部を構成するダミーヘッド。【選択図】  図１
2005269549.tif 000002
【特許請求の範囲】
【請求項１】
曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部とより成る高臨場感通信における送受信部を構成するダミーヘッド。
【請求項２】
曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の表示画面に表示すべき遠隔地の会話相手の表情を撮影するカメラを会話者の頭部その他の部位に設置し、撮影した画像信号を会話相手側のダミーヘッドに伝送する会話相手表情撮影部と、ダミーヘッド部の耳の部分に設置されたマイクロフォンにより録音された遠隔地の会話相手の音声信号を会話者が装着したヘッドフォンに伝送する音声信号伝達部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部と、より成る高臨場感通信における送受信部を構成するダミーヘッド装置。
【請求項３】
請求項２に記載されるダミーヘッド装置を１対組み合わせて構成した高臨場感通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ダミーヘッドおよびこれを用いた高臨場感通信装置に関し、特に、画像表示装置の曲面形状に形成される表示画面で顔面を構成したダミーヘッドに遠隔地の会話者の表情を表示することで、聴覚的、視覚的に高い臨場感を持った遠隔会話技術を実現するダミーヘッドおよびこれを用いた高臨場感通信装置に関する。
【背景技術】
【０００２】
近年、テレイグジスタンスと呼ばれる視覚的および聴覚的な場の臨場感を遠隔地に伝える要素技術が注目されており、それらを応用した高臨場感の遠隔会話技術の実現が望まれている（非特許文献１  参照）。
高臨場感の遠隔会話を実現する技術として、会話者が会話を行っている音場が持つ臨場感を遠隔地に伝えるために、会話者の頭部と同じ音響伝達特性を持つダミーヘッドを遠隔地に設置して、それに装着されたマイクロフォンを利用して録音された自身の音声データを遠隔の会話相手に伝送する技術が確立されている（非特許文献２  参照）。
【０００３】
ここで、ダミーヘッドは人間の頭部形状を模擬した形状のものであるから、視覚と聴覚の遠隔地における臨場感の両立を考えた場合、ダミーヘッドを利用して遠隔地に会話相手の分身を設置し、ダミーヘッドを利用して会話者同士の表情を伝達し合うことが有効である。
ところが、人間の表情をダミーヘッドにより伝達することは難しい。例えば、人間の顔の表情の変化を模擬する顔ロボットなるものを開発しようという動きがあるが、利用することができそうなアクチュエータの性能に限界があり、人間の顔の持つ高い自由度、豊かな表情を再現するには到っていない（非特許文献３  参照）。また、会話者同士の表情を画像で伝送することを考えた場合も、画像は、一般に、平面的な表示装置にて表示されるのが通常であり、ダミーヘッドとの両立は行われていない。
【非特許文献１】大山英明・常本直貴・前田太郎・舘▲すすむ▼、「仮想環境へのテレイグジスタンスのための一手法」、日本ロボット学会誌、Vol.12、No.8、pp.97−104、1994
【非特許文献２】戸嶋巌樹・植松尚・平原達也、「頭部運動に追従するダミーヘッド」、日本音響学会秋季講演会講演論文集、439−440、2002
【非特許文献３】小林  宏・市川  充郎・千田  大・椎葉  太一、「顔ロボットIVの開発  制御点の刷新と機構の改良」、日本ロボット学会創立２０周年記念学術講演会講演予稿集、2C14、2002
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、画像表示装置の曲面形状に形成される表示画面で顔面を構成したダミーヘッドに遠隔地の会話者の表情を表示することで、上述した課題を解決した、聴覚的、視覚的に高い臨場感を持ったダミーヘッドおよびこれを用いた高臨場感通信装置を提供するものである。
【課題を解決するための手段】
【０００５】
請求項１：曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部とより成る高臨場感通信における送受信部を構成するダミーヘッドを構成した。
そして、請求項２：曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の表示画面に表示すべき遠隔地の会話相手の表情を撮影するカメラを会話者の頭部その他の部位に設置し、撮影した画像信号を会話相手側のダミーヘッドに伝送する会話相手表情撮影部と、ダミーヘッド部の耳の部分に設置されたマイクロフォンにより録音された遠隔地の会話相手の音声信号を会話者が装着したヘッドフォンに伝送する音声信号伝達部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部と、より成る高臨場感通信における送受信部を構成するダミーヘッド装置を構成した。
【０００６】
また、請求項３：請求項２に記載されるダミーヘッド装置を１対組み合わせて構成した高臨場感通信装置を構成した。
【発明の効果】
【０００７】
この発明は、曲面形状に形成される画像表示装置の表示画面を備え、会話者頭部の音響伝達特性を一致させたダミーヘッドを利用したことにより、視覚的および聴覚的な両面の臨場感を持った遠隔の会話技術が実現した。
【発明を実施するための最良の形態】
【０００８】
発明を実施するための最良の形態を図１および図２を参照して具体的に説明する。図１は実施例の全体を説明する図であり、図２は口を駆動する構成を説明する図である。
図１において、会話者Ａと会話者Ｂは、それぞれ相互に離隔した遠隔地におり、両会話者Ａおよび会話者Ｂそれぞれの目前には、会話相手の頭部形状を模擬したダミーヘッド４Ｂおよびダミーヘッド４Ａが設置されており、両会話者は会話相手のダミーヘッド４Ｂ或いはダミーヘッド４Ａを見て会話を行う。以下、会話者Ａから見た視点でこの発明の実施例を説明する。
【０００９】
先ず、音声の録音、伝送について説明する。図１において、会話者Ａが発した音声は、対面して設置されている会話者Ｂの頭部形状を模擬したダミーヘッド４Ｂの耳の部分に装着されたマイクロフォン５Ｂにより録音される。マイクロフォン５Ｂにより録音された音声信号は、遠隔地の会話者Ｂに実時間で伝送され、会話者Ｂは、ヘッドフォン２Ｂにより会話者Ａの発した音声を音響的な臨場感を伴って聞くことができる。これは、ダミーヘッド４Ｂが会話者Ｂの頭部形状を模擬したものであることにより、会話者Ｂの頭部と同じ音響伝達特性をもつことによる。
【００１０】
次いで、画像の撮影、伝送について説明する。図１において、会話者Ａの表情は、会話者Ａの頭部にカメラ固定治具３を介して固定した会話相手表情撮影用カメラ１Ａにより撮影され、撮影された表情の画像信号は実時間で、遠隔地の会話者Ｂの場所まで伝送される。即ち、会話者Ｂに対面して設置されているダミーヘッド４Ａの顔面６Ａに装着された、後で説明される画像表示装置６の表示画面に表示される。
会話者Ａの頭部に会話相手表情撮影用カメラ１をカメラ固定治具３を介して固定することにより、会話者Ａの正面から見た表情を確実に撮影することができる。画像表示装置６としては、表示画面を曲面形状に形成することができる有機エレクトロルミネッセンス素子により形成した有機エレクトロルミネッセンス画像表示装置を使用する（城戸淳二、「有機ＥＬのすべて」、日本実業出版杜、2003参照）。曲面形状に形成される表示画面で顔面を構成した画像表示装置６に遠隔地の会話相手の表情を撮影した動画像を表示することにより、会話者Ｂは、相手側会話者Ａの表情を知ることができる。
【００１１】
なお、会話相手表情撮影用カメラ１Ａの固定位置を、会話者Ａの頭部以外の場所とし、会話相手表情撮影用カメラ１により撮影された画像信号に処理を加えたものをダミーヘッド４の画像表示装置６により表示する手法もあり得る。以上の撮影において、会話相手表情撮影用カメラ１と会話者の顔とは距離一定に固定されているので、取得された画像は中心部と周辺部の倍率が異なって撮影される問題が生ずる。ところで、カメラ１により撮影される画像における何れの点が顔の何れの点に対応するかは、顔の形状データがありさえすれば算出することができる。表示時に、ダミーヘッド顔面の対応する点に、撮像された画像の中の対応する点の画像が表示される様にすることで、この処理をシンプルにしてこの問題を解消することができる。
【００１２】
ところで、以上の曲面形状に形成された表示画面は、ダミーヘッド４Ａの顔面６Ａそのものを構成している。図２をも参照するに、一例として、目９１はまぶたが閉じた状態の形状で形成されているが、閉じた目の線を明示的に形成することはしない。これは、会話者の目の開け閉めに応じて表示される画像と、ここに形成される目９１とが相和して何れの場合でも破綻なく見える様にするがためである。口９２についても同様であり、あごの動きに合わせて、あごの長さを変化することができる構成を付与することができる。９３はあご関節を示し、これを回動することによりあご関節９３に付設されるあごの長さを変化調節する。口９２の部分ではなく、あごの中間あたりであごを分割すると好適である。そして、人間の顔は表情によって変形を伴い、この際に周辺部に歪が生じる可能性があるが、これらはあごの下半分の画像を口９３の部分に表示することで、解消することができる。
【００１３】
ここで、ダミーヘッドを支持する構成について説明する。図１において、ダミーヘッド４Ａの姿勢の３自由度の回転および位置の３自由度の併進をするダミーヘッド駆動装置７Ａを採用する。会話者姿勢および位置測定装置８Ａにより測定された、会話者Ａの姿勢と位置に関するデータを遠隔地のダミーヘッド駆動装置７Ａへ伝送し、これに基づいてダミーヘッド４Ａの姿勢および位置を制御することにより、会話者Ａは好みの姿勢をとりながら会話をすることができる。会話者Ｂも、同様に、好みの姿勢をとりながら会話をすることができる。なお、会話者姿勢および位置測定装置８Ａにより測定された、会話者Ａの姿勢と位置に関するデータ信号の伝送と、画像信号の伝送とは同期させる必要があり、現実的には、会話者の画像の撮影時刻と運動の時刻を記録してこれらを信号と共に遠隔地に伝送し、再生側において同期を取る方法が考えられる。
【００１４】
以上の通りにして、この発明は、有機ELの様な可撓性屈曲性に富む材料により画像表示装置の表示画面を曲面形状に構成し、この表示画面でダミーヘッド部の顔面６Ａを構成してこれに遠隔の会話者の表情を表示することで、遠隔地にいる会話者同士が、聴覚的にも、視覚的にも高い臨場感で会話することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例を説明する図。
【図２】口を駆動する構成を説明する図。
【符号の説明】
【００１６】
１  会話相手表情撮影用カメラ                ２  ヘッドフォン
３  カメラ固定治具                          ４  ダミーヘッド
５  マイクロフォン                          ６  画像表示装置
７  ダミーヘッド駆動装置                    ８  会話者姿勢および位置測定装置
【図１】
2005269549.tif 000003
【図２】
2005269549.tif 000004