(57)【要約】　　　（修正有）【課題】周囲の雑音等に影響を受けず、唇形状の奥行き方向の情報を含むコミュニケーションの伝達を可能とするコミュニケーション端末を提供する。【解決手段】口唇の立体形状をなす駆動可能な口唇ロボット部３と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、パラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とを有する。【選択図】　　　図２
2004098252.tif 000002
【特許請求の範囲】
【請求項１】
口唇の立体形状をなす駆動可能な口唇部と、
音声や感情を示すパラメータを出力するパラメータ出力部と、
前記パラメータを、前記口唇部の駆動信号に変換する信号生成部と
を有することを特徴とするコミュニケーション端末。
【請求項２】
前記パラメータ出力部は、ユーザーの口唇周辺の筋電信号を取得してこれを解析し、前記パラメータを算出する機能を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項３】
前記パラメータ出力部は、ユーザーの口唇周辺を撮像し、撮像された画像を解析し、前記パラメータを算出する機能を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項４】
前記パラメータ出力部は、音声を認識し、前記パラメータを算出する機能を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項５】
前記パラメータ出力部は、ユーザーの感情を抽出し、前記パラメータを算出する機能を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項６】
前記パラメータ出力部は、ユーザーの操作によるコマンドを取得し、前記パラメータを算出する機能を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項７】
前記信号生成部は、前記パラメータと、前記駆動信号とを対応付けたデータベース部と、
出力された前記パラメータに基づいて、前記データベース部を検索し、該パラメータを駆動信号に変換する検索部と
を有することを特徴とする請求項１に記載のコミュニケーション端末。
【請求項８】
口唇の立体形状をなす駆動可能な口唇ロボットの制御方法であって、
音声や感情を示すパラメータを入力するステップ（１）と、
前記パラメータを、前記口唇ロボットの駆動信号に変換するステップ（２）とを有することを特徴とする口唇ロボットの制御方法。
【請求項９】
前記ステップ（１）では、ユーザーの口唇周辺の筋電信号を取得してこれを解析し、前記パラメータを算出することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１０】
前記ステップ（１）では、ユーザーの口唇周辺を撮像し、撮像された画像を解析し、前記パラメータを算出することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１１】
前記ステップ（１）では、音声を認識し、前記パラメータを算出することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１２】
前記ステップ（１）では、ユーザーの感情を抽出し、前記パラメータを算出することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１３】
前記ステップ（１）では、ユーザーの操作によるコマンドを取得し、前記パラメータを算出することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１４】
前記パラメータと、前記駆動信号とを対応付けて記憶しておき、ステップ（１）により出力された前記パラメータに対応する駆動信号を検出し、該パラメータを駆動信号に変換することを特徴とする請求項８に記載の口唇ロボットの制御方法。
【請求項１５】
口唇の立体形状をなす駆動可能な口唇ロボットの動作を制御する制御装置であって、
音声や感情を示すパラメータを出力するパラメータ出力部と、
前記パラメータを、前記口唇ロボットの駆動信号に変換する信号生成部と
を有することを特徴とする口唇ロボットの制御装置。
【請求項１６】
前記パラメータ出力部は、ユーザーの口唇周辺の筋電信号を取得してこれを解析し、前記パラメータを算出する機能を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【請求項１７】
前記パラメータ出力部は、ユーザーの口唇周辺を撮像し、撮像された画像を解析し、前記パラメータを算出する機能を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【請求項１８】
前記パラメータ出力部は、音声を認識し、前記パラメータを算出する機能を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【請求項１９】
前記パラメータ出力部は、ユーザーの感情を抽出し、前記パラメータを算出する機能を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【請求項２０】
前記パラメータ出力部は、ユーザーの操作によるコマンドを取得し、前記パラメータを算出する機能を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【請求項２１】
前記信号生成部は、前記パラメータと、前記駆動信号とを対応付けたデータベース部と、
出力された前記パラメータに基づいて、前記データベース部を検索し、該パラメータを駆動信号に変換する検索部と
を有することを特徴とする請求項１５に記載の口唇ロボットの制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コミュニケーションを行うための端末に備えられるインタフェースに関する。
【０００２】
【従来の技術】
従来、コミュニケーションを行うための端末として、例えば固定電話や携帯電話やＰＨＳなどの電話がある。これらの電話は、ユーザー間におけるコミュニケーションの媒体となっている。また、券売機や銀行のＡＴＭ、また各種情報提供機器などもユーザーとコミュニケーションを行う必要があり、コミュニケーションを行うための端末である。さらに、コンピュータや家電なども同様にユーザーとコミュニケーションを行う端末である。
【０００３】
以上挙げたように、コミュニケーションを行うための端末には、ユーザー間のコミュニケーションの媒体となる端末や、ユーザーに対してコミュニケーションを行う端末が存在する。これらの端末では、ユーザーに情報を提供する際に、音声信号や画面に出力したテキスト文書、アイコンなどを用いて情報を提供している。またテレビ電話であれば相手の顔が画面上に表示されている。
【０００４】
【特許文献１】
特開平６−５２２９０号公報（第６ページ、図２）
【非特許文献１】
エンゲル，Ｒ．編著　、本名　信行・井出　祥子　編訳「ノンバーバル・コミュニケーション」、大修館書店、１９８１年）
【非特許文献２】
間瀬，ペントランド著「オプティカルフローを用いた読唇」、テレビジョン学会技術報告，Ｖｏｌ．１３，Ｎｏ．４４，ｐｐ．７−１２，１９８９
【非特許文献３】
中野，渡辺著「ステレオ視による機械読唇に関する研究」、日本機械学会東北支部・精密工学会東北支部地方公演会講演論文集、ｐｐ．２５５−２５７、１９９３
【０００５】
【発明が解決しようとする課題】
しかしながら、人間と人間が対面してコミュニケーションを行う際には、音声による情報だけでなく、顔の表情や口唇の動きなどの視覚情報が非常に重要な役割を担っていることが指摘されている。
【０００６】
このことは、上記したような端末を介したコミュニケーションにおいても同様であると考えられる。このことを考えてみると、上記した端末を介したコミュニケーションにおいて、音声情報のみでは不十分であると考えられる。
【０００７】
また、音声情報のみで情報を伝達しようとした場合、周囲の雑音により正確な情報の伝達ができなくなるという問題がある。また画面に出力したテキスト文書やアイコンなどを用いた場合においても、テキスト文書であれば認識・読解できるスピードは音声に比べて遅く、アイコンであれば非常に単純な意味を持ったアイコンである必要があり、情報の提供手段として限界があった。
【０００８】
さらに、テレビ電話において音声信号だけでなく、相手の顔が表示されることにより、音声信号のみの場合に比べてコミュニケーションが円滑に行えることが考えられるが、相手の顔を表示するための画面が２次元の画面であるため、奥行き方向の情報が欠落してしまうという問題があった。
【０００９】
特にコミュニケーションにおいては、口唇形状の動きが重要である。なぜなら口唇形状の動きから読唇を用いて発話内容を認識することが可能であるからである。
【００１０】
この読唇に関しては、複数のカメラを用いて奥行き方向の情報を加味することにより、認識率が向上することが指摘されている。
【００１１】
このことはテレビ電話において、奥行き方向の情報が欠落することにより、口唇形状の動きから読唇を行うことが困難になることを意味している。
【００１２】
そこで、本発明は、以上の点に鑑みてなされたもので、周囲の雑音等に影響を受けず、唇形状の奥行き方向の情報を含むコミュニケーションの伝達を可能とすることのできるコミュニケーション端末、口唇ロボットの制御方法及び口唇ロボットの制御装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本発明は、口唇の立体形状をなす駆動可能な口唇ロボットの制御に際し、音声や感情を示すパラメータを入力し、このパラメータを口唇ロボットの駆動信号に変換する。上記発明におけるパラメータの算出は、ユーザーの口唇周辺の筋電信号を取得してこれを解析することにより、或いは、ユーザーの口唇周辺を撮像しこの撮像された画像を解析することにより、音声を認識することにより、ユーザーの感情を抽出することにより、ユーザーの操作によるコマンドを取得することにより行うことが好ましい。
【００１４】
上記発明においては、パラメータと、駆動信号とを対応付けて記憶しておき、入力されたパラメータに対応する駆動信号を検出し、パラメータを駆動信号に変換することが好ましい。
【００１５】
このような本発明によれば、コミュニケーションを円滑に行うことができる。すなわち、本発明は、ユーザー同士或いはユーザーに対してコミュニケーションを行う端末に適応することができ、このコミュニケーション端末によれば、口唇を立体的に再現した口唇ロボットを介して、コミュニケーションをより円滑に行うことが可能となる。また情報を提供する際に、音声信号に加えて、立体的に再現された口唇を通じて、周囲の雑音によって起こる情報の欠落を少なくすることが可能となる。
【００１６】
【発明の実施の形態】
［第１実施形態］
（コミュニケーション端末装置の基本構成）
以下に本発明の第１実施形態に係るコミュニケーション端末装置について詳細に説明する。図１は、本実施形態に係るコミュニケーション端末装置の基本構成を示す正面図である。同図に示すように、本実施形態に係るコミュニケーション端末装置１は、後述する制御装置が内蔵される本体２と、本体２の表面部分に設けられた口唇ロボット部３とを備えている。
【００１７】
本体２は、固定電話、携帯電話、自動販売機など、ユーザー間のコミュニケーションや、ユーザーに対するコミュニケーションを要する機器であり、口唇ロボット部３の動作を制御する制御装置を備えている。この制御装置は、図２（ａ）及び（ｂ）に示すように、口唇ロボット部３を駆動させるアクチュエータ部３６を備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とを備えている。
【００１８】
口唇ロボット部３は、口唇の立体形状をなす駆動可能なものであり、人間の口唇の動きを再現するものである。この口唇ロボット部３は、本実施形態では、上下動可能な上唇部３１及び下唇部３２と、開閉可能に設けられた上歯部３３及び下歯部３４と、上下左右に動作可能な舌部３５とを備えている。口唇ロボット部３の上唇部３１及び下唇部３２は、シリコンやラバーフォームなどの柔軟な素材で構成された表皮を有しており、その表皮には、これらを変形させる複数のアクチュエータ部３６が固定されている。
【００１９】
アクチュエータ部３６は、図２（ｂ）に示す制御点及びその制御方向を実現するように配置される。なお、本発明における口唇ロボット部３の制御点の個数、及びその制御方向は、図２（ｂ）に示すものに限定されるものではなく、図２（ｂ）よりも多くの制御点を持つことも可能であり、また制御方向も図２（ｂ）とは異なっていてもよい。また図２（ｂ）には２次元の動きのみを記載してあるが、３次元の動きを表出できるようにアクチュエータを配置することも可能である。
【００２０】
（基本動作）
図３に本実施形態に係るコミュニケーション端末の基本的な動作フローを示す。まず、パラメータ出力部３０２により口唇の動きを示すパラメータを入力する（Ｓ１０１）。このパラメータの入力は、パラメータ出力部３０２が備える機能や、或いはパラメータ出力部３０２に接続された機器を通じて行われ、具体的には、ユーザーによる操作や、ユーザーの口周辺の動きの検出、予めプログラムされたコマンドの生成により行う。これらのパラメータ入力については、後述する。
【００２１】
次に、ステップＳ１０１において、駆動信号生成部３０１により、パラメータ出力部３０２から入力されたパラメータに基づいて、口唇ロボット部３が再現するために必要な各アクチュエータ部３６の駆動量を算出する（Ｓ１０２）。
【００２２】
本実施形態では、各アクチュエータがどの程度駆動すれば、どのような口唇の動きを表出できるのかをシミュレーション可能なモデルを用いる（Ｓ１０３）。このモデルは、それぞれのアクチュエータの配置に応じて構築されているものであり、各アクチュエータの駆動量を入力したときに、表出される口唇の動きをシミュレーション可能な機能があれば、どのようなアルゴリズムを用いてもよい。また、このモデルは、逆に口唇の動きを入力したときに、各アクチュエータ部３６の駆動量を算出できる機能も有している。
【００２３】
次に、ステップＳ１０２において算出された駆動量を駆動信号として駆動信号生成部３０１から出力し、口唇駆動部３００を通じて、各アクチュエータ部３６に伝達する（Ｓ１０４）。そして、口唇駆動部３００では、各アクチュエータ部３６が、伝達された駆動信号に基づいて、実際に駆動する（Ｓ１０５）。この結果として、口唇ロボット部３は、入力された口唇の動きが表出される。
【００２４】
このようなステップＳ１０１からＳ１０５をループ処理により繰り返すことによって、再度、口唇の動きの入力を行い、各アクチュエータを駆動し、連続的に変化する口唇の動きを表出することが可能となる。
【００２５】
（本体の変更例）
（１）変更例１
なお、上記本体２としては、例えば、図４に示すような、携帯電話２１とすることができる。図４（ａ）に示すように、携帯電話２１では、従来の携帯電話のように液晶ディスプレイなどの画面はなく、それに代わり口唇ロボット部３が搭載されている。
【００２６】
具体的には、図４（ｂ）に示すように、本変更例に係る携帯電話２１は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１に加え、データの送受信を行う通信ユニット３０３を備えている。
【００２７】
そして、この携帯電話２１を用いてコミュニケーションを行う場合には、通信ユニット３０３で受信された音声信号をパラメータ出力部３０２によりパラメータに変換し、このパラメータに基づいて駆動信号生成部３０１により駆動信号を生成する。この駆動信号により、口唇駆動部３００が、通話相手の口唇の動きを口唇ロボット部３に再現させ、同時に通話相手の発話が音声信号として携帯電話からされる。
【００２８】
（２）変更例２
また、本体２としては、図５に示すような携帯電話２２とすることができる。図５（ａ）に示すように、携帯電話２２では、口唇ロボット部３と併せて、液晶ディスプレイなどの画面２２ａとスピーカ２２ｂが搭載されている。
【００２９】
具体的には、図５（ｂ）に示すように、本変更例に係る携帯電話２１は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とに加え、データの送受信を行う通信ユニット３０３を備え、この通信ユニット３０３には、画面２２ａとスピーカ２２ｂが接続されている。
【００３０】
そして、この携帯電話２２を用いてコミュニケーションを行う場合には、画面２２ａに、通話相手の電話番号や、若しくは発話内容、またｗｅｂブラウジング結果、また通話相手の顔画像などが表示されると同時に、口唇ロボット部３には通話相手の口唇の動きが再現される。また通話相手の発話は携帯電話２２に搭載されているスピーカ２２ｂから出力される。
【００３１】
なお、本発明の適用は、上記変更例１及び２に示したように携帯電話に適用することも可能であり、またＰＨＳや固定電話など、コミュニケーションを媒介する携帯電話以外の他の端末にも適用可能である。
【００３２】
（３）変更例３
また、本体２としては、図６（ａ）に示したような、券売機２３とすることができる。券売機２３には情報を提供するための画面２３ａが設けられており、その画面２３ａにテキスト若しくはアイコンなどで情報を提供するとともに、口唇ロボット部３は、それの情報内容に応じた動きを表出することが可能である。
【００３３】
具体的には、図６（ｂ）に示すように、本変更例に係る券売機２３は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とに加え、ユーザーが券を購入するための操作を行う操作部３０５と、この操作部３０５に対する操作に応じたコマンドをパラメータ出力部３０２に対して入力するコマンド入力部３０４とを備え、この操作部３０５には、券を発行する発券部３０６が接続されている。
【００３４】
そして、券売の際に必要なガイダンス等の情報は、音声信号を用いて提供される。具体的には、ユーザーが券を購入する際の操作部３０５に対する操作に応じて、コマンド入力部３０４がコマンドを生成し、パラメータ出力部３０２及び駆動信号生成部３０１を通じて、口唇ロボット部３が、ガイダンス等の音声信号に合わせた動きを表出する。なお、本体２としては、このような券売機の他、銀行のＡＴＭ機やそれ以外の情報提供端末にも適用可能である。
【００３５】
（４）変更例４
さらに、本体２としては、図７（ａ）に示すような家電２４とすることができる。図７（ａ）に、その一例として電子レンジに適用した例を示す。なお、家電２４としては、電子レンジに限らず、冷蔵庫、掃除機、エアコンなどの家電とすることができる。
【００３６】
具体的には、図７（ｂ）に示すように、本変更例に係る家電２４は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とに加え、ユーザーが家電２４に対する操作を行う操作部３０５と、この操作部３０５に対する操作に応じたコマンドをパラメータ出力部３０２に対して入力するコマンド入力部３０４とを備え、この操作部３０５には、家電２４を駆動させる家電駆動部３０７が接続されている。
【００３７】
そして、家電２４は、ユーザーに対して現在の動作内容や開始・終了のタイミングなどの各種情報を、アラーム等の機械的な音や合成音声やＬＥＤなどにより提供するとともに、口唇ロボット部３がその情報に応じた動きを表出する。
【００３８】
［第２実施形態］
次いで、上述したコミュニケーション端末のより具体的な実施形態について説明する。図８は、コミュニケーション端末装置に備えられた制御装置の内部構成を示すブロック図である。なお、この第２実施形態において、本体２の他の部分の構成は、上述した第１実施形態及び各変更例と概ね同様である。
【００３９】
本実施形態において、パラメータ出力部３０２は、筋電信号から口唇の動きを検出する筋電信号解析部３０２ａを備えている。この筋電信号の検出については、例えば、筋電信号から口唇の動きを検出する研究（平山、ベイツン、川人、ジョーダン、”筋電信号を用いた調音器官筋骨格系ダイナミクスモデル”、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．１４３０−１４３９、１９９２）が行われており、筋電信号から口唇の動きを精度よく検出できることが指摘されている。本実施形態においては、上記平山らの研究のように筋電信号から口唇の動きを検出し、その動きを口唇ロボット部３へ伝達することにより、口唇ロボット部３を動作させる。
【００４０】
この筋電信号から口唇の動きを検出する方法は、図８に示すように、筋電信号解析部３０２ａにより複数の筋電信号を解析・認識することにより口唇の動きを示すパラメータを、駆動信号生成部３０１に対して出力する。出力されるパラメータとしては、上唇の上下方向の位置、上唇の左右方向の位置、右口角の上下方向の位置、下唇の左右方向の位置などが含まれる。なお、出力されるパラメータとしては、上記に示したように位置だけでなく、動作速度を含めることも可能である。また筋電信号解析部３０２ａとしては、ニューラルネットワークを用いることもできる。
【００４１】
図９、図１０、図１１に筋電信号から口唇の動きを検出する際の詳細を示す。図９は検出した筋電信号からパラメータを抽出する際の時間窓を示す図である。なお、この図９に示した例では、検出した筋電信号の生波形と、その信号を切り出す時間窓の関係を示している。また、図９中のＥＭＧは、筋電信号を表し、ｗｉｎｄｏｗ、ｓｕｂ−ｗｉｎｄｏｗは時間窓、及び小時間窓を示している。
【００４２】
本実施形態において、検出した筋電信号はある一定の幅を持った時間窓により切り出される。この時間窓は、図９に示すように、時間的に重複させて設定することも可能であり、さらに内部に副次的な小時間窓を持つことが可能である。そして、パラメータの抽出に際しては、唇の大きな動きは時間窓により検出し、細かな動きは小時間窓により検出することが可能となる。
【００４３】
図１０に時間窓若しくは小時間窓で切り出した筋電信号からパラメータを抽出するフローを示す。図１０に示すように、時間窓、若しくは小時間窓で切り出した筋電信号は、二乗平均平方根、若しくはＡＲＶ、ＩＥＭＧなどのパラメータに変換される。これらのパラメータは、筋肉の活動量と相関があることが指摘されている。
【００４４】
そして、図１０に示したパラメータ抽出フローで抽出されたパラメータは、図１１に示すニューラルネットワークに与えることにより口唇の動きを検出することが可能である。なお、図１１に示した例では、パラメータとして二乗平均平方を用いているが、図１０に示したＡＲＶ、ＩＥＭＧなどのパラメータを用いることも可能である。また、図１１ではニューラルネットワークを用いた例を示したが、必ずしもニューラルネットワークを用いる必要はなく、ＨＭＭ（隠れマルコフモデル）や線形識別関数を用いる方法を用いることも可能である。
【００４５】
（変更例）
（１）変更例１
なお、上述した口唇周辺の動きを検出する方式としては、以下のような変更例を採用することができる。例えば、上述した筋電信号による検出に代えて、図１２（ａ）に示すように、口唇の動きを、カメラにより撮像し、この撮像された画像からパラメータを検出するようにしてもよい。
【００４６】
具体的には、図１２（ｂ）に示すように、本変更例に係るコミュニケーション端末は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とに加え、ユーザーの口唇周辺を撮像する撮像部３０８を備えている。
【００４７】
この撮像部３０８は、複数のカメラで同一の被写体を撮影することにより、被写体の３次元形状を検出する。この複数のカメラを用いて被写体の３次元形状を検出する装置として、光学式モーションキャプチャがある。例えば、ＶｉｃｏｎＭｏｔｉｏｎ　Ｓｙｓｔｅｍｓに代表されるシステムがある。（Ｖｉｃｏｎ　Ｍｏｔｉｏｎ　Ｓｙｓｔｅｍｓ社；ｈｔｔｐ：／／ｗｗｗ．ｖｉｃｏｎ．ｃｏｍ／ｅｎｔｅｒｔａｉｎｍｅｎｔ／ｉｎｄｅｘ．ｈｔｍｌ参照）。なお、本発明においては、この製品に限らず、一般の光学式モーションキャプチャを用いることにより、被写体の３次元形状を検出することが可能である。
【００４８】
本実施形態では、図１２（ａ）に示すように、ユーザーの口唇周辺を複数のカメラで撮影し、その画像から口唇の動きを３次元的に検出する。この検出した口唇の動きをパラメータ出力部３０２に送出し、パラメータに変換する。このパラメータの変換は、上述したニューラルネットワークによる処理が可能である。
【００４９】
なお、この場合、口唇周辺にマーカーを貼ることにより認識精度を向上させることも可能である。また口唇に口紅を塗ることにより認識精度を向上させることも可能である。また口唇周辺にはマーカーや口紅を貼らず、また塗らずに画像処理によって口唇の動きを検出することも可能である。例えば、文献（間瀬、ペントランド著「オプティカルフローを用いた読唇」、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ、Ｎｏ．６、ｐｐ７６３−８０３、１９９０）では、口唇にマーカーを貼らず若しくは口紅を塗らずにオプティカルフローと呼ばれる手法を用いて、口唇の動きを検出している。また、磁気式のモーションキャプチャ装置や赤外線式モーションキャプチャ装置（例えば、日商エレクトロニクス株式会社製；ｈｔｔｐ：／／ｗｗｗ．ｎｉｓｓｈｏ−ｅｌｅ．ｃｏ．ｊｐ参照）など、口唇形状の３次元形状を検出する方法には様々な方法があり、本発明では、これらの方法を用いることができる。
【００５０】
（２）変更例２
また、口唇周辺の動きを検出する方法としては、図１３に示すような、音声信号から口唇の動きを検出する方法を採用することも可能である。
【００５１】
具体的には、図１３に示すように、本変更例に係るコミュニケーション端末は、口唇ロボット部３を駆動させるアクチュエータを備えた口唇駆動部３００と、音声や感情を示すパラメータを出力するパラメータ出力部３０２と、このパラメータを口唇ロボット部３の駆動信号に変換する駆動信号生成部３０１とを備えている。また、パラメータ出力部３０２は、マイク３０９が接続された音声認識エンジン３０２ｂを有し、駆動信号生成部３０１は、データベース部３１０及び検索部３１１を有している。
【００５２】
そして、この変更例に係るコミュニケーション端末では、ユーザーが発声した音声信号をマイク３０９で検出し、音声認識エンジン３０２ｂにより音声認識を行う。この音声認識エンジン３０２ｂは、音声認識が行えるものであれば周知の技術を利用することができる。ユーザーが発声した音声信号は、音声認識エンジン３０２ｂにより認識され、予め構築されているデータベース部３１０を検索部３１１で検索して口唇の動きを示すパラメータを出力する。
【００５３】
データベース部３１０は、音声と口唇の動きを示すパラメータとを対応付けたデータベースであり、日本語の全母音及び子音発声時の口唇の３次元の動きを、データベースとして保存しているものである。なお、このデータベース部３１０は、一般的日本人のデータと、そのユーザーのみのデータとを持っており、このいずれかを予め選択することができる。なお、本発明は、日本語だけに限定されるものではなく、英語やフランス語などの他言語においても適用することが可能である。また全母音及び子音のデータのみでなく、連続発声時における調音結合に対処するために、音素ごとではなく、複数の音素をまとめてデータとして持っておくことも可能である。またさらに単語ごとの口唇の動きデータを保存しておくことも可能である。
【００５４】
また、図１３のデータベース部３１０において、実際の人間の口唇の動きだけでなく、デフォルメした口唇の動きを示すパラメータを保存しておくことも可能である。人間の口唇の動きではありえない動きをデータベースに保存しておくことにより、より強調した動きを表出することが可能となる。このデフォルメした口唇の動きには、例えば「笑い」、「怒り」、「悩み中」などの心理状態を反映させた口唇の動きを保存しておくことにより、発話していないときにおいても、口唇ロボットによる感情表出が可能となる。また口唇の動きデータベースは、音声認識エンジンと組み合わせて用いるだけでなく、例えばコマンド入力によって口唇の動きデータベースを呼び出すことや、脳波を用いて感情を抽出し、その抽出結果を基に口唇の動きデータベースを呼び出し、口唇ロボットに動きを表出させることも可能である。脳波を用いて感情を抽出する方法としては、脳機能研究所のＥ　Ｓ　Ａ　１６　Ｅｍｏｔｉｏｎ　Ｅｘｐｅｒｔ　Ｓｙｓｔｅｍ（ｈｔｔｐ：／／ｗｗｗ．ｂｆｌ．ｃｏ．ｊｐ／ｂｆｌ−ｌｉｎｅｕｐ．ｈｔｍｌ参照）などがあり、本発明においても、これらを用いることが可能である。
【００５５】
なお、その他の口唇の動きを検出する方法としては、例えば磁気センサーを用いた方法などがある。
【００５６】
（動作）
図１４に本実施形態及びその変更例に係る動作フローを示す。まず口唇の動きを検出、若しくはユーザーの発話内容を音声認識、若しくはコマンド入力、若しくは脳波による感情抽出を行う（Ｓ２０１）。
【００５７】
次いで、ステップＳ２０１で得られた口唇の動き、若しくは発話内容、コマンド、感情などを基に、表出すべき口唇の動きを、口唇の動きデータベースから検索する（Ｓ２０２）。口唇の動きデータベースには、発声時の口唇の動きのデータや、また感情表出時の口唇の動きデータなどが保存されており、それらの中から表出すべき口唇の動きを検索する。
【００５８】
そして、口唇の動きデータベースの中から選択した口唇の動きデータには、各アクチュエータの駆動量が合わせて保存されており、その駆動量を基に各アクチュエータに駆動信号として出力される（Ｓ２０３）。駆動信号を受け取った各アクチュエータは、その駆動信号を基に実際に駆動し、口唇ロボット部３は、口唇の動きを表出する（Ｓ２０４）。
【００５９】
なお、本動作フローにおいて、感情を抽出するのに、必ずしも脳波を用いる必要はなく、他の手段を用いてもよい。そして再び口唇の動き検出を行って、各アクチュエータを駆動することにより、連続的に変化する口唇の動きを表出することが可能となる。また、口唇の動きデータベースには、デフォルメした口唇の動きやそれぞれのユーザーに適応した口唇の動き、また一般的な口唇の動きなど様々な動きを保存しておくことが可能である。
【００６０】
［第３実施形態］
次いで、上述したコミュニケーション端末の他の実施形態について説明する。本実施形態において口唇ロボット部３は、上述した実施形態１に示したような表皮は持たず、図１５に示すように、ワイヤにより形成された上下の唇３７ａ及び３７ｂと、それらを駆動するためのアクチュエータとからなることを特徴とする。なお、この第３実施形態において、本体２の内部構成は、上述した第１、第２実施形態及び各変更例と概ね同様である。
【００６１】
このワイヤ状の唇３７ａ及び３７ｂは、上唇と下唇のそれぞれに対応しており、それぞれが独立して動作することが可能である。またワイヤ状の唇３７ａ及び３７ｂは、変形可能な素材で構成されており、自由に変形させることが可能である。
【００６２】
アクチュエータは、図１５に示す制御点及びその制御方向を実現するように配置されている。なお、図１５には２次元の動きのみを記載してあるが、３次元の動きを表出できるようにアクチュエータを配置することも可能である。
【００６３】
具体的に本実施形態に係るアクチュエータは、図１６に示すように、本体２には挿通孔４４，４４が設けられており、この挿通孔４４，４４には、ワイヤ４３が挿通されている。このワイヤ４３は、上述したワイヤ上の唇３７ａ及び３７ｂに固定されているとともに、本体２内部において、ローラ４２に巻き回され、モータ４のローラ４１により周回動可能となっている。
【００６４】
そして、モータ４が回転することにより、ワイヤ４３が周回動し、ワイヤ状の唇３７ａ及び３７ｂが動作する。モータ４の回転の正逆、またそのスピードを制御することにより、ワイヤ状の唇３７ａ及び３７ｂを任意に制御することが可能である。
【００６５】
（変更例）
なお、唇の駆動機構については、以下のような変更を加えることができる。例えば、図１７に示すように、ワイヤ状の唇３７ａ及び３７ｂの内部に、磁石５３を搭載しておき、本体２内部に上下に動作可能なシリンダー型のアクチュエータ５１を設けるとともに、このアクチュエータ５１の先端にも磁石５２を搭載しておく。この２つの磁石を引き合うように極性を合わせておけば、アクチュエータ５１の動作に連動して、ワイヤ状の唇３７ａ及び３７ｂを駆動することが可能である。
【００６６】
さらに、唇の駆動機構については、以下のような変更を加えることができる。すなわち、図１８に示すように、本体２の表面に開口部６３を設けるとともに、本体２の内部にアクチュエータ６１を設ける。このアクチュエータ６１の端部には、開口部６３から突出される接続部６２が設けられており、この接続部６２とワイヤ状の唇３７ａ及び３７ｂを直接接続し、ワイヤ状の唇３７ａ及び３７ｂを駆動することも可能である。
【００６７】
［第４実施形態］
さらに、上述したコミュニケーション端末の他の実施形態について説明する。本実施形態では、上述した実施形態１乃至３で説明した口唇ロボット部３に、図１９（ａ）に示すようなスピーカ７を組み込んだことを特徴とする。なお、この第３実施形態において、本体２の内部構成は、上述した第１〜３実施形態及び各変更例と概ね同様である。
【００６８】
具体的に、本実施形態では、口唇ロボット部３の内部に、スピーカ７を組み込み、あたかも口唇ロボット部３がしゃべっているかのように音声信号を出力する。
【００６９】
（変更例）
なお、本実施形態では、さらに次のような変更を加えることができる。図１９（ｂ）に示すように、口唇ロボット部３の内部にスピーカ７を組み込むとともに、その近傍にマイク８を設置することにより、口唇ロボット部３により口唇の動きを表出するとともに、スピーカ７を介して音声信号を出力し、さらに、ユーザーが発する音声信号をマイク８で検出することにより、口唇ロボット部３とユーザーとがコミュニケーションを図ることもできる。この場合、口唇ロボット部３内のスピーカ７とマイク８には、干渉を防止するためのエコーキャンセラ９を設置しておくことが好ましい。
【００７０】
なお、この変更例において、スピーカ７を口唇ロボット近傍に設置するのではなく、例えばヘッドフォンなどのようにユーザー近傍に設置すれば、エコーキャンセラ９は必ずしも必要ではない。またマイク８とスピーカ７を搭載したヘッドセットを用いれば、コミュニケーション端末側にスピーカやマイクを搭載する必要はない。
【００７１】
【発明の効果】
以上説明したように、本発明のコミュニケーション端末、口唇ロボットの制御方法及び口唇ロボットの制御装置によれば、コミュニケーションを行うための端末において、立体的に表示若しくは再現可能な口唇を搭載することにより、円滑かつ周囲の雑音にも頑強なコミュニケーションを行うことが可能となる。
【００７２】
すなわち、本発明では、コミュニケーション端末が、ユーザーに対して情報を提供する際に、情報に応じた口唇の動きを立体的に表出する機構を少なくとも備えているため、音声信号のみで情報を提供する従来技術や、画面に出力されたテキスト文書、アイコンなどで情報を提供する従来技術や、２次元の画面に相手の顔を表示する従来技術と比して、より多様な情報を視覚を通じて伝達することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態に係るコミュニケーション端末装置の基本構成を示す外観図である。
【図２】（ａ）は、第１実施形態に係るコミュニケーション端末装置の内部構成を示すブロック図であり、（ｂ）は、口唇ロボット部のみを示す構成図である。
【図３】第１実施形態に係るコミュニケーション端末装置の動作を示すフローチャート図である。
【図４】（ａ）は、第１実施形態の変更例１に係るコミュニケーション端末装置の外観図であり、（ｂ）は、その内部構成を示すブロック図である。
【図５】（ａ）は、第１実施形態の変更例２に係るコミュニケーション端末装置の外観図であり、（ｂ）は、その内部構成を示すブロック図である。
【図６】（ａ）は、第１実施形態の変更例３に係るコミュニケーション端末装置の外観図であり、（ｂ）は、その内部構成を示すブロック図である。
【図７】（ａ）は、第１実施形態の変更例４に係るコミュニケーション端末装置の外観図であり、（ｂ）は、その内部構成を示すブロック図である。
【図８】第２実施形態に係るコミュニケーション端末装置の内部構成を示すブロック図である。
【図９】第２実施形態における時間窓を示す説明図である。
【図１０】第２実施形態におけるパラメータ抽出フローを示す説明図である。
【図１１】第２実施形態における認識方法の一例を示す説明図である。
【図１２】（ａ）は、第２実施形態の変更例において、カメラから口唇の動きを検出する説明図であり、（ｂ）は、第２実施形態の変更例に係るコミュニケーション端末装置の内部構成を示すブロック図である。
【図１３】第２実施形態の変更例において、音声認識により口唇の動きを検出する説明図である。
【図１４】第２実施形態に係るコミュニケーション端末装置の動作を示すフローチャート図である。
【図１５】第３実施形態に係るコミュニケーション端末装置における口唇ロボット部の制御点とその方向を示す説明図である。
【図１６】第３実施形態に係るコミュニケーション端末装置における口唇ロボット部の駆動機構を示す説明図である。
【図１７】第３実施形態の変更例に係るコミュニケーション端末装置における口唇ロボット部の駆動機構を示す説明図である。
【図１８】第３実施形態の変更例に係るコミュニケーション端末装置における口唇ロボット部の駆動機構を示す説明図である。
【図１９】第４実施形態に係るコミュニケーション端末装置における口唇ロボット部を示す正面図である。
【符号の説明】
１…コミュニケーション端末装置
２…本体
３…口唇ロボット部
４…モータ
７…スピーカ
８…マイク
９…エコーキャンセラ
２１，２２…携帯電話
２２ａ…画面
２２ｂ…スピーカ
２３…券売機
２３ａ…画面
２４…家電
３１…上唇部
３２…下唇部
３３…上歯部
３４…下歯部
３５…舌部
３６…アクチュエータ部
３７ａ，３７ｂ…唇
４１…ローラ
４２…ローラ
４３…ワイヤ
４４…挿通孔
５１…アクチュエータ
５２…磁石
５３…磁石
６１…アクチュエータ
６２…接続部
６３…開口部
３００…口唇駆動部
３０１…駆動信号生成部
３０２…パラメータ出力部
３０２ａ…筋電信号解析部
３０２ｂ…音声認識エンジン
３０３…通信ユニット
３０４…コマンド入力部
３０５…操作部
３０６…発券部
３０７…家電駆動部
３０８…撮像部
３０９…マイク
３１０…データベース部
３１１…検索部
【図１】
2004098252.tif 000003
【図２】
2004098252.tif 000004
【図３】
2004098252.tif 000005
【図４】
2004098252.tif 000006
【図５】
2004098252.tif 000007
【図６】
2004098252.tif 000008
【図７】
2004098252.tif 000009
【図８】
2004098252.tif 000010
【図９】
2004098252.tif 000011
【図１０】
2004098252.tif 000012
【図１１】
2004098252.tif 000013
【図１２】
2004098252.tif 000014
【図１３】
2004098252.tif 000015
【図１４】
2004098252.tif 000016
【図１５】
2004098252.tif 000017
【図１６】
2004098252.tif 000018
【図１７】
2004098252.tif 000019
【図１８】
2004098252.tif 000020
【図１９】
2004098252.tif 000021