(57)【要約】音声信号を取り込みこれを処理する手段、および電気機器を制御する方法を有する装置を提案した。装置は機械的に可動な擬人化素子（14）を有する。ユーザーの位置が判断されると、例えば人間の顔を表現した擬人化素子（14）は、その正面部（44）がユーザーの位置の方向を向くように動かされる。マイクロフォン（16）、ラウドスピーカ（18）および／またはカメラ（20）は擬人化素子（14）に取り付けられても良い。ユーザーは装置との間で音声対話を行うことが可能で、装置内の機器は擬人化素子(14)の形で表される。電気機器はユーザーの音声入力に従って制御される。ユーザーと擬人化素子との間の対話は、ユーザーに指示を与えることを目的とすることも可能である。
2005525597.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を取り込みこれを認識する手段と、
正面部を有する擬人化素子と、
前記擬人化素子を機械的に動かす動作手段と、
を有する装置であって、
ユーザーの位置を判断する手段を備え、前記動作手段は、前記擬人化素子の前記正面部が前記ユーザーの位置の方向を向くように制御されることを特徴とする装置。
【請求項２】
音声信号を提供する手段を備えることを特徴とする請求項1に記載の装置。
【請求項３】
前記擬人化素子は擬人的表現、特に人間の顔の表現部を有することを特徴とする
前記請求項のいずれかに記載の装置。
【請求項４】
複数のマイクロフォンおよび／または少なくとも1台のカメラを備え、前記マイクロフォンおよび／または前記カメラは前記擬人化素子に取り付けられていることを特徴とする前記請求項のいずれかに記載の装置。
【請求項５】
少なくとも１人のユーザーを識別する手段を備えることを特徴とする前記請求項のいずれかに記載の装置。
【請求項６】
前記動作手段は、少なくとも1つの軸の周りにおける前記擬人化素子の旋回を可能にすることを特徴とする前記請求項のいずれかに記載の装置。
【請求項７】
前記音声信号で制御される少なくとも1つの外部電気機器を備えることを特徴とする前記請求項のいずれかに記載の装置。
【請求項８】
音響信号を供給する少なくとも1台のラウドスピーカを備え、
音響信号を取り込む少なくとも1台のマイクロフォンを備え、
取り込まれた前記音響信号を処理する信号処理ユニットを備え、
前記信号処理ユニットにおいて、前記ラウドスピーカによって発せられた音響信号に由来する前記信号の一部は抑制されることを特徴とする前記請求項のいずれかに記載の装置。
【請求項９】
ユーザーに指示を与える目的で対話を行う手段を備え、前記対話は前記ユーザーに視覚的方法および／または聴覚的手段で指示を与え、前記ユーザーの回答はキーボードおよび／またはマイクロフォンで取り込まれることを特徴とする前記請求項のいずれかに記載の装置。
【請求項１０】
前記対話の手段は1組の学習対象物の保管手段を有し、
少なくとも1の指示、1の解答および前記指示が前記ユーザーによって処理されるまでの時間についての1の指標は各学習対象物用に保管され、
前記対話の手段は、前記学習対象物を選定し、前記ユーザーに前記指示を与えて質問することができるように構成され、前記ユーザーの回答を保管された前記解答と比較し、
保管された前記指標は前記学習対象物の選定に援用されることを特徴とする請求項9に記載の装置。
【請求項１１】
ユーザーと電気機器との間の通信方法であって、
ユーザーの位置は判断され、
擬人化素子は前記擬人化素子の正面部が前記ユーザーの方向を向くように動かされ、
前記ユーザーからの音声信号は取り込まれ、処理されることを特徴とする方法。
【請求項１２】
前記電気機器は取り込まれた前記音声信号に従って制御されることを特徴とする請求項11に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声信号を取り込みこれを認識する手段を有する装置およびユーザーによる電気機器との通信の方法に関する。
【背景技術】
【０００２】
音声認識手段は、それにより取り込んだ音響音声信号を対応言語または対応言語列に割り当てることができることで知られる。音声認識システムはしばしば、電気機器制御用の音声合成と組み合わされた対話システムとして用いられる。ユーザーとの対話は電気機器を操作する単独のインターフェースとして利用することもできる。音声入力を用いることも可能であり、複数の通信手段の1つとして音声出力を用いることもおそらく可能である。
【０００３】
米国特許第A-6118888号明細書には電気機器、例えばコンピュータまたは娯楽関係の電子分野で用いられる機器を制御する装置および制御する方法が開示されている。機器を制御する場合、ユーザーには複数の入力装置が準備される。これらにはキーボードやマウスのような機械的入力装置の他、音声認識入力装置がある。さらに制御装置はカメラを有し、カメラによってユーザーのしぐさや擬態は取り込まれ、他の入力信号として処理されることが可能となる。ユーザーとの通信は対話形式で実現され、システムはユーザーに情報を転送するためのシステム配置として複数の形を有する。それは音声合成および音声出力を有する。特に、複数の形は例えば人物、人の顔または動物の擬人的表現を有する。この表現は表示画面上にコンピュータグラフィックの形でユーザーに示される。
【特許文献１】米国特許第6118888号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
対話システムは特殊な機器、例えば電話情報システムにおいては今日でもすでに利用されてはいるものの、他の分野、例えば国内圏内の電気機器制御、娯楽関係の電子分野における対話システムの普及は未だ十分ではない。
【０００５】
本発明の課題は音声信号を取り込みこれを認識する手段を有する装置、およびユーザーが音声制御によって容易に装置を操作することが可能な電気機器を作動させる方法を提供することである。
【課題を解決するための手段】
【０００６】
本課題は請求項1に記載の装置、および請求項11に記載の方法によって解決される。従属請求項は本発明の好適実施例を表す。
【０００７】
本発明による装置は機械的に可動な擬人化素子を有する。擬人化素子は装置の一部であって、ユーザーとの対話相手である擬人としての役割を果たす。そのような擬人化素子の具体的態様は様々である。例えば、擬人化素子をハウジングの一部にして、電子装置の静止ハウジングに対してモータによって可動するようにできる。擬人化素子はユーザーによって認識され得るように正面部を有することが必要である。この正面部がユーザーの方を向いたとき、装置は「人の話を聞く」状態にあることを示し、すなわち擬人化素子は音声指示を受信することが可能となる。
【０００８】
本発明においては装置はユーザーの位置を判断する手段を有する。これは例えば、音響センサまたは光センサを通じて達成される。擬人化素子の動作手段は、擬人化素子の正面部がユーザーの位置を向くように制御される。これは、装置はユーザーの話に常時「耳を傾け」ているということをユーザーに対して示すことになる。
【０００９】
本発明の他の実施例においては、擬人化素子は擬人的表現部を有する。これは人物または動物を表現したものでも良く、また例えばロボットのような空想的人形の形であっても良い。人間の顔を表現したものであることが好ましい。それは写実的な描写または単に象徴化された描写、例えば目、鼻および口が描かれたただの円であっても良い。
【００１０】
装置は音声信号を供給する手段を有することが好ましい。特に電気機器の制御にとって音声認識が重要であることは事実である。しかし、応答、確認、質問等は音声出力手段によって実現される。これらはその場での音声合成の他に予め保存された音声信号の再生を有する。完全な対話制御は音声出力手段によって実現される。ユーザーとの対話はユーザーを楽しませる目的で行うこともできる。
【００１１】
本発明の他の実施例においては、装置は複数のマイクロフォンおよび／または少なくとも1台のカメラを有する。音声信号は単一のマイクロフォンで予め取り込んでおくことができる。しかしながら、複数のマイクロフォンを用いた場合、一方では取り込んだもののパターン化が実現できる。他方、複数のマイクロフォンを介してユーザーからの音声信号を受信することで、ユーザーの位置を見い出すこともできる。装置の周囲はカメラで観察することができる。映像処理と対応させることにより、取り込んだ映像からユーザーの位置を判断することができる。マイクロフォン、カメラおよび／または音声信号供給用のラウドスピーカは機械的に可動な擬人化素子に取り付けられる。例えば人間の頭の形の擬人化素子の場合、2台のカメラは目の領域に配置され、ラウドスピーカは口の位置、マイクロフォンは耳の位置に配される。
【００１２】
ユーザーを識別する手段が備わっていることが好ましい。これは例えば、取り込んだ映像信号を評価すること（視覚または顔の認識）、または取り込んだ音響信号を評価すること（音声認識）により実現できる。装置はそれにより、装置の周囲にいる多くの人物の中から現在のユーザーを判断し、そのユーザーに擬人化素子を向けることができるようになる。
【００１３】
擬人化素子を機械的に動かす動作手段を実現するにあたっては幅広い様々な可能性がある。例えば、これらの手段は電気モータまたは水圧式調整手段であっても良い。さらに擬人化素子は動作手段により動かされても良い。しかしながら、擬人化素子は静止部分に対して単に旋回することが好ましい。例えばこの場合、水平および／または垂直軸の周りを旋回する動きが可能である。
【００１４】
本発明の装置は娯楽用の電子機器（例えばTV、オーディオおよび／またはビデオ用の再生装置）のような電気機器の一部を構成する。この場合、装置は機器に対するユーザーインターフェースに相当する。さらに、機器は他の操作手段(キーボード等)を有する場合がある。代わりに本発明の装置は機器とは独立の、1または2以上の別個の電気機器を制御する制御装置としての役割を果たすようにしても良い。この場合、制御される装置は電子制御端末（例えば、無線端子または適切な制御バス）を有し、装置は電子制御端末を介してユーザーから受信した音声命令に従って機器を制御する。
【００１５】
本発明の装置は特に、ユーザーに対するデータ保管および／または質問用のシステムのインターフェースとしての役割を果たす。この目的の場合、装置は内部データメモリを有し、あるいは例えばコンピュータネットワークまたはインターネットを介して外部データメモリに接続される。対話においてユーザーはデータ（例えば、電話番号、メモ等）を保管し、またはデータ（例えば、時間、ニュース、現在のテレビ番組等）を要求する。
【００１６】
さらに、ユーザーとの対話は装置自身のパラメータを調整すること、および装置の設定を変更することに利用することができる。
【００１７】
音響信号を供給するラウドスピーカおよびこれらの信号を取り込むマイクロフォンが提供されたときには、信号は干渉を抑制するように制御される。すなわち取り込まれた音響信号はラウドスピーカから到達する音響信号の一部を抑制するように処理される。これは特に、ラウドスピーカおよびマイクロフォンが空間的に近接して取り付けられているとき、例えば擬人化素子に組み込まれているときに利点がある。
【００１８】
電気機器を制御する装置は上記の使用に加えて、さらにユーザーと対話を行うことにも利用でき、例えば情報、娯楽またはユーザーに対する指示のような他の目的に対しても役立つ。本発明の他の実施例においては、対話手段は対話によってユーザーへの指示を行うことができるように提供される。対話はユーザーに指示を与え、ユーザーからの回答を取り込むように行われることが好ましい。指示は複雑な質問であっても良いが、例えば外国語の語彙のような短い学習対象物であることが好ましく、この場合、指示（例えば言葉の定義）および回答（例えば外国語の言葉）は比較的短くなる。対話はユーザーによって擬人化素子を用いて行われ、視覚的および／または聴覚的に行われても良い。
【００１９】
効果的な学習方法は次のように提供される。すなわち1組の学習対象物（例えば、外国語の語彙）が保管され、その中の各学習対象物に対して、少なくとも1つの質問（例えば定義）、解答（例えば語彙）、およびユーザーへの最後の質問までの時間または質問に対するユーザーからの正しい回答までの時間の指標が保管される。対話の間、学習対象物が相次いで選定され、尋ねられ、その中の質問がユーザーに発せられ、ユーザーの回答が保管された回答と比較される。質問する学習対象物の選定にあたっては保管された指標、すなわち対象物についての最後の質問からの経過時間が考慮される。これは例えば、誤答率を仮定または設定した適当な学習モデルを通じて実現される。さらに各学習対象物は時間の指標に加えて、関連手段で評価しても良く、これは選定の際に援用される。
【００２０】
本発明のこれらのおよび他の特徴は以下に示される実施例から理解され、これらを参照することで明らかとなろう。
【発明を実施するための最良の形態】
【００２１】
図1には制御装置10およびこの装置で制御される機器12のブロック図を示す。制御装置10はユーザー用擬人化素子14の正面部にある。マイクロフォン16、ラウドスピーカ18およびここではカメラ20の形であるユーザー位置を定める位置センサは擬人化素子14に取り付けられている。これらの素子は連結されて機械ユニット22を構成する。擬人化素子14および機械ユニット22はモータ24によって垂直軸の周りを旋回する。中央制御ユニット26は駆動回路28を介してモータ24を制御する。擬人化素子24は独立の機械ユニットである。擬人化素子には正面部があり、これはユーザー等によって認識される。マイクロフォン16、ラウドスピーカ18およびカメラ20は擬人化素子14の正面向きに擬人化素子に取り付けられる。
【００２２】
マイクロフォン16は音響信号を供給する。この信号はピックアップシステム30によって取り込まれ、音声認識ユニット32によって処理される。音声認識の結果、すなわち取り込まれた音響信号に割り当てられた言語列は中央制御ユニット26に送られる。
【００２３】
中央制御ユニット26はさらに音声合成ユニット34を制御し、音声合成ユニットは音波発生ユニット36およびラウドスピーカ18を介して合成音声信号を供給する。
【００２４】
カメラ20によって取り込まれた映像は画像処理ユニット38により処理される。画像処理ユニット38はカメラ20により供給される映像信号からユーザーの位置を判断する。位置情報は中央制御ユニット26に送られる。
【００２５】
機械ユニット22はユーザーインターフェースとしての役割を果たし、これを介して中央制御ユニット26はユーザーからの入力（マイクロフォン16、音声認識ユニット32）を受信し、ユーザーに結果を返す（音声合成ユニット34、ラウドスピーカ18）。この場合、制御ユニット10は、例えば娯楽用電子機器の分野で用いられる機器のような電気機器12を制御するために利用される。
【００２６】
制御装置10の機能ユニットは図1には象徴的にのみ示されている。具体的な変更においては別のユニット、例えば中央制御ユニット26、音声認識ユニット32、画像処理ユニット38は別個のグループとして提供されても良い。同様に、これらのユニットの実行を単にソフトウェアで行うことも可能であり、複数のまたはこれら全てのユニットの機能が中央ユニットのプログラムの実行によって達成される。
【００２７】
これらのユニットは相互に空間的に近接している必要はなく、機械ユニット22と近接している必要もない。機械ユニット22すなわち擬人化素子14は、この擬人化素子に取り付けられていることが好ましいが必ずしもその必要性のない、マイクロフォン16、ラウドスピーカ18およびセンサ20の各ユニットと同様、制御装置10の残り部分とは別個に設置され、結線または無線接続を介して信号的にのみ接続される。
【００２８】
動作時には、制御装置10はユーザーがそばにいるかどうかを常に確認し、ユーザーの位置を判断する。中央制御ユニット26はモータ24を制御し、擬人化素子10の正面部がユーザーの方に向くようにする。
【００２９】
画像処理ユニット38もまた顔の認識手段を有する。カメラ20が複数の人物の画像を供給した場合、その人物がシステムに把握されているユーザーであるかどうかは顔の認識手段によって判断される。擬人化素子14はこのユーザーの方を向く。複数のマイクロフォンが設けられているとき、これらのマイクロフォンからの信号は、把握しているユーザー位置の方向でパターンを取り込むように処理される。
【００３０】
画像処理ユニット38はさらに、カメラ20によって取り込まれた機械ユニット22の周辺の場面を画像処理ユニット38が「把握」しているように処理を行っても良い。次に多数の予め設定された状態が関連場面に割り当てられる。例えばこの方法においては、中央制御ユニット26には部屋には１人または２人以上いるかどうかが伝えられる。中央制御ユニットはユーザーの行動、すなわち例えばユーザーは機械ユニット22の方向を向いているかどうか、あるいはユーザーは別の人間と話しているかどうかを、認識し、指令を与えることもできる。従って認識された状況を評価することによって、認識能力は確実に向上する。例えば、２人の間の会話の一部を音声命令と誤って解釈することを避けることが可能となる。
【００３１】
ユーザーの対話において中央制御ユニットは入力を判断し、それに従って機器12を制御する。オーディオ再生機器の音量を制御するそのような対話は例えば次のように行われる：
ユーザーはユーザーの位置を変え、擬人化素子14と対面する。擬人化素子14はモータ24によって擬人化素子の正面部が絶えずユーザーの方を向くようにされる。この目的の場合、駆動回路28は機器10の中央制御ユニット26によって、判断されたユーザーの位置に合うように制御される；
ユーザーは音声指示、例えば「TV音量」を伝える。音声命令はマイクロフォン16により取り込まれ、音声認識ユニット32によって認識される；
中央制御ユニット26は音声合成ユニット34を介してラウドスピーカ18からの質問を返す：「高くしますか、低くしますか？」；
ユーザーは「低くする」と音声指令を伝える。音声信号を認識してから、中央制御ユニット26は機器12を制御し、音量が下げられる。
【００３２】
図2には制御装置と一体化された電気機器40の斜視図を示す。制御装置10の擬人化素子14のみがこの図では描かれており、擬人化素子は機器40の静止したハウジング42に対して垂直軸の周りを旋回できる。この例では、擬人化素子は平坦で長方形状である。カメラ20の対物レンズおよびラウドスピーカ18は正面部44にある。２つのマイクロフォン16は両側に設けられている。機械ユニット22はモータ（示されていない）によって正面部が常にユーザーの方向を向くように回転される。
【００３３】
ある実施例(示されていない)においては、図1の装置10は機器12の制御には用いられず、ユーザーを指導する対象物について対話を行うことに用いられる。中央制御ユニット26はユーザーが学習プログラムを用いて外国語を学ぶことのできるような学習プログラムを実行する。1連の学習対象物はメモリに保管されている。これらは個々のデータ組であって、各データ組は言葉の定義、対応する外国語、その言葉の妥当性（その言語での言葉の発生周波数）を評価する手段、およびデータ記録部における最後の質問からの経過期間の継続の時間指標、を表す。
【００３４】
対話における学習ユニットが実行されると、データ記録部が選定され、相次いで質問が行われる。この場合、ユーザーに指示が与えられ、すなわちデータ記録部に保管された定義が視覚的に示され、あるいは音響的に供給される。ユーザーの回答は例えば、キーボードで入力され、または好ましくはマイクロフォン16および自動音声認識32を介して取り込まれ、保管された解答（語彙）と一緒に保管される。ユーザーには回答が正解として認識されたかどうかが通知される。誤答の場合ユーザーには正解が通知されても良く、あるいは1回または数回、さらに回答する機会が与えられても良い。データの記録がこのようにしてされてから、最後の質問からの経過時間に関する保管された指標が更新され、ゼロに設定される。
【００３５】
続いて他のデータ記録部等が選定され、質問がされる。
【００３６】
質問用のデータ記録部の選定はメモリモデルによって行われる。単純なメモリモデルは以下の式によって表され、
P(k)=exp(-t(k)*r(c(k)))
ここでP(k)は学習対象物kが既知であるときの確立、expは指数関数、t(k)は対象物が最後の質問をしてからの時間、c(k)は対象物の学習階級、r(c(k))は学習の階級に固有の誤答率を表す。時間に対してはtが用いられる。時間tは学習ステップに与えられても良い。学習階級は様々な適当な方法で定義することが可能である。考えられる類型は、N回正しく回答された全対象物のうちN＞0の各対象物に対して適切な階級を当てることである。誤答率の場合は適当な一定値を仮定したり、または適当な開始値を選定したりすることができ、例えば傾斜アルゴリズムによって適合させることができる。
【００３７】
指示の目的は知識の指標を最大にすることである。この知識の指標はユーザーに知得された一連の学習対象物の一部として定義され、関連手段で重み付けがされる。対象物kについての質問は1に対する確立P(k)をもたらし、知識の指標の最適化のため、各ステップにおいて、知識の確立P(k)が最低の対象物であって、好ましくは関連手段U(k)によって重み付けされたU(k)*1-P(k)、が質問されるように画される。その類型の方法によって、各ステップ後に知識の指標が計算され、ユーザーに示される。その方法では、現在設定されている学習対象物に関する可能な限り幅広い知識をユーザーに提供するように最適化される。適当なメモリモデルを用いることにより、このように効果的な学習戦略を立てることが可能となる。
【００３８】
上記の質問式の対話に対しては、複数の変形および他の改良が可能である。例えば、ある質問（定義）が複数の正答（語彙）を有するようにすることができる。これは例えば、保管された関連手段によって援用することが可能であり、従ってより適切な（より流暢な）言葉を強調することが可能である。適切な一連の学習対象物は例えば、数千の言葉を有する。これらは例えば学習対象物、すなわち一定ユーザーに対する特定の語彙であって、例えば文学、ビジネス、技術等の分野のものであっても良い。
【００３９】
要約すると、本発明は音声信号を取り込みこれを認識する手段、および電気機器と通信する方法を有する装置に関する。装置は機械的に可動な擬人化素子を有する。ユーザーの位置が判断されると、例えば人間の顔の表現を有する擬人化素子は、その正面部がユーザーの位置の方向を向くように動かされる。マイクロフォン、ラウドスピーカおよび／またはカメラが擬人化素子に取り付けられても良い。ユーザーは装置との間で音声対話を行うことができ、その中の機器は擬人化素子の形で表現される。電気機器はユーザーの音声入力に応じて制御することができる。ユーザーへの指示を目的とした擬人化素子とユーザーの間の対話もまた可能である。
【図面の簡単な説明】
【００４０】
【図１】制御装置の素子のブロック図である。
【図２】制御装置を有する電気機器の斜視図である。
【図１】
2005525597.tif 000003
【図２】
2005525597.tif 000004
【国際調査報告】
2005525597.tif 000005
2005525597.tif 000006
2005525597.tif 000007