(57)【要約】  本発明は、ユーザとシステムとの間での通信方法に関し、この通信方法においては、ユーザがシステムを見ているか、あるいは何処か他の所を見ているかが検出され、この検出に基づいて通信が調整される。
2008509455.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとシステムとの間の通信方法であって：
ユーザがシステムを見ているかどうかを検出するステップ、及びそれに基づいて、
通信を調整するステップ
を有する方法。
【請求項２】
ユーザの物理的位置を検出するステップを更に有する請求項１に記載の方法。
【請求項３】
ユーザの存在が検出されるとすぐにユーザに向かって反応するステップを更に有する請求項１又は２に記載の方法。
【請求項４】
ユーザの身元が検知されるとすぐにユーザに向かって反応するステップを更に有する請求項１乃至３の何れかに記載の方法。
【請求項５】
２人以上のユーザと同時に通信するステップを更に有する請求項１乃至４の何れかに記載の方法。
【請求項６】
システムへのユーザの視線に基づいてユーザとシステムとの間の通信を開始するステップを更に有する請求項１乃至５の何れかに記載の方法。
【請求項７】
事象が発生したときにユーザとシステムとの間の通信を開始するステップを更に有する請求項１乃至６の何れかに記載の方法。
【請求項８】
音響入力を検出するステップを更に有する請求項１乃至７の何れかに記載の方法。
【請求項９】
請求項１乃至８の何れかに記載の方法を処理ユニットに実行させる命令が格納されたコンピュータ可読媒体。
【請求項１０】
ユーザと通信するシステムであって：
ユーザがシステムを見ているかどうかを検出する検出手段、及び
検出手段からの出力データに基づいて通信を調整するプロセッサ
を有するシステム。
【請求項１１】
音響入力を検出する音響センサを更に有する請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザがシステムを見ているかどうかが検出され、それに基づいて通信が調整される、ユーザとシステムとの間の通信方法に関する。
【背景技術】
【０００２】
ここ何年か、ユーザと相互作用するシステムの開発には多くの過程が存在してきた。一例は、ユーザが、異なる活動を実行するようにシステムに命令することによってシステムと対話する音声制御通信である。
【０００３】
音声制御装置の音声制御を可能にする方法が特許文献１に記載されており、そこでは、ユーザが装置の方を見ている時が検出される。ユーザが装置の方を見ていることが検出されたときのみ、音声制御が有効にされる。この発明の主な目的は、同一の言葉の命令によって複数の音声制御された装置が望まれずして作動する虞を最小化することである。
【０００４】
この装置の問題は、例えば、会話に無関係な事象による短い気の散りのような会話式相互作用に現れる事象を処理しないことである。これは、ユーザと装置との間の通信を困難且つ非柔軟性のものにしてしまう。さらに、この装置はユーザが当該装置を見ていることの検出に基づいて動的にユーザに対応できない。
【０００５】
音声信号を認識する収集手段を有する装置が特許文献２に開示されている。また、ユーザが音声制御によって装置と作用することを可能にする、電子機器の操作方法も開示されている。
【０００６】
この発明の問題は、システムと相互作用するためには音声信号が認識されなければならないことである。これは、例えば病気のためにユーザの声が異なるときに問題となり得る。また、このシステムは、会話に無関係な事象による短い気の散りのような会話式相互作用に現れる事象を処理しない。これは、相互作用の全体を非常に堅苦しく且つ不自然なものにしてしまう。
【０００７】
注目の指標として凝視が用いられるシステムが非特許文献１に記載されており、そこでは、ユーザの注目状態を得るために視線と体の動きとが分析される。この情報は主として、現在のユーザの注目の的が何れの物であるかを決定するために使用される。
【０００８】
このシステムの問題は、ヘッドマウント型カメラを用いてユーザの頭部に物理的に搭載されなければならないために、如何にしてそれを要求するかである。このシステムを使用することの大変な不便さに加え、ユーザとシステムとの間の相互作用は制限され、且つ非常に不自然になる。
【特許文献１】米国特許出願公開第２００２／０１０５５７５号明細書
【特許文献２】国際公開第０３／０９６１７１号パンフレット
【非特許文献１】K.Thorisson、「Machine  perception  of  real-time  multimodal  natural  dialogue」、Vision&Music、2001年、p.97-115
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題を解決した、ユーザとシステムとの間の通信方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に従ったユーザとシステムとの間の通信方法は：
ユーザがシステムを見ているかどうかを検出するステップ、及びそれに基づいて、
通信を調整するステップ
を有する。
【００１１】
故に、ユーザの注目状態を検出することにより、ユーザとシステムとの間の通信は非常に自然で邪魔にならず、且つ人間に近いものとなる。
【００１２】
当該方法は、一実施形態において、ユーザの存在が検出されるとすぐにユーザに向かって反応するステップを更に有する。
【００１３】
これにより、ユーザとシステムとの間の通信は一層と人間に近いものとなる。一例として、装置が置かれた部屋にユーザが入室するとき、システムはユーザに挨拶することによってユーザに反応することができる。これは、ある人物が例えば仕事から帰宅したときに挨拶されるという人物間の対話と同等であると見なすことができる。
【００１４】
当該方法は、一実施形態において、ユーザの身元が検知されるとすぐにユーザに向かって反応するステップを更に有する。
【００１５】
故に、検出されたユーザが未知である場合にはシステムは何も反応しないことになるので、システムの安全性が高められる。また、通信を更に調整するため、識別されたユーザの個人プロフィールや嗜好が使用され得る。
【００１６】
当該方法は、一実施形態において、２人以上のユーザと同時に通信するステップを更に有する。
【００１７】
故に、システムは、新たなユーザが当該システムと通信したいと思う度にその新たなユーザを識別させられることなく、複数のユーザと同時にやりとりすることができる。システムは、故に、何れのユーザが当該システムを見ているかを検出することによって複数のユーザの何れが通信しているかを見分けることが可能である。これは、ある人物が同一の部屋にいる２人以上の別人と同時に話しているのと同様である。これは一例として、家族メンバーの各々がシステムに、例えば、電子メールのチェック等の別個の動作を頼むことができるような家族とし得る。従って、これにより、例えば家族メンバー等のユーザとシステムとの間の通信が非常に人間に近いものになる。
【００１８】
当該方法は、一実施形態において、システムへのユーザの視線に基づいてユーザとシステムとの間の通信を開始するステップを更に有する。
【００１９】
故に、システムへのユーザの視線は通信を開始することへのユーザの関心を指し示すものであるので、通信は非常に便利で人間に近い方法で開始される。これは、ある人物が別の人が会話を始める意志を有しているかどうかを見出そうとする状況と同様である。その人物は、この別の人に近づいてその人の眼を覗き込むことによって、このことを見出すのが一般的である。
【００２０】
当該方法は、一実施形態において、事象が発生したときにユーザとシステムとの間の通信を開始するステップを更に有する。
【００２１】
これにより、ユーザとシステムとの間の通信が更に改善される。この事象は、例として、電子メールを受信したこと、又はシステムに接続されたベルを誰かが鳴らしていることを含み得る。この場合、システムはユーザに、誰かがベルを鳴らしているのであなたは中断されてもよいかを尋ねてもよい。システムに電話が統合され、システムがユーザに、電話が鳴っていること及びユーザがそれに応答したいと思っているかを通知することが可能にされてもよい。好ましくは、システムは最初に、ユーザが室内に存在しているかどうか、又はユーザが他の活動に従事しているかどうかを検査する。ユーザがシステムを見ている場合、このユーザは通信に関与する意志を有している。
【００２２】
当該方法は、一実施形態において、ユーザの物理的位置を検出するステップを更に有する。
【００２３】
故に、ユーザはシステムと通信している間、このシステムの近くに留まるように強いられない。一例として、ユーザはシステムと通信しながら、例えばソファに横になったり、椅子に座ったりすることができる。
【００２４】
当該方法は、一実施形態において、音響入力を検出するステップを更に有する。
【００２５】
故に、システムはユーザの音響又は周囲からの音響を更に検出し、それにより、ユーザが当該システムを見ているかを検出することと音響との双方を介して通信することが可能である。これは、当然ながら、人々が連絡し合う一般的な方法である。
【００２６】
本発明の更なる一態様に従ったコンピュータ可読媒体は、処理ユニットに上記の方法を実行させる命令が格納されている。
【００２７】
本発明の一態様に従ったユーザと通信するシステムは：
ユーザがシステムを見ているかどうかを検出する検出手段、及び
検出手段からの出力データに基づいて通信を調整するプロセッサ
を有する。
【００２８】
故に、ユーザが非常に人間に近い方法でシステムと相互作用することを可能にする会話システムが得られる。
【００２９】
当該システムは、一実施形態において、音響入力を検出する音響センサを更に有する。
【００３０】
故に、音響入力とユーザがシステムを見ているかどうかとの双方を検出することにより、当該システムはある意味で“眼”と“耳”との双方を有すると言うことができる。一例として、ユーザはシステムを見てはいるものの、ある時間にわたってユーザとシステムとの間の対話に応答していないことがあり得る。これは、見方によれば、ユーザはもはやシステムとの対話に関与することに興味がないと解釈され得るものであり、その通信は中止され得る。同様に、ユーザは相互作用中に当該システムの方ではない別の方向を見ていることがあり得る。検出手段はユーザが注目していないことを指し示すであろうが、対話での会話はユーザが実際には依然として注目していることを指し示すことができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明、特にその好適な実施形態について、図面に関連させながら詳細に説明する。
【００３２】
図１ａ乃至１ｃは、ユーザ101と通信するためのシステム103を示しており、この実施形態において、システム103はコンピュータに一体化されている。システム103は、ユーザ101の存在及び不在、並びにユーザ101がシステム103を見ているか否か、すなわち、この場合にはコンピュータモニタの方を見ているか否か、を検出する検出手段105を有している。ここに示されるように、システム103は更に、ユーザ101からと周囲からとの双方の音響入力を検出する音響センサ104を有している。しかしながら、音響センサ104は本発明の必須部分ではなく、容易に除外され得るものである。また、ユーザ101とシステム103との間の通信を検出手段105及び音響センサ104からの出力データに基づいて調整するプロセッサ106が示されている。さらに、システム103は、ユーザの動作を回転によって追従する回転装置111を具備することができる。検出手段105は、一例として、ユーザの顔を走査することにより上記の検出を実行し、走査からの１つ又は複数の特徴を使用して、ユーザ101がシステム103の方を見ているか否かを決定するアルゴリズムを有するカメラとし得る。好適な一実施形態においては、顔画像が正面のものであるかを決定するために、両眼が見えるかが検出される。故に、例えばユーザが髭を伸ばしている等の、ユーザの外観変化は検出に影響を及ぼさない。ユーザ101がシステム103を見ているか否かに基づいて、ユーザのシステムへの注目が決定される。従って、ユーザ101がシステム103の方を見ているとき、検出手段105はそれをユーザが注目していると解釈し、システム103とユーザ101との間の通信が維持される。他方、ある程度の時間にわたってユーザ101がシステム103を見ていないとき、それは検出手段105によってユーザ103は注目していないとして解釈されてもよい。同様に、ユーザのシステムへの注目は、ユーザ101とシステム103との間の会話、又は要求にユーザ101が応答しているか否かを検出する音響センサ104によって判断されてもよい。この要求は“会話を続けることに興味がありますか”とし得るものである。ユーザが“はい、会話を続けることに興味があります”と答えると、音響センサ104はそれを、ユーザは注目しているとして検出する。プロセッサ106は、検出手段105からと音響センサ104からとの解釈、すなわち、ユーザ101が注目しているか否かの解釈、の相互作用を用いて、ユーザ101とシステム103との間の通信を調整する。この調整は、ユーザ101とシステム103との間の通信を中止すること、及び会話を続けたいか、あるいは会話を後で続けたいかをユーザ101に尋ねることを含み得る。
【００３３】
図１ａに示された例では、ユーザ101はシステム103との通信を構築することに興味を有している。ユーザ101がシステム103によって検出されるとすぐに、システム103は、例えばユーザに挨拶すること等によって動的に反応する。好適な一実施形態においては、ユーザの身元が検知されている場合に、システム103はユーザに対して動的に反応し、さもなければ反応しない。これにより、システムの安全性が高められる。また、通信を更に調整するため、識別されたユーザの個人プロフィールや嗜好が使用され得る。システム103との通信は、例えば５秒といった所定時間にわたってシステム103を見ることによって構築されてもよい。そして、検出手段105はユーザ101がシステム103をある程度の時間にわたって現在まで見続けていることを検出する。これは、ユーザ101がシステム103との会話に関与したがっているというように解釈され、図１ｂに示されるように通信113が構築される。システム103はまた、システム103との通信を構築することに興味があるかどうかをユーザ101に更に尋ねることもできる。この通信113は好ましくは、音響センサ104、検出手段105、又は双方の組み合わせの何れかに従って、ユーザ101が依然として注目している間は維持される。一例として、ユーザ101は、図１ｃに示されるように、例えば室内の他の人物と話しているなど、他の活動に従事しているために、システム103の方を直視していないかもしれない。この場合、システムはユーザ101とシステム103との間の会話を中断するか、ユーザ101に会話を続けたいか否かを尋ねるかの何れかを行うことができる。ユーザ101が質問に応答しない場合、通信113は中止されてもよい。また、ユーザ101が部屋を離れており、システム103がユーザ101の存在をもはや検出しない場合、通信113及びシステム103は直ちに終了されてもよい。あるいは、ユーザ101は通信113を中断することなく短い時間だけ部屋を離れなければならないこともあり得るので、所定時間経過後に終了されてもよい。
【００３４】
一実施形態において、システムは、ユーザの身元が検知されるとすぐに、複数のユーザに対して反応及び通信することが可能である。システムは、故に、何れのユーザが当該システムを見ているかを検出することによって複数のユーザの何れが通信しているかを見分けることが可能になっている。従って、このシステムは、ユーザが当該システムと通信したいと思う度に新たなユーザを識別させられることなく、複数のユーザと同時にやりとりする能力を有している。
【００３５】
一実施形態において、システムは音声活動分析を具備した音声認識モジュールを更に備えている。故に、ユーザの声は検出され、その他の声又は音から区別されることができる。
【００３６】
一実施形態において、システム103は更にユーザ101の位置を判断し、好ましくはユーザ101がシステム103を見ているか否かを検出する。故に、ユーザ101はシステム103と通信しているときに同一位置にいることを強いられず、上述のようにシステム103と通信しながら、例えばソファに横になったり、椅子に座ったりすることができる。
【００３７】
一実施形態において、例えばビーム形成システム（図示せず）によってなど、システム103によって音響入力の位置が計算され、ユーザ101の位置と比較される。故に、音響入力がユーザ101の位置と異なる場合、システムはこの音響入力を無視してユーザ101との会話を継続することが可能である。
【００３８】
一実施形態において、システム103は、ある事象が生じた場合にユーザ103との例えば会話などの通信113を開始する。この事象は、例として、電子メールを受信したこと、又はシステムに接続されたベルを誰かが鳴らしていることを含み得る。そして、システム103は、ユーザ101が室内に存在しているかどうか、ユーザ101が他の活動に従事しているかどうか、又はユーザ101が話しているかどうかを確認する。一例として、システム103は、「誰かがベルを鳴らしているので、あなたは中断されてもよいでしょうか」とユーザ101に丁重に尋ねてもよい。この場合、図１ａに示されるように、誰がベルを鳴らしているかを検知する外付けカメラが設けられてもよく、ユーザの視線又は言葉によるユーザの要求に応じて、ベルを鳴らしている人物の画像がモニタ上に表示されてもよい。
【００３９】
一実施形態において、システム103は、一例としてユーザ101のアパート内の別の部屋又は別の領域に分散された、更なるサブシステムを有している。故に、各サブシステムはユーザ101の存在を連続して監視する。ユーザ101の存在を検出しているサブシステムが通信を継続する。故に、ユーザは１つのサブシステムと通信113を行いながらアパート内を歩き回ることができる。一例として、ユーザは居間にあるサブシステムと、このサブシステムがこのユーザを識別した後に通信する。ユーザが居間から寝室へと歩いて行くと、寝室にあるシステムがユーザの存在を検出・識別し、例えば会話を継続する。これは、家の中を動き回る複数のユーザに対しても行われ得る。
【００４０】
一実施形態において、システム103は信頼性レベルを計算する音声認識システム（図示せず）を備えている。この値は、認識装置の推測についてこの認識装置がどの程度信頼できるかという指標を与えるものである。一例として、この値は背景雑音が多い場合には低くなる。好ましくは、閾値が用いられ、この閾値より低い信頼値を有する入力は破棄される。ユーザ101がシステム103を見ている場合には閾値が低くされる一方で、ユーザ101がシステム103の方を直視していない場合には閾値が高くされ、システム103は確信を持って作動するものとなる。
【００４１】
当然ながら、上述のようなシステム103は図１に示されるようなコンピュータの代わりに様々な装置に結合されることが可能である。例として、システム103は壁掛け型の装置、又はユーザ101が何処にいるかに応じてユーザ101が或る場所から別の場所へと動かせるような可搬式装置に結合され得る。また、システム103はロボット、可搬式コンピュータ、又は例えばテレビ等の如何なる種類の電子機器にも結合され得る。
【００４２】
図２は、ユーザとシステムとの間の通信方法に関する一実施形態のフローチャートを例示している。最初に段階201（In.Com.）にて、ユーザとシステムとの間の通信が開始される。これは単にシステムを所定時間見ることによって為されてもよい。システムが、ユーザが例えば５秒といった或る程度の時間にわたって当該システムを見ていることを検出すると、段階203（Act.Dial.）にて、ユーザとシステムとの間に接続が構築され、ユーザとシステムとの間の通信が開始され得る。システムは、段階205（Int.）にて、例えばユーザの眼に焦点を合わせることによって、ユーザが当該システムの方を見ているかどうかを継続的に確認する。ユーザがシステムの方を見ていない場合、段階209（N）にて、この通信は中断され得る。ユーザが注目していないというように解釈される場合、システムは、段階213（Cont.?）にて、会話を続けたいか否かをユーザに質問するように更に適合されてもよい。ユーザが質問に応答しない場合、又は答えが“いいえ”である場合、段階217（St.）にて、この通信は中止される。また、ユーザが部屋を離れており、システムがユーザの存在をもはや検知しない場合も、段階217（St.）にて、この通信は中止される。そうではなく、ユーザが“はい”と答える場合、及び／又はユーザがシステムの方を見る場合、段階215（Cont.）にて、会話は継続される。
【００４３】
上述の実施形態は本発明を例示するものであって限定するものではない。また、当業者であれば、添付の請求項の範囲を逸脱することなく、多数の代替実施形態を設計することができるであろう。‘有する’という用語は請求項に列挙された要素又はステップ以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの別個の構成要素を有するハードウェアによって、また好適にプログラムされたコンピュータによって実施されてもよい。幾つかの手段を列挙する装置の請求項においては、これら手段の幾つかは１つ且つ同一のハードウェア品目によって具現化されてもよい。ある特定の手段が相異なる従属請求項にて列挙されているという単なる事実は、これらの手段の組み合わせが有意に使用され得ないことを示すものではない。
【図面の簡単な説明】
【００４４】
【図１ａ】ユーザと通信するためのシステムを示す図である。
【図１ｂ】ユーザと通信するためのシステムを示す図である。
【図１ｃ】ユーザと通信するためのシステムを示す図である。
【図２】ユーザとシステムとの間の通信方法を示すフローチャートである。
【図１ａ】
2008509455.tif 000003
【図１ｂ】
2008509455.tif 000004
【図１ｃ】
2008509455.tif 000005
【図２】
2008509455.tif 000006
【国際調査報告】
2008509455.tif 000007
2008509455.tif 000008
2008509455.tif 000009