(57)【要約】【課題】ユーザが対話装置への語りかけをしていることを正しく認識できるようにする。【解決手段】対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別する判別部と、前記判別部によってユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定する判定部と、を備える。【選択図】図１
2018205470.tif 000002
【特許請求の範囲】
【請求項１】
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別する判別部と、
前記判別部によってユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定する判定部と、
を備える対話装置。
【請求項２】
前記判別部は、ユーザの唇の動きの有無を判別し、
前記判定部は、ユーザの唇の動きがあったと判別された場合に、当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定する、
請求項１記載の対話装置。
【請求項３】
前記ユーザの発する音声データを予め記憶する記憶部と、
対話装置本体の周辺の音を入力する音声入力部と、
前記音声入力部を通じて入力された音声データと前記記憶部に記憶されている音声データとに基づいて話者認識を行う音声認識部と、
を備える、請求項１記載の対話装置。
【請求項４】
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別するステップと、
前記ユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定するステップと、
を含む対話方法。
【請求項５】
請求項１記載の対話装置と、
前記対話装置が搭載されている情報処理装置と、
を備える対話システム。
【請求項６】
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別するステップと、
前記ユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定するステップと、
をコンピュータに実行させる、対話プログラム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話装置、対話システム、対話方法及び対話プログラムに関し、特に、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ノート型又はデスクトップ型パーソナルコンピュータ、タブレットコンピュータなどのように、撮像装置が搭載又は接続可能な各種コンピュータに搭載される、対話装置、対話システム、対話方法及び対話プログラムに関する。
【背景技術】
【０００２】
特許文献１には、適切なタイミングでユーザとの対話状態に切り替わることが可能な対話装置が開示されている。具体的には、この対話装置は、ユーザと対話装置との距離と、カメラ画像におけるユーザの存在とを検出する検出手段と、検出手段の検出結果に基づいて、ハンズフリー状態にあるユーザが対話装置への語りかけ意思を有しているか否かを判定するユーザ意思判定手段と、判定手段の判定結果に基づいて、対話装置が対話状態および非対話状態のいずれかの状態に切り替わるように対話装置の状態を制御する対話状態制御手段と、を備える。
【０００３】
【特許文献１】特開２０１６−７６００７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、本出願人が検証したところ、特許文献１に開示されている対話装置でなされているように、ユーザと対話装置との距離と、カメラ画像におけるユーザの存在とを検出するだけでは、ユーザが対話装置への語りかけをしていることを正しく認識されないことが多く見受けられた。
【０００５】
典型的には、カメラ画像にユーザが写りこんでいるとしても、ユーザが他社に対して話しかけていたり、独り言を言っていたりして、対話装置に対して話かけていない場合には、ユーザが対話装置への語りかけの意思を有していないことになるが、たまたま、ユーザと対話装置との距離が所望である場合には、特許文献１の対話装置は、ユーザが対話装置への語りかけ意思を有していると判定してしまう。
【０００６】
一方、ユーザと対話装置との距離が、所望のものよりも遠い場合又は近い場合でも、ユーザが対話装置への語りかけを意思がある場合はあるので、この距離をユーザが対話装置への語りかけの意思を有しているかを判定するにあたり、ユーザと対話装置との距離とをパラメータとして用いることは必ずしも適切ではない。
【０００７】
そこで、本発明は、ユーザが対話装置への語りかけをしていることを正しく認識できるようにすることを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の対話装置は、
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別する判別部と、
前記判別部によってユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定する判定部と、
を備える。
【０００９】
また、本発明の対話システムは、
上記対話装置と、
上記対話装置が搭載されている情報処理装置とを備える。
【００１０】
また、本発明の対話方法は、
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別するステップと、
前記ユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定するステップと、
を含む。
【００１１】
さらに、本発明の対話プログラムは、
対話装置本体に付帯する撮像装置の撮像領域内にユーザが存在している場合に当該ユーザの目線方向を判別するステップと、
前記ユーザの目線方向が前記対話装置本体に向いていると判別された場合に当該ユーザが対話装置本体に向けて語りかけの意思を有していると判定するステップと、
をコンピュータに実行させる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の対話システムの模式的な構成を示すブロック図である。
【図２】図１に示す携帯端末１００の模式的な構成を示すブロック図である。
【図３】図１に示すデータベース２００に格納されている各種情報例を示す図である。
【符号の説明】
【００１３】
１００  ユーザ端末
１０１  制御部
１０２  記憶部
１０３  通信部
１０４  撮像部
１０５  判別部
１０６  判定部
１０７  操作部
１０８  表示部
１０９  音声入力部
１１０  音声認識部
１１１  音声出力部
１１２  位置制御部
１１３  バス
１１４  タッチパネルディスプレイ
１１５  処理部
２００  ロボット
３００  ウェブサーバ
４００  ネットワーク
【発明の実施の形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施形態の対話システムの模式的な構成を示すブロック図である。図１には、以下説明する、ユーザ端末１００Ａ〜１００Ｃ（これらの総称を「ユーザ端末１
００」と称する。）と、ロボット２００と、ウェブサーバ３００と、ネットワーク４００とを備えている。
【００１６】
ユーザ端末１００は、対話装置を構成し、例えば、電話機能及び通信機能を有するユーザ端末（スマートフォン）１００Ａ、ユーザ端末（タブレット）１００Ｂ、ユーザ端末（リスト端末）１００Ｃなどの情報処理装置の総称である。
【００１７】
もっとも、ユーザ端末１００は、ユーザ端末１００Ａ等のみならず、ＰＤＡ（Personal
Digital Assistant）、ノート型又はデスクトップ型パーソナルコンピュータ、タブレットコンピュータなどのように、カメラなどの撮像装置（例えば、図２の撮像部１０４）が搭載又は接続可能な各種コンピュータにも搭載することができるなどの各種の情報処理装置とすることもできる。
【００１８】
ロボット２００は、ユーザ端末１００Ａ等を着脱可能であって、ユーザの家屋内に設置可能な情報処理装置である。また、ロボット２００は、上側パーツと下側パーツとを含み、それらが例えば相互にユニバーサルに回動可能な構成とされている。
【００１９】
ロボット２００に取り付けたユーザ端末１００Ａ等は、撮像装置によって撮像した画像に基づいて話者となるユーザを特定すると、当該ユーザに正対できるように回動可能とされている。
【００２０】
さらに、ロボット２００にディスプレイを設け、対話アプリケーションプログラムによってユーザ端末１００のタッチパネルディスプレイ１１４（図２）に表示するとしている情報を、当該ディスプレイに表示するようにしてもよい。
【００２１】
ウェブサーバ３００は、ユーザ端末１００に対して提供する各種情報が蓄積されているサーバである。ウェブサーバ３００は、ネットワーク４００を介してアクセスされたユーザ端末１００からの要求に応じた情報を送信する。
【００２２】
なお、ロボット２００にも情報処理装置を搭載し、ウェブサーバ３００は、ロボット２００からの要求に応じて、情報を送信するようにしてもよい。これにより、ユーザ端末１００は、ユーザとの対話に用いるための多くの情報を、ウェブサーバ３００から取得することができる。
【００２３】
ネットワーク４００は、インターネットなどで構成され、ユーザ端末１００、ロボット２００、ウェブサーバ３００、及び、他のウェブサーバとの間における通信を実現するものである。
【００２４】
図２は、図１のユーザ端末１００の主として対話装置に関する部分の構成を示すブロック図である。図２において、ユーザ端末１００は、以下説明する、制御部１０１と、記憶部１０２と、通信部１０３と、撮像部１０４と、判別部１０５と、判定部１０６と、操作部１０７と、表示部１０８と、音声入力部１０９と、音声認識部１１０と、音声出力部１１１と、位置制御部１１２と、バス１１３と、処理部１１５と、操作部１０７及び表示部１０８を含むタッチパネルディスプレイ１１４とを備えている。
【００２５】
なお、図２には示していないが、ユーザ端末１００は、主としてロボット２００との間で近距離通信のための赤外線又はブルートゥースなどを用いる近距離用通信部と、各構成要素に電力を供給する電源部とを備えている。
【００２６】
また、本実施形態のユーザ端末１００の動作は、ユーザ端末１００にインストールされ
る対話アプリケーションプログラムと各スマートフォンに内蔵されているＣＰＵとの協働によって実現されるようにしてもよいし、当該動作を実現するハードウェアによって構成することもできる。
【００２７】
制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）などの演算処理デバイスを含み、制御プログラムに従って、バス１１３を介して下記の各構成要素との間で指令及びデータの入出力を行って、ユーザ端末１００全体の動作を制御するものである。
【００２８】
記憶部１０２は、例えば、制御部１０１によって実行される制御プログラム、及び、ユーザ端末１００の電源がオンされたときに行われるイニシャライズ処理に必要な初期データを記憶するＲＯＭ（Read Only Memory）と、制御部１０１によって処理されるデータを記憶するデータメモリとを有する。
【００２９】
なお、データメモリは、データを一時的にストアするとともに、ユーザ端末１００の電源がオフになるとストアしたデータが消去するＲＡＭ（Random Access Memory）などの揮発性のメモリと、ユーザ端末１００の電源がオフになってもストアしたデータを保持するフラッシュメモリなどの不揮発性のメモリとを含む。
【００３０】
通信部１０３は、所定の無線通信プロトコルに従って、他のユーザ端末１００、ロボット２００、ウェブサーバ３００、及び、他のウェブサーバとの間における情報通信を行うものである。
【００３１】
撮像部１０４は、通常、タッチパネルディスプレイ１１４の近傍に設けられていて、静止画又は動画を撮像するものである。撮像部１０４の機能がオン状態の場合には、通常、撮像部１０４で撮像された動画は、タッチパネルディスプレイ１１４に出力され、タッチパネルディスプレイ１１４をファインダーとして用いることができる。
【００３２】
一方、対話アプリケーションプログラムが起動されている状態では、撮像部１０４で撮像された動画は、判別部１０５に出力されるように設定されている。そして、タッチパネルディスプレイ１１４には、音声入力部１０９から入力され、音声認識部１１０によって認識されたユーザの発する声の文字情報が表示されるようにしている。
【００３３】
判別部１０５は、対話アプリケーションプログラムが起動されている状態で、撮像部１０４の撮像領域内にユーザが存在している場合に、当該ユーザの目線方向を判別するものである。
【００３４】
具体的には、判別部１０５は、ユーザの目線方向がユーザ端末１００に向いているか否か、より正確には、ユーザの目線方向がタッチパネルディスプレイ１１４又はその近傍であるか否かを判別するものである。
【００３５】
なお、ユーザ端末１００がデスクトップ型パーソナルコンピュータなどである場合には、通常、この種のコンピュータには撮像部１０４が搭載されていないので、撮像部１０４の代わりに、ＵＳＢ（Universal Serial Bus）端子を通じて接続されるウェブカメラを用いればよい。そして、この場合のユーザの目線方向が対話装置１００本体に向いているということは、デスクトップ型パーソナルコンピュータなどのディスプレイ又はその近傍となる。
【００３６】
ユーザの目線方向の判別は、これに限定されるものではないが、撮像部１０４によって撮像されたユーザの動画から、目頭、目尻、瞳など目の周囲の特徴点を検知して視線を特定したり、ユーザの瞳孔点と反射点とに基づいて視線を特定したりして行えばよい。
【００３７】
また、判別部１０５は、選択的に、上記の判別に加えて、撮像部１０４の撮像領域内にユーザが存在している場合に、当該ユーザの唇の動きの有無を判別する。
【００３８】
判定部１０６は、ユーザの目線方向がユーザ端末１００に向いていると判別された場合に、当該ユーザがユーザ端末１００に向けて語りかけの意思を有していると判定するものである。なお、判定部１０６は、ユーザの目線方向がユーザ端末１００に向いていると判別され、かつ、ユーザの唇の動きがあったと判別された場合に、当該ユーザがユーザ端末１００に向けて語りかけの意思を有していると判定するようにしてもよい。
【００３９】
操作部１０７は、ユーザの入力操作を受けて、その操作情報を制御部１０１に出力するものである。
【００４０】
表示部１０８は、制御部１０１からの指令及びデータに応じて、各種の情報画面を表示するものである。
【００４１】
操作部１０７及び表示部１０８の一部は、操作入力機能と表示機能とを併せて備えたタッチパネルディスプレイ１１４で実現することができる。なお、ユーザ端末１００をロボット２００に装着した場合には、臨場感を出すために、タッチパネルディスプレイ１１４に表情豊かに話しているキャラクタの顔の画像等を表示するなどの演出を行ってもよい。
【００４２】
音声入力部１０９は、例えば、ユーザなどからの音声やユーザの周囲の環境音、つまり、対話装置本体周辺の音声データを電気信号に変換するマイクロフォンを含む。通話中のユーザの音声は、アナログ信号からデジタル信号に変換され、その後、音声認識部１１０に出力される。
【００４３】
音声認識部１１０は、音声入力部１０９から出力されたデジタル信号を、既知の手法などによって認識するものである。また、音声認識部１１０は、ユーザの発する声の内容を示す文字情報をタッチパネルディスプレイ１１４に出力するようにしている。
【００４４】
音声認識部１１０は、ユーザの発する音声データを予め記憶部１０２に記憶しておき、音声入力部１０９によって集音がされた場合に、その集音データと記憶済みの音声データと比較するなどして、話者認識を行うこともできる。
【００４５】
こうすると、例えば、ユーザ端末１００の近傍に位置するテレビのスピーカから音が出力されている場合のような環境下において、ユーザが発した音でないときには、その音によってユーザ端末１００が誤作動することを回避することができる。
【００４６】
つまり、音声認識部１１０によって選択的に上記判別をすることで、ユーザ端末１００に向けてユーザが語りかけの意思を有していない場合の音声などをフィルタリングすることができる。
【００４７】
音声出力部１１１は、スピーカを含み、また、イヤホン、ヘッドホン用のコネクタを含む。音声出力部１１１は、通話中に通信部１０３によって受信された通話先のユーザ端末１００からのデジタル信号をアナログ信号である音声に変換して出力する。また、音声出力部１１１は、音声認識部１１０によって認識された音声に応じてユーザ端末１００が発生する音声を出力するものである。
【００４８】
位置制御部１１２は、撮像部１０４で撮像されたユーザの動画に基づいて、ユーザと対面するために必要な移動量・移動角を示す情報を特定して、ロボット２００に出力するも
のである。
【００４９】
バス１１３は、システムバス、データバス、及びアドレスバスなどで構成され、制御部１０１と他の構成要素との間で、指令及びデータを伝送する伝送路である。
【００５０】
処理部１１５は、音声認識部１１０によって認識されたユーザが発した音声の内容を、タッチパネルディスプレイ１１４に表示したり、当該音声での命令に従ってｅメールを送信したり、電話を発信したり、ウェブサーバ３００を用いてレストランなどの検索をしたり、目的地までの最短ルートをタッチパネルディスプレイ１１４に表示したり、ユーザと擬似的な会話を行ったりといった各種処理を行うものである。
【００５１】
つぎに、図２に示すユーザ端末１００の動作について説明する。
【００５２】
まず、ユーザがユーザ端末１００を操作することによって、ユーザ端末１００にインストールされた対話アプリケーションプログラムを起動すると、撮像部１０４がオン状態となり（ステップＳ１１）、かつ、音声入力部１０９もオン状態となる（ステップＳ２）。そのほかにも、処理部１１５など、図２に示した各部もオン状態となる。
【００５３】
つぎに、処理部１１５は、「ご用件は何でしょうか」のような表示をタッチパネルディスプレイ１１４で行い、及び／又は、「ご用件は何でしょうか」のような音声を音声出力部１１１から出力する。
【００５４】
その後に、通常であれば、ユーザは、ユーザ端末１００本体に向かって、より正確には、タッチパネルディスプレイ１１４又はその近傍を見ながら、音声によって所定の命令などを発するであろう。
【００５５】
これは、既述のように、音声認識部１１０によって認識されたユーザが発した音声の内容をタッチパネルディスプレイ１１４に表示するので、その認識結果の可否についてユーザが判断するためにタッチパネルディスプレイ１１４を見ることが想定されるからである。
【００５６】
したがって、係る場合には、判別部１０５が、ユーザの目線がユーザ端末１００の方向であると判別し（ステップＳ１３）、さらに、ユーザの唇に動きがあると判別し（ステップＳ１４）、音声認識部１１０が、ユーザの発する音声を認識する（ステップＳ１５）。
【００５７】
その後、処理部１１５が、音声認識部１１０によって認識されたユーザが発した音声の内容をタッチパネルディスプレイ１１４に表示するなどの対応処理を行うことができる（ステップＳ１６）。なお、その後に、ウェブサーバ３００から何らかの情報を取得した場合には、それをタッチパネルディスプレイ１１４に表示するといったことも、ここでいう対応処理に含まれる。
【００５８】
その後、ユーザが、ユーザ端末１００の対話アプリケーションプログラムを終了するまでは、ステップＳ１３に移行し、ユーザ端末１００の対話アプリケーションプログラムを終了する場合には、図３に示す各処理を終了する。
【００５９】
したがって、ユーザ端末１００で対話アプリケーションプログラムの使用中には、ユーザがタッチパネルディスプレイ１１４又はこの近傍を見ることが想定され、かつ、ユーザが他人に向かって話をしている場合には、当該他人の顔を見ることが想定されるということに鑑みて、ステップＳ１３において、ユーザがタッチパネルディスプレイ１１４又はその近傍を見ていることが判別された場合には、ステップＳ１４〜ステップＳ１７の処理を
継続するようにしている、
【００６０】
一方、ユーザが他人に向かって話をしているなどして、ユーザがタッチパネルディスプレイ１１４又はその近傍を見ていないことが判別された場合には（ステップＳ１３）、例えば１０秒程度といった所定時間が経過したことを検知した場合には（ステップＳ１８）、ユーザ端末１００のバッテリ消費を抑えるために、ユーザ端末１００を省電力モードに切り替えるようにしている（ステップＳ１９）。
【００６１】
なお、ここでいう省電力モードとは、これに限定されるものではないが、撮像部１０４をオフすることが挙げられる。この場合には、図３には示していないが、ユーザが特定の用語を発し、これを音声入力部１０９によって入力された場合に、省電力モードから通常モードに復帰するようにすることができる。
【００６２】
或いは、省電力モードを撮像部１０４のみならず、音声入力部１０９及び判別部１０５等もオフすることとしてもよい。この場合には、ユーザがユーザ端末１００のホームボタンなどを押下することを条件に省電力モードから通常モードに復帰するようにしてもよい。
【図１】
2018205470.tif 000003
【図２】
2018205470.tif 000004
【図３】
2018205470.tif 000005