(57)【要約】【課題】より自然な応答を行わせることができる処理装置、処理システム、出力方法及びプログラムを提供する。【解決手段】ユーザの音声を認識する音声認識部２１と、音声認識部２１で認識された音声に基づいて、情報の検索を要求する検索要求部２５と、検索要求部２５で要求された情報の検索に基づいて、検索結果を取得する取得部２７と、ユーザの状況を認識する状況認識部２９と、状況認識部２９で認識されたユーザの状況に基づいて、検索結果を出力部１９に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、検索結果を出力部１９に出力させる出力制御部３３と、を備える。【選択図】図１
2013238986.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声を認識する音声認識部と、
前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求部と、
前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得部と、
前記ユーザの状況を認識する状況認識部と、
前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御部と、
を備える処理装置。
【請求項２】
前記状況認識部は、逐次、前記ユーザの状況を認識し、
前記出力制御部は、逐次、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を前記出力部に出力させるタイミングであるか否かを判定する請求項１に記載の処理装置。
【請求項３】
前記出力制御部は、一定期間内に前記検索結果を前記出力部に出力させるタイミングであると判定しなかった場合、前記検索結果を前記出力部に出力させない請求項２に記載の処理装置。
【請求項４】
前記検索要求部は、前記音声認識結果が疑問系である場合、前記情報の検索を要求する請求項１〜３のいずれか１つに記載の処理装置。
【請求項５】
前記状況認識部で認識されたユーザの状況は、前記ユーザの目配せの有無、前記ユーザが首を傾けているか否か、並びに前記ユーザ及び対話相手が沈黙しているか否かの状況のうち少なくともいずれかである請求項１〜４のいずれか１つに記載の処理装置。
【請求項６】
ユーザの音声を認識する音声認識部と、
前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求部と、
前記検索要求部で要求された情報を検索する検索部と、
前記検索部の情報の検索結果を取得する取得部と、
前記ユーザの状況を認識する状況認識部と、
前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御部と、
を備える処理システム。
【請求項７】
音声認識部が、ユーザの音声を認識する音声認識ステップと、
検索要求部が、前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求ステップと、
取得部が、前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得ステップと、
状況認識部が、前記ユーザの状況を認識する状況認識ステップと、
出力制御部が、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御ステップと、
を含む出力方法。
【請求項８】
ユーザの音声を認識する音声認識ステップと、
前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求ステップと、
前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得ステップと、
前記ユーザの状況を認識する状況認識ステップと、
前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御ステップと、
してコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理装置、処理システム、出力方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、コンピュータに、ユーザが発した音声を認識させ、ユーザの発話の意図を理解・推論させて、適切な応答を行わせる技術が知られている。このような技術では、人間同士が対話するような自然な応答をコンピュータに行わせることが求められている。例えば特許文献１には、ユーザが疑問を発した際に、疑問に対する答えを応答する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したような従来技術では、応答を行うタイミングが考慮されていないため、ユーザにとって適切なタイミングで応答が行われるとは限らない。特に、複数ユーザ間で対話が行われている場合には、ユーザ同士の対話を阻害してしまう可能性もある。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、より自然な応答を行わせることができる処理装置、処理システム、出力方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる処理装置は、ユーザの音声を認識する音声認識部と、前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求部と、前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得部と、前記ユーザの状況を認識する状況認識部と、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御部と、を備える。
【０００６】
また、本発明の別の態様にかかる処理システムは、ユーザの音声を認識する音声認識部と、前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求部と、前記検索要求部で要求された情報を検索する検索部と、前記検索部の情報の検索結果を取得する取得部と、前記ユーザの状況を認識する状況認識部と、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御部と、を備える。
【０００７】
また、本発明の別の態様にかかる出力方法は、音声認識部が、ユーザの音声を認識する音声認識ステップと、検索要求部が、前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求ステップと、取得部が、前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得ステップと、状況認識部が、前記ユーザの状況を認識する状況認識ステップと、出力制御部が、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御ステップと、を含む。
【０００８】
また、本発明の別の態様にかかるプログラムは、ユーザの音声を認識する音声認識ステップと、前記音声認識部で認識された音声に基づいて、情報の検索を要求する検索要求ステップと、前記検索要求部で要求された情報の検索に基づいて、検索結果を取得する取得ステップと、前記ユーザの状況を認識する状況認識ステップと、前記状況認識部で認識されたユーザの状況に基づいて、前記検索結果を出力部に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、前記検索結果を前記出力部に出力させる出力制御ステップと、してコンピュータを機能させるためのものである。
【発明の効果】
【０００９】
本発明によれば、より自然な応答を行わせることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態の処理システムの構成の一例を示すブロック図である。
【図２】図２は、本実施形態の音声認識部の構成の一例を示すブロック図である。
【図３】図３は、本実施形態の処理システムで実行される処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明にかかる処理装置、処理システム、出力方法及びプログラムの実施形態を詳細に説明する。
【００１２】
まず、本実施形態の処理システムの構成について説明する。
【００１３】
図１は、本実施形態の処理システム１の構成の一例を示すブロック図である。図１に示すように、処理システム１は、処理装置の一例としてのネットワークエージェント（以下、「ＮＡ」と称する）１０と、検索部の一例としての検索サーバ１０１と、を備える。ＮＡ１０及び検索サーバ１０１は、インターネット１０７を介して接続されている。
【００１４】
検索サーバ１０１は、Ｗｅｂ上で公開されている情報を検索するものであり、例えば、Ｗｅｂ上で検索エンジン機能を提供するものなどであればよい。具体的には、検索サーバ１０１は、ＮＡ１０から検索クエリを受信し、受信した検索クエリに従ってＷｅｂ上で公開されている情報を検索し、検索結果をＮＡ１０に送信する。ここで、検索サーバ１０１が検索する情報は、Ｗｅｂの動的ページ上で公開されている動的情報であっても、Ｗｅｂの静的ページ上で公開されている静的情報であってもよい。なお、図１に示す例では、検索サーバを１台例示しているが、これに限定されるものではなく、何台であってもよい。
【００１５】
ＮＡ１０は、Ｗｅｂ上で公開されている情報や機能にアクセスする端末である。本実施形態では、ＮＡ１０は、スマートフォンやタブレットなど携帯型の端末を想定しているが、これに限定されるものではなく、インターネットにアクセス可能な装置であればよい。
【００１６】
本実施形態では、ユーザＵ１がＮＡ１０を所有しており、ユーザＵ１がユーザＵ２との対話にＮＡ１０を使用する場合を想定してＮＡ１０（処理システム１）について説明するが、ユーザが単独でＮＡ１０を使用することもできるし、３人以上のユーザが共用してＮＡ１０を使用することもできる。
【００１７】
ＮＡ１０は、図１に示すように、音声入力部１１と、ＧＰＳ（Global  Positioning  System）受信部１３と、通信部１５と、撮像部１６と、記憶部１７と、出力部１９と、制御部２０とを、備える。
【００１８】
音声入力部１１は、ユーザＵ１やユーザＵ２などが発する音声をＮＡ１０に入力するものであり、マイクロフォンなどの集音器により実現できる。
【００１９】
ＧＰＳ受信部１３は、ＧＰＳ衛星からの電波を受信するものであり、ＧＰＳ受信機などにより実現できる。
【００２０】
通信部１５は、インターネット１０７を介して検索サーバ１０１などの外部機器と通信するものであり、ＮＩＣ（Network  Interface  Card）などの通信装置により実現できる。
【００２１】
撮像部１６は、ユーザＵ１やユーザＵ２などを撮像するものであり、デジタルカメラなどの撮像装置により実現できる。
【００２２】
記憶部１７は、ＮＡ１０で実行される各種プログラムやＮＡ１０で行われる各種処理に使用されるデータなどを記憶する。記憶部１７は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、メモリカード、光ディスク、ＲＯＭ（Read  Only  Memory）、及びＲＡＭ（Random  Access  Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。
【００２３】
出力部１９は、制御部２０の処理結果を出力するものであり、液晶ディスプレイやタッチパネル式ディスプレイなどの表示出力用の表示装置、スピーカなどの音声出力用の音声装置、又は印刷出力用の印刷装置などで実現してもよいし、これらの装置を併用して実現してもよい。
【００２４】
制御部２０は、ＮＡ１０の各部を制御するものであり、音声認識部２１と、検索要求部２５と、取得部２７と、状況認識部２９と、出力制御部３３とを、含む。音声認識部２１、検索要求部２５、取得部２７、状況認識部２９、及び出力制御部３３は、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
【００２５】
音声認識部２１は、音声入力部１１から入力された音声を認識して音声認識結果を得る。図２は、本実施形態の音声認識部２１の構成の一例を示すブロック図である。図２に示すように、音声認識部２１は、音響分析部５１と、変換部５３と、判定部５５と、抽出部５７とを、含む。
【００２６】
音響分析部５１は、音声入力部１１から入力された音声を解析し、特徴量を抽出する。変換部５３は、音響分析部５１により抽出された特徴量を、記憶部１７に記憶されている音声認識用の辞書データなどを用いて、テキスト（文字列）に変換する。判定部５５は、自然言語処理技術などを用いて、変換部５３により変換されたテキストが疑問系（疑問文）であるか否かを判定する。抽出部５７は、判定部５５により疑問系であると判定された場合、疑問の対象となっているキーワードを抽出する。
【００２７】
音声認識手法の詳細については、例えば、前述した特許文献１、特開２００４−４５５９１号公報、及び特開２００８−２８１９０１号公報などに開示されている公知の手法を用いることができるため、ここでは、詳細な説明は省略する。
【００２８】
検索要求部２５は、音声認識部２１で認識された音声（音声認識部２１の音声認識結果）に基づいて、情報の検索を要求する。具体的には、検索要求部２５は、音声認識部２１の音声認識結果が疑問系である場合、検索サーバ１０１に情報の検索を要求する。
【００２９】
例えば、ユーザＵ１及びユーザＵ２が歴史の話をしており、ユーザＵ１が「関が原の戦いは何年にあった？」とユーザＵ２に質問したとする。そして、判定部５５により疑問系であると判定され、抽出部５７により疑問の対象となっているキーワードとして「関が原の戦い」及び「年」が抽出されたとする。この場合、検索要求部２５は、抽出されたキーワードである「関が原の戦い」及び「年」を検索クエリとし、検索サーバ１０１にウェブ上での検索を要求する。
【００３０】
取得部２７は、情報の検索結果を取得する。具体的には、取得部２７は、検索サーバ１０１から情報の検索結果を取得する。例えば、検索サーバ１０１により「関が原の戦い」及び「年」を検索クエリとする検索が行われた場合、取得部２７は、検索結果として「１６００年」を取得し、応答文を生成する。
【００３１】
状況認識部２９は、ユーザＵ１やユーザＵ２などの状況を認識してユーザ状況認識結果を得る。なお、状況認識部２９は、逐次、ユーザＵ１やユーザＵ２などの状況を認識する。ここで、ユーザ状況認識結果は、ユーザＵ１やユーザＵ２などの目配せの有無、ユーザＵ１やユーザＵ２などが首を傾けているか否か、並びにユーザＵ１及びユーザＵ２が沈黙しているか否かの少なくともいずれかなどが該当する。
【００３２】
目配せの有無や首を傾けているか否かは、撮像部１６により撮像された画像を解析することで判別できる。例えば、状況認識部２９は、撮像部１６により撮像された画像を解析し、ユーザＵ１やユーザＵ２などの視線が正面に向けられたか否かを判定することで、目配せの有無を判断できる。また例えば、状況認識部２９は、撮像部１６により撮像された画像を解析し、ユーザＵ１やユーザＵ２の頭部の傾きがある所定の角度を超えたかを判定することで、首を傾けているか否かを判断できる。
【００３３】
沈黙しているか否かは、音声入力部１１に入力される音声の有無から判別できる。例えば、状況認識部２９は、音声認識部２１（判定部５５）により疑問系と判定された音声が音声入力部１１に入力されてからの経過時間を監視し、所定時間内に次の音声が入力されたか否かを判定することにより、沈黙しているか否かを判断できる。
【００３４】
出力制御部３３は、状況認識部２９で認識されたユーザの状況（状況認識部２９のユーザ状況認識結果）に基づいて、取得部２７により取得された検索結果を出力部１９に出力させるタイミングであるか否かを判定し、出力させるタイミングである場合、当該検索結果を出力部１９に出力させる。なお、出力制御部３３は、逐次、ユーザ状況認識結果を用いて検索結果を出力部１９に出力させるタイミングであるか否かを判定する。そして出力制御部３３は、一定期間内に検索結果を出力部１９に出力させるタイミングであると判定しなかった場合、検索結果を出力部１９に出力させない。以降の説明では、「出力部１９に出力させるタイミング」を「出力タイミング」として説明する。
【００３５】
例えば、出力制御部３３は、ユーザ状況認識結果が、目配せ有りを示していたり、首を傾けていることを示していたり、沈黙していることを示していたりする場合、取得部２７により生成された応答文（検索結果）を出力部１９に出力させる。
【００３６】
出力制御部３３は、例えば、出力部１９に音声出力を行わせる場合、取得部２７により生成された応答文（検索結果）を音声合成して音声に変換し、出力部１９に音声出力させる。出力制御部３３は、また例えば、出力部１９に音声出力を行わせる場合、取得部２７により生成された応答文（検索結果）を描画データに変換し、出力部１９に画面出力させる。
【００３７】
なお、ＮＡ１０は、上述した各部の全てを必須の構成とする必要はなく、その一部を省略した構成としてもよい。
【００３８】
次に、本実施形態の処理システムの動作について説明する。
【００３９】
図３は、本実施形態の処理システム１で実行される処理の一例を示すフローチャートである。
【００４０】
まず、音声認識部２１は、音声入力部１１から入力されたユーザＵ１やユーザＵ２などの音声を認識して音声認識結果を得る（ステップＳ１０１）。
【００４１】
続いて、音声認識部２１は、音声認識結果が疑問系であるか否かを判定する（ステップＳ１０３）。なお、音声認識結果が疑問系でない場合（ステップＳ１０３でＮｏ）、ＮＡ１０による応答出力は行われないため、ステップＳ１０１へ戻る。
【００４２】
音声認識結果が疑問系である場合（ステップＳ１０３でＹｅｓ）、検索要求部２５は、音声認識結果に基づく検索クエリで、検索サーバ１０１にウェブ上での検索を要求する（ステップＳ１０４）。
【００４３】
続いて、検索サーバ１０１は、ＮＡ１０から検索クエリを受信し、受信した検索クエリに従ってＷｅｂ上で公開されている情報を検索し、検索結果をＮＡ１０に送信する（ステップＳ１０５）。
【００４４】
続いて、取得部２７は、検索サーバ１０１から情報の検索結果を取得する（ステップＳ１０７）。
【００４５】
続いて、状況認識部２９は、ユーザＵ１やユーザＵ２などの状況を逐次認識してユーザ状況認識結果を得、出力制御部３３は、状況認識部２９により得られたユーザ状況認識結果を用いて、取得部２７により取得された検索結果の出力タイミングであるか否かを判定する（ステップＳ１０９）。
【００４６】
状況認識部２９及び出力制御部３３は、出力タイミングと判定されるまで、ステップＳ１０９の処理を繰り返し（ステップＳ１０９でＮｏ）、出力タイミングと判定されると（ステップＳ１０９でＹｅｓ）、検索結果を出力部１９に出力させる（ステップＳ１１１）。これにより、ＮＡ１０による応答が望まれたタイミングでの出力が可能となり、対話の促進効果も期待できる。
【００４７】
なお、状況認識部２９及び出力制御部３３は、一定期間内に検索結果の出力タイミングであると判定されなかった場合、検索結果を出力部１９に出力させずに、処理を終了する。これにより、ＮＡ１０による応答が望まれていない場合には、応答を行わず、対話の妨げになることを回避することが可能となる。
【００４８】
以上のように本実施形態では、ユーザ状況認識結果を用いて出力タイミングであるか否かを判定し、出力タイミングであれば出力を行うので、より自然な応答をＮＡ１０に行わせることができる。
【００４９】
特に本実施形態によれば、複数ユーザ間で対話が行われていて疑問が生じた場合に、他のユーザが応答を行った場合には、ＮＡ１０による応答を行わず、他のユーザも応答を行わなかった場合には、ＮＡ１０による応答を行うことができるため、ユーザ同士の対話を阻害せず、より自然な応答をＮＡ１０に行わせることができる。
【００５０】
（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。
【００５１】
（変形例１）
上記実施形態では、一般的なＷｅｂ検索の検索結果を応答内容としたが、ユーザＵ１やユーザＵ２の移動履歴の検索結果を応答内容としてもよい。例えば、ＧＰＳ受信部１３により受信されたＧＰＳ衛星からの電波によって認識されたユーザＵ１やユーザＵ２の位置情報をＷｅｂ上でストレージ機能を提供するクラウド上に履歴しておく。そして、過去に行った場所を問われた場合に、クラウド上の移動履歴を検索して当該場所の情報を取得し、出力タイミングで出力するようにしてもよい。このようにすれば、ユーザに依存する疑問に対しても応答することが可能となる。
【００５２】
（変形例２）
上記実施形態において、出力タイミングだけでなく出力方法を考慮してもよい。具体的には、出力制御部３３は、出力部１９が表示出力及び音声出力など複数態様での出力が可能な場合には、いずれの態様で出力するかを判定し、判定した態様でパブリック情報の絞り込み結果を出力するようにしてもよい。例えば、出力制御部３３は、ＧＰＳ受信部１３により受信されたＧＰＳ衛星からの電波によって認識されたユーザＵ１やユーザＵ２の位置情報から公共の場であると判定した場合には、音声出力ではなく、表示出力としてもよい。
【００５３】
（ハードウェア構成）
本実施形態及び変形例のＮＡ１０のハードウェア構成の一例について説明する。本実施形態及び変形例のＮＡ１０は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、マイクロフォンなどの音声入力装置と、通信インタフェースなどの通信装置と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５４】
本実施形態及び変形例のＮＡ１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【００５５】
また、本実施形態及び変形例のＮＡ１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態及び変形例のＮＡ１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、本実施形態及び変形例のＮＡ１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【００５６】
本実施形態及び変形例のＮＡ１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【符号の説明】
【００５７】
１  処理システム
１０  ＮＡ（ネットワークエージェント）
１１  音声入力部
１３  ＧＰＳ受信部
１５  通信部
１６  撮像部
１７  記憶部
１９  出力部
２０  制御部
２１  音声認識部
２５  検索要求部
２７  取得部
２９  状況認識部
３３  出力制御部
５１  音響分析部
５３  変換部
５５  判定部
５７  抽出部
１０１  検索サーバ
１０７  インターネット
【先行技術文献】
【特許文献】
【００５８】
【特許文献１】特開２００７−１２１５７７号公報
【図１】
2013238986.tif 000003
【図２】
2013238986.tif 000004
【図３】
2013238986.tif 000005