(57)【要約】  音声処理装置は、所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部（３０）と、受付部（３０）によって受け付けられた契機に関する情報に応じて、所定時間長の音声のうち、所定の機能の実行に用いられる音声を判定する判定部（５１）とを有する。
2020003851.tif 000002
【特許請求の範囲】
【請求項１】
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部と、
前記受付部によって受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する判定部と
を備える音声処理装置。
【請求項２】
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定する
請求項１に記載の音声処理装置。
【請求項３】
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも後の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定する
請求項１に記載の音声処理装置。
【請求項４】
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声と当該契機よりも後の時点に発せられた音声とを組み合わせた音声を、前記所定の機能の実行に用いられる音声と判定する
請求項１に記載の音声処理装置。
【請求項５】
前記受付部は、
前記契機に関する情報として、前記所定の機能を起動させるための契機となる音声である起動ワードに関する情報を受け付ける
請求項１に記載の音声処理装置。
【請求項６】
前記判定部は、
前記起動ワードに予め設定された属性に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
請求項５に記載の音声処理装置。
【請求項７】
前記判定部は、
前記起動ワードと当該起動ワードの前後に検出される音声との組み合わせごとに対応付けられた属性に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
請求項５に記載の音声処理装置。
【請求項８】
前記判定部は、
前記属性に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定した場合、当該所定の機能が実行された場合には、当該起動ワードに対応するセッションを終了させる
請求項７に記載の音声処理装置。
【請求項９】
前記受付部は、
前記所定時間長の音声のうち、ユーザが発した発話部分を抽出し、抽出した発話部分を受け付ける
請求項１に記載の音声処理装置。
【請求項１０】
前記受付部は、
前記抽出した発話部分とともに、前記所定の機能を起動させるための契機となる音声である起動ワードを受け付け、
前記判定部は、
前記発話部分のうち、前記起動ワードを発したユーザと同一のユーザの発話部分を、前記所定の機能の実行に用いられる音声と判定する
請求項９に記載の音声処理装置。
【請求項１１】
前記受付部は、
前記抽出した発話部分とともに、前記所定の機能を起動させるための契機となる音声である起動ワードを受け付け、
前記判定部は、
前記発話部分のうち、前記起動ワードを発したユーザと同一のユーザの発話部分、及び、予め登録された所定ユーザの発話部分を、前記所定の機能の実行に用いられる音声と判定する
請求項９に記載の音声処理装置。
【請求項１２】
前記受付部は、
前記契機に関する情報として、ユーザを撮像した画像に対する画像認識を行うことにより検出される、当該ユーザの視線の注視に関する情報を受け付ける
請求項１に記載の音声処理装置。
【請求項１３】
前記受付部は、
前記契機に関する情報として、ユーザの所定の動作もしくはユーザとの距離を感知した情報を受け付ける
請求項１に記載の音声処理装置。
【請求項１４】
コンピュータが、
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付け、
受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
音声処理方法。
【請求項１５】
コンピュータを、
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部と、
前記受付部によって受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する判定部と
として機能させるための音声処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
【請求項１６】
音声を集音するとともに、集音した音声を記憶部に格納する集音部と、
前記音声に応じた所定の機能を起動させるための契機を検出する検出部と、
前記検出部によって契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定する判定部と、
前記判定部によって前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する送信部と
を備える音声処理装置。
【請求項１７】
コンピュータが、
音声を集音するとともに、集音した音声を記憶部に格納し、
前記音声に応じた所定の機能を起動させるための契機を検出し、
前記契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定し、
前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する
音声処理方法。
【請求項１８】
コンピュータを、
音声を集音するとともに、集音した音声を記憶部に格納する集音部と、
前記音声に応じた所定の機能を起動させるための契機を検出する検出部と、
前記検出部によって契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定する判定部と、
前記判定部によって前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する送信部と
として機能させるための音声処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声処理装置、音声処理方法及び記録媒体に関する。詳しくは、ユーザから受け付けた発話の音声認識処理に関する。
【背景技術】
【０００２】
スマートフォンやスマートスピーカーの普及に伴い、ユーザから受け付けた発話に応答するための音声認識技術が広く利用されている。このような音声認識技術では、音声認識を開始する契機となる起動ワードが予め設定されており、ユーザが起動ワードを発したと判定された場合に、音声認識が開始される。【０００３】
音声認識に関する技術として、起動ワードの発話によってユーザ体験を損なわないように、ユーザの動作に応じて発話する起動ワードを動的に設定する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２１８８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術には、改善の余地がある。例えば、起動ワードを用いて音声認識処理を行う場合、音声認識を制御する機器に対してユーザが話しかけるときには、最初に起動ワードを言うことが前提とされる。このため、例えばユーザが起動ワードを言い忘れて何らかの発話を入力した場合には音声認識が開始されておらず、ユーザは、起動ワードと発話の内容を再度言いなおさなければならない。このことは、ユーザに無駄な手間を掛けさせることになり、ユーザビリティの低下につながりうる。【０００６】
そこで、本開示では、音声認識に関するユーザビリティを向上させることができる音声処理装置、音声処理方法及び記録媒体を提案する。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本開示に係る一形態の音声処理装置は、所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部と、前記受付部によって受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する判定部とを具備する。
【発明の効果】
【０００８】
本開示に係る音声処理装置、音声処理方法及び記録媒体によれば、音声認識に関するユーザビリティを向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の第１の実施形態に係る情報処理の概要を示す図である。
【図２】本開示の第１の実施形態に係る発話抽出処理を説明するための図である。
【図３】本開示の第１の実施形態に係るスマートスピーカーの構成例を示す図である。
【図４】本開示の第１の実施形態に係る発話データの一例を示す図である。
【図５】本開示の第１の実施形態に係る組み合わせデータの一例を示す図である。
【図６】本開示の第１の実施形態に係る起動ワードデータの一例を示す図である。
【図７】本開示の第１の実施形態に係る対話処理の一例を示す図（１）である。
【図８】本開示の第１の実施形態に係る対話処理の一例を示す図（２）である。
【図９】本開示の第１の実施形態に係る対話処理の一例を示す図（３）である。
【図１０】本開示の第１の実施形態に係る対話処理の一例を示す図（４）である。
【図１１】本開示の第１の実施形態に係る対話処理の一例を示す図（５）である。
【図１２】本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。
【図１３】本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。
【図１４】本開示の第２の実施形態に係る音声処理システムの構成例を示す図である。
【図１５】本開示の第３の実施形態に係る音声処理システムの構成例を示す図である。
【図１６】スマートスピーカーの機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【００１１】
（１．第１の実施形態）
［１−１．第１の実施形態に係る情報処理の概要］
図１は、本開示の第１の実施形態に係る情報処理の概要を示す図である。本開示の第１の実施形態に係る情報処理は、図１に示す音声処理システム１によって実行される。図１に示すように、音声処理システム１は、スマートスピーカー１０を含む。
【００１２】
スマートスピーカー１０は、本開示に係る音声処理装置の一例である。スマートスピーカー１０は、ユーザとの対話を行う機器であり、音声認識や応答等の種々の情報処理を行う。なお、スマートスピーカー１０は、ネットワークによって接続されたサーバ装置と連携して本開示に係る音声処理を行ってもよい。この場合には、スマートスピーカー１０は、ユーザの発話を集音する処理や、集音した発話をサーバ装置に送信する処理や、サーバ装置から送信された回答を出力する処理といった、ユーザとの対話処理を主に実行するインターフェイスとして機能する。かかる構成によって本開示の音声処理を行う例については、第２の実施形態以降で詳述する。第１の実施形態では、本開示に係る音声処理装置がスマートスピーカー１０である例を示すが、音声処理装置は、スマートフォンやタブレット端末等であってもよい。この場合、スマートフォンやタブレット端末は、スマートスピーカー１０と同様の機能を有するプログラム（アプリケーション）を実行することによって、本開示に係る音声処理機能を発揮する。また、音声処理装置（すなわち本開示に係る音声処理機能）は、スマートフォンやタブレット端末以外にも、時計型端末や眼鏡型端末などのウェアラブルデバイス（wearable  device）によって実現されてもよい。また、音声処理装置は、情報処理機能を有する種々のスマート機器により実現されてもよい。例えば、音声処理装置は、テレビやエアコン、冷蔵庫等のスマート家電や、自動車などのスマートビークル（Smart  vehicle）や、ドローン（drone）、家庭用ロボット等であってもよい。
【００１３】
図１の例では、スマートスピーカー１０は、スマートスピーカー１０を利用するユーザの一例であるユーザＵ０１が居住する自宅に設置されるものとする。なお、以下では、ユーザＵ０１等を区別する必要のない場合、単に「ユーザ」と総称する。第１の実施形態において、スマートスピーカー１０は、集音した音声に対する応答処理を実行する。例えば、スマートスピーカー１０は、ユーザＵ０１が発した質問を認識し、質問に対する回答を音声出力する。具体的には、スマートスピーカー１０は、ユーザＵ０１が発した質問に対する応答を生成したり、ユーザＵ０１がリクエストした曲を検索し、検索した音声をスマートスピーカー１０で出力させるための制御処理を実行したりする。
【００１４】
なお、スマートスピーカー１０が実行する音声認識処理や、音声応答処理等については、種々の既知の技術が利用されてもよい。また、スマートスピーカー１０は、例えば、音声を集音するのみならず、その他の各種情報を取得するための各種センサを有していてもよい。例えば、スマートスピーカー１０は、マイクロフォンの他に、空間上の情報を取得するためのカメラや、照度を検知する照度センサや、傾きを検知するジャイロセンサや、物体を検知する赤外線センサ等を有していてもよい。
【００１５】
ところで、スマートスピーカー１０に上記のような音声認識及び応答処理を行わせる場合、ユーザＵ０１は、機能を実行させるための何らかの契機を与えることを要する。例えば、ユーザＵ０１は、依頼や質問を発話する前に、スマートスピーカー１０が備える対話機能（以下、「対話システム」と称する）を起動させるための特定の言葉（以下、「起動ワード」と称する）を発したり、スマートスピーカー１０に備えられたカメラを注視したりするなど、何らかの契機を与える必要がある。スマートスピーカー１０は、ユーザが起動ワードを発した後に、ユーザから質問を受け付けると、質問に対する回答を音声で出力する。このように、スマートスピーカー１０は、起動ワードを認識するまでは対話システムを起動することを要しないため、処理負荷を軽減することができる。また、ユーザＵ０１は、応答を欲していないときにスマートスピーカー１０から不要な回答が出力されるような事態を防止することができる。
【００１６】
しかしながら、上記の従来処理がユーザビリティを低下させる場合もありうる。例えば、ユーザＵ０１は、スマートスピーカー１０に何らかの依頼を行う場合、それまで周囲の人間と続けていた会話を中断して起動ワードを発話し、さらにその後に質問を行うという手順を踏まなければならない。また、ユーザＵ０１は、起動ワードを言い忘れていた場合には、起動ワードと依頼文全体を再度言いなおさなければならない。このように、従来処理では、柔軟に音声応答機能を利用することができず、ユーザビリティが低下するおそれがある。
【００１７】
そこで、本開示に係るスマートスピーカー１０は、以下に説明する情報処理によって、従来技術の課題を解決する。具体的には、スマートスピーカー１０は、起動ワードに関する情報（例えば、起動ワードに予め設定された属性）に基づいて、ある時間長の音声のうち機能の実行に用いられる音声を判定する。一例として、スマートスピーカー１０は、ユーザＵ０１が依頼発話や質問をした後に起動ワードを発話した場合に、その起動ワードが「起動ワードよりも前に発せられた音声を用いて応答処理を行う」という属性を有するか否かを判定する。そして、スマートスピーカー１０は、起動ワードが「起動ワードよりも前に発せられた音声を用いて応答処理を行う」という属性を有すると判定した場合、起動ワードの前の時点でユーザが発していた音声を応答処理に利用する音声であると判定する。これにより、スマートスピーカー１０は、起動ワードの前の時点にユーザが発した音声に遡って質問や依頼に対応するための応答を生成することができる。また、ユーザＵ０１は、起動ワードを言い忘れていた場合であっても、起動ワードを言い直す必要がなくなるため、ストレスなくスマートスピーカー１０による応答処理を利用することができる。以下、図１を用いて、本開示に係る音声処理の概要を流れに沿って説明する。
【００１８】
図１に示すように、スマートスピーカー１０は、ユーザＵ０１の日常的な会話を集音する。このとき、スマートスピーカー１０は、所定の時間長だけ（例えば１分間など）、集音した音声を一時的に記憶する。すなわち、スマートスピーカー１０は、集音した音声をバッファリング（buffering）することで、集音した音声の蓄積と消去とを繰り返す。
【００１９】
このとき、スマートスピーカー１０は、集音した音声の中から発話を検出する処理を行ってもよい。この点について、図２を用いて説明する。図２は、本開示の第１の実施形態に係る発話抽出処理を説明するための図である。スマートスピーカー１０は、図２に示すように、応答処理等の機能の実行において有効と想定される音声（例えば、ユーザの発話）のみを記録することで、音声をバッファする記憶領域（いわゆるバッファメモリ）を効率的に使用することができる。
【００２０】
例えば、スマートスピーカー１０は、音声信号が一定のレベルを越える振幅について、零交差数が一定数を越えたときに発話区間の始端と判定し、また、値が一定値以下になったときに終端と判定することで、発話区間を抽出する。そして、スマートスピーカー１０は、発話区間のみを抽出したうえで、無音区間を除いた音声をバッファする。
【００２１】
図２に示す例では、スマートスピーカー１０は、始端時間ｔｓ１を検出し、その後、終端時間ｔｅ１を検出することで、発話音声１を抽出する。同様に、スマートスピーカー１０は、始端時間ｔｓ２を検出し、その後、終端時間ｔｅ２を検出することで、発話音声２を抽出する。また、スマートスピーカー１０は、始端時間ｔｓ３を検出し、その後、終端時間ｔｅ３を検出することで、発話音声３を抽出する。そして、スマートスピーカー１０は、発話音声１の前の無音区間、発話音声１と発話音声２との間の無音区間、発話音声２と発話音声３との間の無音区間を消去したうえで、発話音声１と発話音声２と発話音声３とをバッファリングする。これにより、スマートスピーカー１０は、バッファメモリを効率的に活用することができる。
【００２２】
このとき、スマートスピーカー１０は、既知の技術を利用し、発話したユーザを識別する識別情報等を発話と対応付けて記憶してもよい。スマートスピーカー１０は、バッファメモリの空き容量が所定の閾値より少なくなった場合には、古い発話を消去して空き容量を確保し、新たな音声を保存する。なお、スマートスピーカー１０は、発話を抽出する処理を行わず、集音した音声をそのままバッファリングしてもよい。
【００２３】
図１の例では、スマートスピーカー１０は、ユーザＵ０１の発話のうち、「雨が降りそうだ」という音声Ａ０１と、「天気おしえて」という音声Ａ０２とをバッファリングするものとする。
【００２４】
さらに、スマートスピーカー１０は、音声のバッファリングを継続しながら、音声に応じた所定の機能を起動させるための契機を検出する処理を行う。具体的には、スマートスピーカー１０は、集音した音声に起動ワードが含まれるか否かを検出する。なお、図１の例では、スマートスピーカー１０に設定された起動ワードが「コンピュータ」であるものとする。
【００２５】
スマートスピーカー１０は、「よろしく、コンピュータ」という音声Ａ０３という音声を集音した場合に、音声Ａ０３に含まれる「コンピュータ」を起動ワードとして検出する。そして、スマートスピーカー１０は、起動ワードを検出したことを契機として、所定の機能（図１の例では、ユーザＵ０１の対話に対する応答を出力するといった、いわゆる対話処理機能）を起動する。さらに、スマートスピーカー１０は、起動ワードを検出した場合に、起動ワードに応じて応答に用いる発話を判定して、当該発話に対する応答を生成する。すなわち、スマートスピーカー１０は、受け付けた音声及び契機に関する情報に応じて対話処理を行う。
【００２６】
具体的には、スマートスピーカー１０は、ユーザＵ０１が発した起動ワード、もしくは、起動ワードと起動ワードの前後に発せられた音声との組み合わせに応じて設定される属性を判定する。本開示に係る起動ワードの属性とは、「起動ワードを検出した場合に、その起動ワードよりも前の時点で発せられた音声を利用して処理を行う」か、あるいは、「起動ワードを検出した場合に、その起動ワードよりも後に発せられた音声を利用して処理を行う」かといった、処理に用いられる発話のタイミングの場合分けの設定情報を意味する。例えば、ユーザＵ０１が発した起動ワードが、「起動ワードを検出した場合に、その起動ワードよりも前の時点で発せられた音声を利用して処理を行う」という属性を有する場合、スマートスピーカー１０は、起動ワード以前に発せられた音声を応答処理に用いると判定する。
【００２７】
図１の例では、「よろしく」という音声と、「コンピュータ」という起動ワードとの組み合わせには、「起動ワードを検出した場合に、その起動ワードよりも前の時点で発せられた音声を利用して処理を行う」といった属性（以下、この属性を「前音声」と称する）が設定されているものとする。すなわち、スマートスピーカー１０は、「よろしく、コンピュータ」という音声Ａ０３を認識した場合、音声Ａ０３より前の時点の発話を応答処理に用いると判定する。具体的には、スマートスピーカー１０は、音声Ａ０３以前にバッファされた音声である音声Ａ０１や音声Ａ０２を対話処理に用いると判定する。すなわち、スマートスピーカー１０は、音声Ａ０１や音声Ａ０２に対する応答を生成し、ユーザに応答する。
【００２８】
図１の例では、スマートスピーカー１０は、音声Ａ０１や音声Ａ０２に対する意味理解処理の結果、ユーザＵ０１が天気を知ることを要望している、といった状況を推定する。そして、スマートスピーカー１０は、現在地の位置情報等を参照するとともに、天気情報をウェブ検索する等の処理を行い、応答を生成する。具体的には、スマートスピーカー１０は、「東京は、午前中くもり、午後から雨が降るでしょう」といった応答音声Ｒ０１を生成し、出力する。なお、スマートスピーカー１０は、応答生成のための情報が不足する場合には、適宜、不足する情報を補うための応答（例えば、「どの場所のいつの日時の天気を調べますか？」等）を行ってもよい。
【００２９】
このように、第１の実施形態に係るスマートスピーカー１０は、バッファされた所定時間長の音声と、音声に応じた所定の機能を起動させるための契機（起動ワード等）に関する情報とを受け付ける。そして、スマートスピーカー１０は、受け付けた契機に関する情報に応じて、所定時間長の音声のうち、所定の機能の実行に用いられる音声を判定する。例えば、スマートスピーカー１０は、契機の属性に応じて、契機が認識された時点よりも前に集音された音声を、所定の機能の実行に用いられる音声と判定する。そして、スマートスピーカー１０は、判定した音声に基づいて、所定の機能の実行を制御する。例えば、スマートスピーカー１０は、契機が検出された時点よりも前に集音された音声に応じた所定の機能（図１の例では、天気を検索する検索機能や、検索した情報を出力する出力機能）の実行を制御する。
【００３０】
上記のように、スマートスピーカー１０は、起動ワード後の音声に対する応答を行うのみならず、起動ワードによって対話システムを起動した時点で、起動ワードよりも前の音声に対応した応答を即座に行うといった、種々の状況に応じた柔軟な応答を行うことができる。言い換えれば、スマートスピーカー１０は、起動ワードが検出された後のユーザＵ０１等からの音声入力を必要とせず、バッファされた音声を遡って応答処理を行うことができる。なお、詳細は後述するが、スマートスピーカー１０は、起動ワードが検出される前の音声と、起動ワードが検出された後の音声とを組み合わせて応答を生成することもできる。これにより、スマートスピーカー１０は、ユーザＵ０１等が会話の中で発した何気ない質問等について、起動ワードを発した後に言い直しをさせずとも、適切な応答を行うことができるため、対話処理に関するユーザビリティを向上させることができる。
【００３１】
［１−２．第１の実施形態に係る音声処理装置の構成］
次に、第１の実施形態に係る音声処理を実行する音声処理装置の一例であるスマートスピーカー１０の構成について説明する。図３は、本開示の第１の実施形態に係るスマートスピーカー１０の構成例を示す図である。
【００３２】
図３に示すように、スマートスピーカー１０は、受付部３０と、対話処理部５０といった各処理部を有する。受付部３０は、集音部３１と、発話抽出部３２と、検出部３３とを含む。対話処理部５０は、判定部５１と、発話認識部５２と、意味理解部５３と、対話管理部５４と、応答生成部５５とを含む。各処理部は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、スマートスピーカー１０内部に記憶されたプログラム（例えば、本開示に係る記録媒体に記録された音声処理プログラム）がＲＡＭ（Random  Access  Memory）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００３３】
受付部３０は、所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機とを受け付ける。所定時間長の音声とは、例えば、音声バッファ部４０に格納された音声や、起動ワードの検出後に集音されるユーザの発話等である。また、所定の機能とは、スマートスピーカー１０が実行する種々の情報処理である。具体的には、所定の機能とは、スマートスピーカー１０によるユーザとの対話処理（対話システム）の起動や実行、停止等である。また、所定の機能とは、ユーザへの応答を生成する処理に伴う各種情報処理（例えば、回答の内容を検索するためのウェブ検索処理や、ユーザが要求した曲を検索し、検索した曲をダウンロードする処理等）を実現するための種々の機能を含む。受付部３０の処理は、集音部３１と、発話抽出部３２と、検出部３３との各処理部によって実行される。
【００３４】
集音部３１は、スマートスピーカー１０が備えるセンサ２０を制御することにより、音声を集音する。センサ２０は、例えばマイクロフォンである。なお、センサ２０には、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する機能が含まれてもよい。すなわち、センサ２０は、ユーザや周辺環境を撮像するカメラや、ユーザの存在を感知する赤外線センサ等を含んでもよい。
【００３５】
また、集音部３１は、音声を集音するとともに、集音した音声を記憶部に格納する。具体的には、集音部３１は、記憶部の一例である音声バッファ部４０に、集音した音声を一時的に格納する。
【００３６】
集音部３１は、音声バッファ部４０に格納する音声の情報量について、予め設定を受け付けていてもよい。例えば、集音部３１は、ユーザから、どのくらいの時間の音声をバッファとして格納しておくかといった設定を受け付ける。そして、集音部３１は、音声バッファ部４０に格納する音声の情報量の設定を受け付け、受け付けた設定の範囲で集音した音声を音声バッファ部４０に格納する。これにより、集音部３１は、ユーザが所望する記憶容量の範囲で音声のバッファを行うことができる。
【００３７】
また、集音部３１は、音声バッファ部４０に格納した音声の削除要求を受け付けた場合には、音声バッファ部４０に格納した音声を消去するようにしてもよい。例えば、ユーザは、プライバシーの観点から、過去の音声がスマートスピーカー１０内に格納されることを回避したい場合がある。この場合、スマートスピーカー１０は、バッファ音声の消去に関する操作をユーザから受けたのち、バッファした音声を消去する。
【００３８】
発話抽出部３２は、所定時間長の音声のうち、ユーザが発した発話部分を抽出する。上述のように、発話抽出部３２は、既知の音声区間検出に係る技術等を用いて、発話部分を抽出する。そして、発話抽出部３２は、抽出した発話データを発話データ４１に格納する。すなわち、受付部３０は、所定の機能の実行に用いる音声として、所定時間長の音声のうち、ユーザが発した発話部分を抽出し、抽出した発話部分を受け付けてもよい。
【００３９】
また、発話抽出部３２は、発話と、発話を行ったユーザを識別する識別情報と対応付けて音声バッファ部４０に格納するようにしてもよい。これにより、後述する判定部５１は、起動ワードを発したユーザと同一のユーザの発話のみを処理に用いたり、起動ワードを発したユーザと異なるユーザの発話を処理に用いないといったりした、ユーザ識別情報を利用した判定処理が可能となる。
【００４０】
ここで、第１の実施形態に係る音声バッファ部４０及び発話データ４１について説明する。音声バッファ部４０は、例えば、ＲＡＭ、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等によって実現される。音声バッファ部４０は、データテーブルとして発話データ４１を有する。
【００４１】
発話データ４１は、音声バッファ部４０にバッファされた音声のうち、その音声がユーザの発話に関する音声であると推定された音声のみを抽出したデータテーブルである。すなわち、受付部３０は、音声を集音するとともに、集音した音声から発話を検出し、検出した発話を音声バッファ部４０内の発話データ４１に格納する。
【００４２】
ここで、図４に、第１の実施形態に係る発話データ４１の一例を示す。図４は、本開示の第１の実施形態に係る発話データ４１の一例を示す図である。図４に示した例では、発話データ４１は、「バッファ設定時間」、「発話情報」、「音声ＩＤ」、「取得日時」、「ユーザＩＤ」、「発話」といった項目を有する。
【００４３】
「バッファ設定時間」は、バッファされる音声の時間長を示す。「発話情報」は、バッファされた音声から抽出された発話の情報を示す。「音声ＩＤ」は、音声（発話）を識別する識別情報を示す。「取得日時」は、音声が取得された日時を示す。「ユーザＩＤ」は、発話したユーザを識別する識別情報を示す。なお、スマートスピーカー１０Ａは、発話したユーザが特定できない場合には、ユーザＩＤの情報を登録しなくてもよい。「発話」は、具体的な発話の内容を示す。なお、図４の例では、説明のため、発話の項目に具体的な文字列が記憶される例を示しているが、発話の項目には、発話に関する音声データや、発話を特定するための時間データ（発話の開始時点と終了時点を示した情報）の態様で情報が記憶されてもよい。
【００４４】
このように、受付部３０は、バッファした音声のうち、発話のみを抽出して記憶してもよい。すなわち、受付部３０は、対話処理の機能に用いる音声として、発話部分のみを抽出した音声を受け付けることができる。これにより、受付部３０は、応答処理に有効と推定される発話のみを処理すれば足りるため、処理負荷を軽減することができる。また、受付部３０は、有限のバッファメモリを有効活用することができる。
【００４５】
図３に戻り、説明を続ける。検出部３３は、音声に応じた所定の機能を起動させるための契機を検出する。具体的には、検出部３３は、契機として、所定時間長の音声に対する音声認識を行い、所定の機能を起動させるための契機となる音声である起動ワードを検出する。受付部３０は、検出部３３によって認識された起動ワードを受け付け、起動ワードが受け付けられた旨を対話処理部５０に送る。
【００４６】
なお、受付部３０は、ユーザの発話部分が抽出されている場合、抽出した発話部分とともに、所定の機能を起動させるための契機となる音声である起動ワードを受け付けてもよい。この場合、後述する判定部５１は、発話部分のうち、起動ワードを発したユーザと同一のユーザの発話部分を所定の機能の実行に用いられる音声と判定してもよい。
【００４７】
例えば、バッファした音声を用いた応答を行う場合、起動ワードを発したユーザ以外の発話が用いられると、実際に起動ワードを発したユーザの意図とは異なる応答がなされる可能性がある。このため、判定部５１は、バッファされた音声のうち、起動ワードを発したユーザと同一のユーザの発話のみを用いて対話処理を実行することで、当該ユーザが所望する適切な応答を生成させることができる。
【００４８】
なお、判定部５１は、起動ワードを発したユーザと必ずしも同一のユーザが発した発話のみを処理に用いると判定することを要しない。すなわち、判定部５１は、発話部分のうち、起動ワードを発したユーザと同一のユーザの発話部分、及び、予め登録された所定ユーザの発話部分を、所定の機能の実行に用いられる音声と判定してもよい。例えば、スマートスピーカー１０のような対話処理を行う機器は、機器が設置される自宅に居住する家族などの複数に対して、ユーザの登録を行う機能を有する場合がある。かかる機能を有する場合、スマートスピーカー１０は、起動ワードと異なるユーザの発話であっても、それが予め登録されたユーザの発話であれば、起動ワードを検出した際に、その前後の発話を用いて対話処理を行ってもよい。
【００４９】
上記のように、受付部３０は、集音部３１と、発話抽出部３２と、検出部３３との各処理部が実行する機能に基づき、所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける。そして、受付部３０は、受け付けた音声及び契機に関する情報を、対話処理部５０に送る。
【００５０】
対話処理部５０は、ユーザとの対話処理を行う機能である対話システムを制御し、ユーザとの対話処理を実行する。対話処理部５０によって制御される対話システムは、例えば、受付部３０が起動ワード等の契機を検出した際に起動され、判定部５１以下の各処理部を制御し、ユーザとの対話処理を実行する。具体的には、対話処理部５０は、判定部５１によって、所定の機能の実行に用いられると判定された音声に基づいて、ユーザへの応答を生成し、生成した応答を出力する処理を制御する。
【００５１】
判定部５１は、受付部３０によって受け付けられた契機に関する情報（例えば、契機に予め設定された属性）に応じて、所定時間長の音声のうち、所定の機能の実行に用いられる音声を判定する。
【００５２】
例えば、判定部５１は、契機の属性に応じて、所定時間長の音声のうち、契機よりも前の時点に発せられた音声を所定の機能の実行に用いられる音声と判定する。あるいは、判定部５１は、契機の属性に応じて、所定時間長の音声のうち、契機よりも後の時点に発せられた音声を所定の機能の実行に用いられる音声と判定してもよい。
【００５３】
また、判定部５１は、契機の属性に応じて、所定時間長の音声のうち、契機よりも前の時点に発せられた音声と契機よりも後の時点に発せられた音声とを組み合わせた音声を、所定の機能の実行に用いられる音声と判定してもよい。
【００５４】
判定部５１は、契機として起動ワードが受け付けられた場合、起動ワードの各々に予め設定された属性に応じて、所定時間長の音声のうち、所定の機能の実行に用いられる音声を判定する。あるいは、判定部５１は、起動ワードと、起動ワードの前後に検出される音声との組み合わせごとに対応付けられた属性に応じて、所定時間長の音声のうち、所定の機能の実行に用いられる音声を判定してもよい。このように、起動ワードの前の音声を処理に用いるか、あるいは、起動ワードの後の音声を処理に用いるかといった、判定処理を行うための設定に関する情報は、例えば、定義情報として予めスマートスピーカー１０に記憶される。
【００５５】
具体的には、上記の定義情報は、スマートスピーカー１０が備える属性情報記憶部６０内に記憶される。図３に示すように、属性情報記憶部６０は、データテーブルとして、組み合わせデータ６１及び起動ワードデータ６２を有する。
【００５６】
ここで、図５に、第１の実施形態に係る組み合わせデータ６１の一例を示す。図５は、本開示の第１の実施形態に係る組み合わせデータ６１の一例を示す図である。組み合わせデータ６１は、起動ワードと組み合わせられる語句と、当該語句が組み合わされた場合に、起動ワードに付与される属性に関する情報を記憶する。図５に示した例では、組み合わせデータ６１は、「属性」、「起動ワード」、「組み合わせ音声」といった項目を有する。
【００５７】
「属性」は、起動ワードと所定の語句が組み合わされた場合に、起動ワードに付与される属性を示す。上述のように、属性とは、「起動ワードを認識した場合に、その起動ワードよりも前の時点で発せられた音声を利用して処理を行う」かなど、処理に用いられる発話のタイミングの場合分けの設定を意味する。例えば、本開示に係る属性には、「起動ワードを認識した場合に、その起動ワードよりも前の時点で発せられた音声を利用して処理を行う」ものである「前音声」といった属性がある。また、属性には、「起動ワードを認識した場合に、その起動ワードよりも後の時点で発せられた音声を利用して処理を行う」ものである「後音声」といった属性がある。また、属性には、処理を行う音声のタイミングを限定しない「指定なし」といった属性がある。なお、属性は、あくまで起動ワードが検出された直後の応答生成処理に用いられる音声を判定するための情報であり、対話処理に用いる音声の条件を継続的に拘束するものではない。例えば、スマートスピーカー１０は、起動ワードの属性が「前音声」であったとしても、起動ワードの検出後に新たに受け付けた音声を用いて対話処理を行ってもよい。
【００５８】
「起動ワード」は、起動ワードとしてスマートスピーカー１０が認識する文字列を示す。なお、図５の例では、説明のために起動ワードを一つのみ示しているが、起動ワードは複数記憶されていてもよい。「組み合わせ音声」は、起動ワードと組み合されることによって、契機（起動ワード）に属性が付与される文字列を示す。
【００５９】
すなわち、図５に示した一例では、起動ワードに「よろしく」といった音声が組み合わされることで、当該起動ワードには、「前音声」の属性が付与されることを示している。これは、「よろしく、コンピュータ」とユーザが発話した場合、ユーザは、その起動ワードよりも前にスマートスピーカー１０に依頼を伝えたと推定されることによる。すなわち、スマートスピーカー１０は、「よろしく、コンピュータ」とユーザが発話した場合、その前の音声を処理に用いることで、ユーザの依頼や要望に適切に回答することができると推定される。
【００６０】
また、起動ワードに「そういえば」といった音声が組み合わされることで、当該起動ワードには、「後音声」の属性が付与されることを示している。これは、「そういえば、コンピュータ」とユーザが発話した場合、ユーザは、その起動ワードよりも後に依頼や要望を発すると推定されることによる。すなわち、スマートスピーカー１０は、「そういえば、コンピュータ」とユーザが発話した場合、その前の音声を処理に用いることを省略し、その後に続く音声に対して処理を行うことで、処理負荷を軽減することができる。また、スマートスピーカー１０は、ユーザの依頼や要望に適切に回答することができる。
【００６１】
次に、第１の実施形態に係る起動ワードデータ６２について説明する。図６は、本開示の第１の実施形態に係る起動ワードデータ６２の一例を示す図である。起動ワードデータ６２は、起動ワード自体に属性が設定される場合の設定情報を記憶する。図６に示した例では、起動ワードデータ６２は、「属性」、「起動ワード」といった項目を有する。
【００６２】
「属性」は、図５に示した同一の項目に対応する。「起動ワード」は、起動ワードとしてスマートスピーカー１０が認識する文字列を示す。
【００６３】
すなわち、図６に示した一例では、「オーバー」という起動ワードには、起動ワード自体に「前音声」の属性が付与されることを示している。これは、「オーバー」という起動ワードをユーザが発話した場合、ユーザは、その起動ワードよりも前にスマートスピーカー１０に依頼を伝えたと推定されることによる。すなわち、スマートスピーカー１０は、「オーバー」とユーザが発話した場合、その前の音声を処理に用いることで、ユーザの依頼や要望に適切に回答することができると推定される。
【００６４】
また、起動ワード「ハロー」には、「後音声」の属性が付与されることを示している。これは、「ハロー」とユーザが発話した場合、ユーザは、その起動ワードよりも後に依頼や要望を発すると推定されることによる。すなわち、スマートスピーカー１０は、「ハロー」とユーザが発話した場合、その前の音声を処理に用いることを省略し、その後に続く音声に対して処理を行うことで、処理負荷を軽減することができる。
【００６５】
図３に戻り、説明を続ける。上記のように、判定部５１は、起動ワード等の属性に応じて、処理に用いる音声を判定する。このとき、判定部５１は、起動ワードの属性に応じて、所定時間長の音声のうち、起動ワードよりも前の時点に発せられた音声を所定の機能の実行に用いられる音声と判定した場合、所定の機能が実行された場合には、起動ワードに対応するセッションを終了させるようにしてもよい。すなわち、判定部５１は、前音声の属性が付与された起動ワードが発せられた後は、対話に関するセッションを即座に終了させる（より正確には、通常よりも早く対話システムを終了させる）ことで、処理負荷を軽減することができる。なお、起動ワードに対応するセッションとは、当該起動ワードを契機として起動された対話システムの一連の処理を意味する。例えば、起動ワードに対応するセッションは、当該起動ワードをスマートスピーカー１０が検出し、その後、所定時間（例えば１分間や５分間等）に渡って対話が途切れた場合に終了する。
【００６６】
発話認識部５２は、判定部５１によって処理に用いると判定された音声（発話）を文字列に変換する。なお、発話認識部５２は、起動ワード認識以前にバッファされた音声と、起動ワード認識後に取得された音声を並列に処理しても良い。
【００６７】
意味理解部５３は、発話認識部５２によって認識された文字列から、ユーザの依頼や質問の内容を解析する。例えば、意味理解部５３は、スマートスピーカー１０が備える辞書データや、外部データベースを参照し、文字列が意味する依頼や質問の内容を解析する。具体的には、意味理解部５３は、文字列から、「ある対象がどのようなものか教えて欲しい」や、「カレンダーアプリに予定を登録して欲しい」や、「特定のアーティストの曲をかけて欲しい」といったユーザの依頼内容を特定する。そして、意味理解部５３は、特定した内容を対話管理部５４に渡す。
【００６８】
なお、意味理解部５３は、文字列からユーザの意図が解析不能であった場合、その旨を応答生成部５５に渡してもよい。例えば、意味理解部５３は、解析の結果、ユーザの発話から推定することのできない情報が含まれている場合、その内容を応答生成部５５に渡す。この場合、応答生成部５５は、不明な情報について、ユーザにもう一度正確に発話してもらうことを要求するような応答を生成してもよい。
【００６９】
対話管理部５４は、意味理解部５３によって理解された意味表現に基づいて対話システムを更新し、対話システムとしての行動を決定する。すなわち、対話管理部５４は、理解された意味表現に対応した種々の行動（例えば、ユーザに回答すべき事象の内容を検索したり、ユーザが依頼した内容に沿った回答を検索したりする行動）を実行する。
【００７０】
応答生成部５５は、対話管理部５４によって実行された行動等に基づいて、ユーザへの応答を生成する。例えば、応答生成部５５は、対話管理部５４によって依頼内容に応じた情報の取得が行われた場合、応答すべき文言等に対応する音声データを生成する。なお、応答生成部５５は、質問や依頼の内容によっては、ユーザの発話に対して「何もしない」という応答を生成することもありうる。応答生成部５５は、生成した応答を出力部７０から出力するよう制御する。
【００７１】
出力部７０は、種々の情報を出力するための機構である。例えば、出力部７０は、スピーカーやディスプレイである。例えば、出力部７０は、応答生成部５５によって生成された音声データを音声出力する。なお、出力部７０がディスプレイである場合、応答生成部５５は、受信した応答をテキストデータとしてディスプレイに表示する制御を行ってもよい。
【００７２】
ここで、判定部５１によって処理に用いられる音声が判定され、判定された音声に基づいて応答が生成される種々のパターンについて、図７乃至図１２を用いて、具体的に例示する。図７乃至図１２では、ユーザとスマートスピーカー１０との間で行われる対話処理の流れを概念的に示す。図７は、本開示の第１の実施形態に係る対話処理の一例を示す図（１）である。図７では、起動ワードと組み合わせ音声の属性が「前音声」である例を示す。
【００７３】
図７に示すように、ユーザＵ０１が「雨が降りそうだ」と発話しても、発話の中に起動ワードが含まれないため、スマートスピーカー１０は、対話システムの停止状態を維持する。一方、スマートスピーカー１０は、発話のバッファリングについては継続する。その後、ユーザＵ０１が発した「どうなの？」と「コンピュータ」を検出した場合に、スマートスピーカー１０は、対話システムを起動して処理を開始する。そして、スマートスピーカー１０は、起動前の複数発話を解析して行動を決定し、応答を生成する。すなわち、図７の例では、スマートスピーカー１０は、「雨が降りそうだ」、「どうなの？」というユーザＵ０１の発話に対する応答を生成する。より具体的には、スマートスピーカー１０は、ウェブ検索を行い、天気予報情報を取得したり、これから雨が降る確率を特定したりする。そして、スマートスピーカー１０は、取得した情報を音声に変換し、ユーザＵ０１に対して出力する。
【００７４】
スマートスピーカー１０は、応答を行ったのち、所定時間は対話システムを起動したまま待機する。すなわち、スマートスピーカー１０は、応答を出力したのちも、所定時間だけは対話システムのセッションを継続し、所定時間が経過した場合に、対話システムのセッションを終了する。セッションが終了した場合、スマートスピーカー１０は、再び起動ワードを検出するまでは、対話システムを起動せず、対話処理を行わない。
【００７５】
なお、スマートスピーカー１０は、セッションを継続する所定時間について、前音声の属性による応答処理を行った場合、他の属性の場合と比較して短い時間を設定してもよい。上述のように、前音声の属性に応答処理では、他の属性の応答処理と比較して、ユーザが次の発話を行う可能性が低いからである。これにより、スマートスピーカー１０は、対話システムを即座に停止することができるため、処理負荷を軽減することができる。
【００７６】
次に、図８を用いて説明する。図８は、本開示の第１の実施形態に係る対話処理の一例を示す図（２）である。図８では、起動ワードの属性が「指定なし」である例を示す。この場合、スマートスピーカー１０は、基本的には起動ワードの後に受け付けた発話に対する応答を行うが、バッファリングされている発話がある場合には、その発話についても利用して応答を生成する。
【００７７】
図８に示すように、ユーザＵ０１は、「雨が降りそうだ」と発話する。図７の例と同様、スマートスピーカー１０は、ユーザＵ０１の発話をバッファリングする。その後、ユーザＵ０１が「コンピュータ」という起動ワードを発した場合、スマートスピーカー１０は、対話システムを起動して処理を開始し、ユーザＵ０１の次の発話を待つ。
【００７８】
そして、スマートスピーカー１０は、ユーザＵ０１から「どうなの？」という発話を受け付ける。ここで、スマートスピーカー１０は、「どうなの？」という発話のみでは応答を生成するために充分な情報が存在しないと判定する。このとき、スマートスピーカー１０は、音声バッファ部４０内にバッファされた発話を検索し、直前のユーザＵ０１の発話を参照する。そして、スマートスピーカー１０は、バッファされた発話のうち、「雨が降りそうだ」という発話を処理に用いると判定する。
【００７９】
すなわち、スマートスピーカー１０は、「雨が降りそうだ」と、「どうなの？」という２つの発話の意味理解を行い、ユーザの要求に対応する応答を生成する。具体的には、スマートスピーカー１０は、「雨が降りそうだ」、「どうなの？」というユーザＵ０１の発話に対する応答である「東京は午前くもり、午後から雨が降るでしょう」という応答を生成し、応答音声を出力する。
【００８０】
このように、スマートスピーカー１０は、起動ワードの属性が「指定なし」である場合、状況に応じて、起動ワードの後の音声を処理に用いたり、起動ワード前後の音声を組み合わせて応答を生成したりすることができる。例えば、スマートスピーカー１０は、起動ワード後に受け付けた発話から、応答を生成することが困難である場合には、バッファされた音声を参照して、応答を生成することを試みる。このように、スマートスピーカー１０は、音声をバッファする処理と、起動ワードの属性を参照する処理を組み合わせることで、様々な状況に対応した柔軟な応答処理を行うことができる。
【００８１】
続いて、図９を用いて説明する。図９は、本開示の第１の実施形態に係る対話処理の一例を示す図（３）である。図９の例では、起動ワードと所定の語句とが組み合わされることにより、例えば予め属性が設定されていない場合であっても、その属性が「前音声」であると判定される例を示す。
【００８２】
図９の例では、ユーザＵ０２が、ユーザＵ０１に対して、「ＸＸのＹＹっていう曲だよ」と発話する。なお、図９の例に置いて、「ＹＹ」は具体的な曲名であり、「ＸＸ」は、「ＹＹ」を歌唱するアーティスト名である。スマートスピーカー１０は、ユーザＵ０２の発話をバッファリングする。その後、ユーザＵ０１が、スマートスピーカー１０に対して、「その曲かけて」「コンピュータ」と発話する。
【００８３】
スマートスピーカー１０は、「コンピュータ」という起動ワードを契機として、対話システムを起動させる。続けて、スマートスピーカー１０は、「その曲かけて」という、起動ワードと組み合わされた語句の認識処理を行い、語句に指示代名詞や指示語が含まれていると判定する。一般に、会話において、「その曲」のように、指示代名詞や指示語が発話に含まれる場合には、その対象が以前の発話において登場していたと推定される。このため、スマートスピーカー１０は、「その曲」のような、指示代名詞や指示語が含まれる語句と、起動ワードとが組み合わされて発話された場合、その起動ワードの属性を「前音声」と判定する。すなわち、スマートスピーカー１０は、対話処理に用いる音声を「起動ワード以前の発話」と判定する。
【００８４】
図９の例では、スマートスピーカー１０は、対話システムの起動前の複数ユーザの発話（すなわち、「コンピュータ」が認識される以前のユーザＵ０１及びユーザＵ０２の発話）を解析し、応答に係る行動を決定する。具体的には、スマートスピーカー１０は、「ＸＸのＹＹっていう曲だよ」と、「その曲かけて」といった発話に基づき、「ＸＸのＹＹ」という曲を検索し、ダウンロードする。スマートスピーカー１０は、曲の再生準備が完了すると、「ＸＸのＹＹをかけます」という応答とともに、当該曲を再生するよう出力する。この後、スマートスピーカー１０は、所定時間の間、対話システムのセッションを継続させ、発話を待つ。例えば、この間にユーザＵ０１から「違う、別の曲だよ」といったフィードバックが得られれば、スマートスピーカー１０は、現時点で再生している曲の再生を停止するなどの処理を行う。また、スマートスピーカー１０は、所定時間の間、新たな発話を受け付けなければ、セッションを終了し、対話システムを停止する。
【００８５】
このように、スマートスピーカー１０は、必ずしも予め設定された属性のみに基づいて処理を行うのではなく、指示語と起動ワードが組み合わされた場合には「前音声」の属性に従って処理を行うなど、一定のルールのもと、対話処理に用いる発話を判定してもよい。これにより、スマートスピーカー１０は、実際の人間同士の会話のように、ユーザの応答に対して自然な応答を行うことができる。
【００８６】
図９で示した例は、様々な事例に応用可能である。例えば、親子の会話において、子供が「Ｘ月Ｙ日は、小学校の運動会だよ」と発話したとする。その発話を受けて、親が、「コンピュータ、それ、カレンダーに登録しておいて」と発話したとする。このとき、スマートスピーカー１０は、親の発話に含まれる「コンピュータ」の検出により対話システムを起動したのち、「それ」という文字列に基づいて、バッファされた音声を参照する。そして、スマートスピーカー１０は、「Ｘ月Ｙ日は、小学校の運動会だよ」と、「カレンダーに登録しておいて」という２つの発話を組み合わせて、「Ｘ月Ｙ日」を「小学校の運動会」と登録する処理（例えば、カレンダーアプリに予定を登録する）を行う。このように、スマートスピーカー１０は、起動ワードの前後の発話を組み合わせることで、適切な応答を行うことができる。
【００８７】
続いて、図１０を用いて説明する。図１０は、本開示の第１の実施形態に係る対話処理の一例を示す図（４）である。図１０の例では、起動ワードと組み合わせ音声の属性が「前音声」である場合に、処理に用いる発話のみでは応答を生成するための情報が不足しているときに発生する処理の一例を示す。
【００８８】
図１０に示すように、ユーザＵ０１は、「明日起こして」という発話ののち、「よろしくコンピュータ」と発話する。スマートスピーカー１０は、「明日起こして」という発話をバッファリングしたのち、「コンピュータ」という起動ワードを契機として対話システムを起動し、対話処理を開始する。
【００８９】
スマートスピーカー１０は、「よろしく」と「コンピュータ」という組み合わせに基づき、起動ワードの属性を「前音声」と判定する。すなわち、スマートスピーカー１０は、処理に用いる音声を、起動ワード以前の音声（図１０の例では、「明日起こして」）と判定する。スマートスピーカー１０は、「明日起こして」という、起動前の発話を解析し、行動を決定する。
【００９０】
ここで、スマートスピーカー１０は、「明日起こして」という発話のみでは、ユーザＵ０１を起こす（例えば、目覚まし用のタイマーをセットする）という行動において、「何時に起こすか」といった情報が不足していると判定する。この場合、スマートスピーカー１０は、「ユーザＵ０１を起こす」という行動を実現するため、当該行動が対象とする時刻をユーザＵ０１に尋ねるための応答を生成する。具体的には、スマートスピーカー１０は、「何時に起こしますか？」といったユーザＵ０１への質問を生成する。その後、スマートスピーカー１０は、ユーザＵ０１から新たに「７時に」といった発話が得られた場合に、その発話を解析し、タイマーをセットする。この場合、スマートスピーカー１０は、行動が完了したと判定し（さらに会話が続く可能性は低いと判定し）、直ちに対話システムを停止してもよい。
【００９１】
続いて、図１１を用いて説明する。図１１は、本開示の第１の実施形態に係る対話処理の一例を示す図（５）である。図１１の例では、図１０で示した例において、起動ワードの前の発話のみで応答を生成するための情報が充足しているときに発生する処理の一例を示す。
【００９２】
図１１に示すように、ユーザＵ０１は、「明日７時に起こして」という発話ののち、「よろしくコンピュータ」と発話する。スマートスピーカー１０は、「明日７時に起こして」という発話をバッファリングしたのち、「コンピュータ」という起動ワードを契機として対話システムを起動し、処理を開始する。
【００９３】
スマートスピーカー１０は、「よろしく」と「コンピュータ」という組み合わせに基づき、起動ワードの属性を「前音声」と判定する。すなわち、スマートスピーカー１０は、処理に用いる音声を、起動ワード以前の音声（図１０の例では、「明日７時に起こして」）と判定する。スマートスピーカー１０は、「明日起こして」という、起動前の発話を解析し、行動を決定する。具体的には、スマートスピーカー１０は、７時にタイマーをセットする。そして、スマートスピーカー１０は、タイマーをセットした旨を示す応答を生成し、ユーザＵ０１に応答する。この場合、スマートスピーカー１０は、行動が完了したと判定し（さらに会話が続く可能性は低いと判定し）、直ちに対話システムを停止してもよい。すなわち、スマートスピーカー１０は、属性が「前音声」であると判定したうえで、起動ワード以前の発話に基づいて対話処理が完結したと推定される場合には、直ちに対話システムを停止させてもよい。これにより、ユーザＵ０１は、スマートスピーカー１０に必要な内容だけを伝え、その後、すぐに停止状態に移行させることができるため、余計な応答を行う手間が省けたり、スマートスピーカー１０の電源を節約したりすることができる。
【００９４】
以上、図７乃至図１１を用いて本開示に係る対話処理の例を示したが、上記はあくまで一例であり、スマートスピーカー１０は、上記で示した以外の状況においても、バッファした音声や、起動ワードの属性を参照することによって、種々の状況に対応した応答を生成することができる。
【００９５】
［１−３．第１の実施形態に係る情報処理の手順］
次に、図１２を用いて、第１の実施形態に係る情報処理の手順について説明する。図１２は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。具体的には、図１２では、第１の実施形態に係るスマートスピーカー１０が、ユーザの発話に対して応答を生成し、生成した応答を出力する処理の流れについて説明する。
【００９６】
図１２に示すように、スマートスピーカー１０は、周囲の音声を集音する（ステップＳ１０１）。また、スマートスピーカー１０は、集音した音声内に発話を抽出したか否かを判定する（ステップＳ１０２）。集音した音声から発話を抽出しない場合（ステップＳ１０２；Ｎｏ）、スマートスピーカー１０は、音声を音声バッファ部４０に格納せず、音声を集音する処理を継続する。
【００９７】
一方、スマートスピーカー１０は、発話を抽出した場合、抽出した発話を記憶部（音声バッファ部４０）に格納する（ステップＳ１０３）。また、スマートスピーカー１０は、発話を抽出した場合、対話システムが起動中であるか否かを判定する（ステップＳ１０４）。
【００９８】
対話システムが起動していない場合（ステップＳ１０４；Ｎｏ）、スマートスピーカー１０は、発話が起動ワードを含むか否かを判定する（ステップＳ１０５）。発話が起動ワードを含む場合（ステップＳ１０５；Ｙｅｓ）、スマートスピーカー１０は、対話システムを起動する（ステップＳ１０６）。一方、発話が起動ワードを含まない場合（ステップＳ１０５；Ｎｏ）、スマートスピーカー１０は、対話システムを起動させず、音声の集音を継続する。
【００９９】
発話を受け付け、かつ、対話システムが起動している場合、スマートスピーカー１０は、起動ワードの属性に応じて、応答に用いる発話を判定する（ステップＳ１０７）。そして、スマートスピーカー１０は、応答に用いると判定された発話に対する意味理解処理を行う（ステップＳ１０８）。
【０１００】
ここで、スマートスピーカー１０は、応答の生成に充分な発話が得られたか否かを判定する（ステップＳ１０９）。応答の生成に充分な発話が得られていない場合（ステップＳ１０９；Ｎｏ）、スマートスピーカー１０は、音声バッファ部４０を参照し、バッファされた未処理の発話があるか否かを判定する（ステップＳ１１０）。
【０１０１】
バッファされた未処理の発話がある場合（ステップＳ１１０；Ｙｅｓ）、スマートスピーカー１０は、音声バッファ部４０を参照し、その発話が所定時間以内の発話であるか否かを判定する（ステップＳ１１１）。発話が所定時間以内の発話である場合（ステップＳ１１１；Ｙｅｓ）、スマートスピーカー１０は、バッファされた発話を応答処理に用いる発話と判定する（ステップＳ１１２）。これは、仮にバッファされた音声があったとしても、所定時間（例えば６０秒など）よりも前の時間にバッファされた音声は、応答処理に有効ではないと想定されることによる。上述のように、スマートスピーカー１０は、発話のみを抽出して音声をバッファするため、バッファ設定時間にかかわらず、所定時間よりもかなり前に集音した発話をバッファしている可能性がある。この場合、かなり前に集音した発話を処理に用いるよりも、ユーザから新たに情報を受け付けた方が、応答処理の効率がよくなると想定される。このため、スマートスピーカー１０は、所定時間よりも前に受け付けた発話を処理に用いず、所定時間以内の発話を用いて処理を行う。
【０１０２】
スマートスピーカー１０は、応答の生成に充分な発話が得られた場合（ステップＳ１０９；Ｙｅｓ）、バッファされた未処理の発話がない場合（ステップＳ１１０；Ｎｏ）、バッファされた発話が所定時間以内の発話でない場合（ステップＳ１１１；Ｎｏ）、発話に基づいて応答を生成する（ステップＳ１１３）。なお、ステップＳ１１３において、バッファされた未処理の発話がない場合や、バッファされた発話が所定時間以内の発話でない場合に生成される応答は、ユーザに新たな情報の入力を求める応答や、ユーザの要求に対して回答を生成することができない旨を伝えるための応答となる場合がある。
【０１０３】
スマートスピーカー１０は、生成した応答を出力する（ステップＳ１１４）。例えば、スマートスピーカー１０は、生成した応答に対応する文字列を音声に変換し、スピーカーから応答内容を再生する。
【０１０４】
次に、図１３を用いて、応答を出力したのちの処理の手順について説明する。図１３は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。
【０１０５】
図１３に示すように、スマートスピーカー１０は、起動ワードの属性が「前音声」であるか否かを判定する（ステップＳ２０１）。起動ワードの属性が「前音声」である場合（ステップＳ２０１；Ｙｅｓ）、スマートスピーカー１０は、次のユーザからの発話を待機する時間である待ち時間をＮに設定する（ステップＳ２０２）。一方、起動ワードの属性が「前音声」でない場合（ステップＳ２０１；Ｎｏ）、スマートスピーカー１０は、次のユーザからの発話を待機する時間である待ち時間をＭに設定する（ステップＳ２０３）。なお、Ｎ及びＭは、任意の時間長（例えば秒数）であり、Ｎ＜Ｍの関係であるものとする。
【０１０６】
続いて、スマートスピーカー１０は、待ち時間が経過したか否かを判定する（ステップＳ２０４）。待ち時間が経過するまでの間（ステップＳ２０４；Ｎｏ）、スマートスピーカー１０は、新たな発話が検出されたか否かを判定する（ステップＳ２０５）。新たな発話が検出された場合（ステップＳ２０５；Ｙｅｓ）、スマートスピーカー１０は、対話システムを維持する（ステップＳ２０６）。一方、新たな発話が検出されない場合（ステップＳ２０５；Ｎｏ）、スマートスピーカー１０は、新たな発話が検出されるまで待機する。また、待ち時間が経過した場合（ステップＳ２０４；Ｙｅｓ）、スマートスピーカー１０は、対話システムを終了する（ステップＳ２０７）。
【０１０７】
例えば、上記ステップＳ２０２において、待ち時間Ｎを極めて低い数値に設定することにより、スマートスピーカー１０は、ユーザからの要求に対する応答が完了すると直ちに対話システムを終了することができる。なお、待ち時間の設定は、ユーザから受け付けてもよいし、スマートスピーカー１０の管理者等によって行われてもよい。
【０１０８】
［１−４．第１の実施形態に係る変形例］
上記第１の実施形態では、スマートスピーカー１０は、契機として、ユーザが発した起動ワードを検出する例を示した。しかし、契機は、起動ワードに限られなくてもよい。
【０１０９】
例えば、スマートスピーカー１０がセンサ２０としてカメラを備える場合、スマートスピーカー１０は、ユーザを撮像した画像に対する画像認識を行い、認識した情報から契機を検出してもよい。一例として、スマートスピーカー１０は、ユーザがスマートスピーカー１０に向けた視線の注視を検出してもよい。この場合、スマートスピーカー１０は、視線検出に係る種々の既知の技術を用いて、ユーザがスマートスピーカー１０を注視しているか否かを判定してもよい。
【０１１０】
そして、スマートスピーカー１０は、ユーザがスマートスピーカー１０を注視していると判定した場合に、ユーザがスマートスピーカー１０による応答を所望していると判断し、対話システムを起動させる。すなわち、スマートスピーカー１０は、ユーザがスマートスピーカー１０に向けた視線の注視を契機として、バッファした音声を読み込んで応答を生成したり、生成した応答を出力したりする処理を行う。このように、スマートスピーカー１０は、ユーザの視線に応じて応答処理を行うことで、ユーザが起動ワードを発する前にその意図を汲んだ処理を行うことができるので、よりユーザビリティを向上させることができる。
【０１１１】
また、スマートスピーカー１０がセンサ２０として赤外線センサ等を備える場合、スマートスピーカー１０は、契機として、ユーザの所定の動作もしくはユーザとの距離を感知した情報を検出してもよい。例えば、スマートスピーカー１０は、ユーザがスマートスピーカー１０から所定距離（例えば１メートルなど）の範囲内に近づいたことを感知し、その近づいてきた動作を音声応答処理の契機として検出してもよい。あるいは、スマートスピーカー１０は、所定距離外からユーザがスマートスピーカー１０に近づき、スマートスピーカー１０と正対したこと等を検出してもよい。この場合、スマートスピーカー１０は、ユーザの動作の検出に係る種々の既知の技術を用いて、ユーザがスマートスピーカー１０に近づいたことや、スマートスピーカー１０に正対したことを判定してもよい。
【０１１２】
そして、スマートスピーカー１０は、ユーザの所定の動作もしくはユーザとの距離を感知し、感知した情報が所定の条件を満たす場合に、ユーザがスマートスピーカー１０による応答を所望していると判断し、対話システムを起動させる。すなわち、スマートスピーカー１０は、ユーザが正対していることや、スマートスピーカー１０にユーザが近寄ったこと等を契機として、バッファした音声を読み込んで応答を生成したり、生成した応答を出力したりする処理を行う。かかる処理により、スマートスピーカー１０は、ユーザが所定の動作等を行う前に発した音声に基づく応答を行うことができる。このように、スマートスピーカー１０は、ユーザの動作からユーザが応答を所望していることを推定して応答処理を行うことで、よりユーザビリティを向上させることができる。
【０１１３】
（２．第２の実施形態）
［２−１．第２の実施形態に係る音声処理システムの構成］
次に、第２の実施形態について説明する。第１の実施形態では、本開示に係る音声処理がスマートスピーカー１０によって実行される例を示した。一方、第２の実施形態では、本開示に係る音声処理が、音声を集音するスマートスピーカー１０Ａと、ネットワークを介して音声を受け付けるサーバ装置である情報処理サーバ１００とを音声処理システム２によって実行される例を示す。
【０１１４】
ここで、図１４に、第２の実施形態に係る音声処理システム２の構成例を示す。図１４は、本開示の第２の実施形態に係る音声処理システム２の構成例を示す図である。
【０１１５】
スマートスピーカー１０Ａは、いわゆるＩｏＴ（Internet  of  Things）機器であり、情報処理サーバ１００と連携して、種々の情報処理を行う。具体的には、スマートスピーカー１０Ａは、本開示に係る音声処理のフロントエンド（ユーザとの対話等の処理）を担う機器であり、例えばエージェント（Agent）機器と称される場合がある。本開示に係るスマートスピーカー１０Ａは、スマートフォンやタブレット端末等であってもよい。この場合、スマートフォンやタブレット端末は、スマートスピーカー１０Ａと同様の機能を有するプログラム（アプリケーション）を実行することによって、上記のエージェント機能を発揮する。また、スマートスピーカー１０Ａが実現する音声処理機能は、スマートフォンやタブレット端末以外にも、時計型端末や眼鏡型端末などのウェアラブルデバイス（wearable  device）によって実現されてもよい。また、スマートスピーカー１０Ａが実現する音声処理機能は、情報処理機能を有する種々のスマート機器により実現されてもよく、例えば、テレビやエアコン、冷蔵庫等のスマート家電や、自動車などのスマートビークルやドローン、家庭用ロボット等により実現されてもよい。
【０１１６】
図１４に示すように、スマートスピーカー１０Ａは、第１の実施形態に係るスマートスピーカー１０と比較して、音声送信部３５を有する。音声送信部３５は、第１の実施形態に係る受付部３０に加えて、送信部３４を含むものである。
【０１１７】
送信部３４は、有線又は無線ネットワーク等を介して各種情報を送信する。例えば、送信部３４は、起動ワードが検出された場合に、起動ワードが検出された時点よりも前に集音された音声、すなわち、音声バッファ部４０にバッファされていた音声を情報処理サーバ１００に送信する。なお、送信部３４は、バッファされていた音声のみならず、起動ワードを検出された後に集音された音声を情報処理サーバ１００に送信してもよい。すなわち、スマートスピーカー１０Ａは、応答の生成等の対話処理に関する機能を自装置で実行せず、発話を情報処理サーバ１００に送信し、対話処理を情報処理サーバ１００に実行させる。
【０１１８】
図１４に示す情報処理サーバ１００は、いわゆるクラウドサーバ（Cloud  Server）であり、スマートスピーカー１０Ａと連携して情報処理を実行するサーバ装置である。第２の実施形態では、情報処理サーバ１００が、本開示に係る音声処理装置に対応する。情報処理サーバ１００は、スマートスピーカー１０Ａが集音した音声を取得し、取得した音声を解析し、解析した音声に応じた応答を生成する。そして、情報処理サーバ１００は、生成した応答をスマートスピーカー１０Ａに送信する。例えば、情報処理サーバ１００は、ユーザが発した質問に対する応答を生成したり、ユーザがリクエストした曲を検索し、検索した音声をスマートスピーカー１０で出力させるための制御処理を実行したりする。
【０１１９】
図１４に示すように、情報処理サーバ１００は、受付部１３１と、判定部１３２と、発話認識部１３３と、意味理解部１３４と、応答生成部１３５と、送信部１３６とを有する。各処理部は、例えば、ＣＰＵやＭＰＵ等によって、情報処理サーバ１００内部に記憶されたプログラム（例えば、本開示に係る記録媒体に記録された音声処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【０１２０】
受付部１３１は、所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機とを受け付ける。すなわち、受付部１３１は、スマートスピーカー１０Ａが集音した所定時間長の音声や、スマートスピーカー１０Ａによって起動ワードが検出されたことを示す情報等、種々の情報を受け付ける。そして、受付部１３１は、受け付けた音声と契機に関する情報を判定部１３２に渡す。
【０１２１】
判定部１３２、発話認識部１３３、意味理解部１３４及び応答生成部１３５は、第１の実施形態に係る対話処理部５０と同様の情報処理を行う。応答生成部１３５は、生成した応答を送信部１３６に渡す。送信部１３６は、生成された応答をスマートスピーカー１０Ａに送信する。
【０１２２】
このように、本開示に係る音声処理は、スマートスピーカー１０Ａのようなエージェント機器と、エージェント機器が受け付けた情報を処理する情報処理サーバ１００のようなクラウドサーバとによって実現されてもよい。すなわち、本開示に係る音声処理は、機器の構成を柔軟に変更した態様であっても実現可能である。
【０１２３】
（３．第３の実施形態）
次に、第３の実施形態について説明する。第２の実施形態では、情報処理サーバ１００が判定部１３２を有し、処理に用いる音声を判定する構成例を説明した。第３の実施形態では、判定部５１を有するスマートスピーカー１０Ｂが、情報処理サーバ１００に音声を送信する前の段階で、処理に用いる音声を判定する例について説明する。
【０１２４】
図１５は、本開示の第３の実施形態に係る音声処理システム３の構成例を示す図である。図１５に示すように、第３の実施形態に係る音声処理システム３は、スマートスピーカー１０Ｂと、情報処理サーバ１００Ｂとを含む。
【０１２５】
スマートスピーカー１０Ｂは、スマートスピーカー１０Ａと比較して、受付部３０や、判定部５１や、属性情報記憶部６０をさらに有する。かかる構成により、スマートスピーカー１０Ｂは、音声を集音するとともに、集音した音声を音声バッファ部４０に格納する。また、スマートスピーカー１０Ｂは、音声に応じた所定の機能を起動させるための契機を検出する。そして、スマートスピーカー１０Ｂは、契機が検出された場合に、契機の属性に応じて、音声のうち所定の機能の実行に用いられる音声を判定したうえで、所定の機能の実行に用いられる音声を情報処理サーバ１００に送信する。
【０１２６】
すなわち、スマートスピーカー１０Ｂは、起動ワードの検出ののち、バッファした発話の全てを送信するのではなく、自装置で判定処理を行い、送信する音声を選択して情報処理サーバ１００への送信処理を行う。例えば、スマートスピーカー１０Ｂは、起動ワードの属性が「前音声」である場合、起動ワードの検出時点よりも前に受け付けた発話のみを情報処理サーバ１００に送信する。
【０１２７】
一般に、対話に関する処理をネットワーク上のクラウドサーバ等が行う場合、音声を送信することによる通信量の増加が懸念される。しかし、送信する音声を削減すると、適切な対話処理が行われない可能性がある。すなわち、通信量を削減しつつ適切な対話処理を実現するという課題が存在する。これに対して、第３の実施形態に係る構成によれば、対話処理に関する通信量を削減しつつ、適切な応答を生成することができるため、上記の課題を解決することができる。
【０１２８】
なお、第３の実施形態において、判定部５１は、情報処理サーバ１００Ｂからの要求に応じて、処理に用いる音声を判定してもよい。例えば、情報処理サーバ１００Ｂが、スマートスピーカー１０Ｂから送信された音声だけでは情報が充分ではなく、応答を生成することができないと判定したものとする。この場合、情報処理サーバ１００Ｂは、スマートスピーカー１０Ｂに対して、さらに過去にバッファされた発話を送信するよう要求する。スマートスピーカー１０Ｂは、発話データ４１を参照し、発話が記録されてから所定時間が経過していない発話がある場合、当該発話を情報処理サーバ１００Ｂに送信する。このように、スマートスピーカー１０Ｂは、応答の生成の可否等に応じて、新たに情報処理サーバ１００Ｂに送信する音声を判定してもよい。これにより、情報処理サーバ１００Ｂは、必要に応じた分だけの音声を利用して対話処理を行うことができるため、スマートスピーカー１０Ｂとの間の通信量を節約しつつ、適切な対話処理を行うことができる。
【０１２９】
（４．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
【０１３０】
例えば、本開示に係る音声処理装置は、スマートスピーカー１０等のようなスタンドアロンの機器ではなく、スマートフォン等が有する一機能として実現されてもよい。また、本開示に係る音声処理装置は、情報処理端末内に搭載されるＩＣチップ等の態様で実現されてもよい。
【０１３１】
また、本開示に係る音声処理装置は、ユーザに所定の通知を行う構成を有していてもよい。この点について、スマートスピーカー１０を例に挙げて説明する。例えば、スマートスピーカー１０は、契機が検出された時点よりも前に集音された音声を用いて所定の機能を実行する場合に、ユーザに所定の通知を行う。
【０１３２】
上述してきたように、本開示に係るスマートスピーカー１０は、バッファした音声に基づいて応答処理を実行する。かかる処理は、起動ワード以前に発した音声に基づいて処理が行われるため、ユーザに余計な手間を掛けさせない反面、どれくらい過去の音声に基づいて処理が行われているか、ユーザに不安を与えるおそれもある。すなわち、バッファを利用した音声応答処理においては、生活音が常に集音されることによってプライバシーが侵害されているのではないかといった不安をユーザに抱かせる可能性がある。言い換えれば、かかる技術には、ユーザの不安を軽減するという課題が存在する。これに対して、スマートスピーカー１０は、スマートスピーカー１０によって実行される通知処理によりユーザに所定の通知を行うことで、ユーザに安心感を与えることができる。
【０１３３】
例えば、スマートスピーカー１０は、所定の機能が実行される際に、契機が検出された時点よりも前に集音された音声が利用される場合と、契機が検出された時点よりも後に集音された音声が利用される場合とで異なる態様で通知を行う。一例として、スマートスピーカー１０は、バッファした音声を利用して応答処理が行われている場合、スマートスピーカー１０の外面から赤い光が照射されるよう制御する。また、スマートスピーカー１０は、起動ワード以降の音声を利用して応答処理が行われている場合、スマートスピーカー１０の外面から青い光が照射されるよう制御する。これにより、ユーザは、自身に対する応答が、バッファされた音声によって行われたものか、あるいは起動ワードの後に自身が発した音声によって行われたものであるかを認識することができる。
【０１３４】
また、スマートスピーカー１０は、さらに異なる態様で通知を行ってもよい。具体的には、スマートスピーカー１０は、所定の機能が実行される際に、契機が検出された時点よりも前に集音された音声が利用された場合、利用された音声に対応するログをユーザに通知してもよい。例えば、スマートスピーカー１０は、実際に応答に利用された音声を文字列に変換し、スマートスピーカー１０が備える外部ディスプレイに表示してもよい。図１を例に挙げると、スマートスピーカー１０は、「雨が降りそうだ」、「天気おしえて」といった文字列を外部ディスプレイに表示し、その表示とともに応答音声Ｒ０１を出力する。これにより、ユーザは、どのような発話が処理に利用されたのかを正確に認識することができるため、プライバシーの保護の観点において、安心感を抱くことができる。
【０１３５】
なお、スマートスピーカー１０は、応答に利用した文字列をスマートスピーカー１０に表示するのではなく、所定の装置を介して表示するようにしてもよい。例えば、スマートスピーカー１０は、バッファした音声が処理に利用される場合、予め登録されたスマートフォン等の端末に、処理に利用された音声に対応する文字列を送信するようにしてもよい。これにより、ユーザは、どのような音声が処理に利用されており、また、どのような文字列が処理に利用されていないかを正確に把握することができる。
【０１３６】
また、スマートスピーカー１０は、バッファした音声を送信しているか否かを示す通知を行ってもよい。例えば、スマートスピーカー１０は、契機が検出されず、音声が送信されていない場合には、その旨を示す表示を出力する（例えば青い色の光を出力するなど）よう制御する。一方、スマートスピーカー１０は、契機が検出され、バッファした音声が送信されるとともに、その後の音声を所定の機能の実行のために利用している場合には、その旨を示す表示を出力する（例えば赤い色の光を出力するなど）よう制御する。
【０１３７】
また、スマートスピーカー１０は、通知を受け取ったユーザからフィードバックを受け付けてもよい。例えば、スマートスピーカー１０は、バッファした音声を利用したことを通知したのちに、ユーザから「違う、もっと前に言ったこと」のように、より以前の発話を利用することを要求することを示唆した音声を受け付ける。この場合、スマートスピーカー１０は、例えば、バッファ時間をより長くしたり、情報処理サーバ１００に送信する発話の数を増やしたりような、所定の学習処理を行ってもよい。すなわち、スマートスピーカー１０は、所定の機能の実行に対するユーザの反応に基づいて、契機が検出された時点よりも前に集音された音声であって、所定の機能の実行に用いる音声の情報量を調整してもよい。これにより、スマートスピーカー１０は、よりユーザの利用態様に即した応答処理を実行することができる。
【０１３８】
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１３９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。発話抽出部３２と検出部３３は統合されてもよい。
【０１４０】
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１４１】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【０１４２】
（５．ハードウェア構成）
上述してきた各実施形態に係るスマートスピーカー１０や情報処理サーバ１００等の情報機器は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係るスマートスピーカー１０を例に挙げて説明する。図１６は、スマートスピーカー１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【０１４３】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【０１４４】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１４５】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る音声処理プログラムを記録する記録媒体である。
【０１４６】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【０１４７】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１４８】
例えば、コンピュータ１０００が第１の実施形態に係るスマートスピーカー１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた音声処理プログラムを実行することにより、受付部３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る音声処理プログラムや、音声バッファ部４０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【０１４９】
なお、本技術は以下のような構成も取ることができる。
（１）
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部と、
前記受付部によって受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する判定部と
を備える音声処理装置。
（２）
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定する
前記（１）に記載の音声処理装置。
（３）
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも後の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定する
前記（１）に記載の音声処理装置。
（４）
前記判定部は、
前記契機に関する情報に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声と当該契機よりも後の時点に発せられた音声とを組み合わせた音声を、前記所定の機能の実行に用いられる音声と判定する
前記（１）に記載の音声処理装置。
（５）
前記受付部は、
前記契機に関する情報として、前記所定の機能を起動させるための契機となる音声である起動ワードに関する情報を受け付ける
前記（１）〜（４）のいずれかに記載の音声処理装置。
（６）
前記判定部は、
前記起動ワードに予め設定された属性に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
前記（５）に記載の音声処理装置。
（７）
前記判定部は、
前記起動ワードと当該起動ワードの前後に検出される音声との組み合わせごとに対応付けられた属性に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
前記（５）に記載の音声処理装置。
（８）
前記判定部は、
前記属性に応じて、前記所定時間長の音声のうち、当該契機よりも前の時点に発せられた音声を前記所定の機能の実行に用いられる音声と判定した場合、当該所定の機能が実行された場合には、当該起動ワードに対応するセッションを終了させる
前記（６）又は（７）に記載の音声処理装置。
（９）
前記受付部は、
前記所定時間長の音声のうち、ユーザが発した発話部分を抽出し、抽出した発話部分を受け付ける
前記（１）〜（８）のいずれかに記載の音声処理装置。
（１０）
前記受付部は、
前記抽出した発話部分とともに、前記所定の機能を起動させるための契機となる音声である起動ワードを受け付け、
前記判定部は、
前記発話部分のうち、前記起動ワードを発したユーザと同一のユーザの発話部分を、前記所定の機能の実行に用いられる音声と判定する
前記（９）に記載の音声処理装置。
（１１）
前記受付部は、
前記抽出した発話部分とともに、前記所定の機能を起動させるための契機となる音声である起動ワードを受け付け、
前記判定部は、
前記発話部分のうち、前記起動ワードを発したユーザと同一のユーザの発話部分、及び、予め登録された所定ユーザの発話部分を、前記所定の機能の実行に用いられる音声と判定する
前記（９）に記載の音声処理装置。
（１２）
前記受付部は、
前記契機に関する情報として、ユーザを撮像した画像に対する画像認識を行うことにより検出される、当該ユーザの視線の注視に関する情報を受け付ける
前記（１）〜（１１）のいずれかに記載の音声処理装置。
（１３）
前記受付部は、
前記契機に関する情報として、ユーザの所定の動作もしくはユーザとの距離を感知した情報を受け付ける
前記（１）〜（１２）のいずれかに記載の音声処理装置。
（１４）
コンピュータが、
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付け、
受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する
音声処理方法。
（１５）
コンピュータを、
所定時間長の音声と、当該音声に応じた所定の機能を起動させるための契機に関する情報とを受け付ける受付部と、
前記受付部によって受け付けられた契機に関する情報に応じて、前記所定時間長の音声のうち、前記所定の機能の実行に用いられる音声を判定する判定部と
として機能させるための音声処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
（１６）
音声を集音するとともに、集音した音声を記憶部に格納する集音部と、
前記音声に応じた所定の機能を起動させるための契機を検出する検出部と、
前記検出部によって契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定する判定部と、
前記判定部によって前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する送信部と
を備える音声処理装置。
（１７）
コンピュータが、
音声を集音するとともに、集音した音声を記憶部に格納し、
前記音声に応じた所定の機能を起動させるための契機を検出し、
前記契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定し、
前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する
音声処理方法。
（１８）
コンピュータを、
音声を集音するとともに、集音した音声を記憶部に格納する集音部と、
前記音声に応じた所定の機能を起動させるための契機を検出する検出部と、
前記検出部によって契機が検出された場合に、当該契機に関する情報に応じて、前記音声のうち前記所定の機能の実行に用いられる音声を判定する判定部と、
前記判定部によって前記所定の機能の実行に用いられる音声と判定された音声を、当該所定の機能を実行するサーバ装置に送信する送信部と
として機能させるための音声処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
【符号の説明】
【０１５０】
１、２、３  音声処理システム
１０、１０Ａ、１０Ｂ  スマートスピーカー
１００、１００Ｂ  情報処理サーバ
３１  集音部
３２  発話抽出部
３３  検出部
３４  送信部
３５  音声送信部
４０  音声バッファ部
４１  発話データ
５０  対話処理部
５１  判定部
５２  発話認識部
５３  意味理解部
５４  対話管理部
５５  応答生成部
６０  属性情報記憶部
６１  組み合わせデータ
６２  起動ワードデータ
【図１】
2020003851.tif 000003
【図２】
2020003851.tif 000004
【図３】
2020003851.tif 000005
【図４】
2020003851.tif 000006
【図５】
2020003851.tif 000007
【図６】
2020003851.tif 000008
【図７】
2020003851.tif 000009
【図８】
2020003851.tif 000010
【図９】
2020003851.tif 000011
【図１０】
2020003851.tif 000012
【図１１】
2020003851.tif 000013
【図１２】
2020003851.tif 000014
【図１３】
2020003851.tif 000015
【図１４】
2020003851.tif 000016
【図１５】
2020003851.tif 000017
【図１６】
2020003851.tif 000018
【国際調査報告】
2020003851.tif 000019
2020003851.tif 000020
2020003851.tif 000021