(57)【要約】【課題】音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能な音声アシストシステムを提供すること。【解決手段】  音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムであって、前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行う。【選択図】図１
2019032479.tif 000002
【特許請求の範囲】
【請求項１】
音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムであって、
前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、
前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行うことを特徴とする音声アシストシステム。
【請求項２】
前記複数のデバイスは、前記マイクを介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始することを特徴とする請求項１に記載の音声アシストシステム。
【請求項３】
前記複数のデバイスは、さらに、前記ユーザ発話を録音した際の録音状態を示す録音状態情報を前記サーバ装置にそれぞれ送信し、
前記サーバ装置は、前記受信した複数の録音データを音声認識する場合に、前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする請求項１又は２に記載の音声アシストシステム。
【請求項４】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項３に記載の音声アシストシステム。
【請求項５】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項３に記載の音声アシストシステム。
【請求項６】
前記サーバ装置は、さらに、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項１〜５のいずれか１つに記載の音声アシストシステム。
【請求項７】
前記所定の優先順位は、前記デバイスを使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項６に記載の音声アシストシステム。
【請求項８】
複数のデバイスと通信可能に接続されており、音声アシストを行うサーバ装置であって、
ネットワークを介して、前記複数のデバイスとデータ通信するための通信部と、
前記通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識部と、
前記音声認識部で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト部と、
を備えたことを特徴とするサーバ装置。
【請求項９】
前記音声認識部は、前記同じユーザ発話の録音データを音声認識する場合に、前記複数のデバイスから送出される、前記ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする請求項８に記載のサーバ装置。
【請求項１０】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項９に記載のサーバ装置。
【請求項１１】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項９に記載のサーバ装置。
【請求項１２】
前記音声アシスト部は、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項８〜１１のいずれか１つに記載のサーバ装置。
【請求項１３】
前記所定の優先順位は、前記デバイスが使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項１２に記載のサーバ装置。
【請求項１４】
音声アシストを行うサーバ装置とデータ通信可能に接続されたデバイスであって、
ネットワークを介して前記サーバ装置とデータ通信するための通信部と、
音声を入力するためのマイクと、
前記マイクを介して、他のデバイスと同じユーザ発話を録音してその録音データを、前記通信部を介して前記サーバ装置に送信するリクエスト部と、
を備えたことを特徴とするデバイス。
【請求項１５】
複数のデバイスと通信可能に接続されたサーバ装置が実行する音声アシスト方法であって、
通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
を含むことを特徴とする音声アシスト方法。
【請求項１６】
複数のデバイスと通信可能に接続されたサーバ装置に搭載されたプログラムであって、
通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムに関する。  
【背景技術】
【０００２】
近時、音声アシストが各種のデバイスに搭載されてきている。かかる音声アシスタントは、ユーザの発話を解釈し、音声で指示された各種質問の回答や操作を実行する機能のことである。音声アシスタントは、一般的に、音声認識や自然言語処理などの技術を駆使してユーザの話した内容を解釈する。
【０００３】
デバイスでは、通常、ユーザが所定のキーワード（起動発話コマンド）を発すると、音声アシスト機能が起動し、ユーザは音声アシストを使用することが可能となる。現在、デバイス毎にユニークな音声アシスタントが搭載されているため、質問するデバイス毎にユーザはキーワードを使い分ける必要があり不便である。例えば、キーワードは、Ｗｉｎｄｏｗｓ（登録商標）マシンの場合は、「Ｈｅｙ  Ｃｏｒｔａｎａ」、ｉＰｈｏｎｅ（登録商標）端末の場合は、「Ｈｅｙ  Ｓｉｒｉ」，Ａｎｄｒｏｉｄ端末の場合は「ＯＫ  Ｇｏｏｇｌｅ」などである。
【０００４】
ユーザの部屋にこれらの複数のデバイスがある場合に、ユーザはどのデバイスの音声アシストを使用すればよいのか迷うことがあり、また、デバイス毎にキーワードを覚えておく必要がありユーザにとって不便である。今後、ＩｏＴがより普及し、各種のデバイスやサービスが連携してくと、音声アシストを利用可能なデバイスがより多くなるため、ユーザはどのデバイスに音声を認識させ、回答させるかを迷うことがより多くなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−７３２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記に鑑みてなされたものであり、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能な音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の第１の態様に係る、音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムは、前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従って音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行う。
【０００８】
また、前記複数のデバイスは、前記マイクを介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始してもよい。
【０００９】
また、前記複数のデバイスは、さらに、前記ユーザ発話を録音した際の録音状態を示す録音状態情報を前記サーバ装置にそれぞれ送信し、前記サーバ装置は、前記受信した複数の録音データを音声認識する場合に、前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈してもよい。
【００１０】
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含んでもよい。
【００１１】
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含んでもよい。
【００１２】
また、前記サーバ装置は、さらに、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。
【００１３】
また、前記所定の優先順位は、前記デバイスを使用中であるか否か、前記デバイスで使用している出力手段、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
【００１４】
また、上述した課題を解決し、目的を達成するために、本発明の第２の態様に係る、複数のデバイスと通信可能に接続されており、音声アシストを行うサーバ装置は、ネットワークを介して、前記複数のデバイスとデータ通信するための通信部と、前記通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識部と、前記音声認識部で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト部と、を備えている。
【００１５】
また、前記音声認識部は、前記同じユーザ発話の録音データを音声認識する場合に、前記複数のデバイスから送出される、前記ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈してもよい。
【００１６】
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含んでもよい。
【００１７】
また、前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含んでもよい。
【００１８】
また、前記音声アシスト部は、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。
【００１９】
また、前記所定の優先順位は、前記デバイスが使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
【００２０】
また、上述した課題を解決し、目的を達成するために、本発明の第３の態様に係る、音声アシストを行うサーバ装置とデータ通信可能に接続されたデバイスは、ネットワークを介して前記サーバ装置とデータ通信するための通信部と、音声を入力するためのマイクと、前記マイクを介して、他のデバイスと同じユーザ発話を録音してその録音データを、前記通信部を介して前記サーバ装置に送信するリクエスト部と、を備えている。
【００２１】
また、上述した課題を解決し、目的を達成するために、本発明の第４の態様に係る、複数のデバイスと通信可能に接続されたサーバ装置が実行する音声アシスト方法は、通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、を含む。
【００２２】
また、上述した課題を解決し、目的を達成するために、本発明の第５の態様に係る、複数のデバイスと通信可能に接続されたサーバ装置に搭載されたプログラムは、通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、をコンピュータに実行させる。
【発明の効果】
【００２３】
本発明の上記態様によれば、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能になるという効果を奏する。
【図面の簡単な説明】
【００２４】
【図１】図１は、本実施の形態に係る音声アシストシステムの概念図を示す図である。
【図２】図２は、図１の音声アシストシステムの動作の概略を説明するためのフローチャートである。
【図３】図３は、デバイスの信頼度（重み）を説明するための図である。
【図４】図４は、複数のデバイスでユーザの発話を録音する場合を説明するための図である。
【図５】図５は、デバイスの信頼度とサーバ装置の音声認識部の最終的な音声認識結果を説明するための図である。
【図６】図６は、サーバ装置の音声アシスト部が実行する出力先デバイス選択処理の具体例を説明するための説明図である。
【図７】図７は、図１のサーバ装置のハードウェア構成例を説明するための図である。
【図８】図８は、図１のデバイスのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本実施の形態に係る音声アシストシステム、サーバ装置、デバイス、その音声アシスト方法、及びコンピュータが実行するためのプログラムを適用したコンピュータシステムの実施の形態について説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、方法、およびプログラムの実施の形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施の形態の一例を示すものであって、本明細書の特許請求の範囲に示す本発明と矛盾無く装置、システムおよび方法についての選択した実施の形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、または他の方法、部品、材料でも本発明を実現できることが理解できる。
【００２６】
（実施の形態）
図１は、本実施の形態に係る音声アシストシステムの概念図を示す図である。図１に示すように、本実施の形態に係る音声アシストシステム１は、サーバ装置１０と複数のデバイス２０とがネットワーク３０を介してデータ通信可能に構成されている。
【００２７】
サーバ装置１０は、デバイス２０からの音声アシストのリクエストに応じて音声アシストを実行する。デバイス２０は、音声アシストのリクエストをサーバ装置１０に送信する。デバイス２０は、例えば、ラップトップＰＣ、デスクトップＰＣ、スマートフォン、ファブレット、タブレット、スマートウォッチ、インターネットＴＶ、Ｈｏｍｅｈｕｂ、ＰＤＡ、携帯電話、及び各種家電製品等である。
【００２８】
ネットワーク３０は、サーバ装置１０と複数のデバイス２０とを相互に通信可能に接続する機能を有し、例えばインターネットや有線又は無線のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等である。
【００２９】
本実施の形態では、複数のデバイス２０は、ユーザの発話を同じタイミングでマイクを介してそれぞれ録音し、録音したユーザの発話（録音データ）をサーバ装置１０に送信する。サーバ装置１０は、複数のデバイス２０から送信されて複数の録音データを音声認識してユーザの発話の内容を解釈し、デバイス２０を介して音声アシストを実行する。これにより、音声アシストを利用可能な複数のデバイス２０がある場合でも、ユーザがどのデバイスを選択して音声アシストを利用するかを迷わないようにしている。
【００３０】
図１に示すように、サーバ装置１０は、ネットワーク３０を介して、複数のデバイス２０とデータ通信するための通信部１１と、通信部１１を介して受信した、複数のデバイス２０からそれぞれ送信される同じユーザ発話の複数の録音データを、所定の基準に従って音声認識することにより、ユーザ発話の内容を解釈する音声認識部１２と、音声認識部１２で解釈されたユーザの発話の内容に応じた音声アシスタントを実行する音声アシスト部１３と、記憶部１４とを備えている。
【００３１】
音声認識部１２は、ユーザ発話の複数の録音データを音声認識する場合に、複数のデバイス２０から送出される、ユーザ発話を録音した際の録音状態を示す録音状態情報に応じた重み付けを行って、ユーザ発話の内容を解釈することにしてもよい。
【００３２】
音声アシスト部１３は、所定の優先順位に従って、複数のデバイス２０のうち音声アシストを出力するデバイスを選択してもよい。また、所定の優先順位は、デバイス２０が使用中であるか否か、デバイス２０で使用している出力手段の種類、デバイス２０とユーザとの距離、及びデバイス２０の出力手段のパフォーマンスのうちの１又は複数により決定してもよい。
【００３３】
記憶部１４は、音声アシストを利用するユーザ名と、当該ユーザが使用する複数のデバイスのデバイス情報とを対応づけて登録したデバイステーブル１４ａを備えていてもよい。デバイス情報は、デバイス名、機種名、ＩＰアドレス、搭載される出力手段の種類及びそのスペック（例えば、スピーカの場合は、出力音圧レベル、周波数特性、クロスオーバー周波数、入力インピーダンス、許容入力等であり、ディスプレイの場合は、画面サイズ、解像度等）を含むことにしてもよい。本実施の形態では、サーバ装置１０の音声アシストを利用するユーザ及びそのデバイス情報が予めデバイステーブル１４ａに登録されているものとする。音声アシスト部１３は、デバイス２０からのリクエストに応じて、デバイステーブル１４ａにユーザ名とデバイス情報を登録してもよい。
【００３４】
上記サーバ装置１０において、音声認識部１２及び音声アシスト部１３は、例えば、ハードウェアやソフトウェア（ＯＳ、ＡＰＩ、サービス、ユーティリティ、ライブラリ、ドライバ、及びアプリケーション等のプログラム）のモジュール、又は、その組み合わせで構成することができる。また、コンピュータがプログラムを実行することにより、音声認識部１２及び音声アシスト部１３の機能を実現することにしてもよい。
【００３５】
図１に示すように、複数のデバイス２０は、それぞれ、ネットワーク３０を介して、サーバ装置１０とデータ通信するための通信部２１と、音声を入力するためのマイク２２と、ユーザ発話を、マイク２２を介して録音し、録音したユーザの発話のデータ（録音データ）を、通信部２１を介してサーバ装置１０に送信するリクエスト部２３と、出力手段２４とを備えている。
【００３６】
出力手段２４は、液晶、有機ＥＬ、プラズマ、及びＣＲＴ等のモニタ、スピーカ、イヤホンやヘッドホンを含むヘッドセット、並びにプリンタ等の１又は複数で構成されており、情報や音声を外部に出力する機能を有する。デバイス２０によって搭載している出力手段２４の種類やスペックが異なる。
【００３７】
マイク２２は、例えば、シングルマイク、デュアルマイク、及びアレイマイク等で構成されており、ユーザの発話等の音声を集音して入力するためのものである。
【００３８】
リクエスト部２３は、例えば、マイク２２を介して、ユーザの所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）が入力された場合に、それ以降のユーザ発話を録音し、録音したユーザ発話のデータ（録音データ）を、通信部２１を介してサーバ装置１０に送信してもよい。このように、複数のデバイス２０で同じキーワード（起動発話コマンド）を使用することで、ユーザはデバイス毎にキーワードを覚える必要がなくなり、ユーザにとって便利となる。
【００３９】
また、リクエスト部２３は、ユーザ発話を録音した際の録音状態を示す録音状態情報を、通信部２１を介してサーバ装置１０に送信してもよい。録音状態情報は、例えば、録音レベル、ノイズレベル、エコーの影響、ユーザ（発話の音源）との距離、ユーザ（発話の音源）の方向のうちの１又は複数の情報を含むことにしてもよい。
【００４０】
また、リクエスト部２３は、ユーザ発話を録音した際の当該デバイス２０の使用状態を示す使用状態情報を送信してもよい。使用状態情報は、例えば、デバイス２０が使用中であるか否か、デバイス２０で現在使用している出力手段、デバイス２０とユーザとの距離等の情報を含んでいてもよい。
【００４１】
上記デバイス２０において、リクエスト部２３は、例えば、ハードウェアやソフトウェア（ＯＳ、ＡＰＩ、サービス、ユーティリティ、ライブラリ、ドライバ、及びアプリケーション等のプログラム）のモジュール、又は、その組み合わせで構成することができる。また、コンピュータがプログラムを実行することにより、リクエスト部２３の機能を実現することにしてもよい。
【００４２】
図２は、図１の音声アシストシステム１の動作の一例の概略を説明するためのフローチャートである。図２を参照して、図１の音声アシストシステム１の動作の一例の概略を説明する。
【００４３】
図２において、複数のデバイス２０では、各リクエスト部２３は、ユーザが発話すると、ユーザ発話を、マイク２２を介して録音する（ステップＳ１）。リクエスト部２３は、例えば、ユーザの所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）が入力された場合に、動作を開始して、以降のユーザの発話の内容を録音してもよい。
【００４４】
また、各リクエスト部２３は、ユーザ発話を録音した際の録音状態を示す録音状態情報を取得する（ステップＳ２）。さらに、各リクエスト部２３は、現在のデバイスの使用状態を示す使用状態情報を取得する（ステップＳ３）。
【００４５】
各リクエスト部２３は、録音したユーザ発話（録音データ）、録音状態情報、及び使用状態情報を、通信部２１を介してサーバ装置１０に送信する（ステップＳ４）。
【００４６】
サーバ装置１０では、音声認識部１２は、複数のデバイス２０から送出される、録音したユーザ発話（録音データ）、録音状態情報、及び使用状態情報を、通信部１１を介して受信する（ステップＴ１）。
【００４７】
音声認識部１２は、受信した複数の録音データについて音声認識処理を実行する（ステップＴ２）。具体的には、音声認識処理では、複数の録音データを音声認識する場合に、録音状態情報に応じて重み付けを行って、最終的なユーザの発話の内容を解釈する。
【００４８】
次に、音声アシスト部１３は、複数のデバイス２０の中から音声アシストを出力するデバイスを選択する出力先デバイス選択処理を実行する（ステップＴ３）。具体的には、出力先デバイス選択処理では、複数のデバイス２０から受信した使用状態情報及び記憶部１４に登録している対応するデバイス情報（デバイス２０に搭載されている出力手段の種類及びそのスペック）を参照して、所定の優先順位に従って、複数のデバイス２０のうち音声アシストを出力するデバイスを選択する。なお、音声アシストを出力するデバイスは、録音データを送出したデバイスに限らず、他のデバイスを選択してもよい。
【００４９】
音声アシスト部１３は、選択したデバイス１０を出力先として音声アシストを実行し（ステップＴ４）、選択されたデバイスは音声アシストを出力する（ステップＳ５）。
【００５０】
図３〜図５は、サーバ装置１０の音声認識部１２が実行する音声認識処理（図２のステップＴ２）の一例を説明するための説明図である。図３〜図５を参照して、サーバ装置１０の音声認識部１２が実行する音声認識処理の具体例を説明する。
【００５１】
図３は、デバイス２０の信頼度（重み）を説明するための図である。各デバイス２０の信頼度は、信頼度＝録音レベルのスコア＋ノイズレベルのスコア＋エコーの影響のスコアで算出することができる。信頼度はスコアが高いほど高くなる。録音レベルは、スコア０〜５の範囲で、録音の音量が大きい程スコアを高くする。ノイズレベルは、スコア０〜５の範囲で、周囲の騒音が少ない程スコアを高くする。エコーの影響は、スピーカから出力される音が小さい程スコアを高くする。
【００５２】
各デバイス２０のリクエスト部２３は、録音状態情報として、例えば、録音レベル、ノイズレベル、エコーの影響の情報をサーバ装置１０に送信し、サーバ装置１０の音声認識部１２は、録音状態情報に基づいて各デバイス２０の信頼度を算出してもよい。また、各デバイス２０のリクエスト部２３は、信頼度＝録音レベルのスコア＋ノイズレベルのスコア＋エコーの影響のスコアを算出し、録音状態情報として、信頼度をサーバ装置１０に送信してもよい。
【００５３】
図４は、複数のデバイス２０でユーザの発話を録音する場合を説明するための図である。図４において、Ａさんの部屋に複数のデバイス２０として、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，ノートＰＣ２０Ｄが配置されているものとする。Ａさんは、例えば、所定の起動発話コマンド（例えば、Ｈｅｌｌｏ、〇〇）を発話した後に、「今日の天気は？」と発話（質問）する。
【００５４】
インターネットＴＶ２０Ａは、例えば、Ａさんに近くて周辺ノイズも小さいがスピーカを使用中でエコーがあるため、信頼度＝録音レベル（４）＋ノイズ（５）＋エコー（０）＝９となる。
【００５５】
Ｈｏｍｅｈｕｂ２０Ｂは、例えば、Ａさんに近く、エコーの影響もなく、周辺ノイズも中程度であるため、信頼度＝録音レベル（５）＋ノイズ（３）＋エコー（５）＝１３となる。
【００５６】
デスクトップＰＣ２０Ｃは、例えば、録音レベルは中程度で、スピーカを使用していないが、周りが騒がしいため、信頼度＝録音レベル（３）＋ノイズ（１）＋エコー（５）＝９となる。
【００５７】
ノートＰＣ２０Ｄは、例えば、エコーの影響もなく周辺ノイズも小さいが、Ａさんから遠く録音音量が小さいため、信頼度＝録音レベル（２）＋ノイズ（４）＋エコー（５）＝１１となる。
【００５８】
この例では、信頼度は、Ｈｏｍｅｈｕｂ２０Ｂ（信頼度＝１３）＞ノートＰＣ２０Ｄ（信頼度＝１１）＞インターネットＴＶ２０Ａ（信頼度＝９）＝デスクトップＰＣ２０Ｃ（信頼度＝９）の順に高くなる。
【００５９】
図５は、デバイス２０の信頼度とサーバ装置１０の音声認識部１２の最終的な音声認識結果を説明するための図である。図５において、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，ノートＰＣ２０Ｄで録音したＡさんの発話「今日の天気は？」を、それぞれサーバ装置１０の音声認識部１２で音声認識した結果は、例えば、「今日の変化は？」、「今日の天気は？」、「今日の天下は？」、「今日の天気は？」となる。音声認識部１２は、例えば、音声認識結果が全てのデバイスで同一になる部分は、同一になる部分をそのまま採用し、異なる部分については、評価値に基づいた重み付けを行ってもよい（例えば、評価値が所定値以上のものの結果を採用したり、評価値が最も高いものの結果を採用してもよい。）。
【００６０】
図５において、例えば、「今日の」部分は、全て同じであるので、この結果を採用してもよい。また、「天気は？」の部分は、「変化は？」、「天気は？」、「天下は？」、「天気は？」と異なるため、信頼度の高いＨｏｍｅｈｕｂ２０Ｂ（信頼度＝１３）とノートＰＣ２０Ｄ（信頼度＝１１）の結果「天気は？」を採用してもよい。そして、音声認識部１２は、最終的な音声認識結果として、「今日の天気は？」を採用してもよい。
【００６１】
図６は、サーバ装置１０の音声アシスト部１３が実行する出力先デバイス選択処理（図２のステップＴ４）の具体例を説明するための説明図である。図６を参照して、サーバ装置１００の音声アシスト部１３が実行する出力先デバイス選択処理の具体例を説明する。
【００６２】
音声アシスト部１３は、例えば、出力先デバイスを選択する優先順位を、１．使用中のデバイスであるか否か、２．デバイスが使用している音声出力手段の種類、３．デバイスの位置（ユーザとの距離）、４．デバイスの音声出力手段の性能の順とすることができる。
【００６３】
より具体的には、「１．使用中のデバイスであるか否か」に関して、例えば、電源が入っているか否かを判断し、電源の入っている使用中のデバイスを優先的に使用する。電源が入っていないデバイスからは出力できないためである。
【００６４】
「２．デバイスが使用している音声出力手段の種類」に関して、例えば、ヘッドセットを使用している場合は、スピーカよりもヘッドセットを優先する。ユーザがヘッドセットを使用している場合は、ヘッドセットから出力することをユーザが期待しているからである。
【００６５】
「３．デバイスの位置（ユーザとの距離）」に関して、例えば、ユーザとの距離を、近距離（例、０〜２ｍ）、中距離（例、２〜５ｍ）、遠距離（例、５ｍ〜）として、大まかな距離の範囲で分け、優先順位を近距離＞中距離＞遠距離とする。
【００６６】
「４．デバイスの音声出力手段の性能の順」に関して、３で同じ距離の範囲の場合は、使用する音声出力手段が、例えばスピーカの場合は、最も大きな音を出力可能な（許容入力の最も大きい）スピーカを搭載したデバイスを優先的に選択してもよい。また、使用する出力手段が、モニタの場合は、画面サイズが最も大きいモニタを搭載したデバイスを優先的に選択してもよい。
【００６７】
図６において、例えば、インターネットＴＶ２０Ａ，Ｈｏｍｅｈｕｂ２０Ｂ，デスクトップＰＣ２０Ｃ，及びノートＰＣ２０Ｄは、全て電源が入っており、使用中であるとする。Ａさんが、ノートＰＣ２０Ｄでヘッドセット（ワイヤレス）を使用している場合は、音声アシスト部１３は、音声アシストの出力先デバイスとして、ノートＰＣ２０Ｄを選択する。音声アシスト部１３は、音声アシストの返答（例えば、「一日中快晴です」）をノートＰＣ２０Ｄに送信し、ノートＰＣ２０Ｄは、音声アシストの返答（例えば、「一日中快晴です」）をヘッドセットから出力する。
【００６８】
以上説明したように、本実施の形態によれば、複数のデバイス２０は、同じユーザ発話をマイクを介してそれぞれ録音してその録音データをサーバ装置１０に送信し、サーバ装置１０は、複数のデバイス２０からそれぞれ送信される録音データを、所定の基準に従って音声認識することによりユーザ発話の内容を解釈し、音声アシストを行う。これにより、音声アシストを利用可能な複数のデバイスがある場合でも、ユーザがどのデバイスを使用するかを迷うことなく簡単に音声アシストを利用することが可能となる。また、同じユーザ発話について、複数のデバイスの録音データを使用して音声認識を行うので、音声認識の精度を向上させることが可能となる。
【００６９】
また、本実施の形態によれば、複数のデバイス２０は、マイク２２を介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始することにしてもよい。これにより、ユーザは、同じキーワード（起動発話コマンド）を使用して音声アシストを利用することができ、デバイス毎に異なるキーワードを覚えておく必要がなくなり、便利となる。
【００７０】
また、本実施の形態によれば、複数のデバイス２０は、ユーザ発話を録音した際の録音状態を示す録音状態情報をサーバ装置１０にそれぞれ送信し、サーバ装置１０は、複数の録音データを音声認識する場合に、録音状態情報に応じた重み付けを行って、ユーザ発話の内容を解釈してもよい。これにより、録音状態に応じた重み付けを行うことでより音声認識の精度を向上させることが可能となる。
【００７１】
また、本実施の形態によれば、録音状態情報は、録音レベル、ノイズレベル、及びエコーの影響の情報のうちの１又は複数を含むことにしてもよい。これにより、録音時の録音レベル、ノイズレベル、又はエコーの影響を加味して音声認識を行うことが可能となる。
【００７２】
また、本実施の形態によれば、サーバ装置１０は、所定の優先順位に従って、複数のデバイスのうち音声アシストを出力するデバイスを選択してもよい。これにより、音声アシストの出力先として好適なデバイスを選択することが可能となる。
【００７３】
また、本実施の形態によれば、所定の優先順位は、デバイスを使用中であるか否か、デバイスで使用している出力手段、デバイスとユーザとの距離、及びデバイスの出力手段のパフォーマンスのうちの１又は複数により決定してもよい。これにより、ユーザにとってより好適なデバイスから音声アシストを出力することが可能となる。
【００７４】
（ハードウェア構成例）
図７及び図８を参照して、上記実施の形態に係る音声アシストシステム１のハードウェア構成例を説明する。図７は、図１のサーバ装置１０のハードウェア構成例を説明するための図である。図８は、図１のデバイス２０のハードウェア構成例を示す図である。
【００７５】
図７に示すように、サーバ装置１は、ＣＰＵ１１１、ＲＯＭ１１２、メモリ１１３、ストレージ１１４、入力部１０４、音声認識エンジン１１７、通信部１２０、ＤＣ−ＤＣコンバータ１２２、及びＡＣアダプタ１２３等を備えており、各部はバスを介して直接または間接的に接続されている。
【００７６】
ＣＰＵ１１１は、バスを介して接続されたストレージ１１４に格納されたＯＳ１３０によりサーバ装置１０全体の制御を行うとともに、ストレージ１１４に格納された各種のプログラムに基づいて処理を実行する機能を司る。ＲＯＭ１１２は、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ：基本入出力システム）１１２ａやデータ等を格納している。
【００７７】
メモリ１１３は、キャッシュメモリやＲＡＭで構成されており、ＣＰＵ１１１の実行プログラムの読み込み領域として、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。
【００７８】
ストレージ１１４は、例えば、ＳＳＤやＨＤＤ等の不揮発性の記憶装置で構成されており、例えば、Ｗｉｎｄｏｗｓ（登録商標）等のサーバ装置１０全体の制御を行うためのＯＳ１３０と、周辺機器類をハードウェア操作するための各種のドライバ１３１と、音声アシスト・サーバ用プログラム１３２、ユーザ名とデバイス情報を登録するためのデバイステーブル１３３、及び他のアプリケーション（不図示）等を記憶する機能を有する。
【００７９】
音声アシスト・サーバ用プログラム１３２は、複数のデバイス２０から送信されるユーザ発話の録音データを音声認識して、ユーザに音声アシストを提供するためのアプリケーションである。音声アシスト・サーバ用プログラム１３２は、複数のデバイス２０からユーザ発話の録音データ（録音状態情報、使用状態情報を含む）を、通信部１２０を介して受信すると、音声認識エンジン１１７に音声認識処理（例えば、図２のステップＴ２参照）を実行させると共に、出力先デバイス選択処理（例えば、図２のステップＴ３参照）を実行し、音声認識エンジン１１７の最終的な音声認識結果に基づいた音声アシストを出力先デバイス選択処理で選択した出力先デバイスを介して実行する。
【００８０】
入力部１０４は、ユーザが入力操作を行うためのユーザインターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボード等を備えている。
【００８１】
音声認識エンジン１１７は、録音したユーザ発話（録音データ）を音声認識してユーザ発話の内容を解釈（テキストに変換）するためのものであり、具体的には、録音データを音響分析し、音響モデル、言語モデル、発音辞書等の音声認識辞書を使用して、テキストに変換する。音声認識エンジン１１７は、音声アシスト・サーバ用プログラム１３２の指示に従って、音声認識処理（例えば、図２のステップＴ２参照）を実行する。
【００８２】
通信部１２０は、ネットワークを介して有線又は無線で複数のデバイス２０とデータ通信するためのものである。
【００８３】
ＡＣアダプタ１２３は、商用電源に接続して、ＡＣ電圧をＤＣ電圧に変換してＤＣ−ＤＣコンバータ１２２に出力する。ＤＣ−ＤＣコンバータ１２２は、ＡＣアダプタ１２３から供給されるＤＣ電圧を所定の電圧に変換して各部に電力を供給する。
【００８４】
上記構成において、ＣＰＵ１１１，音声アシスト・サーバ用プログラム１３２、及び音声認識エンジン１１７は、図１の音声認識部１２の機能を実現することができる。また、ＣＰＵ１１１及び音声アシスト・サーバ用プログラム１３２は、図１の音声アシスト部１３の機能を実現することができる。
【００８５】
図８に示すように、デバイス２０は、制御部２１０と、メモリ２１１と、ストレージ２１２と、無線通信部２１５と、通信部２１６と、オーディオデバイス２１７と、電源部２２４と、モニタ２０３と、及び操作部２２３等を備えている。
【００８６】
モニタ２０３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）や、有機ＥＬ（Organic  Electro−Luminescence）パネルなどで構成され、文字や図形等を表示する。  
【００８７】
操作部２２３は、各種ボタン等を通じて利用者の操作を受け付け、受け付けた操作に対応する指示信号を制御部２１０へ送信する。    
【００８８】
電源部２２４は、制御部２１０の制御に従って、蓄電池又はＡＣアダプタから得られる電力を、制御部２１０を含むデバイス２０の各部へ供給する。  
【００８９】
通信部２１６は、ネットワークを介して、サーバ装置１０とデータ通信するためのものである。
【００９０】
無線通信部２１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の通信規格に基づく通信や、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ    Ｆｉｄｅｌｉｔｙ）の通信規格に基づいた通信を行う。
【００９１】
オーディオデバイス２１７は、マイク２０５と、スピーカ２０６と、ヘッドセットポート２０７と、ＤＳＰ２１８とを備えている。
【００９２】
マイク２０５は、例えば、アレイマイクで構成されており、音声を集音して音声データをＤＳＰ２１８に出力する。スピーカ２０６は、ＤＳＰ２１８から出力される音声データに応じた音声を出力する。ヘッドセットポート２０７は、有線又は無線でヘッドセット３００を接続するためのものであり、ＤＳＰ２１８から出力される音声データをヘッドセット３００に出力する。
【００９３】
ＤＳＰ２１８は、Ａ／Ｄ変換器と、Ｄ／Ａ変換器と、アンプと、各種フィルタ等を含む音声処理用ＬＳＩ及びメモリ等を備えており、マイク２０５から入力される音声をＡ／Ｄ変換した後に音声処理し、音声処理後の音声データ（デジタルデータ）を制御部２１０に出力したり、制御部２１０から入力される音声データ（デジタル）を、Ｄ／Ａ変換して、スピーカ２０６又はヘッドセットポート２０７から出力させる。
【００９４】
ＤＳＰ２１８は、ｗａｋｅ  ｏｎ  ｖｏｉｃｅ機能を備えており、スリープ状態でも電源部２２４から電力が供給されており、スリープ状態にある場合でもマイク２０５から音声を集音可能に構成されている。
【００９５】
ＤＳＰ２１８は、マイク（例えば、アレイマイク）２０５から入力される音声の位置情報（その音源の位置（マイク２０５に対する相対的位置）、方向）を、各マイクの音の到達時間の差から算出することが可能となっており、ユーザ（音源）との距離及びユーザ（音源）の方向を判定することができる。
【００９６】
メモリ２１１は、例えば、ＲＡＭやＤＲＡＭ等で構成されており、制御部２１０によって実行されるプログラム、制御部２１０が参照するデータ、制御部２１０の演算結果等が一時的に記憶されるワークエリアとして使用される。  
【００９７】
ストレージ２１２は、例えば、不揮発性メモリ（例えば、ＥＥＰＲＯＭ、ＳＳＤ）であり、制御部２１０での処理に利用されるプログラムやデータを保存する。ストレージ２１２に記憶されるプログラムには、デバイス２０の各機能を実現するためのＯＳ２１２ａ、デバイス２０をハードウェア制御するためのドライバ２１２ｂ、サーバ装置１０の音声アシストを使用するための音声アシスト・クライアント用プログラム（アプリ）２１２ｃ、他のアプリケーション（不図示）、及び各種データ等が含まれる。各種アプリとデバイス間の通信にはＯＳ２１２ａが介在する。
【００９８】
制御部２１０は、例えば、ＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ、ＤＳＰ等であり、デバイス２０の動作を統括的に制御して各種の機能（モード）を実現する。具体的には、制御部２１０は、ストレージ２１２に記憶されているデータやメモリ２１１に展開したデータを必要に応じて参照しつつ、ストレージ２１２に記憶されているプログラムに含まれる命令を実行して、モニタ２０３、無線通信部２１５，通信部２１６、オーディオデバイス２１７等を制御することによって各種機能（モード）を実現する。なお、制御部２１０が実行するプログラムや参照するデータは、通信部２１６や無線通信部２１５による通信でサーバ装置からダウンロードしたり、アップデートしてもよい。
【００９９】
音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、オーディオデバイス２１７を介して、ユーザの所定の起動発話コマンドが入力された後に、ユーザ発話を録音してその録音データをサーバ装置１０に送信する。また、音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、例えば、録音状態情報をオーディオデバイス２１７から取得してサーバ装置１０に送信したり、動作状態情報をＯＳ２１２ａから取得してサーバ装置１０に送信する。さらに、音声アシスト・クライアント用プログラム（アプリ）２１２ｃは、サーバ装置１０から音声アシストの出力指示があった場合には、ＤＳＰ２１８を介してスピーカ２０６やヘッドセット３００から音声出力させたり、モニタ２０３に表示させる。
【０１００】
上記構成において、制御部２１０，オーディオデバイス２１７，及び音声アシスト・クライアント用プログラム（アプリ）２１２ｃ等は、図１のリクエスト部２３の機能を実現することができる。また、オーディオデバイス２１７やモニタ２０３は、図１の出力手段２４の機能を実現することができる。
【符号の説明】
【０１０１】
１  音声アシストシステム
１０  サーバ装置
１１  通信部
１２  音声認識部
１３  音声アシスト部
１４  記憶部  
２０  デバイス
２１  通信部
２２  マイク
２３  リクエスト部
２４  出力手段
１１１  ＣＰＵ
１１２  ＲＯＭ
１１３  メモリ
１１４  ストレージ
１０７  ＬＣＤ
１１７  音声認識エンジン
１２０  通信部
１３２  音声アシスト・サーバ用プログラム
２０３  モニタ
２０５  マイク
２０６  スピーカ
２０７  ヘッドセットポート
２１０  制御部
２１１  メモリ
２１２  ストレージ
２１２ｃ  音声アシスト・クライアント用プログラム
２１５  無線通信部
２１６  通信部
２１７  オーディオデバイス
【図１】
2019032479.tif 000003
【図２】
2019032479.tif 000004
【図３】
2019032479.tif 000005
【図４】
2019032479.tif 000006
【図５】
2019032479.tif 000007
【図６】
2019032479.tif 000008
【図７】
2019032479.tif 000009
【図８】
2019032479.tif 000010
【手続補正書】
【提出日】平成30年10月31日(2018.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声アシストを行うサーバ装置と複数のデバイスとが通信可能に接続された音声アシストシステムであって、
前記複数のデバイスは、マイクを介して、同じユーザ発話をそれぞれ録音してその録音データを前記サーバ装置に送信し、
前記サーバ装置は、前記複数のデバイスからそれぞれ送信される録音データを受信し、受信した複数の録音データを、所定の基準に従ってそれぞれ音声認識することにより前記ユーザ発話の内容を解釈して音声アシストを行い、
さらに、
前記複数のデバイスは、前記ユーザ発話を録音した際の録音状態を示す録音状態情報を前記サーバ装置にそれぞれ送信し、
前記サーバ装置は、前記受信した複数の録音データの音声認識結果が異なる部分を含む場合に、当該異なる部分について前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする音声アシストシステム。 
【請求項２】
前記複数のデバイスは、前記マイクを介してユーザの所定の起動発話コマンドが入力された後に、ユーザ発話の録音を開始することを特徴とする請求項１に記載の音声アシストシステム。 
【請求項３】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項１又は２に記載の音声アシストシステム。 
【請求項４】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項１又は２に記載の音声アシストシステム。 
【請求項５】
前記サーバ装置は、さらに、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項１〜４のいずれか１つに記載の音声アシストシステム。 
【請求項６】
前記所定の優先順位は、前記デバイスを使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項５に記載の音声アシストシステム。 
【請求項７】
複数のデバイスと通信可能に接続されており、音声アシストを行うサーバ装置であって、
ネットワークを介して、前記複数のデバイスとデータ通信するための通信部と、
前記通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従ってそれぞれ音声認識することにより、前記ユーザ発話の内容を解釈する音声認識部と、
前記音声認識部で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト部と、
を備え、
前記複数のデバイスからは、前記ユーザ発話を録音した際の録音状態を示す録音状態情報が前記サーバ装置にそれぞれ送信され、
前記音声認識部は、前記受信した複数の録音データの音声認識結果が異なる部分を含む場合に、当該異なる部分について前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とするサーバ装置。 
【請求項８】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーのうちの少なくとも一つの情報を含むことを特徴とする請求項７に記載のサーバ装置。 
【請求項９】
前記録音状態情報は、録音レベル、ノイズレベル、及びエコーの全ての情報を含むことを特徴とする請求項７に記載のサーバ装置。 
【請求項１０】
前記音声アシスト部は、所定の優先順位に従って、前記複数のデバイスのうち音声アシストを出力するデバイスを選択することを特徴とする請求項７〜９のいずれか１つに記載のサーバ装置。 
【請求項１１】
前記所定の優先順位は、前記デバイスが使用中であるか否か、前記デバイスで使用している出力手段の種類、前記デバイスとユーザとの距離、及び前記デバイスの出力手段のパフォーマンスのうちの１又は複数により決定されることを特徴とする請求項１０に記載のサーバ装置。
【請求項１２】
音声アシストを行うサーバ装置とデータ通信可能に接続されたデバイスであって、
ネットワークを介して前記サーバ装置とデータ通信するための通信部と、
音声を入力するためのマイクと、
前記マイクを介して、他のデバイスと同じユーザ発話を録音した録音データと、当該ユーザ発話を録音した際の録音状態を示す録音状態情報とを、前記通信部を介して前記サーバ装置に送信するリクエスト部と、
を備え、
前記サーバ装置では、前記デバイス及び前記他のデバイスからそれぞれ送信される、同じユーザ発話の録音データが、所定の基準に従ってそれぞれ音声認識され、前記デバイス及び前記他のデバイスの録音データの音声認識結果が異なる部分を含む場合に、当該異なる部分について前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容が解釈されることを特徴とするデバイス。
【請求項１３】
複数のデバイスと通信可能に接続されたサーバ装置が実行する音声アシスト方法であって、
通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従ってそれぞれ音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
を含み、さらに、
前記複数のデバイスからは、前記ユーザ発話を録音した際の録音状態を示す録音状態情報が前記サーバ装置にそれぞれ送信され、
前記音声認識工程では、前記受信した複数の録音データの音声認識結果が異なる部分を含む場合に、当該異なる部分について前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とする音声アシスト方法。
【請求項１４】
複数のデバイスと通信可能に接続されたサーバ装置に搭載されたプログラムであって、
通信部を介して受信した、前記複数のデバイスからそれぞれ送信される、同じユーザ発話の録音データを、所定の基準に従って音声認識することにより、前記ユーザ発話の内容を解釈する音声認識工程と、
前記音声認識工程で解釈された前記ユーザ発話の内容に応じた音声アシスタントを行う音声アシスト工程と、
をコンピュータに実行させ、さらに、
前記複数のデバイスからは、前記ユーザ発話を録音した際の録音状態を示す録音状態情報が前記サーバ装置にそれぞれ送信され、
前記音声認識工程では、前記受信した複数の録音データの音声認識結果が異なる部分を含む場合に、当該異なる部分について前記録音状態情報に応じた重み付けを行って、前記ユーザ発話の内容を解釈することを特徴とするコンピュータが実行可能なプログラム。