(57)【要約】本発明は、家庭内環境において音声コマンドを用いて割り当てられた部屋に位置する家庭用電気機器を制御する方法に関する。この方法は、ユーザによって音声コマンドを受信するステップと、受信された音声コマンドを記録するステップと、記録された音声コマンドをサンプリングし、記録された音声コマンドから特徴を抽出するステップと、音声コマンドの抽出された特徴と特徴リファレンスを比較することによって、特徴リファレンスに関連付けられた部屋ラベルを判定するステップと、部屋ラベルを音声コマンドに割り当てるステップと、割り当てられた部屋に位置する家庭用電気機器を音声コマンドに従って制御するステップと、を含む。【選択図】図２
2016524724.tif 000002
【特許請求の範囲】
【請求項１】
家庭内環境において音声コマンドを用いて割り当てられた部屋に位置する家庭用電気機器を制御する方法であって、
ユーザによって音声コマンドを受信するステップと、
前記受信された音声コマンドを記録するステップと、
記録された音声コマンドをサンプリングし、前記記録された音声コマンドから特徴を抽出するステップと、
前記音声コマンドの抽出された特徴と特徴リファレンスを比較することによって、前記特徴リファレンスに関連付けられた部屋ラベルを判定するステップと、
前記部屋ラベルを前記音声コマンドに割り当てるステップと、
前記割り当てられた部屋に位置する前記家庭用電気機器を前記音声コマンドに従って制御するステップと、を含む、前記方法。
【請求項２】
前記部屋ラベルを判定するステップがｋ近傍法アルゴリズムに基づいて行われる、請求項１に記載の方法。
【請求項３】
前記特徴は、音声特徴および非音声特徴を含む、請求項１または２に記載の方法。
【請求項４】
前記音声特徴は、メル周波数ケプストラム係数（ＭＦＣＣ）および反響エフェクト係数であり、前記非音声特徴は、音声コマンドが記録される時刻である、請求項３に記載の方法。
【請求項５】
家庭内環境において音声コマンドを用いて割り当てられた部屋に位置する家庭用電気機器を制御するシステムであって、
ユーザによって音声コマンドを受信する受信機と、
前記受信された音声コマンドを記録するレコーダと、
記録された音声コマンドをサンプリングし、前記記録された音声コマンドから特徴を抽出し、
前記音声コマンドの抽出された特徴と特徴リファレンスを比較することによって、前記特徴リファレンスに関連付けられた部屋ラベルを判定し、
前記部屋ラベルを前記音声コマンドに割り当て、
前記割り当てられた部屋に位置する前記家庭用電気機器を前記音声コマンドに従って制御するように構成されたコントローラと、を含む、前記システム。
【請求項６】
前記コントローラは、ｋ近傍法アルゴリズムに基づいて部屋ラベルを判定する、請求項５に記載のシステム。
【請求項７】
前記特徴は、音声特徴および非音声特徴を含む、請求項５または６に記載のシステム。
【請求項８】
前記音声特徴は、メル周波数ケプストラム係数（ＭＦＣＣ）および反響エフェクト係数であり、前記非音声特徴は、音声コマンドが記録される時刻である、請求項７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家庭環境内で音声コマンドに関連付けられた位置を特定して家庭用電気機器を制御する方法およびシステムに関する。より具体的には、本発明は、機械学習法を使用してユーザの音声コマンドが発せられた場所を特定し、その後、ユーザのいる部屋と同じ部屋にある家庭用電気機器に対する音声コマンドの動作を実行する方法およびシステムに関する。
【背景技術】
【０００２】
現在、携帯電話に対する音声コマンドによるパーソナル・アシスタント・アプリケーションに対する人気が高まっている。この類のアプリケーションは、自然な言語処理を使用して質問に答え、推薦を行い、リクエストされた処理を対象のＴＶセットまたはＳＴＢ（セットトップ・ボックス）に委譲することによって、ＴＶセットなどの家庭用電気機器上で動作する。
【０００３】
しかしながら、複数のＴＶセットが存在する通常の家庭環境においては、アプリケーションが、ユーザが「ＴＶの電源をオンにする」と携帯電話に対して言ったことを単に特定しているだけの場合には、音声コマンドが発せられた場所に関する適切な位置情報無しにどのＴＶセットの電源をオンにすべきかを明確に決定することはできない。したがって、ユーザ・コマンドの状況に基づいてどのＴＶセットを制御するべきかを判定するために追加的な方法が必要である。
【０００４】
本願で提案される解決法は、家庭環境に複数のＴＶセットが存在する場合に、音声コマンドによる現行の最先端のパーソナル・アシスタント・アプリケーションがどのＴＶセットが制御されるべきかを正確に特定することができないという問題を解決するものである。
【０００５】
記録された「ＴＶの電源をオンにする」の音声コマンドを用いて特徴を抽出し、分類方法を用いて特徴を分析して「ＴＶの電源をオンにする」の音声コマンドが発せられた場所を特定する方法を提案することによって、この方法は、音声コマンドに関連付けられた場所を見つけ、そして、同じ部屋にあるテレビジョンの電源をオンにすることができる。
【０００６】
家庭用電気機器には、複数のＴＶセット、空調機器、照明機器などが含まれる。関連する技術として、米国特許出願公開第２０１０／０３３２６６８号（ＵＳ２０１００３３２６６８Ａ１）は、電子機器間の近接度を検出する方法およびシステムを開示している。
【発明の概要】
【０００７】
本発明の態様によれば、家庭内環境において音声コマンドを用いて割り当てられた部屋に位置する家庭用電気機器制御する方法が提供される。この方法は、ユーザによって音声コマンドを受信するステップと、受信された音声コマンドを記録するステップと、記録された音声コマンドをサンプリングし、記録された音声コマンドから特徴を抽出するステップと、音声コマンドの抽出された特徴と特徴リファレンスを比較することによって、特徴リファレンスに関連付けられた部屋ラベルを判定するステップと、部屋ラベルを音声コマンドに割り当てるステップと、割り当てられた部屋に位置する家庭用電気機器を音声コマンドに従って制御するステップと、を含む。
【０００８】
本発明の別の態様によれば、家庭内環境において音声コマンドを用いて割り当てられた部屋に位置する家庭用電気機器を制御するシステムが提供される。このシステムは、ユーザによって音声コマンドを受信する受信機と、受信された音声コマンドを記録するレコーダと、記録された音声コマンドをサンプリングし、記録された音声コマンドから特徴を抽出し、音声コマンドの抽出された特徴と特徴リファレンスを比較することによって、特徴リファレンスに関連付けられた部屋ラベルを判定し、部屋ラベルを前記音声コマンドに割り当て、割り当てられた部屋に位置する家庭用電気機器を音声コマンドに従って制御するように構成されたコントローラと、を含む。
【０００９】
本発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と関連して、以下の説明から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に従った家庭環境内で複数のＴＶセットがそれぞれ別個の部屋に存在する例示的な状況を示す図である。
【図２】本発明の実施形態に従った分類方法を示す例示的なフローチャートである。
【図３】本発明の実施形態に従ったシステムを示す例示的なブロック図である。
【発明を実施するための形態】
【００１１】
以下の説明において、本発明の実施形態の様々な態様について記載する。説明の目的で、完全な理解を提供するために、特定の構成および詳細について述べる。しかしながら、当業者であれば、本発明が、本明細書に提供する特定の詳細に制限されることなく、実施できることも明らかであろう。
【００１２】
図１は、家庭環境１０１内で複数のＴＶセット１１１、１１３、１１５、１１７がそれぞれ別の部屋１０３、１０５、１０７、１０９に存在する状況を示す図である。家庭環境１０１では、ユーザ１１９が「ＴＶの電源をオンにする」ことを携帯電話１２１に単に指示するのでは、携帯電話上のパーソナル・アシスタント・アプリケーションに基づいた音声コマンド・システムにとって、どのＴＶセットを制御する必要があるかを判定することは不可能である。
【００１３】
この問題を取り扱うために、本発明は、機械学習法を用いてどこで音声コマンドが指示されているかを特定し、この同じ部屋でテレビジョンの電源をオンにするために、ユーザが「ＴＶの電源をオンにする」の音声コマンドを指示するときの周囲の音響を考慮し、さらに、音声コマンドと、音声の特徴やコマンドの時刻などのこの音声コマンドの周囲の状況との間に存在する相関関係を音声コマンドの理解に利用する。
【００１４】
本発明においては、パーソナル・アシスタント・アプリケーションは、１．音声記録、２．特徴抽出、および３．分類、
の３つの処理段階を組み合わせた音声分類システムを含む。零交差率、信号帯域幅、スペクトル重心、および信号エネルギーなどのローレベル・パラメータを含む様々な信号特徴が使用されている。自動スピーチ認識器から導出される別の特徴の組は、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）の組である。これは、音声分類モジュールが標準的な特徴をリズムおよびピッチのコンテンツの表現と組み合わせることを意味する。
【００１５】
１．音声記録
ユーザが「ＴＶの電源をオンにする」音声コマンドを指示する度に、パーソナル・アシスタント・アプリケーションは、音声コマンドを記録し、そして、記録されたオーディオをさらなる処理のために特徴分析モジュールに提供する。
【００１６】
２．特徴分析
位置分類の精度を高めるために、本発明に係るシステムは、記録されたオーディオを８ＫＨｚのサンプル・レートにサンプリングし、次にそれを例えば、１秒のウインドウによるセグメントに分割する。次に、この１秒のオーディオ・セグメントがそのアルゴリズム内で基本分類として取り扱われ、さらに、４０個の２５ｍｓの重複しないフレームに分割される。各特徴は、１秒のオーディオ・セグメントにおけるこれらの４０個のフレームに基づいて抽出される。次に、システムは、別個の部屋において環境が異なることによって記録されたオーディオに対して与えられるエフェクトを特定可能な良好な特徴を選択する。
【００１７】
抽出され、分析されるべき幾つかの基本的な特徴には、オーディオ・セグメント・ベクトル平均の尺度としての、オーディオ平均、記録されたオーディオ・セグメントのスペクトルのスプレッドの尺度としての、オーディオ・スプレッド、オーディオ・セグメント波形の符号変化の数をカウントした零交差率比、および二乗平均平方根を使用して計算することによってオーディオ・セグメントの短時間エネルギーを記述した短時間エネルギー比が含まれる。さらに、記録された音声コマンドに対する２つの別の先進的な特徴、ＭＦＣＣおよび反響エフェクト係数を選択することが提案される。
【００１８】
メル周波数ケプストラム係数（ＭＦＣＣ）は、極めて少ない数の係数を用いたスペクトルの形状を表す。ケプストラムは、スペクトルの対数のフーリエ変換として定義される。メルケプストラムは、フーリエ・スペクトルの代わりにメル帯域上で計算されるスペクトルである。ＭＦＣＣは、以下のステップに従って計算することができる。
【００１９】
１．オーディオ信号に対するフーリエ変換を行う。
２．上記処理で得られたスペクトルのパワーをメル尺度にマッピングする。
３．メル周波数の各々でのパワーの対数をとる。
４．メル対数パワーのリストの離散コサイン変換を行う。
５．結果として得られるスペクトルの振幅をＭＦＣＣとする。
【００２０】
その一方で、別個の部屋では、記録された音声コマンドに対して異なる反響エフェクトが与えられる。それぞれ異なるサイズおよび環境設定を有する別個の部屋において、反響ノイズにどの程度各新たなシラブルが溶け込むかに依存して、記録されたオーディオは、聴覚的に、異なって知覚される。以下のステップに従って、記録されたオーディオから反響特徴を抽出することが提案される。
【００２１】
１．短時間フーリエ変換を行ってオーディオ信号を、反響特徴が時間次元におけるスペクトル特徴のぶれとして現れる、２次元時間周波数表現に変換する。
２．反響量の定量的な推定を、効率的なエッジ検出および特徴付けを行うことができるように、２次元時間周波数特性を表す画像をウェーブレット領域に変換することによって行う。
３．このように抽出された反響時間の結果として得られる定量的な推定値は、物理的な測定値と強く相関しており、反響エフェクト係数とされる。
【００２２】
さらに、記録音声コマンドに関連付けられている他の非音声特徴を考慮することもできる。これには、例えば、ユーザが異なる日の同じ時間に特定の部屋でＴＶを視聴する傾向にあることをパターンとした、音声コマンドが記録される時刻が含まれる。
【００２３】
３．分類
上述したステップにおいて抽出された特徴を用いて、どの部屋でオーディオ・クリップがマルチクラス分類子を使用して記録されたかを特定することが提案される。これは、ユーザが「ＴＶの電源をオンにする」の音声コマンドで携帯電話に話しかけたとき、携帯電話上のパーソナル・アシスタント・ソフトウエアは、記録されたオーディオに関連する特徴を分析することによって、どの部屋内、例えば、部屋１内、部屋２内、または部屋３内で音声コマンドが与えられているかを特定し、そして、関連する部屋のＴＶの電源をオンにすることに成功できることを意味する。
【００２４】
本発明における学習アルゴリズムとして、ｋ近傍法を使用することが提案される。形式的には、システムは、一組の入力特徴ｘが与えられると、出力変数ｙを予測する必要がある。本願の設定においては、記録音声コマンドが部屋１に関連付けられている場合には、ｙは１となり、記録音声コマンドが部屋２に関連付けられている場合には、ｙは２となる、といったようになり、その一方で、ｘは、記録音声コマンドから抽出された特徴値のベクトルとなるであろう。
【００２５】
リファレンスのトレーニング・サンプルは、多次元特徴空間における音声特徴ベクトルであり、各々には、部屋１、部屋２、部屋３のクラス・ラベルが付けられている。処理のトレーニング段階は、リファレンスのためのトレーニング・サンプルの特徴ベクトルおよびクラス・ラベルを記憶することのみからなる。トレーニング・サンプルは、入来する音声コマンドを分類するためのリファレンスとして使用される。トレーニング段階は、所定の期間として設定することができる。そうでない場合には、トレーニング段階の後にリファレンスを蓄積することもできる。リファレンス・テーブルにおいて、特徴は、部屋ラベルと関連している。
【００２６】
分類段階においては、記録音声コマンドの分類は、記録された音声コマンドの特徴に対するｋ近傍のトレーニング・リファレンスのうち、最も頻度の高い部屋ラベルを割り当てることによって行われる。したがって、オーディオ・ストリームが記録される部屋は、分類結果から取得することができる。次に、携帯電話に埋め込まれた赤外線通信機器によって対応する部屋内のテレビジョンの電源をオンにすることができる。
【００２７】
さらに、本発明で開示するアイディアにおいて、決定ツリーおよび確率グラフィカル・モデルを含む、他の分類手法を使用することもできる。
【００２８】
音声コマンド記録、特徴抽出、分類処理の全体を例示する図が図２に示されている。
【００２９】
図２は、本発明の実施形態に従った分類方法を示す例示的なフローチャート２０１を示している。
【００３０】
まず、ユーザは、「ＴＶの電源をオンにする」などの音声コマンドを、携帯電話などの携帯機器に対して指示する。
【００３１】
ステップ２０５において、システムは、音声コマンドを記録する。
【００３２】
ステップ２０７において、システムは、記録された音声コマンドのサンプリングおよび特徴抽出を行う。
【００３３】
ステップ２０９において、システムは、音声特徴ベクトルおよび記録時刻などの他の特徴に基づいて、Ｌ近傍クラス・アルゴリズムに従って、部屋ラベルを音声コマンドに割り当てる。特徴を含むリファレンス・テーブルおよび関連する部屋ラベルがこの処理に使用される。
【００３４】
ステップ２１１において、システムは、音声コマンドのための部屋ラベルに対応する部屋内のＴＶを制御する。
【００３５】
図３は、本発明の実施形態に従ったシステム３０１の例示的なブロック図を示している。システム３０１としては、携帯電話、コンピュータ・システム、タブレット、携帯型ゲーム、スマートフォン、などが挙げられる。システム３０１は、ＣＰＵ（中央処理装置）３０３、マイクロフォン３０９、記憶装置３０５、ディスプレイ３１１、および赤外線通信機器３１３を含む。図３に示されているように、ＲＡＭ（ランダム・アクセス・メモリ）などのメモリ３０７をＣＰＵ３０３に結合させることができる。
【００３６】
記憶装置３０５は、ＣＰＵ３０３のためのソフトウェア・プログラムおよびデータを記録し、上述した処理を起動、動作させるように構成される。
【００３７】
マイクロフォン３０９は、ユーザのコマンド音声を検出するように構成される。
【００３８】
ディスプレイ３１１は、システム３０１のユーザに対し、テキスト、画像、映像、およびその他のコンテンツを視覚的に提供するように構成される。
【００３９】
赤外線通信機器３１３は、音声コマンドのための部屋ラベルに基づいて、家庭用電気機器に対してコマンドを送信するように構成される。他の通信機器を赤外線通信機器と置き換えることができる。代替的には、通信機器は、家庭用電気機器の全てを制御する中央システムにコマンドを送信することができる。
【００４０】
システムは、ＴＶセット、空調機器、照明機器などの家庭用電気機器に対して指示を行うことができる。
【００４１】
本発明の原理のこれらの特徴および利点、さらに、その他の特徴および利点は、本明細書の開示内容に基づいて、関連する技術に関して通常の技術を有するものであれば容易に解明できるであろう。本発明の原理の開示内容は、ハードウェア、ソフトウェア、ファームウェア、特定目的用途のプロセッサ、または、これらを組み合わせた様々な形態で実施できることが理解できよう。
【００４２】
より好ましくは、本発明の原理の開示内容は、ハードウェアおよびソフトウェアを組み合わせて実施される。さらに、ソフトウェアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらをどのように組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
【００４３】
さらに、添付図面に描かれたシステムの構成要素および方法の幾つかは、好ましくは、ソフトウェアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本発明の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本発明の原理の実施形態または構成、さらに、類似した実施形態または構成を企図できるであろう。
【００４４】
添付図面を参照して本明細書中で例示的な実施形態について説明したが、本発明の原理はこれらの実施形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に記載されたような本発明の原理の範囲に含まれるように意図されている。
【図１】
2016524724.tif 000003
【図２】
2016524724.tif 000004
【図３】
2016524724.tif 000005
【手続補正書】
【提出日】平成28年4月6日(2016.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声コマンドに対応する環境に位置する電気機器を制御する方法であって、
ユーザによって、受信された音声コマンドを記録するステップと、
記録された音声コマンドおよび前記記録された音声コマンドから抽出された音声に関連する特徴および非音声に関連する特徴を含む特徴をサンプリングするステップと、
特徴リファレンスに関連付けられた割り当てられた環境ラベルに対応する環境に位置する前記電気機器を制御するステップと、を含み、
前記環境ラベルは、前記音声コマンドから抽出された前記特徴と前記特徴リファレンスとを比較することによって、前記音声コマンドに割り当てられ、前記特徴リファレンスは、前記サンプリングによって蓄積される、前記方法。
【請求項２】
前記特徴リファレンスは、トレーニング段階を含む前記サンプリングによって蓄積される、請求項１に記載の方法。
【請求項３】
前記環境ラベルを判定するステップがｋ近傍法アルゴリズムに基づいて行われる、請求項１または２に記載の方法。
【請求項４】
前記音声特徴は、メル周波数ケプストラム係数（ＭＦＣＣ）および反響エフェクト係数であり、前記非音声特徴は、音声コマンドが記録される時刻である、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
音声コマンドに対応する環境に位置する電気機器を制御するシステムであって、
ユーザによって、受信された音声コマンドを記録するレコーダと、
記録された音声コマンドおよび前記記録された音声コマンドから抽出された音声に関連する特徴および非音声に関連する特徴を含む特徴をサンプリングし、
特徴リファレンスに関連付けられた割り当てられた環境ラベルに対応する環境に位置する前記電気機器を制御するように構成されたコントローラと、を含み、
前記環境ラベルは、前記音声コマンドから抽出された前記特徴と前記特徴リファレンスとを比較することによって、前記音声コマンドに割り当てられ、前記特徴リファレンスは、前記サンプリングによって蓄積される、前記システム。
【請求項６】
前記特徴リファレンスは、トレーニング段階を含む前記サンプリングによって蓄積される、請求項５に記載のシステム。
【請求項７】
前記コントローラは、ｋ近傍法アルゴリズムに基づいて環境ラベルを判定する、請求項５または６に記載のシステム。
【請求項８】
前記音声特徴は、メル周波数ケプストラム係数（ＭＦＣＣ）および反響エフェクト係数であり、前記非音声特徴は、音声コマンドが記録される時刻である、請求項５〜７のいずれか１項に記載のシステム。
【国際調査報告】
2016524724.tif 000006
2016524724.tif 000007