(57)【要約】【課題】  話者検証方法及び音声認識システムを提供する。【解決手段】  話者を正確に認識することができる音声認識システム及びその話者検証方法に関し、本話者検証方法は、音声認識サーバが、音声認識装置から、第１話者の音声を含む音声信号を受信する段階と、音声認識サーバが、音声信号に対して音声認識を実行し、音声認識結果を生成する段階と、音声認識サーバが、音声信号から話者特徴ベクトルを抽出し、話者特徴ベクトルを登録された話者特徴ベクトルと比較し、この比較の結果により、音声信号の話者が登録された第２話者であると決定する段階と、音声認識サーバが、第２話者の携帯装置に音声認識結果及び音声信号を送信する段階と、音声認識サーバが、携帯装置から承認入力を受信する段階と、音声認識サーバが、音声認識結果に対応する動作を実行する段階と、を含む。【選択図】      図４Ａ
2019028465.tif 000002
【特許請求の範囲】
【請求項１】
音声認識装置及び音声認識サーバを含む音声認識システムにおける話者検証方法であって、
前記音声認識サーバが、前記音声認識装置から、第１話者の音声を含む音声信号を受信する段階と、
前記音声認識サーバが、前記音声信号に対して音声認識を実行し、音声認識結果を生成する段階と、
前記音声認識サーバが、前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると決定する段階と、
前記音声認識サーバが、前記第２話者の携帯装置に前記音声認識結果及び前記音声信号を送信する段階と、
前記音声認識サーバが、前記携帯装置から承認入力を受信する段階と、
前記音声認識サーバが、前記音声認識結果に対応する動作を実行する段階と、
を含む、話者検証方法。
【請求項２】
前記音声認識サーバが、前記音声認識結果に対応する動作、及び前記第２話者の設定のうち少なくとも一つを基に、前記携帯装置を利用した検証手続きの実行いかんを決定する段階
をさらに含み、
前記検証手続きは、
前記音声認識サーバが、前記携帯装置に前記音声認識結果及び前記音声信号を送信する段階と、
前記音声認識サーバが、前記携帯装置から承認入力を受信する段階と、
を含む、請求項１に記載の話者検証方法。
【請求項３】
前記携帯装置を利用した検証手続きの実行いかんを決定する段階は、前記携帯装置の位置及び現在時間のうち少なくとも一つが事前承認条件に符合する場合、前記音声認識サーバが、前記検証手続きの実行を決定する段階を含む、請求項２に記載の話者検証方法。
【請求項４】
前記事前承認条件は、前記第２話者によって事前に設定されるか、あるいは前記第２話者の行動パターンに基づいて決定される、請求項３に記載の話者検証方法。
【請求項５】
前記携帯装置を利用した検証手続きの実行いかんを決定する段階は、前記音声認識結果による動作が、前記第２話者が事前に設定した事前承認動作リストに含まれる場合、前記音声認識サーバが、前記検証手続きの実行を決定する段階を含む、請求項２に記載の話者検証方法。
【請求項６】
前記音声認識結果による動作が、前記第２話者が事前に設定した事後通知動作リストに含まれる場合、前記音声認識サーバが、前記音声認識結果に対応する前記動作が実行された後、前記携帯装置に前記音声認識結果及び前記音声信号を送信する段階
をさらに含む、請求項２に記載の話者検証方法。
【請求項７】
前記携帯装置が、前記音声認識サーバから、前記音声認識結果及び前記音声信号を受信する段階と、
前記携帯装置が、前記音声認識結果を、前記携帯装置上に表示する段階と、
前記携帯装置が、前記音声信号を再生する段階と、
前記携帯装置が、前記音声認識結果に対応する動作の実行を承認または拒絶するための前記第２話者の承認入力または拒絶入力を受信する段階と、
前記携帯装置が、前記承認入力または拒絶入力を前記音声認識サーバに送信する段階と、
をさらに含む、請求項１ないし６のうちいずれか１項に記載の話者検証方法。
【請求項８】
前記音声認識サーバが、前記携帯装置から拒絶入力を受信する段階と、
前記音声認識サーバが、前記音声認識結果に対応する動作を実行しない段階と、
をさらに含む、請求項１ないし７のうちいずれか１項に記載の話者検証方法。
【請求項９】
前記音声認識サーバが、前記携帯装置から、前記第２話者の応答音声を含む応答音声信号を受信する段階と、
前記音声認識装置により前記第２話者の応答音声が再生されるように、前記音声認識サーバが、前記応答音声信号を前記音声認識装置に送信する段階と、
をさらに含む、請求項８に記載の話者検証方法。
【請求項１０】
前記携帯装置から承認入力が受信された場合、前記音声認識サーバが、前記音声信号で抽出された前記話者特徴ベクトルを利用し、前記第２話者の前記登録された話者特徴ベクトルを改善する段階
をさらに含む、請求項１ないし９のうちいずれか１項に記載の話者検証方法。
【請求項１１】
前記音声認識装置が、カメラを利用し、前記音声信号が生成された時点の映像を含む映像信号を生成し、前記映像信号を前記音声認識サーバに送信する段階と、
前記音声認識サーバが、前記携帯装置に、前記音声認識結果及び前記音声信号と共に、前記映像信号を送信する段階と、
をさらに含む、請求項１ないし１０のうちいずれか１項に記載の話者検証方法。
【請求項１２】
前記映像信号は、前記第１話者の音声が発生した方向の映像を含む、請求項１１に記載の話者検証方法。
【請求項１３】
前記登録された第２話者は、前記音声認識システムに登録された複数のユーザのうちの一人である、請求項１ないし１２のうちいずれか１項に記載の話者検証方法。
【請求項１４】
前記音声認識サーバが、前記比較の結果により、前記音声信号の話者が登録されていないユーザであると決定した場合、前記音声認識結果に対応する動作を実行しない段階
をさらに含む、請求項１ないし１３のうちいずれか１項に記載の話者検証方法。
【請求項１５】
音声認識システムの音声認識サーバのプロセッサに、請求項１ないし６のうちいずれか１項に記載の話者検証方法を実行させるプログラム。
【請求項１６】
音声認識装置及び携帯装置と通信する通信モジュールと、
前記通信モジュールを利用し、前記音声認識装置から、第１話者の音声を含む音声信号を受信し、前記音声信号に対して音声認識を実行し、音声認識結果を生成し、前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると決定し、前記通信モジュールを利用し、前記第２話者の前記携帯装置に前記音声認識結果及び前記音声信号を送信し、前記通信モジュールを利用し、前記携帯装置から承認入力を受信し、前記音声認識結果に対応する動作を実行するように構成されるプロセッサと、
を含む音声認識サーバ。
【請求項１７】
前記プロセッサは、
前記携帯装置から、拒絶入力と共に、前記第２話者の応答音声を含む応答音声信号を受信し、
前記音声認識装置により前記第２話者の応答音声が再生されるように、前記通信モジュールを利用し、前記応答音声信号を前記音声認識装置に送信するように構成される、請求項１６に記載の音声認識サーバ。
【請求項１８】
請求項１６または１７に記載の音声認識サーバと通信する通信モジュールと、
オーディオ信号を生成するマイクロフォンと、
前記オーディオ信号から第１話者の音声を含む音声信号を検出し、前記音声信号を前記音声認識サーバに送信し、前記音声認識サーバから合成音信号を受信するように構成されるプロセッサと、
前記合成音信号に対応する合成音を再生するスピーカと、
を含む音声認識装置。
【請求項１９】
音声認識サーバ及び音声認識装置を含む音声認識システムであって、
前記音声認識装置は、前記音声認識サーバと通信する第１通信モジュールと、オーディオ信号を生成するマイクロフォンと、前記オーディオ信号から音声信号を検出し、前記音声信号を前記音声認識サーバに送信し、前記音声認識サーバから合成音信号を受信する第１プロセッサと、前記合成音信号に対応する合成音を再生するスピーカと、を含み、
前記音声認識サーバは、第２プロセッサと、前記音声認識装置及び携帯装置と通信する第２通信モジュールと、を含み、
前記第２プロセッサは、
前記音声認識装置から、第１話者の音声を含む音声信号を受信し、
前記音声信号に対して音声認識を実行し、音声認識結果を生成し、
前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると認識し、
前記第２話者の携帯装置に前記音声認識結果及び前記音声信号を送信し、
前記携帯装置から承認入力を受信した場合、前記音声認識結果に対応する動作を実行するように構成される、音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者検証方法及び音声認識システムに関し、さらに詳細には、音声認識装置及び音声認識サーバを含む音声認識システムにおいて話者を検証する方法に関する。
【背景技術】
【０００２】
音声認識機能が搭載された人工知能スピーカ装置が市場に出回っている。人工知能スピーカ装置は、ユーザの音声を認識し、音声に含まれている命令を抽出し、この命令による動作を実行し、その結果を音声として出力することにより、人工知能秘書のような役割を果たすことができる。かような人工知能スピーカ装置が、単に音声質疑に応答し、質疑結果を音声として出力するレベルを超え、金融取り引きやショッピングのように、セキュリティが必要な分野で使用されるためには、正確に話者を認識して識別できなければならない。しかしながら、人工知能スピーカ装置は、声を基にユーザを識別するものであり、指紋や虹彩認識のような生体情報を利用したユーザの識別方法または認証方法に比して正確度に劣る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする課題は、前述の問題を解決するためのものであり、話者を正確に認識して識別することができる方法を提供することである。
【課題を解決するための手段】
【０００４】
前述の技術的課題を達成するための技術的手段として、本開示の第１側面は、音声認識装置及び音声認識サーバを含む音声認識システムにおいて話者を検証する方法を提供する。本話者検証方法は、前記音声認識サーバが、前記音声認識装置から、第１話者の音声を含む音声信号を受信する段階と、前記音声認識サーバが、前記音声信号に対して音声認識を実行し、音声認識結果を生成する段階と、前記音声認識サーバが、前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると決定する段階と、前記音声認識サーバが、前記第２話者の携帯装置に前記音声認識結果及び前記音声信号を送信する段階と、前記音声認識サーバが、前記携帯装置から承認入力を受信する段階と、前記音声認識サーバが、前記音声認識結果に対応する動作を実行する段階と、を含む。
【０００５】
本開示の第２側面は、音声認識装置及び携帯装置と通信する通信モジュールと、プロセッサと、を含む音声認識サーバを提供する。前記プロセッサは、前記通信モジュールを利用し、前記音声認識装置から、第１話者の音声を含む音声信号を受信し、前記音声信号に対して音声認識を実行し、音声認識結果を生成し、前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると決定し、前記通信モジュールを利用し、前記第２話者の携帯装置に前記音声認識結果及び前記音声信号を送信し、前記通信モジュールを利用し、前記携帯装置から承認入力を受信し、前記音声認識結果に対応する動作を実行するように構成される。
【０００６】
本開示の第３側面は、音声認識サーバ及び音声認識装置を含む音声認識システムを提供する。前記音声認識装置は、前記音声認識サーバと通信する第１通信モジュールと、オーディオ信号を生成するマイクロフォンと、前記オーディオ信号から音声信号を検出し、前記音声信号を前記音声認識サーバに送信し、前記音声認識サーバから合成音信号を受信する第１プロセッサと、前記合成音信号に対応する合成音を再生するスピーカと、を含む。前記音声認識サーバは、第２プロセッサと、前記音声認識装置及び携帯装置と通信することができる第２通信モジュールと、を含む。前記第２プロセッサは、前記音声認識装置から、第１話者の音声を含む音声信号を受信し、前記音声信号に対して音声認識を実行し、音声認識結果を生成し、前記音声信号から話者特徴ベクトルを抽出し、前記話者特徴ベクトルを登録された話者特徴ベクトルと比較し、前記比較の結果により、前記音声信号の話者が登録された第２話者であると認識し、前記第２話者の携帯装置に前記音声認識結果及び前記音声信号を送信し、前記携帯装置から承認入力を受信し、前記音声認識結果に対応する動作を実行するように構成される。
【０００７】
本開示の第４側面は、音声認識システムの音声認識サーバのプロセッサに、第１側面による話者検証方法を実行させるプログラムを提供することができる。
【０００８】
本開示の第５側面は、第４側面によるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
【発明の効果】
【０００９】
本開示の多様な実施形態によれば、話者検証手続きを介して、話者を正確に識別及び認識することができるため、盗用の心配なしに、話者の命令を実行することができる。さらに、話者検証誤謬または声盗用が発生しても、かような事実を話者当事者が把握することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態による音声認識システムの例示的なネットワーク構成図である。
【図２Ａ】一実施形態による音声認識スピーカ装置の内部構成について説明するためのブロック図である。
【図２Ｂ】他の実施形態による音声認識スピーカ装置の内部構成について説明するためのブロック図である。
【図３】一実施形態による音声認識サーバの内部構成について説明するためのブロック図である。
【図４Ａ】一実施形態による音声認識サーバのプロセッサの内部構成について説明するためのブロック図である。
【図４Ｂ】一実施形態による音声認識サーバのプロセッサの内部構成について説明するためのブロック図である。
【図５Ａ】一実施形態による音声認識システムの話者検証方法について説明するための例示的なフローチャートである。
【図５Ｂ】一実施形態による音声認識システムの話者検証方法について説明するための例示的なフローチャートである。
【図６】一実施形態による、音声認識システムに接続される第２話者の携帯装置の例示的な画面を図示する図面である。
【図７】他の実施形態による音声認識システムの話者検証方法について説明するための例示的なフローチャートである。
【発明を実施するための形態】
【００１１】
以下では、添付した図面を参照し、本発明が属する技術分野で当業者が容易に実施することができるように、本発明の実施形態について詳細に説明する。しかしながら、本発明は、さまざまに異なる形態に具現化され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分を省略し、全体を通じて、類似した部分については、類似した図面符号を付している。
【００１２】
明細書全体において、ある部分が他の部分と「連結／接続」されているとするとき、それは、「直接連結／接続」されている場合だけではなく、その中間に、他の要素を挟んで「電気的に連結／接続」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよい、ということを意味する。
【００１３】
本明細書において、多様な箇所に登場する「一部の実施形態において」または「一実施形態において」というような語句は、必ずしも同一の実施形態を示すものではない。
【００１４】
一部の実施形態は、機能的なブロック構成、及び多様な処理段階によっても示される。かような機能ブロックの一部または全部は、特定機能を実行する多様な個数のハードウェアコンポーネント及び／またはソフトウェアコンポーネントによっても具現化される。例えば、本開示の機能ブロックは、１以上のマイクロプロセッサによって具現化されることもあるし、所定機能のための回路構成によって具現化されることもある。また、例えば、本開示の機能ブロックは、多様なプログラミング言語またはスクリプト言語によって具現化されることもある。かような機能ブロックは、１以上のプロセッサで実行されるアルゴリズムによって具現化されることもある。また、本開示は、電子的な環境設定、信号処理及び／またはデータ処理などのために、従来技術を採用することができる。「モジュール」及び「構成」というような用語は、汎用され、機械的であって物理的な構成として限定されるものではない。
【００１５】
また、図面に図示されている構成要素間の連結／接続線または連結／接続部材は、機能的な連結／接続、及び／または物理的または回路的な連結／接続を例示的に示したものに過ぎない。実際の装置においては、代替可能であったり追加されたりする多様な機能的な連結／接続、物理的または回路的な連結／接続により、構成要素間の連結／接続が示される。
【００１６】
本開示において、音声認識機能は、ユーザの音声を含む音声信号を文字列（または、テキスト）に変換することをいう。かような音声認識機能によって音声信号が変換された文字列（または、テキスト）は、音声認識結果とも呼ばれる。ユーザの音声信号は、音声命令を含み、かような音声認識結果も、音声命令に対応する命令を含み得る。かような音声命令は、音声認識スピーカ装置または音声認識サーバの特定機能を実行することができる。一方、本開示において、音声合成機能は、音声認識機能とは反対に、文字列（または、テキスト）を音声信号に変換することをいう。かような音声合成機能によって文字列（または、テキスト）が変換された音声信号は、合成音信号とも呼ばれる。
【００１７】
本開示において「登録された」という表現は、音声認識システムに、ユーザまたはその関連情報として登録されていることを意味する。「登録されたユーザ」は、音声認識システムにユーザ登録を終えたユーザを意味する。ある一人は、本開示による音声認識システムにユーザとして登録することができ、ユーザとして登録するとき、本人の音声を入力することができる。かような音声認識システムは、ユーザ登録時に入力された音声の音声信号から、話者特徴ベクトルを抽出し、登録されたユーザの関連情報として保存することができる。このように、音声認識システムに保存された話者特徴ベクトルは、登録された話者特徴ベクトルと呼ばれる。また、ユーザ登録時、自己所有の携帯装置の識別番号を共に保存することができる。
【００１８】
かような音声認識システムには、複数のユーザが登録されてよい。本開示において、第１話者は、音声信号の音声を実際に発話した人を意味し、登録された第２話者は、音声認識システムに登録された複数のユーザのうち、音声認識システムが、音声信号の音声を発話したと認識したり決定したりしたユーザを意味する。登録された第２話者は、一般的に、第１話者と同一であるが、音声認識システムの話者誤認識や声盗用が発生する場合、登録された第２話者は、第１話者と異なり得る。
【００１９】
本開示において、キーワードは、単語形態を有するか、あるいは句形態を有することができる。本開示において、ウェークアップキーワード後に発話される音声命令は、自然言語形態の文章形態、単語形態または句形態を有することができる。
【００２０】
以下、添付された図面を参照し、本開示について詳細に説明する。
【００２１】
図１は、一実施形態による音声認識システムの例示的なネットワーク構成図である。
【００２２】
図１を参照すると、音声認識システムのネットワーク環境は、音声認識スピーカ装置１００、音声認識サーバ２００、携帯装置３００及びネットワーク４００を含むと例示的に図示されている。かような音声認識システムは、音声認識スピーカ装置１００及び音声認識サーバ２００を含む。
【００２３】
音声認識スピーカ装置１００は、音声認識装置の一例であり、音声制御機能が搭載され、特定機能を実行するスピーカ装置である。音声認識スピーカ装置１００は、スマートスピーカ装置または人工知能スピーカ装置とも呼ばれる。音声認識スピーカ装置１００は、話者の音声を受信すると、音声と話者とを認識し、音声に含まれている命令を抽出し、命令による動作を実行し、その結果を音声として出力することができる。音声認識スピーカ装置１００が実行することができる特定機能は、例えば、音声情報提供、音楽再生、インターネットショッピング、金融取り引き、電話かけ、メッセージ送信、アラーム設定、及び、ネットワークを介して音声認識スピーカ装置に接続される電子装置または機械装置の制御などを含んでよい。
【００２４】
例えば、音声認識スピーカ装置１００が、ネットワークを介してスマートテレビに接続される場合、特定機能は、チャンネル視聴、チャンネル検索、動画再生及びプログラム検索などを含んでよい。例えば、音声認識スピーカ装置１００がスマート冷蔵庫のような家電機器に接続される場合、特定機能は、冷蔵状態及び冷凍状態の点検、及び温度設定などを含んでよい。しかしながら、本開示において、かような特定機能は前述の機能に限定されるものではない。
【００２５】
音声認識スピーカ装置１００は、無線通信または有線通信を介して、ネットワーク４００を介して、音声認識サーバ２００と通信することができる。
【００２６】
ネットワーク４００の通信方式は、限定されるものではなく、ネットワーク４００に含まれる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用した通信方式だけではなく、音声認識スピーカ装置１００との近距離無線通信も含まれる。例えば、ネットワーク４００は、ＰＡＮ（personal  area  network）、ＬＡＮ（local  area  network）、ＣＡＮ（campus  area  network）、ＭＡＮ（metropolitan  area  network）、ＷＡＮ（wide  area  network）、ＢＢＮ（broadband  network）、インターネットなどのネットワークのうち１以上の任意のネットワークを含んでよい。ネットワーク４００は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター・バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジーのうち任意の１以上を含んでよいが、それらに限定されるものではない。
【００２７】
音声認識サーバ２００は、ネットワーク４００を介して、音声認識スピーカ装置１００と通信し、少なくとも１つのコンピュータ装置によって具現化され得る。音声認識サーバ２００は、クラウド形態に分散され、命令、コード、ファイル、コンテンツなどを提供することができる。
【００２８】
音声認識サーバ２００は、音声認識スピーカ装置１００から受信された音声信号を文字列（または、テキスト）に変換し、音声認識結果を生成することができる。音声認識サーバ２００は、音声認識スピーカ装置１００によって再生される音声を合成し、合成音信号を生成し、合成音信号を音声認識スピーカ装置１００に送信することができる。
【００２９】
音声認識サーバ２００は、音声認識スピーカ装置１００が実行することができる特定機能を実際に実行することができる。例えば、音声情報提供機能の場合、音声認識サーバ２００は、音声認識スピーカ装置１００から受信された音声信号に含まれている情報要求を認識し、それに係わる結果を生成し、合成音信号の形態で、音声認識スピーカ装置１００に送信することができる。電話かけ機能の場合、音声認識サーバ２００は、音声認識スピーカ装置１００から受信された音声信号に含まれている電話かけ要求を認識し、要求に応じて電話かけを実行し、電話かけ時、送信信号と受信信号とを中継することができる。音声認識サーバ２００は、ネットワーク４００を介して、家電機器にも接続され、音声認識サーバ２００は、音声認識スピーカ装置１００から受信された音声信号に含まれている制御命令により、家電機器を制御することができる。
【００３０】
音声認識サーバ２００は、ネットワーク４００を介して、携帯装置３００に接続されることも可能である。音声認識サーバ２００と音声認識スピーカ装置１００とを接続するネットワークと、音声認識サーバ２００と携帯装置３００とを接続するネットワークは、互いに異なる種類であり得る。例えば、音声認識サーバ２００と音声認識スピーカ装置１００とを接続するネットワークは、ＬＡＮまたはインターネットであり、音声認識サーバ２００と携帯装置３００とを接続するネットワークは、移動通信網であり得る。
【００３１】
携帯装置３００は、ユーザが携帯して持ち歩くことができる、無線通信をサポートする電子機器である。例えば、携帯装置３００は、携帯電話機、スマートフォン、タブレットＰＣ（personal  computer）またはノート型ＰＣなどであってよい。携帯装置３００は、電話機能、メッセージ機能またはメッセンジャー機能を有することができ、音声認識サーバ２００から受信された音声信号または映像信号を再生することができる。また、携帯装置３００は、音声信号を音声認識サーバ２００に提供することもできる。携帯装置３００は、一般的に、一個人が使用する電子機器でもある。
【００３２】
図１には、音声認識スピーカ装置１００が、ネットワーク４００を介して、音声認識機能を実行する音声認識サーバ２００に接続されるように図示されているが、これは、例示的なものであり、音声認識スピーカ装置１００は、独立して音声認識機能または音声合成機能を実行することもできる。
【００３３】
図２Ａは、一実施形態による音声認識スピーカ装置１００の内部構成について説明するためのブロック図である。
【００３４】
図２Ａを参照すると、音声認識スピーカ装置１００は、プロセッサ１１０、マイクロフォン１２０、スピーカ１３０及び通信モジュール１４０を含んでよい。音声認識スピーカ装置１００は、図２Ａに図示されている構成要素より多くの構成要素を含んでもよい。例えば、音声認識スピーカ装置１００は、メモリをさらに含んでもよい。音声認識スピーカ装置１００は、通信モジュール１４０を介して、図１のネットワーク４００に接続され、音声認識サーバ２００と通信することができる。
【００３５】
マイクロフォン１２０は、周辺のオーディオを電気的な音響データに変換することにより、オーディオ信号を直接生成することができる。音声認識スピーカ装置１００は、複数のマイクロフォン１２０を含んでもよく、複数のマイクロフォン１２０を利用し、オーディオ信号の入力方向を探し出すことができる。
【００３６】
他の例によれば、音声認識スピーカ装置１００は、通信モジュール１４０を介して、外部装置から送信されたオーディオ信号を受信することもできる。スピーカ１３０は、オーディオ信号を音声に変換し、出力することができる。
【００３７】
プロセッサ１１０は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成され得る。かような命令は、メモリからプロセッサ１１０に提供されるか、あるいは通信モジュール１４０を介して受信され、プロセッサ１１０に提供される。例えば、プロセッサ１１０は、メモリのような記録装置に保存されたプログラムコードにより、命令を実行するように構成される。
【００３８】
プロセッサ１１０は、マイクロフォン１２０で生成されたオーディオ信号から、話者の音声に対応する音声信号を検出し、通信モジュール１４０を介して、検出された音声信号を音声認識サーバ２００に送信することができる。プロセッサ１１０は、キーワードを利用し、オーディオ信号から音声信号を検出することができる。プロセッサ１１０は、オーディオ信号のうち、キーワードに対応するキーワード音声信号を抽出することにより、キーワード音声信号に後続して受信される音声信号を識別することができる。
【００３９】
プロセッサ１１０は、音声認識サーバ２００から合成音信号を受信し、スピーカ１３０を介して、合成音信号に対応する合成音を再生することができる。
【００４０】
図２Ｂは、他の実施形態による音声認識スピーカ装置１００ａの内部構成について説明するためのブロック図である。
【００４１】
図２Ｂを参照すると、音声認識スピーカ装置１００ａは、図２Ａの音声認識スピーカ装置１００に比べ、カメラ１５０をさらに含む。
【００４２】
カメラ１５０は、プロセッサ１１０によって制御され、マイクロフォン１２０から受信されたオーディオ信号において音声信号が検出された時点の映像に対応する映像信号を生成することができる。プロセッサ１１０は、通信モジュール１４０を介して、映像信号を音声認識サーバ２００に送信することができる。カメラ１５０は、例えば、３６０°いずれも撮影することができる３６０°カメラであってもよい。
【００４３】
他の例によれば、音声認識スピーカ装置１００ａは、カメラ１５０の撮影方向を調節することができる。音声認識スピーカ装置１００ａは、音声が発生した方向を感知することができるセンサを含んでもよい。プロセッサ１１０は、音声信号が検出された方向を感知し、カメラ１５０の撮影方向を、音声信号が検出された方向に調節することができる。このとき、プロセッサ１１０から音声認識サーバ２００に送信される映像信号は、話者の音声が発生した方向の映像を含んでよい。
【００４４】
さらに他の例によれば、音声認識スピーカ装置１００ａは、周辺３６０を撮影するように、一定間隔に配置される複数のカメラ１５０を含んでもよい。音声認識スピーカ装置１００ａは、音声が発生した方向を感知することができるセンサを含んでもよい。プロセッサ１１０は、音声信号が検出された方向を感知し、複数のカメラ１５０のうち、音声信号が検出された方向を撮影することができるカメラ１５０を利用し、話者の音声が発生した方向の映像に対応する映像信号を取得することができる。
【００４５】
図３は、一実施形態による音声認識サーバ２００の内部構成について説明するためのブロック図である。
【００４６】
図３を参照すると、音声認識サーバ２００は、プロセッサ２１０、メモリ２２０及び通信モジュール２３０を含む。音声認識サーバ２００は、図３に図示されている構成要素より多くの構成要素を含んでもよい。例えば、音声認識サーバ２００は、入出力装置をさらに含んでもよい。
【００４７】
通信モジュール２３０は、ネットワーク４００を介して音声認識サーバ２００が音声認識スピーカ装置１００及び携帯装置３００と通信するための機能を提供することができる。音声認識サーバ２００は、通信モジュール２３０を介して、図１のネットワーク４００に接続され、音声認識スピーカ装置１００及び携帯装置３００と通信することができる。
【００４８】
メモリ２２０は、コンピュータ読み取り可能な記録媒体であり、ＲＡＭ（random  access  memory）、ＲＯＭ（read-only  memory）及びディスクドライブのような永続的大容量記録装置を含んでよい。メモリ２２０には、オペレーティングシステムと、少なくとも１つのプログラムコード（例えば、音声認識サーバ２００においてインストールされて実行される音声認識アプリケーション、音声合成アプリケーションなどのためのコード）と、が保存される。かようなソフトウェアコンポーネントは、通信モジュール２３０を利用し、通信を介して、メモリ２２０にロードされる。例えば、少なくとも１つのプログラムは、開発者、またはアプリケーションのインストールファイルを配布するファイル配布システムが、ネットワーク４００を介して提供するファイルによってインストールされるプログラムに基づき、メモリ２２０にロードされる。
【００４９】
プロセッサ２１０は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成され得る。プロセッサ２１０は、メモリ２２０に保存されたプログラムコードによって命令を実行するように構成され得る。
【００５０】
プロセッサ２１０は、音声認識スピーカ装置１００から、第１話者の音声を含む音声信号を受信し、音声信号に対して音声認識を実行し、音声認識結果を生成するように構成され得る。例えば、プロセッサ２１０は、音声信号に対する音声認識を実行するために、音声信号の周波数特性を抽出し、音響モデル及び言語モデルを利用して音声認識を実行することができる。かような周波数特性は、音響入力の周波数スペクトルを分析して抽出される音響入力の周波数成分の分布を意味する。音響モデル及び言語モデルは、メモリ２２０にも保存される。ただし、音声認識方法は、これに限定されるものではなく、音声信号を文字列（または、テキスト）に変換する多様な技術が使用される。
【００５１】
プロセッサ２１０は、音声信号を分析し、音声信号に含まれている音声を発話した話者がだれであるかを決定することができる。例えば、かような音声信号から、話者特徴ベクトルを抽出し、話者特徴ベクトルを登録された話者特徴ベクトルと比較し、この比較の結果により、音声信号の話者が、登録された第２話者であると決定するように構成され得る。登録された話者特徴ベクトルは、メモリ２２０に事前に保存されている。音声認識サーバ２００には、複数の話者が、音声認識スピーカ装置１００のユーザとして登録されることもあり、その場合、メモリ２２０には、複数の登録された話者特徴ベクトルが保存される。登録された話者特徴ベクトルは、登録された話者にそれぞれ対応する。
【００５２】
プロセッサ２１０は、音声信号の話者が第２話者であると決定するために、音響モデルから抽出された事後情報（states  posteriors）、一般的背景モデル及び全体変異性変換情報のうち少なくとも一つを利用し、音声信号の周波数特性から話者特徴ベクトルを生成することができる。プロセッサ２１０は、生成された話者特徴情報と、メモリ２２０に保存された登録された話者特徴ベクトルと、に基づいて、音声信号の話者が、登録された話者であるか否かを決定することができる。メモリ２２０には、事後情報、一般的背景モデル、全体変異性変換情報、及び登録された話者情報のうち少なくとも一つが保存される。
【００５３】
プロセッサ２１０は、第２話者の携帯装置３００に音声認識結果及び音声信号を送信し、第２話者の携帯装置３００から承認入力を受信するように構成され得る。第２話者の登録された携帯装置３００についての情報は、メモリ２２０に事前に保存されている。第２話者が、音声認識スピーカ装置１００を介して、音声認識サーバ２００に、音声認識スピーカ装置１００のユーザとして登録するとき、自身の携帯装置３００についての情報（例えば、携帯装置３００の識別番号）を共に登録することができる。
【００５４】
プロセッサ２１０は、音声認識結果に対応する動作を実行するように構成され得る。プロセッサ２１０は、音声認識結果に対応する機能を決定し、かような機能を実行することができる。プロセッサ２１０は、動作の実行結果を報告するための合成音信号を生成するように構成され得る。プロセッサ２１０は、合成音信号を音声認識スピーカ装置１００に送信するように構成され得る。
【００５５】
音声認識サーバ２００は、入出力装置として、マイクロフォンまたはスピーカをさらに含んでもよい。音声認識サーバ２００は、音声信号を直接生成し、合成音を直接再生することもできる。
【００５６】
図４Ａは、一実施形態による音声認識サーバのプロセッサの内部構成について説明するためのブロック図である。
【００５７】
図４Ａを参照すると、音声認識サーバ２００のプロセッサ２１０は、音声信号受信部２１１、音声認識部２１２、話者認識部２１３、話者検証部２１４及び機能部２１５を含む。音声認識サーバ２００は、合成音信号生成部２１６をさらに含んでもよい。話者認識部２１３は、話者特徴ベクトル抽出部２１３ａ、話者特徴ベクトル比較部２１３ｂ及び登録話者決定部２１３ｃを含む。
【００５８】
音声信号受信部２１１は、音声認識スピーカ装置１００から、第１話者の音声を含む音声信号を受信する。
【００５９】
音声認識部２１２は、音声信号受信部２１１によって受信された音声信号に対して音声認識を実行し、音声認識結果を生成する。音声認識部２１２は、音声信号に対して音声認識を実行し、話者の音声を文字列（または、テキスト）に変換することができる。音声認識部２１２は、変換された文字列（または、テキスト）を自然言語処理し、音声信号に含まれている話者の命令を抽出することができる。音声認識結果は、話者の命令を含み、かような音声認識結果に対応する動作は、話者の命令による動作を意味する。
【００６０】
話者認識部２１３は、音声信号受信部２１１によって受信された音声信号の話者が、第２話者であると決定する。第２話者は、音声認識システムに、音声認識スピーカ装置１００のユーザとして登録された話者である。例えば、話者特徴ベクトル抽出部２１３ａは、音声信号受信部２１１によって受信された音声信号から、話者特徴ベクトルを抽出する。話者特徴ベクトル抽出部２１３ａは、時間領域ベースの音声信号を周波数領域の信号に変換し、変換された信号の周波数エネルギーを、互いに異なるように変形することにより、話者特徴ベクトルを抽出することができる。例えば、かような話者特徴ベクトルは、メル周波数ケプストラム係数またはフィルタバンクエネルギーを基に抽出されるが、それらに限定されるものではなく、多様な方式で、オーディオデータから話者特徴ベクトルを抽出することができる。
【００６１】
話者特徴ベクトル比較部２１３ｂは、話者特徴ベクトル抽出部２１３ａによって抽出された話者特徴ベクトルを、メモリ２２０に保存された登録された話者特徴ベクトルと比較する。メモリ２２０には、複数の登録された話者特徴ベクトルが存在し、話者特徴ベクトル比較部２１３ｂは、抽出された話者特徴ベクトルを、複数の登録された話者特徴ベクトルと比較し、最も類似度が高い登録された話者特徴ベクトルを決定する。登録話者決定部２１３ｃは、話者特徴ベクトル比較部２１３ｂの比較の結果により、音声信号の話者が登録された第２話者であると決定する。登録話者決定部２１３ｃは、最も類似度が高い登録された話者特徴ベクトルの話者を、音声信号の話者に決定する。登録された話者特徴ベクトルが、いずれも事前に設定された基準値を超える類似度を有していない場合、登録話者決定部２１３ｃは、音声信号の話者が登録された話者ではないと決定することができる。このとき、プロセッサ２１０は、音声認識結果に対応する動作を実行しないか、あるいは音声認識結果に対応する動作が、だれもが実行することができる動作に設定されている場合に限り、当該動作を実行することができる。
【００６２】
話者検証部２１４は、話者認識部２１３によって決定された第２話者の携帯装置に、音声認識部２１３によって生成された音声認識結果と、音声信号受信部２１１によって受信された音声信号と、を送信する。第２話者の携帯装置の識別番号は、メモリ２２０に事前に保存されている。話者検証部２１４は、第２話者の携帯装置から承認入力を受信することができる。
【００６３】
機能部２１５は、話者検証部２１４から承認入力を受信すると、音声認識部２１３によって生成された音声認識結果に対応する動作を実行する。機能部２１５は、音声信号の話者が登録された話者ではないと決定された場合、音声認識結果に対応する動作を実行しない。機能部２１５は、話者検証部２１４から拒絶入力を受信すると、音声認識結果に対応する動作を実行しない。
【００６４】
合成音信号生成部２１６は、機能部２１５が動作を実行した場合、動作の実行結果を報告するための合成音信号を生成する。合成音信号生成部２１６は、音声信号の話者が、登録された話者ではないと決定され、音声認識結果に対応する動作が実行されない場合や、話者検証部２１４で承認入力が受信されず、音声認識結果に対応する動作が実行されない場合には、動作が実行されていないということを報告するための合成音信号を生成することができる。
【００６５】
他の実施形態によれば、プロセッサ２１０は、音声認識スピーカ装置１００から映像信号を受信する映像信号受信部をさらに含んでもよい。このとき、話者検証部２１４は、映像信号受信部によって受信された映像信号を、第２話者の携帯装置に送信することができる。
【００６６】
他の実施形態によれば、プロセッサ２１０は、話者ベクトル改善部をさらに含むように構成される。話者検証部２１４が、第２話者の携帯装置から承認入力を受信すると、受信された音声信号の話者が、第２話者であるか否かということが確認されたわけであるので、話者ベクトル改善部は、受信された音声信号から抽出された話者特徴ベクトルを利用し、メモリ２２０に保存された第２話者の登録された話者特徴ベクトルを改善することができる。かような話者特徴ベクトル改善部は、音声信号で抽出された話者特徴ベクトルを利用した適応訓練方式を介して、第２話者の登録された話者特徴ベクトルを生成し、新たに生成された話者特徴ベクトルが、適応訓練以前の登録された話者特徴ベクトルに比べ、適応訓練性能が上昇した場合、新たに生成された話者特徴ベクトルを、メモリ２２０に保存することにより、登録された話者特徴ベクトルを改善することができる。
【００６７】
図４Ｂは、一実施形態による音声認識サーバのプロセッサの内部構成について説明するためのブロック図である。
【００６８】
図４Ｂを参照すると、音声認識サーバ２００のプロセッサ２１０ａは、音声信号受信部２１１、音声認識部２１２、話者認識部２１３、検証いかん決定部２１７、話者検証部２１４、機能部２１５及び合成音信号生成部２１６を含む。
【００６９】
検証いかん決定部２１７は、音声認識結果に対応する動作、及び第２話者の設定のうち少なくとも一つを基に、話者検証部２１４の動作を実行するか否かを決定する。
【００７０】
一例によれば、検証いかん決定部２１７は、音声認識結果による動作が、第２話者が事前に設定した事前承認動作リストに含まれる場合、話者検証部２１４の動作を実行するように決定することができる。かような事前承認動作リストは、メモリ２２０に保存され、音声認識スピーカ装置１００を介して実行することができる動作または機能のうち一部が、事前に設定した事前承認動作リストにも含まれる。例えば、金融取り引きやインターネットショッピング、メッセージ送信のような動作が、事前に設定した事前承認動作リストに含まれる。かような事前承認動作リストに含まれる動作は、登録された話者ごとに異なるようにも設定される。
【００７１】
他の例によれば、音声認識結果による動作が、第２話者が事前に設定した事後通知動作リストに含まれる場合、検証いかん決定部２１７は、機能部２１５により音声認識結果に対応する動作がまず実行され、第２話者の携帯装置に音声認識結果及び音声信号を送信するように決定することができる。かような事後通知動作リストは、メモリ２２０に保存され、音声認識スピーカ装置１００が実行することができる動作のうち一部の動作が、事前に設定した事後通知動作リストにも含まれる。例えば、電話かけ、設定変更のような動作が、事前に設定した事後通知動作リストにも含まれる。かような事後通知動作リストに含まれる動作は、登録された話者ごとに異なるようにも設定される。
【００７２】
さらに他の例によれば、検証いかん決定部２１７は、第２話者の携帯装置の位置及び現在時間のうち少なくとも一つが、事前承認条件に符合する場合、話者検証部２１４の動作を実行するように決定することができる。例えば、第２話者の携帯装置が、音声認識スピーカ装置１００の位置の近くに位置する場合、例えば、第２話者の携帯装置と、音声認識スピーカ装置１００と同一無線Ｗｉ−Ｆｉ（登録商標）アクセスポイントに接続される場合や、第２話者の携帯装置のＧＰＳ（global  position  system）位置または無線網接続位置が、音声認識スピーカ装置１００の位置と実質的に一致する場合、第２話者が、音声信号受信部２１１によって受信された音声信号に対応する音声を実際に発話した可能性が高いので、検証いかん決定部２１７は、話者検証部２１４の動作を省略することができる。登録された話者は、かような話者検証部２１４の動作の省略いかんをそれぞれ設定することができる。
【００７３】
検証いかん決定部２１７は、第２話者が設定した時間、例えば、平日の昼時間には、話者検証部２１４の動作を実行するように決定することができる。例えば、会社員である第２話者は、平日の昼時間には、家にいない可能性が高いので、家に位置する音声認識スピーカ装置１００が、第２話者の音声を受信する可能性は低い。検証いかん決定部２１７は、かような場合、話者検証部２１４の動作を実行するように決定することができる。登録された話者は、時間を基に、話者検証部２１４の動作を実行するか否かをそれぞれ設定することができる。
【００７４】
事前承認条件は、登録された話者によって事前に設定され、メモリ２２０にも保存される。また、かような事前承認条件は、登録された話者の行動パターンに基づいても決定される。登録された話者の行動パターンは、登録された話者の携帯装置の位置を基にも生成される。例えば、検証いかん決定部２１７は、登録された話者の携帯装置の位置を、長時間の間収集することができる。検証いかん決定部２１７は、収集された携帯装置の位置を分析し、登録された話者が、音声認識スピーカ装置１００の近くに位置しない時間帯を決定することができる。検証いかん決定部２１７は、現在時間が、この時間帯に該当する場合、話者検証部２１４の動作を実行するように自動的に決定することができる。
【００７５】
図５Ａ及び図５Ｂは、一実施形態による音声認識システムの話者検証方法について説明するための例示的なフローチャートである。
【００７６】
図５Ａ及び図５Ｂを参照すると、音声認識システムは、音声認識スピーカ装置１００及び音声認識サーバ２００を含む。第２話者の携帯装置３００は、ネットワークを介して音声認識サーバ２００に接続される。
【００７７】
音声認識スピーカ装置１００は、マイクロフォン１２０（図２Ａ）を利用し、周辺の音を電気的に変換し、オーディオ信号を生成することができる（Ｓ１０１）。
【００７８】
音声認識スピーカ装置１００は、オーディオ信号から音声信号を検出することができる（Ｓ１０２）。かような音声信号は、ユーザの音声を含み得る。ここで、ユーザを第１話者とする。かような音声は、ユーザの音声命令を含み得る。かような音声命令には、音声情報検索、電話かけ、メッセージ送信、金融取り引き、インターネットショッピング、食べ物配達、周辺家電機器制御、スマートホーム制御などが含まれてよい。本例においては、音声命令が金融取り引きに係わるものであり、第１話者の音声が、「Ｂに１００万ウォンを送金せよ」であると仮定する。第１話者の音声には、音声認識スピーカ装置１００をウェークアップさせるためのトリガキーワードが含まれてもよい。音声認識スピーカ装置１００は、トリガキーワードを認識することにより、オーディオ信号から音声信号を検出することができる。
【００７９】
音声認識スピーカ装置１００は、音声信号を音声認識サーバ２００に送信し（Ｓ１０３）、音声認識サーバ２００は、音声認識スピーカ装置１００から音声信号を受信する（Ｓ２０１）。
【００８０】
音声認識サーバ２００は、音声信号に対して音声認識を実行し、音声認識結果を生成する（Ｓ２０２）。音声認識サーバ２００は、音声信号の周波数特性を抽出し、音響モデル及び言語モデルを利用し、音声認識を実行することができる。音声認識サーバ２００は、音声信号を文字列に変換し、文字列を自然言語処理することにより、音声認識結果を生成することができる。かような音声認識結果は、音声命令を含み得る。
【００８１】
音声認識サーバ２００は、音声信号から、話者特徴ベクトルを抽出する（Ｓ２０３）。音声認識サーバ２００は、音響モデルから抽出された事後情報、一般的背景モデル及び全体変異性変換情報のうち少なくとも一つを利用し、音声信号の周波数特性から話者特徴ベクトルを生成することができる。
【００８２】
音声認識サーバ２００は、抽出された話者特徴ベクトルと、登録された話者特徴ベクトルと、を比較する（Ｓ２０４）。登録された話者特徴ベクトルは、メモリ２２０（図３）にも保存され、ユーザが音声認識システムに登録するとき、入力されるユーザの音声を基に事前に生成される。
【００８３】
音声認識サーバ２００は、Ｓ２０４段階の比較の結果により、音声信号の話者が登録された第２話者であると決定する（Ｓ２０５）。Ｓ２０４段階において、音声認識サーバ２００は、抽出された話者特徴ベクトルを、登録された話者特徴ベクトルそれぞれと比較することができる。この比較の結果、登録された話者特徴ベクトルのうち、抽出された話者特徴ベクトルと最も類似度が高い登録された話者特徴ベクトルが決定される。音声認識サーバ２００は、最も類似度が高い登録された話者特徴ベクトルのユーザが、音声信号の話者であると決定し、ここで、最も類似度が高い登録された話者特徴ベクトルに対応するユーザを第２話者とする。かような第２話者は、一般的に第１話者と同一である。しかしながら、音声認識サーバ２００の話者認識機能の誤謬により、第２話者は、第１話者と異なることもある。
【００８４】
例えば、第１話者が音声命令を発話したが、音声認識サーバ２００は、話者認識機能の誤謬により、この音声命令を、第１話者と異なる第２話者が発話したと認識する。その場合、音声認識サーバ２００は、第２話者が、「Ｂに１００万ウォン送金せよ」と発話したと認識することになり、音声認識サーバ２００は、第２話者の口座からＢに１００万ウォンを送金する問題が発生する。
【００８５】
他の例として、第１話者が第２話者の声を真似て音声命令を発話し、音声認識サーバ２００は、この音声命令を第２話者が発話したと認識してしまう。その場合、声盗用による場合である。その場合にも、音声認識サーバ２００は、第２話者が、「Ｂに１００万ウォン送金せよ」と発話したと認識することになり、音声認識サーバ２００は、第２話者の口座からＢに１００万ウォンを送金する問題が発生する。
【００８６】
音声認識サーバ２００は、かような問題を解消するために、さらなる話者検証手続きを実行することができる。音声認識サーバ２００は、音声認識結果及び音声信号を第２話者の携帯装置３００に送信することができる。第２話者が、音声認識システムに、音声認識スピーカ装置１００のユーザとして登録するとき、自分の携帯装置３００の識別番号を入力することができ、第２話者の携帯装置３００の識別番号は、メモリ２２０に保存される。
【００８７】
一方、音声認識サーバ２００は、Ｓ２０４段階の比較の結果により、音声信号の話者が、事前に登録されたユーザではないと決定することができる。抽出された話者特徴ベクトルと登録された話者特徴ベクトルとの類似度が、事前に設定された基準類似度を超えない場合、音声認識サーバ２００は、音声信号の話者が、事前に登録されていないと決定し、音声命令による動作を実行しない。その場合、音声認識サーバ２００は、即座にＳ２０９段階に進み、動作が実行されなかったことを報告するための合成音を生成することができる。その場合にも、音声命令の内容が、だれにも可能なように設定されたものであるならば、音声認識サーバ２００は、音声信号の話者が事前に登録されていないとしても、音声命令による動作を実行することができる。その場合、音声認識サーバ２００は、話者検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を省略し、即座にＳ２０８段階に進み、音声命令による動作を実行することができる。一実施形態によれば、音声命令による動作が、だれにも可能である動作である場合、音声認識サーバ２００は、Ｓ２０３−Ｓ２０５段階を実行しない。
【００８８】
第２話者の携帯装置３００は、音声認識サーバ２００から、音声認識結果及び音声信号を受信する（Ｓ３０１）。前述のように、第２話者は、実際に音声信号に含まれている音声を発話した第１話者と同じであることもあるし、同じでないこともある。
【００８９】
携帯装置３００は、音声認識結果を表示することができる（Ｓ３０２）。図６は、一実施形態による、音声認識システムに接続される第２話者の携帯装置の例示的な画面を図示している。
【００９０】
図６に図示されているように、携帯装置３００のディスプレイウィンドウ３１０上には、「音声認識スピーカ装置で次の命令が実行されました」という文言３０１が表示される。受信された音声認識結果、または音声認識結果に含まれている音声命令が、文言３０１の下の領域３０２に表示される。本例において、領域３０２には、「Ｂに１００万ウォンを送金せよ」という文言が表示される。
【００９１】
ディスプレイウィンドウ３１０には、音声認識スピーカ装置１００が検出した音声信号を再生することができる再生ボタン３０３が表示される。第２話者が再生ボタン３０３をタッチした場合、音声認識サーバ２００から受信された音声信号が再生される。
【００９２】
ディスプレイウィンドウ３１０には、「承認ですか」という文言３０４が表示される。文言３０４の下に、承認ボタン３０５と拒絶ボタン３０６とが表示される。第２話者は、受信された音声認識結果、または再生された音声を確認した後、承認ボタン３０５をタッチすることにより、音声認識サーバ２００が、音声認識結果の音声命令による動作を実行するように承認することができる。第２話者は、自分が発話していないか、あるいは受信された音声認識結果が自分が発話した音声命令と異なるものであるならば、拒絶ボタン３０６をタッチすることにより、音声認識サーバ２００が、音声認識結果に対応する動作を実行しないようにする。音声認識サーバ２００の話者認識機能に誤謬があるか、あるいは第２話者が、自分の声を盗用された場合、第２話者が携帯装置３００を利用し、音声認識結果に対応する動作を実行しないようにすることにより、被害を防止することができる。
【００９３】
ディスプレイウィンドウ３１０には、申し出ボタン３０７が表示される。第２話者は、再生ボタン３０３をタッチして再生された音声を聞いた後、自分の声が盗用されたと判断する場合、申し出ボタン３０７をタッチし、声盗用事実を関連金融会社、官庁、または音声認識システムのメーカーのような外部機関に申し出ることができる。その場合、携帯装置３００は、声盗用に係わる情報と共に、音声認識サーバ２００から受信された音声信号を外部機関に送信することができる。
【００９４】
ディスプレイウィンドウ３１０には、音声フィードバック送りボタン３０８が表示される。第２話者が、音声フィードバック送りボタン３０８をタッチすると、音声認識スピーカ装置１００から出力される音声を入力することができる。第２話者は、音声フィードバック送りボタン３０８をタッチした後、声盗用者などに伝える応答音声を発話することができる。携帯装置３００は、応答音声に対応する応答音声信号を生成し、応答音声信号を音声認識サーバ２００に送信することができる。音声認識サーバ２００は、応答音声信号を受信し、音声認識スピーカ装置１００に伝達することができる。音声認識スピーカ装置１００は、音声認識サーバ２００から送信された応答音声信号を受信し、応答音声信号に対応する第２話者の応答音声を出力することができる。
【００９５】
他の実施形態によれば、ディスプレイウィンドウ３１０には、音声通信ボタンが表示され、第２話者が音声通信ボタンをタッチすれば、音声認識スピーカ装置１００と携帯装置３００との間で音声を送受信することができるセッションが確立される。第２話者は、確立されたセッションを介して、音声認識スピーカ装置１００の周辺に位置する人と音声をやり取りすることができる。例えば、第１話者が第２話者の家族である場合、第１話者は、第２話者に、音声認識結果による動作が必要な理由について説明し、第２話者は、第１話者の説明を聞いた後、当該動作を承認することもできる。携帯装置３００は、音声認識スピーカ装置１００と直接接続されるか、あるいは音声認識サーバ２００の中継下で音声認識スピーカ装置１００とも接続される。
【００９６】
再び図５Ａ及び図５Ｂを参照すると、携帯装置３００は、ディスプレイウィンドウ３１０の領域３０２上に、音声認識結果を表示することができる（Ｓ３０２）。また、携帯装置３００は、第２話者が再生ボタン３０３をタッチすることにより、音声信号を再生することができる（Ｓ３０３）。
【００９７】
携帯装置３００は、第２話者が、承認ボタン３０５をタッチすることにより、承認入力を受信するか、あるいは、第２話者が拒絶ボタン３０６をタッチすることにより、拒絶入力を受信することができる（Ｓ３０４）。携帯装置３００は、承認入力または拒絶入力を、音声認識サーバ２００に送信することができる（Ｓ３０５）。携帯装置３００は、事前に設定された時間の間、承認入力が受信されなければ、拒絶入力が受信されたと見なし、拒絶入力を音声認識サーバ２００に送信することができる。
【００９８】
音声認識サーバ２００は、携帯装置３００から承認入力または拒絶入力を受信することができる（Ｓ２０７）。音声認識サーバ２００は、承認入力を受信した場合、音声認識結果に対応する動作を実行し、拒絶入力を受信した場合、音声認識結果に対応する動作を実行しない（Ｓ２０８）。本例において、音声認識サーバ２００は、承認入力を受信した場合、第２話者の口座からＢに１００万ウォンを送金することができる。音声認識サーバ２００は、拒絶入力を受信した場合、Ｂに１００万ウォンを送金しない。
【００９９】
音声認識サーバ２００は、音声認識結果に対応する動作を実行した後、動作の実行結果を報告するための合成音信号を生成する（Ｓ２０９）。このとき、かような合成音信号は、例えば、「第２話者の口座からＢに１００万ウォンを送金しました」という合成音に対応する。音声認識サーバ２００は、音声認識結果に対応する動作を実行しない場合、動作の不実行を報告するための合成音信号を生成する（Ｓ２０９）。このとき、かような合成音信号は、例えば、「第２話者の不承認により、Ｂに１００万ウォンを送金していません」という合成音に対応する。音声認識サーバ２００は、生成された合成音信号を、音声認識スピーカ装置１００に送信することができる（Ｓ２１０）。
【０１００】
音声認識スピーカ装置１００は、合成音信号を受信し（Ｓ１０４）、合成音信号に対応する合成音を再生することができる（Ｓ１０５）。従って、音声信号の音声を発話した第１話者は、自分の音声命令の実行結果を直接確認することができる。
【０１０１】
他の実施形態により、音声認識スピーカ装置１００がカメラ１５０（図２Ｂ）を含む場合、Ｓ１０２段階において、音声認識スピーカ装置１００は、カメラ１５０を利用し、音声信号が検出された時点の映像を含む映像信号を生成することができる。また、Ｓ１０３段階において、音声認識スピーカ装置１００は、音声信号と共に、映像信号を音声認識サーバ２００に送信することができる。
【０１０２】
Ｓ２０１段階において、音声認識サーバ２００は、音声認識スピーカ装置１００から映像信号を受信し、Ｓ２０６段階において、音声認識結果及び音声信号と共に映像信号を第２話者の携帯装置３００に送信することができる。
【０１０３】
その場合、携帯装置３００は、映像信号を表示することができるインターフェース、例えば、映像表示ボタンを有することができる。第２話者が映像信号を表示するために、映像表示ボタンをタッチすれば、携帯装置３００が映像信号の映像を表示することにより、第２話者は、自分が発話していない音声認識結果を受信した場合、音声を発話した人が含まれている映像を確認することができる。かような映像信号は、第１話者の音声が発生した方向の映像を含んでよい。かような映像信号は、動画信号でもある。携帯装置３００は、動画信号を再生することができるインターフェース、例えば、映像再生ボタンを有することができる。第２話者が映像再生ボタンをタッチすれば、携帯装置３００は、動画信号に含まれている動画を再生することができる。
【０１０４】
他の実施形態により、Ｓ２０７段階において、音声認識サーバ２００が、携帯装置３００から承認入力を受信した場合、第１話者と第２話者との同一性が確認されたことであるので、音声認識サーバ２００は、抽出された話者特徴ベクトルを利用し、第２話者の登録された話者特徴ベクトルを改善することができる。
【０１０５】
図７は、他の実施形態による音声認識システムの話者検証方法について説明するための例示的なフローチャートである。
【０１０６】
図７を参照すると、他の実施形態による話者検証方法によれば、図５のＳ２０５段階が実行された後、音声認識サーバ２００は、音声認識結果に対応する動作、及び第２話者の設定のうち少なくとも一つを基に、第２話者の携帯装置３００を利用した検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）の実行いかんを決定することができる（Ｓ２１１）。
【０１０７】
Ｓ２１１段階において、検証手続きを実行すると決定した場合、音声認識サーバ２００は、Ｓ２０６段階に進み、音声認識結果及び音声信号を送信することができる。しかしながら、Ｓ２１１段階において、検証手続きを実行しないと決定した場合、音声認識サーバ２００は、検証手続きを省略し、Ｓ２０８段階に進み、音声認識結果に対応する動作を実行することができる。
【０１０８】
一例によれば、音声認識結果による動作が、第２話者が事前に設定した事前承認動作リストに含まれる場合、Ｓ２１１段階において、音声認識サーバ２００は、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を実行するように決定することができる。事前承認動作リストは、メモリ２２０（図３）に保存され得る。かような事前承認動作リストには、音声認識スピーカ装置１００を介して実行することができる動作のうち、第２話者が事前に選択した一部の動作が含まれる。例えば、第２話者は、金融取り引きやインターネットショッピング、メッセージ送信のような動作を選択し、かような事前承認動作リストに含めることができる。
【０１０９】
他の例によれば、Ｓ２１１段階において、音声認識サーバ２００は、第２話者の携帯装置３００の位置及び現在時間のうち少なくとも一つが、事前承認条件に符合する場合、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を実行するように決定することができる。例えば、第２話者の携帯装置３００が、音声認識スピーカ装置１００から離れて位置する場合、第２話者が、音声信号に対応する音声を実際に発話した可能性が低いので、Ｓ２１１段階において、音声認識サーバ２００は、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を実行するように決定することができる。しかしながら、第２話者の携帯装置３００が、音声認識スピーカ装置１００の近くに位置する場合、Ｓ２１１段階において、音声認識サーバ２００は、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を省略することができる。かような事前承認条件は、携帯装置３００の位置以外にも、第２話者が設定した時間帯を基に決定される。
【０１１０】
例えば、Ｓ２１１段階において、音声認識サーバ２００は、現在時間が、第２話者が設定した時間、例えば、平日の昼時間に該当する場合、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を実行するように決定することができる。例えば、第２話者は、自分が家にいないであろう時間帯を事前に設定することができる。かような事前承認条件は、登録された話者ごとに異なって設定される。
【０１１１】
かような事前承認条件は、登録された話者によって事前に設定され、メモリ２２０に保存される。例えば、かような事前承認条件は、登録された話者の携帯装置３００の位置を基に生成される登録された話者の行動パターンに基づいても決定される。音声認識サーバ２００は、登録された話者の携帯装置３００の位置を収集することができる。音声認識サーバ２００は、収集された携帯装置３００の位置を分析して、登録された話者が、音声認識スピーカ装置１００から遠く離れて位置する時間帯を決定することができる。音声認識サーバ２００は、現在時間が、かような時間帯に該当する場合、検証手続き（Ｓ２０６、Ｓ３０１−Ｓ３０５、Ｓ２０７）を実行するように自動的に決定することができる。
【０１１２】
さらに他の例によれば、音声認識結果による動作が、第２話者が事前に設定した事後通知動作リストに含まれる場合、音声認識サーバ２００は、Ｓ２０９段階をまず実行し、事後通知手続き（Ｓ２０６、Ｓ３０１−Ｓ３０３）を後で実行するように決定することができる。かような事後通知動作リストは、メモリ２２０に保存され、かような事後通知動作リストには、音声認識スピーカ装置１００が実行することができる動作のうち、第２話者が選択した一部の動作が含まれる。例えば、電話かけ、設定変更のような動作が、事前に設定した事後通知動作リストに含まれる。かような事後通知動作リストに含まれる動作は、登録された話者ごとに異なって設定される。
【０１１３】
上記で説明された本発明による実施形態は、コンピュータ上で多様な構成要素を介して実行されるコンピュータプログラムの形態で具現化され、かようなコンピュータプログラムは、コンピュータ読み取り可能な媒体に記録される。かような媒体は、コンピュータ実行可能なプログラムを続けて保存するものであってもよいし、実行またはダウンロードのために一時的に保存するものであってもよい。また、かような媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または保存手段であってよいが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散されて存在するものであってもよい。かような媒体の例は、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact  disc  read  only  memory）及びＤＶＤ（digital  versatile  disc）のような光記録媒体；フロプティカルディスク（floptical  disk）のような光磁気媒体；及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が保存されるように構成されたものがある。また、他の媒体の例として、アプリケーションを配布するアプリケーションストアやその他多様なソフトウェアを供給したり配布したりするサイト、サーバなどで管理する記録媒体も挙げられる。
【０１１４】
本明細書において、「部」、「モジュール」というものなどは、プロセッサまたは回路のようなハードウェアコンポーネント、及び／またはプロセッサのようなハードウェアコンポーネントによって実行されるソフトウェアコンポーネントであり得る。例えば、「部」、「モジュール」などは、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネント及びタスクコンポーネントのようなコンポーネント；プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数によって具現化され得る。
【０１１５】
前述の本発明の説明は、例示のためのものであり、本発明が属する技術分野の当業者であれば、本発明の技術的思想や必須な特徴を変更せずとも、他の具体的な形態で容易に変形が可能であるということを理解することができるであろう。従って、上記で説明した実施形態は、全ての面で例示的なものであり、限定的ではないと理解しなければならない。例えば、単一型と説明されている各構成要素は、分散されて実施されることもあり、同様に、分散されていると説明されている構成要素は、結合された形態で実施されることもある。
【０１１６】
本発明の範囲は、前述の詳細な説明ではなく、特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、並びにその均等概念から導出される全ての変更されたり変形されたりする形態が、本発明の範囲に含まれるものであると解釈されなければならない。
【産業上の利用可能性】
【０１１７】
本発明の実施形態に係る話者検証方法及び音声認識システムは、例えば、セキュリティ関連の技術分野に効果的に適用可能である。
【符号の説明】
【０１１８】
１００，１００ａ    音声認識スピーカ装置
１１０              プロセッサ
１２０              マイクロフォン
１３０              スピーカ
１４０              通信モジュール
１５０              カメラ
２００              音声認識サーバ
２１０，２１０ａ    プロセッサ
２１１              音声信号受信部
２１２              音声認識部
２１３              話者認識部
２１３ａ            話者特徴ベクトル抽出部
２１３ｂ            話者特徴ベクトル比較部
２１３ｃ            登録話者決定部
２１４              話者認証部
２１５              機能部
２１６              合成音信号生成部
２１７              検証いかん決定部
２２０              メモリ
２３０              通信モジュール
３００              携帯装置
４００              ネットワーク
【図１】
2019028465.tif 000003
【図２Ａ】
2019028465.tif 000004
【図２Ｂ】
2019028465.tif 000005
【図３】
2019028465.tif 000006
【図４Ａ】
2019028465.tif 000007
【図４Ｂ】
2019028465.tif 000008
【図５Ａ】
2019028465.tif 000009
【図５Ｂ】
2019028465.tif 000010
【図６】
2019028465.tif 000011
【図７】
2019028465.tif 000012