(57)【要約】  言語に基づくサービス呼び掛けのためのシステムおよび方法が提供される。本システムは、１つ以上のプロセッサと、命令を記憶するメモリとを含んでよく、命令は、１つ以上のプロセッサによって実行されたときに、コンピューティングシステムに、複数の発言サンプルを取得することであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ことと、発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得することと、音声入力を取得することと、訓練済みモデルの音声入力への適用に少なくとも基づいて音声に対応する少なくとも１つの言語を識別することと、識別された言語でメッセージを伝えることとを行わせる。
2020529035.tif 000002
【特許請求の範囲】
【請求項１】
言語に基づくサービス呼び掛けのためのコンピューティングシステムであって、
１つ以上のプロセッサと、
命令を記憶するメモリと
を含み、
前記命令は、前記１つ以上のプロセッサによって実行されたときに、前記システムに、
複数の発言サンプルを取得することであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ことと、
前記発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得することと、
音声入力を取得することと、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別することと、
識別された前記言語でメッセージを伝えることと
を行わせる、システム。
【請求項２】
前記発言サンプルを使用して前記ニューラルネットワークモデルを訓練するために、前記命令は、前記システムに、
前記発言サンプルをスペクトログラムに変換し、前記スペクトログラムを使用して前記ニューラルネットワークモデルを訓練すること
を行わせる、請求項１に記載のシステム。
【請求項３】
前記ニューラルネットワークモデルは、複数の層によって前記音声入力を変換してその言語を決定するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含み、かつ前記ＣＮＮの各チャネル出力に適用される１つ以上のゲート付き回帰型ユニット（ＧＲＵ）を含む、請求項１に記載のシステム。
【請求項４】
前記音声に対応する前記言語を識別する前に、前記命令は、前記システムに、
前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方を取得することと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定することと
をさらに行わせ、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する前記言語を識別するために、前記命令は、前記システムに、
前記訓練済みモデルの前記音声入力への適用と決定された前記第１セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別すること
を行わせる、請求項１に記載のシステム。
【請求項５】
前記音声に対応する前記言語を識別する前に、前記命令は、前記システムに、
前記音声入力に関連付けられたユーザの位置を取得することと、
前記位置に基づいて第２セットの候補言語を決定することと
をさらに行わせ、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する前記言語を識別するために、前記命令は、前記システムに、
前記訓練済みモデルの前記音声入力への適用と決定された前記第２セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別すること
を行わせる、請求項１に記載のシステム。
【請求項６】
前記システムは、コンピューティングデバイスに接続され、
前記コンピューティングデバイスは、前記音声入力を受信し、受信された前記音声入力を前記１つ以上のプロセッサに送信するように構成されたマイクロフォンを含む、請求項１に記載のシステム。
【請求項７】
前記メッセージは、音声またはテキストの少なくとも一方を含み、
識別された前記言語で前記メッセージを伝えるために、前記命令は、前記システムに、
前記コンピューティングデバイスにより前記メッセージを再生すること、または
識別された前記言語を少なくとも知る人を識別して、前記メッセージを再生すること
のうちの少なくとも１つを実行させる、請求項６に記載のシステム。
【請求項８】
前記コンピューティングデバイスは、ユーザに関連付けられた携帯電話であり、
前記システムは、車両情報プラットフォームであり、
前記メッセージは、前記ユーザにサービスするための車両に関連付けられている、請求項５に記載のシステム。
【請求項９】
前記１つ以上の単語は、通話を開始するための１つ以上のフレーズを含み、
前記１つ以上のフレーズは、様々な言語での「ｈｉ」を含む、請求項１に記載のシステム。
【請求項１０】
言語に基づくサービス呼び掛けのための方法であって、
音声入力を取得するステップと、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップであって、前記訓練済みニューラルネットワークモデルは、発言の言語を決定するために複数の発言サンプルを使用して訓練されており、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ステップと、
識別された前記言語でメッセージを伝えるステップと
を含む方法。
【請求項１１】
前記訓練済みニューラルネットワークモデルの前記音声入力への適用は、
前記発言サンプルをスペクトログラムに変換し、前記スペクトログラムを使用して前記ニューラルネットワークモデルを訓練すること
を含む、請求項１０に記載の方法。
【請求項１２】
前記ニューラルネットワークモデルは、複数の層によって前記音声入力を変換してその言語を決定するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含み、かつ前記ＣＮＮの各チャネル出力に適用される１つ以上のゲート付き回帰型ユニット（ＧＲＵ）を含む、請求項１０に記載の方法。
【請求項１３】
前記音声に対応する言語を識別するステップの前に、
前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方を取得するステップと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定するステップと
をさらに含み、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップは、
前記訓練済みニューラルネットワークモデルの前記音声入力への適用と決定された前記第１セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別するステップ
を含む、請求項１０に記載の方法。
【請求項１４】
前記音声に対応する言語を識別するステップの前に、
前記音声入力に関連付けられたユーザの位置を取得するステップと、
前記位置に基づいて第２セットの候補言語を決定するステップと
をさらに含み、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップは、
前記訓練済みニューラルネットワークモデルの前記音声入力への適用と決定された前記第２セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別するステップ
を含む、請求項１０に記載の方法。
【請求項１５】
前記システムは、コンピューティングデバイスに接続され、
前記コンピューティングデバイスは、前記音声入力を受信し、受信された前記音声入力を前記１つ以上のプロセッサに送信するように構成されたマイクロフォンを含む、請求項１０に記載の方法。
【請求項１６】
前記メッセージは、音声またはテキストの少なくとも一方を含み、
識別された前記言語で前記メッセージを伝えるステップは、
前記コンピューティングデバイスにより前記メッセージを再生するステップ、または
識別された前記言語を少なくとも知る人を識別して、前記メッセージを再生するステップ
のうちの少なくとも１つを含む、請求項１５に記載の方法。
【請求項１７】
前記コンピューティングデバイスは、ユーザに関連付けられた携帯電話であり、
前記システムは、車両情報プラットフォームであり、
前記メッセージは、前記ユーザにサービスするための車両に関連付けられている、請求項１４に記載の方法。
【請求項１８】
前記１つ以上の単語は、通話を開始するための１つ以上のフレーズを含み、
前記１つ以上のフレーズは、様々な言語での「ｈｉ」を含む、請求項１０に記載の方法。
【請求項１９】
命令を記憶した、言語に基づく車両呼び掛けのための非一時的コンピュータ可読媒体であって、
前記命令は、１つ以上のプロセッサによって実行されるときに、
複数の発言サンプルを取得するステップであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ステップと、
前記発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得するステップと、
音声入力、前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方、および前記ユーザの位置を取得するステップと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定し、前記位置に基づいて第２セットの候補言語を決定するステップと、
前記訓練済みモデルの前記音声入力への適用、前記第１セットの候補言語、および前記第２セットの候補言語に少なくとも基づいて、前記音声に対応する言語を識別するステップと
を実行する、非一時的コンピュータ可読媒体。
【請求項２０】
前記音声入力は、車両サービスの要求を含み、
前記メッセージは、識別された前記言語を少なくとも知る車両運転者に関連付けられている、請求項１９に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、言語検出およびサービス呼び掛けのための方法および技術に関する。
【背景技術】
【０００２】
現在の技術は、多言語サポートを提供するには不十分である。この問題は、様々な言語のバックグラウンド、能力を持つ人々にサービスまたは商品を提供するオンラインプラットフォームなど、多くのアプリケーションにおいて生じている。個人化されたサービスを提供するために最も適切な言語を自動的に決定することは困難である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の様々な実施形態は、言語に基づくサービス呼び掛けを実行するように構成されているシステム、方法、および非一時的コンピュータ可読媒体を含んでよい。言語に基づくサービス呼び掛けのためのコンピューティングシステムは、１つ以上のプロセッサと、命令を記憶するメモリとを含んでよい。命令は、１つ以上のプロセッサによって実行されたときに、コンピューティングシステムに、複数の発言サンプルを取得することであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ことと、発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得することと、音声入力を取得することと、訓練済みモデルの音声入力への適用に少なくとも基づいて音声に対応する言語を識別することと、識別された言語でメッセージを伝えることとを行わせてよい。
【０００４】
いくつかの実施形態では、ニューラルネットワークモデルを訓練するために、システムに、発言サンプルをスペクトログラムに変換し、スペクトログラムを使用してニューラルネットワークモデルを訓練することを行わせてもよい。
【０００５】
いくつかの実施形態では、ニューラルネットワークモデルは、複数の層によって音声入力を変換してその言語を決定するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含んでもよい。ニューラルネットワークモデルは、ＣＮＮの各チャネル出力に適用される１つ以上のゲート付き回帰型ユニット（ＧＲＵ）をさらに含んでもよい。
【０００６】
いくつかの実施形態では、音声に対応する言語を識別する前に、コンピューティングシステムに、音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方を取得することと、画像またはビデオの少なくとも一方に基づいて第１セットの候補言語を決定することとをさらに行わせてもよい。訓練済みモデルの音声入力への適用に少なくとも基づいて音声に対応する言語を識別するために、コンピューティングシステムに、訓練済みモデルの音声入力への適用と、決定された第１セットの候補言語とに少なくとも基いて、音声に対応する言語を識別することを行わせてもよい。
【０００７】
いくつかの実施形態では、音声に対応する言語を識別する前に、コンピューティングシステムに、音声入力に関連付けられたユーザの位置を取得することと、位置に基づいて第２セットの候補言語を決定することとをさらに行わせてもよい。訓練済みモデルの音声入力への適用に少なくとも基づいて音声に対応する言語を識別するために、コンピューティングシステムに、訓練済みモデルの音声入力への適用と、決定された第２セットの候補言語とに少なくとも基いて、音声に対応する言語を識別することを行わせてもよい。
【０００８】
いくつかの実施形態では、システムは、コンピューティングデバイスに接続されてもよく、コンピューティングデバイスは、音声入力を受信し、受信された音声入力を１つ以上のプロセッサに送信するように構成されたマイクロフォンを含んでもよい。
【０００９】
いくつかの実施形態では、メッセージは、音声またはテキストの少なくとも一方を含んでもよく、かつ、識別された言語でメッセージを伝えるために、システムに、コンピューティングデバイスによりメッセージを再生すること、または識別された言語を少なくとも知る人を識別してメッセージを再生することのうちの少なくとも１つを実行させてもよい。
【００１０】
いくつかの実施形態では、コンピューティングデバイスは、ユーザに関連付けられた携帯電話であってもよく、システムは、車両情報プラットフォームであってもよく、かつメッセージは、ユーザにサービスするための車両に関連付けられてもよい。音声入力は、車両サービスの要求を含んでもよく、かつ、メッセージは、識別された言語を少なくとも知る車両運転者に関連付けられてもよい。
【００１１】
いくつかの実施形態では、１つ以上の単語は、通話を開始するための１つ以上のフレーズを含み、１つ以上のフレーズは、様々な言語での「ｈｉ」を含む。
【００１２】
いくつかの実施形態では、言語に基づくサービス呼び掛けのための方法は、音声入力を取得するステップと、訓練済みモデルの音声入力への適用に少なくとも基づいて音声に対応する言語を識別するステップと、識別された言語でメッセージを伝えるステップとを含む。訓練済みニューラルネットワークモデルは、発言の言語を決定するために複数の発言サンプルで訓練されており、かつ発言サンプルのそれぞれは、ある言語で話された１つ以上の単語を含む。
【００１３】
いくつかの実施形態では、言語に基づく車両呼び掛けのための非一時的コンピュータ可読媒体は、その内部に記憶された命令を含む。命令は、１つ以上のプロセッサによって実行されるときに、複数の発言サンプルを取得するステップであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ステップと、発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得するステップと、音声入力、音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方、およびユーザの位置を取得するステップと、画像またはビデオの少なくとも一方に基づいて第１セットの候補言語を決定し、位置に基づいて第２セットの候補言語を決定するステップと、訓練済みモデルの音声入力への適用、第１セットの候補言語、および第２セットの候補言語に少なくとも基づいて、音声に対応する言語を識別するステップとを実行する。
【００１４】
本明細書に開示されるシステム、方法、および非一時的コンピュータ可読媒体のこれらのおよびその他の特徴、ならびに、構造の関連要素の動作方法および機能、部品の組み合わせおよび製造経済性は、添付の図面を参照して以下の説明および添付の特許請求の範囲を検討すると、より明らかになる。これら図面の全ては本明細書の一部を構成し、ここで、同様の参照番号は様々な図において対応する部品を示す。しかしながら、図面は例示および説明を目的とするだけのものであり、発明の限定の定義として意図されていないことは明確に理解されるべきである。
【００１５】
本技術の様々な実施形態の特定の特徴は、添付の特許請求の範囲に詳細に記載されている。本発明の原理を用いた例示的な実施形態を記載する以下の詳細な説明および添付の図面を参照することにより、技術の特徴および利点をよりうまく理解される。
【図面の簡単な説明】
【００１６】
【図１】様々な実施形態に係る、言語に基づくサービス呼び掛けのための例示的な環境を示す。
【図２】様々な実施形態に係る、言語に基づくサービス呼び掛けのための例示的なシステムを示す。
【図３】様々な実施形態に係る、言語に基づくサービス呼び掛けのためのニューラルネットワークモデルの例示的な訓練を示す。
【図４】様々な実施形態に係る、言語に基づくサービス呼び掛けのための例示的な方法のフローチャートを示す。
【図５】本明細書で説明されるいずれかの実施形態が実装され得る例示的なコンピュータシステムのブロック図を示す。
【発明を実施するための形態】
【００１７】
現在の技術は、多言語サービスを提供するには不十分である。多くの場合、ユーザは、サービスプロバイダが人間、機械、またはソフトウェアプラットフォームのいずれであるかにかかわらず、サービスプロバイダが使用する主要言語の何らかの基本的な知識を持つ必要がある。例えば、技術サポートのために電話回線を呼び出したり、道路からタクシーを雇ったり、またはアプリケーション（ＡＰＰ）を使用して乗り物を呼び出すなど、サービスを要求するために、要求者は、サービスプロバイダが使用する主要言語を知っているか、または多言語選択オプションが提供されていればどのようにそれを通して案内するかを知る必要がある。しかしながら、外国語を使用する外国地域に旅行する場合、または外国語を使用するプロバイダからオンラインでサービスを要求する必要がある場合、既存の方法は、サービスプロバイダが使用する主要言語についての基本的な理解を欠いている人々にサービスを提供できない。したがって、既存の技術を使用するオンラインプラットフォームは、サービスを効率的に拡張できないか、または少なくとも翻訳上の不便または技術的困難によって妨げられる。
【００１８】
以下に説明する様々な実施形態は、多言語サービスを提供する分野で生じているそのような問題を解消することができる。様々な実施形態では、言語に基づくサービス呼び掛けのためのコンピューティングシステムは、１つ以上のプロセッサと、命令を記憶するメモリとを含んでもよい。命令は、１つ以上のプロセッサによって実行されたときに、コンピューティングシステムに、ある言語で話された１つ以上の単語をそれぞれ含む複数の発言サンプルを取得させ、発言サンプルを使用してニューラルネットワークモデルを訓練させて発言の言語を決定するための訓練済みモデルを取得させ、音声入力を取得させ、少なくとも訓練済みモデルの音声入力への適用に基づいて音声に対応する言語を識別させ、かつ識別された言語でメッセージを伝えさせてもよい。
【００１９】
ニューラルネットワークモデルは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク、または両方の組み合わせなど、様々な例を含んでもよい。ニューラルネットワークは、取得した発言サンプル（例えば、既知の言語の発言のスペクトログラム）を受信してもよい。スペクトログラムは、音信号の周波数スペクトルの視覚的表現である。例えば、発言の記録は、時間を表すｘ軸と周波数を表すｙ軸とを有する２Ｄスペクトログラムに変換され得る。このようなスペクトログラムは、さらなる処理および分析のためにマトリックスとして使用され得る。スペクトログラムまたは代替表現（例えば、強度、調子および強度など）で表される各言語の各単語またはフレーズは、ユニークなパターンに対応し得る。モデルの訓練は、パターン分析に基づいて発言の言語の正確な識別をもたらすことができる。
【００２０】
発言サンプルおよびそれらの既知の言語を使用することにより、ニューラルネットワークは、機械学習プロセスを通してスペクトログラムまたは代替表現に基づいて言語を正確に識別するように訓練される。ＣＮＮモデルは、複数の層を適用することによって音声入力を変換してその言語を決定するように構成され得る。ニューラルネットワークモデルは、決定の精度をさらに改善するためにＣＮＮモデルの各チャネル出力に適用される１つ以上のゲート付き回帰型ユニット（ＧＲＵ）さらに含んでもよい。
【００２１】
訓練済みニューラルネットワークモデルを使用すると、システムは言語が未知の音声入力に対してモデルを適用し得る。いくつかの実施形態では、システムは、コンピューティングデバイスに接続されてもよく、コンピューティングデバイスは、音声入力を受信し、受信された音声入力を１つ以上のプロセッサに送信するように構成されているマイクロフォンを含んでもよい。音声入力の言語を識別した後、システムは、コンピューティングデバイスによりメッセージを再生することか、または識別された言語を少なくとも知る人を識別してメッセージを再生することにより、識別された言語でメッセージをユーザーに伝えてもよい。メッセージは、音声またはテキストの少なくとも一方を含んでもよい。
【００２２】
いくつかの実施形態では、システムは、車両情報プラットフォームであってもよい。発言サンプルは、様々な言語での「ｈｉ（こんにちは）」、「ｃａｎ  ｙｏｕ  ｈｅａｒ  ｍｅ（聞こえますか）」、または「ｇｏｏｄ  ｍｏｒｎｉｎｇ（おはよう）」など、通話を開始するための１つ以上のフレーズを含んでもよい。１つ以上のフレーズは、文化およびユーザ習慣に応じてさらに多くの例を含んでもよい。したがって、ニューラルネットワークモデルを１つ以上のフレーズで訓練することにより、モデルがその合理的な部分（例えば、音声入力の開始）を分析するだけで音声入力の言語を決定可能にすることができる。さらに、コンピューティングデバイスは、ユーザに関連付けられた携帯電話であり得る。携帯電話は、（例えば、ウェブサイト、アプリケーションなどを介して）車両情報プラットフォームにアクセスしてもよい。ユーザは、携帯電話に話すことによって車両情報システムから車両サービスを要求することができる。ユーザの音声は、携帯電話によりキャプチャされ、かつ訓練済みニューラルネットワークモデルを適用して言語を識別する車両情報プラットフォームに送信されてもよい。車両情報プラットフォームは、識別された言語に基づいて、識別された言語でユーザにメッセージを機械的に返信するか、識別された言語を少なくとも知る顧客サービス担当者を識別してユーザを支援するか、識別された言語を少なくとも知る車両運転者を識別するか、メッセージで運転者の情報をユーザに送信するなどの様々なサービスを提供することができる。
【００２３】
図１は、様々な実施形態に係る言語に基づくサービス呼び掛けのための例示的な環境１００を示す。図１に示すように、例示的な環境１００は、１つ以上のプロセッサ１０４およびメモリ１０６を含む少なくとも１つのコンピューティングシステム１０２を含むことができる。メモリ１０６は、非一時的およびコンピュータ可読であってもよい。メモリ１０６は、１つ以上のプロセッサ１０４によって実行されるときに、本明細書で説明される様々な動作を１つ以上のプロセッサ１０４に実行させる命令を記憶してもよい。
【００２４】
環境１００は、システム１０２によってアクセス可能な１つ以上のデータストア（例えば、データストア１０８）および１つ以上のコンピューティングデバイス（例えば、コンピューティングデバイス１０９）を含んでもよい。いくつかの実施形態では、システム１０２は、データストア１０８および／またはコンピューティングデバイス１０９から発言サンプルを取得するように構成され得る。例えば、コンピューティングデバイス１０９は、発言を記録するように構成されている音声レコーダ、携帯電話、またはコンピュータであり得る。発言は、対応する言語でタグ付けされてもよい。システムは、発言サンプルを使用して、音声入力の言語を識別するためのモデルを訓練してもよい。
【００２５】
環境１００は、システム１０２に接続された１つ以上のコンピューティングデバイス１１０、１１１、１１２、および１１３（例えば、携帯電話、タブレット、コンピュータ、ウェアラブルデバイス（スマートウォッチ）など）をさらに含んでもよい。コンピューティングデバイスは、システム１０２に対してデータ（例えば、音声、テキスト、ビデオ、情報など）を送受信してもよい。いくつかの実施形態では、システム１０２は、オンライン情報またはサービスプラットフォームを実施することができる。コンピューティングデバイス１１０および１１１（およびより多くの同様のデバイス）は、サービスプラットフォームにアクセスするユーザデバイスを表すことができる。コンピューティングデバイス１１２および１１３（および他の同様のデバイス）は、サービスプラットフォームに関連付けられるかまたはそれをサポートするデバイスを表すことができる。上記コンピューティングデバイスには、システム１０２にアクセスするために適切なソフトウェア（例えば、アプリケーション、プラットフォームプログラムなど）および／またはハードウェア（例えば、有線、無線接続など）をインストールしてもよい。
【００２６】
さらなる例として、サービスは、車両（例えば、自動車、自転車、ボート、飛行機など）に関連付けられてもよく、かつシステム１０２は、情報、サービス、またはサービス呼び掛けプラットフォーム（例えば、ある当事者により提供されて別の当事者にサービスしたり、複数の当事者により共有されたり、複数の当事者間で交換されたりすることができる車両情報を提供する車両情報プラットフォーム）と呼ばれてもよい。いくつかのプラットフォームデータ（例えば、車両情報、車両運転者情報、車両運転者の言語能力など）は、メモリ１０６に記憶されるか、またはデータストア１０８および／またはコンピューティングデバイス１０９から検索されてもよい。コンピューティングデバイス１１０および１１１は、プラットフォームのユーザ（例えば、プラットフォームのアプリケーションがインストールされたユーザの携帯電話）に関連付けられてもよい。コンピューティングデバイス１１２および１１３は、プラットフォームのオペレータ（例えば、プラットフォームの顧客サービス担当者など）および／または車両のオペレータ（例えば、運転者、スケジューラなど）に関連付けられてもよい。
【００２７】
この図では、システム１０２は単一のコンポーネントとして示されるが、システム１０２は、単一のデバイスまたは一緒に接続された複数のデバイス（例えば、コンピュータ、サーバなど）として実装できることが理解される。例えば、システム１０２は、一緒に接続されたコンピュータ、第１のサーバ、および第２のサーバとして実装されてもよく、コンピュータは、データストア１０８およびコンピューティングデバイス１０９から発言サンプルを取得するように構成されてもよく、第１のサーバは、コンピューティングデバイス１１０および１１１と対話するように構成されてもよく、かつ第２のサーバは、コンピューティングデバイス１１２および１１３と対話するように構成されてもよい。
【００２８】
いくつかの実施形態では、システム１０２および１つ以上のコンピューティングデバイス（例えば、コンピューティングデバイス１１２）は、単一のデバイスまたはシステムに統合されてもよい。あるいは、システム１０２およびコンピューティングデバイスは、別個のデバイスとして動作してもよい。例えば、コンピューティングデバイス１１０、１１１、１１２、および１１３はコンピュータまたは携帯電話であってもよく、かつシステム１０２はサーバであってもよい。データストアは、例えば、メモリ１０６、コンピューティングデバイス１０９、１１２、または１１３、システム１０２に接続された別のデバイス（例えば、ネットワークストレージデバイス）、又は別のストレージ位置（例えば、クラウドベースのストレージシステム、ネットワークファイルシステムなど）などにおける、システム１０２によりアクセス可能な任意の場所であってもよい。一般的に、システム１０２、コンピューティングデバイス１１０、１１１、１１２、１１３、およびデータストア１０８は、データを伝えることができる１つ以上の有線または無線ネットワーク（例えば、インターネット）を介して互いに通信してもよい。環境１００の様々な態様は、図２〜図５を参照して以下で説明される。
【００２９】
図２は、様々な実施形態に係る、言語に基づくサービス呼び掛けのための例示的なシステム２００を示す。図２に示され、かつ以下に提示される動作は、例示を目的とする。様々な実施形態では、システム１０２は、データストア１０８および／またはコンピューティングデバイス１０９から複数の発言サンプル２０２を取得してもよい。各発言サンプル（例えば、発言音声記録）は、ある言語で話された１つ以上の単語を含んでもよい。取得された発言サンプルは、メモリ１０６に記憶されてもよい。システム１０２は、発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得してもよい。例示的な訓練は、図３を参照して以下に説明される。
【００３０】
図３を参照すると、図３は、様々な実施形態に係る、言語に基づくサービス呼び掛けのためのニューラルネットワークモデルの例示的な訓練を示す。訓練３００は、例えば、図１の環境１００を含む様々な環境で実装されてもよい。以下の訓練ステップは、システム１０２の１つ以上のコンポーネント（例えば、プロセッサ１０４およびメモリ１０６）によって実装されてもよい。図３の説明は、例示を意図したものであり、かつ実装形態に応じて様々な方法で変更されてもよい。当業者は、言語に基づくサービス呼び掛けのためのモデルの訓練を可能にするように、本明細書の説明を理解する。
【００３１】
図３に示されるように、取得された発言サンプル３０２は、まだ変換されない場合、モデル訓練のための適切なフォーマットに変換されてもよい。変換は、変換された発言サンプル３０４をもたらし得る。いくつかの実施形態では、発言サンプル３０２は、マイクロフォンからキャプチャされ、かつオーディオファイル（例えば、ＷＡＶ、ＭＰ３など）として記憶されてもよい。変換された発言サンプル３０４は、スペクトログラムまたは代替表現であってもよい。スペクトログラムは、音信号の周波数スペクトルの視覚的表現である。例えば、オーディオファイルは、時間またはいくつかのその他の変数を表すｘ軸と周波数を表すｙ軸とを有する２Ｄスペクトログラムに変換され得る。さらに、ｚ軸は、音の振幅を表すために用いられてもよい。このようなスペクトログラムは、さらなる処理および分析のために数学的に（例えば、マトリックスとして）表現されてもよい。スペクトログラムまたはマトリックスの時間周波数表現を取得するために、（１）バンドパスフィルタへの近似、または（２）フーリエ変換を使用した時間信号からの計算という少なくとも２つの方法を使用できる。
【００３２】
いくつかの実施形態では、システムは、車両情報プラットフォームであってもよい。上述したように、発言サンプルは、様々な言語での「ｈｉ（こんにちは）」、「ｃａｎ  ｙｏｕ  ｈｅａｒ  ｍｅ（聞こえますか）」、または「ｇｏｏｄ  ｍｏｒｎｉｎｇ（おはよう）」など、通話を開始するための１つ以上のフレーズを含んでもよい。１つ以上のフレーズは、文化およびユーザ習慣に応じてさらに多くの例を含んでもよい。スペクトログラム、マトリックス、または代替表現で表される各言語の各フレーズは、ユニークなパターンに対応する可能性があるため、１つ以上のフレーズを使用してニューラルネットワークモデルを訓練することは、モデルが周波数パターンを分析することにより音声入力の言語を決定することを可能にし得る。したがって、音声入力の言語の自動識別を、機械のみによって効率的に達成することができる。さらに、音声入力の合理的な部分（例えば、音声入力の開始）の分析は言語識別の目的で十分であってもよいため、計算能力の需要は負担をかけないように保つことができる。
【００３３】
ニューラルネットワークモデルは、変換された発言サンプル３０４を使用して訓練されてもよい。発言サンプルの言語は、スペクトログラムまたは類似する表現の局所パターンに関連付けられるかまたはこれらに依存してもよいため、ニューラルネットワークモデルは、正確な言語識別を達成するために適用可能であり、適切である。ニューラルネットワークモデルは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、または両方の組み合わせなど、様々な例を含んでもよい。
【００３４】
ＣＮＮモデルを適用する一例では、当業者は、層ごとに様々な数学的変換層を変換された発言サンプル３０４に適用する（ある層の出力が別の層の入力に供給される）ことを理解する。そのような層は、畳み込み層、ＲｅＬＵ（正規化線形）層、プーリング層などを含んでもよい。層は、生物学的ニューロンのように情報を処理するニューロン層３０６とも呼ばれてもよい。各畳み込み層は、以前に処理された発言サンプルへの予め設定されたフィルタの適用であってもよい。各ＲｅＬＵ層は、以前に処理された発言サンプルへの非飽和関数の適用であってもよい。各プーリング層は、以前に処理された発言サンプルへの予め設定されたウィンドウサイズおよびストライドのプーリングウィンドウの適用であってもよい。フィルタの数、フィルタのサイズ、プーリングウィンドウのサイズ、プーリングウィンドウのストライド、およびニューロンの数など、フィルタおよびニューロンの様々な構成を予め設定してもよい。各層は、完全接続層３１０を得るために、予め設定された順序で１回以上適用されてもよい。完全接続層３１０は、発言サンプルの言語の識別情報に対する回答３１２に接続された複数のフィールドを含んでもよい。例えば、完全接続層３１０は、言語にそれぞれ対応する複数のフィールドを含んでもよく、かつ各フィールド値は、言語が発言サンプルに対応する確率に対応してもよい。発言サンプルの実際の言語は既知であるため、訓練済みモデルの精度は、回答３１２（決定された言語）を既知の言語と比較することによって決定されてもよく、かつ様々な構成は、精度レベルを改善するために調整されてもよい。
【００３５】
ＣＮＮとＲＮＮの組み合わせモデルを適用する一例では、完全接続層を取得する前に、１つ以上のゲート付き回帰型ユニット（ＧＲＵ）３０８をＣＮＮニューラルネットワークモデルの各チャネル出力に適用してもよい。１つ以上のＧＲＵは、以前の層処理の結果をゲートし、かつ完全接続層の精度を改善してより良好な決定を達成するために用いられてもよい。したがって、発言サンプルを使用してニューラルネットワークモデルを訓練して音声入力の言語を正確に識別してもよい。
【００３６】
再び図２を参照すると、訓練済みモデルは、言語に基づくサービス呼び掛けに適用されてもよい。コンピューティングデバイス１１０および１１１は、プラットフォームのユーザ（例えば、プラットフォームのアプリケーション、例えば、車両を呼び出すためのアプリケーションがインストールされたユーザの携帯電話）に関連付けられてもよい。コンピューティングデバイス１１２および１１３は、プラットフォームのオペレータ（例えば、プラットフォームの顧客サービス担当者など）および／または車両のオペレータ（例えば、運転者、スケジューラなど）に関連付けられてもよい。いくつかの実施形態では、システム１０２は、オンライン（車両）サービスプラットフォームであってもよく、かつユーザは、（例えば、車両を呼び出し、苦情を申し立て、問い合わせを行うなどのために）コンピューティングデバイス１１０のアプリケーションを使用してプラットフォームに連絡してもよい。コンピューティングデバイス１１０は、ユーザの音声入力２０４をキャプチャしてシステム１０２に送信してもよいか、またはシステム１０２はそのような音声入力を直接的にキャプチャしてもよい。効率およびコストの理由から、連絡は、人間の代わりにシステム１０２側にある機械によって受信され、処理される場合がある。この段階で、ユーザの言語は音声入力２０４に基づいて識別される。
【００３７】
上述したように、訓練済みニューラルネットワークモデルを用いて、システム１０２はモデルを音声入力２０４に適用して音声に対応する言語を決定してもよい。例えば、音声入力２０４をスペクトログラムに変換し、かつ上述したように処理して回答（音声入力２０４の決定された言語）を取得してもよい。いくつかの実施形態では、音声に対応する言語を、音声入力および様々な他の要因に基づいて決定して、精度をさらに高めてもよい。
【００３８】
一例では、音声入力２０４と同様に、音声入力に関連付けられたユーザの画像および／またはビデオは、（例えば、ユーザが自分の画像をアップロードしたり、音声を入力しながらビデオをアップロードしたりする場合）コンピューティングデバイス１１０から取得されてもよい。あるいは、コンピューティングデバイス１１０のアプリケーションは、ユーザがアプリケーションを開いたときに、カメラを自動的にオンにしてビデオを記録するかまたはユーザの写真を撮ることができる。システム１０２は、画像および／またはビデオに基づいて第１セットの候補言語を決定してもよい。例えば、第１セットの候補言語を決定するために、システム１０２は、画像マッチング、画像セグメンテーション、および／または画像認識などの（機械学習）方法を適用して、顔面特徴（例えば、特定の顔面特徴を有する人々が特定の言語を話す特定の人種に関連付けられる）、姿勢（例えば、特定の言語を話す人々が主に特定のハンドサインを使用する）、ユーザが身に着ける衣服または物品（例えば、特定のブランドの衣服が特定の言語を話す特定の国に特有である）、周囲環境（例えば、エッフェル塔の背景がフランス語を第１の候補言語として示す）、または目立つ物体（例えば、ユーザが着用する名前タグで使用される言語が第１の候補言語を含んでもよく、かつユーザが着用する記章は、ユーザの所属する国または組織および関連言語を識別するために用いられてもよい）などの、一般的に様々な言語に関連付けられた様々な特徴を抽出してもよい。第１セットの候補言語のそれぞれは、言語の関連付けの確率などの要因に応じて、対応する重みを有し得る。
【００３９】
別の例では、音声入力２０４と同様に、ユーザの位置はコンピューティングデバイス１１０（例えば、コンピューティングデバイス１１０は、コンピューティングデバイスの位置をリアルタイムに追跡し、かつその位置をシステム１０２にアップロードする全地球測位モジュールを含んでもよい）から取得されてもよい。システム１０２は、位置に基づいて第２セットの候補言語を決定してもよい。位置は、ユーザの現在の国、州／県、地域、または別の領域を含んでもよく、各地理的範囲は一般的に１つ以上の言語および／または方言に関連付けられる。第２セットの候補言語のそれぞれは、言語または方言を話す人口などの要因に応じて関連付けられた重みを有してもよい。例えば、米国における位置は、英語およびスペイン語を第２セットの候補言語のうちの２つとしてレンダリングしてもよく、英語はスペイン語よりも大きな重み（または確率）を有する。第１セットの候補言語と第２セットの候補言語は相互に排他的ではなく、重複する場合がある。
【００４０】
いくつかの実施形態では、システム１０２は、訓練済みモデルの音声入力への適用、第１セットの候補言語、および／または第２セットの候補言語に基づいて、（音声入力２０４の）音声に対応する言語を識別してもよい。識別を実現するには様々な方法があり得る。一例では、第１セットおよび第２セットの言語は、言語決定の精度を高めるために、上記ニューラルネットワークモデルへの入力として使用することもできる。フィルタの数、フィルタのサイズ、プーリングウィンドウのサイズ、プーリングウィンドウのストライド、およびニューロンの数など、フィルタおよびニューロンの様々な構成は、ニューラルネットワークモデルで発言サンプルを処理する確率を下げる方式で、第１セットおよび第２セットの候補言語に従って順次予め設定されてもよい。したがって、この場合に得られる回答３１２は、第１セットおよび第２セットの候補言語を考慮することなく得られるものよりもより正確であるか、またはより迅速に得られる。別の例では、訓練済みモデルの音声入力への適用、第１セットの候補言語、および第２セットの候補言語によって決定される言語は、音声の言語を取得するために重み付けされ得る。各重みは、予め設定され、かつ調整されてもよい。例えば、音声入力を直接的に分析するので、訓練済みモデルの適用により決定された言語に最大の重みを与えてもよい。
【００４１】
（訓練済みモデルの音声入力への適用、第１セットの候補言語、および／または第２セットの候補言語に基づいて決定される）回答により、システム１０２は、ユーザにサービスするための様々なステップを実装してもよい。いくつかの実施形態では、システム１０２は、識別された言語で予め設定されたメッセージ２０７をコンピューティングデバイス１１０に伝えてもよい。いくつかの別の実施形態では、システム１０２は、ユーザにサービスするために、データベースから、識別された言語を少なくとも知る人を識別してもよい。例えば、システム１０２は、識別された言語を話す顧客サービス員に関連付けられたコンピューティングデバイス１１２を識別し、かつメッセージ２０５をコンピューティングデバイス１１２に伝えて音声入力２０４を顧客サービス員に通知してもよい。したがって、顧客サービス員は、ユーザにサービスするためにメッセージ２０７としてコンピューティングデバイス１１０に中継することができるメッセージ２０６をシステム１０２に伝えてもよい。いくつかの別の実施形態では、システム１０２は、アプリケーションを介してコンピューティングデバイス１１０によりアクセス可能な車両情報プラットフォームであってもよい。ユーザは、コンピューティングデバイス１１０に話すことにより、車両情報プラットフォームから車両サービスを要求してもよい。ユーザの音声は、訓練済みニューラルネットワークモデルを適用して言語を識別する車両情報プラットフォームによってキャプチャされてもよい。車両情報プラットフォームは、さらに、データベースから、識別された言語を少なくとも知る車両運転者を識別し、運転者の情報をメッセージ２０７でユーザに送信してもよい。いくつかの場合では、車両情報プラットフォームは、さらに、音声入力２０４の内容を分析し、かつ言語に一致する運転者のプールからユーザの要求（例えば、ユーザの近くでの自動車サービスに対する要求）に適合する１つ以上の運転者を識別してもよい。あるいは、車両情報プラットフォームは、コンピューティングデバイス１１２において識別された車両運転者にメッセージ２０５を送信してユーザの要求を伝えてもよい。メッセージ２０５は、音声入力２０４の直接コピーであってもよい。その後、運転者は、直接的にまたは車両情報プラットフォームを介してユーザに連絡する場合がある。上記メッセージ２０５、２０６、および２０７は、音声、テキスト、ビデオ、画像などを含んでもよい。
【００４２】
したがって、ユーザの要求は、機械によって自動的に分析されて、使用される言語を識別することができる。したがって、システムは、ユーザに提供する適切な言語に基づくサービスを決定することができる。ユーザは、言語オプションを通して案内において何の困難もなく、シームレスな体験を有する。さらに、言語識別機能により、システムは、そのサービスをグローバルに拡張できる。
【００４３】
図４は、本開示の様々な実施形態に係る例示的な方法４００のフローチャートを示す。方法４００は、例えば、図１の環境１００を含む様々な環境で実装されてもよい。例示的な方法４００は、システム１０２の１つ以上のコンポーネント（例えば、プロセッサ１０４およびメモリ１０６）によって実装されてもよい。例示的な方法４００は、システム１０２に類似する複数のシステムによって実装されてもよい。例えば、以下で説明するブロック４０２〜４０４は、第１のシステムによって実装されてもよく、かつ以下で説明されるブロック４０６〜４１０は、第１のシステムに接続された第２のシステムによって実装されてもよい。以下に提示される方法４００の動作は、例示を意図したものである。実装形態に応じて、例示的な方法４００は、様々な順序で、または並行して実行される追加の、より少ない、または代替のステップを含んでもよい。
【００４４】
ブロック４０２において、ある言語で話された１つ以上の単語をそれぞれ含む複数の発言サンプルを取得してもよい。ブロック４０４において、発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得してもよい。ブロック４０６において、音声入力を取得してもよい。いくつかの実施形態では、任意選択で、音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方、および／またはユーザの位置を取得してもよい。任意選択で、１つ以上の第１の候補言語は、画像またはビデオの少なくとも一方に基づいて決定されてもよく、かつ１つ以上の第２の候補言語は、位置に基づいて決定されてもよい。ブロック４０８において、訓練済みモデルの音声入力への適用、１つ以上の第１の候補言語、および／または１つ以上の第２の候補言語に少なくとも基づいて音声に対応する言語を識別してもよい。ブロック４１０において、識別された言語でメッセージを伝えてもよい。
【００４５】
いくつかの実施形態では、言語に基づくサービス呼び掛けのための方法は、音声入力を取得するステップと、訓練済みニューラルネットワークモデルの音声入力への適用に少なくとも基づいて音声に対応する言語を識別するステップと、識別された言語でメッセージを伝えるステップと、を含んでもよい。訓練済みニューラルネットワークモデルは、発言の言語を決定するために複数の発言サンプルで訓練されており、かつ発言サンプルのそれぞれは、ある言語で話された１つ以上の単語を含む。
【００４６】
本明細書で説明される技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、技術を実行するために有線接続されてもよいか、または技術を実行するために持続的にプログラムされる１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの回路またはデジタル電子デバイスを含んでもよいか、またはファームウェア、メモリ、その他のストレージ、またはそれらの組み合わせにおけるプログラム命令に従って技術を実行するようにプログラムされた１つ以上のハードウェアプロセッサを含んでもよい。このような専用コンピューティングデバイスはまた、技術を実現するためにカスタムハードワイヤードロジック、ＡＳＩＣまたはＦＰＧＡをカスタムプログラミングと組み合わせてもよい。専用コンピューティングデバイスは、デスクトップコンピュータシステム、サーバコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または技術を実装するためにハードワイヤードおよび／またはプログラムロジックを組み込む任意の他のデバイスまたはこれらのデバイスの組み合わせであってもよい。コンピューティングデバイスは、一般的に、オペレーティングシステムソフトウェアによって制御され調整される。従来のオペレーティングシステムは、特に、実行のためのコンピュータプロセスを制御およびスケジュールし、メモリ管理を実行し、ファイルシステム、ネットワーキング、Ｉ／Ｏサービスを提供し、グラフィカルユーザインタフェース（「ＧＵＩ」）などのユーザインタフェース機能を提供する。
【００４７】
図５は、本明細書で説明される実施形態のいずれかが実装され得るコンピュータシステム５００を示すブロック図である。システム５００は、上記システム１０２に対応し得る。コンピュータシステム５００は、バス５０２または情報を伝えるための他の通信機構と、情報を処理するためにバス５０２に接続された１つ以上のハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、１つ以上の汎用マイクロプロセッサであり得る。プロセッサ５０４は、上記プロセッサ１０４に対応し得る。
【００４８】
コンピュータシステム５００はまた、プロセッサ５０４によって実行される情報および命令を記憶するためにバス５０２に接続されたランダムアクセスメモリ（ＲＡＭ）、キャッシュおよび／または他のダイナミックストレージデバイスなどのメインメモリ５０６を含む。メインメモリ５０６はまた、プロセッサ５０４によって実行される命令の実行中に一時的変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ５０４によりアクセス可能な記憶媒体に記憶されると、コンピュータシステム５００を、命令において指定された動作を実行するようにカスタマイズされた専用機械にする。コンピュータシステム５００は、プロセッサ５０４のための静的情報および命令を記憶するためにバス５０２に接続された読み取り専用メモリ（ＲＯＭ）５０８または他の静的ストレージデバイスをさらに含む。磁気ディスク、光ディスク、またはＵＳＢサムドライブ（フラッシュドライブ）などのようなストレージデバイス５１０が提供され、かつ情報および命令を記憶するためにバス５０２に接続される。メインメモリ５０６、ＲＯＭ５０８、および／またはストレージ５１０は、上記メモリ１０６に対応し得る。
【００４９】
コンピュータシステム５００は、コンピュータシステムと組み合わせてコンピュータシステム５００を専用機械にするかまたは専用機械になるようにプログラムするカスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、本明細書で説明される技術を実装してもよい。一実施形態によれば、本明細書の技術は、プロセッサ５０４がメインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。そのような命令は、ストレージデバイス５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてもよい。メインメモリ５０６に含まれる命令のシーケンスの実行は、プロセッサ５０４に、本明細書で説明される処理ステップを実行させる。代替的な実施形態では、ハードワイヤード回路が、ソフトウェア命令の代わりに、またはそれらと組み合わせて使用され得る。
【００５０】
メインメモリ５０６、ＲＯＭ５０８、および／またはストレージ５１０は、非一時的記憶媒体を含んでもよい。本明細書で使用される用語「非一時的媒体」および類似の用語は、機械を特定の方法で動作させるデータおよび／または命令を記憶する任意の媒体を指す。そのような非一時的媒体は、不揮発性媒体および／または揮発性媒体を含んでもよい。不揮発性媒体は、例えば、ストレージデバイス５１０のような光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。非一時的媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光データ記憶媒体、孔のパターンを有する任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジ、およびそれらのネットワークバージョンを含む。
【００５１】
コンピュータシステム５００はまた、バス５０２に接続された通信インタフェース５１８を含む。通信インタフェース５１８は、１つ以上のローカルネットワークに接続された１つ以上のネットワークリンクに接続する双方向データ通信を提供する。例えば、通信インタフェース５１８は、総合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線へのデータ通信接続を提供するモデムであり得る。別の例として、通信インタフェース５１８は、互換性のあるＬＡＮ（またはＷＡＮと通信するためのＷＡＮコンポーネント）へのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。無線リンクが実装されてもよい。任意のそのような実装形態では、通信インタフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。
【００５２】
コンピュータシステム５００は、ネットワーク、ネットワークリンク、および通信インタフェース５１８により、メッセージを送信し、かつプログラムコードを含むデータを受信することができる。インターネットの例では、サーバは、インターネット、ＩＳＰ、ローカルネットワーク、および通信インタフェース５１８により、アプリケーションプログラムのための要求されたコードを送信してもよい。
【００５３】
受信されたコードは、受信されたときにプロセッサ５０４によって実行され、および／または後で実行するためにストレージデバイス５１０または他の不揮発性ストレージに記憶されてもよい。
【００５４】
前述のセクションで説明されるプロセス、方法、およびアルゴリズムのそれぞれは、コンピュータハードウェアを含む１つ以上のコンピュータシステムまたはコンピュータプロセッサによって実行されるコードモジュールで具現化され、かつそれらによって完全または部分的に自動化されてもよい。プロセスおよびアルゴリズムは、特定用途向け回路において部分的または全体的に実装されてもよい。
【００５５】
上記様々な特徴およびプロセスは、互いに独立して使用されてもよいか、または様々な方法で組み合わせられてもよい。全ての可能な組み合わせおよび部分的組み合わせは、本開示の範囲内にあることが意図される。また、いくつかの実装形態では、いくつかの方法またはプロセスブロックは省略され得る。本明細書で説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロックまたは状態は、適切な他のシーケンスで実行され得る。例えば、説明されたブロックまたは状態は、具体的に開示された順序以外の順序で実行されてもよいか、または複数のブロックまたは状態は、単一のブロックまたは状態に組み合わされてもよい。例示的なブロックまたは状態は、連続的に、並列に、または何らかの他の方法で実行され得る。ブロックまたは状態は、開示された例示的な実施形態に追加されるかまたはそれから除去されてもよい。本明細書で説明される例示的なシステムおよびコンポーネントは、説明されたものとは異なるように構成されてもよい。例えば、開示された例示的な実施形態に要素を追加し、それから要素を除去し、またはそれと比較して要素を再配置してもよい。
【００５６】
本明細書で説明される例示的な方法の様々な動作は、関連する動作を実行するように一時的に（例えば、ソフトウェアによって）構成されるかまたは永続的に構成される１つ以上のプロセッサによって、少なくとも部分的に実行されてもよい。一時的に構成されるか永続的に構成されるかにかかわらず、そのようなプロセッサは、本明細書で説明される１つ以上の動作または機能を実行するように動作するプロセッサ実装エンジンを構成してもよい。
【００５７】
同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサにより実装されてもよく、ここで、特定のプロセッサまたはプロセッサは、ハードウェアの一例である。例えば、方法の動作の少なくともいくつかは、１つ以上のプロセッサまたはプロセッサ実装エンジンによって実行されてもよい。さらに、１つ以上のプロセッサはまた、「クラウドコンピューティング」環境における関連する動作のパフォーマンスをサポートするように、または「ソフトウェアアズアサービス」（ＳａａＳ）として動作してもよい。例えば、動作の少なくともいくつかは、コンピュータのグループ（プロセッサを含む機械の例として）によって実行されてもよく、それらの動作は、ネットワーク（例えば、インターネット）により、および１つ以上の適切なインタフェース（例えば、アプリケーションプログラムインタフェース（ＡＰＩ））によりアクセス可能である。
【００５８】
いくつかの動作のパフォーマンスは、単一の機械内に常駐するだけでなく、多くの機械にわたって展開されるプロセッサ間で分散されてもよい。いくつかの例示的な実施形態では、プロセッサまたはプロセッサ実装エンジンは、単一の地理的位置（例えば、家庭環境、オフィス環境またはサーバファーム内）に配置されてもよい。別の例示的な実施形態では、プロセッサまたはプロセッサ実装エンジンは、多くの地理的位置にわたって分散されてもよい。
【００５９】
本明細書を通して、複数のインスタンスは、単一のインスタンスとして説明されるコンポーネント、動作、または構造を実装してもよい。１つ以上の方法の個々の動作が別個の動作として例示および説明されるが、個々の動作のうちの１つ以上は、同時に行われてもよく、動作が例示された順序で行われる必要がない。例示的な構成の別個のコンポーネントとして提示される構造および機能は、組み合わされた構造またはコンポーネントとして実装されてもよい。同様に、単一のコンポーネントとして提示される構造および機能は、別個のコンポーネントとして実装されてもよい。これらのおよび他の変形、修正、追加、および改善は、本明細書の主題の範囲内に属する。
【００６０】
特定の例示的な実施形態を参照して主題の概要を説明したが、本開示の実施形態のより広い範囲から逸脱することなく、これらの実施形態に対して様々な修正および変更を行うことができる。主題のそのような実施形態は、単に便宜上のため、１つ以上のものが実際に開示される場合は、本願の範囲を任意の単一の開示または概念に自発的に限定することを意図せずに、個別にまたは集合的に「発明」という用語で本明細書において言及され得る。
【００６１】
本明細書に例示される実施形態は、当業者が開示した教示を実施できるように十分に詳細に説明される。本開示の範囲から逸脱することなく構造的および論理的な置換および変更を行うことができるように、他の実施形態を使用し、かつそれらから導出してもよい。したがって、発明を実施するための形態は、限定的な意味でとらえるべきものではなく、かつ様々な実施形態の範囲は、添付の特許請求の範囲と、そのような特許請求の範囲が権利を与えられる全ての範囲の均等物とによってのみ規定される。
【００６２】
本明細書で説明され、かつ／または添付の図面に図示されるフロー図の任意のプロセス説明、要素またはブロックは、プロセスにおける特定のロジック機能またはステップを実装するための１つ以上の実行可能な命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すものとして理解されるべきである。当業者によって理解されるように、関与する機能に応じて、要素または機能を削除し、かつ実質的に同時または逆の順序を含む、図示または議論される順序とは異なる順序で実行してもよい、本明細書で説明される実施形態の範囲内に代替的な実装形態が含まれる。
【００６３】
本明細書で使用されるように、用語「または」は、包括的または排他的な意味で解釈されてもよい。さらに、複数のインスタンスは、単一のインスタンスとして本明細書で説明されるリソース、動作、または構造のために提供されてもよい。さらに、様々なリソース、動作、エンジン、およびデータストアの間の境界は、いくらか恣意的であり、特定の動作は、特定の例示的な構成の文脈において例示される。機能の他の割り当ては、想定され、かつ本開示の様々な実施形態の範囲内に含まれてもよい。一般的に、例示的な構成において別個のリソースとして提示される構造および機能は、組み合わされた構造またはリソースとして実装されてもよい。同様に、単一のリソースとして提示される構造および機能は、別個のリソースとして実装されてもよい。これらのおよび他の変形、修正、追加、および改善は、添付の特許請求の範囲によって表される本開示の実施形態の範囲内に含まれる。したがって、明細書および図面は、限定的なものではなく、例示的なものとしてみなされるべきである。
【００６４】
特に、「できる」、「可能である」、「し得る」、または「してもよい」などの条件付きの言葉は、特に明記されない限り、または使用される文脈の中で他の解釈がなされない限り、いくつかの特徴、要素、および／またはステップを、いくつかの実施形態が含むがそれ以外の実施形態が含まないことを伝えることを一般的に意図する。したがって、そのような条件付きの言葉は、１つ以上の実施形態において特徴、要素、および／またはステップが何らかの形で必須であるか、または１つ以上の実施形態が、これらの特徴、要素および／またはステップが任意の特定の実施形態に含まれるかそれともそこにおいて実行されるかをユーザ入力またはプロンプトの有無にかかわらず決定するためのロジックを必ず含むことを示唆することを一般的に意図していない。
【符号の説明】
【００６５】
１０２  コンピューティングシステム
１０４  プロセッサ
１０６  メモリ
１０８  データストア
１０９，１１０，１１１，１１２，１１３  コンピューティングデバイス
２０２  発言サンプル
２０４  音声入力
２０５，２０６，２０７  メッセージ
５００  コンピュータシステム
５０２  バス
５０４  （複数の）プロセッサ
５０６  メインメモリ
５０８  ＲＯＭ
５１０  ストレージ
５１８  （複数の）ネットワークインタフェース
【図１】
2020529035.tif 000003
【図２】
2020529035.tif 000004
【図３】
2020529035.tif 000005
【図４】
2020529035.tif 000006
【図５】
2020529035.tif 000007
【手続補正書】
【提出日】令和2年2月20日(2020.2.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
言語に基づくサービス呼び掛けのためのコンピューティングシステムであって、
１つ以上のプロセッサと、
命令を記憶するメモリと
を含み、
前記命令は、前記１つ以上のプロセッサによって実行されたときに、前記システムに、
複数の発言サンプルを取得することであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ことと、
前記発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得することと、
音声入力を取得することと、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別することと、
識別された前記言語でメッセージを伝えることと
を行わせる、システム。
【請求項２】
前記発言サンプルを使用して前記ニューラルネットワークモデルを訓練するために、前記命令は、前記システムに、
前記発言サンプルをスペクトログラムに変換し、前記スペクトログラムを使用して前記ニューラルネットワークモデルを訓練すること
を行わせる、請求項１に記載のシステム。
【請求項３】
前記ニューラルネットワークモデルは、複数の層によって前記音声入力を変換してその言語を決定するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含み、かつ前記ＣＮＮの各チャネル出力に適用される１つ以上のゲート付き回帰型ユニット（ＧＲＵ）を含む、請求項１または２に記載のシステム。
【請求項４】
前記音声に対応する前記言語を識別する前に、前記命令は、前記システムに、
前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方を取得することと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定することと
をさらに行わせ、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する前記言語を識別するために、前記命令は、前記システムに、
前記訓練済みモデルの前記音声入力への適用と決定された前記第１セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別すること
を行わせる、請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記音声に対応する前記言語を識別する前に、前記命令は、前記システムに、
前記音声入力に関連付けられたユーザの位置を取得することと、
前記位置に基づいて第２セットの候補言語を決定することと
をさらに行わせ、
前記訓練済みモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する前記言語を識別するために、前記命令は、前記システムに、
前記訓練済みモデルの前記音声入力への適用と決定された前記第２セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別すること
を行わせる、請求項１から３のいずれか一項に記載のシステム。
【請求項６】
前記システムは、コンピューティングデバイスに接続され、
前記コンピューティングデバイスは、前記音声入力を受信し、受信された前記音声入力を前記１つ以上のプロセッサに送信するように構成されたマイクロフォンを含む、請求項１から５のいずれか一項に記載のシステム。
【請求項７】
前記メッセージは、音声またはテキストの少なくとも一方を含み、
識別された前記言語で前記メッセージを伝えるために、前記命令は、前記システムに、
前記コンピューティングデバイスにより前記メッセージを再生すること、または
識別された前記言語を少なくとも知る人を識別して、前記メッセージを再生すること
のうちの少なくとも１つを実行させる、請求項６に記載のシステム。
【請求項８】
前記コンピューティングデバイスは、ユーザに関連付けられた携帯電話であり、
前記システムは、車両情報プラットフォームであり、
前記メッセージは、前記ユーザにサービスするための車両に関連付けられている、請求項６に記載のシステム。
【請求項９】
前記１つ以上の単語は、通話を開始するための１つ以上のフレーズを含み、
前記１つ以上のフレーズは、様々な言語での「ｈｉ」を含む、請求項１から８のいずれか一項に記載のシステム。
【請求項１０】
言語に基づくサービス呼び掛けのための方法であって、
音声入力を取得するステップと、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップであって、前記訓練済みニューラルネットワークモデルは、発言の言語を決定するために複数の発言サンプルを使用して訓練されており、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ステップと、
識別された前記言語でメッセージを伝えるステップと
を含む方法。
【請求項１１】
前記訓練済みニューラルネットワークモデルの前記音声入力への適用は、
前記発言サンプルをスペクトログラムに変換し、前記スペクトログラムを使用して前記ニューラルネットワークモデルを訓練すること
を含む、請求項１０に記載の方法。
【請求項１２】
前記音声に対応する言語を識別するステップの前に、
前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方を取得するステップと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定するステップと
をさらに含み、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップは、
前記訓練済みニューラルネットワークモデルの前記音声入力への適用と決定された前記第１セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別するステップ
を含む、請求項１０または１１に記載の方法。
【請求項１３】
前記音声に対応する言語を識別するステップの前に、
前記音声入力に関連付けられたユーザの位置を取得するステップと、
前記位置に基づいて第２セットの候補言語を決定するステップと
をさらに含み、
訓練済みニューラルネットワークモデルの前記音声入力への適用に少なくとも基づいて前記音声に対応する言語を識別するステップは、
前記訓練済みニューラルネットワークモデルの前記音声入力への適用と決定された前記第２セットの候補言語とに少なくとも基づいて前記音声に対応する前記言語を識別するステップ
を含む、請求項１０または１１に記載の方法。
【請求項１４】
前記システムは、コンピューティングデバイスに接続され、
前記コンピューティングデバイスは、前記音声入力を受信し、受信された前記音声入力を前記１つ以上のプロセッサに送信するように構成されたマイクロフォンを含む、請求項１０から１３のいずれか一項に記載の方法。
【請求項１５】
命令を記憶した、言語に基づく車両呼び掛けのための非一時的コンピュータ可読媒体であって、
前記命令は、１つ以上のプロセッサによって実行されるときに、
複数の発言サンプルを取得するステップであって、各発言サンプルは、ある言語で話された１つ以上の単語を含む、ステップと、
前記発言サンプルを使用してニューラルネットワークモデルを訓練して、発言の言語を決定するための訓練済みモデルを取得するステップと、
音声入力、前記音声入力に関連付けられたユーザの画像またはビデオの少なくとも一方、および前記ユーザの位置を取得するステップと、
前記画像または前記ビデオの少なくとも一方に基づいて第１セットの候補言語を決定し、前記位置に基づいて第２セットの候補言語を決定するステップと、
前記訓練済みモデルの前記音声入力への適用、前記第１セットの候補言語、および前記第２セットの候補言語に少なくとも基づいて、前記音声に対応する言語を識別するステップと
を実行する、非一時的コンピュータ可読媒体。
【国際調査報告】
2020529035.tif 000008
2020529035.tif 000009