(57)【特許請求の範囲】
【請求項１】
コンピュータ音声処理装置であって、
メモリユニットと、
前記メモリユニットに接続されたプロセッサと、
前記プロセッサにより実行されるように構成された発音生成部とを含み、
前記発音生成部は、第２言語のネイティブであるが第１言語の非ネイティブである話者による第１言語における入力単語の１以上の発音を生成するように構成されており、
前記発音生成部は、
ａ）前記入力単語を、各発音が前記第２言語に関連づけられた音素セットから選択された１以上の音素を含む前記１以上の発音に変換し、
ｂ）前記メモリユニットに格納されたコンピュータデータベースのエントリにおいて前記入力単語に前記１以上の発音の各発音を関連づけ、
ｃ）前記データベースの各発音に発音言語および／または音素言語を特定する情報を関連づけることによって、
前記入力単語の前記１以上の発音を生成することを特徴とする装置。
【請求項２】
話者によって生成された音信号を入力音素のグループに変換するように構成された音声変換ユニットをさらに含み、
前記プロセッサは、
前記入力音素のグループを前記データベースの１以上のエントリにおける１以上の発音と比較し、
前記入力音素のグループに合致する発音を含むエントリに対応するシステムの状態の変化をトリガーするように構成されていることを特徴とする請求項１の装置。
【請求項３】
ステップａ）は、前記入力単語を、前記第２言語に関連づけられた前記音素セットから選択された１以上の第２言語音素の１以上のグループに変換することを含むことを特徴とする請求項１の装置。
【請求項４】
ステップａ）は、前記入力単語を前記第１言語に関連づけられた音素セットから選択された１以上の第１言語音素の１以上のグループに変換し、前記１以上の音素セットにおける各第１言語音素を前記第２言語に関連づけられた１以上の対応する第２言語音素に変換することを含むことを特徴とする請求項１の装置。
【請求項５】
各第１言語音素の変換は、各第１言語音素を対応する中間音素にマッピングし、各中間音素を対応する第２言語音素にマッピングすることを含むことを特徴とする請求項４の装置。
【請求項６】
前記発音生成部はさらに、前記データベースのエントリにおいて与えられた単語に対する複数の発音の中からコンセンサスを決定し、前記コンセンサスにもとづいて、前記エントリから冗長であるか、無効であるか、ありそうにない発音を捨てるように構成されていることを特徴とする請求項１の装置。
【請求項７】
ステップａ）は、前記第１言語における入力単語を、前記第１言語における単語と対応する発音との部分的なデータベースの１以上のエントリと比較することを含み、ステップｂ）は、その比較の結果にもとづいて前記データベースにその単語と対応する発音とを入力することを含むことを特徴とする請求項１の装置。
【請求項８】
前記第１言語を前記音素言語および前記発音言語として有する前記部分的なデータベースにおけるエントリと合致する入力単語に対しては、ステップｂ）は、前記入力単語と対応する発音とを前記第１言語に関連づけられたデータベースに入力することを特徴とする請求項７の装置。
【請求項９】
前記第２言語を前記音素言語として前記第１言語を前記発音言語として有する前記部分的なデータベースにおけるエントリと合致する入力単語に対しては、ステップｂ）は、前記入力単語と対応する発音とを前記第１言語と前記第２言語のハイブリッドに関連づけられたデータベースに入力することを特徴とする請求項７の装置。
【請求項１０】
前記第１言語における発音を持っていない入力単語に対しては、ステップａ）は、前記第１言語と関連づけられた音素セットから選択された１以上の音素を用いて対応する発音を生成し、ステップｂ）は、前記入力単語と対応する発音とを前記第１言語に関連づけられたデータベースに入力することを特徴とする請求項７の装置。
【請求項１１】
前記第２言語における発音を持っていない入力単語に対しては、ステップａ）は、前記単語を１以上の第１言語音素のグループに変換し、前記１以上の第１言語音素を１以上の対応する第２言語音素にマッピングすることを含み、ステップｂ）は、前記入力単語と対応する発音とを前記第１言語と前記第２言語のハイブリッドに関連づけられたデータベースに入力することを含むことを特徴とする請求項７の装置。
【請求項１２】
プロセッシングユニットとメモリユニットとを有するコンピュータ音声処理装置における、第２言語のネイティブであるが第１言語の非ネイティブである話者による第１言語における入力単語の１以上の発音を生成するためのコンピュータ実装された方法であって、
ａ）前記入力単語を、各発音が前記第２言語に関連づけられた音素セットから選択された１以上の音素を含む前記１以上の発音に変換するステップと、
ｂ）前記メモリユニットに格納されたコンピュータデータベースのエントリにおいて前記入力単語に前記１以上の発音の各発音を関連づけるステップと、
ｃ）前記データベースの各発音に発音言語および／または音素言語を特定する情報を関連づけるステップとを含むことを特徴とする方法。
【請求項１３】
ｄ）話者によって生成された音信号を入力音素のグループに変換するステップと、
ｅ）前記入力音素のグループを前記データベースの１以上のエントリと比較するステップと、
ｆ）前記入力音素のグループに合致するエントリに対応するコマンドを実行するステップとをさらに含むことを特徴とする請求項１２の方法。
【請求項１４】
プロセッシングユニットとメモリユニットと前記プロセッシングユニットにより実行されるように構成された発音生成部とを有するコンピュータ音声処理装置においてコンピュータ音声処理を実行するためのシステムであって、
前記発音生成部は、第２言語のネイティブであるが第１言語の非ネイティブである話者による第１言語における入力単語の１以上の発音を生成するように構成されており、
当該システムは、
ａ）前記入力単語を、各発音が前記第２言語に関連づけられた音素セットから選択された１以上の音素を含む１以上の発音に変換する手段と、
ｂ）前記メモリユニットに格納されたコンピュータデータベースのエントリにおいて前記入力単語に前記１以上の発音の各発音を関連づける手段と、
ｃ）前記データベースの各発音に発音言語および／または音素言語を特定する情報を関連づける手段とを含むことを特徴とするシステム。
【請求項１５】
プロセッシングユニットとメモリユニットと前記プロセッシングユニットにより実行されるように構成された発音生成部とを有するコンピュータ音声処理装置においてコンピュータ音声処理を実行するためのコンピュータ読み取り可能なインストラクションが格納されたコンピュータ読み取り可能なストレージ媒体であって、
前記発音生成部は、第２言語のネイティブであるが第１言語の非ネイティブである話者による第１言語における入力単語の１以上の発音を生成するように構成されており、
前記インストラクションは、
ａ）プロセッサにより実行されたとき、前記プロセッシングユニットを用いて、前記入力単語を、各発音が前記第２言語に関連づけられた音素セットから選択された１以上の音素を含む１以上の発音に変換する１以上のインストラクションと、
ｂ）プロセッサにより実行されたとき、前記メモリユニットに格納されたコンピュータデータベースのエントリにおいて前記入力単語に前記１以上の発音の各発音を関連づける１以上のインストラクションと、
ｃ）プロセッサにより実行されたとき、前記データベースの各発音に発音言語および／または音素言語を特定する情報を関連づける１以上のインストラクションとを含むことを特徴とする媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、MULTIPLE LANGUAGE VOICE RECOGNITIONと題する２００９年２月１７日に出願した米国仮出願61/153,267号の優先権の利益を主張し、その全開示内容をここに参照することにより取り入れる。
【０００２】
本願は、MULTIPLE LANGUAGE VOICE RECOGNITIONと題する２０１０年２月２日に出願した米国出願12/698,963号の優先権の利益を主張し、その全開示内容をここに参照することにより取り入れる。
【０００３】
［技術分野］
本発明の実施の形態は一般にコンピュータ実装された音声認識に関し、より具体的には、いろいろな言語のネイティブの話者が与えられた単語を異なるように発音する可能性を説明する音声認識方法と装置に関する。
【背景技術】
【０００４】
コンピュータ音声認識の分野において、音声認識システムはオーディオストリームを受け取り、オーディオストリームをフィルタして発話を構成する音セグメントを抽出し、分離する。音セグメントはときには音素と呼ばれる。その後、音声認識エンジンは音素を所定の発音辞書、文法認識ネットワーク、および音響モデルと照合することによって音素を解析する。
【０００５】
非語彙的（sublexical）な音声認識システムは、通常、より基本的なユニットから単語と文を構成する方法を備えている。たとえば、音素モデルにもとづく音声認識システムにおいて、発音辞書をルックアップテーブルとして用いて、音素を書き写すことから単語を構成する。その後、文法認識ネットワークによって単語を相互結合させることができる。
【０００６】
あるグラフィカルな形態（たとえば、文字やシンボル）で提示された所与の言語の単語を特定の音素の組み合わせに関連づけるデータ構造を一般には文法と辞書（Grammar and Dictionary；ＧｎＤ）という。文法と辞書の例は、Gustavo Hernandez-Abrego と Ruxin Chenの"Structure for Grammar and Dictionary Representation in Voice Recognition and Method For Simplifying Link and Node-Generated Grammars"と題する米国特許出願第20060277032号に記載されており、その全内容をここに参照により取り込む。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音声認識を用いるアプリケーションにおいてしばしば起こる一つの問題は、様々な言語のネイティブの話者は同じ書かれた単語でも異なる発音をすることである。たとえば、各文字は、北京語と広東語の両方で同じ意味に対応するが、その文字に対応する単語は、二つの言語で異なって発音される。両方の言語の話者に販売されている音声認識を用いるソフトウェアアプリケーションでは、音声認識システムは両方の言語の話者を取り扱うことができることが望ましい。
【０００８】
関連する問題は、多くのコンテキスト、たとえば、歌のタイトルにおいて、関連する単語の組み合わせは、異なる言語からの単語を含むことがあることである。英語の単語とイタリアの単語の両方を含む歌のタイトルの話者の発音は、話者のネイティブの言語が英語であるかイタリア語であるかによって、また、話者が非ネイティブの言語に精通しているかどうかによって、変わってくる。音声認識システムはこの状況に対処することが望ましい。
【０００９】
ＧｎＤが与えられた単語に複数の発音を関連づけることが可能であるけれども、話者のネイティブの言語に起因する発音の相違を考慮に入れた方法でＧｎＤを手動で生成することは、労力がかかり、時間もかかる処理である。
【００１０】
本発明の実施の形態はこのような文脈の中で生じた。
【課題を解決するための手段】
【００１１】
本発明の実施の形態は、２以上の異なる言語のハイブリッドに対して複数の発音を処理することのできる音声認識システムおよび方法を提供する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係るコンピュータ音声処理を説明するブロック図である。
【図２Ａ】本発明の実施の形態にしたがうコンピュータ処理方法を説明するダイアグラムである。
【図２Ｂ】本発明の別の実施の形態にしたがうコンピュータ音声処理の例を説明するフローダイアグラムである。
【図３】本発明の実施の形態に係るコンピュータ音声処理装置のブロック図である。
【図４】本発明の実施の形態にしたがうコンピュータ音声処理を実装するためのコンピュータ読み取り可能なインストラクションを含むコンピュータ読み取り可能な媒体のブロック図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態は、発音の精緻化を含む、クロス言語の書記素（Grapheme）から音素（Phoneme）への変換（Ｇ２Ｐ）に対する効率的で、自己完結した、省スペースの方法とシステムを提供する。この方法は、音声認識システムにおいて用いられ、ここでは正字法言語と呼ばれる異なる言語から来た単語からターゲット（目標）言語の最適化された発音セットを生成する。ソース言語とターゲット言語の両方に対する発音が並列に生成され、ターゲット言語の音素において与えられた拡張された発音セット上で統合される。これらの発音は、音声認識またはテキストから音声への変換のための音声反応システムの一部として用いることができる。書記素から音素へ（Ｇ２Ｐ）の変換は、各単語に対して複数のありうる発音を生成する書記素音素（graphone）フレームワークにもとづく。生成された過剰な発音は、発音セットの中でコンセンサスによって生成される「中央」発音を用いて精緻化される。
【００１４】
書記素から音素へ（Ｇ２Ｐ）の変換方法の基礎は、たとえば、Gustavo Hernandez-Abrego と Lex Olorenshaw による"System And Method For Efficiently Performing A Grapheme-To-Phoneme Conversion Procedure"と題する米国特許出願公報第20060031069号に記載されており、その全内容を参照によりここに取り込む。
【００１５】
本発明の実施の形態にしたがって、同時に１以上の言語を処理することのできるＧｎＤが自動的に生成される。本発明の実施の形態は、複数の言語の音声認識に対する文法と辞書（ＧｎＤ）を処理するための改良されたデータ構造と処理を利用する。そのデータ構造は、異なる言語分類にもとづいて複数の発音をＧｎＤにおける各正字法言語と関連づけることができる。これらの分類には以下のものが含まれる。
【００１６】
正字法言語は、ＧｎＤにおける単語の元の言語である。
【００１７】
表示言語は、単語を表示するグラフィカルディスプレイによって使用される言語である。表示言語は一般に、表示される各単語に対するデータ列（たとえばＡＳＣＩＩ列）のコード化を指す。このコード化により、与えられた列は、たとえば、ローマ字、ギリシャ文字、アラビア文字、ヘブライ文字、ロシア文字、他のアルファベット、伝統的な中国文字、簡略化された中国文字などの特定のグラフィカルフォーマットで表示されるようになる。正字法言語は一般に表示言語に依存する。もっとも、２以上の言語を同じ表示言語にマッピングすることもできる。
【００１８】
音素言語−発音を決定するために使われる特定の音響学的音素セットを定義する言語。異なる言語は典型的には異なる音素セットを用いる。したがって、発音を自動的に生成する処理を自動化するために、音素セットを知ることは有益である。
【００１９】
発音言語−発音を決定するための基礎として使われる言語。発音言語は、話者のネイティブの言語についての仮定にもとづいてもよい。以下の議論では、次の表記法を用いる。ある言語のネイティブの話者に対しては、言語の名前の後に括弧内に「ネイティブ」と記す。したがって、スペイン語のネイティブの話者によるスペイン語の単語の発音に対しては、発音言語はスペイン語（ネイティブ）と記される。第１言語のネイティブの話者による第２言語の単語の発音に対しては、発音言語は第１言語−第２言語と記す。したがって、英語のネイティブの話者によるスペイン語の単語の発音に対しては、発音言語はスペイン語−英語と記される。ネイティブのスペイン人による英単語に対する発音言語は、英語−スペイン語になる。
【００２０】
ターゲット言語−音声認識システム／方法を用いるソフトウェアアプリケーションのコンテキストに適した言語。アプリケーション言語は、多くのコンテキストでは正字法言語と同じである。しかし、あるコンテキストでは、ハイブリッドまたはアプリケーションに特有の言語が用いられる。
【００２１】
本発明の実施の形態は、これらの異なる言語分類を用いて、優れたＧｎＤ単語認識性能を提供するために、複数のあるうる発音がターゲット言語における与えられた単語に関連づけられたＧｎＤを自動的に生成する。
【００２２】
図１に示すように、コンピュータ音声処理は、コンピュータプロセッシングユニット上で実行されるコンピュータアプリケーション１０２と連携して動作する発音生成部１０１によって実行される。アプリケーション１０２は、音声認識部１１０によって認識される単語のリストを含むデータ１０３を生成するか受け取る。発音生成部１０１は、アプリケーションデータ１０３における単語リストから選択された単語を１以上の対応する発音と照らし合わせる。発音生成部１０１、アプリケーション１０２および音声認識部１１０のオペレーションは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで実装される。
【００２３】
一例として、発音生成部１０１のこれらの特徴は、プロセッシングユニットで実行されるインストラクションの形式でコンピュータメモリユニットに格納される。プログラムのインストラクションは、とりわけ、アプリケーションデータ１０３からの入力された単語を１以上の発音に変換し、その１以上の発音の中の各発音をコンピュータデータベース１０８のエントリにおいて入力された単語に関連づけることに関する音声処理方法のある部分を実装するように構成される。ここで、各発音は、１以上の音素セットを含む。各音素は、第１または第２言語の話者による入力単語の発音における音を表し、データベースは、各発音に対して発音言語および／または音素言語を特定する情報を含む。
【００２４】
本発明の実施の形態は、自動化された音声認識において１以上の外国語の認識を容易にするために、中間的な手順、アダプテーション、変換を用いた統合的な技術の組み合わせを用いる。本発明の実施の形態は、混合されたハイブリッドの統合された認識戦略を用いて外国語の単語認識を取り扱う。一例として、ネイティブ言語認識装置を外国語認識装置と組み合わせることによって、また、人が単語を外国語で発音するときのいろいろなありうるやり方を対象とする中間的な手順を用いることによって、外国語の英単語を認識することができる。以下の例は、ネイティブのスペイン人話者が話す「英語」に焦点を当てるけれども、ここで説明する技術は、他の言語の組み合わせに対しても用いることができる。
【００２５】
限定しない例として、オーストラリアの歌手の名前"Kylie Minogue"をネイティブのスペイン人話者が、英語をベースにした認識装置（スペイン人のための外国語認識装置）とスペイン語をベースにした認識装置（スペイン人のためのネイティブ認識装置）を同時に用いて認識する場合を考える。
【００２６】
通常、文献では、外国人話者による英語認識は、外国人話者に適応させた英語認識装置だけを用いて行われる。このアプローチは非常に良い英語の発音をする話者にとっては非常に適しているけれども、話者が強いアクセントをもつか、英語にほとんど精通していないときは、かなりロバスト性が低くなる。この場合、より良いアプローチは、他の中間的なステップと連携して、英語認識装置とネイティブ認識装置の両方を含む統合システムまたは組み合わせシステムを用いることである。この戦略は、英語の目標発音とネイティブの初期発音を対象にモデル化を試み、外国人話者が非ネイティブ言語で単語を発音しようとするいろいろなやり方の説明を試みる。異なる戦略を用いて、外国人話者がもついろいろなレベルの非ネイティブ言語知識を対象とする統合されたハイブリッド認識装置を展開してもよい。このアプローチを説明するために、このアプローチの限定的でない例を以下では議論する。
【００２７】
１）英語で読む能力がほとんどない本当に初期の学習者にとって、良い戦略は、外国語Ｇ２Ｐを用いて発音を生成することであろう。この例では、外国語（たとえばスペイン語）Ｇ２Ｐ１０４Ａと外国語をベースとする（たとえばスペイン語の）認識部１０５を用いて英単語を認識する。英語とスペイン語の場合、発音生成部１０１は、英単語のスペイン語発音にもとづいて、スペイン語Ｇ２Ｐ変換を通してスペイン語の発音を生成する。２）非ネイティブ言語を学習することにおける次のステップは「どのように読むかを知ることであり、どのように発音するかを知ることではまだない」ということである。英語を読み、外国語の発音を特定するが、自分のネイティブ音素系を使って英単語を発音する話者にとって、外国語ベースの（たとえば、スペイン語の）認識部１０５を用いることがよりよい戦略である。しかしながら、この場合における発音は、ネイティブＧ２Ｐ１０４Ｂで生成されるが、変換された発音で生成される。この場合、話者の発音は、そのような話者は「英語の話し方」を知っており、英語を読むことができるが、依然として自分のネイティブの音素系を用いるということを仮定してモデル化されている。一例として、ヨーロッパの多くの英語学習者が英語を読むことができるが、時々しか英語を話したり聞いたりしないならば、この段階にとどまっているかもしれない。発音生成部１０１は二つの構成要素を用いてそのような話者に対する発音を自動的に生成する。二つの構成要素とは、スペイン人の話者が話す英単語を認識する場合は、正字法（ネイティブ）言語（たとえば、英語）に対応するＧ２Ｐ１０４Ｂと、正字法言語とターゲット言語の間の音素変換規則１０６である。英語音素は、変換規則１０６にしたがってスペイン語音素に変換される。
【００２８】
従来の方法で単語全体の英語の発音を対応するネイティブのスペイン語の発音に変換することはチャレンジングであり、労力を要し、時間のかかる仕事である。そのような発音は専門家の知識を用いて生成することができる。しかし、本発明のある実施の形態では、このような対応する発音は、正字法言語（たとえば英語）の音素をターゲット言語（たとえばスペイン語）の対応する音素に変換することによって自動的に生成される。以下の例は、一般的な規則がどのように適用されて自動的に音素変換が行われ、それによって手動の作業が省略され、新しい単語に適用できるかを例示する。
【００２９】
ここに、英語音素をスペイン語音素に変換するために使う音素変換規則１０６のいくつかの例を示す。英語音素は'//EN'とラベル付けされ、スペイン語音素は'//SP'とラベル付けされる。
【００３０】
ａ）両方の言語に存在する音素は、１対１にその等価な音素に変換される。たとえば、英語音素"l"は等価なスペイン語音素"l"に変換される。両方の言語は、異なる発音であるが、本質的には類似している"l"とみなされる音素のバージョンをもつ（この考えは文献では「異音」（allophone）として知られている）。
【００３１】
ｂ）ターゲット言語に存在しない音は、音響学的に最も近い音によってマッピングされるか、次の記述された情報を用いてマッピングされる。
【００３２】
ｂ．１）たとえば、"hh//EN"とみなされる英語音素はスペイン語には存在せず、スペイン語音素"x//SP"に変換される。なぜなら、ある基準に基づけば、"x//SP"は"hh//EN"に最も近いスペイン語音素であると定義することができるからである。距離測定、混同または認識情報、あるいは専門家知識を基準として用いて、ある言語から別の言語へ音素をマッピングすることができる。
【００３３】
ｂ．２）英語の中舌母音（central vowel）（ax//EN, ah//EN, uh//EN）がネイティブ音素系に存在しないとき、これらは英語の記述情報を用いて変換される。たとえば、曖昧母音（schwa）（?）として知られる中舌英語音素"ax//EN"はスペイン語に存在せず、英単語の正字法から来る情報を用いてスペイン語母音に変換される。正字法を考慮する変換規則の例は次のようなものである。英単語が、文字'a', 'e', 'i', 'o', 'u' または 'io'を用いて書かれ、正字法がターゲット言語に存在しない英語の中舌母音の一つに関連づけられたとき、その英語の中舌母音はターゲット言語における音素"a", "e", "i", "o", "u" または "jo"にそれぞれ変換される。これまでの議論で一重引用符（'）は正字法を表記するために使い、二重引用符（"）は音素を表記するために使ってきたことに注意する。外国語の話者は自分の母音系になぞらえる傾向があるため、この規則を適用することができる。
【００３４】
最初の例では、英語における英単語'water'は英語音素セット"w//EN ax//EN t//EN er//EN"に書き換えられる。スペイン語音素セットを用いて、これは"w//SP a//SP t//SP e//SP r//SP"に変換される。英語の曖昧母音"ax//EN"はスペイン語では"a//SP"に変換される。なぜならその曖昧母音は'water'における文字'a'に対応する音を表すからである。
【００３５】
第２の例として、英単語'the'は英語では"dh//EN ax//EN"または"dh//EN ah//EN"と書き換えられる。スペイン語音素セットを用いて、これは"d//SP e//SP"に変換される。この場合、文字'e'に関連づけられた英語の曖昧母音"ax//EN"または音素"ah//EN"は、両方ともスペイン語の音素"e//SP"に変換することができる。この例では、英語の音素"dh//EN"はスペイン語の音素"d//SP"に変換される。なぜならそれが音響学的観点から最も近いスペイン語音素だからである。
【００３６】
第３の例として、英単語'station'では、英語の曖昧母音"ax//EN"は今回はスペイン語の二重母音"j//SP o//SP"に変換される。
Station: s//EN t//EN ey//EN sh//EN ax//EN n//EN （元の英語表記（transciption））
Station: e//SP s//SP t//SP e//SP j//SP s//SP j//SP o//SP n//SP （変換後のスペイン語表記）
【００３７】
"ax//EN"は英語の文字'io'を表し、スペイン語では"j//SP o//SP"によって変換され発音される。
【００３８】
上述の変換規則の主な理由は、スペイン語の話者は、英語の書面情報を用いて英語を学び、しばしば（スペイン語では存在しない）英語の曖昧母音を区別することができず、そのため、彼らは自分のネイティブの発音スタイルにそれをなぞらえるからである。認識部では、正字法を考慮に入れる条件付き規則を用いることにより、この規則を自動的に適用することができる。別の例では、イタリア語の話者もまた、これと同じパターンにしたがう。なぜなら、曖昧母音や他の中舌母音がイタリア語にも存在しないからである。その結果、上述のものと似た技法を適用して、イタリア語のネイティブの話者による英単語の発音を生成することができる。
【００３９】
ｃ）他の自動的変換規則を適用してもよい。正字法言語の発音を変換するとき、ターゲット言語の試行されテストされた音韻論的規則を適用することができる。スペイン語から英語への例を続けて用いて、スペイン語の"s//SP t//SP", "s//SP p//SP" および "s//SP k//SP"という音素シーケンスは、事実上、"e//SP s//SP t//SP", "e//SP s//SP p//SP" および "e//SP s//SP k//SP"と発音される。スペイン語の話者が英語を話すとき、彼らはこの規則を適用する傾向がある。先の例では、単語'Station'は、この音韻論的規則にしたがってスペイン語音素"e//SP s//SP t//SP"に変換される英語音素"s//EN t//EN"で始まる。
【００４０】
一例として、以下のように、英語の音セット（TIMITスタイル）はスペイン語の音素セット（SAMPAスタイル）にマッピングされる。
【００４１】
英語音 -> スペイン語音
母音:
aa//EN -> a//SP
ae//EN -> a//SP
e//EN -> e//SP
Ih//EN -> I//SP
Iy//EN -> I//SP
Ao//EN-> o//SP
uw//EN -> u//SP
【００４２】
二重母音:
aw//EN -> a w//SP
ow//EN -> o w//SP
ey//EN -> e j//SP
…
【００４３】
中舌母音:
ax//EN -> a//SP, e//SP , I//SP , o//SP , u//SP, j//SP o//SP  (英語の表記システムに依存する)
ah//EN -> a//SP, e//SP , o//SP  (英語の表記システムに依存する)
uh//EN -> a//SP, u//SP , o//SP  (英語の表記システムに依存する)
【００４４】
音響学的に最も近い音:
sh//EN -> s//SP または tS//SP
dh//EN -> d//SP
hh//EN -> x//SP
jh//EN -> j//SP または jj//SP
v//EN -> B//SP または b//SP
【００４５】
他の英語音はスペイン語の等価な音があり、１対１に変換される。たとえば:
p//EN -> p//SP, 
t//EN -> t//SP
s//EN -> s//SP
….
【００４６】
音韻論的規則:
s//EN t//EN -> e//SP s//SP t//SP
….
【００４７】
１）および２）の結合もまた可能である。たとえば、外国語の頭字語は、ネイティブ表記（transcription）規則または英語表記規則のどちらを用いても話される。したがって、頭字語U2は'u dos'または'you two'のどちらでも発音される。その結果、ここで述べる音声認識システムを用いるアプリケーションによって'U2'と表示される頭字語に両方の発音をマップしてもよい。
【００４８】
３）英語という言語により高いレベルで精通している話者にとっては、変換のいくつかを直接的に英語音声認識部１１０に適用することもできる。これはまた、ＨＭＭアダプテーション、統合ＨＭＭトレーニング、中間音マージのような他の既知の技術とともに行うこともできる。あるいは、変換規則によって、より簡単に学習できる非ネイティブ音("sh//EN", "v//EN" …)を使用することができるようにしてもよい。
【００４９】
規則に基づく方法だけでなく、データ駆動型の方法を用いて、学習の中級段階における外国人の話者の非ネイティブの発話の適切なモデル化を試みる発音を生成することもできる。外国語を学習するプロセスにおいて、中級の学習者である話者は「彼らが話すやり方」に近づこうとし、外国語をできるだけ忠実にまねようとする。この段階で、「規則に基づくシステム」は現存する高度のばらつきをモデル化していない。外国人の話者はまた、「音響学的類似性の知識とランダムな最善の推定」を用いて非ネイティブ言語を話そうとする。たとえば、話者は、記述ベースの規則の発音に代わるものとして音響学的に近い外国語の発音をまねようとする。
【００５０】
単語'water'の先の例では、ある非ネイティブスペイン語の話者が言おうとするのは"w//SP a//SP t//SP e//SP r//SP"だけではない。その代わりに、彼らは"w//SP o//SP t//SP e//SP r//SP"という発音も言おうとする。音"a//SP" と "o//SP"は、スペイン語では音響学的に互いにたいへん近く、音響学的には英語の曖昧母音"ax//En"にたいへん近い。あるスペイン語の話者はまた、二つの言語の音セットを混合することもでき、"w//SP ax//EN t//SP e//SP r//SP"のようなクロス言語の発音を生成することもできる。ある話者は、二つの言語の中間音セットで発音を生成することができる。
【００５１】
距離測定、パターンマッチングシステム、あるいは音響混同知識のような類似性モデルを用いて、別の音響学にもとづく発音を生成することができる。いったん発音が自動的に生成されると、現実の発話データベースおよび非ネイティブの話者の現実の録音を用いて発音を正当化し、選択することができる。
【００５２】
４）非常に高いレベルで英語を習熟している話者にとって、発音生成部は、純粋に英語のシステム、すなわち、発音生成のためのネイティブＧ２Ｐ１０４Ｂとネイティブ音声認識部１１０を用いる。
【００５３】
最後に、戦略１）、２）、３）、および４）に関して上述した一部またはすべての戦略を含む組み合わせおよび組み合わせの統合を独自の統合されたシステムで用いて、外国人の話者が非ネイティブ言語を話す能力のすべてのレベルを対象にできるようにすることもできる。このようにして、発音生成部１０１は、与えられた各単語に対して、二つ以上の発音（ネイティブと外国語）を生成する。
【００５４】
語句や文のような単語のシーケンスを取り扱うとき、発音の数が制御不能になりうることを理解するのは難しいことではない。１つの単語に対して２つの発音が必要である場合、２つの単語のシーケンスに対して４つの発音が必要になり、３つの単語のシーケンスに対して８つの発音が必要になる。実用性を考えて、発音の精緻化は発音生成部１０１の一部として必要である。一例であるが、発音生成部１０１は、オプションとしてコンセンサスモジュール１０７を含む。コンセンサスモジュール１０７は、ありそうもない、冗長な、または無効である発音を捨てることによってデータベース１０８にあるエントリの発音マッピングを精緻化する。コンセンサスモジュールを利用する類似発音の精緻化の基礎は、Gustavo Hernandez-AbregoおよびLex Olorenshawによる"System and Method For Efficiently Implementing A Refined Dictionary For Speech Recognition"と題する米国特許出願公報第20060031070号に記載されており、その全内容をここに参照することにより取り込む。
【００５５】
コンセンサスモジュール１０７は、各入力単語に対して発音から対応する音素を配置することによって複数のシーケンスアライメント手続きを実行する。コンセンサスモジュール１０７は、一つの単語の複数のありうる発音の間で「中心」発音を定義することで、音声認識システム１１０にとって偽りとなるかもしれない発音を精査して捨てる。一例として、二つの発音セット（正字法言語およびターゲット言語）のコンセンサスから二つの中心発音を生成してもよい。各セットにおいてコンセンサスに対してあまりにかけ離れた発音は除外してもよい。好ましい実施の形態において、コンセンサスモジュール１０７はマルチプル・シーケンス・アライメント（ＭＳＡ）ステップを用いて発音の正字法セットおよび目標セットの中からコンセンサスを見つける。ＭＳＡは計算生物学の一般的なツールであるが、音声技術や言語技術ではまだ広く使われていない手法である。
【００５６】
ある実施の形態において、変換規則１０６は、複数の言語に対して使用される中間音素のセットを用いることを通して、音素セットをある言語から別の言語へ変換する。各セットの中間音素は、ここでは「音素クラス（類）」と呼ぶこともある。音素クラスは、複数の言語の音素から決定される。音素クラスは、アプリケーションの必要性にもとづいてアプリケーションによって決定してもよい。通常、類似する音特性をもつ音素をいっしょにまとめることが賢明である。Ｇ２Ｐに対する注目する各言語の音素が中間音素にマッピングされるならば、この音素の中間マッピングによって任意のソース言語から任意のターゲット言語へ音素をマッピングすることが可能になる。
【００５７】
本発明の実施の形態によれば、たとえば、図１に示すように、音声処理システムは、入力単語の正字法言語と、その単語のネイティブ発音の音素を非ネイティブ発音にマッピングするためのマッピング情報とにもとづいて、ハイブリッド言語における発音を自動的に生成するように構成される。
【００５８】
限定するものではないが、例として、図２Ａに示すように、入力された単語に対する音素言語がイタリア語であり、その単語に対する目標言語がイタリア語および英語−イタリア語のハイブリッド言語（ネイティブのイタリア人話者によって発音される英語）であるとする。ある場合において、単語認識部は、英語（ネイティブ）、イタリア語（ネイティブ）、英語−イタリア語、およびイタリア語−英語における単語と発音の部分的な辞書を有してもよい。その部分的な辞書における各単語は、発音言語および音素言語によって特徴づけられる。入力された単語に対する発音のマッピングの生成方法は以下の通りに進行する。
【００５９】
２０１）入力されたイタリア語の正字法の単語を部分的な辞書のエントリと比較し、部分的な辞書のいずれかの単語と合致するかどうかを調べる。
【００６０】
２０２）合致するなら、その合致した単語に対する音素言語がイタリア語であるかどうかを調べる。もしそうなら、この方法はステップ２０３）に進む。
【００６１】
２０３）合致した単語に対する発音言語がイタリア語であるかどうかを調べる。もしそうなら、この方法はステップ２０４）に進む。
【００６２】
２０４）その単語および空白でない発音をイタリア語（ネイティブ）ＧｎＤに出力する。さもなければ、
【００６３】
２０５）ステップ２０１）の同じ合致した単語に対して、音素言語が英語であるかどうかを調べる。もしそうなら、この方法はステップ２０６）に進む。
【００６４】
２０６）合致した単語に対する発音言語がイタリア語であるかどうかを調べる。もしそうなら、この方法はステップ２０７）に進む。
【００６５】
２０７）その単語および空白でない発音を英語−イタリア語ＧｎＤに出力する。
【００６６】
２０８）もしその単語がステップ２０４）および２０７）まで通過しなかったなら（すなわち、入力された単語に対するイタリア語の発音は存在しない）、この方法は、単語の正字法言語にもとづいた発音の予測を試みる。イタリア語の発音を生成する場合、この試みは、単語に対してイタリア語のＧ２Ｐを実行し、結果として得られる発音をイタリア語のＧｎＤに格納することによって行われる。
【００６７】
アプリケーションの必要に基づいた単語の正字法の言語に基づいて、英語−イタリア語発音をステップ２０７）で生成することができないならば、たとえば上述のように、イタリア語の音素を英語の音素にマップするマッピング情報を用いて発音を生成してもよい。具体的には、ステップ２０４）または２０７）から得られたイタリア語の正字法の単語の発音を、ネイティブのイタリア人話者による発音に対する構成音素に分解する。単語を構成する各音素は、１以上の対応する英語の音素にマップされる。そのようなマッピングは、イタリア語音素を対応する英語音素（もしあれば）に直接的にマッピングすることにより行われる。別の方法として、マッピングは、上述のように、音素クラスによって生成される。その後、結果として得られる英語の音素と対応するイタリア語の単語の組み合わせは、英語−イタリア語ＧｎＤに含まれるようになる。単語におけるイタリア語の音素の中には、２以上の英語音素にマッピングされるものもあるから、１以上の英語−イタリア語発音が存在することもある。もっとも、データ構造は、これらの異なる発音を取り扱うための１対多マッピングを許容するものである。
【００６８】
ある特定の状況では、２以上の音素言語の混合が一つの発音エントリに存在することもありうる。どの音素言語がそのエントリに対してより重要な役割を果たしているかにもとづいて、エントリをＥＮ音素言語またはＩＴ音素言語とラベル付けすることができる。これまでの処理を適用して、単一のエントリにおいて混合された音素言語とともに最終的なＧｎＤを生成する。そのようなエントリの例は次のようなものである。
Station:：s//EN t//EN ey//EN sh//EN e//SP n//EN
【００６９】
左コンテキスト音素"sh//EN"と右コンテキスト"n//EN"の"e//SP"に対して用いられる音響モデルは、左コンテキスト音素"x//SP"と右コンテキスト"n//SP"のネイティブスペイン語モデルである。これは、アプリケーションによって定義される音素クラスは、"sh/EN"を"x//SP"に、"n//EN"を"n//SP"にマップすることを仮定している。
【００７０】
ある実施の形態では、図２Ａに例示された処理を変更して、話者のアクセントにもとづいて単一の正字法の単語の複数の発音を自動的に生成することを可能にしてもよい。具体的には、ここでは国際英語（EN_IL）と呼ぶ目標言語用のＧｎＤを生成することが望ましいと考えられる。国際英語（EN_IL）は、ネイティブのアメリカの話者（EN_US）とネイティブのイギリスの話者（EN_UK）による英単語の発音の差を説明するものである。
【００７１】
図２Ｂに示すように、アプリケーションに関連する単語リストからの各単語を、単語に音素言語と発音言語が関連づけられた単語の部分的な辞書と比較する。
【００７２】
ステップ２１１）において、リストの各単語を辞書と比較し、合致するエントリを見つける。
【００７３】
ステップ２１２）において、ステップ２１１）において見つかった合致するエントリの音素言語がENであるかどうかを決定する。
【００７４】
ステップ２１３）において、合致するエントリを調べて、ステップ２１１）において見つかったエントリの発音言語がEN, EN_US、またはEN_UKであることを確かめる。
【００７５】
ステップ２１４）において、合致しブランクでない発音を、Out_EN_IL.gndと示された国際英語ＧｎＤに出力する。
【００７６】
ある実施の形態では、装置１００は、音声認識モジュール１１０と、発音生成部１０１とともに動作する外国語ベースの音声認識モジュール１０５とを含む。音声認識モジュール１１０および１０５は、ハードウェアまたはソフトウェア、またはハードウェアとソフトウェアの両方の何らかの組み合わせで実装される。音声認識モジュール１１０および１０５は、スピーカーＳＰから発声された言葉を表す音声信号１１５を受信する。音声信号１１５は、たとえば、マイクロホン１１７を用いて生成され、スピーカーＳＰからの発話音が電気的な変換器を用いて電気的な信号に変換される。電気的な信号はアナログ信号であり、Ａ／Ｄコンバータを用いてデジタル信号に変換される。デジタル信号はフレームと呼ばれる複数のユニットに分割され、各フレームはさらにサンプルに再分割される。各フレームは、たとえば、隠れマルコフモデル（ＨＭＭ）を用いて分析され、フレームが既知の音素を含むかどうかが決定される。隠れマルコフモデルを音声認識に適用することは、たとえば、Lawrence Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proceedings of the IEEE, Vol. 77, No. 2, February 1989に詳しく記載されており、すべての目的のためにここにその全体を参照することにより取り入れる。
【００７７】
音声信号１１５から決定された入力音素１１１Ａ、１１１Ｂの組は、データベース１０８において発音を形成する（おそらく異なる言語からの）音素の複数の組と比較される。音声信号１１５からの音素とデータベースにおけるエントリ（ここではマッチングエントリという）における発音との間でマッチングが取れるなら、マッチングエントリ単語１１３は、そのエントリが音声信号から決定された音素と合致するときにトリガーされるコンピュータ装置の状態の特定の変化に対応する。
【００７８】
ここで、「状態の変化」とは、装置のオペレーションにおける変化のことを指す。一例として、状態の変化には、コマンドの実行やアプリケーション１０２が扱う別のプロセスが使用するための特定のデータの選択が含まれる。コマンドの実行の例は、限定するものではないが、装置が単語"select"を認識する際に歌を選択する処理を開始することである。別のプロセスによって使用されるデータの選択の例は、限定するものではないが、入力音素の組が歌のタイトルに合致するとき、プロセスがその特定の歌を再生するために選択することである。
【００７９】
音声認識モジュール１１０および１０５は、同じまたは類似する発音をもつ異なる単語間のコンフリクトを解決する。英単語'worker'と'work'の場合を考える。これらの単語は以下のように音素に変換される。
'worker' - w (ao|er) k er.  MPL = 4.
'work' - w er [k].        MPL = 3.
【００８０】
表記(ao|er)は、二つのありうる音素が正字法の単語'word'における組み合わせ'or'に対応することを示している。表記[k]は、括弧内の音素がオプションであることを示す。表記MPLは、単語に対する最大発音長を示す。最大発音長は、その単語がもちうる音素の最大数である。
【００８１】
ある例では、異なる最大発音長をもつ２以上の単語が同じようにもっともらしい発音をもつことがある。そのような場合、音声認識モジュール１１０および１０５は、両方が同じようにもっともらしいならば、より長い発音長をもつ単語を拒否してもよい。
【００８２】
音声処理装置は、数多くの方法で本発明の実施の形態にしたがって構成される。一例として、図３は、本発明のある実施の形態に係る音声処理装置３００を例示するより詳細なブロック図である。一例として、一般性を損なうことなく、装置３００は、パーソナルコンピュータ、ビデオゲーム機、パーソナルデジタル情報機器、携帯電話、ハンドヘルドゲームデバイス、携帯インターネットデバイスまたは他のデジタルデバイスのようなコンピュータシステムの一部として実装される。より好ましい実施の形態では、装置はビデオゲーム機の一部として実装される。
【００８３】
装置３００は、一般に中央演算処理装置（ＣＰＵ）３０１とメモリユニット３０２を含む。装置３００はまた、入出力（Ｉ／Ｏ）装置３１２、電源（Ｐ／Ｓ）３１３、クロック（ＣＬＫ）３１４およびキャッシュ３１５などの公知のサポート機能３１１を備えてもよい。装置３００はさらに、ソフトウェアインストラクション３１７およびデータ３１８用の不揮発性のストレージを提供するストレージデバイス３１６を備えてもよい。一例としてストレージデバイス３１６は、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、テープドライブ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ（商標または登録商標）、ＨＤ−ＤＶＤ、ＵＭＤ、その他の光学式ストレージデバイスであってもよい。
【００８４】
プロセッシングユニット３０１は、１以上のプロセッサコアを含んでもよい。一例として限定するわけではないが、ＣＰＵ３０２は、セルプロセッサのような並列プロセッサモジュールであってもよい。セルプロセッサアーキテクチャの例は、「セルブロードバンドエンジンアーキテクチャ」に詳細が記述されている。これは、ＩＢＭ、ソニー・コンピュータエンタテインメント、東芝の２００５年８月８日付けの著作権で保護されており、コピーはｈｔｔｐ：／／ｃｅｌｌ．ｓｃｅｉ．ｃｏ．ｊｐ／からダウンロード可能であり、その内容全体を参照によってここに組み入れる。
【００８５】
メモリユニット３０２は、コンピュータ読み取り可能な形式で情報を格納する任意の適当な媒体である。一例として、これに限定するものではないが、メモリユニット３０２は、ＲＡＭまたはＲＯＭ、固定ディスク（たとえばハードディスクドライブ）用のコンピュータ読み取り可能なストレージディスク、またはリムーバブルディスクドライブを含む。
【００８６】
プロセッシングユニット３０１は、ソフトウェアアプリケーションおよびオプションとしてオペレーティングシステムを実行するように構成される。そのようなソフトウェアアプリケーションの一部をメモリユニット３０２に格納してもよい。インストラクションとデータはプロセッシングユニット３０１のレジスタにロードされて実行される。ソフトウェアアプリケーションは、ビデオゲームアプリケーションのようなメインアプリケーション３０３を含む。メインアプリケーション３０３は、アプリケーションデータ３０４と音声処理ソフトウェアと連携して動作する。音声処理ソフトウェアには、発音生成部３０５、ＧｎＤ３０６、および音声認識部３０７が含まれ、これらの一部は、メモリ３０２に格納され、必要に応じてプロセッシングユニット３０１のレジスタにロードされる。
【００８７】
前述のコンポーネントの適切な構成を通して、ＣＰＵ３０１と発音生成部３０５は、図１、図２Ａおよび図２Ｂに関して上で述べた音声処理オペレーションを実装するように構成される。特に、発音生成部３０５は、実行したときに、プロセッシングユニット３０１に次のことを行わせるインストラクションを含む。すなわち、プロセッシングユニット３０１に、入力された単語を１以上の発音に変換し、上述したように、各発音をＧｎＤ３０６のようなコンピュータデータベースのエントリにおける入力された単語に関連づける動作をさせる。ＧｎＤ３０６における各エントリは、アプリケーションデータ３０４からの入力単語の各発音に対して、発音言語および／または音素言語を特定する情報を含む。特定の実施の形態では、発音生成部３０５は、たとえば、図１および図２Ａ、２Ｂに関して上述したように、ハイブリッド発音を自動的に生成するために、２以上の言語に対して書記素から音素への変換を実行するように構成される。
【００８８】
音声認識部３０７は、話者によって発音された音声信号を入力音素セットに変換するように構成された音声変換ユニットを含む。音声信号は、たとえば、Ｉ／Ｏ機能３１２の一部として実装されるマイクロホン３２２およびＡ／Ｄコンバータによってデジタル信号に変換される。音声認識部３０７はさらに、入力音素のセットをＧｎＤ３０６における１以上のエントリと比較し、入力音素セットに合致する発音を含むデータベースエントリに対応する状態の変化を起こすようにアプリケーション３０４をトリガするように構成される。音声認識は、話者についての言語の仮定にもとづいて与えられた単語に対する複数の発音を生成することを通してよりロバストになる。
【００８９】
装置３００は、電子通信ネットワーク３２７を介してコミュニケーションを促進するためのネットワークインタフェース３２５を含む。ネットワークインタフェース３２５はローカルエリアネットワークおよびインターネットのようなワイドエリアネットワーク上の有線または無線通信を実装するように構成されてもよい。装置３００は、ネットワーク３２７を介して１以上のメッセージパケット３２６によって、データの送受信および／またはファイルのリクエストをしてもよい。
【００９０】
装置３００は、グラフィックプロセッシングユニット（ＧＰＵ）３３５とグラフィックスメモリ３３７とを有するグラフィックス・サブシステム３３０を更に含む。グラフィックスメモリ３３７は、出力イメージの各画素に対する画素データを格納するために使われるディスプレイメモリ（例えばフレーム・バッファ）を含む。グラフィックスメモリ３３７は、ＧＰＵ３３５と同じデバイス内に統合されてもよく、別のデバイスとしてＧＰＵ３３５に結合されてもよく、メモリユニット３０２内に実装されてもよい。画素データは、プロセッシングユニット３０１から直接グラフィックスメモリ３３７に提供される。ある実施の形態では、グラフィックスユニットは、デコーダ（図示せず）によって復号されたデジタルブロードキャスト信号から抽出されたビデオ信号データを受信する。あるいは、プロセッシングユニット３０１は、所望の出力イメージを定めるデータやインストラクションをＧＰＵ３３５に提供する。ＧＰＵ３３５はそれを用いて出力イメージの画素データを生成する。所望出力イメージを定めるデータやインストラクションは、メモリ３０２やグラフィックスメモリ３３７に格納される。ある実施の形態では、ＧＰＵ３３５は、例えば、適当なプログラミングまたはハードウェア・コンフィギュレーションによって構成され、シーンのためにジオメトリ、ライティング（照明）、シェーディング、テクスチャリング、モーション、および／またはカメラパラメータを定めるインストラクションとデータから出力イメージに対する画素データを生成するための３Ｄレンダリング機能をもつ。ＧＰＵ３３５は、シェーダプログラムを実行することができるプログラム可能な実行ユニットを更に含む。
【００９１】
グラフィックス・サブシステム３３０は、ビデオ表示装置３４０で表示されるべきグラフィックスメモリ３３７からのイメージに対する画素データを周期的に出力する。ビデオ表示装置３５０は、装置３００からの信号に応じてビジュアル情報を表示することができる任意のデバイスであり、テキスト、数字、グラフィカルシンボル、または画像を表示することのできるＣＲＴ、ＬＣＤ、プラズマ、およびＯＬＥＤディスプレイを含む。デジタルブロードキャスト受信デバイス３００は、表示装置のタイプに依存して、アナログまたはデジタルの形態でディスプレイ駆動信号を表示装置３４０に与える。さらに、ディスプレイ３４０は、可聴もしくは検知可能な音を出すオーディオスピーカーを含んでもよい。そのような音の生成を容易にするために、装置３００は、プロセッシングユニット３０１、メモリユニット３０２、および／またはストレージ３１６によって提供されたインストラクションおよび／またはデータからアナログまたはデジタル音声出力を生成するために適したオーディオプロセッサ３５０を更に含む。
【００９２】
プロセッシングユニット３０１、メモリ３０２、支援機能３１１、データストレージデバイス３１６、ユーザ入力デバイス３２０、ネットワークインターフェース３２５、グラフィックスサブシステム３３０およびオーディオプロセッサ３５０を含む装置３００の構成要素は、データバス３６０を介して互いに機能的に接続されている。これらの構成要素は、ハードウェア、ソフトウェアまたはファームウェア、あるいはこれらのうちの２つ以上の組合せで実装される。
【００９３】
本発明の実施の形態は、デプスカメラ（depth camera）や、時には３次元カメラまたはＺカメラとしても知られるカメラを利用するアプリケーションやシステムとともに用いることができる。限定されるものではないが一例として、装置３００は、デプスカメラであってもよいカメラ３２４をオプションとして含んでもよい。マイクロフォン３２２のように、カメラ３２４は、入出力（Ｉ／Ｏ）機能を経由してデータバスと接続されてもよい。メインアプリケーション３０３は、カメラ３２４の視野ＦＯＶ内の人物や物体の位置に関する情報を決定するために、カメラを用いて得られた画像を解析してもよい。位置情報は人物や物体の深さＺを含めることができる。メインアプリケーション３０４は、入力を得るために、上述した音声処理とともにとともに位置情報を使ってもよい。
【００９４】
別の実施の形態によれば、上述の音声処理を実行するインストラクションは、コンピュータ読み取り可能なストレージメディアに格納されてもよい。一例として限定するものではないが、図４は、コンピュータ読み取り可能なストレージメディア４００の一例を示す。ストレージメディアは、コンピュータプロセッシングデバイスによって読み出され、解釈されることのできるフォーマットで格納されたコンピュータ読み取り可能なインストラクションを含む。限定するわけではないが一例として、コンピュータ読み取り可能なストレージメディア４００は、ＲＡＭ（random access memory）またはＲＯＭ（read only memory）のようなコンピュータ読み取り可能なメモリ、固定ディスクドライブ（たとえば、ハードディスクドライブ）のためのコンピュータ読み取り可能なストレージディスク、あるいは取り外し可能なディスクドライブであってもよい。さらに、コンピュータ読み取り可能なストレージメディア４００は、フラッシュメモリデバイス、コンピュータ読み取り可能なテープ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ（商標または登録商標）、ＨＤ−ＤＶＤ、ＵＭＤ、その他の光学式ストレージデバイスであってもよい。
【００９５】
ストレージ媒体４００には、入力単語を１以上の発音に変換するための１以上のＧ２Ｐインストラクション４０２を含む発音生成インストラクション４０１が含まれる。ここで、各発音には、第２言語に関連づけられた音素セットから選択された１以上の音素が含まれる。Ｇ２Ｐインストラクション４０２は、２以上の異なる言語においてＧ２Ｐを実行するように構成される。発音生成インストラクションはまた、生成された各発音をメモリユニットにあるコンピュータデータベースのエントリにおける入力単語に関連づけるように構成された１以上の発音関連付けインストラクション４０３を含む。
【００９６】
発音生成インストラクション４０１はまた、音素言語と発音言語をデータベースにおける各発音エントリに関連づけるように構成された言語関連付けインストラクション４０４を含む。
【００９７】
媒体４００はまた、オプションであるが、１以上の音声認識インストラクション４０５を含む。音声認識インストラクション４０５は、たとえば、図１の音声認識部１１０に関して上述したように、入力音声信号を入力音素グループに変換し、入力音素グループをデータベースの発音と比較するように構成される。媒体４００は、オプションであるが、第１言語に関連づけられた音素を第２言語に関連づけられた音素にマッピングする音素マッピングインストラクション４０６を含む。媒体はまた、オブションであるが、図１に関連して上述したコンセンサスモジュール１０７を実装するように構成されたコンセンサスインストラクション４０７を含む。
【００９８】
本発明の実施の形態は、ターゲット言語とは異なる言語である入力単語から発音を自動的に生成する完全なシステムと方法を提供する。発音生成の前後でユーザが介在する必要はない。この方法は二つの種類の発音を生成する。すなわち、正字法言語（入力単語の言語）の特徴を用いて推定された発音と、ターゲット言語（Ｇ２Ｐ変換のために注目している言語）から推定された発音である。ソース言語を変えることは、内部的に用いられるクロス言語の中間音素マッピングに基づいて音素変換することになる。生成されたエントリの超過分を処理するために、発音の精緻化手順を適用して、ターゲット言語とソース言語の両方から生じた発音のセットを最適化する。これらの手順（発音生成、クロス言語の変換および発音の精緻化）のすべては、自己完結した、小型の効率の良いフレームワーク上で実装されている。このフレームワークのおかげで、システムは、プレイステーションボイス応答（ＰＳＶＲ）ソフトウェアのような音声認識を実装するソフトウェアに組み込まれて動作することができる。
【００９９】
本発明の好ましい実施の形態を完全な形で説明してきたが、いろいろな代替物、変形、等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項により決められるべきであり、均等物の全範囲も含まれる。ここで述べた特徴はいずれも、好ましいかどうかを問わず、他の特徴と組み合わせてもよい。請求項において、明示的に断らない限り、各項目は１またはそれ以上の数量である。請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項がミーンズ・プラス・ファンクションの限定を含むものと解してはならない。
【図１】
0005323212.tif 000002
【図２Ａ】
0005323212.tif 000003
【図２Ｂ】
0005323212.tif 000004
【図３】
0005323212.tif 000005
【図４】
0005323212.tif 000006