(57)【要約】【課題】多言語コンテンツの音声をインデクシングするための言語を自動識別できるようにする。【解決手段】入力された自然言語の音声の信号を分析して解析を行う手段１３１と、該分析して解析された音声を、複数言語の自然言語用音響モデルと自然言語用言語モデルの自然言語用発音辞書１３２、１３５を用いてそれぞれ並列に探索する手段１３３、１３６、該探索された結果の尤度をそれぞれ計算する手段１３４、１３７、該計算されたそれぞれの尤度を比較して、入力された自然言語の言語を識別する手段１３８を備える。【選択図】        図１
2004347732.tif 000002
【特許請求の範囲】
【請求項１】
入力された自然言語の音声の信号を分析して解析を行うステップと、
前記分析して解析された音声を、複数言語の自然言語用音響モデルと自然言語用言語モデルの自然言語用発音辞書を用いてそれぞれ並列に探索し、該探索された結果の尤度をそれぞれ計算するステップと、
前記計算されたそれぞれの尤度を比較して、前記入力された自然言語の言語を識別するステップと、
を有することを特徴とする言語自動識別方法。
【請求項２】
入力された自然言語の音声の信号を分析して解析を行うステップと、
前記分析して解析された音声について、複数言語の自然言語用音響モデルと自然言語用言語モデルの自然言語用発音辞書を用いて一括に尤度を計算し、最大尤度をとる適用辞書から、前記入力された自然言語の言語を識別するステップと、を有することを特徴とする言語自動識別方法。
【請求項３】
入力されたコンテンツの音声をインデクシングするために、その入力された言語を自動的に識別する装置であって、
入力されたコンテンツの音声の信号を分析して解析を行う音声分析部と、
Ａ自然言語の音声認識に用いるＡ自然言語用音響モデルと、Ａ自然言語の統計的モデルであるＡ自然言語用言語モデルとのＡ自然言語用発音辞書と、
前記分析して解析された音声について、Ａ自然言語用発音辞書を探索するＡ自然言語用探索部と、
前記探索された結果のＡ自然言語の尤度を計算するＡ自然言語用尤度計算部と、
Ｂ自然言語の音声認識に用いるＢ自然言語用音響モデルとＢ自然言語の統計的モデルであるＢ自然言語用言語モデルとのＢ自然言語用発音辞書と、
前記分析して解析された音声信号について、Ｂ自然言語用発音辞書を探索するＢ自然言語用探索部と、
前記探索された結果のＢ自然言語の尤度を計算するＢ自然言語用尤度計算部と、
前記計算されたＡ自然言語の尤度とＢ自然言語の尤度を比較して言語を決定する尤度比較判定部と、
を具備することを特徴とする言語自動識別装置。
【請求項４】
請求項３記載の言語自動識別装置において、発話毎に自然言語が入れ代わることに対応するための発話区間を判定する発話区間判定部を更に有することを特徴とする言語自動識別装置。
【請求項５】
請求項３もしくは４記載の言語自動識別装置において、入力されたコンテンツの音声とその他の音響信号を切り分ける音響信号識別部と、
決定された自然言語の音声を認識するための大語彙連続音声認識処理部と、
音声認識されたテキストのトピックセグメンテーション、関連情報付与を行う言語処理部と、
音声認識結果と言語処理結果およびその他の音響信号の情報を統合する情報統合部と、
前記情報続合されたメタデータを出力するメタデータ出力部と、
を更に有することを特徴とする言語自動識別装置。
【請求項６】
入力されたコンテンツの音声をインデクシングするために、その入力された言語を自動的に識別する装置であって、
入力されたコンテンツの音声の信号を分析して解析を行う音声分析部と、
Ａ自然言語の音声認識に用いるＡ自然言語用音響モデルとＡ自然言語の統計的モデルであるＡ自然言語用言語モデルとのＡ自然言語用発音辞書と、
Ｂ自然言語の音声認識に用いるＢ自然言語用音響モデルとＢ自然言語の統計的モデルであるＢ自然言語用言語モデルとのＢ自然言語用発音辞書と、
前記分析して解析された音声について、Ａ自然言語用発音辞書とＢ自然言語用発音辞書を用いて一括に尤度を計算し、最大尤度をとる適用辞書から言語を決定する尤度計算部と、
を具備することを特徴する言語自動識別装置。
【請求項７】
請求項６記載の言語自動識別装置において、発話毎に自然言語が入れ代わることに対応するための発話区間を判定する発話区間判定部を更に有することを特徴とする言語自動識別装置。
【請求項８】
請求項６もしくは７記載の言語自動識別装置において、
入力されたコンテンツの音声とその他の音響信号を切り分ける音響信号識別部と、
決定された自然言語の音声を認識するための大語彙連続音声認識処理部と、
音声認識されたテキストのトピックセグメンテーション、関連情報付与を行う言語処理部と、
音声認識結果と言語処理結果およびその他の音響信号の情報を統合する情報統合部と、
前記情報統合されたメタデータを出力するメタデータ出力部と、
を更に有することを特徴とする言語自動識別装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の言語自動識別装置において、Ａ自然言語学習用音声データよりＡ自然言語用音響モデルの生成、及びＢ自然言語学習用音声データよりＢ自然言語用音響モデルの生成を処理する複数言語に対応することが可能な音響モデル生成部から成る音響モデルオフライン処理部を更に有することを特徴とする言語自動識別装置。
【請求項１０】
請求項１乃至８のいずれか１項に記載の言語自動識別装置において、Ａ自然言語学習用テキストデータよりＡ自然言語用統計的言語モデルの生成、及びＢ自然言語学習用テキストデータよりＢ自然言語用統計的言語モデルの生成を処理する複数言語に対応することが可能な言語モデル生成部から成る言語モデルオフライン処理部を更に有することを特徴とする言語自動識別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像コンテンツ等の音声をインデクシングするための言語自動識別方法及び装置に関し、多言語音声インデクシング、多言語デイクテーション、多言語検索、多言語翻訳、自動翻訳電話、自然言語処理などに適用されるものである。
【０００２】
【従来の技術】
近年の音声認識アルゴリズムの進歩とコンピュータの飛躍的な性能向上により、様々な応用が可能な音声認識エンジンが開発されている（例えば、非特許文献１参照）。
一方、近年のインターネットのグローバル化並びにブロードバンドネットワークの進展に伴い、音声を含む映像コンテンツの流通が盛んとなり、多言語間の検索や自動翻訳の通信の需要が増加している。しかし、従来の多言語間通信方法では、発信者が言語を指定するか、若しくは受信者が何の言語かを判断して、発信内容が翻訳される。また、発信者、若しくは受信者が言語を指定する際には、各言語に対応する機能カードの差し換え、スイッチの切り替え、画面選択、マウスボタン選択などによる方法などが用いられる。
【０００３】
【非特許文献１】
野田喜昭ほか、「マルチメディア時代を支える音声認識技術」、ＮＴＴ  Ｒ＆Ｄ  Ｖｏｌ．４９，Ｎｏ．３，２０００，Ｐ．１４２〜１４７
【０００４】
【発明が解決しようとする課題】
従来技術による言語識別方法では、人手に頼らざるを得ないため、多言語コンテンツの言語を識別することは不便であり、また、人手に頼るため時間と費用がかかる上、多言語に長けた専門家に頼らざるを得ないという問題がある。
従って、本発明は上記従来技術の問題点を解決するため、映像コンテンツ等の音声等をインデクシングするための言語を自動的に識別する方法及び装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の言語自動識別方法は、多言語コンテンツの音声をインデクシングする際に、複数言語の自然言語用音響モデルと自然言語用言語モデルの自然言語用発音辞書を用いて、入力される自然言語の尤度を並列にまたは一括に計算し、尤度比較あるいは最大尤度となる適用辞書により、入力された言語をリアルタイムで自動的に識別することを特徴とするものである。
【０００６】
また、本発明の言語自動識別装置においては、入力されたコンテンツの音声の信号を分析して解析を行う音声分析手段と、Ａ自然言語の音声認識に用いるＡ自然言語用音響モデルとＡ自然言語の統計的モデルであるＡ自然言語用言語モデルとのＡ自然言語用発音辞書と、前記分析して解析された音声について、Ａ自然言語用発音辞書を探索するＡ自然言語用探索手段と、探索された結果のＡ言語の尤度を計算するＡ自然言語用尤度計算手段と、Ｂ自然言語の音声認識に用いるＢ自然言語用音響モデルとＢ自然言語の統計的モデルであるＢ自然言語用言語モデルとのＢ自然言語用発音辞書と、前記分析して解析された音声について、Ｂ自然言語用発音辞書を採索するＢ自然言語用探索手段と、探索された結果のＢ言語の尤度を計算するＢ自然言語用尤度計算手段と、並列処理計算されたＡ自然言語の尤度とＢ自然言語の尤度を比較し、言語を決定する尤度比較判定手段を備えることを特徴とする。
【０００７】
また、本発明の言語自動識別装置においては入力されたコンテンツの音声の信号を分析して解析を行う音声分析手段と、Ａ自然言語の音声認識に用いるＡ自然言語用音響モデルとＡ自然言語の統計的モデルであるＡ自然言語用言語モデルとのＡ自然言語用発音辞書と、Ｂ自然言語の音声認識に用いるＢ自然言語用音響モデルとＢ自然言語の統計的モデルであるＢ自然言語用言語モデルとのＢ自然言語用発音辞書と、前記分析して解析された音声について、Ａ自然言語用発音辞書とＢ自然言語用発音辞書を用いて、ＧＭＭ手法等により一括に尤度を計算し、最大尤度をとる適用辞書から言語を決定するＧＭＭ尤度計算手段とを備えることを特徴とする。
【０００８】
さらには、本発明の言語自動識別装置においては、発話毎に自然言語が入れ代わることに対応するための発話区間を判定する発話区間判定手段を備えることを特徴とする。
【０００９】
さらには、本発明の言語自動識別装置においては、Ａ自然言語学習用音声データよりＡ自然言語用音響モデルの生成、及びＢ自然言語学習用音声データよりＢ自然言語用音響モデルの生成を処理することができる複数言語に対応することが可能な音響モデル生成手段から成る音響モデルオフライン処理手段を備えている。
【００１０】
さらには、本発明の言語自動識別装置においては、Ａ自然言語学習用テキストデータよりＡ自然言語用統計的言語モデルの生成、及びＢ自然言語学習用テキストデータよりＢ自然言語用統計的言語モデルの生成を処理することができる複数言語に対応することが可能な言語モデル生成手段から成る言語モデルオフライン処理手段を備えている。
【００１１】
【発明の実施の形態】
以下、図面を用いて本発明の実施例を説明する。
図１は、本発明による第１の実施例の全体構成図である。図１において、１０はコンテンツ、１１はコンテンツ入力部、１２は音響信号識別部、１３は言語自動識別装置、１７は大語彙連続音声認識処理部、１８は言語処理部、１９は情報統合部、２０はメタデータ出力部、２１はメタデータである。言語自動識別装置１３は、音声分析部１３１、Ａ自然言語用音響モデル１４４とＡ自然言語用言語モデル１５４とのＡ自然言語用発音辞書１３２、Ａ自然言語用探索部１３３、Ａ自然言語用尤度計算郡１３４、Ｂ自然言語用音響モデル１４５とＢ自然言語用言語モデル１５５とのＢ自然言語用発音辞書１３５、Ｂ自然言語用探索部１３６、Ｂ自然言語用尤度計算部１３７、尤度比較判定部１３８で構成されている。なお、言語自動識別装置１３に、１１〜１２、１７〜２０の各部の一部又は全部を含めることでもよい。
【００１２】
Ａ自然言語用発音辞書１３２のＡ自然言語用音響モデル１４４及びＡ自然言語用言語モデル１５４は、Ａ自然言語が識別できればよく、大語彙連続音声認識処理部１７に用意されるモデルほど大規模である必要はない。Ｂ自然言語用発音辞書１３５のＢ自然言語用音響モデル１４５及びＢ自然言語用言語モデル１５５についても同様である。以下では、Ａ自然言語が日本語、Ｂ自然言語が英語であるとする。
【００１３】
図２に、図１の実施例の処理フローチャートを示す。例えば、日本語と英語を含むニュースコンテンツ１０がブロードバンドネットワークなどを通じてコンテンツ入力部１１へと入力される（ステップ２０１）。コンテンツ入力部１１によりニュースコンテンツ１０の音信号をＡ／Ｄ変換し、音響信号識別部１２により発声区間をセグメンテーションして音声言語処理すべき音声の区間とＢＧＭ（バック・グランド・ミュージック）やノイズなどその他の音響信号の区間に切り分ける（ステップ２０２）。
【００１４】
音声分析部１３１では、上記切り分けられた音声の信号を分析して解析を行い、例えば、サンプリング周波数：１６ＫＨｚ、ハミング窓：２０ｍｓ、フレーム周期１０ｍｓで分析を行い、１６次ＬＰＣケプストラム、Δケプストラム、対数パワー、Δ対数パワーを含む３４次元等の特徴バラメータを抽出する（ステップ２０３）。
【００１５】
音声分析部１３１で抽出された音声の特徴パラメータは、それぞれＡ自然言語用探索部１３３とＢ自然言語用探索部１３６に与えられる。例えば、音声が「では、シアトルＴＮＮ放送局のセイムさんに現地の声を聞いてみたいと思います。」の場合、Ａ自然言語用探索部（日本語用探索部）１３３により、予め適切に日本語認識用に準備された日本語用音響モデル１４４と日本語用言語モデル１５４の日本語用発音辞書１３２を用いてビームサーチの方法で尤度のスコアの高い部分木を残す枝刈りを行い（ステップ２０４）、Ａ自然言語用尤度計算部（日本語用尤度計算部）１３４で尤度の計算を行い、スコアの高い「では」をスコアと共に尤度比較判定部１３８に送る（ステップ２０５）。
【００１６】
同時に、Ｂ自然言語用探索部（英語用探索部）１３６により、予め適切に英語用に準備された英語用音響モデル１４５と英語用言語モデル１５５の英語用発音辞書１３５を用いて、同様にビームサーチの方法で尤度のスコアの高い部分木を残す枝刈りを行い（ステップ２０６）、英語用尤度計算部１３７で尤度の計算を行い、スコアの高い例えば「ｄｅｗａｔｅｒ」をスコアと共に尤度比較判定部１３８に送る（ステップ２０７）。
【００１７】
上記Ａ自然言語用探索部１３３とＡ自然言語用尤度計算部１３４や、Ｂ自然言語用探索部１３６とＢ自然言語用尤度計算部１３７での処理は、通常の音声認識と基本的に同様である。
【００１８】
Ａ自然言語用探索部１３３とＡ自然言語用尤度計算部１３４及びＢ自然言語用探索部１３６とＢ自然言語用尤度計算部１３７により並列処理で計算された日本語「では」の尤度スコアと英語「ｄｅｗａｔｅｒ」の尤度スコアが、尤度比較判定部１３８で比較計算され（ステップ２０８）、スコアの高い「では」が決定され、すなわち、日本語が決定され、大語彙連続音声認識処理部１７に送られる。
【００１９】
大語彙連続音声認識処理部１７は、複数言語（ここでは日本語と英語）の音声認識エンジンで構成されており、「では」で始まる一連の音声を、日本語の音声認識エンジンを用いて高速、高精度で認識し（ステップ２０９）、例えば漢字かな混じり文字列を得、されに読み、品詞情報等を付して言語処理部１８に送る。言語処理部１８では音声認識されたテキストの内容語に対して予めコーパスにおける共起情報から獲得した概念ベクトルに基づく方法などを用いてトピックセグメンテーションを行い、検索アクセスにとって有用な固有表現などの関連情報の付与を行い情報統合部１９に送る（ステップ２１０）。情報統合部１９では音声認識結果と言語処理結果およびその他の音響信号の情報を統合してメタデータ出力部２０に送り（ステップ２１１）、メタデータ２１が利用しやすいＸＭＬ形式のファイルとして保存される（ステップ２１２）。
【００２０】
図３は、本発明の第２の実施例の主要部の構成図である。本実施例は、尤度比較判定部１３８と大語彙連続音声認識処理部１７との間に発話区間判定部１６を追加したもので、それ以外の構成は図１と同様である。
【００２１】
例えば、音声が
「では、シアトルＴＮＮ放送局のセイムさんに現地の声を聞いてみたいと思います。」、
［Ｍｒ．Ｓｅｉｍ，Ｈｏｗ  ｄｏ  ｔｈｅｙ  ａｐｐｒｅｃｉａｔｅ  Ｉｃｈｉｒｏ’ｓ  ａｃｈｉｅｖｅｍｅｎｔ  ｉｎ  Ｓｅａｔｔｌｅ？］［Ｃｏｎｇｒａｕｌａｔｉｏｎｓ  Ｉｃｈｉｒｏ．］
…
…
［Ｔｈａｎｋｙｏｕ，Ｍｒ．Ｓｅｉｍ．］
「シアトルＴＮＮ放送局のセイムさんにお話しを伺いました。」
と日本語から英語、そして英語から日本語へと変わるようなコンテンツ１０が入力されるとする。
【００２２】
この場合、文頭「では、…」で始まる音声の言語は、先の第１の実施例で説明したように、日本語と識別され、日本語として処理される。ここで、発話区間判定部１６により、「…と思います。」を語尾の無音区間および言語モデルにより文末であると判断し、発話区間判定部１６からフィードバックにより、Ａ自然言語用探索部（日本語用探索部）１３３及びＢ自然言語用探索部（英語用探索部）１３６では、音声分析部１３１からの「Ｍｒ」の音声分析結果から音声を再び処理するようにする。
【００２３】
Ａ自然言語用音響モデル（日本語用音響モデル）１４４とＡ自然言語用言語モデル（日本語用言語モデル）１５４のＡ自然言語用発音辞書（日本語用発音辞書）１３２を用いて、Ａ自然言語用探索部（日本語用探索部）１３３によりビームサーチの方法で尤度のスコアの高い部分木を残す枝刈りを行い、Ａ自然言語用尤度計算部（日本語用尤度計算部）１３４で尤度を計算を行い、スコアの高い「ミスター」がスコアと共に尤度比較判定部１３８に送られる。同時に、Ｂ自然言語用音響モデル（英語用音響モデル）１４５とＢ自然言語用言語モデル（英語用言語モデル）１５５のＢ自然言語用発音辞書（英語用発音辞書）１３５を用いて、Ｂ自然言語用探索部（英語用探索部）１３６によりビームサーチの方法で尤度のスコアの高い部分木を残す枝刈りを行い、Ｂ自然言語尤度計算部（英語用尤度計算部）１３７で尤度を計算を行い、スコアの高い［Ｍｒ」がスコアと共に尤度比較判定部１３８に送られる。並列処理で計算された日本語「ミスター」の尤度スコアと英語「Ｍｒ」の尤度スコアが、尤度比較判定部１３８で比較計算され、スコアの高い「Ｍｒ」が決定される。したがって、大語彙連続音声認識処理部１７では、英語の音声認識エンジンを用いて、「Ｍｒ」で始まる音声が処理される。
【００２４】
同様に、次に発話区間判定部１６により、「…Ｓｅａｔｔｌｅ？」が文末であることを判断した場合、音声分析部１３１からの「Ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」の音声分析結果から再び処理されることになる。以下、各発話毎の文単位での当該言語による処理が進むことになる。
【００２５】
この第２の実施例によれば、映像コンテンツの音声をインデクシングするために入力された自然言語を、発話毎に自然言語が入れ代わることに対応して自動的に識別することが可能になる。
【００２６】
図４に、Ａ自然言語用音響モデル１４４及びＢ自然言語用音響モデル１４５を生成する一実施例の構成図を示す。図４において、１４は音響モデルオフライン処理部であり、音響モデル生成部１４１、Ａ自然言語学習用音声データベース１４２、Ｂ自然言語学習用音声データベース１４３で構成されている。
【００２７】
音響モデルオフライン処理部１４では、Ａ自然言語学習用音声データベース１４２、Ｂ自然言語学習用音声データベース１４３にある音声データをクラスクリングして各言語の音節構造を考慮した音素クラスタをつくり、音響モデル生成部１４１により、各言語に従ったガーベジを作り音響モデルの適応化を行い、Ａ自然言語用音響モデル１４４、Ｂ自然言語用音響モデル１４５を各々オフラインで作成する。
【００２８】
音響モデルオフライン処理部１４を用いることにより、複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、その複数言語に対応することが可能な音響モデルの生成を行うことができ、入力された自然言語を、各発話毎に自然言語が入れ代わることに対応して自動的に識別することができるようになる。
【００２９】
図５に、Ａ自然言語用言語モデル１５４とＢ自然言語用言語モデル１５５を生成する一実施例の構成図を示す。図５において、１５は言語モデルオフライン処理部であり、言語モデル生成部１５１、Ａ自然言語学習用テキストデータベース１５２、Ｂ自然言語学習用テキストデータベース１５３で構成されている。
【００３０】
言語モデルオフライン処理部１５では、Ａ自然言語学習用テキストデータベース１５２、Ｂ自然言語学習用テキストデータベース１５３にある言語コーパスを用いて、言語モデル生成部１５１によりＮグラムで統計的に学習を行い、Ａ自然言語用言語モデル１５４、Ｂ自然言語用言語モデル１５５を各々オフラインで作成する。
【００３１】
言語モデルオフライン処理部１５を用いることにより、複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、その複数言語に対応することが可能な統計的言語モデルの生成を行うことができ、入力された自然言語を、各発話毎に自然言語が入れ代わることに対応して自動的に識別することができるようになる。
【００３２】
図６は本発明の第３の実施例の全体的構成図である。図６において、１０はコンテンツ、１１はコンテンツ入力部、１２は音響信号識別部、１３は言語自動識別装置、１７は大語彙連続音声認識処理部、１８は言語処理部、１９は情報統合部、２０はメタデータ出力部、２１はメタデータである。言語自動識別装置１２は、音声分析部１３１、Ａ自然言語用音響モデル１４４とＡ自然言語用言語モデル１５４とのＡ自然言語用発音辞書１３２、Ｂ自然言語用音響モデル１４５とＢ自然言語用言語モデル１５５とのＢ自然言語用発音辞書１３５、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）尤度計算部１３９で構成されている。
【００３３】
本言語自動識別装置１３では、図１の言語自動識別装置１３ような複数の自然言語探索部１３３、１３６及び複数の自然言語尤度計算部１３４、１３７による並列処理に代わり、ＧＭＭ尤度計算部１３９において、Ａ自然言語用発音辞書１３２とＢ自然言語用発音辞書１３５を用いて、混合ガウス分布の隠れマルコフモデルにより一括で尤度計算を行い、最高尤度がいずれの辞書で得られたかにより、言語を識別する。
【００３４】
なお、混合ガウス分布の隠れマルコフモデルによる話者を識別する方法は知られており（例えば、Ｄｏｕｇｌａｓほか“Ｒｏｂｕｓｔ  Ｔｅｘｔ−Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｐｅａｋｅｒ
Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｓｐｅａｋｅｒ  Ｍｏｄｅｌｓ”，ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＳＰＥＥＣＨ  ＡＮＤ  ＡＵＤＩＯ  ＰＲＯＣＥＳＳＩＮＧ，Ｖｏｌ．３，Ｎｏ１，ＪＡＮＵＡＲＹ  １９９５）、ここでは、言語の識別に利用する。
【００３５】
図７は、この第３の実施例の処理フローチャートである。図７において、ステップ３０４がＧＭＭ尤度計算部１３９での処理であり、これ以外は図２に示した処理フローチャートと同様であるので、詳しい説明は省略する。
【００３６】
上記第３の実施例によれば、複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、各自然言語に対応する音響モデルと言語モデルの発音辞書を用意し、一括処理でＧＭＭ尤度計算を行うことにより、高速で言語を識別することが可能になる。
【００３７】
図８は、本発明の第４の実施例の主要部の構成図である。本実施例は、ＧＭＭ尤度計算部１３９と大語彙連続音声認識処理部１７との間に発話区間判定部１６を追加したもので、それ以外の構成は図７と同様である。また、発話区間判定部１６の機能は先の第２の実施例の場合と同様である。
【００３８】
なお、図６や図８においても、図４の音響モデルオフライン処理部１４や図５の言語モデルオフライン処理部１５を追加構成することが出来ることは云うまでもない。
【００３９】
なお、図１や図６、その他で示した装置構成における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２や図７などで示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００４０】
【発明の効果】
以上の説明から明らかなように、本発明によれば、以下のような効果が得られる。
（１）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、各自然言語に対応する音響モデル・言語モデルの発音辞書を用意し、探索・尤度計算の並列処理を行い、尤度比較判定することにより、入力された自然言語に対して、従来人手に頼っていた言語識別を、自動的に識別することができるようになる。
【００４１】
（２）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、各自然言語に対応する音響モデル・言語モデルの発音辞書を用意し、探索・尤度計算の並列処理を行い、尤度比較判定し、更に発話区間判定することにより、入力された自然言語に対して、従来人手に頼っていた言語識別を、各発話毎に自然言語が入れ代わることに対応して自動的に識別することができるようになる。
【００４２】
（３）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、複数言語に対応することが可能な音響モデルの生成を行うことができ、入力された自然言語を、各発話毎に自然言語が入れ代わることに対応して自動的に識別することができるようになる。
【００４３】
（４）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、複数言語に対応することが可能な統計的言語モデルの生成を行うことができ、入力された自然言語を、各発話毎に自然言語が入れ代わることに対応して自動的に識別することができるようになる。
【００４４】
（５）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、各自然言語に対応する音響モデル・言語モデルの発音辞書を用意し、一括処理でＧＭＭ手法等の尤度計算を行い、尤度比較判定することにより、入力された自然言語に対して、従来人手に頼っていた言語識別を、高速で自動的に識別することができるようになる。
【００４５】
（６）複数の自然言語を含む映像コンテンツの音声をインデクシングする際に、各自然言語に対応する音響モデル・言語モデル・発音辞書を用意し、一括処理でＧＭＭ手法等の尤度計算を行い、言語判定し、更に発話区間判定することにより、入力された自然言語に対して、従来人手に頼っていた言語識別を、各発話毎に自然言語が入れ代わることに対応して高速で自動的に識別することができるようになる。
【図面の簡単な説明】
【図１】本発明による第１の実施例の全体構成図である。
【図２】図１の処理フローチャートである。
【図３】本発明による第２の実施例の主要部の構成図である。
【図４】音響モデル生成の一実施例の構成図である。
【図５】言語モデル生成の一実施例の構成図である。
【図６】本発明による第３の実施例の全体構成図である。
【図７】図６の処理フローチャートである。
【図８】本発明による第４の実施例の主要部の構成図である。
【符号の説明】
１１  コンテンツ入力部
１２  音響信号識別部
１３  言語自動識別装置の中心部
１４  音響モデルオフライン処理部
１５  言語モデルオフライン処理部
１６  発話区間判定部
１７  大語彙連続音声認識処理部
１８  言語処理部
１９  情報統合部
２０  メタデー夕出力部
１３１  音声分析部
１３２  Ａ自然言語用発音辞書
１３３  Ａ自然言語用探索部
１３４  Ａ自然言語用尤度計算部
１３５  Ｂ自然言語用発音辞書
１３６  Ｂ自然言語用探索部
１３７  Ｂ自然言語用尤度計算
１３８  尤度比較判定部
１３９  ＧＭＭ尤度計算部
１４１  音響モデル生成部
１４２  Ａ自然言語学習用音声データベース
１４３  Ｂ自然言語学習用音声データベース
１４４  Ａ自然言語用音響モデル
１４５  Ｂ自然言語用音響モデル
１５１  言語モデル生成部
１５２  Ａ自然言語学習用テキストデータベース
１５３  Ｂ自然言語学習用テキストデータベース
１５４  Ａ自然言語用言語モデル
１５５  Ｂ自然言語用言語モデル
【図１】
2004347732.tif 000003
【図２】
2004347732.tif 000004
【図３】
2004347732.tif 000005
【図４】
2004347732.tif 000006
【図５】
2004347732.tif 000007
【図６】
2004347732.tif 000008
【図７】
2004347732.tif 000009
【図８】
2004347732.tif 000010