(57)【要約】【課題】複数の言語的制約に対応し、要求されるハードウェアリソースの低減やソースコードのメンテナンス性の向上を実現し、さらに、多様な用途の音声認識処理に容易に対応することができるようにする。【解決手段】言語的制約処理部３７Ａ乃至３７Ｄは、それぞれが対応する、辞書データベース３８Ａ乃至３８Ｄ、並びに、文法データベース３９Ａ乃至３９Ｄのインタフェース処理を行い、マッチング部３４が利用可能な情報を提供する。マッチング部３４は、言語的制約処理部３７Ａ乃至３７Ｄの内、制御部４１に制御されたアクセスセレクタ３６により接続された言語的制約処理部に対して、同じインタフェースを用いて情報を取得し、その情報に基づいて、認識エンジン３０に入力された音声のマッチング処理を行い、音声認識結果を認識エンジン３０の外部に出力する。本発明は、音声認識装置に適用することができる。【選択図】      図３
2004325560.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声に対して、その音声認識結果の尤度を表すスコアを計算し、そのスコアに基づいて、前記音声を認識する音声認識装置であって、
前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供手段と、
前記言語的制約提供手段から前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定手段と
を備えることを特徴とする音声認識装置。
【請求項２】
前記言語的制約提供手段は、
予め設定されている言語的制約に対応し、単語の発音に関する情報である音韻情報を保持する音韻情報保持手段と、
前記言語的制約に対応し、前記音韻情報保持手段により前記音韻情報が保持されている前記単語同士の連鎖に関する情報である文法規則を保持する文法規則保持手段と、
前記音韻情報保持手段により保持されている前記音韻情報、および前記文法規則保持手段により保持されている前記文法規則に基づいて、前記インタフェースとして提供可能な情報を取得し、取得した前記情報を前記確定手段に提供するインタフェース処理を実行するインタフェース処理実行手段と
を備え、
各言語的制約提供手段の前記インタフェース処理実行手段は、互いに等しい形式のインタフェースにより、前記情報を前記確定手段に提供する
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記言語的制約提供手段が前記言語的制約を前記確定手段に提供する前記インタフェースは、前記音声認識結果の候補となる単語の履歴情報である言語履歴情報の初期値、言語履歴情報と前記言語履歴情報に後続する単語候補より算出される前記スコア、および前記言語履歴情報の更新情報を含む
ことを特徴とする請求項１に記載の音声認識装置。
【請求項４】
前記言語的制約提供手段が前記言語的制約を前記確定手段に提供する前記インタフェースは、前記言語履歴情報が他の前記言語履歴情報と等しいかどうかの判定結果に関する情報をさらに含む
ことを特徴とする請求項３に記載の音声認識装置。
【請求項５】
複数設けられた前記言語的制約提供手段の中から、前記確定手段が利用する、１つ以上の前記言語的制約提供手段を動的に選択し、前記確定手段に接続させる接続制御を行う接続制御手段をさらに備える
ことを特徴とする請求項１に記載の音声認識装置。
【請求項６】
入力された音声に対して、その音声認識結果の尤度を表すスコアを計算し、そのスコアに基づいて、前記音声を認識する音声認識装置の音声認識方法であって、
前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、
前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップと
を含むことを特徴とする音声認識方法。
【請求項７】
入力された音声に対して、その音声認識結果の尤度を表すスコアを計算し、そのスコアに基づいて、前記音声を認識する処理をコンピュータに行わせるプログラムにおいて、
前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、
前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
入力された音声に対して、その音声認識結果の尤度を表すスコアを計算し、そのスコアに基づいて、前記音声を認識する処理をコンピュータに行わせるプログラムであって、
前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、
前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音声認識装置および方法、プログラム、並びに記録媒体に関し、特に、複数の言語的制約を取り扱う音声認識処理に用いて好適な音声認識装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、音声認識を応用したアプリケーションとしての製品やサービスの実用化が盛んに行なわれるようになってきた。
【０００３】
音声認識とは、入力された音声信号に対応した単語の系列を自動的に決定する技術のことであり、この技術とアプリケーションを組み合わせることで、様々な製品やサービスが可能となる。
【０００４】
図１は、従来の音声認識装置の一例の構成を示している。
【０００５】
図１の音声認識装置１０に対してユーザが発した音声は、音声認識装置１０のマイク（マイクロフォン）１１に入力され、マイク１１では、その入力音声が、電気信号としての音声信号に変換される。この音声信号は、Ａ／Ｄ（Ａｎａｌｏｇ  ／  Ｄｉｇｉｔａｌ）変換部１２に供給される。Ａ／Ｄ変換部１２では、マイク１１からのアナログ信号である音声信号がサンプリング、量子化され、デジタル信号である音声データに変換される。この音声データは、特徴抽出部１３に供給される。
【０００６】
特徴抽出部１３は、Ａ／Ｄ変換部１２からの音声データについて、適当なフレームごとに音響処理を施し、これにより、例えば、ＭＦＣＣ（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）等の特徴量を抽出し、マッチング部１４に供給する。なお、特徴抽出部１３では、その他、例えば、スペクトルや、線形予測係数、ケプストラム係数、線スペクトル対等の特徴量を抽出することが可能である。
【０００７】
マッチング部１４は、特徴抽出部１３からの特徴量を用いて、音響モデルデータベース１５、辞書データベース１６、および文法データベース１７を必要に応じて参照しながら、マイク１１に入力された音声（入力音声）を、例えば、連続分布ＨＭＭ法等に基づいて音声認識する。
【０００８】
即ち、音響モデルデータベース１５は、音声認識する音声の言語における個々の音素や音節などの音響的な特徴を表す音響モデルを記憶している。ここでは、連続分布ＨＭＭ法に基づいて音声認識を行うので、音響モデルとしては、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）が用いられる。辞書データベース１６は、認識対象の各単語について、その発音に関する情報（音韻情報）が記述された単語辞書を記憶している。文法データベース１７は、辞書データベース１６の単語辞書に登録されている各単語が、どのように連鎖する（つながる）かを記述した文法規則（言語モデル）を記憶している。ここで、文法規則としては、例えば、文脈自由文法（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）などに基づく規則を用いることができる。
【０００９】
マッチング部１４は、辞書データベース１６の単語辞書を参照することにより、音響モデルデータベース１５に記憶されている音響モデルを接続することで、単語の音響モデル（単語モデル）を構成する。さらに、マッチング部１４は、幾つかの単語モデルを、文法データベース７に記憶された文法規則を参照することにより接続し、そのようにして接続された単語モデルを用いて、特徴量に基づき、連続分布ＨＭＭ法によって、マイク１１に入力された音声を認識する。即ち、マッチング部１４は、特徴抽出部１３が出力する時系列の特徴量が観測されるスコア（尤度）が最も高い単語モデルの系列を検出し、その単語モデルの系列に対応する単語列を、音声の認識結果として出力する。
【００１０】
すなわち、マッチング部１４は、接続された単語モデルに対応する単語列について、各特徴量の出現確率を累積し、その累積値をスコアとして、そのスコアを最も高くする単語列を、音声認識結果として出力する。
【００１１】
スコア計算は、一般に、音響モデルデータベース１５に記憶された音響モデルによって与えられる音響的なスコア（以下、適宜、音響スコアという）と、文法データベース１７に記憶された文法規則によって与えられる言語的なスコア（以下、適宜、言語スコアという）とを総合評価することで行われる。
【００１２】
すなわち、音響スコアは、例えば、ＨＭＭ法による場合には、単語モデルを構成する音響モデルから、特徴抽出部１３が出力する特徴量の系列が観測される確率（出現する確率）に基づいて、単語ごとに計算される。
【００１３】
言語スコアは、その与えられ方が、利用する文法規則（言語モデル）、すなわち言語的制約の種類によって異なる。例えば、統計言語モデル（Ｎ−ｇｒａｍ）を用いる場合は、注目している単語と、その直前に並ぶＮ−１個の単語（Ｎ−１単語）とが連鎖（連接）する確率に基づいて求められる。そしてその確率に適切な重み付けを施して言語スコアとする。そして、音響スコアと合わせて総合評価され、単語仮説が生成される（例えば、非特許文献１参照）。
【００１４】
また、言語的制約として正規文法を用いる場合、正規文法を等価なオートマトンに展開し、それによって決定される単語間遷移だけを許すような単語仮説に対してだけ音響スコア計算を行い、最もスコアの高いものが選ばれる（例えば、非特許文献２および３参照）。
【００１５】
さらに、言語的制約として一般化ＬＲ法による文脈自由文法を用いる場合、文脈自由文法による表現を変換したＬＲテーブルを用いて、言語スコアが算出され、最もスコアの高いものが選ばれる（例えば、非特許文献４および５参照）。
【００１６】
通常、統計言語モデルを言語的制約として用いる音声認識装置は、ディクテーションシステムのように、ユーザの任意の発話をテキストに変換するような用途に適するが、統計言語モデルの作成に大量の整備されたテキストデータが必要となる。
【００１７】
一方、情報検索や予約システムなど、音声認識が利用されるタスクやドメインが限定されているような用途の場合、大量の整備されたテキストデータの収集が困難な作業となるので、正規文法や文脈自由文法などの記述文法を言語的制約として用いる音声認識装置が多く利用される。
【００１８】
すなわち、上述した各方法は用途により向き不向きがあり、このように音声認識装置の利用目的によって、適切な言語的制約が異なってくるので、１台の音声認識装置により、複数の種類の言語的制約を利用できるようにすることが望ましい場合もある。その場合、言語的制約の種類によってマッチング部１４の構成が異なるため、例えば図２に示されるように、音声認識装置が複数のマッチング部を有する必要がある。
【００１９】
図２において、２種類の言語的制約に対応する音声認識装置２０は、図１の音声認識装置１０の場合と同様に、音声入力部２１、Ａ／Ｄ変換部２２、特徴抽出部２３、および音響モデルデータベース２５を１つずつ有するとともに、図１の音声認識装置１０とは異なり、２つのマッチング部２４Ａおよび２４Ｂ、２つの辞書データベース２６Ａおよび２６Ｂ、並びに、２つの文法データベース２７Ａおよび２７Ｂを有している。
【００２０】
すなわち、音声認識装置２０は、音声入力部２１において入力された音声を電気信号に変換し、音声入力部２１より出力された音声信号をＡ／Ｄ変換部２２において、デジタル信号に変換し、特徴抽出部２３においてＡ／Ｄ変換部２２より出力された音声データより特徴量を抽出する。そして、抽出された特徴量は、マッチング部２４Ａおよび２４Ｂに供給される。
【００２１】
マッチング部２４Ａおよびマッチング部２４Ｂは、それぞれ、互いに異なる言語的制約を記憶する文法データベース２７Ａおよび２７Ｂに基づいて言語スコアを算出する。そのためマッチング部２４Ａおよびマッチング部２４Ｂは、その構成が互いに異なる。また、辞書データベース２６Ａおよび２６Ｂも、それぞれ、文法データベースの言語的制約に対応するような互いに異なる単語辞書を記憶している。
【００２２】
このように、音声認識装置２０は、２種類の言語的制約に対応するために、互いに構成が異なる２つのマッチング部２４Ａおよび２４Ｂ、辞書データベース２６Ａおよび２６Ｂ、並びに、文法データベース２７Ａおよび２７Ｂを有する。
【００２３】
なお、音声認識装置を３つ以上の言語的制約に対応させる場合、音声認識装置が互いに異なる言語的制約に対応したマッチング部、辞書データベース、および文法データベースを３つ以上有するようにしなければならない。すなわち、音声認識装置は、対応させる言語的制約の数と同数の、マッチング部、辞書データベース、および文法データベースを有するようにしなければならない。
【００２４】
【非特許文献１】
李、河原、堂下「単語テレリスインデックスを用いた段階的探索による大語彙連続音声認識」電子情報通信学会論文誌、Ｖｏｌ．Ｊ８２−ＤＩＩ，ＮＯ．１，ｐｐ．１−９、１９９０
【００２５】
【非特許文献２】
中川「確率モデルによる音声認識」電子情報通信学会、ｐｐ．２０−２６、１９８８
【００２６】
【非特許文献３】
李、河原、堂下「文法カテゴリ対制約を用いたＡ＊探索に基づく大語彙連続音声認識パーザ」情報処理学会論文誌、Ｖｏｌ．４０，ＮＯ．４，ｐｐ．１３７４−１３８２
【００２７】
【非特許文献４】
ＡＴＲ国際電気通信基礎技術研究所編「自動翻訳電話」、オーム社、ｐｐ．５１−６５
【００２８】
【非特許文献５】
長尾編「自然言語処理」、岩波講座ソフトウェア・科学、ｐｐ．１５４−１６５
【００２９】
【発明が解決しようとする課題】
しかしながら、上述したような音声認識装置２０の場合、複数のマッチング部を有するため、全てのマッチング部に対応するメモリ領域を用意する必要があり、全体のメモリ量が、実際の処理の負荷に比べて必要以上に増加してしまう場合があるという課題があった。
【００３０】
また、複数のマッチング部の構成が互いに異なるので、音声認識装置において実行させるプログラムのソースコードのメンテナンスが困難になってしまうという課題もあった。さらに、新たに種類の異なる言語的制約をさらに利用しようとした場合、音声認識装置に、新たなマッチング部をさらに設ける必要があり、容易に言語的制約を追加することができないという課題もあった。
【００３１】
なお、上述したような音声認識装置２０をハードウェア回路により構成するようにした場合は、回路の構成が複雑になり、回路規模および製造コストが増大してしまう恐れがあるという課題があった。
【００３２】
本発明はこのような状況に鑑みてなされたものであり、複数の言語的制約に対応し、要求されるハードウェアリソースの低減やソースコードのメンテナンス性の向上を実現し、さらに、多様な用途の音声認識処理に容易に対応することができるようにするものである。
【００３３】
【課題を解決するための手段】
本発明の音声認識装置は、音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供手段と、言語的制約提供手段からインタフェースを介して提供された言語的制約により得られるスコアに基づいて、音声の音声認識結果を確定する確定手段とを備えることを特徴とする。
【００３４】
前記言語的制約提供手段は、予め設定されている言語的制約に対応し、単語の発音に関する情報である音韻情報を保持する音韻情報保持手段と、言語的制約に対応し、音韻情報保持手段により音韻情報が保持されている単語同士の連鎖に関する情報である文法規則を保持する文法規則保持手段と、音韻情報保持手段により保持されている音韻情報、および文法規則保持手段により保持されている文法規則に基づいて、インタフェースとして提供可能な情報を取得し、取得した情報を確定手段に提供するインタフェース処理を実行するインタフェース処理実行手段とを備え、各言語的制約提供手段のインタフェース処理実行手段は、互いに等しい形式のインタフェースにより、情報を確定手段に提供するようにすることができる。
【００３５】
前記言語的制約提供手段が言語的制約を確定手段に提供するインタフェースは、音声認識結果の候補となる単語の履歴情報である言語履歴情報の初期値、言語履歴情報と言語履歴情報に後続する単語候補より算出されるスコア、および言語履歴情報の更新情報を含むようにすることができる。
【００３６】
前記言語的制約提供手段が言語的制約を確定手段に提供するインタフェースは、言語履歴情報が他の言語履歴情報と等しいかどうかの判定結果に関する情報をさらに含むようにすることができる。
【００３７】
複数設けられた言語的制約提供手段の中から、確定手段が利用する、１つ以上の言語的制約提供手段を動的に選択し、確定手段に接続させる接続制御を行う接続制御手段をさらに備えるようにすることができる。
【００３８】
本発明の音声認識方法は、音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、言語的制約提供ステップの処理によりインタフェースを介して提供された言語的制約により得られるスコアに基づいて、音声の音声認識結果を確定する確定ステップとを含むことを特徴とする。
【００３９】
本発明のプログラムは、音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、言語的制約提供ステップの処理によりインタフェースを介して提供された言語的制約により得られるスコアに基づいて、音声の音声認識結果を確定する確定ステップとをコンピュータに実現させることを特徴とする。
【００４０】
本発明の記録媒体のプログラムは、音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップと、言語的制約提供ステップの処理によりインタフェースを介して提供された言語的制約により得られるスコアに基づいて、音声の音声認識結果を確定する確定ステップとを含むことを特徴とする。
【００４１】
本発明の音声認識装置および方法、プログラム、並びに記録媒体においては、音声を認識するための、互いに異なる言語的制約が、互いに等しい形式のインタフェースにより提供され、そのインタフェースを介して提供された言語的制約により得られるスコアに基づいて、音声の音声認識結果が確定される。
【００４２】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４３】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４４】
請求項１に記載の音声認識装置は、入力された音声（例えば、図３の音声入力部３１に入力される音声）に対して、その音声認識結果（例えば、図３のマッチング部３４より出力される音声認識結果）の尤度を表すスコア（例えば、図６Ｂの言語スコア）を計算し、そのスコアに基づいて、前記音声を認識する音声認識装置（例えば、図３の認識エンジン３０）であって、前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供手段（例えば、図３の言語的制約処理部３７Ａ乃至３７Ｄ、辞書データベース３８Ａ乃至３８Ｄ、並びに、文法データベース３９Ａ乃至３９Ｄ）と、前記言語的制約提供手段から前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定手段（例えば、図３のマッチング部３４）とを備えることを特徴とする。
【００４５】
請求項２に記載の音声認識装置の前記言語的制約提供手段は、予め設定されている言語的制約に対応し、単語の発音に関する情報である音韻情報を保持する音韻情報保持手段（例えば、図３の辞書データベース３８Ａ乃至３８Ｄ）と、前記言語的制約に対応し、前記音韻情報保持手段により前記音韻情報が保持されている前記単語同士の連鎖に関する情報である文法規則を保持する文法規則保持手段（例えば、図３の文法データベース３９Ａ乃至３９Ｄ）と、前記音韻情報保持手段により保持されている前記音韻情報、および前記文法規則保持手段により保持されている前記文法規則に基づいて、前記インタフェースとして提供可能な情報を取得し、取得した前記情報を前記確定手段に提供するインタフェース処理を実行するインタフェース処理実行手段（例えば、図３の言語的制約処理部３７Ａ乃至３７Ｄ）とを備え、各言語的制約提供手段の前記インタフェース処理実行手段は、互いに等しい形式のインタフェースにより、前記情報を前記確定手段に提供することを特徴とする。
【００４６】
請求項３に記載の音声認識装置の前記言語的制約提供手段が前記言語的制約を前記確定手段に提供する前記インタフェースは、前記音声認識結果の候補となる単語の履歴情報である言語履歴情報の初期値（例えば、図６Ａ）、言語履歴情報と前記言語履歴情報に後続する単語候補より算出される前記スコア（例えば、図６Ｂ）、および前記言語履歴情報の更新情報（例えば、図６Ｃ）を含むことを特徴とする。
【００４７】
請求項４に記載の音声認識装置の前記言語的制約提供手段が前記言語的制約を前記確定手段に提供する前記インタフェースは、前記言語履歴情報が他の前記言語履歴情報と等しいかどうかの判定結果に関する情報（例えば、図６Ｄ）をさらに含むことを特徴とする。
【００４８】
請求項５に記載の音声認識装置の複数設けられた前記言語的制約提供手段の中から、前記確定手段が利用する、１つ以上の前記言語的制約提供手段を動的に選択し、前記確定手段に接続させる接続制御を行う接続制御手段（例えば、図３のアクセスセレクタ３６）をさらに備えることを特徴とする。
【００４９】
請求項６に記載の音声認識方法は、入力された音声（例えば、図３の音声入力部３１に入力される音声）に対して、その音声認識結果（例えば、図３のマッチング部３４より出力される音声認識結果）の尤度を表すスコア（例えば、図６Ｂの言語スコア）を計算し、そのスコアに基づいて、前記音声を認識する音声認識装置（例えば、図３の認識エンジン３０）の音声認識方法であって、前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップ（例えば、図５のステップＳ６、Ｓ１０、Ｓ１２、またはＳ１４）と、前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップ（例えば、図５のステップＳ１５）とを含むことを特徴とする。
【００５０】
請求項７に記載のプログラムは、入力された音声（例えば、図３の音声入力部３１に入力される音声）に対して、その音声認識結果（例えば、図３のマッチング部３４より出力される音声認識結果）の尤度を表すスコア（例えば、図６Ｂの言語スコア）を計算し、そのスコアに基づいて、前記音声を認識する処理をコンピュータに行わせるプログラムにおいて、前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップ（例えば、図５のステップＳ６、Ｓ１０、Ｓ１２、またはＳ１４）と、前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップ（例えば、図５のステップＳ１５）とを含む処理をコンピュータに実行させることを特徴とする。
【００５１】
請求項８に記載の記録媒体は、入力された音声（例えば、図３の音声入力部３１に入力される音声）に対して、その音声認識結果（例えば、図３のマッチング部３４より出力される音声認識結果）の尤度を表すスコア（例えば、図６Ｂの言語スコア）を計算し、そのスコアに基づいて、前記音声を認識する処理をコンピュータに行わせるプログラムであって、前記音声を認識するための、互いに異なる言語的制約を、互いに等しい形式のインタフェースにより提供する複数の言語的制約提供ステップ（例えば、図５のステップＳ６、Ｓ１０、Ｓ１２、またはＳ１４）と、前記言語的制約提供ステップの処理により前記インタフェースを介して提供された前記言語的制約により得られる前記スコアに基づいて、前記音声の音声認識結果を確定する確定ステップ（例えば、図５のステップＳ１５）とを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００５２】
以下に、本発明の実施の形態について図面を参照して説明する。
【００５３】
図３は、本発明を適用した認識エンジンの構成例を示す図である。
【００５４】
図３において、認識エンジン３０は、図１または図２に示される音声認識装置に対応する機能を有しており、入力された音声を認識し、音声認識結果を出力するシステムである。認識エンジン３０には、後述するように、互いに異なる言語的制約に対応する複数の辞書データベースおよび文法データベースを有しており、複数種類の言語的制約に対応する。
【００５５】
認識エンジン３０は、例えばマイクロフォン等により構成され、入力された音声を電気信号である音声信号に変換する音声入力部３１、例えばＡ／Ｄ変換器などにより構成され、音声入力部３１より供給されたアナログ信号の音声信号を、デジタル信号の音声データに変換するＡ／Ｄ変換部３２、並びに、例えば記憶部、演算部、および処理制御部等により構成され、Ａ／Ｄ変換部３２より供給された音声データに対して音響処理を施し、例えばＭＦＣＣ等の特徴量を抽出する特徴抽出部３３を有している。
【００５６】
また、認識エンジン３０は、その他にも、特徴抽出部３３より供給される特徴量を用いて音声認識処理を行うマッチング部３４、音響モデルを記憶する音響モデルデータベース３５、マッチング部３４と、言語的制約処理部３７Ａ乃至３７Ｄとの接続を切り替えるアクセスセレクタ３６、互いに異なる辞書データベースおよび文法データベースのインタフェース処理を行う言語的制約処理部３７Ａ乃至３７Ｄ、並びに、互いに異なる言語的制約に対応する辞書データベース３８Ａ乃至３８Ｄ、および、文法データベース３９Ａ乃至３９Ｄを有している。
【００５７】
マッチング部３４は、例えば記憶部、演算部、および処理制御部等により構成され、音響モデルデータベース３５と接続することにより単語の音響モデル（単語モデル）を構成する。また、マッチング部３４は、アクセスセレクタ３６を介して接続された言語的制約処理部３７Ａ乃至３７Ｄを介して、辞書データベース３８Ａ乃至３８Ｄが記憶する単語辞書を参照したり、文法データベース３９Ａ乃至３９Ｄが記憶する文法規則を参照したりする。そして、マッチング部３４は、このようにして接続された単語モデルを用いて、特徴量抽出部３３より供給された特徴量に基づいて演算を行い、音声を認識し、音声認識結果を認識エンジン３０の外部に出力する。すなわち、マッチング部３４は、言語的制約処理部３７Ａ乃至３７Ｄより互いに等しい形式のインタフェースを介して提供された言語的制約により得られる言語スコアに基づいて、音声の音声認識結果を確定する。
【００５８】
音響モデルデータベース３５は、例えば、記憶部等により構成され、音声認識する音声の言語における個々の音素や音節などの音響的な特徴を現す音響モデルを記憶している。個々では、連続分布ＨＭＭ法に基づいて音声認識を行うので、音響モデルとしては、例えば、ＨＭＭが用いられる。
【００５９】
アクセスセレクタ３６は、例えば、スイッチング回路等により構成され、言語的制約処理部３７Ａ乃至３７Ｄの中から１つ以上を動的に選択し、マッチング部３４に接続する。すなわち、マッチング部３４は、アクセスセレクタ３６にアクセスすることにより、アクセスセレクタ３６が選択した言語的制約処理部に接続する。
【００６０】
言語的制約処理部３７Ａは、例えば記憶部、演算部、および処理制御部等により構成され、辞書データベース３８Ａおよび文法データベース３９Ａのインタフェース処理を行う。すなわち、言語的制約処理部３７Ａは、辞書データベース３８Ａおよび文法データベース３９Ａから、マッチング部３４に提供可能な情報を取得して提供する。
【００６１】
また、言語的制約処理部３７Ｂも、言語的制約処理部３７Ａと同様の処理を行い、辞書データベース３８Ｂおよび文法データベース３９Ｂのインタフェース処理を行う。さらに、言語的制約処理部３７Ｃも、同様に、辞書データベース３８Ｃおよび文法データベース３９Ｃのインタフェース処理を行い、言語的制約処理部３７Ｄも、同様に、辞書データベース３８Ｄおよび文法データベース３９Ｄのインタフェース処理を行う。
【００６２】
すなわち、言語的制約処理部３７Ａ乃至３７Ｄは、辞書データベース３８Ａ乃至３８Ｄや、文法データベース３９Ａ乃至３９Ｄの言語的制約（文法規則）による情報の違いを吸収し（各データベースのインタフェースを統一し）、互いに等しい形式のインタフェースにより言語的制約を提供することで、マッチング部３４が１つのインタフェースを用いて全ての言語的制約を利用することができるようにする。
【００６３】
辞書データベース３８Ａ乃至３８Ｄは、例えば、記憶部等により構成され、認識対象の各単語（語彙）について、その発音に関する情報（音韻情報）が記述された単語辞書を記憶している。すなわち、マッチング部３４は、辞書データベース３８Ａ乃至３８Ｄが記憶する単語辞書を参照することにより、音響モデルデータベース３５に接続して単語モデルを構成したり、いくつかの単語モデルを文法データベース３８Ａ乃至３８Ｄに接続したりする。
【００６４】
文法データベース３９Ａ乃至３９Ｄは、例えば、記憶部等により構成され、それぞれ、辞書データベース３８Ａ乃至３８Ｄの単語辞書に登録されている各単語が、どのように連鎖するか（つながるか）を記述した文法規則（言語モデル）を記憶している。
【００６５】
言語的制約処理部３７Ａ、辞書データベース３８Ａ、および文法データベース３９Ａは、ある文字列の中で、Ｎ個の文字列または単語の組み合わせが、どの程度出現するかを調査する統計言語モデル（Ｎ−ｇｒａｍ）に対応しており、文法データベース３９Ａは、直前のＮ−１個の単語と次の単語の組み合わせと、その場合の連鎖確率値を保持している。
【００６６】
言語的制約処理部３７Ｂ、辞書データベース３８Ｂ、および文法データベース３９Ｂは、直前の単語と次の単語が連鎖しうるかどうかを示す単語対制約に対応しており、文法データベース３９Ｂは、直前単語と後続する単語の対を保持している。
【００６７】
言語的制約処理部３７Ｃ、辞書データベース３８Ｃ、および文法データベース３９Ｃは、有限状態オートマトンで表現可能な正規文法に対応しており、文法データベース３９Ｃは、有限状態オートマトンのグラフ構造を保持している。
【００６８】
言語的制約処理部３７Ｄ、辞書データベース３８Ｄ、および文法データベース３９Ｄは、一般化ＬＲ法を用いた文脈自由文法に対応しており、文法データベース３９Ｄは、文脈自由文法による表現を変換したＬＲテーブルを保持している。
【００６９】
なお、以下において、言語的制約処理部３７Ａ乃至３７Ｄは、それぞれを分けて説明する必要の無い場合、言語的制約処理部３７と称する。同様に、辞書データベース３８Ａ乃至３８Ｄ、並びに、文法データベース３９Ａ乃至３９Ｄも、それぞれを分けて説明する必要が無い場合、それぞれを、辞書データベース３８および文法データベース３９と称する。
【００７０】
さらに、認識エンジン３０は、例えば記憶部、演算部、および処理制御部等により構成され、認識エンジン３０の外部より入力される制御情報等に基づいて、音声入力部３１、Ａ／Ｄ変換部３２、特徴抽出部３３、マッチング部３４、アクセスセレクタ３６、および、言語的制約処理部３７等の、認識エンジン３０の各部を制御する制御部４１を有している。
【００７１】
認識エンジン３０は、例えば、１枚の基板上に配置され、他の情報処理装置に音声認識機能を提供する１つの拡張カードとして構成される。例えば、認識エンジン３０は、パーソナルコンピュータの機能を拡張する拡張カードとして構成され、パーソナルコンピュータのＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔｓ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  ｂｕｓ）スロットに装着されることにより、パーソナルコンピュータのチップセットに制御され、ＰＣＩカードバスを介してパーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に接続される。
【００７２】
図４は、認識エンジン３０の具体的な設置例について説明するブロック図である。
【００７３】
図４において、認識エンジン３０は、４つの文法規則５１乃至５４（文法規則１乃至４）に対応した音声認識部であり、上述したように拡張カードとして構成され、パーソナルコンピュータ６０の、例えばＰＣＩスロット等に装着されている。パーソナルコンピュータ６０のＣＰＵ６１において、音声認識処理の処理結果を必要とするアプリケーションソフト６２が実行されており、アプリケーションソフト６２は、必要に応じて、使用する文法規則を選択し、認識エンジン３０の制御部４１に制御信号を供給する。
【００７４】
このように、認識エンジン３０は、例えば、パーソナルコンピュータ６０の一部として構成され、音声認識機能を有する音声認識部として、ＣＰＵ６１において実行されるアプリケーションソフト６２の制御に基づいて音声認識処理を行い、音声認識結果をアプリケーションソフト６２に供給する。
【００７５】
なお、認識エンジン３０は、パーソナルコンピュータ以外の情報処理装置の一部として構成されるようにしてもよいし、独立した音声認識装置として構成されるようにしてもよい。
【００７６】
次に、図３の認識エンジンの動作について説明する。
【００７７】
ユーザが発した音声は、音声入力部３１に入力される。音声入力部３１は、入力された音声を電気信号に変換し、アナログ信号の音声信号としてＡ／Ｄ変換部３２に供給する。Ａ／Ｄ変換部３２は、取得した音声信号を所定の周波数でサンプリングして所定のビット数で量子化し、デジタル信号の音声データに変換する。特徴抽出部３３は、Ａ／Ｄ変換部３２より音声データを取得し、取得した音声データについて、適当なフレーム毎に音響処理を施し、例えばＭＦＣＣ等の特徴量を抽出し、マッチング部３４に供給する。
【００７８】
なお、特徴抽出部３３は、ＭＦＣＣに限らず、例えば、スペクトル、線形予測係数、ケプストラム係数、または、線スペクトル対等、その他の特徴量を抽出するようにしてもよい。
【００７９】
制御部４１は、例えば、図４のアプリケーションソフト等の、認識エンジン３０の外部より取得した制御信号に基づいて、アクセスセレクタ３６等を制御し、マッチング部３４が利用する言語的制約を選択させる。アクセスセレクタ３６は、制御部４１の制御に基づいて、利用する言語的制約処理部３７を言語的制約処理部３７Ａ乃至３７Ｄの中から１つ以上選択し、選択した言語的制約処理部３７をマッチング部３４に接続させる。
【００８０】
マッチング部３４は、アクセスセレクタ３６により接続された言語的制約処理部３７が対応する辞書データベース３８にアクセスし、辞書データベース３８が有する単語辞書を参照することにより、音響モデルデータベース３５に記憶されている音響モデルを接続することで、単語の音響モデル（単語モデル）を構成する。
【００８１】
さらにマッチング部３４は、その内いくつかの単語モデルを、文法データベース３７に記憶された文法規則を参照することにより接続し、そのようにして接続された単語モデルを用いて、特徴量に基づき、連続分布ＨＭＭ法によって、音声入力部３１に入力された音声を認識する。すなわち、マッチング部３４は、特徴抽出部３３が出力する時系列の特徴量が観測されるスコア（尤度）が最も高い単語モデルの系列を検出し、その単語モデルの系列に対応する単語列を音声認識結果として、認識エンジン３０の外部に出力する。
【００８２】
マッチング部３４が上述のように、辞書データベース３８および文法データベース３９を利用する際に、言語的制約処理部３７は、マッチング部３４の要求に基づいて、辞書データベース３８および文法データベース３９のインタフェース処理を行い、辞書データベース３８および文法データベース３９より供給される情報を、マッチング部３４が利用可能なインタフェースに変換し、その情報をマッチング部３４に供給する。
【００８３】
言語的制約処理部３７は、具体的には、以下の３つのインタフェースをマッチング部３４に提供する。すなわち、言語的制約処理部３７は、第１のインタフェースとして、言語履歴情報の初期値を取得するインタフェースを提供し、第２のインタフェースとして、言語履歴情報と後続単語候補から言語スコアを取得するインタフェースを提供し、第３のインタフェースとして、言語履歴情報と後続単語候補から、次の言語履歴情報に更新するインタフェースをマッチング部３４に提供する。さらに、言語的制約処理部３７は、第４のインタフェースとして、２つの言語履歴情報が等しいかどうかを判定するインタフェースをマッチング部３４に提供するようにしてもよい。これにより、マッチング部３４は、効率的に探索を行うことができる。各言語的制約処理部がマッチング部３４に提供する、上述したインタフェースの具体的な例については、後述する。
【００８４】
以上のように、マッチング部３４は、接続された単語モデルに対応する単語列について、各特徴量の出現確率を累積し、その累積値をスコアとして、そのスコアを最も高くする単語列を、音声認識結果として出力する。
【００８５】
なお、スコア計算は、一般に、文法データベース３７に記憶された言語的制約のもとで計算される言語的なスコア（以下、言語スコアと称する）、音響モデルデータベース３５に記憶された音響モデルによって与えられる音響的なスコア（以下、音響スコアと称する）を総合評価することでマッチング部３４により行われる。
【００８６】
音響スコアは、例えば、ＨＭＭ法による場合には、単語モデルを構成する音響モデルから、特徴抽出部３３が出力する特徴量の系列が観測される確率（出現する確率）に基づいて、単語ごとに計算される。
【００８７】
言語スコアの算出方法は、利用する言語的制約の種類によって異なる。例えば、マッチング部３４が言語的制約処理部３７Ａに接続され、統計言語モデル（Ｎ−ｇｒａｍ）を用いる場合、注目している単語と、その直前のＮ−１個の単語とが連鎖（連接）する確率に基づいて求められる。そして、その確率に適切な重み付けが施されて言語スコアとされる。
【００８８】
次に、図５のフローチャートを参照して、認識エンジン３０による音声認識処理について説明する。
【００８９】
図４のパーソナルコンピュータ６０において、ＣＰＵ６１に実行されるアプリケーションソフト６２が認識エンジン３０の制御部４１に対して、音声認識処理の実行を要求する制御信号を供給すると、認識エンジン３０は、制御部４１に各部を制御され、音声認識処理を実行する。
【００９０】
最初に、制御部４１は、ステップＳ１において、音声入力部３１を制御し、音声が入力されたか否かを判定し、入力されたと判定するまで待機する。
【００９１】
音声が入力されたと判定すると、制御部４１は、ステップＳ２において、音声入力部３１を制御し、入力された音声を音声信号に変換する。音声入力部３１は、変換した音声信号をＡ／Ｄ変換部３２に供給する。音声信号を供給されたＡ／Ｄ変換部３２は、ステップＳ３において、制御部４１に制御され、音声信号に対してＡ／Ｄ変換処理を行い、アナログ信号の音声信号をデジタル信号の音声データに変換し、特徴抽出部３３に供給する。特徴抽出部３３は、ステップＳ４において、制御部４１に制御され、取得した音声データに音響処理を施してＭＦＣＣ等の特徴量を抽出し、マッチング部３４に供給する。
【００９２】
図４のアプリケーションソフト６２は、認識エンジン３０が対応する複数の文法規則の中から利用する文法規則を１つ以上選択し、制御信号を制御部４１に供給する。
【００９３】
制御部４１は、ステップＳ５において、その制御信号に基づいて、使用する文法規則を選択し、アクセスセレクタ３６を制御する。アクセスセレクタ３６は、制御部４１に指示された文法規則をマッチング部３４が利用できるように、言語的制約処理部３７Ａ乃至３７Ｄの中から、その文法規則に対応する言語的制約処理部３７をマッチング部３４に接続する。
【００９４】
マッチング部３４は、制御部４１に制御され、接続された言語的制約処理部３７にアクセスし、第１のインタフェースとして、初期言語履歴状態を要求する。言語的制約処理部３７は、ステップＳ６において、制御部４１に制御され、その要求に基づいて初期言語履歴状態をマッチング部３４に供給する。マッチング部３４は、初期言語履歴状態を取得すると、ステップＳ７において、制御部４１に制御され、内蔵する記憶部（図示せず）において、単語接続情報に初期言語履歴情報を保持する初期ノード（Ｎｏｄｅ１）を記録する。
【００９５】
ステップＳ８において、マッチング部３４は、制御部４１に制御され、認識エンジン３０に入力される音声に対して、途中ノードが存在するか否かを判定する。途中ノードが存在すると判定した場合、マッチング部３４は、ステップＳ９に処理を進める。
【００９６】
ステップＳ９において、マッチング部３４は、制御部４１に制御され、言語的制約処理部３７を介して接続された辞書データベース３８の単語辞書を参照し、音響モデルデータベース３５に接続することにより、単語の音響モデル（単語モデル）を構成し、その音響モデルから特徴抽出部３３が出力する特徴量の系列が観測される確率（出現する確率）に基づいて、単語毎に音響スコアを算出する。この計算には、例えば、入力特徴量系列を与えた場合の単語候補のＨＭＭのスコアが用いられる。
【００９７】
マッチング部３４に接続された言語的制約処理部３７は、ステップＳ１０において、制御部４１に制御され、その言語的制約処理部３７が対応する文法規則（言語的制約）に基づいて言語スコアを算出し、第２のインタフェースとして、マッチング部３４に供給する。すなわち、言語的制約処理部３７は、内蔵する図示せぬ記憶部が保持する言語履歴情報に単語候補が後続する場合の言語スコアを算出し、マッチング部３４に供給する。
【００９８】
音響スコアおよび言語スコアを取得したマッチング部３４は、ステップＳ１１において、制御部４１に制御されて枝刈り処理を行い、スコアの低いものを削除する。これは、計算量やメモリ量を削減するための処理である。すなわち、マッチング部３４は、全ての後続単語候補に対して音響スコアおよび言語スコアを取得し、その全てのスコアを利用して単語接続情報を更新することも可能であるが、処理の負荷を軽減させるために、スコアの値が一定以上に高いものだけを保持する枝刈り処理を行う。
【００９９】
ステップＳ１１の処理が終了すると、言語的制約処理部３７は、制御部４１に制御され、ステップＳ１２において言語履歴情報を更新し、その言語履歴情報の更新情報を第３のインタフェースとしてマッチング部３４に提供し、マッチング部３４は、ステップＳ１３において、制御部４１に制御され、単語接続情報を更新する。
【０１００】
言語的制約処理部３７は、制御部４１に制御され、言語履歴情報が等しいか否かを判定し、等しいと判定した場合、その情報を第４のインタフェースとしてマッチング部３４に供給する。マッチング部３４は、ステップＳ１４において、制御部４１に制御され、言語的制約処理部３７により供給された情報に基づいて、複数の単語仮説の履歴をマージすることで、等しい単語接続情報を共通化した後、ステップＳ８に処理を戻し、それ以降の処理を繰り返す。なお、この処理は、計算量やメモリ量を削減するための処理であり、その必要が無ければこの処理を省略するようにしてもよい。
【０１０１】
認識エンジン３０の各部は、音声入力が終了するまで、ステップＳ８乃至Ｓ１４の処理を全ての途中ノードに対して繰り返す。そして、ステップＳ８において、途中ノードが存在しないと判定した場合、制御部４１は、ステップＳ１５に処理を進める。
【０１０２】
ステップＳ１５において、マッチング部３４は、制御部４１に制御され、内蔵する図示せぬ記憶部に設けられた単語接続情報に基づいて、最終的な音声認識結果を確定し、認識エンジン３０の外部（例えば、図４のアプリケーションソフト６２）に供給し、音声認識処理を終了する。
【０１０３】
なお、ステップＳ１４の処理は、マッチング部３４における処理を軽減させるための処理であり、場合によって不必要であれば、省略することも可能である。
【０１０４】
上述したように、マッチング部３４は、言語的制約処理部３７が有する言語履歴情報の内容を参照するだけで、その制御は行わない。言語的制約処理部３７より供給され、マッチング処理の各段階で保持している言語履歴情報と、次の仮説として処理したい単語候補との組み合わせから、言語的制約処理部３７に供給される第１乃至第４のインタフェースを利用して、仮説を展開するのに必要な言語スコアを取得する。
【０１０５】
以下に、言語的制約処理部３７がマッチング部３４に提供するインタフェースの、各文法規則の場合における具体的な例について説明する。
【０１０６】
図６は、文法規則として統計言語モデル（Ｎ−ｇｒａｍ）を用いた言語的制約処理部３７Ａが提供するインタフェースの例を説明する模式図である。
【０１０７】
図６の場合、言語的制約処理部３７Ａは、Ｎ＝３とするトライグラムを利用する。この場合、言語的制約処理部３７Ａは、図６Ａに示されるように、単語を表すインデックスを２つ保持することができる構造の言語履歴情報７０を有する。すなわち、言語履歴情報７０は、２つの単語候補７１および７２を有している。単語候補７２は、マッチング部３４における現在までのマッチング処理により確定した直前の単語候補を保持しており、単語候補７１は、その前（すなわち２つ前）の単語候補を保持している。
【０１０８】
言語的制約処理部３７Ａは、第１のインタフェース、すなわち、言語履歴情報の初期値として、言語履歴情報に記憶される文の先頭を表す特殊な単語（単語インデックス）を提供する。図６Ａは、言語履歴情報７０の初期状態を示しており、単語候補７２には、文の先頭を表す特別な単語インデックス（＜Ｓ＞）を保持し、単語候補７１は、空の状態（ＮＵＬＬ）を保持している。すなわち、マッチング部３４は、図６Ａに示されるような言語履歴情報７０の初期状態を第１のインタフェースとして取得する。
【０１０９】
また、言語的制約処理部３７Ａは、第２のインタフェース、すなわち、言語履歴情報と後続単語候補から得られる言語スコアとして、言語履歴情報が保持する直前のＮ−１個の単語と次の単語との間の連鎖確率を提供する。図６Ｂは、その連鎖確率を提供する様子を示している。言語履歴情報７０には、単語候補７１に２つ前の単語Ｗ１が保持されており、単語候補７２に１つ前の単語Ｗ２が保持されており、これらの単語Ｗ１およびＷ２に対して単語Ｗ３が後続する次の単語候補８１とされる。このような場合において、言語的制約処理部３７Ａは、単語Ｗ１およびＷ２と、単語Ｗ３が連鎖する確率Ｐｒｏｂ（Ｗ３｜Ｗ１，Ｗ２）を、トライグラムを保持する文法データベース３９Ａより求めて、その値を言語スコアとし、マッチング部３４に供給する。すなわち、マッチング部３４は、図６Ｂに示されるような連鎖確率Ｐｒｏｂ（Ｗ３｜Ｗ１，Ｗ２）を第２のインタフェースとして取得する。
【０１１０】
さらに、言語的制約処理部３７Ａは、第３のインタフェース、すなわち、言語履歴情報と後続単語候補から次の言語履歴情報に更新する更新情報として、言語履歴情報が保持する言語履歴中の最も古い単語、すなわち、Ｎ−１語前の単語を削除し、Ｎ−１語前から１語前までの単語を１つずつずらし、直前単語として、新たに次の単語を加えた最新の言語履歴情報を提供する。図６Ｃは、その最新の言語履歴情報を提供する様子を示している。言語履歴情報７０には、単語候補７１に２つ前の単語Ｗ１が保持されており、単語候補７２に１つ前の単語Ｗ２が保持されており、これらの単語Ｗ１およびＷ２に対して、後続する次の単語候補８１として単語Ｗ３が供給される。このような場合において、言語的制約処理部３７Ａは、単語Ｗ１を消去し、単語Ｗ２を単語候補７１に移動させ、単語Ｗ３を単語候補７１に保持する。そして、言語的制約処理部３７Ａは、更新された言語履歴情報７０（単語Ｗ２と単語Ｗ３を保持している言語履歴情報７０）をマッチング部３４に供給する。すなわち、マッチング部３４は、図６Ｃに示されるような最新の言語履歴情報７０（単語Ｗ２と単語Ｗ３を保持しいている言語履歴情報７０）を第３のインタフェースとして取得する。
【０１１１】
また、言語的制約処理部３７Ａは、第４のインタフェース、すなわち、２つの言語履歴情報が等しいかどうかを判定した判定結果として、Ｎ−１個の単語が全て同じ単語である単語候補（重複する単語候補）に関する情報を提供する。図６Ｄは、その重複する単語候補に関する情報を提供する様子を示している。言語履歴情報７０には、単語候補７１Ａと単語候補７２Ａの組み合わせと、単語候補７１Ｂと単語候補７２Ｂの組み合わせとが存在するが、単語候補７１Ａおよび７１Ｂは、どちらも単語Ｗ１を保持しており、単語候補７２Ａおよび７２Ｂは、どちらも単語Ｗ２を保持している。すなわち、単語候補７１Ａおよび７２Ａの組み合わせと、単語候補７１Ｂおよび７２Ｂの組み合わせは同一の単語を保持している。このような場合において、言語的制約処理部３７Ａは、この２つの組み合わせが共通であることを示す情報をマッチング部３４に供給する。すなわち、マッチング部３４は、図６Ｄに示されるような、重複する単語候補に関する情報を第４のインタフェースとして取得する。
【０１１２】
図７は、文法規則として単語対制約を用いた言語的制約処理部３７Ｂが提供するインタフェースの例を説明する模式図である。
【０１１３】
言語的制約処理部３７Ｂは、図７Ａに示されるように、単語を表すインデックスを１つ保持することができる構造の言語履歴情報９０を有する。すなわち、言語履歴情報９０は、１つの単語候補９１を有している。単語候補９１は、マッチング部３４における現在までのマッチング処理により確定した直前の単語候補を保持している。
【０１１４】
言語的制約処理部３７Ｂは、第１のインタフェース、すなわち、言語履歴情報の初期値として、言語履歴情報に記憶される文の先頭を表す特殊な単語（単語インデックス）を提供する。図７Ａは、言語履歴情報９０の初期状態を示しており、単語候補９１には、文の先頭を表す特別な単語インデックス（＜Ｓ＞）を保持している。すなわち、マッチング部３４は、図７Ａに示されるような言語履歴情報９０の初期状態を第１のインタフェースとして取得する。
【０１１５】
また、言語的制約処理部３７Ｂは、第２のインタフェース、すなわち、言語履歴情報と後続単語候補から得られる言語スコアとして、履歴情報が保持する直前の単語と次の単語が連鎖しうる場合、最もよい値を提供し、連鎖しない場合、元も悪い値を提供する。図７Ｂは、その値を提供する様子を示している。言語履歴情報９０には、単語候補９１に直前の単語Ｗ１が保持されており、この単語Ｗ１に対して単語Ｗ２が後続する次の単語候補１０１とされる。このような場合において、言語的制約処理部３７Ｂは、単語Ｗ１と単語Ｗ２が連鎖する場合（単語Ｗ２が単語Ｗ１に後続可能な場合）、最もよい値の言語スコアとして値「０」をマッチング部３４に供給し、単語Ｗ１と単語Ｗ２が連鎖しない場合（単語Ｗ２が単語Ｗ１に後続不可能な場合）、最も悪い値の言語スコアとして値「−∞（無限大）」をマッチング部３４に供給する。すなわち、マッチング部３４は、図７Ｂに示されるような値「０」または「−∞（無限大）」を第２のインタフェースとして取得する。
【０１１６】
さらに、言語的制約処理部３７Ｂは、第３のインタフェース、すなわち、言語履歴情報と後続単語候補から次の言語履歴情報に更新する更新情報として、言語履歴情報が保持する単語を削除し、新たに次の単語を保存した最新の言語履歴情報を提供する。図７Ｃは、その最新の言語履歴情報を提供する様子を示している。言語履歴情報９０には、単語候補９１に直前の単語Ｗ１が保持されており、この単語Ｗ１に対して、後続する次の単語候補１０１として単語Ｗ２が供給される。このような場合において、言語的制約処理部３７Ｂは、単語Ｗ１を消去し、単語Ｗ２を単語候補９１に保持する。そして、言語的制約処理部３７Ｂは、更新された言語履歴情報９０（単語Ｗ２を保持している言語履歴情報９０）をマッチング部３４に供給する。すなわち、マッチング部３４は、図７Ｃに示されるような最新の言語履歴情報９０（単語Ｗ２を保持しいている言語履歴情報９０）を第３のインタフェースとして取得する。
【０１１７】
また、言語的制約処理部３７Ｂは、第４のインタフェース、すなわち、２つの言語履歴情報が等しいかどうかを判定した判定結果として、単語が同じ単語である単語候補（重複する単語候補）に関する情報を提供する。図７Ｄは、その重複する単語候補に関する情報を提供する様子を示している。言語履歴情報９０には、単語候補９１Ａと単語候補９１Ｂとが存在するが、単語候補９１Ａおよび９１Ｂは、どちらも単語Ｗ１を保持している。すなわち、単語候補９１Ａと単語候補９１Ｂは同一の単語を保持している。このような場合において、言語的制約処理部３７Ｂは、この２つの単語候補が共通であることを示す情報をマッチング部３４に供給する。すなわち、マッチング部３４は、図７Ｄに示されるような、重複する単語候補に関する情報を第４のインタフェースとして取得する。
【０１１８】
図８は、言語的制約処理部３７Ｃが文法規則として利用する正規文法を等価な有限状態オートマトンにより表現した場合の例を示す図である。
【０１１９】
図８において、ノードＳ１０１乃至Ｓ１１４は、言語的制約処理部３７Ｃが保持する言語履歴情報の状態を示し、アークに付与された単語が受理されると、言語履歴情報の状態は、アークの先のノードに遷移する。文法データベース３９Ｃは、このグラフ構造を保持している。
【０１２０】
言語的制約処理部３７Ｃは、第１のインタフェース、すなわち、言語履歴情報の初期値として、有限状態オートマトンの初期ノードを提供する。例えば、図８の場合、ノードＳ１０１が初期ノードとなる。すなわち、この場合、マッチング部３４は、ノードＳ１０１を第１のインタフェースとして取得する。
【０１２１】
また、言語的制約処理部３７Ｃは、第２のインタフェース、すなわち、言語履歴情報と後続単語候補から得られる言語スコアとして、言語履歴情報が保持するノードから、次の単語候補によってアークとして別のノードに遷移可能な場合は、最も良いスコアを提供する。例えば、図８に示される有限状態オートマトンにおいて、言語履歴情報が保持するノードがノードＳ１０２であるとする。このとき、後続する次の単語候補が「私」、「僕」、「君」、「こんにちは」、または「さようなら」である場合、言語履歴情報が保持するノードは、それぞれ、ノードＳ１０３、Ｓ１０８、またはＳ１１３に遷移するので、言語的制約処理部３７Ｃは、最も良い値の言語スコアとして値「０」をマッチング部３４に供給する。また、後続する次の単語候補が「名前」や「は」等のように、上述した以外の単語である場合、言語履歴情報が保持するノードが遷移しないので、言語的制約処理部３７Ｃは、最も悪い値の言語スコアとして値「−∞（無限大）」をマッチング部３４に供給する。すなわち、マッチング部３４は、値「０」または「−∞（無限大）」を第２のインタフェースとして取得する。
【０１２２】
さらに、言語的制約処理部３７Ｃは、第３のインタフェース、すなわち、言語履歴情報と後続単語候補から次の言語履歴情報に更新する更新情報として、アークによって遷移された言語履歴情報が保持する最新のノードを提供する。例えば、図８の有限状態オートマトンにおいて、言語履歴情報がノードＳ１０２を保持しているときに、次の単語候補が「私」であるとすると、言語履歴情報が保持するノードがノードＳ１０３に更新され、そのノードＳ１０３がマッチング部３４に供給される。すなわち、マッチング部３４は、最新のノードを第３のインタフェースとして取得する。
【０１２３】
また、言語的制約処理部３７Ｃは、第４のインタフェース、すなわち、２つの言語履歴情報が等しいかどうかを判定した判定結果として、保持するノードが同じである言語履歴情報に関する情報を提供する。例えば、図８において、言語履歴情報が保持するノードがノードＳ１０２の場合に次の単語候補が「私」とすると、言語履歴情報が保持するノードはノードＳ１０３に遷移する。同様に、言語履歴情報が保持するノードがノードＳ１０２の場合に次の単語候補が「僕」とすると、言語履歴情報が保持するノードはノードＳ１０３に遷移する。すなわち、このような場合、言語履歴情報が保持するノードはどちらの場合もノードＳ１０３となっている。このような場合において、言語的制約処理部３７Ｃは、この２つの単語候補により遷移したノードが共通であることを示す情報をマッチング部３４に供給する。すなわち、マッチング部３４は、同じノードを同一の言語履歴情報とする情報を第４のインタフェースとして取得する。
【０１２４】
図９は、言語的制約処理部３７Ｄが文法規則として利用する一般化ＬＲ法を用いた文脈自由文法による表現を変換したＬＲテーブルの例を示す図である。
【０１２５】
図９において、ＬＲテーブル１１０は、予め文脈自由文法のＧＯＴＯグラフより作成され、文法データベース３９Ｄにより保持されるテーブルであり、言語履歴情報の状態を示す欄である状態１１１と、各状態において入力文の品詞列が入力された場合の動作を示す欄であるアクション部１１２およびＧＯＴＯ部１１３からなるテーブルである。
【０１２６】
一般化ＬＲ法において、言語履歴情報の状態は図９のＬＲテーブル１１０の状態０から開始され、言語履歴情報はこれをスタックとして保持する。従って、言語的制約処理部３７Ｄは、第１のインタフェース、すなわち、言語履歴情報の初期値として、状態０のスタック（空の状態）を提供する。すなわち、マッチング部３４は、空の状態のスタックを第１のインタフェースとして取得する。
【０１２７】
また、言語的制約処理部３７Ｄは、第２のインタフェース、すなわち、言語履歴情報と後続単語候補から得られる言語スコアとして、言語履歴情報として保持されている現在のスタックの状態における次の単語候補に対応する動作がＬＲテーブルのアクション部に記述された動作であれば最も良い値を提供する。例えば、図９に示されるＬＲテーブルにおいて、言語履歴情報が保持するスタックの状態が状態２であるとする。このとき、後続する次の単語候補が入力された場合のパターンが「Ｖ」や「ＰＲＥＰ」であるとすると、その場合の動作がアクション部１１２に記述されているので、言語的制約処理部３７Ｄは、最も良い値の言語スコアとして値「０」をマッチング部３４に供給する。また、後続する次の単語候補が入力された場合のパターンが「ＶＰ」や「ＰＰ」等のように、上述した以外のパターンであるとすると、その場合の動作がアクション部１１２に記述されていないので、言語的制約処理部３７Ｄは、最も悪い値の言語スコアとして値「−∞（無限大）」をマッチング部３４に供給する。すなわち、マッチング部３４は、値「０」または「−∞（無限大）」を第２のインタフェースとして取得する。
【０１２８】
さらに、言語的制約処理部３７Ｄは、第３のインタフェース、すなわち、言語履歴情報と後続単語候補から次の言語履歴情報に更新する更新情報として、言語履歴情報が保持するスタックの、ＬＲテーブルに従って処理された後のスタックの状態を提供する。例えば、図９のＬＲテーブルにおいて、言語履歴情報が保持するスタックの状態が状態２であり、次の単語候補が「Ｖ」である場合、スタックの状態が状態７に更新され、その状態７がマッチング部３４に供給される。すなわち、マッチング部３４は、最新のスタックの状態を第３のインタフェースとして取得する。
【０１２９】
また、言語的制約処理部３７Ｄは、第４のインタフェース、すなわち、２つの言語履歴情報が等しいかどうかを判定した判定結果として、言語履歴情報が保持するスタックにおいて内容が同じスタックに関する情報を提供する。スタックの内容には、状態、ＩＤ、およびその順番が含まれており、これらの内容が同一であるスタックに関する情報が提供される。例えば、図９において、言語履歴情報が状態７と状態８の２つのスタックを保持しているとする。この２つのスタックの入力文の次の語が互いに同一であり、その動作がいずれも「ｓｈ４」であるとすると、２つのスタックは、それぞれ、入力文の次の語（同一の単語）を読み込む。従って、この結果作られるＩＤと次の状態は、２つのスタックにおいて、互いに同一となる。すなわち、このような場合、言語履歴情報が保持する２つのスタックの内容は同一となる。このような場合において、言語的制約処理部３７Ｄは、この２つのスタックの内容が共通であることを示す情報をマッチング部３４に供給する。すなわち、マッチング部３４は、内容が同じスタックを同一の言語履歴情報とする情報を第４のインタフェースとして取得する。
【０１３０】
以上のように、言語的制約処理部３７Ａ乃至３７Ｄより、共通のインタフェースを取得することにより、マッチング部３４は、単語接続情報を図１０に示されるように更新し、マッチング処理（音声認識処理）を進行させる。
【０１３１】
例えば、図１０に示されるように、マッチング部３４は、最初に、言語的制約処理部３７より言語履歴情報の初期値（第１のインタフェース）を取得し、その初期値を初期ノード（Ｎｏｄｅ１）として、単語接続情報に記録する。そして、マッチング部３４は、この初期ノードを処理対象ノードとする。
【０１３２】
次にマッチング部３４は、音響スコアを算出するとともに、処理対象ノードにおける言語履歴情報に後続する全ての単語候補について言語スコア（第２のインタフェース）を言語的制約処理部３７より取得し、さらにそれらの単語候補に対して枝刈り処理を行い、有効な単語候補を選抜する。図１０の場合、「今日」、「いい」、および「天気」の３語が枝刈り処理の結果残った単語候補である。
【０１３３】
マッチング部３４は、続いて、言語的制約処理部３７に、枝刈り処理により選抜された後続の単語候補に対する言語履歴情報の更新を実行させる。そして、更新された言語履歴情報（第３のインタフェース）を言語的制約処理部３７より取得し、そのノードを単語接続情報に記録して、単語接続情報を更新する。図１０の場合、マッチング部３４は、「今日」、「いい」、および「天気」のそれぞれの単語候補に対応するノードであるＮｏｄｅ２、Ｎｏｄｅ７、およびＮｏｄｅ１２を単語接続情報に記録する。
【０１３４】
このように生成されたノードに対して、マッチング部３４は、同様の処理を繰り返し、単語接続情報（単語仮説）を更新（展開）していく。
【０１３５】
その際、言語的制約処理部３７より２つの言語履歴情報が等しいかどうかの判定結果（第４のインタフェース）を取得することにより、マッチング部３４は、複数の単語仮説の履歴をマージ（共通化）させることができ、それにより、それ以降の計算量（負荷）を軽減させることができる。
【０１３６】
例えば、言語的制約として、Ｎ＝２とする統計言語モデル（バイグラム）を用いる場合、マッチング部３４は、直前の単語（Ａｒｃ７およびＡｒｃ１３）が同じであれば単語履歴として同じであると扱うことができるので、Ｎｏｄｅ８において２つの単語仮説の履歴（「天気」、「ですね」、および「天気」と続く履歴と、「いい」および「天気」と続く履歴）をマージし、これ以降の計算を共通にする（同じ計算結果を利用する）ことができる。
【０１３７】
マッチング部３４は、以上のような処理を、音声入力が終了するまで、全ての途中ノードに対して繰り返す。途中ノードが無くなったら、最終的な単語接続情報から音声認識結果を確定させる。具体的には、マッチング部３４は、入力発話の最後まで単語仮説が枝刈りされずに残ったものの中で音響スコアと言語スコアの累積値が最も良いものを選択することにより、ただ１つの単語系列を音声認識結果として出力することができる。また、マッチング部３４は、単語間の接続情報を保持した形のワードグラフの形式で音声認識結果を出力することもできる。
【０１３８】
以上のように、文法規則ごとに処理が異なる辞書データベース３８および文法データベース３９のインタフェースとして言語的制約処理部３７を設け、そのインタフェースを各文法規則間で共通化することにより、マッチング部３４は、どの文法規則を利用する場合においても、同じインタフェースを用いて情報を取得することができる。これにより、認識エンジン３０は、１つのマッチング部３４により複数の文法規則に対応させることができ、メモリ量等の要求されるハードウェアリソースを低減させることができる。また、これにより、認識エンジン３０は、ソースコードを共通化することができるので、メンテナンス性の向上を実現することができる。さらに、認識エンジン３０は、上述したような機能を有する言語的制約処理部３７、辞書データベース３８および文法データベース３９からなる、他の文法規則に対応する部分を追加するだけで、容易に、新たな文法規則に対応させることができるので、多様な用途の音声認識処理に、容易に対応することができる。
【０１３９】
なお、認識エンジン３０をハードウェア回路で構成するようにした場合、辞書データベースおよび文法データベースのインタフェースを各文法規則間で共通化することにより、その回路規模や製造コストを削減することもできる。
【０１４０】
なお、以上において、認識エンジン３０は、４つの言語的制約処理部３７を有し、４つの言語的制約（文法規則）に対応する場合について説明したが、これに限らず、認識エンジン３０が有する言語的制約処理部３７の数（すなわち、認識エンジン３０が対応する言語的制約の数）は、いくつであってもよいし、上述したように、後から追加することも可能である。また、認識エンジン３０は、上述した以外の文法規則に対応するようにしてもよい。
【０１４１】
また、制御部４１は、アプリケーションソフト６２の指示（制御信号）等に基づいて、マッチング部３４が利用する言語的制約を１つ以上選択することができる。すなわち、制御部４１は、マッチング部３４が利用する言語的制約として複数の言語的制約を同時に選択することも可能である。その際、アクセスセレクタ３６は、処理の進行に応じて、マッチング部３４に接続する言語的制約処理部３７を切り替えるようにしてもよいし、複数の言語的制約処理部３７を同時にマッチング部３４に接続するようにしてもよい。
【０１４２】
複数の言語的制約を利用する場合、マッチング部３４は、上述した処理を、それぞれの言語的制約について行い、各言語的制約による音声認識結果を全て出力するようにしてもよいし、得られた全ての音声認識結果の中から、例えば、最もスコアの良い結果を選択し、出力するようにしてもよい。
【０１４３】
また、認識エンジン３０は、１つの装置（または、装置の一部）として構成されるように説明したが、これに限らず、認識エンジン３０が有する機能の内、一部が別体として構成されるようにしても良い。
【０１４４】
以上のように、本発明を適用した音声認識装置は、インタフェースが共通化された複数の言語的制約（文法規則）に対応していればよく、このような構成を可能とする処理と同様の処理であれば、どのような方法で処理を行ってもよいし、このような処理以外の処理をさらに行ってもよい。また、本発明を適用した音声認識装置の構成は、図３に示される構成以外の構成であってもよいし、図３に示される以外の構成（機能）を有するようにしてももちろんよい。
【０１４５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。
【０１４６】
図１１は、このような処理を実行するパーソナルコンピュータの内部構成例を示す図である。
【０１４７】
パーソナルコンピュータ２００のＣＰＵ２０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。
【０１４８】
ＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２１０も接続されている。
【０１４９】
入出力インタフェース２１０は、キーボードやマウスから構成される入力部２１１が接続され、入力部２１１に入力された信号をＣＰＵ２０１に出力する。また、入出力インタフェース２１０には、ディスプレイやスピーカなどから構成される出力部２１２も接続されている。
【０１５０】
さらに、入出力インタフェース２１０には、ハードディスクなどから構成される記憶部２１３、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部２１４も接続されている。ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア２２１よりデータを読み出したり、データを書き込んだりするときに用いられる。
【０１５１】
記録媒体は、図１１に示されるように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアを含むリムーバブルメディア２２１により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２１３が含まれるハードディスクなどで構成される。
【０１５２】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５４】
【発明の効果】
以上のように、本発明によれば、入力された音声を認識することができる。特に、複数の言語的制約に対応し、要求されるハードウェアリソースの低減やソースコードのメンテナンス性の向上を実現し、さらに、多様な用途の音声認識処理に容易に対応することができる。
【図面の簡単な説明】
【図１】従来の音声認識装置の例を示すブロック図である。
【図２】従来の音声認識装置の、他の例を示すブロック図である。
【図３】本発明を適用した認識エンジンの構成例を示すブロック図である。
【図４】図３の認識エンジンを適用したパーソナルコンピュータの例を示すブロック図である。
【図５】図３の認識エンジンによる音声認識処理について説明するフローチャートである。
【図６】文法規則として統計言語モデル（Ｎ−ｇｒａｍ）を用いた言語的制約処理部が提供するインタフェースの例を説明する模式図である。
【図７】文法規則として単語対制約を用いた言語的制約処理部が提供するインタフェースの例を説明する模式図である。
【図８】言語的制約処理部が文法規則として利用する正規文法を等価な有限状態オートマトンにより表現した場合の例を示す図である。
【図９】言語的制約処理部が文法規則として利用する一般化ＬＲ法を用いた文脈自由文法による表現を変換したＬＲテーブルの例を示す図である。
【図１０】図３のマッチング部が有する単語接続情報に記録される単語仮説の履歴の様子を示す図である。
【図１１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
３１  音声入力部，  ３２  Ａ／Ｄ変換部，  ３３  特徴抽出部，  ３４  マッチング部，  ３５  音響モデルデータベース，  ３６  アクセスセレクタ，  ３７Ａ乃至３７Ｄ  言語的制約処理部，  ３８Ａ乃至３８Ｄ  辞書データベース，３９Ａ乃至３９Ｄ  文法データベース，  ４１  制御部，  ５１  文法規則１，  ５２  文法規則２，  ５３  文法規則３，  ５４  文法規則４，  ６０  パーソナルコンピュータ，  ６１  ＣＰＵ，  ６２  アプリケーションソフト，  ７０  言語履歴情報，  ７１および７２  単語候補，  ８１  単語候補，  ９０  言語履歴情報，  ９１  単語候補，  １０１  単語候補
【図１】
2004325560.tif 000003
【図２】
2004325560.tif 000004
【図３】
2004325560.tif 000005
【図４】
2004325560.tif 000006
【図５】
2004325560.tif 000007
【図６】
2004325560.tif 000008
【図７】
2004325560.tif 000009
【図８】
2004325560.tif 000010
【図９】
2004325560.tif 000011
【図１０】
2004325560.tif 000012
【図１１】
2004325560.tif 000013