(57)【特許請求の範囲】
【請求項１】
コンピュータにより、複数の語彙を認識語彙として含む発音辞書を拡張する方法であって、
前記コンピュータが、前記発音辞書から各語彙の発音を読み出すステップと、
前記コンピュータが、その発音を読み出した前記語彙が、その表記について、言語モデル用コーパスにおける出現頻度が第１の所定の値を超えること、およびその発音について、音声データとその自動認識結果の対のデータにおける出現頻度が第２の所定の値を超えることを条件として、前記語彙の発音に含まれる短母音または鼻音を引き伸ばすことにより新たな発音（以下、「引き伸ばし発音」という）を生成するステップと、
前記コンピュータが、前記引き伸ばし発音と同一の発音を有する語彙が前記発音辞書内に存在するか否かを判定するステップと、
前記コンピュータが、存在しないとの判定に応答して、前記引き伸ばし発音を用いて前記発音辞書を拡張するステップと、
を含む方法。
【請求項２】
前記短母音の引き伸ばしは、短母音の後に対応する長母音を挿入すること又は同一の短母音を繰り返すことによりなされる、請求項１に記載の発音辞書の拡張方法。
【請求項３】
前記鼻音の引き伸ばしは、前記鼻音を繰り返すことによりなされる、請求項１に記載の発音辞書の拡張方法。
【請求項４】
前記読み出すステップにおいて、その発音を読み出す語彙は一音節の語彙を除く語彙である、請求項１に記載の発音辞書の拡張方法。
【請求項５】
前記コンピュータが、拡張した前記発音辞書を用いて行った音声認識の結果に基づき、正解率の低い引き伸ばし発音を前記発音辞書から削除するステップを含む、請求項１に記載の発音辞書の拡張方法。
【請求項６】
前記コンピュータに、請求項１乃至５のいずれか１項に記載の発音辞書の拡張方法の各ステップを実行させるための発音辞書の拡張プログラム。
【請求項７】
請求項１乃至５のいずれか１項に記載の発音辞書の拡張方法の各ステップを実行するように適合された手段を備える、発音辞書の拡張システム。
【請求項８】
請求項１乃至５のいずれか１項に記載の発音辞書の拡張方法により拡張された発音辞書を用いて、コンピュータにより、音響モデルを学習する方法であって、
前記コンピュータが、拡張された前記発音辞書を用いて音声認識された音声データの認識結果を取得するステップと、
前記コンピュータが、前記音声データの認識結果を学習データとして、音響モデルを学習するステップとを含み、
前記学習するステップにおける学習は識別学習であり、前記学習するステップは、前記コンピュータが、前記音声データの認識結果についてのアライメントを、前記引き伸ばし発音を用いることなく実行するステップを含む、音響モデルの学習方法。
【請求項９】
コンピュータにより、音響モデルを学習する方法であって、
前記コンピュータが、発音辞書から各語彙の発音を読み出すステップと、
前記コンピュータが、その発音を読み出した前記語彙が、その表記について、言語モデル用コーパスにおける出現頻度が第１の所定の値を超えること、およびその発音について、音声データとその自動認識結果の対のデータにおける出現頻度が第２の所定の値を超えることを条件として、前記語彙の発音に含まれる短母音または鼻音を引き伸ばすことにより新たな発音（以下、「引き伸ばし発音」という）を生成するステップと、
前記コンピュータが、前記引き伸ばし発音と同一の発音を有する語彙が前記発音辞書内に存在しないことを条件に、前記引き伸ばし発音を用いて前記発音辞書を拡張するステップと、
前記コンピュータが、拡張された前記発音辞書を用いて音声認識された、音声データの認識結果を取得するステップと、
前記コンピュータが、前記音声データの認識結果を学習データとして、音響モデルを学習するステップと、
を含む音響モデルの学習方法。
【請求項１０】
前記学習するステップにおける学習は識別学習であり、前記学習するステップは、前記コンピュータが、前記音声データの認識結果についてのアライメントを、前記引き伸ばし発音語彙を用いることなく実行するステップを含む、請求項９に記載の音響モデルの学習方法。
【請求項１１】
前記取得するステップは、前記コンピュータが、前記引き伸ばし発音を用いて認識された発話のリストを作成するステップを含み、前記学習するステップにおいて、前記コンピュータが、前記リストを参照して学習データに重み付けをするステップを含む、請求項１０に記載の音響モデルの学習方法。
【請求項１２】
前記コンピュータに、請求項９乃至１１のいずれか１項に記載の音響モデルの学習方法の各ステップを実行させるための音響モデルの学習プログラム。
【請求項１３】
請求項９乃至１１のいずれか１項に記載の音響モデルの学習方法の各ステップを実行するように適合された手段を備える、音響モデルの学習システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゆっくりと丁寧に発せられる発話を含む音声データに対して音声認識の精度を改善するための技術に関し、より詳細には、発音辞書の改良により音声認識の精度を改善する技術に関する。
【背景技術】
【０００２】
大語彙連続音声認識（ＬＶＣＳＲ）システムでは、誤認識に対する訂正発話や歌を歌うなど、しばしば通常とは異なる発話スタイルの音声が入力される場合がある。訂正発話に特有の発話変形は、Hyper articulationと呼ばれ、音節ごとに区切る、抑揚を強くするなどの例があるが、特に多く観察されるのは、音素や音節の継続時間を延ばす変形、即ち、ゆっくりと丁寧に発話する発話スタイルである。
【０００３】
確率的継続時間長モデルを備えた従来のＬＶＣＳＲシステムでは、一部の音素や音節が引き伸ばされた音声が入力として与えられると、確率的継続時間長モデルと引き伸ばされた継続時間との間のミスマッチが生じるため、正しい認識ができなくなる。
【０００４】
一方、ＬＶＣＳＲシステムの構築には、認識対象とする音声の大量の書き起こしテキストが必要となる。このようなデータを人手で用意するには多大なコストがかかる。そのため現在では、ＬＶＣＳＲシステムを用いて自動で生成したテキスト（Pseudo Truth :PT）を利用することが多い。しかしながら、PTを得るためのフィールドデータは、上述した引き伸ばされた音声を含むため、正確なPTを生成することは難しい。結果として、認識精度の高いＬＶＣＳＲシステムの構築も難しくなる。
【０００５】
通常とは異なる発話スタイルの音声を処理可能な音声認識システムを構築する従来技術として、特許文献１〜２、及び、非特許文献１〜４が存在する。
【０００６】
特許文献１は、英語のようにどの音素の後にも音節の区切りが来る可能性のある言語における強調発話に対し、頑健な音声認識を実現できる言語モデル及び音響モデルを作成することを目的とする。そして特許文献１は、所定の言語の、音節境界を有する言語モデルを準備するための準備手段と、該準備手段により準備された言語モデルの音節境界の各々に対し、当該音節境界と隣接する音素の記述を、短時間ポーズの挿入を許容する所定の形式に書換えるための音素記述書換手段とを含む、言語モデル変換装置を開示する。特許文献１はまた、音節間のポーズを表す音響モデルを準備するための手段と、前記ポーズを表す音響モデルを参照して、複数の音素モデルの各々に対し、状態系列の末尾に、ポーズに対応する新たな状態と、当該新たな状態を迂回して終端に到達する経路とを追加するように、音素モデルの記述を書換えるための音素モデル書換手段とを含む、音響モデル変換装置を開示する。
【０００７】
特許文献２は、音声認識装置の認識辞書において、ユーザの発声入力に発声区切りや発声誤りが生じ易い認識語彙についても、確実に認識することが可能な音声認識装置及び音声認識方法を提供することを目的とする。そして特許文献２は、複数の語彙を認識語彙として記憶する認識辞書と、前記認識辞書に記憶されている認識語彙のうち複数の語彙に分割可能か否かを判断し、複数の語彙に分割可能な認識語彙を複数の部分認識語彙に分割する解析部と、前記部分認識語彙に対して、所定音素の追加、他の語彙との置換、該当する部分認識語彙の削除およびこれらの再結合を行い、派生認識語彙を生成する派生認識語彙生成部と、音声データの入力を受け付ける音声入力部と、前記音声入力部で受け付けた音声データの音声区間を検出する音声検出部と、前記音声検出部で検出した音声区間内の音声データを前記認識辞書に記憶された認識語彙と前記派生認識語彙生成部で生成された派生認識語彙を用いて音声認識処理を行う音声認識部と、を備える音声認識装置を開示する。
【０００８】
非特許文献１は、Hyper articulationの問題に取り組むために、音素の混同行列を生成及び参照することによって語彙に新しい発音を導入する技術、訂正発話を集めたコーパスに基づいて音響モデルを学習する技術、Hyper articulationの検出に応じてモデルを切り替える技術、調音特徴を要素とする調音ベクトルモデルを利用する技術を開示する。
【０００９】
非特許文献２は、Hyper articulationの問題に取り組むために、複数モデルのアプローチを採用し、訂正発話に特化したモデルを用いたデコード結果と、標準モデルを用いたデコード結果とを結合する技術を開示する。
【００１０】
非特許文献３は、発音辞書に幼児の発音を追加し、幼児発話が入力された際に発話辞書を通して標準発話表現で出力する技術を開示する。また、発音パターン表を用いて、自動的に発音辞書に単語を追加し、出現頻度順、相対頻度順にパターンを追加することを開示する。
【００１１】
非特許文献４は、子供音声認識の認識精度を改善するために、幼児発話認識に特化した音響モデル・言語モデルを構築することを開示する。非特許文献４はまた、標準発話・幼児表現間の変化する音を記録した発音パターン表を用いて自動的に発音辞書に単語を追加する技術を開示する。
【００１２】
しかしながら、特許文献１や非特許文献１、２が提案する手法は、特定の発話スタイルに特化した言語モデルや音響モデルを新たに構築する手法であるため、既存の音声認識システムに対し大掛かりな変更が必要となり、費用やコストの面で好ましくない。一方、特許文献２や、非特許文献３、４が提案する手法は、音声認識における認識／発音辞書に対する変更であり、比較的容易な変更であるため好ましい。
【００１３】
しかしながら、特許文献２は発声区切りや発声誤りが生じ易い認識語彙を対象とし、また非特許文献３、４は幼児発話を対象とするため、それぞれの技術を、音素や音節の継続時間が引き延ばされた発話に対してそのまま適用することはできない。なお非特許文献５は、本発明の実施例において使用する識別学習を説明する参考文献としてリスとしたものである。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−２４３２１３号公報
【特許文献２】特開２０１１−２７９７１号公報
【非特許文献】
【００１５】
【非特許文献１】Hagen Soltau,“Compensating Hyperarticulation for Automatic Speech Recognition,” Karlsruhe Instituteof Technology 2005.
【非特許文献２】Shigeki Matsuda et al., “Speech Recognition System Robust to Noise and Speaking Styles,” ICSLP 2004.
【非特許文献３】進藤  泉、外４名、“幼児特有の発音変動を考慮した実環境音声認識の検討”、日本音響学会講演論文集、2006年9月.
【非特許文献４】進藤  泉、外３名、“公共案内システムにおける幼児音声認識部の開発と評価”、情報処理学会研究報告. HI, ヒューマンインタフェース研究会報告 2007(11), PP. 103-108.
【非特許文献５】Xiaodong He, Li Deng,” Discriminative Learning Speech Recognition : Theory and Practice,” Morgan and Claypool Publishers, August 12, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、上記従来技術における問題点に鑑みてなされたものであり、音素や音節の継続時間が引き延ばされた発話を含む音声データを正しく認識できるように発音辞書を拡張する拡張方法、拡張システム、及び拡張プログラムを提供することを目的とする。本発明はまた、拡張された発音辞書を用いて音響モデルを学習する学習方法、学習システム、及び学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、上記従来技術の課題を解決するために以下の特徴を有する複数の語彙を認識語彙として含む発音辞書を拡張する方法を提供する。本発明の発音辞書を拡張する方法は、（ａ）コンピュータが、前記発音辞書から各語彙の発音を読み出すステップと、（ｂ）前記コンピュータが、読み出した前記語彙の発音に含まれる共鳴音を引き伸ばすことにより新たな発音（以下、「引き伸ばし発音」という）を生成するステップと、（ｃ）前記コンピュータが、前記引き伸ばし発音と同一の発音を有する語彙が前記発音辞書内に存在するか否かを判定するステップと、（ｄ）前記コンピュータが、存在しないとの判定に応答して、前記引き伸ばし発音を用いて前記発音辞書を拡張するステップとを含む。
【００１８】
好ましくは、前記共鳴音が母音である場合に、前記共鳴音の引き伸ばしは、短母音の後に対応する長母音を挿入すること又は同一の短母音を繰り返すことによりなされる。これに代えて或いはこれと共に、前記共鳴音が鼻音である場合に、前記共鳴音の引き伸ばしは、前記鼻音を繰り返すことによりなされる。
【００１９】
好ましくは、上記ステップ（ｂ）において、前記コンピュータは、その発音を読み出した前記語彙が、その表記及びその発音の両方について、出現頻度がそれぞれに対応する所定の値を超えることを条件として、前記引き伸ばし発音の生成処理を行う。
【００２０】
より好ましくは、上記ステップ（ａ）において、その発音を読み出す語彙は一音節の語彙を除く語彙である。
【００２１】
好ましくは、上記発音辞書の拡張方法は、前記コンピュータが、拡張した前記発音辞書を用いて行った音声認識の結果に基づき、正解率の低い引き伸ばし発音を前記発音辞書から削除するステップを含む。
【００２２】
上記では、発音辞書を拡張する方法として本発明を説明した。しかし本発明は、そのような発音辞書を拡張する方法の各ステップをコンピュータに実行させる発音辞書の拡張プログラム、及び該発音辞書の拡張プログラムをコンピュータにインストールして実現される発音辞書の拡張システムとして把握することもできる。
【００２３】
本発明はまた、上記従来技術の課題を解決するために以下の特徴を有する音響モデルを学習する方法を提供する。本発明の音響モデルの学習方法は、（ａ）コンピュータが、発音辞書から各語彙の発音を読み出すステップと、（ｂ）前記コンピュータが、読み出した前記語彙の発音に含まれる共鳴音を引き伸ばすことにより新たな発音（以下、「引き伸ばし発音」という）を生成するステップと、（ｃ）コンピュータが、前記引き伸ばし発音と同一の発音を有する語彙が前記発音辞書内に存在しないことを条件に、前記引き伸ばし発音を用いて前記発音辞書を拡張するステップと、（ｄ）前記コンピュータが、拡張された前記発音辞書を用いて音声認識された、音声データの認識結果を取得するステップと、（ｅ）前記コンピュータが、前記音声データの認識結果を学習データとして、音響モデルを学習するステップとを含む。
【００２４】
好ましくは、上記ステップ（ｅ）における学習は識別学習であり、ステップ（ｅ）は、前記コンピュータが、前記音声データの認識結果についてのアライメントを、前記引き伸ばし発音を用いることなく実行するステップを含む。
【００２５】
更に好ましくは、上記ステップ（ｄ）は、前記コンピュータが、引き伸ばし発音を用いて認識された発話のリストを作成するステップを含み、上記ステップ（ｅ）において、前記コンピュータが、前記発話のリストを参照して学習データに重み付けをするステップを含む。
【００２６】
以上、音響モデルの学習方法として本発明を説明した。しかし本発明は、そのような音響モデルの学習方法の各ステップをコンピュータに実行させる音響モデルの学習プログラム、及び該音響モデルの学習プログラムをコンピュータにインストールして実現される音響モデルの学習システムとして把握することもできる。
【発明の効果】
【００２７】
前述した構成の発音辞書の拡張方法では、発音辞書に含まれる各語彙に対しその発音に含まれる共鳴音が引き伸ばされて新たな発音、即ち、引き伸ばし発音が生成され、生成された引き伸ばし発音は、同じ発音の語彙が発音辞書に存在しないことを条件に発音辞書に追加される。このような拡張方法によれば、発音辞書の拡張による新たな誤認識の問題を引き起こすことなく、発音辞書を拡張することができる。
【００２８】
また、上述した方法により拡張された発音辞書を用いて音声を認識することで、音素や音節の継続時間が引き延ばされた発話を含む音声データを正しく認識することが可能となる。また、前述した構成の音響モデルの学習方法では、そのように正しく認識された認識結果を学習データとして音響モデルを学習するので、ゆっくりと丁寧に発せられる発話を含む音声データに対して頑強な音響モデルを構築することが可能となる。本発明のその他の効果については、各実施の形態の記載から理解される。
【図面の簡単な説明】
【００２９】
【図１】本実施形態に係る発音辞書拡張システムを実現するのに好適な情報処理装置のハードウェア構成の一例を示す図である。
【図２】本実施形態に係る発音辞書拡張システムの機能ブロック図の一例を示す図である。
【図３】図３（ａ）は、発音辞書の一例を示す図である。図３（ｂ）は、発音辞書の１エントリの構成を説明する図である。図３（ｃ）は、言語モデルの一例を示す図である。
【図４】発音辞書への引き伸ばし発音の追加を抑制される単語の例を説明する図である。
【図５】本実施形態に係る発音辞書の拡張処理の流れの一例を示すフローチャートある。
【図６】本実施形態に係る音響モデルの学習システムの機能ブロック図の一例を示す図である。
【図７】図７（ａ）は、引き伸ばし発音によるアライメントの例を説明する図である。図７（ｂ）は、通常の発音によるアライメントの例を説明する図である。
【図８】本実施形態に係る音響モデルの学習処理の流れの一例を示すフローチャートある。
【図９】図９（ａ）は、本発明を利用した音声認識の第１の実験結果の一例を示す図である。図９（ｂ）は、本発明を利用した音声認識の第２の実験結果の一例を示す図である。
【図１０】引き伸ばし発音追加抑制オプションごとの発音辞書のサイズ抑制効果とエラー削減率の関係を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明を実施するための形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。
【００３１】
図１は、本発明を実施するためのコンピュータ１００の例示的なハードウェア構成を示す。  コンピュータ１００は、ＣＰＵ１０２とメイン・メモリ１０４とを備えており、これらはバス１０６に接続されている。ＣＰＵ１０２は好ましくは、３２ビット又は６４ビットのアーキテクチャに基づくものである。当該ＣＰＵ１０２は例えば、インテル社のＣｏｒｅ（商標）ｉシリーズ、Ｃｏｒｅ（商標）２シリーズ、Ａｔｏｍ（商標）シリーズ、Ｘｅｏｎ（登録商標）シリーズ、Ｐｅｎｔｉｕｍ（登録商標）シリーズ若しくはＣｅｌｅｒｏｎ（登録商標）シリーズ、ＡＭＤ（Advanced Micro Devices）社のＡシリーズ、Ｐｈｅｎｏｍ（商標）シリーズ、Ａｔｈｌｏｎ（商標）シリーズ、Ｔｕｒｉｏｎ（商標）シリーズ若しくはＳｅｍｐｒｏｎ（商標）、又は、インターナショナル・ビジネス・マシーンズ・コーポレーションのＰｏｗｅｒ（商標）シリーズでありうる。
【００３２】
バス１０６には、ディスプレイ・コントローラ１０８を介して、ディスプレイ１１０、例えば液晶ディスプレイ（ＬＣＤ）が接続されうる。また、液晶ディスプレイ（ＬＣＤ）は例えば、タッチパネル・ディスプレイ又はフローティング・タッチ・ディスプレイであてもよい。ディスプレイ１１０は、コンピュータ１００上で動作中のソフトウェアが出力する情報を、適当なグラフィック・インタフェースで表示するために使用されうる。
【００３３】
バス１０６には任意的に、例えばＳＡＴＡ又はＩＤＥコントローラ１１２を介して、記憶装置１１４、例えばハードディスクドライブと、ドライブ１１６、例えばＣＤ、ＤＶＤ又はＢＤドライブが接続されうる。
【００３４】
バス１０６には、周辺装置コントローラ１１８を介して、例えばキーボード・マウス・コントローラ又はＵＳＢバスを介して、任意的に、キーボード１２０及びマウス１２２が接続されうる。
【００３５】
記憶装置１１４には、オペレーティング・システム、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＭａｃＯＳ（登録商標）など、及びＪ２ＥＥなどのＪａｖａ（登録商標）処理環境、Ｊａｖａ（登録商標）アプリケーション、Ｊａｖａ（登録商標）仮想マシン（ＶＭ）、Ｊａｖａ（登録商標）実行時（ＪＩＴ）コンパイラを提供するプログラム、本施態様に従うコンピュータ・プログラム、及びその他のプログラム、並びにデータが、メイン・メモリ１０４にロード可能なように記憶されうる。
【００３６】
記憶装置１１４は、コンピュータ１００内に内蔵されていてもよく、当該コンピュータ１００がアクセス可能なようにケーブルを介して接続されていてもよく、又は、当該コンピュータ１００がアクセス可能なように有線又は無線ネットワークを介して接続されていてもよい。
【００３７】
ドライブ１１６は、必要に応じて、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又はＢＤ１１７からコンピュータ・プログラム、例えばオペレーティング・システム又はアプリケーションを記憶装置１１４にインストールするために使用されうる。なお、コンピュータ・プログラムは圧縮し、また複数に分割して複数の媒体に記録することもできる。
【００３８】
通信インタフェース１２６は、例えばイーサネット（登録商標）・プロトコルに従う。通信インタフェース１２６は、通信コントローラ１２４を介してバス１０６に接続され、コンピュータ１００を通信回線１２８に有線又は無線接続する役割を担い、コンピュータ１００のオペレーティング・システムの通信機能のＴＣＰ／ＩＰ通信プロトコルに対して、ネットワーク・インタフェース層を提供する。通信回線は例えば、有線ＬＡＮ接続規格に基づく有線ＬＡＮ環境、又は無線ＬＡＮ接続規格に基づく無線ＬＡＮ環境、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎなどのＷｉ−Ｆｉ無線ＬＡＮ環境、若しくは携帯電話網環境（例えば、３Ｇ、又は４Ｇ（ＬＴＥを含む）環境）でありうる。
【００３９】
コンピュータ１００は、通信回線１２８を介して他のコンピュータからのデータを受信し、記憶装置１１４上に格納しうる。
【００４０】
以上の説明により、コンピュータ１００は、通常のパーソナルコンピュータ、ワークステーション、メインフレームなどの情報処理装置、又は、これらの組み合わせによって実現されることが容易に理解されるであろう。なお、上記説明した構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。同様に本発明を実施するためのコンピュータ１００は、スピーカー等の他の構成要素を含むことも可能であることは言うまでもない。
【００４１】
図２は、本実施形態に係る発音辞書拡張システム２００の機能ブロック図の一例を示す。発音辞書拡張システム２００は、発音辞書に含まれる所定の条件を満たす各単語について、その発音に含まれる共鳴音を引き伸ばすことにより新たな発音、即ち、引き伸ばし発音を生成し、生成した引き伸ばし発音を発音辞書に追加することで、発音辞書を拡張する。発音辞書拡張システム２００は、発音辞書格納部２０２と、読み出し部２０４と、頻度確認部２０６と、言語モデル学習用コーパス２０８と、PTデータ格納部２１０と、新発音生成部２１２と、同一発音確認部２１４と、候補リスト格納部２１６と、検証部２１８とを備える。発音辞書格納部２０２と、言語モデル学習用コーパス２０８と、PTデータ格納部２１０と、候補リスト格納部２１６と、検証部２１８に含まれる拡張発音辞書格納部２２６は、物理的に同一の記憶装置であってもよく、或いは複数の記憶装置であってもよい。以下各構成要素について説明する。
【００４２】
発音辞書格納部２０２は、ＬＶＣＳＲシステムにおいて用いられる発音辞書を格納する。発音辞書は、認識対象の語彙（単語）とその発音（音韻情報）を規定する辞書である。図３（ａ）に示される辞書３００は、日本語の発音辞書の一例である。図３（ａ）に示されるように、発音辞書内の１エントリは、仮名漢字まじりの表記（spelling）と発音（pronunciation）の対であり、本明細書ではこれをトークンと呼ぶ。
【００４３】
図３（ｂ）を参照して、トークンを説明する。図３（ｂ）に示すトークン「京都／ky.o.O.t.o」３００は、表記「京都」３１２と、発音「ky.o.O.t.o」３１４から成る。発音３１４は、一続きの音素であり、母音と子音と鼻音の組み合わせにより構成される。発音「ky.o.O.t.o」３１４を例に説明すると、音素「ky」３１６ａと音素「t」３１６ｄは子音であり、音素「o」３１６ｂ、３１６ｅは短母音であり、音素「O」３１６ｃは長母音である。なお、図３（ｃ）に示すように、言語モデル３２０では、表記が同一のトークン同士は生起確率を共有する。例えば、トークン「寿司／s.u.sh.i」と、トークン「寿司／z.u.sh.i」の生起確率はどちらも0.0012である。
【００４４】
読み出し部２０４は、発音辞書格納部２０２に格納される発音辞書から各単語の発音を読み出す。但し、読み出し部２０４がその発音を読み出す単語は、１モーラ（１音節）の単語を除いた残りの単語である。発音辞書には、「歯」、「へ」、「を」など１モーラの単語が含まれる。このような１モーラの単語に対し、後述する所定の処理を施して引き伸ばし発音を生成し発音辞書に追加すると、追加による利益よりも、追加による弊害が大きく、認識精度が大きく劣化する。そのため読み出し部２０４は、発音辞書から、１モーラ（１音節）の単語を除いた残りの単語を読み出す。
【００４５】
頻度確認部２０６は、読み出し部２０４により読み出された各単語について、その表記及びその発音の両方について、出現頻度がそれぞれ対応する所定の閾値を超えることを確認する。より具体的には、頻度確認部２０６は、各単語の表記について、言語モデル学習用のコーパスにおける出現数をカウントし、出現頻度が第１の所定の閾値を超えるか否かを判定する。なお、言語モデル学習用のコーパスに基づいて言語モデルが構築されている場合は、頻度確認部２０６は言語モデルの生起確率を参照して判定してよい。言語モデル学習用のコーパス又は言語モデルは、予め言語モデル格納部２０８に用意される。
【００４６】
頻度確認部２０６はまた、各単語について、PTデータにおけるその発音の出現数と、その表記の総出現数（同じ表記で異なる発音のトークンの出現数を含む）とをカウントし、表記の総出現数に対する発音の出現数の割合が第２の所定の閾値を超えているか否かを判定する。なお、PTデータとは、ユーザ音声の自動認識結果であるPTと、対応する音声データの対をいい、PTデータは予めPTデータ格納部２１０に用意される。最終的に、頻度確認部２０６は、表記について出現頻度が第１の所定の閾値を超え、かつ、発音について出現頻度が第２の所定の閾値を超える単語を、後述する処理のために新発音生成部２１２に渡す。
【００４７】
頻度確認部２０６による上記フィルタリング処理は、次の理由によるものである。即ち、本発明では、発音辞書を拡張することにより、音素や音節の継続時間が引き延ばされた発話を含む音声データに頑強なＬＶＣＳＲシステムを構築することを試みる。しかしながら、認識対象となる単語数が増えると、ランタイムにおける計算時間が増加し、また認識率も低下する傾向にある。そのため、発音辞書に追加する引き伸ばし発音は、認識率を向上させることが期待されるものに限定すべきである。ここで、ゆっくりと丁寧に発話する発話スタイルは、通常とは異なる特殊な発話スタイルであるため、ある単語がその特殊な発話スタイルで発せられる頻度は、通常の発話スタイルで発せられる頻度よりも低い。従って、少なくとも通常の発話スタイル、即ち、拡張前の発音辞書に含まれるトークンについて、その表記の出現頻度が高いものを、後述する新発音生成部２１２の処理対象とする。また、出現頻度の高い表記であったとしても、発音としては頻度が低いものであれば、追加による利益よりも、追加による弊害が大きい。そこで頻度確認部２０６は、その表記及びその発音の両方について出現頻度がそれぞれ対応する所定の閾値を超えるトークンを、後述する処理のために新発音生成部２１２に渡す。
【００４８】
図４を参照して、発音辞書への引き伸ばし発音の追加を抑制される単語の例を説明する。図４に示す表の横軸は、PTデータにおける発音の相対的な出現頻度であり、縦軸は、言語モデル確率である。領域４０６に存在する単語は、言語モデルにおける生起確率が低いために、また、領域４０８に存在する単語は、同一表記に対する発音の相対的な出現頻度が低いために、それぞれ引き伸ばし発音の発音辞書への追加を抑制される単語である。例えば表記「寿司」について、「s.u.sh.i」と発音される頻度は高いが、「z.u.sh.i」と発音される頻度は低い。このため、トークン「寿司／s.u.sh.i」と、トークン「寿司／z.u.sh.i」の言語確率は等しく高いが、頻度確認部２０６は、トークン「寿司／s.u.sh.i」のみを処理対象として新発音生成部２１２に渡す。なお、参照番号４０２により示されるトークン「雨／a.m.a」と参照番号４０３により示されるトークン「外／s.o.t.o」は、後述する同一発音確認部２１４による処理により、引き伸ばし発音の追加を抑制される単語である。また、参照番号４０４により示されるトークン「大／o.o」は、後述する検証部２１８による処理により、引き伸ばし発音の追加を抑制される単語である。
【００４９】
新発音生成部２１２は、頻度確認部２０６により渡されたトークンの発音に含まれる共鳴音を引き伸ばすことにより、引き伸ばし発音を生成する。そして新発音生成部２１２は、生成した引き伸ばし発音を、元のトークンの表記と同一の表記と対にし、新たなトークンとして後述する同一発音確認部２１４に渡す。ここで、上記共鳴音の引き伸ばしは、トークンの発音に含まれる共鳴音が母音である場合、短母音の後に対応する長母音を挿入すること又は短母音の後に同一の短母音を繰り返すことにより行ってよい。また、トークンの発音に含まれる共鳴音が鼻音である場合、上記共鳴音の引き伸ばしは、鼻音を繰り返すことにより行ってよい。
【００５０】
共鳴音の引き伸ばしを、トークン「寿司／s.u.sh.i」を例に説明する。発音「s.u.sh.i」において「u」と「i」は短母音である。そこで短母音「u」の後に対応する長母音「U」を挿入し、同様に短母音「i」の後に対応する長母音「I」を挿入する。すると発音「s.u.sh.i」に基づく引き伸ばし発音は、「s.u.U.sh.i.I」となる。また、トークン「忍者／n.i.N.j.a」を例に説明すると、発音「n.i.N.j.a」において「i」と「a」は短母音であり、「N」は鼻音である。そこで、短母音「i」と「a」の後にそれぞれ対応する長母音を挿入し、鼻音「N」の後に同じ鼻音を挿入する。すると、発音「n.i.N.j.a」に基づく引き伸ばし発音は、「n.i.I.N.N.j.a.a」となる。またトークン「京都／ky.o.O.t.o」を例に説明すると、発音「ky.o.O.t.o」において、最初の「o」と２番目の「o」は短母音であるが、最初の「o」の後には既に長母音「O」が存在する。そこで、最初の短母音「o」に対しては何もせずに、２番目の「o」に対してのみその後に長母音「O」を挿入する。すると、発音「ky.o.O.t.o」に基づく引き伸ばし発音は、「ky.o.O.t.o.O」となる。
【００５１】
同一発音確認部２１４は、新発音生成部２１２により生成された引き伸ばし発音について、同一の発音を有するトークンが発音辞書内に存在するか否かを判定する。そして、同一発音確認部２１４は、新発音生成部２１２により生成された引き伸ばし発音のうち、同一の発音を有するトークンが発音辞書内に存在しないと判定した引き伸ばし発音のみを取り出して、発音辞書への追加候補として候補リスト格納部２１６に格納する。
【００５２】
同一発音確認部２１４による上記処理は、ランタイム時のＬＶＣＳＲシステムの誤認識を防ぐためである。即ち、引き伸ばし発音と同一の発音を有するトークンが発音辞書内に存在する場合に、その引き伸ばし発音を発音辞書に追加してしまうと、ランタイム時において正しく発音されたにも関わらず誤認識されるという副作用が生じてしまう。例えば、トークン「夢／Y.u.m.e」に対し、引き伸ばし発音「Y.u.U.m.e.E」が生成されるとする。このとき、発音辞書内にトークン「有名／Y.u.U.m.e.E」が存在したとすると、「有名／Y.u.U.m.e.E」として音声データが入力されたにも関わらず、ＬＶＣＳＲシステムは「夢」を出力する可能性が生じてしまう。このような事態を防ぐことから、同一発音確認部２１４の上記機能は重要である。
【００５３】
検証部２１８は、候補リスト格納部２１６に格納された追加候補の引き伸ばし発音の有効性を検証するために、デコード部２２０と、除去部２２２と、テスト用データ格納部２２４と、拡張発音辞書格納部２２６を含む。テスト用データ格納部２２４は、テスト用の音声データと正解テキストデータの対を格納する。拡張発音辞書格納部２２６は、発音辞書格納部２０２に格納される発音辞書のコピーを初期値として格納する。
【００５４】
デコード部２２０は、テスト用データ格納部２２４から読み出したテスト用の音声データを入力とし、発音辞書格納部２０２に格納される発音辞書と、候補リスト格納部２１６に格納される追加候補の引き伸ばし発音とを参照して、音声データをデコードする。音声データのデコードは既知の方法であり、本発明の要旨ではないので説明を省略する。
【００５５】
除去部２２２は、デコード部２２０からデコードの結果を受け取り、デコードの結果とテスト用データ格納部２２４に格納される正解テキストデータとを比較して、デコード結果に正解、不正解いずれかのマークをつける。除去部２２２はまた、追加候補の引き伸ばし発音ごと、引き伸ばし発音のデコード総数に対する正解数の割合を算出する。そして除去部２２２は、候補リスト格納部２１６に格納された追加候補の引き伸ばし発音から、上記算出した割合が所定の閾値を超える引き伸ばし発音のみを取り出し、拡張発音辞書格納部２２６に格納される発音辞書に追加する。
【００５６】
なお、上述した頻度確認部２０６、検証部２１８による処理はオプションであり、これら処理を除いた構成もまた、本発明の技術的範囲に含まれることに留意されたい。なお、後述する評価実験の説明を簡単にするため、新発音生成部２１２の機能をＡ１、同一発音格納部２１４の機能をＡ２，頻度確認部２０６の機能のうち表記に対する処理の機能をＡ３、発音に対する処理の機能をＡ４、検証部２１８の機能をＡ５と名づける。
【００５７】
次に図５を参照して、本実施形態に係る発音辞書拡張システム２００による発音辞書の拡張処理の流れの一例を説明する。発音辞書の拡張処理はステップ５００で開始し、発音辞書拡張システム２００は、発音辞書からトークンを読み出す。続いて発音辞書拡張システム２００は、読み出したトークンの表記について言語モデル学習用のコーパスにおける出現頻度が所定の閾値Ａを超えるか否かを判定する（ステップ５０２）。読み出したトークンの表記の出現頻度が所定の閾値Ａ以下である場合（ステップ５０２：ＮＯ）、処理はステップ５００に戻って、発音辞書拡張システム２００は発音辞書から次のトークンを読み出す。
【００５８】
一方、読み出したトークンの表記の出現頻度が所定の閾値Ａを超える場合（ステップ５０２：ＹＥＳ）、処理はステップ５０４へ進み、発音辞書拡張システム２００は、読み出したトークンの発音についてPTデータにおける出現頻度が所定の閾値Ｂを超えるか否かを判定する。読み出したトークンの発音の出現頻度が所定の閾値Ｂ以下である場合（ステップ５０４：ＮＯ）、処理はステップ５００に戻って、発音辞書拡張システム２００は発音辞書から次のトークンを読み出す。
【００５９】
一方、読み出したトークンの発音の出現頻度が所定の閾値Ｂを超える場合（ステップ５０４：ＹＥＳ）、処理はステップ５０６へ進み、発音辞書拡張システム２００は、読み出したトークンの発音に含まれる共鳴音を引き伸ばすことにより、引き伸ばし発音を生成する。続いて発音辞書拡張システム２００は、生成した引き伸ばし発音と同一の発音を有するトークンが発音辞書に含まれるか否かを判定する（ステップ５０８）。生成した引き伸ばし発音と同一の発音を有するトークンが発音辞書に含まれる場合（ステップ５０８：ＹＥＳ）、処理はステップ５００に戻って、発音辞書拡張システム２００は発音辞書から次のトークンを読み出す。
【００６０】
一方、生成した引き伸ばし発音と同一の発音を有するトークンが発音辞書に含まれない場合（ステップ５０８：ＮＯ）、処理はステップ５１０へ進み、発音辞書拡張システム２００は、生成した引き伸ばし発音を発音辞書へ追加するための候補リストに追加する。続いて、発音辞書拡張システム２００は、発音辞書に未検討のトークンがあるか否かを判定する（ステップ５１２）。未検討のトークンが発音辞書に残っている場合（ステップ５１２：ＮＯ）、処理はステップ５００へ戻って、発音辞書拡張システム２００は発音辞書から次のトークンを読み出す。
【００６１】
一方、発音辞書に未検討のトークンが残っていない場合（ステップ５１２：ＮＯ）、処理はステップ５１４へ進み、発音辞書拡張システム２００は、候補リストを参照して、テスト用データをデコードし、デコード結果と正解テキストデータとを比較することにより引き伸ばし発音についての正解率を算出する（ステップ５１４）。続いて、発音辞書拡張システム２００は、算出した正解率が所定の閾値Ｃを超える引き伸ばし発音を発音辞書に追加して、発音辞書を拡張する（ステップ５１６）。そして処理は終了する。
【００６２】
図６は、本実施形態に係る音響モデルの学習システムの機能ブロック図の一例を示す。音響モデル学習システム６００は、上述した方法により拡張された拡張発音辞書を参照して音声データを自動認識することによりPTデータを生成し、生成したPTデータを学習データとして音響モデルを識別学習により学習する。音響モデルの学習システム６００は、音声データ格納部６０２と、デコーダ６０４と、第１認識結果格納部６０６と、アライメント実行部６０８と、第２認識結果格納部６１０と、重み付け実行部６１２と、第３認識結果格納部６１４と、学習部６１６とを含む。なお、図６に示す発音辞書格納部２０２と、拡張発音辞書格納部２２６は、図２に示す発音辞書格納部２０２と、拡張発音辞書格納部２２６と同一のものである。発音辞書格納部２０２と、拡張発音辞書格納部２２６と、第１〜第３認識結果格納部６０６、６１０、６１４は、物理的に同一の記憶装置であってもよく、或いは複数の記憶装置であってもよい。以下各構成要素について説明する。
【００６３】
音声データ格納部６０２は、対象ドメインの音声データ（フィールドデータ）を格納する。
【００６４】
デコーダ６０４は、音声データ格納部６０２から音声データを読み出し、拡張発音辞書格納部２２６に格納される拡張発音辞書を参照して、読み出した音声データをデコードする。このときデコーダ６０４は、引き伸ばし発音を参照してデコードしたデコード結果のリストを合わせて作成し、後述する重み付け実行部６１２に渡す。デコーダ６０４は、デコードの結果、即ち、PTデータを第１認識結果格納部６０６に格納する。なお、音声データのデコードは上述したように既知の方法であり、本発明の要旨ではないので説明を省略する。
【００６５】
従来の発音辞書を用いた音声データのデコードでは、音素や音節の継続時間が引き延ばされた発話は正しく認識されないため、そのような発話を予め捨てることで、PTデータの質は保たれた。しかしながら、そのようにして生成されたPTデータに基づいて構築される音響モデルは、ゆっくりと丁寧に発せられる発話を正しく認識することができない。そこで、本実施形態に係る音響モデルの学習システム６００では、拡張発音辞書を用いることで、音素や音節の継続時間が引き延ばされた発話の正しい認識を可能とし、上記問題を解決する。
【００６６】
アライメント実行部６０８は、発音辞書格納部２０２に格納される発音辞書を参照して、第１認識結果格納部６０６に格納されるPTデータをアライメントする。そしてアライメント実行部６０８は、アライメント結果を、第２認識結果格納部６１０に格納する。通常、PTデータのアライメントは、PTデータ取得時に参照した発音辞書を用いてなされる。しかしながら、後述する学習部６１６による音響モデルの学習では、識別学習を利用することから、ここでは拡張発音辞書ではなく、通常の発音辞書を参照してアライメントを行う。即ち、識別学習時において発音辞書に引き伸ばし発音が含まれると、通常の発音と引き伸ばし発音のどちらも正解であるにも関わらず、このようなペアに対してまで識別するための学習がなされてしまう。そこでアライメント実行部６０８はこのような無駄を防ぐため、通常の発音辞書を用いてアライメントを実行する。
【００６７】
図７（ａ）、（ｂ）にデコード結果の「寿司」に対するアライメントを示す。図７（ａ）は引き伸ばし発音「s.u.U.sh.i.I」を用いたアライメントを示す。図７（ｂ）は、通常の発音「s.u.sh.i」によるアライメントを示す。「SIL」は無音（silence）を示している。図７（ｂ）に示すような通常の発音を用いたアライメントを得るために、上述したように通常の発音辞書を参照するほか、拡張発音辞書から引き伸ばし発音を除去してアライメント・プログラムを走らせたり、拡張発音辞書を参照して得られた認識結果（例えば、「寿司（s.u.U.sh.i.I）を（o）食べる（t.a.b.e.r.u）」という文）を、通常の発音辞書を参照して得る認識結果（「寿司（s.u.sh.i）を（o）食べる（t.a.b.e.r.u）」）に変換してからアライメント・プログラムを走らせたりしてもよい。これに代えて、引き伸ばし発音のアライメントを参照し、引き伸ばされた発音部分を結合により元の発音に戻すことにより（図７（ａ）の例では、「u.U」を結合して元の発音「u」を、「i.I」を結合して元の発音「i」を得る）、通常の発音によるアライメントを取得してもよい。
【００６８】
重み付け実行部６１２は、デコーダ６０４から受け取ったデコード結果のリストに基づいて、第２認識結果格納部６１０から読み出したアライメント結果に対し重み付けを行う。そして重み付け実行部６１２は、重み付けした結果を第３認識結果格納部６１４に格納する。より具体的には、重み付け実行部６１２は、アライメント結果のうち、引き伸ばし発音に基づき認識された単語又は文に対し重み付けを行う。上述したように、アライメントは通常の発音を用いてなされるため、重み付け実行部６１２は、デコード結果のリストに基づいて、引き伸ばし発音を参照して認識された単語又は文を識別する。
【００６９】
学習部６１６は、第３認識結果格納部６１４から重み付けされたアライメント結果を読み出し、識別学習により音響モデルを学習する。識別学習では、正解の単語（正解の音素列）と不正解の単語（不正解の音素列、対立候補という）とが使用され、正解音素列と不正解音素列のスコアの差が大きくなるようにモデルのパラメータが推定され、モデルが学習される。対立候補としては、音声認識のＮベスト候補を利用したり、デコーダから得られる単語ラティスから対立候補を抽出したりする。ここで、発音辞書に引き伸ばし発音が含まれると、引き伸ばし発音は対応する通常の発音と似ていることから、通常の発音と対応する引き伸ばし発音のペアが常に正解音素列と不正解音素列として登場し、識別のための学習時間を増大させてしまう。そこで本発明では、上述したようにデコード結果のアライメントを通常の発音辞書を用いて行う。学習部６１６は、学習結果の音響モデルを出力する。なお、識別学習の更なる詳細は、例えば非特許文献５を参照されたい。
【００７０】
次に、図８を参照して、音響モデルの学習システム６００による音響モデルの学習処理の流れの一例を説明する。音響モデルの学習処理はステップ８００で開始し、音響モデルの学習システム６００は、拡張発音辞書を参照して認識された音声データの認識結果と、引き伸ばし発音を参照して認識された単語又は文のリストとを取得する。続いて音響モデルの学習システム６００は、認識結果に対し、通常の発音辞書を用いてアライメントを実行する（ステップ８０２）。
【００７１】
続いて、音響モデルの学習システム６００は、ステップ８００で取得された単語又は文のリストに基づいて、アライメント結果に対して重み付けをする（ステップ８０４）。続いて音響モデルの学習システム６００は、重み付きのアライメント結果を学習データとして、音響モデルを識別学習する（ステップ８０６）。そして処理は終了する。
【００７２】
次に図９（ａ）、（ｂ）及び図１０を参照して、本発明が提案する拡張発話辞書及び音響モデルを利用した音声認識の評価実験について述べる。図９（ａ）、（ｂ）を参照して説明する評価実験では、名詞句中心の短い発声から構成されるテストセット１と、長い文を含むテストセット２の２種類の音声データを用いた。また、図９（ａ）の評価実験では、音響モデルは従来の音響モデル、即ち、通常の発音辞書を用いて生成されたPTデータに基づき識別学習により構築された音響モデルを使用した。評価した拡張発話辞書のバリエーションは以下の５つである。
バリエーション０（オリジナルvoc）：通常の発音辞書
バリエーション１（Ａ１＋Ａ２）：発音辞書に存在しない引き伸ばし発音を追加した拡張発音辞書
バリエーション２（Ａ１＋Ａ２＋Ａ３）：発音辞書に存在しない引き伸ばし発音であって、かつ、表記の出現頻度の高い語彙の引き伸ばし発音を追加した拡張発音辞書
バリエーション３（Ａ１＋Ａ２＋Ａ３＋Ａ４）：発音辞書に存在しない引き伸ばし発音であって、かつ、表記と発音の出現頻度の高い語彙の引き伸ばし発音を追加した拡張発音辞書
バリエーション４（Ａ１＋Ａ２＋Ａ３＋Ａ４＋Ａ５）：バリエーション４の拡張発音辞書から、正解率の低い引き伸ばし発音を除去した拡張発音辞書
【００７３】
上記実験において測定したのは、かな誤り削減率と文字誤り削減率の２つである。ここで、かな誤り率（ＫＥＲ：Katakana Error Rate）は、正解データ及び仮説データを、発音を表す片仮名文字列（片仮名シーケンス）に翻訳してマッチングを行う認識率評価尺度である。また、文字誤り率（ＣＥＲ）は、主にＯＣＲ文字認識やかな漢字変換の評価で用いられる認識率評価尺度であり、文字単位でマッチングを行う手法である。本評価実験では、バリエーション０の通常の発音辞書を用いた認識結果を基準として、それぞれの誤り率の削減率を求めた。
【００７４】
図９（ａ）の表を見ると分かるように、辞書サイズの増加を抑制した拡張発音辞書（バリエーション２及び３）を含む、１〜４の全てのバリエーションの拡張発音辞書について、高いエラー削減率が達成されている。
【００７５】
また図９（ｂ）の評価実験では、音響モデルは上述した従来の音響モデルと、上述した本実施形態に係る音響モデルの学習方法により再構築した音響モデルの２つを用意した。発音辞書は、上述したバリエーション４の拡張発音辞書を用いた。また、ここでも通常の発音辞書と従来の音響モデルの組み合わせを基準とした。
【００７６】
図９（ｂ）の表を見ると分かるように、本実施形態に係る音響モデルの学習方法により再構築した音響モデルを用いるだけでも、十分なエラー削減率が達成されている。再構築した音響モデルに加えて、バリエーション４の拡張発音辞書を用いた場合には、更に高いエラー削減率が達成されている。
【００７７】
図１０は、上述したバリエーション１〜４の各拡張発音辞書について、辞書内の発音数とエラー削減率の関係を示す表である。図１０に示す表から、発音や表記の出現頻度が低い語彙の引き伸ばし発音の追加を禁止することにより、エラー削減率にほとんど影響を与えることなく発音数の増加を大幅に抑制することができることが分かる。
【００７８】
以上、実施形態を用いて本発明の説明をしたが、本発明の技術範囲は上記実施形態に記載の範囲には限定されない。上記の実施形態に、種々の変更又は改良を加えることが可能であることが当業者に明らかである。従って、そのような変更又は改良を加えた形態も当然に本発明の技術的範囲に含まれる。
【００７９】
なお、特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り任意の順序で実現しうることに留意すべきである。また、前の処理の出力を後の処理で用いる場合でも、前の処理と後の処理の間に他の処理が入ることは可能である場合があること、又は間に他の処理が入るように記載されていても前の処理を後の処理の直前に行うよう変更することも可能である場合があることも留意されたい。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」、「続いて、」等を用いて説明したとしても、この順で実施することが必須であることを必ずしも意味するとは限らない。
【図１】
0006410491.tif 000002
【図２】
0006410491.tif 000003
【図３】
0006410491.tif 000004
【図４】
0006410491.tif 000005
【図５】
0006410491.tif 000006
【図６】
0006410491.tif 000007
【図７】
0006410491.tif 000008
【図８】
0006410491.tif 000009
【図９】
0006410491.tif 000010
【図１０】
0006410491.tif 000011