(57)【特許請求の範囲】
【請求項１】
音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとに基づいて各種情報を提供するアプリケーションサービスプロバイダにアクセスしてサービスを受けこのサービスを前記音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバと、前記音声ポータルサーバから受信したコマンドテキストおよびオブジェクトテキストに基づいて情報を検索する情報検索手段を備え検索結果を前記音声ポータルサーバにサービスするアプリケーションサービスプロバイダとからなる音声入力システム。
【請求項２】
音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなり、
前記アプリケーションサービスプロバイダの情報検索手段が、入力されたオブジェクトテキストをｎ文字ごとに切り出し予め作成してあるｎ文字ＩＮＤＥＸに基づいて情報検索する手段であることを特徴とする音声入力システム。
【請求項３】
請求項１または２に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、地図情報をサービスするナビゲーション情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。
【請求項４】
請求項１ないし３のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、音楽情報をサービスする音楽情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。
【請求項５】
請求項１ないし４のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報をサービスする番組情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。
【請求項６】
請求項１ないし５のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、電話情報をサービスする電話情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。
【請求項７】
音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなる音声入力システムにおいて、
前記音声ポータルサーバは、前記音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとを前記アプリケーションサービスプロバイダに送り前記アプリケーションサービスプロバイダで検索された情報を音声入力端末に出力する対話制御手段とを備えたことを特徴とする音声ポータルサーバ。
【請求項８】
請求項７に記載の音声ポータルサーバにおいて、
前記音声認識手段が、連続音声認識手段と、単語音声認識手段と、入力された音声の特徴量をしきい値として前記２つの認識手段の認識結果の一方を選択して出力する認識総合評価手段とを備えたことを特徴とする音声ポータルサーバ。
【請求項９】
請求項８に記載の音声ポータルサーバにおいて、
前記音声の特徴量が、発話時間であることを特徴とする音声ポータルサーバ。
【請求項１０】
請求項８に記載の音声ポータルサーバにおいて、
前記音声の特徴量が、認識文字列長であることを特徴とする音声ポータルサーバ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声入力システム，音声ポータルサーバ，音声入力端末に係り、特に、ＰＤＡ(Personal Digital Assistants)，携帯電話，車載ナビゲーションなどの移動端末装置からまたは家庭電話，ＴＶ，ＰＣなどの家庭(固定)端末から音声でネットワークにアクセスし、地図情報，音楽情報，ＴＶ番組情報，電話情報などを提供する情報提供サービスプロバイダから情報やサービスを受ける音声入力システムに関する。
【０００２】
【従来の技術】
特開平１１−１４３４９３号公報は、入力された音声を音声言語理解装置によりデータベース言語の中間言語に変換して単語を検索するシステムを記載している。
【０００３】
特開２０００−５７４９０号公報は、認識辞書を切り替えながら入力された音声の認識性能を向上させる方法を記載している。
【０００４】
特開２００１−３４２９２号公報は、ワードスポッティングという技術で辞書にある言葉を切り出し、要求キーワードを認識して話題を確定し、その話題用の認識辞書を用いて音声を認識させ、認識性能を向上させる方法を記載している。
【０００５】
【発明が解決しようとする課題】
特開平１１−１４３４９３号公報の技術は、識別誤りが最小になるように文章データをそれに対応する中間言語に変換する隠れマルコフモデルを学習する方法である。この方式では、統計的処理に基づく学習であるから、いろいろな分野に同時にサービスしようとすると、分野ごとに学習する必要があり、処理に多くの時間がかかり、認識性能が下がる。また、長い文章と短い文章とが混在する実際の対話を考慮した音声入力システムにはなっていない。さらに、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００６】
特開２０００−５７４９０号公報の技術は、認識結果に応じて対応辞書を切り替えて認識性能を向上させるナビゲーションの発明であるが、音声を連続入力できない。また、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００７】
特開２００１−３４２９２号公報の技術は、認識結果に応じて話題を切り出し辞書を切り替えて認識性能を上げる発明である。しかし、上記２つの従来技術と同様に、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００８】
本発明の目的は、ＰＤＡ，携帯電話などの移動端末や家庭電話(HomeＴＥＬ)，ＴＶ，ＰＣなどの固定端末から音声でネットにアクセスし、地図情報，音楽情報，番組情報，電話情報などを提供するプロバイダからサービスを受ける音声入力システムおよび音声ポータルサーバおよび音声入力端末を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとに基づいて各種情報を提供するアプリケーションサービスプロバイダにアクセスしてサービスを受けこのサービスを音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバと、音声ポータルサーバから受信したコマンドテキストおよびオブジェクトテキストに基づいて情報を検索する情報検索手段を備え検索結果を音声ポータルサーバにサービスするアプリケーションサービスプロバイダとからなる音声入力システムを提案する。
【００１０】
本発明は、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなり、アプリケーションサービスプロバイダの情報検索手段が、入力されたオブジェクトテキストをｎ文字ごとに切り出し予め作成してあるｎ文字ＩＮＤＥＸに基づいて情報検索する手段である音声入力システムを提案する。
【００１１】
アプリケーションサービスプロバイダは、地図情報をサービスするナビゲーション情報アプリケーションサービスプロバイダ，音楽情報をサービスする音楽情報アプリケーションサービスプロバイダ，ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報をサービスする番組情報アプリケーションサービスプロバイダ，電話情報をサービスする電話情報アプリケーションサービスプロバイダなどとする。
【００１２】
本発明においては、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【００１３】
本発明は、また、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなる音声入力システムにおいて、音声ポータルサーバが、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとをアプリケーションサービスプロバイダに送りアプリケーションサービスプロバイダで検索された情報を音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバを提案する。
【００１４】
音声認識手段は、連続音声認識手段と、単語音声認識手段と、入力された音声の特徴量をしきい値として２つの認識手段の認識結果の一方を選択して出力する認識総合評価手段とを備える。
【００１５】
音声の特徴量は、発話時間，認識文字列長のいずれを採用してもよい。
【００１６】
音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【００１７】
本発明は、さらに、音声ポータルサーバおよび各種情報を提供するアプリケーションサービスプロバイダにアクセスしサービスを受ける音声入力端末において、音声入出力手段と、Ｗｅｂブラウザと、外部システムへのアクセス状況および検索結果を表示する表示手段とを備えている。
【００１８】
音声入力端末は、ＰＤＡ，携帯電話，車載ナビゲーションのいずれかに組み込まれている携帯音声入力端末と、家庭電話，ＴＶ，ＰＣのいずれかに組み込まれている家庭音声入力端末とに分類できる。
【００１９】
アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【００２０】
【発明の実施の形態】
次に、図１〜図２８を参照して、本発明による音声入力システム，音声ポータルサーバ，音声入力端末の実施形態を説明する。
【００２１】
図１は、本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【００２２】
本実施形態では、音声入力端末装置としては、移動端末１０と家庭(固定)端末３０とを使用できる。移動端末１０としては、ＰＤＡ１０ａ，携帯電話１０ｂ，車載端末１０ｃなどがある。家庭(固定)端末３０としては、家庭内での利用を想定した固定電話３０ａ，情報家電としてのテレビシステムＴＶ３０ｂ，パーソナルコンピュータＰＣ３０ｃなどがある。移動端末１０ａ〜１０ｃは、無線基地局２０を介してインターネット網４０に接続され、家庭端末３０ａ〜３０ｃは、インターネット網４０に直接接続されている。
【００２３】
音声対話全体を制御する音声ポータル５０および各種アプリケーションサービスプロバイダ(ＡＳＰ)６０も、インターネット網４０に接続されている。
【００２４】
ＡＳＰとしては、地図情報をサービスするナビゲーション情報ＡＳＰ６０ａ，音楽情報ＡＳＰ６０ｂ，ＴＶ番組情報ＡＳＰ６０ｃ，電話情報ＡＳＰ６０ｄなどがある。
【００２５】
音声入力端末１０ａ〜１０ｃ，３０ａ〜３０ｃのいずれかから、音声ポータルサーバ５０に接続すると、音声のガイダンスやメニュー表示が音声入力端末に出力され、対応する音声を入力すると、音声はインターネット網４０を介して音声ポータルサーバ５０に転送される。
【００２６】
音声ポータルサーバ５０は、音声を認識し、音声の内容をコマンドや検索対象物であるオブジェクトとしてコマンド変換処理し、コマンドの内容に対応したＡＳＰ６０に転送する。
【００２７】
ＡＳＰ６０では、対応するデータベースを検索し、音声ポータルサーバ５０を経由して、音声を入力してきた音声入力端末に検索結果を出力する。
【００２８】
以上に説明したように、音声入力システムは、キーボード(ＫＢ)を利用しにくい環境にある移動端末やキーボード操作に慣れていない家庭での端末に主に利用され、入力を容易にする。
【００２９】
本実施形態においては、音声入力システムの全体構成として、サーバ群をインターネットに接続してある。
【００３０】
サーバ群をイントラネットやホームネットに接続しても、これらのネットワーク内では、効果は変わらない。各種ＡＳＰ群を近くに置き、これらのＡＳＰ群では意図するデータをサービスできないときのみインターネットのサーバ群に接続するいわゆるキャッシュサーバとして設置してもよい。
【００３１】
なお、ＡＳＰサーバ群には、図１に示した以外の情報サービス、例えば、株価情報，取引先情報，顧客情報，商品情報などが存在してもよい。
【００３２】
音声ポータルサーバ５０は、個人情報を管理し、個人の特性に応じたサービスをすることも可能である。
【００３３】
図２〜図４は、移動端末の構成を示す図であり、図５〜図７は、家庭(固定)端末の構成を示す図である。各端末の基幹部分は、ほぼ同じように構成されている。
【００３４】
図２は、本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。ＰＤＡ１０ａは、無線基地局２０と通信するアンテナ１０ａ１と、無線通信するための通信手段１０ａ２とを含んでいる。通信手段１０ａ２は、Voice Over IP(VoIP)技術などにより、音声とデータとを同時に送受信できる。処理装置およびＷｅｂブラウザ１０ａ３は、各構成部および周辺装置と接続され、端末全体を制御する。周辺装置としては、音声入力用のマイクMIC１０ａ４，タッチパネルとして構成する座標入力装置(タブレット)ＴＢ１０ａ５，液晶ディスプレイＬＣＤ１０ａ６，スピーカＳＰ１０ａ７がある。
【００３５】
ＰＤＡ１０ａは、移動端末にとって重要な位置検出手段１０ａ８を備えており、ＧＰＳ(Global Positioning System)１０ａ９に接続されている。
【００３６】
ＰＤＡ１０ａの操作は、タッチパネルと音声でなされる。その処理結果はディスプレイに表示され、次の操作の待ち状態となる。
【００３７】
図３は、本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。構成要素は、図２のＰＤＡ１０ａと同じである。しかし、一般に、価格を抑えるため、液晶ディスプレイＬＣＤ１０ｂ６のサイズやカラー表示性能が異なる。一方、携帯電話用各種応用ソフトが追加されている。
【００３８】
図４は、本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。構成要素は、基本的には、図２のＰＤＡ１０ａと同じである。しかし、車載用に適した液晶ディスプレイＬＣＤ１０ｃ６や車載用応用ソフトが、図２のＰＤＡ１０ａとは異なる。また、図示していないが、車載の各種センサと接続され、車両に関する情報を表示してもよい。
【００３９】
図５は、本発明による音声入力端末である家庭電話の構成を示すブロック図である。図２のＰＤＡ１０ａとの違いは、無線基地局２０との通信用アンテナ１０ａ１，位置検出手段１０ａ８，ＧＰＳ１０ａ９が無いことである。
【００４０】
図６は、本発明による音声入力端末であるＴＶの構成を示すブロック図である。図５の固定電話家庭電話３０ａとは、テレビ装置ＴＶ３０ｂ１０，ＴＶ制御手段３０ｂ８，カメラＣＭ３０ｃ９が異なっている。ＴＶ制御手段３０ｂ８は、ＴＶ番組を予約したり、チャンネルを設定したりするための手段であり、一般に、セットトップボックスと呼ばれる。
【００４１】
カメラＣＭ３０ｃ９は、通信相手に会話用映像を送ったり、室内を画像で監視したりすることに用いる。
【００４２】
図７は、本発明による音声入力端末であるＰＣの構成を示すブロック図である。図６のテレビシステムＴＶ３０ｂと異なるのは、ＴＶ制御手段が無いことである。ＰＣの操作は、タッチパネルまたは音声でなされる。図示しないが、キーボードを接続し、ＰＣを操作してもよい。
【００４３】
なお、図６および図７に示したカメラＣＭ３０ｃ９は、図２〜図５の音声入力端末に装備してもよい。
【００４４】
図８は、本発明による音声ポータルサーバ５０の実施形態の構成を示すブロック図である。本発明の特徴的な部分である音声ポータルサーバ５０は、インターネット網４０と通信する通信手段５０１と、音声ポータルサーバ５０全体を処理する処理装置５０２と、音声データVinを取り込み認識辞書５０４を用いてテキストデータVtext１に認識出力する音声認識手段５０３と、認識された音声Vtext１をコマンドテキスト辞書５０６を用いてコマンドとオブジェクトVtext２に変換するコマンド変換手段５０５と、音声入力端末や各種情報ＡＳＰとの対話を制御する対話制御手段５０７と、対話制御手段の音声テキストVtext３により音声を合成する音声合成手段５０８と、Ｗｅｂブラウザ５０９とからなる。
【００４５】
図９は、本発明による音声ポータルサーバ５０の音声認識手段５０３の構成を示すブロック図である。本実施形態では、音声認識手段が２つの認識エンジンを備えていることが特徴である。すなわち、音声認識手段５０３は、比較的長い音声を認識させる連続音声認識エンジン５０３ａとコマンドのような比較的短い音声を認識する単語音声認識エンジン５０３ｂで構成される。
【００４６】
連続音声認識エンジン５０３ａは、連続音声認識辞書５０４ａを用いて音声を認識し、単語音声認識辞エンジン５０３ｂは、単語音声認識辞書５０４ｂを用いて音声を認識する。
【００４７】
各認識エンジンの認識結果は、認識総合的評価手段５０３ｃで総合的に評価される。一般に、連続音声認識エンジンは、単語間の遷移確率モデルを用いて認識する方式を用いるため、コマンドのような短い単語が入力されると、前後の単語知識を利用できないため、誤認識が多くなる。
【００４８】
そこで、認識総合評価手段で、どちらの認識エンジンの出力が正しいかを総合的に判断することが必要になる。
【００４９】
認識総合的評価手段５０３ｃの動作を図１０〜図１３を用いて具体例で説明する。
【００５０】
図１０〜図１１は、２つの認識エンジンの認識結果を音声の発話時間を用いて切り替える例を示している。認識総合的評価手段５０３ｃは、発話時間評価において、音声データVinをしきい値と比較し、短ければＳ側に、長ければＬ側に切り替える。
【００５１】
図１０は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。ここで、しきい値は、単語音声認識辞書の最大発話時間を選んでおく。
【００５２】
図１１は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５３】
図１２〜図１３は、発話時間を評価するのではなく、認識エンジンの結果の文字列長をしきい値と評価する例である。
【００５４】
図１２は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。
【００５５】
図１３は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５６】
なお、認識エンジンでは、余りにも辞書とかけ離れた音声が入力されると“認識不能を示す文字列＝“？”を出力するようにしている。この場合においても、しきい値を適当な値(例：コマンド文字列の最大長)を選んでおくことにより、最適な文字列が出力され、全体の認識性能が改善される。
【００５７】
以上の２つの方式で説明したように、音声発話データが“はい。”というコマンドであっても、連続音声認識エンジンのみの場合、“肺。”という文字が出力されてしまう問題を解決できる。
【００５８】
図１４は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の構成を示すブロック図である。音声認識手段５０３の文字列Vtext１がコマンド変換手段に入力されると、コマンド文字列検索５０５ａにおいて、コマンドテキスト辞書５０６を用いて、コマンド文字列が含まれるかどうかを処理する。
【００５９】
図１５は、本発明による音声コマンドテキスト辞書の例を示す図である。コマンドテキスト辞書５０６では、コマンドＩＤ、コマンド名１〜コマンド名５まであり、同一コマンドＩＤでは、どれが入力されてもよいようになっている。例えば、“目的地設定。”と“行く。”の文字列は同一コマンドＩＤ＝Ｄ０１として判断される。
【００６０】
図１５のコマンドテキスト文字は、各情報ＡＳＰにあわせたコマンド(ＮＯ１〜ＮＯ８)，音声対話用のコマンド(ＮＯ９〜ＮＯ１０)，画面操作用のコマンド(ＮＯ１１〜ＮＯ２２)に大別できる。
【００６１】
コマンド文字列検索は、完全一致を前提としいるが、図２３〜図２４で後述するように、一部認識誤りを含んでいても検索できるようにしてもよい。
【００６２】
コマンド文字列検索５０５ａ処理後は、コマンド以外の文字列であるオブジェクトを抽出するオブジェクト抽出５０５ｂを実行する。この処理は、各情報ＡＳＰに送出するコマンドと検索対象文字列であるオブジェクトとを抽出する処理である。
【００６３】
図１６は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の動作を説明する図である。音声認識手段の結果Vtext１が、“日立神田に目的地を設定する。”であるとすると、コマンド文字列検索５０５ａでは、コマンドテキスト辞書５０６を参照してコマンド文字列が“目的地を設定する。”と判断し、コマンドＩＤ＝Ｄ０１と理解する。
【００６４】
次に、オブジェクト抽出５０５ｂでは、コマンド文字列以外のがオブジェクトと判断し、オブジェクト“日立神田に。”が抽出される。したがって、オブジェクト抽出手段５０５ｂの結果Vtext２は、“コマンドＩＤ=Ｄ０１、オブジェクト＝日立神田に。”として出力される。
【００６５】
なお、オブジェクト抽出手段５０５ｂでは、処理を簡単にするため、コマンド文字列以外の全ての文字列をオブジェクトにしたが、形態素解析を実行し、“日立神田に。”の“に”を省いて抽出するようにしてもよい。
【００６６】
図１７は、本発明による音声ポータルサーバ５０の対話制御手段５０７の構成を示すブロック図である。対話制御手段５０７は、全体を制御する対話処理手段５０７ａと、音声対話の基本対話ルール５０７ｂと、音声入力端末とのインタフェースである端末データ制御手段５０７ｃと、各情報ＡＳＰとのインタフェースであるＡＳＰ制御手段５０７ｄと、音声合成制御手段５０７ｅとで構成される。
【００６７】
基本対話ルール５０７ｂは、各情報ＡＳＰで共通に使用されるルールを格納するものであり、各情報ＡＳＰの特有の対話ルールは、各情報ＡＳＰからダウンロードされる。
【００６８】
まず、音声認識手段５０５からの出力であるVtext２が入力されると、対話処理手段５０７ａで、コマンドＩＤを判断し、どの情報ＡＳＰに対応するかを判断し、対応する情報ＡＳＰにコマンドＩＤおよびオブジェクトをASPDataOutとして送信する。
【００６９】
次に、対応した情報ＡＳＰからの検索結果が、ASPDataInとしてＡＳＰ制御手段５０７ｂに入力されたら、端末制御５０７ｃは、その検索を要求した音声入力端末に対して、TdataOutを出力する。音声入力端末では、その検索結果のデータが表示される。
【００７０】
さらに、文字列により音声合成出力する場合は、音声合成制御手段５０７ｅから、Vtext３として音声列を出力し、音声合成手段５０８で合成した音声Ｖoutを音声入力端末に送り、スピーカから音を出す。
【００７１】
なお、音声入力端末からの音ではないデータ入力がある場合は、TdataInとして受け付ける。
【００７２】
また、対話制御手段５０７は、音声対話用VoiceＸＭＬブラウザで構成してもよい。
【００７３】
次に、図１８〜図２１により、各情報ＡＳＰの詳細な構成を説明する。
【００７４】
図１８は、本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。ナビゲーション情報ＡＳＰは、地図情報や経路探索情報をサービスするプロバイダであり、インターネットとのインタフェース６０ａ１００と、あいまい検索手段６０ａ２００と、経路探索手段６０ａ５００と、対話ルール処理手段６０ａ７００とからなる。各手段は、各々辞書を参照して要求を処理する。
【００７５】
あいまい検索手段６０ａ２００は、行き先情報であるランドマーク情報のデータベースランドマークＤＢ６０ａ３００と、あいまい検索するためのランドマークＩＮＤＥＸ６０ａ４００辞書とを参照する。詳細な動作については、後述する。
【００７６】
経路探索手段６０ａ５００は、地図データであるMapDB６０ａ６００を参照して現在地から、目的地までの経路を探索する。この経路探索は、一般になされている経路探索処理であるので、詳細な説明を省略する。
【００７７】
対話ルール処理手段６０ａ７００は、各情報ＡＳＰごとに特有の対話ルールを処理する手段であり、対話ルール６０ｂ８００は、音声ポータルサーバ５０の基本対話以外のルールとして利用される。
【００７８】
図１９は、本発明による音楽情報ＡＳＰの構成を示すブロック図である。
図１８のＡＳＰと比較すると、音楽情報ＡＳＰには、経路探索手段に相当するものが無く、コンテンツが、音楽ＤＢ６０ｂ３００，音楽ＩＮＤＥＸ６０ｂ４００，音楽用対話ルール６０ｂ８００となっている。
【００７９】
図２０は、本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。図１９のＡＳＰとは、コンテンツの内容が異なるだけである。コンテンツとしては、ＴＶ番組ＤＢ６０ｃ３００，番組ＩＮＤＥＸ６０ｃ４００，番組用対話ルール６０ｃ８００がある。
【００８０】
なお、本明細書で、ＴＶ番組とは、ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報を意味する。
【００８１】
図２１は、本発明による電話情報ＡＳＰの構成を示すブロック図である。
図１９のＡＳＰとは、コンテンツが異なり、電話ＤＢ６０ｄ３００，電話ＩＮＤＥＸ６０ｄ４００，電話用対話ルール６０ｄ８００を備えている。
【００８２】
図２２は、本発明による音声操作メニュー画面の一例を示す図である。音声メニューには、各情報ＡＳＰに応じて音声メニューアイコンが用意されている。ナビゲーション情報ＡＳＰに関するものには、“目的地設定。”，“目的地検索。”，“経由地設定。”，“現在地表示。”がある。
【００８３】
音楽情報ＡＳＰに関するものには、“音楽検索。”がある。番組情報ＡＳＰに関するものには、“番組検索。”、“番組予約。”がある。電話情報ＡＳＰに関すものには、“電話検索。”がある。
【００８４】
本発明では、項目を音声メニューから入力する方法と、対象物も含めてすべて音声で入力する方法も許している。例えば、目的地検索の例では、メニューを押さずに、“日立神田に目的地を設定する。”と直接音声入力してもよい。
【００８５】
図２３は、本発明による各種情報ＡＳＰのあいまい検索手段６０ａ２００の構成を示すブロック図である。他のあいまい検索手段６０ｂ２００，６０ｃ２００，６０ｄ２００の構成も、あいまい検索手段６０ａ２００と同様である。
【００８６】
図２３において、あいまい検索手段６０ａ２００は、検索エンジン６０ａ１００と、２文字ＩＮＤＥＸ生成６０ａ２２０とからなる。検索エンジン６０ａ１００および２文字ＩＮＤＥＸ生成６０ａ２２０は、ランドマークＤＢａ３００およびランドマークＩＮＤＥＸ６０ａ４００を参照しながら検索処理する。
【００８７】
ランドマークＤＢは、数百万件の膨大なデータを保有しているので、ランドマークＩＮＤＥＸは、２文字ＩＮＤＥＸ生成処理により、予め作成しておく必要がある。本発明においては、この２文字ＩＮＤＥＸ生成処理により、高速でかつあいまい検索がなされるのが特徴である。ここで、あいまい検索とは、検索語句の意味があいまいではなく、文字列の一部の誤り(一部文字列追加、一部文字列欠損、文字列順不同、一部文字列誤り)があっても、入力された語句を検索できることを意味している。
【００８８】
図２４は、本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。例として、“日立神田に。”に目的地設定をする場合を示す。
【００８９】
まず、“日立神田に。”の検索キーワード６０ａ２００ｋｅｙが入力されると、２文字ごとに切出処理６０ａ２１１をする。
【００９０】
次に、２文字ごとにランドマークＩＮＤＥＸ検索６０ａ２１２をする。
【００９１】
ランドマークＩＮＤＥＸ検索６０ａ２１２からランドマークＤＢを検索し、ヒットするＤＢのレコードを抽出する。
【００９２】
抽出したレコードのうち、ヒット文字数の多いものの順にソーティングし出力処理６０ａ２１４し、検索結果としてリスト６０ａ２００ｒｅｓを出力する。
【００９３】
以上のように、２文字ごとのＩＮＤＥＸ検索するので、高速検索とあいまい検索の両方の特徴をもつ。
【００９４】
ここで、“日立神田に。”の“に。”が検索オブジェクトにあってもランドマークＤＢに該当するものがなければ、無視される。一方、“神田日立に。”と入力されても、関係するものがヒットする。
【００９５】
このため、思いついた地名やランドマークを入力できる効果がある。
【００９６】
なお、複数の検索結果を音声入力端末に出力し、どの検索対象物を選択するかを音声指示し、選択することもできる。
【００９７】
本実施形態では、図２３〜図２４に図示したように、２文字ＩＮＤＥＸ生成処理により、検索する例を示したが、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成でもよい。
【００９８】
特に、数字やアルファベットが多い情報をもつ場合、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成の方が、２文字ＩＮＤＥＸ処理よりも、不要な検索出力が少なくなるという効果がある。
【００９９】
図２５〜図２８を用いて、音声入力端末，音声ポータルサーバ５０，情報ＡＳＰ６０間の具体的な通信手順を説明する。
【０１００】
図２５は、本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。ここでは、音声入力端末MobileＰＣ１０ｃ，音声ポータルサーバ５０，ナビゲーション情報ＡＳＰ６０ａ間の通信手順を示すが、他の情報ＡＳＰ間との通信手順もほぼ同様である。
【０１０１】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１０２】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“日立神田に目的地を設定する。”と直接音声入力する。
【０１０３】
音声ポータルサーバ５０では、これを認識し、対応して“日立神田に目的地を設定しますか？。”と音声応答する。
【０１０４】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１０５】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、ナビゲーション情報ＡＳＰ６０ａに対し、コマンドＩＤ“Ｄ０１。”、オブジェクト“日立神田に。”のデータを送信し、検索結果を返してもらう。ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１０６】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされる。
【０１０７】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０は音声を認識し、対応する音声“目的地を１番に設定します。”を出力する。
【０１０８】
さらに、音声入力端末MobileＰＣ１０ｃに現在位置を要求し、現在位置情報を得て、この情報を元に、ナビゲーション情報ＡＳＰ６０ａに対して、経路探索コマンドとそのパラメータとを送信する。
【０１０９】
音声ポータルサーバ５０は、ナビゲーション情報ＡＳＰから、探索結果である経路情報および地図情報を得て、音声入力端末MobileＰＣ１０ｃに出力するとともに、音声“安全運転でどうぞ。”と音声応答する。
【０１１０】
ここで、上記通信手順で、“いいえ。”が入力されると、図示していないが、“ご用件を入力ください。”に再度戻るようになっている。
【０１１１】
複数ある検索結果を選択する場合、音声で選択する例を示したが、タッチパネルを備えているので、タッチパネルで選択してもよい。この場合、検索結果の内容とタッチパネルの座標との対応は、予め決めておかなければならない。
【０１１２】
図２５において、音声入力端末としてMobileＰＣ１０ｃを用いたが、ＰＤＡ１０ａ、MobileＴＥＬ１０ｂとナビゲーション情報ＡＳＰ間でやり取りしてもよい。この場合、人間ナビゲーションシステムになる。
すなわち、自分の音声入力端末の現在位置がわかるので、現在位置情報を表示したり、行きたいランドマークを検索したりできる。
【０１１３】
図２６は、本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。音声入力端末MobileＰＣ１０ｃが、音声ポータルサーバ５０を介して音楽情報ＡＳＰ６０ｂから音楽のコンテンツサービスを受ける通信手順である。
【０１１４】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１１５】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“Mariah Careyの曲を聴きたい。”と直接音声入力する。
【０１１６】
音声ポータルサーバ５０では、その音声を認識し、対応して“Mariah Careyの曲を検索しますか？。”と音声応答がある。
【０１１７】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１１８】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、音楽情報ＡＳＰ６０ｂに対し、コマンドＩＤ“M01。”、オブジェクト“Mariah Careyの。”のデータを送信し、検索結果を返してもらう。
【０１１９】
ここでは、検索結果数(３件)と内容(ＸＸＸ，ＹＹＹ、ZZZ)を返す。
【０１２０】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が３件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされている。
【０１２１】
次に、音声で“３番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“音楽を３番に設定します。”と出力する。同時に、３番の音楽のダウンロードを音楽情報ＡＳＰに指示する。
【０１２２】
これにより、“お楽しみください。”の音声応答と対応した音楽コンテンツが音声入力端末MobileＰＣ１０ｃにダウンロードされる。
【０１２３】
もし、検索結果が１件しか無い時のとき、ＯＫかどうかの音声応答を待って、ダウンロードが開始する。
【０１２４】
図２７は、本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。音声入力端末ＴＶ３０ｂ、ＰＣ３０ｃが、音声ポータルサーバ５０を介して番組情報ＡＳＰ６０ｃからＴＶ番組のコンテンツサービスを受ける通信手順である。
【０１２５】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１２６】
次に、音声入力端末では、音声で“天気予報の番組を見たい。”と直接音声入力する。
【０１２７】
音声ポータルサーバ５０では、これを認識し、対応して“天気予報の番組を検索しますか？。”と音声応答がある。
【０１２８】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１２９】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”という音声応答を音声入力端末に返すとともに、番組情報ＡＳＰ６０ｃに対し、コマンドＩＤ“T01”、オブジェクト“天気予報の。”のデータを送信し、検索結果を返してもらう。
【０１３０】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１３１】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされる。
【０１３２】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“番組を１番に設定します。”を出力する。
【０１３３】
その結果、ＴＶ番組に対応したチャンネルが設定されて、天気予報サービスを見ることができる。
【０１３４】
もし、複数の番組がなければ、ＯＫかどうかの音声応答を待ってチャンネルを設定する。
【０１３５】
ここで、もし、天気予報サービスが放送されていないときは、チャンネルを予約できる。この場合は、音声ポータルサーバ５０から、予約するかどうかの案内があり、それに答えると、予約が終了する。
【０１３６】
なお、毎週見ているＴＶ番組については、毎週予約などもできる。
【０１３７】
図２８は、本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。音声入力端末家庭電話３０ａ，MobileＴＥＬ１０ｂが、音声ポータルサーバ５０を介して、電話情報ＡＳＰ６０ｄから電話情報のコンテンツサービスを受ける通信手順である。
【０１３８】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１３９】
次に、音声入力端末では、音声で“日立太郎さんに電話をしたい。”と直接音声入力する。
【０１４０】
音声ポータルサーバ５０では、これを認識し、対応して“日立太郎さん電話をかけますか？。”と音声応答する。
【０１４１】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１４２】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末に返すとともに、電話情報ＡＳＰ６０ｄに対し、コマンドＩＤ“P01。”、オブジェクト“日立太郎さんに。”のデータを送信し、検索結果を返してもらう。
【０１４３】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１４４】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされている。
【０１４５】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“電話を１番にかけます。”と出力する。
【０１４６】
具体的には、日立太郎さんの電話に電話をかけて、相手がでたら対話できる。もし、検索結果が一人だけならば、ＯＫかどうかの音声応答を待って電話をかける。
【０１４７】
【発明の効果】
本発明によれば、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【０１４８】
また、音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【０１４９】
さらに、アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【図面の簡単な説明】
【図１】本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【図２】本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。
【図３】本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。
【図４】本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。
【図５】本発明による音声入力端末である家庭電話の構成を示すブロック図である。
【図６】本発明による音声入力端末であるＴＶの構成を示すブロック図である。
【図７】本発明による音声入力端末であるＰＣの構成を示すブロック図である。
【図８】本発明による音声ポータルサーバの実施形態の構成を示すブロック図である。
【図９】本発明による音声ポータルサーバの音声認識手段の構成を示すブロック図である。
【図１０】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１１】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１２】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１３】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１４】本発明による音声ポータルサーバのコマンド変換手段の構成を示すブロック図である。
【図１５】本発明による音声コマンドテキスト辞書の例を示す図である。
【図１６】本発明による音声ポータルサーバのコマンド変換手段の動作を説明する図である。
【図１７】本発明による音声ポータルサーバの対話制御手段の構成を示すブロック図である。
【図１８】本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。
【図１９】本発明による音楽情報ＡＳＰの構成を示すブロック図である。
【図２０】本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。
【図２１】本発明による電話情報ＡＳＰの構成を示すブロック図である。
【図２２】本発明による音声操作メニュー画面の一例を示す図である。
【図２３】本発明による各種情報ＡＳＰのあいまい検索手段の構成を示すブロック図である。
【図２４】本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。
【図２５】本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。
【図２６】本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。
【図２７】本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。
【図２８】本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。
【符号の説明】
１０  携帯端末
１０ａ  ＰＤＡ
１０ｂ  MobileＴＥＬ
１０ｃ  MobileCarＰＣ
２０  無線基地局
３０  家庭端末
３０ａ  家庭電話HomeＴＥＬ
３０ｂ  ＴＶ
３０ｃ  ＰＣ
４０  インターネット網
５０  音声ポータルサーバ
５０１  通信手段
５０２  処理装置
５０３  音声認識手段
５０３ａ  連続音声認識
５０３ｂ  単語音声認識
５０３ｃ  認識総合評価
５０４  認識辞書
５０４ａ  連続音声認識辞書
５０４ｂ  単語音声認識辞書
５０５  コマンド変換手段
５０５ａ  コマンド文字列検索
５０５ｂ  オブジェクト抽出
５０６  コマンドテキスト辞書
５０７  対話制御手段
５０７ａ  対話処理手段
５０７ｂ  基本対話ルール
５０７ｃ  端末データ制御
５０７ｄ  ＡＳＰ制御手段
５０７ｅ  音声合成制御
５０８  音声合成手段
５０９  Ｗｅｂブラウザ
６０  情報ＡＳＰ
６０ａ  ナビゲーション情報ＡＳＰ
６０ｂ  音楽情報ＡＳＰ
６０ｃ  番組情報ＡＳＰ
６０ｄ  電話情報ＡＳＰ
【図１】
0003997459.tif 000002
【図２】
0003997459.tif 000003
【図３】
0003997459.tif 000004
【図４】
0003997459.tif 000005
【図５】
0003997459.tif 000006
【図６】
0003997459.tif 000007
【図７】
0003997459.tif 000008
【図８】
0003997459.tif 000009
【図９】
0003997459.tif 000010
【図１０】
0003997459.tif 000011
【図１１】
0003997459.tif 000012
【図１２】
0003997459.tif 000013
【図１３】
0003997459.tif 000014
【図１４】
0003997459.tif 000015
【図１５】
0003997459.tif 000016
【図１６】
0003997459.tif 000017
【図１７】
0003997459.tif 000018
【図１８】
0003997459.tif 000019
【図１９】
0003997459.tif 000020
【図２０】
0003997459.tif 000021
【図２１】
0003997459.tif 000022
【図２２】
0003997459.tif 000023
【図２３】
0003997459.tif 000024
【図２４】
0003997459.tif 000025
【図２５】
0003997459.tif 000026
【図２６】
0003997459.tif 000027
【図２７】
0003997459.tif 000028
【図２８】
0003997459.tif 000029