(57)【特許請求の範囲】
【請求項１】
サーバに蓄積されているＨＴＭＬファイルをインターネットを介して取得し、音声により出力する音声クライアント端末であって、
ユーザの音声による要求を入力する音声入力手段と、
前記入力されたユーザの音声を前記音声認識サーバに送信し、当該音声認識サーバから音声認識結果を受信し、受信した音声認識結果よりＵＲＬを抽出し、該ＵＲＬに基づいてプロキシサーバにＨＴＭＬファイルを要求する要求発行手段と、
前記プロキシサーバから取得したＨＴＭＬファイルを解析し、タイトル、リンク項目、本文に分類する手段と、
前記分類されたリンク項目を音声認識サーバに送信する手段と、
前記タイトル、リンク項目、本文を含む表示されるテキスト情報を音声合成サーバに送信し、当該音声合成サーバから合成された音声データを受信する手段と、
前記受信した音声データを利用して、タイトル、リンク項目、本文の順に読み上げて音声出力する音声出力手段と、
を有することを特徴とする音声クライアント端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声クライアント端末に係り、特に、コンピュータとネットワークからなるクライアント／サーバ構成のシステム、とりわけインターネットにおけるWorld Wide Web（以下、単にＷＷＷと記す）システムのサーバに対して、クライアント端末のマイクから音声で入力し、サーバに蓄積している情報を音声で出力する音声クライアント端末に関する。
【０００２】
【従来の技術】
周知のように、ＷＷＷシステムとして、サーバ及びクライアントのハードウェア、ソフトウェアがネットワーク上に適切に構成されている場合に、クライアント端末上にインストールしたNetscape Navigatorなどのブラウザを使用することによって、サーバに格納したテキストやイメージの情報をクライアント画面上に表示して閲覧することが可能である。
【０００３】
このシステムでは、画面上の特定の情報をマウスなどで選択すると、これと関連付けられた（以下では、これをリンクが張られたと言い、先の特定の情報をリンク項目と言う）情報にアクセスし、画面上に表示し閲覧することが可能である。
これらのサービスは、情報を視覚によって享受することが前提であり、画面に目を向けないと享受できない、あるいは、視覚障害者は全く享受できないという欠点がある。これを解決する方法として、最近の音声認識技術と音声合成技術を使用することによって、マイクから音声で入力し、音声合成で出力することが可能である。例えあ、音声で［首相官邸］と入力すれば、［首相官邸］の情報にアクセスし、クライアント端末のスピーカから、テキスト部分を合成音で出力することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の方法では、周知のＷＷＷ情報には、長い文章や、リンク箇所が随所に１０個も２０個もある場合がある、カラーのイメージ情報がテキストに混在することは勿論のこと、動画とリンクが張られたり、視覚に訴える情報がふんだんに使用されるのが実情である。このような情報を視覚障害者にいかに出力するかという問題が存在する。
【０００５】
本発明は、上記の点に鑑みなされたもので、視覚障害者であってもＷＷＷ情報を取得することが可能な音声クライアント端末を提供することを目的とする。
【０００６】
【課題を解決するための手段】
図１は、本発明の原理構成図である。
本発明（請求項１）は、サーバに蓄積されているＨＴＭＬファイルをインターネットを介して取得し、音声により出力する音声クライアント端末２００であって、
ユーザの音声による要求を入力する音声入力手段２０１と、
入力されたユーザの音声を音声認識サーバに送信し、当該音声認識サーバから音声認識結果を受信し、受信した音声認識結果よりＵＲＬを抽出し、該ＵＲＬに基づいてプロキシサーバにＨＴＭＬファイルを要求する要求発行手段２０２と、
プロキシサーバから取得したＨＴＭＬファイルを解析し、タイトル、リンク項目、本文に分類する手段と、
分類されたリンク項目を音声認識サーバに送信する手段と、
タイトル、リンク項目、本文を含む表示されるテキスト情報を音声合成サーバに送信し、当該音声合成サーバから合成された音声データを受信する手段と、
受信した音声データを利用して、タイトル、リンク項目、本文の順に読み上げて音声出力する音声出力手段２０３と、を有する。
【０００９】
上記のように、本発明では、インターネット上に公開されているＨＴＭＬ(Hyper Text Markup Language)形式のファイルを市販のＷｅｂブラウザを通して視覚情報から音声情報に変換し、ユーザに提供することを可能にしたシステムである。また、クライアント側で情報を取得する場合において、音声を用いることで視覚障害者の操作も可能とする。
【００１０】
【発明の実施の形態】
図２は、本発明が適用されるシステムの構成を示す。
同図に示すシステムは、高速なネットワーク上に各処理用エンジンを配置し、負荷分散を行うことにより高速なレスポンスをクライアント端末１０で実現可能とするものである。同図におけるシステムでは、大別して２つのシステムに分けられる。
【００１１】
まず、第１に同図におけるワークステーション２０、３０、４０で構成されるフロント・エンドとしての処理部である。ワークステーション２０、３０は、翻訳サービスを提供するためのシステムである。ワークステーション４０は、一般的にインターネットでよく利用される機能で、本システムでは主に、データのキャッシングや漢字コードの変換で利用する。
【００１２】
第２に、バック・エンドとして利用されるワークステーション５０、６０である。ワークステーション５０は、ユーザからクライアント端末１０に入力された音声データを、候補リスト（リンク項目のリスト）と比較照合を行い、適切な項目を選出する。また、ユーザが入力した音声データとリンク項目が全く同一である必要性を解消するためにリンク項目に対して形態素解析処理を施す。そうすることにより、ユーザからはリンク項目の断片を入力するだけでも適切なリンク項目を推量し、選出する。ワークステーション６０は、クライアント端末１０で抽出されたテキスト情報を、（言語種別のパラメータ付きで）受信し、音声データを生成する音声合成エンジンと呼ぶものである。
【００１３】
次に、クライアント端末１０から送信されたＨＴＭＬファイル要求は、ワークステーション２０上で動作中にプロキシ・サーバを経由し、ワークステーション４０のプロキシ・サーバを使って外部インターネット７０に転送される。インターネット７０から返送されてきた応答データ（ＨＴＭＬファイル）は、ワークステーション４０のプロキシ・サーバを経由して、ワークステーション２０のプロキシ・サーバで各翻訳エンジンへデータの処理を依頼して（依頼のみ、処理結果はユーザの要求で随時クライアント端末１０へ送信される）クライアント端末１０へ転送する。クライアント端末１０に届いたＨＴＭＬファイルは、解析され、表示されるべきテキスト情報をワークステーション６０の音声合成エンジンへ送信し、音声データへ変換され、クライアント端末１０で出力される。また、音声認識のために必要なリンク項目のリストは、ワークステーション５０の形態素解析エンジンで形態素解析処理を施され、音声認識エンジンへ渡され、クライアント端末１０から音声データの送信を待つ。
【００１４】
次にクライアント端末１０で入力（指示）された音声データを音声認識エンジン５０に送信し、音声認識エンジン５０は、以前入力されていたリンク項目（テキスト情報）と比較照合され、適切な結果を得る。得られた結果をクライアント端末１０に送信する。これにより、クライアント端末１０は、リンク項目からＵＲＬを抽出し、インターネット７０へプロキシサーバ２０、４０を介して、次の情報を取得する。
【００１５】
【実施例】
以下に、本発明の実施例を図面と共に説明する。
図３は、本発明の一実施例のシステム構成を示す。同図に示すシステムにおいて、図２と同様のものについては同一符号を付す。
同図に示すシステムは、クライアント端末１０、ワークステーション２０、３０、４０、５０から構成される。
【００１６】
クライアント端末１０は、Ｗｅｂブラウザ１１、音声入力用ボタン監視プログラム１２、音声ブラウザクライアント１３、音声入力用ボタン監視プログラム１２に接続される音声入力開始用ボタン１５、音声ブラウザクライアント１３に接続されるスピーカ１６及びマイク１７から構成される。
ワークステーション２０は、プロキシサーバ２１の機能と、テキストを英語から日本語に翻訳する英日翻訳エンジン２２を有する。
【００１７】
ワークステーション３０は、テキストを日本語から英語に翻訳する日英翻訳エンジン３１を有する。
ワークステーション４０は、プロキシサーバ４１の機能を有する。
ワークステーション５０は、音声認識Ｉ／Ｆプログラム５１、音声認識エンジン５２、形態素解析エンジン５３を有する。
【００１８】
ワークステーション６０は、音声合成エンジン６１を有する。
Ｗｅｂブラウザ１１は、一般によく利用されるもので、例えば、Netscape Navigator等がある。本実施例では、当該ブラウザを用いて説明する。当該Ｗｅｂブラウザ１１は、インターネット７０への窓口として必要情報を取得し、音声ブラウザクライアント１３に渡す。また、Ｗｅｂブラウザ上への表示も行う。音声ブラウザクライアント１３では、Ｗｅｂブラウザ１１から得られた情報を解析し、音読すべきテキスト情報をワークステーション６０の音声合成エンジン６１へ、音声認識すべきリンク項目の情報をワークステーション５０の音声認識Ｉ／Ｆプログラム５１へそれぞれ送信する。
【００１９】
クライアント端末１０は、音声合成エンジン６１から受信した音声データをローカル・ディスクに記録しながら、スピーカ１６により再生する。また、ユーザからの入力は、音声入力開始用ボタン１５を押下することによって、音声入力用ボタン監視プログラム１２から音声ブラウザクライアント１３に通知される。その通知を受けた音声ブラウザクライアント１３は、マイク１７から音声の録音を開始する。音声ブラウザクライアント１３は、ユーザの音声入力開始用ボタン１５の解放によって、録音の停止を行い、音声認識Ｉ／Ｆプログラム５１に録音した音声データをワークステーション６０の音声合成エンジン６１に送信する。
【００２０】
クライアント端末１０に接続れるワークステーション２０のプロキシサーバ２１は、インターネット７０からの転送すべき情報（ＨＴＭＬファイル）を各翻訳エンジン（英日翻訳エンジン２２、日英翻訳エンジン３１）へ送信し、翻訳処理を行わせる。翻訳結果については、各翻訳エンジン２２、３１の記憶装置に記録しておき、ユーザから翻訳要求があった際にその翻訳結果をクライアント端末１０に送信する。
【００２１】
ワークステーション４０のプキシサーバ４１では、インターネット７０からの情報を一部変換（漢字コード等）したり、情報を一時的にキャッシュするなどの機能を有する。
ワークステーション５０の音声認識Ｉ／Ｆプログラム５１は、音声ブラウザクライアント１３から送信されるリンク項目を形態素解析エンジン５３に入力し、出力された結果である分解された文字列の品詞を元に適切な再構成処理を行う。その結果を音声認識エンジン５２へ登録し、音声ブラウザクライアント１３から送信される録音された音声データを音声認識エンジン５２に渡し、当該音声認識エンジン５２において照合された結果を音声ブラウザクライアント１３に返送する。
【００２２】
ワークステーション６０の音声合成エンジン６１は、音声ブラウザクライアント１３で抽出された音読すべきテキスト情報を受信し、音声データを生成し、音声ブラウザクライアント１３に返送する。
図４は、本発明の一実施例の動作のシーケンスチャートである。
まず、ユーザが音声入力開始用ボタン１５を押下すると（ステップ１０１）、音声入力用ボタン監視プログラム１２から音声ブラウザクライアント１３へその通知が転送される。音声ブラウザクライアント１３は、マイク１７から音声録音を開始し、終了を待つ。ユーザによりボタンが解放になると（ステップ１０２）、音声入力用ボタン監視プログラム１２から再度終了の通知が音声ブラウザクライアント１３に報告される。その報告を受けた音声ブラウザクライアント１３は、録音を停止し、ワークステーション５０の音声認識Ｉ／Ｆプログラム５１へその録音された音声データを送信する（ステップ１０３）。
【００２３】
ワークステーション５０の音声認識Ｉ／Ｆプログラム５１は、当該データを受信し、音声認識エンジン５２にそのデータを転送し（ステップ１０４）、認識処理を依頼する。当該音声認識エンジン５２により認識処理された結果を音声人気Ｉ／Ｆプログラム５１が取得すると（ステップ１０５）、当該認識結果が音声ブラウザクライアント１３に転送される（ステップ１０６）。音声ブラウザクライアント１３は、結果のリンク項目からＵＲＬを得て、Ｗｅｂブラウザ１１に要求送信指示を発行する（ステップ１０７）。
【００２４】
Ｗｅｂブラウザ１１は、指定されたＵＲＬへデータ要求伝文をプロキシサーバ２１、４１を経由してインターネット７０に送信する（ステップ１０８）。
プロキシサーバ２１がプロキシサーバ４１を経由して、当該要求に対応する応答をインターネット７０から取得すると（ステップ１０９）、当該応答を英日翻訳エンジン２２または、日英翻訳エンジン３１に送信する（ステップ１１０）。
【００２５】
英日翻訳エンジン２２、日英翻訳エンジン３１のいずれかがプロキシサーバ２１により指示された処理を行い、その結果をプロキシサーバ２１に返却する。これによりプロキシサーバ２１は、応答データをクライアント端末１０のＷｅｂブラウザ１１に送信する（ステップ１１１）。
クライアント端末１０のＷｅｂブラウザ１１が応答データを受け取ると、音声ブラウザクライアント１３に渡される（ステップ１１２）。このとき、ページがマルチフレームの場合は、Ｗｅｂブラウザ１１から上記の処理を構成ビュー分繰り返す。音声ブラウザクライアント１３では、取得した応答データを解析し、リンク項目と表示されるテキスト情報等を取得し、それぞれをワークステーション６０の音声合成エンジン６１及び、ワークステーション５０の音声認識Ｉ／Ｆプログラム５１に送信する（ステップ１１３）。その際、ＨＴＭＬ解析を行い、イメージ（絵）情報に付加されている説明文等のテキスト情報がある場合は、その情報も適切に処理し、音声合成エンジン６１へ送信され、ユーザにイメージの子細をスピーカ１６より音読で伝える。また、音声合成エンジン６１に送信する場合は、言語別に１文単位で送信を行うことによって適切なサービス（１文単位の巻き戻し／早送り等）をユーザに提供することを可能にしている。音声認識Ｉ／Ｆプログラム５１には、リンク項目など動的に変化する認識候補リスト情報などを送信する（ステップ１１４）。なお、固定コマンドについては、毎回送信は行わないものとする。
【００２６】
音声認識Ｉ／Ｆプログラム５１では、受信したリンク項目について１度形態素解析エンジン５３により形態素解析処理を施し（ステップ１１５、１１６）、音声認識エンジン５２へ固定コマンドと共に登録され（ステップ１１７）、ユーザからの音声データを待機する。なお、当該登録は、ユーザから送信される音声データとの比較照合に利用するために必要となる。
【００２７】
音声合成エンジン６０は、ユーザからの音声を合成し、合成された音声データを音声ブラウザクライアント１３に送信する（ステップ１１８）。
次に、具体的な例を用いて説明する。
図５は、本発明の一実施例のユーザインターフェースを示す図であり、図６は、本発明の一実施例の音声ブラウザにより音読される例を示す図である。
【００２８】
図５は、Ｗｅｂブラウザ１１のユーザインタフェースである。ページには、タイトル１１０、リンク項目１３０、本文１２０がテキスト情報で表示されている。これらの情報はＨＴＭＬに従った文法で書かれたファイルから得られ、当該ファイルを音声ブラウザクライアント１３側で解析を行い、タイトル、リンク項目、本文といった項目に分類する。そして、出力される情報は、図６に示すように音読される。適切なガイダンスを付加することによって、ユーザに詳細に情報を提供する。
【００２９】
また、入力時において、リンク項目を指示する場合には、リンク項目全文を音声ブラウザクライアント１３に入力することなく、印象に残った単語だけの入力でアクセスが可能である。その仕組みについては、まず、形態素解析エンジン５３にリンク項目全文を入力し、品詞分解された結果から再度組み合わせを行う。最小の要素である単語から複合語などを再構築していくことによって、ユーザからの（単語から複合語までの）入力に対処できる。
【００３０】
図７は、本発明の一実施例のＷｅｂブラウザのマルチフレーム構成によって表示されているホームページの型であり、図８は、本発明の一実施例の音声ブラウザにより音読される例である。この場合には、音声ブラウザクライアント１３では、複数のビューを持つことなどをＨＴＭＬファイルを解析することによって取得し、ユーザに音声で伝える。また、音読はビュー単位で行われるものとする。
【００３１】
図９は、本発明の一実施例のＷｅｂブラウザにイメージが掲載された例であり、図１０は、本発明の一実施例の音声ブラウザにより音読される例である。図９に示すイメージ図は、視覚情報であるため、当該情報を音声で伝えるのは困難である。しかし、ＨＴＭＬのタグ情報を解析することによって、イメージに説明を付加することによって音声ブラウザクライアント１３側でイメージに対応する説明を抽出し、音声で読み上げることを可能とする。この場合は、ＨＴＭＬ作成者がそのイメージ図に関する説明文をテキスト情報で追記することを条件とする。
【００３２】
次に、再生制御機能について説明する。この機能は、音読の読み上げ速度、音量、話者の性別などを音声の指示によってリアルタイムに変更できる機能である。読み上げ速度、話者の性別に関しては、音声データの再作成を音声合成エンジン６１のパラメータを変更することによって行い、また、再生ポイントから優先的に再作成を行うことによってリアルタイムに変更を可能にした。音量については、システムのパラメータを変更することによって対処するものとする。
【００３３】
再制御機能の付加機能として、特定のサービス（現在時刻の通知等）の割り込み等も付加することが可能である。詳しくは、音読中に現在時刻を質問すると、システムに時刻を問い合わせ、一度音声合成エンジン６１へ音声データの作成を要求し、作成完了と共に音読を一時中断し、現在時刻をアナウンスする。また、その後、中断中の音読を再開することによって実現できる。
【００３４】
また、ＨＴＭＬファイル中に埋め込まれている音声データの再生制御も可能である。図１１は、本発明の一実施例の音楽／朗読コンテンツ再生を行う場合の構成図である。この音声データは、音楽や朗読などの内容のもので再生する際には、再生可能な再生用ソフトウェア１４をＷｅｂブラウザ１１が自動的に起動する。その再生用ソフトウェア１４を音声ブラウザクライアント１３が制御することによって、一時停止や再生などの当該ソフトウェアが持つ従来の機能を音声で制御することが可能となる。
【００３５】
図１２は、本発明の一実施例の音声データの再生制御のシーケンスチャートである。まず、音声ブラウザクライアント１３からＷｅｂブラウザ１１にＵＲＬの指示を発行すると（ステップ２０１）、Ｗｅｂブラウザ１１は、当該指示をインターネット７０に送信する。これによりＷｅｂブラウザ１１において、インターネット７０からＨＴＭＬを取得して、音声ブラウザクライアント１３に転送し、当該音声ブラウザクライアント１３において当該ＨＴＭＬの解析を行う。また、Ｗｅｂブラウザ１１は、ＨＴＭＬに埋め込まれた音声データをインターネット７０に要求し（ステップ２０３）、インターネット７０から取得した当該要求に対応する応答を取得して、再生用ソフトウェア１４を起動して転送する（ステップ２０４）。また、音声ブラウザクライアント１３は、解析された結果に基づいて音声認識エンジン５３に対して音声認識要求を発行し（ステップ２０５）、音声認識結果を取得すると、当該結果を音声ブラウザクライアント１３に転送する（ステップ２０６）。これにより音声ブラウザクライアント１３は再生用ソフトウェア１４を制御して、音声を再生する。
【００３６】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【００３７】
【発明の効果】
上述のように、本発明によれば、音声入力によってインターネットのＷＷＷ情報にアクセスし、音声で出力することが可能となる。
また、アクセスした情報が英文の場合、翻訳機能よって日本語で出力可能であるので、英語の知識が少ないユーザでも、情報の内容を把握することができる。
【００３８】
さらに、テキスト文のみでなく、音楽情報、朗読情報へのアクセス可能であるため、娯楽用としても使用することができる。
さらに、音楽情報や朗読情報の再生の際には、通常のラジカセ（出力・再生・録音機能を有するラジオ・カセット）と同様に、一時停止、再生、停止などの再生制御が可能であるため、ユーザの抵抗感が少ない。
【００３９】
さらに、テキスト音読中などに割り込んで時報を聞くことが可能であるため、視覚障害者向、または、時計を持ち合わせていない場合でも音声で時報を知ることができる。
以上の機能により視覚障害者のインターネット利用への支援が可能となる。
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】本発明が適用されるシステム構成図である。
【図３】本発明の一実施例のシステム構成図である。
【図４】本発明の一実施例の動作のシーケンスチャートである。
【図５】本発明の一実施例のＷｅｂブラウザの通常のユーザインタフェースを示す図である。
【図６】本発明の一実施例の音声ブラウザにより音読される例である。
【図７】本発明の一実施例のＷｅｂブラウザのマルチフレーム構成によって表示されているホームページの型の例である。
【図８】本発明の一実施例の音声ブラウザにより音読される例である。
【図９】本発明の一実施例のＷｅｂブラウザにイメージが掲載された例である。
【図１０】本発明の一実施例の音声ブラウザにより音読される例である。
【図１１】本発明の一実施例の音楽／朗読コンテンツ再生を行う場合の構成図である。
【図１２】本発明の一実施例の音声データの再生制御のシーケンスチャートである。
【符号の説明】
１０  クライアント端末
１１  Ｗｅｂブラウザ
１２  音声入力用ボタン監視用プログラム
１３  音声ブラウザクライアント
１４  再生用ソフトウェア
２０，３０，４０，５０，６０  ワークステーション
２１  プロキシサーバ
２２  英日翻訳エンジン
３１  日英翻訳エンジン
４１  プロキシサーバ
５１  音声認識Ｉ／Ｆプログラム
５２  音声認識エンジン
５３  形態素解析エンジン
６１  音声合成エンジン
７０  インターネット
１００  サーバ
１１０  タイトル
１２０  本文
１３０  リンク項目
２００  クライアント端末
２０１  音声入力手段
２０２  要求発行手段
２０３  音声出力手段
２１０  第一フレーム
２２０  第二フレーム
３１０  イメージ図
【図１】
0003864197.tif 000002
【図２】
0003864197.tif 000003
【図３】
0003864197.tif 000004
【図４】
0003864197.tif 000005
【図５】
0003864197.tif 000006
【図６】
0003864197.tif 000007
【図７】
0003864197.tif 000008
【図８】
0003864197.tif 000009
【図９】
0003864197.tif 000010
【図１０】
0003864197.tif 000011
【図１１】
0003864197.tif 000012
【図１２】
0003864197.tif 000013