(57)【要約】吹き出し状図形を含むコンテンツを表示する情報処理システムであって，前記吹き出し状図形は吹き出し文字を表示する吹き出し文字表示情報フィールドを内包している。吹き出し文字には，音声情報と文字情報のいずれか一方又は両方が関連づけられており，吹き出し状図形をマウス等で指示することにより，これら関連づけられた情報のうち１つが出力される。吹き出し文字，音声情報及び文字情報はそれぞれ異なった言語であってもよく，また，利用者の指示により設定可能であってもよい。前記コンテンツは漫画であることが好適である。前記情報処理システムは，サーバクライアントモデルの構成を取ることも可能であるし，また，携帯可能な機器であったり，記憶媒体を有するものであってもよい。必要に応じて，課金のための構成を付加することも可能である。
2001095079.tif 000002
【特許請求の範囲】
【請求項１】
入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。
【請求項２】
入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。
【請求項３】
請求の範囲１又は２に記載の発明において、
前記の利用者端末に表示される画像ファイルに配置される、文字情報を表示するための、一又は複数の文字情報表示フィールドは、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドであって、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を含む画像情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。
【請求項４】
入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置され、
前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、
前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、
翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システム
【請求項５】
請求の範囲１〜４に記載の発明において、
前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜４のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システム。
【請求項６】
請求の範囲５に記載の発明において、
前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれており、
前記の音声情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれており、
利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理と、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲５に記載の吹き出し状図形を用いた言語翻訳情報処理システム。
【請求項７】
請求の範囲４〜６に記載の発明において、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されており、
利用者が、翻訳前言語文字情報を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理と、
選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と、
表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４〜６のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システム。
【請求項８】
請求の範囲１〜７に記載の発明において、
前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルは、複数のＨＴＭＬファイルやＸＭＬファイルなどに挿入された複数の画像ファイル、複数のページからなる複数の画像ファイル、又は複数のページを構成する複数の画像ファイルを含むスライドショーなどのデータファイルであって、
利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲１〜７のいずれかに記載の吹き出し状図形を用いた情報処理システム。
【請求項９】
請求の範囲８に記載の発明において、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲８に記載の吹き出し状図形を用いたコンテンツ再生情報処理システム。
【請求項１０】
請求の範囲９に記載の発明において、前記の記憶手段には、漫画などのストーリー性のある複数のコンテンツデータが記憶されており、複数のコンテンツデータの中から利用者が選択して表示・再生をすることが可能なことを特徴とする、請求の範囲９に記載の吹き出し状図形を用いたコンテンツ再生情報処理システム。
【請求項１１】
請求の範囲１〜１０に記載の発明において、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報には、音声再生スピードの異なる複数の音声情報が、前記の音声情報記憶手段に記憶されており、
あらかじめ利用者が設定することにより、音声再生スピードの選択が可能なことを特徴とする、請求の範囲１〜１０のいずれかに記載の吹き出し状図形を用いた情報処理システム。
【請求項１２】
請求の範囲１〜１１に記載の発明において、
あらかじめ利用者が設定することにより、音声情報及び文字情報を自動再生するか否か、自動ページめくりをするか否か、音声の再生回数の選択、文字情報を表示するか否か、複数のコンテンツデータの再生順序の設定等の再生制御方法の選択が可能なことを特徴とする、請求の範囲１〜１１のいずれかに記載の吹き出し状図形を用いた情報処理システム。
【請求項１３】
請求の範囲６又は７又は１１又は１２に記載の発明において、
翻訳前言語の選択、翻訳後言語の選択、音声再生スピードの選択、又は再生制御方法の選択は、ＸＭＬなどのタグ情報を用いて、利用者が選択した設定を設定ファイルとして前記の記憶手段に記憶することにより、再生時に設定ファイルを参照して選択された音声再生スピード又は再生制御方法に従い自動再生されることを特徴とする、請求の範囲６又は７又は１１又は１２のいずれかに記載の吹き出し状図形を用いた情報処理システム。
【請求項１４】
請求の範囲１〜１３に記載の発明において、
前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、アクセスした利用者端末からの要求に従い、吹き出し状図形を含むデータファイルを利用者端末に送信して表示させる処理と、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜１３のいずれかに記載の吹き出し状図形を用いたオンライン情報処理システム。
【請求項１５】
請求の範囲１４に記載の発明において、前記システムにはさらに、利用者端末からコンピュータネットワークを介して前記のサーバーシステムにアクセスする利用者を認証するための認証手段と、
利用者のアクセス数、利用時間、利用コンテンツデータ数、ダウンロード数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、
前記利用情報記憶手段に記憶された利用情報を参照して利用料金を算出する利用料金算出手段とが備えられ、
前記の各種利用情報に応じて、利用料金を計算し課金管理することが可能なことを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システム。
【請求項１６】
請求の範囲１４に記載の発明において、前記システムにはさらに、翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、
権利者に対し支払われるライセンス・フィー算出手段とが備えられ、
権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システム。
【請求項１７】
請求の範囲１〜１６に記載の発明において、
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、
画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段と、
取り込んだ画像情報に吹き出し文字情報フィールドを設定し、データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段と、
吹き出し文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する第二のデータ処理手段と、
を備えることを特徴とする、請求の範囲１〜１６のいずれかに記載の吹き出し状図形を用いた情報処理システム。
【請求項１８】
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、
前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする、コンピュータ読み取り可能な情報記憶媒体。
【請求項１９】
請求の範囲１８に記載の発明において、
前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体であって、
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれており、又は携帯情報端末において出力又は再生が可能な形態情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されていることを特徴とする、請求の範囲１７に記載のコンピュータ読み取り可能な情報記憶媒体。
【請求項２０】
請求の範囲１８又は１９に記載の発明において、
前記の情報記憶媒体にはさらに、利用者の認証情報を記憶するための認証情報記憶手段が備えられており、
コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になることを特徴とする、請求の範囲１８又は１９のいずれかに記載のコンピュータ読み取り可能な情報記憶媒体。
【発明の詳細な説明】
技術分野
本発明は、コンピュータ等の端末を用いた吹き出し状図形を用いた情報処理システムに関し、より詳しくは、漫画などの吹き出し状図形と関連付けられた音声情報、文字情報などを用いて情報処理を行うシステムに関する。また言語翻訳された音声情報、文字情報を用いて、利用者がインターネットのようなネットワークやＣＤ−ＲＯＭ等の電子媒体を利用して、漫画などの画像情報及び文字情報を含む英語等の外国語を学習可能な言語翻訳情報処理システム、さらにコンピュータ読み取り可能な情報記憶媒体に関する。
背景技術
従来、コンピュータ装置において、操作方法を音声で案内するような技術が開発されている。
このような分野に関連する技術としては、例えば特開平８−８２５３１「音情報を用いた案内装置」において、ワードプロセッサーやパーソナルコンピュータの操作メニューを選択等する際の案内としてオフラインにおいて用いられる、音情報によるユーザー・インターフェイス装置が開示されている。
本発明の音声案内装置の構成は、カーソルやポインタを制御する入力手段と、前記カーソルやポインタの画面上の位置を検出する位置検出手段と、前記位置検出手段で検出された位置に対応する楽音や音声などの音声制御情報記憶手段と、前記楽音や音声などを生成する音声生成手段と、スピーカなどの音声出力手段で構成されるものである。
しかし本技術は、インターネットなどのネットワークに接続して用いられるものではなく、またあらかじめ機器にインストールされるソフトウェアなどと共に備えられるものであって、それらの操作のための音声ガイド以上の機能を有するものではない。
インターネットなどのネットワークを用いる技術としては、バナー広告をクリックすると音声が流れるという技術が開発されている。
これはバナー広告の画像をクリックすると、「ＲｅａｌＡｕｄｉｏ」（商標）で音声を流すというもので、音声データは「ＲｅａｌＮｅｔｗｏｒｋｓ」（商標）などのオーディオ・サーバーに格納されるオーディオ・ファイルにハイパーリンクが張ってあり、クリックすることによりハイパーリンク先の音声ファイルが再生されるというものである。
しかしながら、この技術によれば、クリックをすることで初めて音声が流れる広告システムとなっており、表示されるバナー広告をクリックすれば、広告主のｗｅｂサイト等にジャンプしてしまうということは大多数の利用者は熟知しているため、広告に興味がなく素通りしてしまう利用者には音声メッセージが伝わらないというデメリットを有する。
また、従来、例えばインターネットを利用した言語翻訳システムでは、Ｗｅｂページのフォームに受講生等の利用者がコンピュータからデータを入力してサーバー・システムに送信し、サーバー側は、受信したデータをＣＧＩプログラム等がテキスト形式のファイルへの読み書きや処理を行い、予め決められたＷｅｂページへテキストなどの文字データを返信して表示する方法が一般的であった。
例えば、特開平１１−２８２８４８号「ＣＤ−ＲＯＭインターネット『翻訳の王様』（登録商標）」においては、インターネットホームページの外国語の原文の中で比較的難解な文章に出会った場合、その箇所にマウスポインターをドラッグさせ反転させると同時に原文の正しい発音が再生されたり、そのドラッグさせたクリックボタンを離すと同時にその箇所の翻訳文が表示される機能をアップさせた技術が開示されている。
しかしながら、上記したようなシステムでは、単一のＣＧＩプログラム等を利用して、画一的な翻訳処理を行うものであり、個々の受講生ごとの習熟度にあったインタラクティブ（双方向）の対応や、エンターテイメント性のある処理、あるいは画像などのマルチメディア・ファイルを利用する複雑な処理が行えないという課題を有している。
また、特開平９−３２５６７３号「翻訳文添削支援装置」においては、下記のような技術が開示されている。これによれば、模範解答を、専門家の知識を利用して、単語・句構造の複数のテンプレートに分解する。各テンプレート毎に、学習者が翻訳するであろう解答に対するメッセージを、専門家の知識を利用して予め作っておく。そしてこれらを読込み、その後解答文を読込む。次いで学習者が基本的用法を正しく履修しているか否かをチェックし、次いで解答文の各単語につき品詞分類を行ない、最後に解答文を構文解析する。その後、解答文をテンプレート毎に評価し、評価に応じた内容のメッセージを学習者に提示する。解答文を、テンプレート毎に評価するようにしているので、専門家が人力で行なうのと同程度の添削結果が得られる。
しかしながらこの技術によっても、個々の受講生が、自らの習熟度等に応じて画面上で選択を行いつつインタラクティブ（双方向）な対応を人力に頼らずに自動的に行うことや、エンターテイメント性のある処理、あるいは画像などのマルチメディア・ファイルを利用する複雑な処理を行うことは不可能である。
他方、画像情報及び文字情報を利用する、例えば漫画等のコミックは、そのコミックのキャラクター人形等の商品化展開以外は、その２次利用は殆どされていないのが現状である。
オンライン上で、これらを利用して上記課題を解決できれば望ましい。
また、これら漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムであれば、システムのコンテンツも充実する。
漫画を電子化したコンテンツに関する技術としては、特開平７−９３３６８「コミック出版物」が開示されている。
これは、コミック原画をスキャナ読み込みして得られた画像データとふきだし部分のセリフや擬態音からなる音データを、同時再生できる方式で光コンパクトディスクに記録し、誌上でのページ番号、コマ順にあたる数値や内容に応じて編成された符号を各データ先頭に置き、見出しとして検索、再生時に利用する。正順および逆順の手動再生、一時停止による音声の中断と再開、各ページ毎の手動再生と連続の自動再生の切り替えを備えた再生装置を利用し、さらに、再生中断時には、中断箇所を記録する手段を備え、再生開始時に、冒頭、再生を中断した箇所、ページ番号、見出し等で再生開始箇所を指定する手段を備える、というものである。
しかしながら、上記技術は、電子化して得られたコンテンツを再生したり、停止したりするという技術に関するものであり、利用者が選択した吹き出しの音声の再生や、音声と同じに自動的に他の情報が表示されたりするような技術的特徴を備えていない。
もしもこのようなことが実現できれば、コンテンツの再生などに際して、画像、文字、音声などを合成して様々な効果を与えることができる。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。
本発明は上記課題に鑑みなされたものであり、コンテンツの再生などに際して、特に漫画などに用いられる吹き出しの図形に着目し、吹き出しに文字情報や音声情報への関連付けを設定しておくことにより、利用者がコンピュータ端末や、端末からインターネット等に接続して、画像、文字、音声などを合成して様々な再生・出力・表示を行えるシステムを提供することを目的とする。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。オンライン上で画像情報及び文字情報を閲覧する利用者の選択等に応じ、翻訳後の言語の文字情報や音声情報等を出力できることを特徴とする、オンライン外国語翻訳システムを提供することを目的とする。
また、本発明の別の目的は、本発明のシステムにおいて、漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムを提供すること、そして本システムのコンテンツを充実させ提供することにある。
また、本発明の別の目的は、上記システムを実現するためのデータ及びプログラムを記憶した情報記憶媒体を提供し、特にコンピュータ装置と携帯情報端末との双方で利用可能な情報記憶媒体を提供することをも目的とする。
発明の開示
請求の範囲１に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲２に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲３に記載の発明においては、上記課題を解決するため、請求の範囲１又は２に記載の発明において、
前記の利用者端末に表示される画像ファイルに配置される、文字情報を表示するための、一又は複数の文字情報表示フィールドは、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドであって、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を含む画像情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲４に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置され、
前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、
前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、
翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システムであることを特徴としている。
請求の範囲５に記載の発明においては、上記課題を解決するため、請求の範囲１〜４に記載の発明において、
前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜４のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲６に記載の発明においては、上記課題を解決するため、請求の範囲４又は５に記載の発明において、
前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれており、
前記の音声情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれており、
利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理と、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４又は５のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲７に記載の発明においては、上記課題を解決するため、請求の範囲４〜６に記載の発明において、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されており、
利用者が、翻訳前言語文字情報を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理と、
選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と、
表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４〜６のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲８に記載の発明においては、上記課題を解決するため、請求の範囲１〜７に記載の発明において、
前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルは、複数のＨＴＭＬファイルやＸＭＬファイルなどに挿入された複数の画像ファイル、複数のページからなる複数の画像ファイル、又は複数のページを構成する複数の画像ファイルを含むスライドショーなどのデータファイルであって、
利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲１〜７のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲９に記載の発明においては、上記課題を解決するため、請求の範囲８に記載の発明において、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲８に記載の吹き出し状図形を用いたコンテンツ再生情報処理システムであることを特徴としている。
請求の範囲１０に記載の発明においては、上記課題を解決するため、請求の範囲９に記載の発明において、前記の記憶手段には、漫画などのストーリー性のある複数のコンテンツデータが記憶されており、複数のコンテンツデータの中から利用者が選択して表示・再生をすることが可能なことを特徴とする、請求の範囲９に記載の吹き出し状図形を用いたコンテンツ再生情報処理システムであることを特徴としている。
請求の範囲１１に記載の発明においては、上記課題を解決するため、請求の範囲１〜１０に記載の発明において、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報には、音声再生スピードの異なる複数の音声情報が、前記の音声情報記憶手段に記憶されており、
あらかじめ利用者が設定することにより、音声再生スピードの選択が可能なことを特徴とする、請求の範囲１〜１０のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１２に記載の発明においては、上記課題を解決するため、請求の範囲１〜１１に記載の発明において、
あらかじめ利用者が設定することにより、音声情報及び文字情報を自動再生するか否か、自動ページめくりをするか否か、音声の再生回数の選択、文字情報を表示するか否か、複数のコンテンツデータの再生順序の設定等の再生制御方法の選択が可能なことを特徴とする、請求の範囲１〜１１のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１３に記載の発明においては、上記課題を解決するため、請求の範囲６又は７又は１１又は１２に記載の発明において、
翻訳前言語の選択、翻訳後言語の選択、音声再生スピードの選択、又は再生制御方法の選択は、ＸＭＬなどのタグ情報を用いて、利用者が選択した設定を設定ファイルとして前記の記憶手段に記憶することにより、再生時に設定ファイルを参照して選択された音声再生スピード又は再生制御方法に従い自動再生されることを特徴とする、請求の範囲６又は７又は１１又は１２のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１４に記載の発明においては、上記課題を解決するため、請求の範囲１〜１３に記載の発明において、
前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、アクセスした利用者端末からの要求に従い、吹き出し状図形を含むデータファイルを利用者端末に送信して表示させる処理と、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜１３のいずれかに記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１５に記載の発明においては、上記課題を解決するため、請求の範囲１４に記載の発明において、前記システムにはさらに、
利用者端末からコンピュータネットワークを介して前記のサーバーシステムにアクセスする利用者を認証するための認証手段と、
利用者のアクセス数、利用時間、利用コンテンツデータ数、ダウンロード数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、
前記利用情報記憶手段に記憶された利用情報を参照して利用料金を算出する利用料金算出手段とが備えられ、
前記の各種利用情報に応じて、利用料金を計算し課金管理することが可能なことを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１６に記載の発明においては、上記課題を解決するため、請求の範囲１４に記載の発明において、前記システムにはさらに、
翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、
権利者に対し支払われるライセンス・フィー算出手段とが備えられ、
権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１７に記載の発明においては、上記課題を解決するため、請求の範囲１〜１６に記載の発明において、
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、
画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段と、
取り込んだ画像情報に吹き出し文字情報フィールドを設定し、データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段と、
吹き出し文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する第二のデータ処理手段と、
を備えることを特徴とする、請求の範囲１〜１６のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１８に記載の発明においては、上記課題を解決するため、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、
前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする、コンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
請求の範囲１９に記載の発明においては、上記課題を解決するため、請求の範囲１８に記載の発明において、
前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体であって、
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれており、又は携帯情報端末において出力又は再生が可能な形態情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されていることを特徴とする、請求の範囲１８に記載のコンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
請求の範囲２０に記載の発明においては、上記課題を解決するため、請求の範囲１８又は１９に記載の発明において、
前記の情報記憶媒体にはさらに、利用者の認証情報を記憶するための認証情報記憶手段が備えられており、
コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になることを特徴とする、請求の範囲１８又は１９のいずれかに記載のコンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
発明を実施するための最良の形態
以下、本発明の実施形態について図面を参照して説明する。
（第一の実施形態）
第１図は、本発明に係るシステムの第一の実施形態における基本的な構成を示すシステム構成図である。
第一の実施形態においては、本発明の吹き出し状図形を用いた情報処理システムは、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムである。
第１図において、符号１は利用者端末を示している。利用者端末１には、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
次に、符号１０ａ及び１０ｂは、利用者端末が備える記憶手段を示す。記憶手段１０ａには、ＣＰＵやメモリ、ハードディスクなどの外部記憶装置を含む。
また、第一の実施形態において、記憶手段には、利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段が含まれるので、有線又は無線を問わずネットワークを介して利用者端末に接続される記憶装置を含む。ここでコンピュータネットワークには、インターネットをはじめとして、専用線により接続されたネットワーク形態や、企業内ＬＡＮ、企業間ＬＡＮ、ＷＡＮなどの形態を広く含む。またここで用いられる通信回線の形態には、有線通信、無線通信の形態を広く含み、衛星通信や、Ｂｌｕｅｔｏｏｔｈなどを用いた形態を含む。
記憶手段１０ｂは、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ、その他の入力手段を介して読み取られる情報記憶媒体などの記憶手段である。記憶手段１０ｂは、例えばＣＤ−ＲＯＭ、ＤＶＤやＦＤ（フロッピーディスク）、ＭＯ、スマートメディア（商標）やメモリースティック（商標）、電子ブック、その他のあらゆる情報記憶媒体が含まれる。本発明のシステムを実現するための、利用者端末が備える記憶手段には、これらの記憶手段１０ｂが含まれる。
また、記憶手段１０ａには、オペレーションシステム（ＯＳ）や各種のアプリケーションプログラム、各種のデータファイルなどが記憶されることが通常であるが、ＣＤ−ＲＯＭ、ＤＶＤなどの記憶媒体１０ｂに記憶されている後述する画像情報・文字情報・情報処理手段であるプログラム等を記憶手段１０ａに記憶させて実現する形態をとることもできる。
次に、符号１１はキーボードやマウスなどの入力手段を、１２はＣＰＵやバス、その他ＯＳやアプリケーションプログラムを用いてデータの制御、データ送受信、ハードウェアの制御、ソフトウェアの制御等を行うための制御手段を示す。１４はネットワークを介してのデータの送受信や音声などのデータ出力を行うための出力手段を示す。
次に、第２図を用いて、記憶手段１０ａ又は１０ｂ（以下、必要に応じ単に「記憶手段１０」という）について説明する。
記憶手段１０には、画像情報を記憶する画像情報記憶手段と、音声情報を記憶する音声情報記憶手段と、文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられている。
また必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられており、これを備えれば音声情報と文字情報とを自動的に連動させて表示・出力させることができるため備えられることが好ましい。
第２図において、符号１５は画像情報記憶手段、１６は音声情報記憶手段、１７は文字情報記憶手段、１８は情報処理手段を示している。
画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７は、記憶手段の中でフォルダなどの階層構造を有する記憶手段に設けられた記憶領域や、関係データベースなどのデータベース構造を有する記憶領域であってもよい。
前記の画像情報記憶手段１５には、ＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイルや、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルが記憶されている。
画像ファイルの一例を第３図及び第４図に示す。
第３図においては複数のコンテンツデータファイルを選択して表示・再生させるために、利用者端末１が備える表示手段に表示するためのメニュー画面を記憶した画像ファイルを示しており、第４図においては、後述する吹き出し状図形を含む画像ファイルを示している。
ここで、画像ファイルには、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＢＭＰ、ＰＩＣＴ等の様々なデータフォーマットの画像ファイルや、独自フォーマットの画像ファイルを含むことができる。
また、前記のメニュー画面や、コンテンツデータファイルを配置するための再生画面などをＨＴＭＬファイルやＸＭＬファイルなどの形式、あるいは複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイル、さらには独自の再生プログラムを用いたファイル形式で記憶しておき、そのファイル中に挿入されて表示される画像ファイルとすることもできる。  ＨＴＭＬファイルやＸＭＬファイルなどを用いる場合の利点としては、アプリケーションプログラムや、利用者端末の機種に制約される部分が少ないことや、インターネットに接続してアクセスする記憶手段に本発明のシステムを備えて利用者がアクセスできることにある。またＸＭＬ等を用いた場合には、様々なタグ情報を用いて、再生の制御やデータの抽出を行ったり、あるいはコンピュータ装置や携帯電話などの携帯情報端末などの機種別に、抽出されるデータやファイルを定義したりすることができる。
次に、別の望ましい形態の一例としては、前記の画像ファイルは、Ｍａｃｒｏｍｅｄｉａ社（商標）のＦｌａｓｈ（商標）アニメーションや、Ｓｈｏｃｋｗａｖｅ（商標）ムービー、その他の広く普及しているデータ形式を用いる方法である。これらを用いる場合の利点としては、プラグイン・ソフトウェアが必要にはなるものの、広く普及しており入手が容易であることがあげられる。また、複数のページを作成することができるので、ページめくりをするように、ページ（フレーム）を移動することができる。また自動再生の設定や、繰り返し再生などのようなさ異性制御をすることが可能になる。インターネットに接続してアクセスする記憶手段に本発明のシステムを備えて利用者がアクセス可能にすることもできる。さらにもう一つの利点は、画像ファイルの中に、文字情報を挿入するテキストフィールドを設けることができ、テキストフィールドに入力された文字情報に他のファイルへのリンク情報を受けこむことができる。また画像ファイルの中に、画像情報などのオブジェクトを挿入することができ、オブジェクトに他のファイルへのリンク情報を受けこむことができる。
次に、第３図及び第５図を用いて、これらの画像ファイルについて説明する。
画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置されている。
吹き出し状図形は、第５図においては符号１９で示される。この例では一つの画像ファイルに複数の吹き出し状図形が配置されている。
請求の範囲６に記載の発明においては、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、第５図の右下においては、ページを先に進行したり、前に戻ったり、初めのページに戻ったりするための制御ボタンが配置されている。制御ボタンは、画像ファイル中に挿入された画像情報やオブジェクトなどであり、所定の他のページへのリンク情報が埋め込まれている。
また、請求の範囲７に記載の発明においては、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能な形態であり、第４図及び第５図ではこうした形態において表示される画像ファイルの一例を示している。
また、前記の利用者端末に表示されるデータファイルには、文字情報を表示するための、一又は複数の文字情報表示フィールドが配置されている。
文字情報フィールドは、第５図においては、符号２０ａ及び２０ｂ（以下、必要に応じ単に「２０」という）で示されている。文字情報フィールド２０は、あらかじめ所定の文字情報が表示されるように設定しておくこともできるが、利用者の操作に応じ、文字情報記憶手段に記憶されている所定の文字情報を表示することの可能なフィールド又はウィンドウである。
なお、文字情報フィールド２０は、請求の範囲３に記載の発明にあっては、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドである。すなわちこの場合には、文字情報記憶手段１７に記憶されるデータファイルは、画像形式のデータファイルであって、その画像情報の元となるデータに文字情報が含まれるものであり、簡潔にいえば文字を画像形式で記憶したものである。
次に、吹き出し状図形について説明する。
請求の範囲１に記載の発明において、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置されている。すなわちこの場合には、吹き出し文字情報フィールドに表示される画像情報は、画像形式のデータファイルである。
吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能である。これらはハイパーリンク情報を吹き出し文字情報フィールド１９に表示される画像情報に埋め込んでおけばよい。
なお、吹き出し文字情報フィールド１９に表示される画像情報は、例えばページ全体の画像情報に、吹き出し状図形の画像ファイルをレイヤー形式で重ねて配置する形態をとることができる。またページ全体の画像情報に、オブジェクトとして挿入して配置する形態をとることができる。また、ページ全体の画像情報に、吹き出し状図形の領域をＸ軸の座標値、及びＹ軸の座標値を用いて設定し、設定された領域にハイパーリンク情報を埋め込む形態でも実現できる（クリッカブルマップ）。
請求の範囲２に記載の発明においては、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置されている。すなわちこの場合には、吹き出し文字情報フィールドは、画像情報に配置されたテキストなどの文字情報を表示させるためのフィールドであり、吹き出し文字情報フィールドに表示される文字情報は、文字情報形式のデータファイルである。
この場合にも、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能である。これらはハイパーリンク情報を吹き出し文字情報フィールド１９に表示される文字情報に埋め込んでおけばよい。
第３図においては、吹き出し文字情報フィールド１９から設定された音声情報記憶手段１６に記憶された音声情報ファイルへのハイパーリンク、及び、吹き出し文字情報フィールド１９から設定された文字情報記憶手段１７に記憶された文字情報ファイルへのハイパーリンクの関係を模式的に示している。画像ファイルが、漫画などのコンテンツデータファイルであった場合などには、一つのページ（画像ファイル）に一又は複数の台詞を示す吹き出し文字情報フィールドが設けられ、それぞれの台詞に対応する音声情報および文字情報へのハイパーリンクが張られている。
音声情報記憶手段１６に記憶される音声情報は、ＷＡＶファイル、ＭＰ３ファイル、ＲＭファイル、その他の様々なデータ形式の音声ファイルが含まれる。
また、文字情報記憶手段に記憶される文字情報は、テキスト形式，その他の文字情報ファイルである。
第６図は、画像情報記憶手段１５に記憶される、漫画などのコンテンツの、各ページである画像ファイルと、各画像ファイルに配置される吹き出し文字情報フィールドとの関係の一例を、データ模式図を用いて示している。
また、文字情報記憶手段１６に記憶される、漫画などのコンテンツの、各ページに配置される各吹き出し文字情報フィールドと、文字情報ファイルとの関係の一例を、データ模式図を用いて示している。
また、音声情報記憶手段１７に記憶される、漫画などのコンテンツの、各ページに配置される各吹き出し文字情報フィールドと、音声情報ファイルとの関係の一例を、データ模式図を用いて示している。
次に、情報処理手段について説明する。
情報処理手段１８は、これまでに説明した画像情報、音声情報、文字情報や、メニュー画面等を構成するＨＴＭＬファイルなどを、利用者端末が備える入力手段等を用いて利用者が操作を行い、操作に従い表示・出力などをさせるためのアプリケーションプログラムである。
アプリケーションプログラムとしては、ブラウザソフトや、Ｆｌａｓｈなどを再生するためのプラグインソフトウェア、独自形式のデータファイルを再生するためのプログラムなどがある。これらのプログラムをハードディスクなどの記憶手段１０ａにインストールするか、またはＣＤ−ＲＯＭやＤＶＤなどの記憶手段１０ｂに備え、望ましくは記憶手段１０ｂに自動再生（Ａｕｔｏｒｕｎ）プログラムを備えて、記憶手段１０ｂを利用者端末に装填した際に自動的に起動する形態をとることができる。
次に、本発明の第一の実施形態における基本的な処理の流れについて説明する。なお、ここに示す処理の流れは一例であって、これに限定されるものではない。
第７図は、本発明の第一の実施形態を示すフローチャートである。
初めに、利用者端末１に記憶手段１０ｂを装填する。プログラムである情報処理手段を記憶手段１０ａにインストールする場合には、インストールプログラムを起動して指示に従いインストールを行う。また画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７に記憶されたデータファイルを記憶手段１０ａに記憶させることもできる。インストール後には情報処理手段１８を起動する（Ｓ１０２）。
インストールしない場合には、利用者の操作により情報処理手段１８を起動し、又は自動再生プログラムによる自動的な起動により（Ｓ１０３）、情報処理手段１８を起動する。
次に、どの漫画のストーリーを選択するかなどのメニュー画面が表示される（Ｓ１０４）。
複数の漫画のストーリーを記憶したデータファイルなどの複数のコンテンツデータファイルがある場合には（Ｓ１０５）、コンテンツデータファイルの選択を行う（Ｓ１０６）。コンテンツデータファイルが一つだけ記憶されている場合には、そのまま次のステップへ進む。
次に、最初のページなどの画像ファイルが表示される。なおその前に、表紙やタイトル、著作権表示などのオープニング画面を表示させてもよい。
最初のページの画像ファイルが表示されるが、表示される画像がいるは、前記のように、第４図のような、吹き出し文字情報フィールド１９が配置された画像ファイルである。また、第４図でいえば、画面の右側には文字情報表示フィールド２０が配置されている。
次に、利用者は、一又は複数の表示された吹き出し状図形中に配置された吹き出し文字情報フィールドから、いずれかの吹き出し文字情報フィールド１９を選択することができる（Ｓ１０８）。吹き出し文字情報フィールドの選択は、表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動である。
利用者が選択を行うと、ユーザの動作、すなわちハイパーリンク情報が選択されたことを制御手段１２が検知して（Ｓ１０９）、情報処理手段１８に伝達する（Ｓ１１０）。
情報処理手段が前記のユーザーの動作を検知したことによって（Ｓ１１１）、前記の吹き出し文字情報フィールドに対応する音声情報及び文字情報が抽出されて再生または表示出力が行われるが、あらかじめ音声再生スピードや、再生回数、その他の再生制御情報を、利用者が設定して設定ファイルとして記憶させておくことができるので、こうした場合には、再生制御の設定ファイルがあるか否かを判定し（Ｓ１１２）、設定ファイルを読み込んで（Ｓ１１３）、設定ファイルにおいて定義されたデータに従い、音声情報及び文字情報の抽出や、ページ移動（画像ファイルの抽出・表示）を行う。また文字情報は表示させずに、音声再生のみをするように設定されている場合には、文字情報の表示出力は行わない。
特に再生制御が設定されていない場合には、そのまま次へ進む。
なお、すべての吹き出し文字情報に対応して、表示させる文字情報があらかじめ文字情報記憶手段に記憶されているとは限らない場合や、文字情報がまったくない場合、あるいはすべての文字情報はあらかじめ画像ファイルが含む文字情報表示フィールドに表示されているような設定の場合がありうる。この場合には、吹き出し文字情報に関連付けられた文字情報があるか否かを判定する（Ｓ１１４）。
次に、選択された吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される音声情報を抽出し（Ｓ１１５）、また選択された吹き出し文字情報フィールドに付加されたリンク情報に所在が示される文字情報を抽出する（Ｓ１１６）。抽出された音声情報は出力手段１４により音声出力・再生が行われ（Ｓ１１７）、抽出された文字情報は、表示手段１３が表示する画像ファイルに配置された、前記の文字情報表示フィールド２０に表示される（Ｓ１１８）。
次に、複数のページ（画像ファイル）がある場合には、利用者の操作又は選択等により、又は自動再生により、ページを移動するか否かが判定されて（Ｓ１１９）、移動する場合には移動先のページが表示され（Ｓ１０７）、上記の処理を繰り返す。
また、同じページ中に複数の吹き出し文字情報フィールドがある場合には、ページを移動する前に、Ｓ１０８に戻り、他の吹き出し文字情報フィールドを選択して上記の処理を繰り返す。
再生を終了する場合には、利用者の操作又は選択等により、又は自動再生により終了する（Ｓ１２０）。終了しない場合には、メニュー画面に戻ったり、他のページへ移動したりすることができる。終了する場合にはプログラムである情報処理手段１８も終了することが通常である。
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
本発明の第二の実施形態は、上記システムを利用した、吹き出し状図形を用いた言語翻訳情報処理システムである。
本発明のシステムで再生・表示可能な翻訳言語は、日本語が翻訳前言語であった場合に、翻訳後の言語としては、英語、フランス語、ドイツ語、イタリア語、スペイン語、オランダ語、ロシア語、中国語、韓国語、スワヒリ語等、日本語から日本語以外の外国語に翻訳可能な言語であればよい。また、これらの外国語が翻訳前言語であって、翻訳後の言語が日本語であってもよい。さらに、言語の文章や単語を、他の言語に対応させて置き換えられればよいために、日本語の標準語と関西弁、名古屋弁、アイヌ語や沖縄の言語、あるいは古代・中世・近世などの言語、現実には存在しない仮想の言語、あるいは若者語や年配者の用いる言語、くだけた言い回しの言語やオフィシャルな言語、上流階級の言語、流行語、漫画やテレビ番組等のアニメーションやドラマ等で用いられている特徴的な言い回し、漫画のキャラクターやドラマ等の主人公、著名人の特徴的な言い回しなどの、様々な、言語の文章や単語を、他の言語に対応させて置き換えることのできる言語を、翻訳前言語又は翻訳後言語として用いることもできる。
本実施形態において、基本的なシステムのハードウェア構成、及び記憶手段１０に記憶されるデータのデータ構成については、前記の第一の実施形態と共通するため省略する。
本実施形態において、前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報である。
また前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報である。
第８図は、記憶手段の記憶領域を示す図であって、画像情報を記憶する画像情報記憶手段１５と、音声情報を記憶する音声情報記憶手段１６と、必要に応じ文字情報を記憶するための文字情報記憶手段１７と、文字情報及び音声情報を利用者端末において表示させる情報処理手段１８とが備えられている。
請求の範囲４に記載の発明においては、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置されている。
そして前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、文字情報フィールドは、他の実施形態のように、必ずしも「吹き出し状図形」に限られるものではなく、ページ中に配置され、あらかじめ設定される所定の領域であれば、様々な図形や、文字情報等を含む。また必ずしも有形の図形等ではなくても、例えば画像ファイル中のあらかじめ設定される所定の領域に、音声情報ファイルや文字情報ファイルへの関連付けがされている形態を含む。
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システムである。
次に、吹き出し状図形を用いた言語翻訳情報処理システムについて書きに説明する。
なお、本発明の本明細書全体において、「吹き出し状図形」には、第４図に示す漫画の吹き出しを初めとして、様々な図形と引き出し線とを有する各種図形、円や楕円、雲形の囲みや凹凸のある囲み図形などの各種の形態を含み、第２０図のこれらの例を示す。
画像情報記憶手段に記憶される画像ファイルに設けられた、吹き出し上図形に配置された吹き出し文字情報フィールドには、翻訳前言語からなる文字情報が表示されるように設定されている。例えば第４図及び第５図において、翻訳前言語を日本語とする漫画を、翻訳後言語である英語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。
本実施形態において、基本的な処理の流れは第一の実施形態と共通する。
第７図に基づき説明をすると、初めに、利用者端末１に記憶手段１０ｂを装填する。プログラムである情報処理手段を記憶手段１０ａにインストールする場合には、インストールプログラムを起動して指示に従いインストールを行う。また画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７に記憶されたデータファイルを記憶手段１０ａに記憶させることもできる。インストール後には情報処理手段１８を起動する（Ｓ１０２）。
インストールしない場合には、利用者の操作により情報処理手段１８を起動し、又は自動再生プログラムによる自動的な起動により（Ｓ１０３）、情報処理手段１８を起動する。
次に、どの漫画のストーリーを選択するかなどのメニュー画面が表示される（Ｓ１０４）。例えば第３図において、メニュー画面が表示され、複数のストーリーの内から、「○○の巻」などのストーリーを選択する。
複数の漫画のストーリーを記憶したデータファイルなどの複数のコンテンツデータファイルがある場合には（Ｓ１０５）、コンテンツデータファイルの選択を行う（Ｓ１０６）。コンテンツデータファイルが一つだけ記憶されている場合には、そのまま次のステップへ進む。
次に、最初のページなどの画像ファイルが表示される。
最初のページの画像ファイルが表示されるが、表示される画像がいるは、前記のように、第４図のような、吹き出し文字情報フィールド１９が配置された画像ファイルである。また、第４図でいえば、画面の右側には文字情報表示フィールド２０が配置されている。
第４図のような、ページ全体を構成する画像ファイルは、第８図の画像情報記憶手段に記憶された画像ファイルであって、画像ファイル（ページ）中には、一又は複数の吹き出し状図形に、吹き出し文字情報フィールドが設定されている。例えば第４図では、「ほっ・・・本当に本当なんですか」「まあ」などの翻訳前言語（この例では日本語）のそれぞれの吹き出し文字情報フィールドがあって、それに対応する翻訳後言語（この例では英語）の音声情報が第８図の音声情報記憶手段１６に、またそれに対応する翻訳後言語（この例では英語）の文字情報が第８図の文字情報記憶手段１７に記憶されている。
次に、利用者は、一又は複数の表示された吹き出し状図形中に配置された吹き出し文字情報フィールドから、いずれかの吹き出し文字情報フィールド１９を選択することができる（Ｓ１０８）。利用者が、吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の選択を行うと、ユーザの動作、すなわちハイパーリンク情報が選択されたことを制御手段１２が検知して（Ｓ１０９）、情報処理手段１８に伝達する（Ｓ１１０）。
情報処理手段が前記のユーザーの動作を検知したことによって（Ｓ１１１）、前記の吹き出し文字情報フィールドに対応する翻訳後言語の音声情報及び文字情報が抽出されて再生または表示出力が行われる。あらかじめ音声再生スピードや、再生回数、その他の再生制御情報を、利用者が設定して設定ファイルとして記憶させておくことができる場合には、再生制御の設定ファイルがあるか否かを判定し（Ｓ１１２）、設定ファイルを読み込んで（Ｓ１１３）、設定ファイルにおいて定義されたデータに従い、音声情報及び文字情報の抽出や、ページ移動（画像ファイルの抽出・表示）を行う。また文字情報は表示させずに、音声再生のみをするように設定されている場合には、文字情報の表示出力は行わない。
特に再生制御が設定されていない場合には、そのまま次へ進む。
なお、すべての吹き出し文字情報に対応して、表示させる文字情報があらかじめ文字情報記憶手段に記憶されているとは限らない場合や、文字情報がまったくない場合、あるいはすべての文字情報はあらかじめ画像ファイルが含む文字情報表示フィールドに表示されているような設定の場合がありうる。この場合には、吹き出し文字情報に関連付けられた文字情報があるか否かを判定する（Ｓ１１４）。
次に、選択された吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される音声情報を抽出し（Ｓ１１５）、また選択された吹き出し文字情報フィールドに付加されたリンク情報に所在が示される文字情報を抽出する（Ｓ１１６）。第５図においては、吹き出し文字情報フィールド１９の「ほっ・・・本当に本当なんですか」が選択されたことを示し、抽出された音声情報である翻訳後言語（英語）の「Ｉｓ  ｉｔ  ｐｏｓｓｉｂｌｙ  ｔｒｕｅ  ｔｈａｔ…」という音声が出力手段１４により音声出力・再生され（Ｓ１１７）、抽出された文字情報「Ｉｓ  ｉｔ  ｐｏｓｓｉｂｌｙ  ｔｒｕｅ  ｔｈａｔ…」が、表示手段１３が表示する画像ファイルに配置された、前記の文字情報表示フィールド２０に表示される（Ｓ１１８）。
次に、複数のページ（画像ファイル）がある場合には、利用者の操作又は選択等により、又は自動再生により、ページを移動するか否かが判定されて（Ｓ１１９）、移動する場合には移動先のページが表示され（Ｓ１０７）、上記の処理を繰り返す。
また、同じページ中に複数の吹き出し文字情報フィールドがある場合には、ページを移動する前に、Ｓ１０８に戻り、他の吹き出し文字情報フィールドを選択して上記の処理を繰り返す。
再生を終了する場合には、利用者の操作又は選択等により、又は自動再生により終了する（Ｓ１２０）。終了しない場合には、メニュー画面に戻ったり、他のページへ移動したりすることができる。
次に、本発明の第二の実施形態である、吹き出し状図形を用いた言語翻訳情報処理システムの別の実施形態について説明する。
請求の範囲６に記載の発明においては、前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれている。
また、前記の文字情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれている。
すなわち、第５図の漫画の例でいえば、吹き出し文字情報フィールドに翻訳前言語（日本語）の台詞が表示される場合に、翻訳後の言語で再生される音声情報、翻訳後の言語で表示される文字情報は、例えば英語とフランス語のいずれかを選択できるような形態である。あるいは英語とフランス語、スペイン語、ドイツ語、中国語、韓国語のいずれかから選択できるような形態である。
第９図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示している。また第１０図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０に記憶されるデータ模式図を示している。
初めに、利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理を行う。例えば翻訳語言語として英語とフランス語とがあった場合に、英語を選択する。
次に、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理を行う。
次に、前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語（選択された英語）である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う。
また、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語（選択された英語）である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する。
さらに、本発明の第二の実施形態である、吹き出し状図形を用いた言語翻訳情報処理システムの別の実施形態について説明する。
請求の範囲７に記載の発明においては、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されている。
例えば第４図及び第５図において、翻訳前言語を日本語とする漫画を、翻訳後言語である英語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。本実施形態によれば、これとは別に、翻訳前言語を例えば英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示するために、吹き出し文字情報フィールドに翻訳前言語が英語である画像ファイルが表示可能なようにされている。また翻訳後言語として例えば日本語を採用し、吹き出し文字情報フィールドの英語に対応する、日本語の音声情報及び日本語の文字情報を記憶させておく。
このような形態を採用すれば、吹き出し状図形を用いて、和文英訳、英文和訳の双方の言語翻訳情報処理システムを実現することができる。
第１１図は、複数の翻訳前言語があって、翻訳前言語１（例えば日本語）及び翻訳前言語２（例えば英語）に対応する複数の翻訳語言語（例えば英語、日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示している。また第１２図は、吹き出し文字情報フィールドに表示される複数の翻訳前言語（ここでは日本語及び英語）に対応する複数の翻訳語言語（ここでは英語及び日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域に記憶されるデータ模式図を示している。
また、第１３図は、翻訳前言語を英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。
本実施形態の場合には、メニュー画面などにおいて、和文英訳を選択した場合には第４図、第５図のような画像ファイルが表示され、英文和訳を選択した場合には第１３図のような画像ファイルが表示される。
なお、本実施形態における基本的な処理の流れの一例を示すフローチャートが第１４図である。
複数の翻訳前言語がある場合には（Ｓ２０７）、利用者が、翻訳前言語を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理を行う（Ｓ２０８）。
また、英文和訳と和文英訳の二通りがある場合には、翻訳前言語として英語を選択すれば、翻訳後言語は自動的に日本語とすることができる。
一方、英文和訳、英文独約、和文英訳、和文独訳、独文和訳、独文英訳のように、複数の翻訳後言語がある場合がありうる。この場合には（Ｓ２０９）、利用者が、翻訳後言語、複数の翻訳後言語の内のいずれの言語から翻訳するかを選択する処理を行う（Ｓ２１０）。
次に、選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と（Ｓ２１１）、表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ（Ｓ２１２）、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理とを行う（Ｓ２１３、Ｓ２１４）。
次いで、吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う（Ｓ２２１）。
また、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、吹き出し文字情報フィールドに付加されたリンク情報に所在が示される翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する（Ｓ２２２）。
（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
本実施形態においては、前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、インターネットに代表されるコンピュータネットワークを介して、利用者端末１からアクセスを行う形態である。
本実施形態におけるシステムは、通常は、コンピュータや携帯情報端末等が接続されるネットワーク上に、Ｗｅｂサーバーやアプリケーション・サーバー、データベース・サーバー等を有するシステムにおいて実現されるものである。
ただし、ここでは基本的なシステム構成として、第１図においては、これらのサーバー・システムが同一のシステム内に設置される一例を示したが、仮に、アプリケーション・サーバーが別個の場所に存在し、あるいはデータベース・サーバーが別個の場所に存在していたとしても、これらの場所はＵＲＬ等により特定し、指定することができるので、このようなシステム構成においても本発明のシステムは実現が可能である。
第１５図に、本実施形態の基本的なシステム構成図を示す。
第１５図において、符号１は利用者端末を、２５はサーバーシステムを、３０はインターネットに代表されるコンピュータネットワークを示している。サーバーシステム２５は、画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７を示している。
ここで、ネットワークに接続するための利用者の端末は、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
さらにこれらが接続されるネットワークには、有線、無線、いずれの通信回線もが含まれる。
なお、画像情報を記憶する画像情報記憶手段、前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段、文字情報を記憶するための文字情報記憶手段、文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段の構成については、これまでに述べた様々な形態と共通する。
利用者端末１には、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
次に、符号は、利用者端末が備える記憶手段を示す。記憶手段１０ａには、ＣＰＵやメモリ、ハードディスクなどの外部記憶装置を含む。また、記憶手段１０には、オペレーションシステム（ＯＳ）や各種のアプリケーションプログラム、各種のデータファイルなどが記憶されることが通常である。
次に、符号１１はキーボードやマウスなどの入力手段を、１２はＣＰＵやバス、その他ＯＳやアプリケーションプログラムを用いてデータの制御、データ送受信、ハードウェアの制御、ソフトウェアの制御等を行うための制御手段を示す。１４はネットワークを介してのデータの送受信や音声などのデータ出力を行うための出力手段を示す。
第一の実施形態で説明したように、本発明においてコンテンツデータファイルを閲覧するためのメニュー画面や、コンテンツデータファイルを配置するための再生画面などは、ＨＴＭＬファイルやＸＭＬファイルなどの形式、あるいは複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイル、さらには独自の再生プログラムを用いたファイル形式や、そのファイル中に挿入されて表示される画像ファイルとすることもできる。また望ましい形態の一例として、Ｍａｃｒｏｍｅｄｉａ社（商標）のＦｌａｓｈ（商標）やＳｈｏｃｋｗａｖｅ（商標）などを説明した。
本実施形態においてインターネット等を介して閲覧をする場合には、通例は前記の各記憶手段１５，１６，１７に記憶された情報等を、Ｗｅｂサーバー等に記憶されたＷｅｂサイトに表示されるＨＴＭＬファイルやＸＭＬファイル等にリンクさせて、あるいは前記の各記憶手段１５，１６，１７に記憶された情報等から検索などにより抽出されたデータを記述したＨＴＭＬファイル等を生成して、アクセスする顧客端末の画面に表示されるようにする。
例えば、表示される情報がｇｉｆファイルなどの画像ファイルであれば、ＷＥＢサイトのＨＴＭＬ等ファイル中に、前記画像ファイルへのリンクが記述される。
なおＨＴＭＬファイル以外にも、ＸＨＴＭＬファイル、ＸＭＬファイル、ＳＧＭＬファイル、あるいは携帯端末用のＣ−ＨＴＭＬファイルなどを利用することも可能である。
利用者がこのＷＥＢサイトにアクセスした場合に、利用者のコンピュータ端末はそのＷＥＢページのファイル（ＨＴＭＬファイル等）を送信要求し、同時に、そのファイルにリンクの記述がされた前記画像ファイルをも送信要求する。
これらのファイルを受信することにより、例えば画像ファイルであれば、利用者がアクセスしたＷＥＢページが利用者のコンピュータ端末画面に、ブラウザソフトを介してＨＴＭＬファイル等が表示されると共に、そのページの一部に前記画像ファイルが表示される。また、例えば音声ファイルであれば、利用者がアクセスしたＷＥＢページが利用者のコンピュータ端末画面に、ブラウザソフトを介してＨＴＭＬファイル等が表示されると共に、そのページの一部に前記音声ファイルへのハイパーリンクが記述されて表示される。また例えば、一つの画面を分割して複数のＨＴＭＬファイル等を表示するフレームのように、複数に区切られたフレームの一部のフレームに、送信される該ファイルが表示されるものであってもよい。
また、本発明のシステムにアクセスし閲覧することができる顧客は、不特定多数の利用者を対象とする以外にも、会員登録した利用者のみがアクセスし、情報を検索・閲覧できるようにしてもよい。例えば、Ｗｅｂサイトにアクセスして、顧客ごとに発行されたＩＤ及びパスワード等を入力して、アクセスが可能になるなどの方法をとることができる。
次に、本実施形態の基本的な処理の流れについて説明する。
第１６図、及び第１７図は、本実施形態の基本的な処理の一例を示すフローチャートである。
初めに、利用者端末１からインターネット等のコンピュータネットワークに接続し（Ｓ３００）、サーバーシステム２５にアクセスする（Ｓ３０１）。サーバーシステムには前記の通り、画像情報記憶手段、音声情報記憶手段、文字情報記憶手段等のデータファイルと、情報処理手段などのプログラムが備えられているが、その他必要に応じＷＥＢサーバーなどが備えられる。ＷＥＢサーバーに備えられるＨＴＭＬファイル，ＸＭＬファイルなどのＷＥＢ上に表示されるファイルが利用者端末に送信され、メニュー画面などが表示されるのが一般的である。
なお、本発明のシステムの利用に際して、課金処理を行う場合などには、これらが正常になされることを条件として、利用が許可される。認証処理、課金処理等が行われ（Ｓ３０２）、また、ダウンロードをするか閲覧をするかを選択させることができる（Ｓ３０３）。
ダウンロードをする場合には（Ｓ３０４）、利用者端末が備える記憶手段１０ａにダウンロードして記憶させた後に、第一の実施形態、第二の実施形態において説明したように利用者端末において使用する。
インターネット等で閲覧をする場合には、閲覧のメニューが表示され（Ｓ３０５）、複数のコンテンツデータファイル（ここでは漫画の翻訳を例にとる）がある場合には（Ｓ３０６）、いずれを閲覧するかを選択する（Ｓ３０７）。また、英文和訳、和文英訳などの複数の言語から選択可能な場合には、これらの選択を行う（Ｓ３０８からＳ３１１）。
サーバーシステム２０に記憶されている情報は、例えば、素材として日本語の漫画を用い、英語に翻訳できるシステムを例にとると、下記のようなものである。
画像情報記憶手段１５には、翻訳前言語の吹き出し文字情報フィールドに配置される日本語の漫画の台詞などの文字情報を、漫画の各ページの各コマ、各台詞等ごとに含む、漫画の画像情報が、漫画の各ページごと等に記憶されている。
翻訳後言語の文字情報記憶手段１７には、上記台詞等に対応して、日本語の漫画の台詞などの英語訳が、テキスト等の文字情報が漫画の各ページの各コマ、各台詞等ごとに記憶される。また翻訳にあたってのポイント・注意事項や、類似する他の表現などの情報を併せて記憶することが可能である。
また、翻訳後言語の音声情報データベース１６には、日本語の漫画の台詞などの英語訳の音声ファイルを、テキスト等の文字情報が漫画の各ページの各コマ、各台詞等ごとに記憶することができ、またそれが好ましい。
なお、ここでは仮に、翻訳前言語の文字情報を含む画像情報記憶手段、翻訳後言語の文字情報記憶手段、翻訳後言語の音声情報記憶手段としたが、同様のデータを記憶し、検索等によりデータの抽出等ができる形態であれば、データベースの構造は様々な形態とすることが可能である。これらはフォルダの階層構造を採用することや、関係データベースなどにより実現できる。また漫画の翻訳はここでは一例であって、前述した第一の実施形態、第二の実施形態において説明した様々な形態をとることができる。
また、第一の実施形態、第二の実施形態においても、あるいはここで説明する第三の実施形態においても、前記の各記憶手段１５，１６，１７に記憶される情報は、請求の範囲１７に記載の発明のように、下記の手段により記憶することが可能であり、多くのコンテンツを記憶するためには本発明を用いることが好ましい。
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段が備えられる。データ取込手段は、具体的にはスキャナ装置などであって、読み取ったデータは画像ファイルとして記憶される。
ここでは、画像情報及び文字情報を有する印刷物などのコンテンツとなる元の素材として漫画（コミック）を用いている。
まず、漫画を出版した作家及び／又は漫画を執筆した作家から本発明のシステムに用いるための著作権等の権利を得る。
次に、権利を得た漫画をスキャニング等により、該漫画のデータをデータベースや階層構造の記憶領域に従い記憶する。
データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段により、取り込んだ画像情報が含む各台詞などの吹き出し状図形部分に、吹き出し文字情報フィールドを設定し、ここに配置される文字情報を入力して、吹き出し文字情報フィールドに配置される文字情報データとして記憶させる。または文字情報を含む画像情報データとして記憶する。
なお、吹き出し文字情報フィールドに配置される文字情報（例えば翻訳前言語の日本語の台詞部分）は、ＯＣＲソフトにより画像情報を読み取って文字情報化することができる。
次に、第二のデータ処理手段により、文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する。第二のデータ処理手段は、画像情報記憶手段に記憶される画像情報が含む各吹き出し文字情報フィールドに関連付けをする処理と、文字情報又は音声情報を入力する処理と、前記の階層構造又はデータベース構造等の記憶領域にデータファイルとして記憶する処理とを行うプログラムである。
なお、文字情報又は音声情報を入力する処理は、データ取込手段により読み取られた画像情報の文字部分からＯＣＲで読み取った文字情報又は入力した文字情報を元に、自動翻訳ソフト等により、翻訳後言語（例えば英語）の文字情報（テキストデータ等）として文字情報記憶手段に記憶させ、読み上げソフト等により音声情報記憶手段に記憶させる処理を採用することができる。
そして、文字情報記憶手段、画像情報記憶手段、及び音声情報記憶手段に記憶したファイルをＣＧＩプログラムや、その他のプログラムにより、利用者のＷｅｂサイト上でのマウス等でのクリック等のコマンド（要求）に応じ、ＨＴＭＬファイル、ＸＭＬファイル、Ｆｌａｓｈ（商標）ムービーファイル等のファイルとして自動生成し、所望の言語翻訳結果を得るシステムを作成することができる。
第１８図は、上記処理の一例を示すフローチャートである。
以上により作成したデータはは、サーバーシステム等に記憶し、あるいはＣＤ−ＲＯＭ等の情報記憶媒体に記憶し、これをチェンジャに装填するなどして、インターネットや専用回線を通じて利用者が端末からアクセスして利用することができる。または、前記したようなＣＤ−ＲＯＭ等の情報記憶媒体を購入等によって手に入れ、利用者が端末で利用することができる。
次に、第１７図に戻り、本実施形態に処理の流れに戻り、説明する。
Ｓ３１２において、漫画のページの画像ファイルが表示されるが、これは例えば第４図のような画面であり、画面の左側に漫画を表示させている。この漫画の吹き出し文字情報フィールド、すなわち、台詞の日本語の部分をマウスでクリック等し（Ｓ３１３）、クリック等をした漫画の台詞の部分を右側の文字情報フィールド２０ａに表示させる。換言すれば、画面の左側に英訳させたい台詞の日本語の部分をマウスでクリック等することにより、利用者のアクションを利用者端末の制御手段が検知し（Ｓ３１４）、その情報としてコンピュータ・ネットワークを通じて送信され、後述するアプリケーションが起動する。
アプリケーションは、利用者のクリック等のコマンドによりファイル送信要求を受け取ると共に（Ｓ３１５）、ユーザーが選択（クリック等）した吹き出し文字情報を判定して（Ｓ３１６）、前記の各記憶手段１５，１６，１７を参照して、記憶されている情報の中から送信要求に該当する情報を検索、抽出し、これらの情報または情報へのハイパーリンク情報を含むＨＴＭＬファイル等を合成する。上記の場合でいえば、アプリケーション・サーバーに記憶されたアプリケーションが、与えられた条件、すなわち該当ページや該当コマ、該当台詞等の条件、あるいは和英訳の要求や、英語訳の音声の要求などの指示情報に従って、記憶ｓでゅ段１０にアクセスし、条件などに合致するデータを、例えばＨＴＭＬ形式のファイルに合成し、利用者の端末に送信する。
そして画面の右側に英訳した台詞を表示させる。
また、ハイパーリンク先の音声情報ファイルを再生するためのブラウザのプラグイン・ソフト等を介して英訳した文章がナレーションのように音声として再生される。
これらの処理は、例えば下記のようなアプリケーション・プログラムにより実現されるものである。
簡単なプログラムとしては、ＰｅｒｌやＣ言語などを使用したＣＧＩ（Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ）プログラム等を利用することなどにより実現されるものである。ただし利用者の数やアクセス頻度、データベースの容量などが大きな規模になる場合などには、これに対応したシステムを構築することが望ましい。
今日では、ｈｔｍｌファイルの中味を生成するサーバー・ソフトも実現されている。こうしたソフトウェアは、データベース・サーバーへの照会機能をあらかじめ備えており、独自に拡張を加えたＨＴＭＬ形式のファイルにＳＱＬを用いたデータベースの照会内容を埋め込んでおけば、サーバーがそのページを送り返す際に、ＨＴＭＬファイルの中味を、照会を行った結果の内容に置き換える。データベースの照会内容と表示されるページの体裁とを一つのファイルに記述できるため、ＣＧＩプログラムによる場合よりもサービスの開発は楽になる。
またサーバ上で動作するスクリプト環境を用いることができる。Ｍｉｃｒｏｓｏｆｔ社のＡＳＰ（Ａｃｔｉｖｅ  Ｓｅｒｖｅｒ  Ｐａｇｅ）はサーバ側でスクリプト（ＶＢＳｃｒｉｐｔやＪＳｃｒｉｐｔなどで記述）とＡｃｔｉｖｅ  Ｘコントロール（Ｊａｖａアプレットを含む）を実行するためのプラットフォームである。
以上、詳細に説明したが、本発明は、前記の実施例の形態に限定されるものではなく、請求の範囲に記載された発明の範囲内で、種々の変更が可能であることは言うまでもない。
さらに、本明細書において手段とは、必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。
さらに、一つの手段あるいはステップの機能が、二つ以上の物理的手段により実現されてもよく、二つ以上の手段あるいはステップの機能が、一つの物理的手段により実現されてもよい。
また、本発明の他の実施形態としては、請求の範囲１５に記載の発明のように、前記システムにはさらに、利用者の端末からログインするための認証手段と、利用者のアクセス数、翻訳システムの利用数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、前記利用情報記憶手段に記憶された情報を参照して利用料金を算出する利用料金算出手段とが備えられ、前記のアクセス数などの各種利用情報に応じて、利用料金を計算し課金管理することが可能なシステムがあげられる。
ここで、利用者に関する情報とは、利用者が電子メールアドレス等を入力する方法であってもよく、また本発明のシステムが自動的に取得するものであってもよい。
あるいはあらかじめ利用者の情報はＷｅｂサイトでの会員登録などで取得しておいて、ＩＤとパスワードの入力などにより、本発明のシステムが認証を行う形態をとることができる。
利用者のアクセス数等の利用情報は、個々の利用者ごとに記憶される。また、利用料金の単価は、アクセス、翻訳の実行、音声の取得、あるいは利用時間単位や利用情報量単位ごと等に設定することができる。これらを掛け合わせて利用料金算出手段が、利用者ごとの利用料金を算出し、記憶させる。
また、本発明の他の実施形態としては、請求の範囲１６に記載の発明のように、前記システムにはさらに、翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、権利者に対し支払われるライセンス・フィー算出手段とが備えられ、権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することが可能なシステムがあげられる。
この場合には、著作権等の権利者に還元される料金の単価は、アクセス、翻訳の実行、音声の取得、あるいは利用時間単位や利用情報量単位ごと等に設定することができる。これらと、著作物ごと等の利用情報とを掛け合わせて、ライセンス・フィー算出手段が、個々の著作権等の権利者ごとのライセンス・フィーを算出し、記憶させる。
（第四の実施形態）
次に、本発明の第四の実施形態である情報記憶媒体について説明する。
本実施形態の、コンピュータ読み取り可能な情報記憶媒体は、これまでに説明をしたシステムにより構築されたデータを記憶可能なものであれば良く、例えばＣＤ−ＲＯＭが好ましく挙げられる。その他、ＤＶＤやＦＤ（フロッピーディスク）、ＭＯ、ハードディスク、その他のあらゆる記憶媒体が含まれる。また、近年目覚しく発展を遂げている、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体（各種メモリ等）が含まれる。
情報記憶媒体には、画像情報を記憶する画像情報記憶手段と、音声情報を記憶する音声情報記憶手段と、文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられる。
前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置されている。
また、前記の利用者端末に表示される画像ファイルには、文字情報を表示するための、一又は複数の文字情報表示フィールドが配置されている。
次に、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする。
これらの構成については、これまでに詳細に説明した様々な各実施形態と共通するため省略する。
また、請求の範囲２０に記載したように、コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になるようにすれば、正規にダウンロード処理した利用者のみが利用できるようにしたり、雑誌の付録等のＣＤ−ＲＯＭなどで試用版を配布し、正式版を得るにはオンラインでユーザー登録をして認証許可情報を取得するような形態をとることができる。
次に、請求の範囲１９に記載の発明においては、前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末である利用者端末１に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体を採用する。
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれている。
又は携帯情報端末において出力又は再生が可能な携帯情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されている。
第１９図に、本実施形態の情報記憶媒体を用いた基本的な処理の一例を示す。
初めに、携帯情報端末などの利用者端末１に、情報記憶媒体を装填する（Ｓ４００）。情報処理手段が起動する（Ｓ４０１）。
利用者端末がパーソナルコンピュータなどのコンピュータ装置である場合には、画像、音声、文字のすべてのデータ形式が表示できるので、これまでに説明した実施形態と同様の処理を行う。すなわち例えば図７のＳ１０４へ進む。
携帯情報端末である場合には、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの様々な端末があるので、いずれのデータファイルが表示・再生可能かを判定する処理に進むが、判定は自動的に行われるものであってもよく、利用者がメニュー表示の操作などにより行うことであってもよい。
画像ファイル（ページ）の表示が可能か否かを判定し（Ｓ４０３）、可能である場合には画像ファイルの表示を行う（Ｓ４０４）。画像ファイルはコンピュータ装置用のファイルであってもよく、携帯情報端末用の画像ファイルであってもよい。
画像ファイルの表示ができない場合には（Ｓ４０３）、文字情報表示が可能か否かを判定し（Ｓ４０５）、可能であれば吹き出しに配置される文字情報などを表示する（Ｓ４０６）。
文字情報も表示できない場合には、音声情報を出力する（Ｓ４０７）。音声情報の再生は、自動的に行われるものであってもよく、利用者が操作により、吹き出し文字情報に相当する一つ一つの音声情報を再生させつつ、進行したり、戻ったりすることでもよい。
次に、画像ファイル又は文字情報が表示された場合には（Ｓ４０４、Ｓ４０６）、画像ファイル中の吹き出し文字情報フィールドを選択し（Ｓ４０８）、又は文字情報を選択して（Ｓ４０９）、ユーザーの動作を制御手段が検知する（Ｓ４１０、Ｓ４１１）。検知された情報は情報処理手段が受領し（Ｓ４１２）、どの吹き出し文字情報又は文字情報が選択されたかを判定して（Ｓ４１３）、該当する音声情報を抽出して（Ｓ４１５）、出力する（Ｓ４１７）。また該当する文字情報を抽出して（Ｓ４１６）、表示する（Ｓ４１８）。
産業上の利用性
以上述べたように、本発明によれば、コンテンツの再生などに際して、特に漫画などに用いられる吹き出しの図形に着目し、吹き出しに文字情報や音声情報への関連付けを設定しておくことにより、利用者がコンピュータ端末や、端末からインターネット等に接続して、画像、文字、音声などを合成して様々な再生・出力・表示を行えるシステムを提供することができる。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。オンライン上で画像情報及び文字情報を閲覧する利用者の選択等に応じ、翻訳後の言語の文字情報や音声情報等を出力できることを特徴とする、翻訳のための情報処理システムを提供することができる。漫画等の画像及び文字情報を有するコンテンツを言語翻訳や教育システムに用いることにより、新しい英会話等の教材を提供するばかりでなく、漫画等のキャラクターが発する音声により、目や耳で楽しみながら、利用者の意思により双方向性、エンターテイメント性に富んだ形態で会話等を学ぶことができる。
また、本発明によれば、本発明のシステムにおいて、漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムを提供すること、そしてさらに、漫画等の二次利用が可能であり、本システムのコンテンツを充実させ提供することができる。
また、本発明によれば、上記システムを実現するためのデータ及びプログラムを記憶した情報記憶媒体を提供し、特にコンピュータ装置と携帯情報端末との双方で利用可能な情報記憶媒体を提供することができる。
【図面の簡単な説明】
第１図は、本発明の第一の実施形態を示すシステム構成図である。
第２図は、記憶手段の構成を示す図である。
第３図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第４図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第５図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第６図は、画像情報記憶手段１５に記憶される、漫画などのコンテンツの、各ページである画像ファイルと、各画像ファイルに配置される吹き出し文字情報フィールドとの関係の一例を示すデータ模式図である。
第７図は、本発明の第一の実施形態の基本的な処理の流れを示すフローチャートである。
第８図は、記憶手段の記憶領域の実施形態を示す図である。
第９図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示す図である。
第１０図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０に記憶されるデータ模式図を示している。
第１１図は、複数の翻訳前言語があって、翻訳前言語１（例えば日本語）及び翻訳前言語２（例えば英語）に対応する複数の翻訳語言語（例えば英語、日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示す図である。
第１２図は、吹き出し文字情報フィールドに表示される複数の翻訳前言語（ここでは日本語及び英語）に対応する複数の翻訳語言語（ここでは英語及び日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域に記憶されるデータ模式図である。
第１３図は、翻訳前言語を英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例を示す図である。
第１４図は、第二の実施形態における基本的な処理の流れの一例を示すフローチャートである。
第１５図は、第二の実施形態の基本的なシステム構成図である。
第１６図は、第二の実施形態の基本的な処理の流れを示すフローチャートである。
第１７図は、第二の実施形態の基本的な処理の流れを示すフローチャートである。
第１８図は、画像情報記憶手段、音声情報記憶手段、文字情報記憶手段にデータを記憶する処理の一例を示すフローチャートである。
第１９図は、コンピュータ装置や携帯情報端末で使用可能な情報記憶媒体を用いた処理の一例を示すフローチャートである。
第２０図は、本明細書において「吹き出し状図形」として示される各種の形態の代表的な一例を示す図である。
【図１】
2001095079.tif 000003
【図２】
2001095079.tif 000004
【図３】
2001095079.tif 000005
【図４】
2001095079.tif 000006
【図５】
2001095079.tif 000007
【図６】
2001095079.tif 000008
【図７】
2001095079.tif 000009
【図８】
2001095079.tif 000010
【図９】
2001095079.tif 000011
【図１０】
2001095079.tif 000012
【図１１】
2001095079.tif 000013
【図１２】
2001095079.tif 000014
【図１３】
2001095079.tif 000015
【図１４】
2001095079.tif 000016
【図１５】
2001095079.tif 000017
【図１６】
2001095079.tif 000018
【図１７】
2001095079.tif 000019
【図１８】
2001095079.tif 000020
【図１９】
2001095079.tif 000021
【図２０】
2001095079.tif 000022
【国際調査報告】
2001095079.tif 000023
2001095079.tif 000024
2001095079.tif 000025
2001095079.tif 000026
2001095079.tif 000027