(57)【要約】【課題】  例えば、読込専用ドキュメントにおいても利用者が簡単にリンクデータを作成することができ、リンク文字列を表示する際に読者の負担を軽減する。【解決手段】  テキストデータを含む第１の電子データ、および文字として認識可能なデータを含む第２の電子データを記憶する記憶装置３と、少なくとも第１の電子データ表示するための表示用データを作成する電子ドキュメント表示制御部１５と、前記表示用データを表示する表示装置５と、入力操作が可能な入力装置２と、入力装置２からの入力に基づいて第１の電子データにおける特定の文字列を選択文字列として指定する文字列入力処理部１０と、第２の電子データから文字を認識し、その認識結果に対して、前記選択文字列と一致する参照文字列となる文字列を検索するするデータ検索部１２と、前記選択文字列と前記参照文字列のデータ位置との関連付けを示すリンクデータを作成するリンクデータ作成部１４とを備える。【選択図】図１
2006065588.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータを含む第１の電子データ、および文字として認識可能なデータを含む第２の電子データを記憶する記憶手段と、
少なくとも第１の電子データ表示するための表示用データを作成する表示用データ作成手段と、
前記表示用データを表示する表示手段と、
入力操作が可能な入力手段と、
前記入力手段からの入力に基づいて第１の電子データにおける特定の文字列を選択文字列として指定する文字列入力処理手段と、
第２の電子データから文字を認識する認識手段と、
前記認識手段による認識結果に対して、前記選択文字列と一致する参照文字列となる文字列を検索する検索手段と、
前記選択文字列と前記参照文字列のデータ位置との関連付けを示すリンクデータを作成するリンクデータ作成手段とを備えていることを特徴とする情報閲覧装置。
【請求項２】
第２の電子データは文字を含む画像データであり、前記認識手段はこの画像データから文字を認識することを特徴とする請求項１に記載の情報閲覧装置。
【請求項３】
前記表示用データ作成手段にて作成された表示用データ中に、上記リンクデータにて示される参照文字列が存在するか否かを判定する文字列有無判定手段と、
前記文字列有無判定手段にて前記参照文字列が存在すると判定された場合に、第２の電子データの、前記参照文字列を含む領域の少なくとも一部が、参照データとして第１の電子データと共に前記表示手段に表示されるように、表示用データ作成手段を制御する表示制御手段とをさらに備えたことを特徴とする請求項２に記載の情報閲覧装置。
【請求項４】
前記参照データの前記表示手段における表示位置を設定する表示位置設定手段をさらに備えたことを特徴とする請求項３に記載の情報閲覧装置。
【請求項５】
前記表示位置設定手段は、前記参照データの一部の領域を前記表示手段に表示する場合において、該参照データの前記表示手段に表示する領域の初期位置を設定することを特徴とする請求項４に記載の情報閲覧装置。
【請求項６】
前記表示制御手段は、前記表示手段に表示されている第１の電子データにおける選択文字列、およびこの選択文字列に関連付けられている、前記参照データにおける参照文字列が他のデータと識別可能に表示されるように、前期表示用データ作成手段を制御することを特徴とする請求項３に記載の情報閲覧装置。
【請求項７】
前記参照データの前記表示手段に表示されている領域における文字として認識可能なデータをテキストデータに変換する変換手段をさらに備えていることを特徴とする請求項３に記載の情報閲覧装置。
【請求項８】
第２の電子データは音声データであり、前記認識手段は音声認識手段であることを特徴とする請求項１に記載の情報閲覧装置。
【請求項９】
リンクデータ作成手段が作成する前記リンクデータには、前記音声データ中における前記参照文字列に対応するデータの存在位置を示す時間情報が含まれていることを特徴とする請求項８に記載の情報閲覧装置。
【請求項１０】
請求項１から９の何れか１項に記載の情報閲覧装置を動作させる情報閲覧プログラムであって、コンピュータを上記の各手段として機能させるための情報閲覧プログラム。
【請求項１１】
請求項１０に記載の情報閲覧プログラムが記録されたことを特徴とするコンピュータ読取り可能なプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子書籍などの電子ドキュメントを、利用者が容易に理解でき、かつ、利用者にとって使い勝手の良い、情報閲覧装置、情報閲覧プログラム及び情報閲覧プログラム記録媒体に関する。
【背景技術】
【０００２】
現在、多くの電子ドキュメントはテキストデータ、画像データや音データなどから構成される。例えば、テキストデータと画像データから構成されるドキュメントなどでは、テキストデータと画像データとが別々のファイルに分離して記述されたり、同一ファイル内の離れた位置に記述されたりする。そして、ドキュメント作成者は１つの画像データに図番号などを割当てておき、テキストデータ中にて図番号を書き、読者に画像データを参照しながら文字にて説明を行う。
【０００３】
しかしながら、上記のようなテキストデータと画像データとが互いに離れた位置にある電子ドキュメントのテキストデータを読んでいる途中に画像データを見ようとすると、いちいち画像データがある位置に画面をスクロールしなければならない。
【０００４】
同様にテキストデータと音データとが互いに離れた位置にある電子ドキュメントのテキストデータを読んでいる途中に関連する音データを聞こうとすると、音データをいちいち探してから再生しなければならない。
【０００５】
そこで、例えば、ドキュメント作成者がテキストデータ中にある図番号を表す文字列とそれに対応した画像データや音データなどをあらかじめ関連付けておき（以下このように関連付けられた文字列をリンク文字列と呼ぶ）、読者がそのリンク文字列を指定すると、それに対応したデータにジャンプし、データを表示あるいは再生させる技術がある。
【０００６】
そのようなリンク文字列を作成する先行技術として、特開平６−３１４２３０（以下第1従来技術と称する）及び特開２００３−３０８３１４（以下第２従来技術と称する）がある。
【０００７】
第１従来技術では、あるデータを参照する参照体データと、その参照体データから参照される被参照データを同時に表示して、被参照体データを表す画像を参照体データにドラッグすることにより、任意の２つの電子データを関連付けることができる。図２０を用いて第１従来技術を具体的に説明する。
【０００８】
利用者がマウスなどを使って、図２０の文字列１００１を参照体データとして指定すると、その文字列が参照文字列としてメモリに記憶される。そして、利用者が、被参照体データを表す画像１００２を文字列１００１の位置にドラッグさせると、CPUが文字列１００１と被参照体画像１００２とを関連付けて記憶する。
【０００９】
第２従来技術では、電子ドキュメントを作成している時に、現在作成している電子ドキュメントに関連するデータを提示することによって、その電子ドキュメントを他の電子データと関連付けることができる。図２１のブロック図を用いて第２従来技術を具体的に説明する。
【００１０】
文書入力部１１０１にて利用者が入力した単語列は、電子ドキュメントデータベース１１０５Ｂとして電子ドキュメント内の位置情報とともに記憶部１１０５に記憶され、また文書情報抽出部１１０２及び情報検索部１１０３へ渡される。文書情報抽出部１１０２は、形態素解析などにより文書入力部１１０１から渡された単語列から電子ドキュメントの検索キーとなる単語データなどを抽出し、それを検索用データ１１０５Ａとして記憶部１１０５に記憶する。情報検索部１１０３は、文書入力部１１０１にて入力された単語列と、検索用データ１１０５Ａの検索キーとが一致するか否かを判定し、電子ドキュメントデータベース１１０５Ｂの中で一致した検索キーをもつ電子ドキュメントを検索する。文書情報提示部１１０４は、上記の検索により該当した類似電子ドキュメントを表示する。
【特許文献１】特開平６−３１４２３０号公報（平成６年１１月８日公開）
【特許文献２】特開２００３−３０８３１４号公報（平成１５年１０月３１日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来技術において、ドキュメント作成者以外の者がリンク文字列を作成する場合には、他人の作成した文書構成を把握する必要があるので、リンク文字列を作成するのに多大な労力が必要となる。以下、各従来技術についてこの課題を詳細に説明する。
【００１２】
第1従来技術では、参照体データと被参照体データとを関連付けるために、利用者が手動で被参照体データを探さなければならないので、リンク文字列を作成するのに多大な労力が必要となる。
【００１３】
第２従来技術では、利用者があるテキスト文字列とある画像データとを関連付けるためにそのテキスト文字列に関連した画像を検索する場合に、そのテキスト文字列と画像データの近傍位置のテキスト文字列とを比較し、比較により一致した文字列の近傍にある画像データを検索に該当すると想定していた。このため、画像データの説明あるいは補足をしたテキスト文字列がない場合、利用者は所望の画像データを検索できないので、リンク文字列を作成するのに多大な労力が必要となる。
【００１４】
本発明は、上記の課題を解決するためになされたものであって、多様な形態の電子ドキュメントにおいても利用者が簡単にリンク文字列を作成することができる情報閲覧装置、情報閲覧プログラム及び情報閲覧プログラム記録媒体の提供を目的としている。
【課題を解決するための手段】
【００１５】
（発明のポイント）
上記課題を解決する発明の要点は、以下のようにまとめることができる。
１．表示装置に表示されている電子ドキュメントから選択された文字列を、同一の電子ドキュメントや他の電子ドキュメントから検索して、電子ドキュメントの検索により該当したデータ部分を表示する。従って、利用者は、特定文字列に関連付けたいデータを指定する手間が省ける。
２．特定データが関連付けられた文字列を表示する場合には、その関連付けられた特定データも同時に表示する。関連付けたデータを自動的に表示することによって、利用者は表示された電子ドキュメントを容易に理解できる。
【００１６】
本発明と作用・効果の対応について、以下で詳細な説明を述べる。
本発明の情報閲覧装置は、テキストデータを含む第１の電子データ、および文字として認識可能なデータを含む第２の電子データを記憶する記憶手段と、少なくとも第１の電子データ表示するための表示用データを作成する表示用データ作成手段と、前記表示用データを表示する表示手段と、入力操作が可能な入力手段と、前記入力手段からの入力に基づいて第１の電子データにおける特定の文字列を選択文字列として指定する文字列入力処理手段と、第２の電子データから文字を認識する認識手段と、前記認識手段による認識結果に対して、前記選択文字列と一致する参照文字列となる文字列を検索する検索手段と、前記選択文字列と前記参照文字列のデータ位置との関連付けを示すリンクデータを作成するリンクデータ作成手段とを備えたことを特徴としている。
【００１７】
なお、第１の電子データと第２の電子データは同一の電子ドキュメントファイルに含まれているもの、あるいは異なる電子ドキュメントファイルに含まれているものの何れでもよい。
【００１８】
上記のように、本情報閲覧装置では、前記認識手段、前記検索手段及び前記リンクデータ作成手段を備えるので、関連付けたいデータ種類がテキストデータ以外であっても、簡単にリンクデータを作成することができる。例えば利用者が書き換えることができない読込専用ドキュメントにおいてもリンクデータを作成できる。
【００１９】
上記情報閲覧装置において、第２の電子データは文字を含む画像データであり、前記認識手段はこの画像データから文字を認識する構成としても良い。
【００２０】
上記のように、本情報閲覧装置では、前記認識手段を備えるので、利用者は関連付けたいデータ種類が画像データであっても、簡単にリンクデータを作成することができる。
【００２１】
上記情報閲覧装置は、前記表示用データ作成手段にて作成された表示用データ中に、上記リンクデータにて示される参照文字列が存在するか否かを判定する文字列有無判定手段と、前記文字列有無判定手段にて前記参照文字列が存在すると判定された場合に、第２の電子データの、前記参照文字列を含む領域の少なくとも一部が、参照データとして第１の電子データと共に前記表示手段に表示されるように、表示用データ作成手段を制御する表示制御手段とをさらに備えた構成としても良い。
【００２２】
上記構成によれば、前記文字列有無判定手段及び前記表示制御手段を備えるので、利用者はリンク文字列をマウスなどでクリックし、前記選択文字列に関連付けられた参照データの位置へジャンプする手間がかからない。
【００２３】
上記情報閲覧装置は、前記参照データの前記表示手段における表示位置を設定する表示位置設定手段をさらに備える構成としても良い。
【００２４】
上記構成によれば、前記表示位置設定手段を備えるので、利用者は自分の好みに応じて、前記参照データを表示する画面上の位置を設定できる。
【００２５】
上記情報閲覧装置において、前記表示位置設定手段は、前記参照データの一部の領域を前記表示手段に表示する場合において、該参照データの前記表示手段に表示する領域の初期位置を設定する構成としても良い。
【００２６】
上記構成によれば、前記表示位置設定手段を備えるので、表示手段に表示される参照データの初期位置を設定でき、利用者が所望の参照データ位置を見るために機器を操作をする手間が必要ない。
【００２７】
上記情報閲覧装置において、前記表示制御手段は、前記表示手段に表示されている第１の電子データにおける選択文字列、およびこの選択文字列に関連付けられている、前記参照データにおける参照文字列が他のデータと識別可能に表示されるように、前期表示用データ作成手段を制御する構成としても良い。
【００２８】
上記構成によれば、前記表示制御手段を備えるので、例えば、テキストデータの文字列と、テキストデータのリンク文字列に関連付けられた図表データの文字列との関係を一目で把握できるので、使い勝手が良い。なお、他のデータと識別可能に表示されるとは、例えば他のデータと異なる表示形態にて表示されることである。
【００２９】
上記情報閲覧装置は、前記参照データの前記表示手段に表示されている領域における文字として認識可能なデータをテキストデータに変換する変換手段をさらに備えている構成としても良い。
【００３０】
上記構成によれば、文字として認識可能な領域を前記選択文字列に関連付けられたデータの、前記表示手段に表示されている領域に限定するので、認識に要する計算の量を削減できる。また、利用者はテキストデータと、テキストデータの前記選択文字列に関連付けられた図表データとの文字列を同時に見ながら、リンクデータを作成できるので、使い勝手が良い。
【００３１】
上記情報閲覧装置において、第２の電子データは音声データであり、前記認識手段は音声認識手段であることを特徴とする構成としても良い。
【００３２】
上記構成によれば、前記認識手段を備えるので、電子ドキュメントを閲覧している途中にある単語に関連した音声データを検索する必要がない。
【００３３】
上記情報閲覧装置において、リンクデータ作成手段が作成する前記リンクデータには、前記音声データ中における前記参照文字列に対応するデータの存在位置を示す時間情報が含まれている構成としても良い。
【００３４】
上記構成によれば、前記リンクデータ作成手段を備え、参照文字列に対応する音データの存在位置を示す時間情報を関連付けるので、音の早送りや頭だしなどの手間を省くことができる。
【発明の効果】
【００３５】
以上のように、本発明の情報閲覧装置は、テキストデータを含む第１の電子データ、および文字として認識可能なデータを含む第２の電子データを記憶する記憶手段と、少なくとも第１の電子データを表示するための表示用データを作成する表示用データ作成手段と、表示手段と、入力手段と、前記入力手段からの入力に基づいて第１の電子データにおける特定の文字列を選択文字列として指定する文字列入力処理手段と、第２の電子データから文字を認識する認識手段と、前記認識手段による認識結果に対して、前記選択文字列と一致する参照文字列となる文字列を検索する検索手段と、前記選択文字列と前記参照文字列のデータ位置との関連付けを示すリンクデータを作成するリンクデータ作成手段とを備えた構成である。
【００３６】
これにより、関連付けたいデータ種類がテキストデータ以外であっても、簡単にリンクデータを作成することができる。例えば利用者が書き換えることができない読込専用ドキュメントにおいてもリンクデータを作成できる。
【発明を実施するための最良の形態】
【００３７】
以下添付図面を参照して本発明の実施の形態を説明する。
【００３８】
［ハードウェアの構成］
図２を用いて、本発明の実施形態におけるハードウェア構成について説明する。図２の情報閲覧装置は、制御装置１、入力装置２、記憶装置３、外部記憶媒体読書き装置４、表示装置５及び通信装置６によって構成され、各部はバス７によって接続される。
【００３９】
制御装置１は、プリプロセッサやメモリなどにより構成され、例えば記憶装置３が記憶している制御プログラムに従って動作する。さらに具体的には、後述する機能部による処理結果を記憶装置３に保存するとともに、記憶装置３が記憶しているデータ（以下記憶装置３のデータと略記する）を表示装置５及び通信装置６に出力する。
【００４０】
入力装置２は、カーソルキーなどの各種キーを備えたキーボード、ジョグダイヤル、手書きＯＣＲ、あるいはポインティングデバイス（例えばマウス）などによって構成され、入力装置２によって入力された信号（例えばキーボードで押下されたキーの信号）を制御装置１へ出力する。また、マイク、Ａ／Ｄコンバータ及び音声認識エンジンを別途備え、音声入力を用いても良い。
【００４１】
記憶装置３は、ＲＡＭあるいはＲＯＭなどによって構成され、入力データ、一時データ及び処理データを保存するためのワークエリアを有す。
【００４２】
また、記憶装置３は、テキスト、画像データあるいは音データなどから構成される電子ドキュメント３Ｂを記憶している。電子ドキュメント３Ｂは、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）フォーマットなどで記述しておけば良い。勿論、これらの電子ドキュメントは複数記憶することが可能である。
【００４３】
また、記憶装置３は、文字列のデータ位置と画像データなどの電子データのデータ位置との関連付けを示すリンクデータを記憶する。このリンクデータの構造については後述する。
【００４４】
外部記憶媒体読書き装置４は、SDメモリカード用リーダーライターなどによって構成され、記憶装置３に記憶されているデータの外部記憶媒体への書込み、及び外部記憶媒体のデータの記憶装置３への読込みを行う。
【００４５】
表示装置５は、ＣＲＴや液晶モニタなどにより構成され、記憶装置３のデータを表示する。
【００４６】
通信装置６は、ネットワークインタフェースカードなどにより構成され、ネットワークケーブルなどを介して接続されたサーバ装置とデータの送受信を行う。
【００４７】
［ブロック図による機能構成］
ここで、図１のブロック図を用いて、本実施の形態における情報閲覧装置の機能構成を説明する。この情報閲覧装置は、入力装置２、記憶装置３、表示装置５及び制御装置１、並びに制御装置１が実行するプログラムによって構成される文字列入力処理部１０、検索範囲指定部１１、データ検索部１２、候補データ表示制御部１３、リンクデータ作成部１４及び電子ドキュメント表示制御部１５を備える。
【００４８】
電子ドキュメント表示制御部１５は、電子ドキュメントのフォーマットを解釈し、それを表示装置５に表示するための表示用データを作成する。さらに、表示用データの中に、他のデータにリンクしているデータが存在するか否かを判定し、その判定結果に基づいて表示用データを変更する。電子ドキュメント表示制御部１５の処理については後に詳細に述べる。
【００４９】
文字列入力処理部１０は、表示装置５に表示されている電子ドキュメントの内で利用者が入力装置２を用いて選択した文字列及びその文字列のファイル位置を記憶装置３のワークエリアに記憶する。以下の説明では、文字列入力処理部１０にて入力された文字列を単に入力選択文字列と呼ぶ。
【００５０】
検索範囲指定部１１は、利用者が入力装置２を用いて指定した、電子ドキュメント３Ｂ、あるいは電子ドキュメント３Ｂの特定位置をワークエリアに記憶する。検索範囲指定部１１が指定する範囲は、データ検索部１２の検索対象となる。勿論、利用者が何も選択していない場合、つまり検索範囲指定部１１が何も指定していない場合は、記憶装置３に記憶されている全電子ドキュメント３Ｂを検索しても良い。
【００５１】
データ検索部１２は、検索範囲指定部１１が指定する電子ドキュメント３Ｂの範囲内において、入力選択文字列と同じ文字列を含む画像データ、音データや動画データなどのマルチメディアデータを検索する。データ検索部１２の処理は、後に詳細に説明する。
【００５２】
候補データ表示制御部１３は、データ検索部１２の検索により該当したデータからなる候補リストを作成し、その候補リストを表示装置５に表示する。
【００５３】
リンクデータ作成部１４は、候補データ表示制御部１３の動作にて表示装置５に表示された候補リストの内で利用者が入力装置２を用いて選択した候補と、入力選択文字列とを関連付ける。以下、入力選択文字列と関連付けられた文字列をリンク文字列（参照文字列）、入力選択文字列に関連付けられたデータを被リンクデータと呼ぶ。この被リンクデータは、図１０に示すように、リンク文字列の少なくともデータ位置を示す情報を含むものである。そして、リンクデータ作成部１４は、それらの関連付けを示すリンクデータを記憶装置３に保存する。リンクデータ作成部１４の処理は、後に詳細に説明する。
【００５４】
尚、図１の実施形態に通信装置６を加え、サーバ・クライアントシステムとしてのクライアント装置とし、記憶装置３に記憶されているリンクデータ３Ａ及び電子ドキュメント３Ｂをサーバ装置の記憶装置に記憶させても良い。
【００５５】
［フローチャートによる動作例］
（情報閲覧装置の動作の概要）
図３のフローチャートを用いて、情報閲覧装置の動作の概要について説明する。また、図４を用いて、図３のフローチャートに示した動作例について説明する。
【００５６】
Ｓ１では、電子ドキュメント表示制御部１５が、電子ドキュメントを表示装置５に表示するための表示用データを作成し、この表示用データを表示装置５が表示する。図４はＳ１の表示例を表している。Ｓ１の処理の詳細は後述する。
【００５７】
Ｓ２では、文字入力処理部１０が、利用者が入力装置２を用いて選択した文字列（入力選択文字列）及びその文字列が存在するファイル位置を記憶装置３のワークエリアに記憶する。図４では、利用者が文字列８９０“Ｆｉｇｕｒｅ  ２”を選択しており、文字入力処理部１０がその文字列及び文字列位置を記憶装置３のワークエリアに記憶している。
【００５８】
Ｓ３では、利用者が入力装置２を用いて指定した電子ドキュメント３Ｂ、あるいは電子ドキュメント３Ｂの特定範囲を検索範囲指定部１１がワークエリアに記憶する。検索範囲指定部１１がワークエリアに記憶した範囲、即ち検索範囲指定部１１が指定する範囲は、データ検索部１２の検索対象となる。尚、Ｓ３にて利用者が指定する電子ドキュメントは、表示装置５に表示されているファイル以外のものでも良い。例えば、異なる情報閲覧装置に記憶されているファイルであっても良い。
【００５９】
Ｓ４では、データ検索部１２が、Ｓ３にて指定した電子ドキュメント範囲（検索範囲指定部１１が指定する範囲）からＳ２にて記憶した入力選択文字列に関連する電子データを検索する。Ｓ４の処理の詳細は後述する。
【００６０】
Ｓ５では、候補データ表示制御部１３が、Ｓ４の検索処理にて該当した検索結果を表示するための表示用データを作成する。このとき、複数の検索結果が存在した場合には、利用者にその検索結果の選択を促す表示を行い、利用者の入力に基づいて検索結果を決定しても良い。
【００６１】
Ｓ６では、リンクデータ作成部１４が、Ｓ２にて記憶した入力選択文字列と、Ｓ５の検索結果の何れかに相当する電子データとの関連付けを示すリンクデータを作成する。Ｓ６の処理の詳細は後述する。
【００６２】
（データ検索部１２の処理）
まず、図５を用いて、データ検索部１２の機能構成について詳しく説明する。データ検索部１２は、オブジェクトデータ検出部１２０、テキスト検索部１２１、文字認識部１２２、音声認識部１２３及び動画処理部１２４から構成される。
【００６３】
オブジェクトデータ検出部１２０は、検索範囲指定部１１が指定する電子ドキュメント３Ｂ範囲に存在する、テキストデータ、画像データ、音データや動画データを検出する。
【００６４】
オブジェクトデータ検出部１２０がテキストデータを検出した場合には、テキスト検索部１２１がその検出したテキストデータ内において入力選択文字列に一致する文字列を検索し、検索に該当した文字列を検索結果として記憶装置３のワークエリアに保存する。
【００６５】
オブジェクトデータ検出部１２０が画像データを検出した場合には、文字認識部１２２がその検出した画像データの文字認識を行い、さらに文字認識部１２２がその認識結果中において入力選択文字列に一致する文字列を検索し、検索に該当した文字列を検索結果として記憶装置３のワークエリアに保存する。
【００６６】
オブジェクトデータ検出部１２０が音データを検出した場合には、音声認識部１２３がその検出した音データの音声認識を行い、さらに音声認識部１２３がその認識結果中において入力選択文字列に一致する文字列を検索し、検索に該当した文字列を検索結果として記憶装置３のワークエリアに保存する。
【００６７】
オブジェクトデータ検出部１２０が動画データを検出した場合には、動画処理部１２４がその動画データの各静止画像データに対して文字認識を行い、さらに動画データの音データに対して音声認識を行う。そして、さらに動画処理部１２４が上記処理と同様に各認識結果中に入力選択文字列に一致するものがあるか否かを検索し、検索に該当した文字列を検索結果として記憶装置３のワークエリアに保存する。
【００６８】
次に、図６のフローチャートを用いて、データ検索部１２の処理（図３のＳ４に相当）について説明する。ここでは、図７のように表示装置５に表示されている電子ドキュメントにおける文字列９００“Ｆｉｇｕｒｅ  ２”を利用者が入力装置２を用いて選択した場合（つまり“Ｆｉｇｕｒｅ  ２”が入力選択文字列の場合）、かつ利用者が入力装置２を用いて指定した結果、検索範囲指定部１１が図８の電子ドキュメント範囲９０５を指定している場合を例として説明を補足する。また、検索範囲指定部１１にて図９のような全て画像データで記述されている電子ドキュメント範囲９０５Ｂが指定された場合についても説明する。尚、検索範囲指定部１１が指定する範囲は図７の電子ドキュメントと同一である必要はなく、別のファイルであっても良い。
【００６９】
Ｓ２０では、オブジェクトデータ検出部１２０が、検索範囲指定部１１にて指定されている範囲を細分化した領域の一つである部分領域（以下この領域を検索フォーカス領域と呼ぶ）にテキストデータが存在するか否かを判定する。Ｓ２０にて検索フォーカス領域にテキストデータが存在すると判定した場合にはＳ２１の処理に進む。そうでない場合にはＳ３０の処理に進む。
【００７０】
Ｓ３０では、オブジェクトデータ検出部１２０が、検索フォーカス領域に画像データが存在するか否かを判定する。Ｓ３０にて検索フォーカス領域に画像データが存在すると判定した場合にはＳ３１の処理に進む。そうでない場合にはＳ４０の処理に進む。
【００７１】
Ｓ４０では、オブジェクトデータ検出部１２０が、検索フォーカス領域に音データが存在するか否かを判定する。Ｓ４０にて検索フォーカス領域に音データが存在すると判定した場合にはＳ４１の処理に進む。そうでない場合にはＳ５０の処理に進む。
【００７２】
Ｓ５０では、オブジェクトデータ検出部１２０が、検索フォーカス領域に動画データが存在するか否かを判定する。Ｓ５０にて検索フォーカス領域に動画データが存在すると判定した場合にはＳ５１の処理に進む。そうでない場合にはＳ６０の処理に進む。
【００７３】
Ｓ６０では、オブジェクトデータ検出部１２０が、Ｓ２０、Ｓ３０、Ｓ４０及びＳ５０での判定の対象となる領域、つまり検索フォーカス領域を更新し、検索フォーカス領域を次に進める。例えば、検索フォーカス領域は、Ｓ２０、Ｓ３０、Ｓ４０及びＳ５０にて該当するデータが存在しなかった場合には電子ドキュメントの１行分とし、１行分ずつ進められ、Ｓ２０、Ｓ３０、Ｓ４０あるいはＳ５０にて該当データが存在した場合にはそのデータ量分、つまり該当したテキストデータ、画像データ、音データ及び動画データ量分進めれば良い。
【００７４】
Ｓ６１では、検索範囲指定部１１にて指定されている範囲全てについて入力選択文字の検索を行ったか否かを判定する。全範囲について検索が行われたのであれば、図６の処理を終了する。そうでない場合はＳ２０の処理へ進む。
【００７５】
Ｓ２１では、テキスト検索部１２１が、Ｓ２０にて検知したテキストデータに文字列入力処理部１０にて入力された文字列（入力選択文字列）と同じものがあるか否かを判定する。同じ文字列（参照文字列）がある場合にはＳ２２の処理に移る。そうでない場合は、Ｓ３０の処理に移る。
【００７６】
図８の場合では、Ｓ２０にてテキストデータ９０９，９１０，９１１が検知され、Ｓ２１にて図７の入力選択文字列９００“Ｆｉｇｕｒｅ  ２”と同じ文字列のテキストデータ９１０が存在すると判定される。従って、この場合にはＳ２２の処理に移る。
【００７７】
Ｓ２２では、テキスト検索部１２１が、Ｓ２０にて検知されたテキストデータのうち、入力選択文字列に該当したデータ位置の情報を含む被リンクデータを作成し、それを記憶装置３のワークエリアに記憶する。
【００７８】
ここで、図１０を用いて被リンクデータのデータ構造について説明する。
ワークエリアに記憶される被リンクデータのデータ構造体９６０は、該当した画像データを含むファイルの名前である「被リンクデータのファイル名９６１」、検索において該当したデータのファイル位置である「被リンクデータのファイル位置９６２」、入力選択文字列と一致した文字列の座標位置「一致文字列位置９６３」、該入力された文字列（入力選択文字列）との相関の高さを示す「一致度９６４」、及び検索において該当したデータの種類を示す「データ種類９６５」から構成される。ただし、後述するが、「データ種類９６５」が画像データか音データかによって「一致文字列位置９６３」の意味は異なる。
【００７９】
Ｓ２２の処理では、入力選択文字列と一致するテキストデータがあるので、「一致度９６４」は高い値としておく（例えば１００とすれば良い）。また、「一致文字列位置９６３」としてはＳ１０にて一致したテキストが存在する座標位置などを記憶する。また、「データ種類９６５」はテキストであるので「テキストデータ」となる。
【００８０】
このように、文字列のデータ位置と画像データなどの電子データのデータ位置との関連付けを示すリンクデータは電子ドキュメントと独立したデータであるので、電子ドキュメントが読取り専用であろうと無かろうと、利用者の指示により文字列と特定の電子データ位置とを関連付けることができる。
【００８１】
Ｓ３１では、文字認識部１２２が、Ｓ３０にて検知した画像データについて文字認識を行う。
【００８２】
Ｓ３２では、文字認識部１２２が、その画像データに、入力選択文字列と一致する文字列（参照文字列）があるか否かを判定する。一致する文字列がある場合にはＳ３３の処理に移る。そうでない場合には、Ｓ４０の処理に移る。
【００８３】
Ｓ３３では、文字認識部１２２が、Ｓ２２と同様に、Ｓ３０にて検知された画像データを検索に該当したとし、検索結果として被リンクデータを作成し、記憶装置３のワークエリアに記憶する。また、１つの画像にて一致した文字列が複数あった場合は、それら全てについて被リンクデータを作成し、ワークエリアに記憶する。
【００８４】
ただし、Ｓ２２の場合と違い、被リンクデータ候補のデータ構造体において「一致度９６４」は、正規化した文字認識のマッチングスコアを記憶する。例えば、０〜１００の間に正規化すれば良い。また、「一致文字列位置９６３」は該当した画像データにおける入力選択文字列が記述されている位置となり、「データ種類９６５」は「画像データ」となる。
【００８５】
上記処理により、検索範囲指定部１１が指定する範囲において、例えば図９のように画像データとテキストデータが分離されておらず、文字列が画像データとして記憶されている場合にも、入力選択文字列を検索することができる。図９では文字列９１０Bがテキストデータではなく画像データとして保存されている。また、後述するが、「一致文字列位置９６３」を正確に記憶することによって、電子ドキュメント表示制御部１５が利用者に電子ドキュメントの内容を分かり易く表示出来る。
【００８６】
Ｓ４１では、音声認識部１２３が、Ｓ４０にて検知した音データの音声認識を行う。
【００８７】
Ｓ４２では、音声認識部１２３が、Ｓ４１の音声認識結果に、入力選択文字列と同じ文字列（参照文字列）があるか否かを判定する。同じ文字列がある場合にはＳ４３の処理に移る。そうでない場合には、Ｓ５０の処理に移る。
【００８８】
Ｓ４３では、音声認識部１２３が、Ｓ４０にて検知された音データを検索に該当したとし、被リンクデータの候補としてワークエリアに記憶する。勿論、１つの音データの音声認識結果から入力選択文字列と一致した文字列が複数あった場合（同じ単語を何度も発話している場合）は、それら全てを被リンクデータの候補として記憶装置３のワークエリアに記憶する。
【００８９】
Ｓ４３の処理では、被リンクデータの「データ種類９６５」は「音データ」となる。「一致度９６４」は、正規化した音声認識のマッチングスコアを記憶する。例えば、０〜１００の間に正規化すれば良い。また、「一致文字列位置９６３」は、該当した音データにおける入力選択文字列と同じ言葉を発話した時刻となる。
【００９０】
例えば、検索範囲指定部１１が指定する範囲において、複数の単語の意味を説明している国語の授業を録音した音声データが存在する場合には、上記のように単語と授業の音声の特定時刻とを関連付けることによって、利用者は授業のどこでその単語を説明していたかを探すために、音声位置を探さなくて良い。
【００９１】
Ｓ５１では、動画処理部１２４が、Ｓ５０にて検知した動画データの画像シーケンスの各画像データについて文字認識を行う。
【００９２】
Ｓ５２では、動画処理部１２４が、上記各画像データに、入力選択文字列と一致する文字列（参照文字列）があるか否かを判定する。一致する文字列がある場合にはＳ５３の処理に移る。そうでない場合には、Ｓ５４の処理に移る。
【００９３】
Ｓ５３では、動画処理部１２４が、Ｓ５０にて検知された動画データを検索に該当したとし、検索結果として被リンクデータを作成し、それを記憶装置３のワークエリアに記憶する。また、動画の静止画像シーケンスの中に、入力選択文字列が一致する静止画像が複数あった場合は、それら全てについて被リンクデータを作成し、記憶装置３のワークエリアに記憶する。同様に、１つの画像にて一致した文字列が複数あった場合は、それら全てについて被リンクデータを作成し、記憶装置３のワークエリアに記憶する。
【００９４】
Ｓ５３の場合には、被リンクデータの「データ種類９６５」は「動画の画像データ」となる。「一致度９６４」は、正規化した文字認識のマッチングスコアを記憶する。例えば、０〜１００の間に正規化すれば良い。また、「一致文字列位置９６３」は該当した静止画データの動画データにおける時刻及び、その該当した静止画における入力選択文字列が記述されている座標位置となる。
【００９５】
Ｓ５４では、動画処理部１２４が、Ｓ５０にて検知した動画データの音データについて音声認識を行う。
【００９６】
Ｓ５５では、動画処理部１２４が、Ｓ５４の音声認識結果に入力選択文字列と同じ文字列があるか否かを判定する。同じ文字列がある場合にはＳ５６の処理に移る。そうでない場合には、Ｓ６０の処理に移る。
【００９７】
Ｓ５６では、動画処理部１２４が、Ｓ５０にて検知した動画データを検索に該当したとし、検索結果として被リンクデータを作成し、それを記憶装置３のワークエリアに記憶する。勿論、１つの動画データの音声認識結果から入力選択文字列と一致した文字列が複数あった場合（同じ単語を何度も発話している場合）は、それら全てについて被リンクデータを作成し、記憶装置３のワークエリアに記憶する。
【００９８】
Ｓ５６の場合には、被リンクデータの「データ種類９６５」は「動画の音データ」となる。「一致度９６４」は、正規化した音声認識のマッチングスコアを記憶する。例えば、０〜１００の間に正規化すれば良い。また、「一致文字列位置９６３」は、該当した音データにおける入力選択文字列と同じ言葉を発話した時刻となる。
【００９９】
例えば、アニメを用いて複数の単語の意味を説明している動画データがあるような場合には、上記のように特定単語と画像シーケンスの特定画像の特定座標位置を関連付けたり、特定単語と音声の特定時刻とを関連付けたりすることによって、利用者は授業のどこで（どの時刻に）その単語が説明されていたかを探すために、動画位置を探さなくて良い。
【０１００】
Ｓ６１にて、検索が完了したと判定されると、候補データ表示制御部１３が表示装置５にＳ２２，Ｓ３３、Ｓ４３、Ｓ５３及びＳ５６にて記憶された被リンクデータの候補を一致度９６４が高い順に出力する。一致度９６４が高い候補ほど利用者にとって所望の候補であるので、利用者は所望の候補を選ぶのに手間がかからない。
【０１０１】
（リンクデータ作成部１４の処理）
ここで、リンクデータ作成部１４の処理（図３のＳ６に相当）について詳細に説明する。
【０１０２】
リンクデータ作成部１４は、候補データ表示制御部１３にて表示された被リンクデータのリストの内で利用者が入力装置２を用いて選択した被リンクデータと、入力選択文字列とを関連付ける。ここで、図１０を用いてそれらの関連付けを表すリンクデータのデータ構造について詳細に説明する。
【０１０３】
リンクデータ３Ａは、入力選択文字列の内容「文字列内容９５１」、その入力選択文字列のファイル位置を示す「文字列ファイル位置９５２」及び利用者が選択した被リンクデータである「被リンクデータ９６０」から構成される。このうち、被リンクデータ９６０は、上記で説明したデータ構造である。リンクデータは、文字列ファイル位置９５２の位置にある文字列内容９５１の文字列と、被リンクデータ９６０とを関連付けることを示す。
【０１０４】
尚、図７の電子ドキュメントの文字列９００“Ｆｉｇｕｒｅ  ２”を利用者が入力装置２を用いて選択（つまり“Ｆｉｇｕｒｅ  ２”が入力選択文字列）した後にリンクデータ作成部１４が入力選択文字列９００とある被リンクデータとを関連付ける際に、文字列９０１“Ｆｉｇｕｒｅ  ２”にも文字列９００と同じ被リンクデータを自動的に関連付けても良い。具体的には、リンクデータ３Ａを同時に複数作る処理を行う。さらに言うと、電子ドキュメントの表示装置５に表示されていない領域に存在する文字列“Ｆｉｇｕｒｅ  ２”の全てに被リンクデータを関連付けても良い。このように同じ文字列を同時に関連付けることによって、電子ドキュメント表示制御部１５が利用者に電子ドキュメントの内容を分かり易く表示出来る。
【０１０５】
（電子ドキュメント表示制御部１５の処理）
まず、図１１を用いて、電子ドキュメント表示制御部１５の機能構成について詳しく説明する。電子ドキュメント表示制御部１５は、表示用データ作成部１５０、リンク文字列検出部１５１、デフォルト位置設定部１５２、識別表示指示処理部１５３、部分リンクデータ作成部１５４及び表示用データ更新部１５５から構成される。
【０１０６】
表示用データ作成部１５０は、電子ドキュメントのフォーマットを解釈し、それを表示装置５に表示するための表示用データを作成する。
【０１０７】
リンク文字列検出部１５１は、表示用データ作成部１５０が作成した表示用データの中に、他のデータへのリンクを示すリンク文字列が存在するか否かを判定する。
【０１０８】
デフォルト位置設定部１５２は、利用者が入力装置２を用いて行った指示に基づいて、被リンクデータのどの位置から表示するかを決定する。この処理については後述する。
【０１０９】
識別表示指示処理部１５３は、利用者が入力装置２を用いて選択した選択文字列及び、その選択文字列に関連付けられている被リンクデータにおける文字列を他のデータと識別できるように表示する。この処理については後述する。
【０１１０】
部分リンクデータ作成部１５４は、被リンクデータが表示される表示装置５の領域において、入力選択文字列と同じ文字列を含む画像データ、音データや動画データなどのマルチメディアデータを検索する。部分リンクデータ作成部１５４の処理はデータ検索部１２とほぼ同じであるが、検索対象となる領域が違う。
【０１１１】
表示用データ更新部１５５は、リンク文字列検出部１５１と識別表示指示処理部１５３の指示に基づいて、表示用データを更新する。
【０１１２】
次に、図１２のフローチャートを用いて、電子ドキュメント表示制御部１５の処理について説明する。ここでは、図７のように表示装置５に表示されている表示用データにおける文字列９００“Ｆｉｇｕｒｅ  ２”と図８の画像データ９０７との関連付けを示すリンクデータが作成されていることを前提として説明を補足する。
【０１１３】
Ｓ１００では、表示用データ作成部１５０が、記憶装置３の電子ドキュメント３Ｂを表示装置５へ出力するための表示用データを作成する。
【０１１４】
Ｓ１０１では、リンク文字列検出部１５１が、Ｓ１００にて作成した表示用データの領域にリンク文字列、つまりリンクデータの文字列内容９５１に示される文字列があるか否かを判定する。もし、リンク文字列が存在するならばＳ１０３の処理に移る。そうでないなら、Ｓ１０２の処理に移り、Ｓ１００にて作成した表示用データを表示装置５へ出力する。
【０１１５】
Ｓ１０３では、リンク文字列検出部１５１が、リンク文字列に相当するリンクデータを記憶装置３から取得する。
【０１１６】
Ｓ１０４では、Ｓ１０３にて得たリンクデータを利用者に提示するために表示レイアウトを更新する。ここで、このＳ１０４の処理ついて図１３のフローチャートを用いて詳細に説明する。
【０１１７】
Ｓ２０１では、表示用データ更新部１５５が、Ｓ１０３にて取得したリンクデータの被リンクデータ９６０を表示するために表示レイアウトを変更する。Ｓ２０２では、Ｓ２０１にて変更した表示レイアウトを表示装置５へ出力する。
【０１１８】
図１４は、被リンクデータ９６０のデータ種類９６５が「テキストデータ」であった場合のＳ２０２の表示例を示している。図１４では、図７のようなテキストデータのみの表示レイアウトが、 “Ｆｉｇｕｒｅ  ２”に関連付けられた被リンクデータを９７０の領域に表示する表示レイアウトに変更されている（以下、図１４の９７０のような、関連付けられた被リンクデータが表示される領域を被リンク表示領域と呼ぶ。また、それに対し被リンク表示領域９７０以外の領域を本文表示領域９７２と呼ぶ）。
【０１１９】
ここで、図１４の本文表示領域９７２のテキストデータは被リンク表示領域９７０に対して重ならないように表示されている（以下このような表示を回り込み表示と呼ぶ）。このように表示することによって、利用者の被リンクデータの表示／非表示を切替える手間を省くことができる。また、スクロールバー９７１により被リンク表示領域９７０はスクロール可能になっており、利用者は所望の情報を手軽に参照できる。さらに、被リンクデータの一致文字列位置９６３、即ち“Ｆｉｇｕｒｅ  ２”の位置が被リンク表示領域９７０の中央に来るように表示されている。尚、この表示位置は以下に説明するが変更可能である。
【０１２０】
尚、図１４のように被リンク表示領域９７０を表示画面の右下に寄せる必要はない。例えば、図１５のようにリンク文字列の直下の行に被リンク表示領域９７０を位置させても良い。図１５のように表示すると、リンク文字列とそれに関連するデータの位置が近いので、読者は視線を移動する手間が省ける。
【０１２１】
さらに、利用者の入力装置２の入力に基づいて、デフォルト位置設定部１５２が被リンク表示領域９７０の位置を任意に設定できるようにしても良い。利用者の好みを反映できるので、利用者にとって使い勝手が良い。
【０１２２】
また、被リンクデータ９６０のデータ種類９６５が「画像データ」であった場合でも、上記説明した、被リンクデータ９６０のデータ種類９６５が「テキストデータ」である処理と同じである。
【０１２３】
図１６は、被リンクデータ９６０のデータ種類９６５が「音データ」であった場合のＳ２０２の表示例を示している。図１６では、データ種類９６５が「音データ」である二つの被リンクデータが文字列“ｓｏｌａｒ  ｓｙｓｔｅｍ”９８０に関連付けられている。ただし、二つの被リンクデータは同じ音声ファイルの異なる時刻を示しているものとする。つまり、二つの被リンクデータは、ファイル名９６１およびファイル位置９６２が同じであり、一致文字列位置９６３が異なっている。そして、図１６では、１つの音データに対して、特定時刻から頭だし再生できる再生ボタン（９８１と９８２）が表示されている。それらの時刻は、各被リンクデータの一致文字列位置９６３にて示される時刻である。利用者がこれら再生ボタン９８１あるいは９８２をクリックすると、対応する時刻から音データを再生する。
【０１２４】
上記のように、リンク文字列を発話している音声データ位置から再生できる再生ボタンを表示することによって、音声の早送りや頭だしなどの手間を省くことができる。つまり、利用者は、わざわざある単語の説明文の音声を探す手間がなくなる
図１７は、被リンクデータ９６０のデータ種類９６５が複数の「動画の画像データ」であった場合のＳ２０２の表示例を示している。図１７の９９２の領域に動画の画像ストリームデータが表示される。そして、全被リンクデータが文字列“ｓｏｌａｒ  ｓｙｓｔｅｍ”９８０に関連付けられている。利用者が再生ボタン９９０をクリックすると、文字列“ｓｏｌａｒ  ｓｙｓｔｅｍ”が存在する画像位置から動画の再生をする。
【０１２５】
また、図１７では、データ種類９６５が「動画の画像データ」であった場合の全被リンクデータにおいて互いにファイル名９６１とファイル位置９６２が同じである状況となっている。即ち複数のリンクデータが同じ動画データを被リンクデータとして指し、さらにその動画データの連続した時刻を指している。この状況では、９９１（斜線表示）に示すように、その被リンクデータに相当する区間が識別できるように表示されている。尚、データ種類９６５が複数の「動画の音データ」であった場合は、データ種類９６５が複数の「音データ」の場合と同じ処理をすれば良い。
【０１２６】
上記のようにリンク文字列を表示する画像位置から再生できる再生ボタン９９０を表示することによって、例えば、動画の早送りや頭だしなどの手間を省くことができる。また、図１７の９９１のように、動画データ中のリンク文字列が表示される区間が利用者に識別できるように表示することによって、利用者はどの区間が関連した映像があるかが分かり易い。
【０１２７】
Ｓ１００にて作成した表示用データの領域に複数のリンク文字列が存在する場合は、各リンク文字列に関連付けられた被リンクデータの全てを一度に表示しても良い。しかしながら、表示画面の一番上に位置するリンク文字列に関連する被リンクデータのみを表示することが望ましい。なぜなら、被リンクデータを一度に多く表示しすぎると、逆に読者にとって電子ドキュメントが見難くなるからである。
【０１２８】
Ｓ２０３では、デフォルト位置設定部１５２が、利用者から被リンク表示領域９７０に表示する被リンクデータの位置をスクロールする指示がなされたか否かを判定する。利用者がそのような指示をしたと判定した場合はＳ２０４の処理に移る。そうでない場合は、Ｓ２０６の処理に移る。
【０１２９】
Ｓ２０４では、デフォルト位置設定部１５２が、利用者によって指定された被リンク表示領域９７０に表示する被リンクデータのデフォルト位置を設定する。そして、Ｓ２０４の対象となっている被リンクデータの一致文字列位置９６３を、新しく指定したデフォルト位置に置き換える。例えば、図１４のような場合では、利用者が被リンク表示領域９７０にあるスクロールバー９７１を用いて画面を切替えた後、入力装置２の位置設定ボタン等を押すことによって、デフォルト位置を指定できるようにすれば良い。
【０１３０】
ここで、図１８（Ａ）〜図１８（Ｃ）を用いて、Ｓ２０３とＳ２０４の具体的な処理及び、その効果について説明する。
【０１３１】
図１８では、（Ａ）の画像に含まれる文字“大”９９５Ａが本文中の文字列に関連付けられたとしている。その時、（Ｂ）にて示されるように、（Ａ）の画像の一部を被参照データ領域９７０に表示すると、利用者は所望の“大”の文字９９５Ｂを見るためにスクロールしなければならない。そこで、例えば（Ｃ）に示すように、利用者が“大”の文字９９５Ｃが中央に来るように画像を一度スクロールさせ、位置設定ボタン等を押し、デフォルト位置を指定できるようにする。そうすれば、次回から利用者は「大」の文字を見るために毎回スクロールする手間がなくなる。
【０１３２】
また、上記と同様の操作にて、デフォルト表示される画像サイズの拡大・縮小率を設定できるようにしても良い。ただし、その場合では被リンクデータ９６０はデフォルト拡大率のデータ項目を持つ必要がある。デフォルトの拡大・縮小率を設定できると、画像データの原寸大きさに関わらず、利用者にとって見易い表示が可能となる。
【０１３３】
Ｓ２０６では、識別表示指示処理部１５３が、利用者から特定文字の識別表示の指示があったか否かを判定する。もし利用者が特定文字の識別表示を指示したと判断した場合にはＳ２０７の処理に移る。そうでない場合にはＳ２０９の処理に移る。
【０１３４】
Ｓ２０７では、識別表示指示処理部１５３が、被リンク表示領域９７０にて表示されている文字列を検出する。このとき、画像データに対しても文字認識を行い、文字列を検出する。尚、文字列を検出する領域を被リンク表示領域９７０にて表示されている部分に制限する必要はない。ただし、文字列検出の対象領域を大きくするほど、文字列検出のための計算量が大きくなってしまう。
【０１３５】
Ｓ２０８では、本文表示領域９７２の文字列の中に、Ｓ２０７で検出した文字列と一致したものがあれば、表示用データ更新部１５５が、一致した文字列とそれ以外の文字列とを識別できるように識別表示を行う。
【０１３６】
図１９は、その１例を示している。図１９では、被リンク表示領域９７０に表示されている文字列“９２３”と“９２１”が検出され、その検出された文字列が本文表示領域９７２にあるので、それらが点線で囲まれ識別表示されている。尚、図１９は一例であり、文字列の背景色を変えたり、文字列にアンダーラインを引いたり、文字列のフォント種類を変えたりして、識別表示しても良い。このように、本文表示領域９７２と被リンク表示領域９７０において同じ文字列がある場合に、それらを識別表示することにより、利用者は電子ドキュメントの内容を容易に把握できる。
【０１３７】
Ｓ２０９では、利用者から部分リンクデータの作成指示がなされたか否かを判定する。ここで、部分リンクデータとは被リンク表示領域９７０に表示されているデータと本文表示領域９７２にあるデータとの関連付けを示すリンクデータであり、上述したリンクデータとは異なる。即ち、部分リンクデータは、限定された領域からの検索に基づいて作成されるので、通常のリンクデータと区別する。利用者から部分リンクデータの作成指示がなされたと判定された場合には、Ｓ２１０の処理に移る。またそうでない場合にはＳ２１３の処理に移る。
【０１３８】
Ｓ２１０では、本文表示領域９７２における、利用者によって選択された文字列を入力する。
【０１３９】
Ｓ２１１では、部分リンクデータ作成部１５４が、表示されている被リンク表示領域９７０の領域に限定してＳ２１０にて入力された文字列を検索する。そして、検索により該当する文字列があれば、利用者が入力装置２を用いてその該当結果を選択できるように表示装置５に表示する。このように、検索する領域を、表示されている被リンク表示領域９７０に限定するので、検索に要する計算の量を削減できる。また、利用者はテキストデータと、テキストデータのリンク文字列に関連付けられた図表データとの文字列を同時に見ながら、リンク文字列を作成できるので、使い勝手が良い。ただし、文字列の検索範囲を表示されている被リンク表示領域９７０に完全に限定する必要はなく、表示していない部分も検索しても良い。ただし、文字列の検索範囲を被リンク表示領域９７０に表示されている部分に限定すると、余分な計算量を削減することができる。
【０１４０】
Ｓ２１２では、部分リンクデータ作成部１５４が、Ｓ２１１にて該当した文字列の内利用者が選択したものと、Ｓ２１０にて選択された文字列とを関連付けたことを示す部分リンクデータを作成する。
【０１４１】
これらの処理はデータ検索部１２と同じ処理であるが、利用者は本文表示領域９７２のテキストを参照しながら、被リンク表示領域９７０に表示されている文字列との関連付けを行えるので、利用者にとってより使い勝手が良い。
【０１４２】
Ｓ２１３では、利用者から本文表示領域のスクロール指示がなされたか否かを判定する。スクロール指示があった場合は、図１３のフローチャートの処理を終える。
【０１４３】
［ソフトウェアでの実施例］
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、他のシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータＣＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１４４】
この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４５】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、等を用いることができる。
【０１４６】
また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから記録装置等へダウンロードされるものであってもよい。
【０１４７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４９】
以上で述べたように、本発明のデータ検索部１２の効果により、例えば、あるテキストデータと、図９のように画像データとテキストデータが分離されておらず文字列も画像データとして記憶されているデータを関連付ける場合にも、二つのデータを簡単に関連付けることができる。
【０１５０】
また、本発明のリンクデータは電子ドキュメントと独立したデータ構造であるので、ドキュメントが読取り専用であろうと無かろうと、利用者は二つのデータを関連付けることができる。
【０１５１】
また、電子ドキュメントの表示装置に表示する表示用データにリンクデータが存在した場合には、例えば、図１４や図１５のように対応する被リンクデータを表示する。従って、利用者はリンク文字列をマウスなどでクリックし、対応する画像データの位置へジャンプする手間がかからない。また、読者は本文データを見ながら被リンクデータを参照することができるので、電子ドキュメントを容易に把握できる。
【０１５２】
また、上記のように文字列と音データの特定時刻とを関連付け、さらに、音データの特定時刻が関連付けられたリンク文字列がある場合にはその音データ位置を再生する再生ボタンを表示する。従って、電子ドキュメントを閲覧している途中にある単語に関連した音声データを検索する必要がない。また、文字列と音データの特定時刻とを関連付けるので、音声の早送りや頭だしなどの手間を省くことができる。
【０１５３】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０１５４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１５５】
本発明は、電子書籍などマルチメディアデータを含む電子ドキュメントを閲覧する装置に適用可能である。
【図面の簡単な説明】
【０１５６】
【図１】本発明の実施の一形態を示すものであって、本発明の情報閲覧装置の機能的な構成を示すブロック図である。
【図２】図１に示した情報閲覧装置のハードウェア構成を示すブロック図である。
【図３】図１に示した情報閲覧装置の処理動作の概要を説明するフローチャートである。
【図４】図１に示した表示装置に表示されている電子ドキュメントの一例を示す説明図である。
【図５】図１のデータ検索部の詳細な機能構成を示すブロック図である。
【図６】図１のデータ検索部の処理動作を説明するフローチャートである。
【図７】図１に示した表示装置に表示されている電子ドキュメントの一例を示す説明図である。
【図８】図１に示した検索範囲指定部による電子ドキュメントの指定動作の一例を示す説明図である。
【図９】図１に示した検索範囲指定部による電子ドキュメントの指定動作の他の例を示す説明図である。
【図１０】図１に示したリンクデータ作成部が作成するリンクデータの構造を示す説明図である。
【図１１】図１に示した電子ドキュメント表示制御部の詳細な機能構成を示すブロック図である。
【図１２】図１に示した電子ドキュメント表示制御部の処理動作を説明するフローチャートである。
【図１３】図１２に示した、電子ドキュメント表示制御部におけるＳ１０４の処理を詳細に説明するフローチャートである。
【図１４】図１３に示した、電子ドキュメント表示制御部におけるＳ２０２の動作に基づく表示装置での表示例を示すものであって、本文の電子ドキュメントと共にテキストデータの被リンクデータが表示された状態を示す説明図である。
【図１５】図１４に示した表示例の他の例を示す説明図である。
【図１６】図１３に示した、電子ドキュメント表示制御部におけるＳ２０２の動作に基づく表示装置でのさらに他の表示例を示すものであって、表示装置に本文の電子ドキュメントと共に音データの被リンクデータが表示された状態を示す説明図である。
【図１７】図１３に示した、電子ドキュメント表示制御部におけるＳ２０２の動作に基づく表示装置でのさらに他の表示例を示すものであって、表示装置に本文の電子ドキュメントと共に動画データの被リンクデータが表示された状態を示す説明図である。
【図１８】図１８（Ａ）は、図１３に示した、デフォルト位置設定部におけるＳ２０３とＳ２０４の具体的な動作例を説明するものであって、画像に含まれる文字“大”が本文中の文字列に関連付けられた状態を示す説明図、図１８（Ｂ）は、図１８（Ａ）に示した画像の一部が被参照データ領域に表示された状態を示す説明図、図１８（Ｃ）は、ユーザにて“大”の文字が中央に来るように画像がスクロールされた状態を示す説明図である。
【図１９】図１３に示した、電子ドキュメント表示制御部におけるＳ２０８の動作に基づく表示装置での表示例を示す説明図である。
【図２０】参照体データと被参照体データとを関連付ける従来技術（第１従来技術）を説明するための図である。
【図２１】参照体データと被参照体データとを関連付ける従来技術（第２従来技術）を説明するためのブロック図である。
【符号の説明】
【０１５７】
１  制御装置
２  入力装置（入力手段）
３  記憶装置（記憶手段）
４  外部記憶媒体読書き装置
５  表示装置（表示手段）
６  通信装置
７  バス
１０  文字列入力処理部（文字列入力処理手段）
１１  検索範囲指定部
１２  データ検索部（認識手段、検索手段）
１３  候補データ表示制御部
１４  リンクデータ作成部（リンクデータ作成手段）
１５  電子ドキュメント表示制御部
１２０  オブジェクトデータ検出部
１２１  テキスト検索部
１２２  文字認識部
１２３  音声認識部
１２４  動画処理部
１５０  表示用データ作成部（表示用データ作成手段）
１５１  リンク文字列検出部（選択文字列有無判定手段）
１５２  デフォルト位置設定部（表示位置設定手段）
１５３  識別表示指示処理部
１５４  部分リンクデータ作成部（変換手段）
１５５  表示用データ更新部（表示制御手段）
【図１】
2006065588.tif 000003
【図２】
2006065588.tif 000004
【図３】
2006065588.tif 000005
【図４】
2006065588.tif 000006
【図５】
2006065588.tif 000007
【図６】
2006065588.tif 000008
【図７】
2006065588.tif 000009
【図８】
2006065588.tif 000010
【図９】
2006065588.tif 000011
【図１０】
2006065588.tif 000012
【図１１】
2006065588.tif 000013
【図１２】
2006065588.tif 000014
【図１３】
2006065588.tif 000015
【図１４】
2006065588.tif 000016
【図１５】
2006065588.tif 000017
【図１６】
2006065588.tif 000018
【図１７】
2006065588.tif 000019
【図１８】
2006065588.tif 000020
【図１９】
2006065588.tif 000021
【図２０】
2006065588.tif 000022
【図２１】
2006065588.tif 000023