(57)【要約】【課題】動画像等を含む文書の再生中にユーザが画面上で対象物に対し位置指定した際に、意図しない対象物が指定選択されることなく表示態様の通りに適切な対象物が対応付けられる文書再生装置を提供する【解決手段】文書描画装置は、動画像や文字列等の種々のデータを描画処理する画像描画装置に対し、マウス等の位置指定手段により指定された位置がどのデータの形状領域内であるかを問い合わせる。例えば画像描画装置はＭＰＥＧ−４などの符号化方式に対応しており、表示対象物の描画フレーム上の色情報および形状を、その動画像の符号化データを復号することによって取得し、これに基づき位置指定手段による指定位置に対応付けられるべきデータを特定する。【選択図】　　図１
2004094345.tif 000002
【特許請求の範囲】
【請求項１】
動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生装置において、
前記データの描画フレームを生成し、該描画フレームを再生時間に沿って更新する画像描画手段と、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画する文書描画手段と、
前記表示領域内の任意の位置を指定する位置指定手段と、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得する形状取得手段と、
前記位置指定手段により指定された位置が、前記形状の内部に含まれるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記位置指定手段により指定された位置に対応付けるべきデータを特定する特定手段と、
を具備することを特徴とする文書再生装置。
【請求項２】
前記画像描画手段は、
文字列を構成する文字を事前に設定されたフォントを用いて一の領域内に配列し、描画フレームを生成する手段と、
前記文字の配列結果をそのフォント設定とともに記憶し、前記描画フレームの再生成に供する手段と、
を具備することを特徴とする請求項１に記載の文書再生装置。
【請求項３】
前記画像描画手段は、前記データに予め設定された非透過色の背景を前記形状の内部に含めることを特徴とする請求項１又は２に記載の文書再生装置。
【請求項４】
前記特定手段により特定されたデータの形状を強調表示する手段をさらに具備することを特徴とする請求項１乃至３のいずれかに記載の文書再生装置。
【請求項５】
前記特定手段により特定されたデータの注釈を表示する手段をさらに具備することを特徴とする請求項１乃至４のいずれかに記載の文書再生装置。
【請求項６】
前記特定手段により特定されるデータの変化に応じて前記注釈の表示内容を制御する手段をさらに具備することを特徴とする請求項５に記載の文書再生装置。
【請求項７】
前記特定手段は、前記データに予め設定された関連情報を特定することを特徴とする請求項１乃至６のいずれかに記載の文書再生装置。
【請求項８】
前記関連情報を強調表示する手段をさらに具備することを特徴とする請求項７に記載の文書再生装置。
【請求項９】
前記関連情報の注釈を表示する手段をさらに具備することを特徴とする請求項７又は８に記載の文書再生装置。
【請求項１０】
前記特定手段により特定されるデータの変化に伴う前記関連情報の変化に応じて前記注釈の表示内容を制御する手段をさらに具備することを特徴とする請求項９に記載の文書再生装置。
【請求項１１】
前記文書描画手段から前記画像描画手段への描画指示が与えられるタイミングを、該画像描画手段の描画期間中を回避するよう制御する描画指示制御手段をさらに具備することを特徴とする請求項１乃至１０のいずれかに記載の文書再生装置。
【請求項１２】
動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生方法において、
前記データの描画フレームを生成し、
前記描画フレームを再生時間に沿って更新し、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画し、
前記表示領域内の任意の位置を指定し、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得し、
指定された前記表示領域内の任意の位置が、前記形状の内部に含まれるか否かを判定し、
かかる判定結果に基づいて、前記位置に対応付けるべきデータを特定すること特徴とする文書再生方法。
【請求項１３】
動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生するプログラムにおいて、
前記データの描画フレームを生成するステップ、
前記描画フレームを再生時間に沿って更新するステップ、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画するステップ、
前記表示領域内の任意の位置を指定するステップ、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得するステップ、
指定された前記表示領域内の任意の位置が、前記形状の内部に含まれるか否かを判定するステップ、
かかる判定結果に基づいて、前記位置に対応付けるべきデータを特定するステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字、静止画、動画像など複数種のデータから構成される文書を再生可能な文書再生装置に関する。
【０００２】
【従来の技術】
近年、文字、静止画、動画像など複数のメディアからなる文書を表示し、ユーザの入力に対話的に応答する装置が開発されている。例えば、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｇｒａｔｉｏｎ　Ｌａｎｇｕａｇｅ）は、異なる形式の複数のデータについてそれぞれ時間を指定して再生する方法を記述する文書形式として広く採用されており、ＳＭＩＬ文書を表示するソフトウェアが開発されている。他に、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）に時間処理を追加した形式の文書を表示するものもある。これらは、異一般に「ウェブブラウザ」と称される。
【０００３】
データの表示は領域を指定して行うことができ、順序を指定して重ねあわせを行うことができる。動画像の再生においては時間の経過に従って表示が更新される。動画像が他のデータの表示に部分的に隠されている場合は、可視の部分のみ表示が更新される。またＧＩＦ形式で符号化された画像を用いて、矩形で表現される画像の表示領域の一部が透過である非矩形の図形を、静止画またはアニメーションとして表示することも行われている。
【０００４】
表示した文書に対してユーザが入力を行い、文書を表示するソフトウェアがユーザの入力に対して応答することが可能である。例えば、ＳＭＩＬ文書の表示において、特定の画像にカーソルを移動してクリックした場合、画像に関連付けられている他のＳＭＩＬ文書を表示することができる。
【０００５】
また、データの表示領域あるいはデータの関連情報が設定された領域について、境界を強調表示することにより、ユーザがどのデータに対して指示を出したのかを明示することが行われている。また、ユーザの入力操作が一定時間無い場合に、ユーザが入力を意図している座標に関連するデータおよびデータの関連情報について注釈を出すことが行われている。
【０００６】
データが表示され得る領域は、静止画の場合には復号によって一意に求まる。動画像の場合にはフレームごとに更新される。文字列の場合には文書を表示する装置が、設定されたフォントに基づいて、領域内に文字が適切に収まるように文字の配置を描画時に決定する。
【０００７】
文書に含まれる複数の動画像を同時に再生する場合に、それぞれの動画像についてフレームの更新時間は異なる可能性がある。また、一つの動画像であってもフレームの更新時間はそれぞれ異なる可能性がある。そのため、すべての動画像についてフレームが更新された場合に動画像の再描画を行なう必要がある。また、動画像の上下に他のデータの表示が重なっている場合には、重なっている部分の他のデータの表示を再描画する必要がある。
【０００８】
【発明が解決しようとする課題】
ユーザは画面を見て位置指示等の入力を行うので、表示によりユーザに認識される情報と動画像の形状情報の両者は一致している必要がある。しかしながら従来の文書再生装置には、形状が変化する動画像を適切に扱う機能を備えていない。具体的には、従来の文書再生装置はユーザが指示した座標に表示されているデータを特定する際に、動画像のフレームごとの形状を使用せず、動画像のフレームの最大表示領域を用いている。そのため、フレームの形状の外部までをも表示領域とみなし、ユーザによる指示位置に対して意図しないデータが対応付けられてしまう。その結果、ユーザが全く意図していない関連情報へのイベントが発生したり、強調表示がなされたり、注釈が表示されることがある。
【０００９】
また、文書のデータに背景色が設定されている場合、データの形状は背景色の設定を含めた領域となる。該領域は文書中で指示される他、動画像フレームの各フレームに設定された、フレームごとに異なる領域である場合がある。しかし、従来の文書再生装置では、背景色が描画されなかったり、背景色を考慮してユーザが指示した座標に表示されているデータを特定することができない。
【００１０】
また、文字列の表示においては、文字列に重なっている動画像のフレームの更新に伴って再描画される場合がある。しかし、従来の文書再生装置では、同一文字列を再描画する際に文字の配置を再び決定するための処理の負荷が大きいという問題がある。
【００１１】
また、複数の動画像を同時に再生する際に、文書再生装置の処理能力が不足するとフレームの規定表示時間以内に描画が完了しない場合がある。これにより文書再生の時間的な遅れの問題が生じることがある。すべてのフレームを更新できる十分な処理能力がある場合でも、動画像が重なっている場合には同一のフレームが繰り返し描画されることがあり、効率的でない。また、文書再生装置への処理負荷はできるだけ少なくすることが好ましい。
【００１２】
また、文書の再生においては実時間性が重視されるが、このため文書再生装置の処理能力が不足した際に、実際に表示されるべきフレームよりも前のフレームが表示されたままになることがある。この場合に従来の文書再生装置では、最後に描画され、表示されているフレームではなく、最後に復号されたフレームに対して、指定位置についての判定を行ってしまうため、ユーザが意図しない動作が行われる問題がある。
【００１３】
本発明はかかる事情を考慮してなされたものであり、動画像等を含む文書の再生中にユーザが画面上で対象物に対し位置指定した際に、意図しない対象物が指定選択されることなく表示態様の通りに適切な対象物が対応付けられる文書再生装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る文書再生装置は、動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生装置において、前記データの描画フレームを生成し、該描画フレームを再生時間に沿って更新する画像描画手段と、前記画像描画手段により生成又は更新された描画フレームを表示領域に描画する文書描画手段と、前記表示領域内の任意の位置を指定する位置指定手段と、生成又は更新された前記描画フレームにおける表示対象物の形状を取得する形状取得手段と、前記位置指定手段により指定された位置が、前記形状の内部に含まれるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記位置指定手段により指定された位置に対応付けるべきデータを特定する特定手段と、を具備することを特徴とする文書再生装置である。
【００１５】
【発明の実施の形態】
以下、本発明の実施例の形態を図面を参照しながら説明する。
【００１６】
図１は本発明の一実施形態に係る文書再生装置の概略構成を示すブロック図である。同図に示すように本実施形態の文書再生装置１０は、文書解析装置１、文書描画装置２、画像描画装置３、描画指示装置４、受信装置５、時間計測装置６、および入出力処理装置１３から構成されており、キーボードやマウスなどの入力装置１１、およびＣＲＴや液晶ディスプレイなどの表示装置１２が接続されている。このような本実施形態の文書再生装置１０は、ＣＰＵおよびメモリ等の一般的なハードウェアを備えたコンピュータ上で動作するソフトウェアとして実施することができる。尚、この場合において文書再生装置１０の構成要素の一部を、処理速度向上等のために専用のハードウェアによって実現してもよい。
【００１７】
文書解析装置１は、一つ以上のデータから構成される文書の解析を行い、かかる文書の解析結果に従って適切に文書を表示再生するよう文書描画装置２に指示する。これには、例えば、文書中に予め指定されている時間（スケジュール）に従って文書を構成するデータの表示が行われるよう文書描画装置２に指示を行うことが挙げられる。文書および文書を構成するデータは、ハードディスク等の記録媒体から取得することができる他、受信装置５を介してネットワークから受信することが可能である。
【００１８】
文書描画装置２は、文書再生処理を総合的に処理する部分であり、文書解析装置１による解析結果に基づく指示に従い、文書に含まれるデータの表示および非表示の切り替え、あるいは表示領域の変更等を行う。動画像や音声など、時間軸に沿って変化するデータを扱う場合には、その再生や一時停止等の制御についてもこれを行う。なお、表示対象のデータは文書解析装置１を通じて受信する。
【００１９】
画像描画装置３は文書描画装置２からの指示により、指定された領域にデータの描画を行うものであり、例えばＭＰＥＧ（Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−４など特定の符号化方式に対応する処理回路を備えた専用のハードウェアを用いて構成することができる。すなわち画像描画装置３は、符号化された動画像データを扱うことができ、これを描画する際には、先ず復号を行って動画像を構成する各フレームの色情報および形状を取得する。例えばＭＰＥＧ−４の映像ストリームには、フレーム毎に色情報および形状を符号化する機能が備えられており、これにより形状が符号化されている動画像を復号処理することで形状の原画像を取得する。
【００２０】
また、画像描画装置３は、フレームの表示スケジュールに従って映像フレーム等を更新し、その旨を文書描画装置２に通知する。また、画像描画装置３は、データの数およびメディアの種類に対応すべく複数（例えば図１の例では二つ）、備えることが可能である。また、画像描画装置３は、文字列を表示する際に、指定の領域に文字列が収まるよう文字の折り返し位置を計算し、文字列を構成する文字の配置を決定する。
【００２１】
画像描画装置３により描画処理されるデータは、文書解析装置１が文書描画装置２に送信し、これを文書描画装置２が画像描画装置３に送信することによって与えられる。また文書解析装置１および文書描画装置２は、再生するデータ自体ではなく、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）などで表現されるデータの取得方法を画像描画装置３に通知することにより、画像描画装置３が直接的に受信装置５から取得することも可能である。
【００２２】
描画指示装置４は、入出力処理装置１３から入力された描画要求を処理し、必要に応じて文書描画装置２に対し描画要求を転送する。描画指示装置４は本発明において必ずしも必須の構成要素ではない。例えば描画指示装置４を介さずに入出力処理装置１３から文書描画装置２に対して直接的に描画要求が通知されるようにしてもよい。
【００２３】
受信装置５は、ネットワークアダプタを構成要素とし、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）やＲＴＰ（ｒｅａｌ−ｔｉｍｅ　ｔｒａｎｓｐｏｒｔ　ｐｒｏｔｏｃｏｌ）など規定の通信手順に基づいて、ネットワークから再生対象の文書を構成するデータを受信する。
【００２４】
時間計測装置６は、タイマーによって構成される。このタイマーは、文書描画装置２によりセットされ、指定時間が経過したときタイムアウトし、その旨を文書描画装置２に通知する。
【００２５】
入出力処理装置１３は、コンピュータの技術分野において良く知られているウインドウ形式のグラフィカルユーザインターフェース（ＧＵＩ）を用いて実現することができる。入出力処理装置１３は、マウス等からなる入力装置１１からのデータを、描画指示装置４または文書描画装置２に通知する。この入力装置１１からのデータには、ユーザによりなされたクリック操作の検知データや、そのときのマウスポインタの位置データ等を含む。
【００２６】
また、入出力処理装置１３は、画像描画装置３による描画処理結果を含む文書の表示データを文書描画装置２から得て表示装置１２に出力する。表示装置１２は、これを画面に表示する。
【００２７】
以上のように構成された本実施形態の動作を説明する。
【００２８】
図２および図３は、動画像を一枚含む文書の表示例を示す図である。
【００２９】
図２は、文書表示領域全体２１の中に、動画像が表示され得る領域２２があり、その中に三角形のフレーム２３が表示されている文書を図示したものである。
【００３０】
また図３は、文書表示領域全体３１の中に、動画像が表示され得る領域３２があり、その中に三角形のフレーム３３が表示されている文書を図示したものである。フレーム領域２２および３２と、フレーム２３および３３の色情報および形状は、画像描画装置３が動画像データを復号することによって取得される。なお動画像が表示され得る領域は、フレームの形状、すなわち非透過部分に外接している必要は無く、内包していれば十分である。
【００３１】
動画像が表示され得る領域および形状は、フレーム毎に異なる場合がある。例えばＭＰＥＧ−４においては、フレームが表示され得る領域をバウンディング・ボックス（ｂｏｕｎｄｉｎｇ　ｂｏｘ）としてフレーム毎に規定することが可能である。例えば図２において、再生する動画像におけるフレームの最大表示領域を矩形２４とし、フレームのバウンディング・ボックスを矩形２２とすることが可能である。
【００３２】
図４は、動画像４２および動画像４３をともに含む文書の表示領域全体４１を図示したものである。この図のように複数の動画像が重なる場合、これら動画像の重ねあわせ方は、当該文書においてあらかじめ規定されている優先順序に基づく。この例は、動画像４２が動画像４３の上に重なって表示されるものである。図４の状態では、実線、点線、円弧（すなわち動画像４３の形状の一部）によって囲まれる領域４４には、動画像４３のフレームが表示されている。この領域は、優先順序により動画像４３よりも手前に表示されている動画像４２のフレームが表示され得る領域でもある。
【００３３】
かかる場合において従来の文書再生装置は、領域４４を動画像４２の領域とみなしている。したがって、領域４４に対してユーザが指示を出した場合、例えばマウスでカーソル４５をこの領域４４内に移動させてクリックした場合、この指示は動画像４２に対するものとして処理されることになる。
【００３４】
これに対し本発明の実施形態に係る文書再生装置１０は、かかる指示を動画像４２に対するものとせず、動画像４３に対するものとして適切に処理する。このための文書再生装置１０の処理手順を以下に説明する。画像描画装置３は、指定の座標がデータの表示形状内であるか否かを判定する機能、および表示の形状を応答する機能を備える。
【００３５】
図５は本発明の実施形態に係る文書再生装置による文書再生処理の流れを示すフローチャートである。この文書再生処理は大別して３つの処理、すなわち、文書に含まれる画像のフレームを更新するステップＳ１０と、文書に含まれる各画像を、予め規定されている位置に描画するステップＳ２０と、ユーザからマウス等により再生画面上で指示された位置が、どの画像に対するものであるかを判定するステップＳ３０とにより構成される。
【００３６】
ユーザが意図している通りに、マウス等による指示位置に対して適切な画像を対応付けるためのステップＳ３０において、文書描画装置２は、文書内の各データについて、最も手前に表示されるデータから、最も奥に表示されるデータまでを順に調べ、データが可視状態であって、かつ、指定の座標がデータの表示形状内にあるか否かを判定する。図４において、例えば文書表示領域全体４１の左上を基準点とし、この基準点からのカーソル４５の相対位置の座標を（ｘ，ｙ）とする。画像描画装置３は、この座標（ｘ，ｙ）が動画像の表示形状４２に含まれているかどうかを調べる。なお、（ｘ，ｙ）を相対座標ではなく絶対座標として処理を行ってもよい。
【００３７】
図４の例において、カーソル４５の座標（ｘ，ｙ）は、動画像４２のフレームが表示され得る領域の内部ではあるがその形状の内部ではない。よって、カーソル４５の座標（ｘ，ｙ）は動画像４２には対応付けられないものとする。
【００３８】
なお、指定座標がデータの形状に含まれているかの判定を文書描画装置２が行うよう構成してもよい。この場合、文書描画装置２は画像描画装置３からデータの形状を取得して判定を行うことになる。本実施形態では、座標（ｘ，ｙ）が形状に含まれているかどうかの判定を画像描画装置３が行うものとしている。
【００３９】
まず、座標（ｘ，ｙ）は動画像４２に含まれていないことから、文書描画装置２は座標（ｘ，ｙ）が動画像４３に含まれているかどうかを調べるよう、画像描画装置３に指示する。これに応じて画像描画装置３は、座標（ｘ，ｙ）が動画像４３の表示形状に含まれているかどうかを調べ、その結果、同動画像４３の表示形状に含まれていることを検知し、その旨を文書描画装置２に返答する。なお、動画像４３よりも奥に表示されるデータについては、調べる必要はない。
【００４０】
これにより、ユーザが動画像４３に指示を出すことを意図して、座標（ｘ，ｙ）にカーソルを移動してクリックなどの操作をした場合に、文書描画装置２は動画像４３に指示が出されたものと正しく認識して処理を行うことができる。
【００４１】
一般に動画像とは異種の表示物（オブジェクト）として扱われる文字列を表示する場合、その表示領域は動画像と同様に規定される。本実施形態では、ユーザからマウス等により再生画面上で指示された位置が、どの文字列表示領域に対するものであるかを判定し、ユーザが意図している通りに、指示位置に対して適切な文字列（表示領域）が対応付けられるようにする。すなわち、文字列の表示領域を、動画像の形状と同様に扱う。
【００４２】
画像描画装置３は、文字列の表示を行う際に、入出力処理装置１３に設定されているフォントで、文書中の指定領域に文字列を表示できるよう文字の配列を行う。入出力処理装置１３に設定されている各文字のフォントから、各文字の非透過領域、透過領域、および文字の表示サイズがそれぞれ分かる。文字列を構成する各文字の非透過領域の和集合を文字列の色情報とし、また、文字列の位置および表示サイズから計算される各文字の表示領域について和集合を取ったものを、文字列表示の形状とする。このようにして文字列の色情報と形状を定めることができる。
【００４３】
同一の文字列に対して異なる大きさの領域に表示を行った場合、例えば図６および図７に示すように、表示領域内に収まるよう文字列の各文字は配列される。文字のフォント部分以外の色は透過であり、領域１５１および領域１６１が示すように文字列の占める領域は非矩形である。
【００４４】
ここで、本実施形態では、文字の配列に関する情報を記憶しておき、同一の文字列が同一のフォントを用いて同一の大きさの領域に既に描画されている場合は、記憶されている配列情報を参照するよう構成される。これにより、文書描画装置２が文字の配列を決定する処理を軽減することができる。
【００４５】
次に、背景色が設定されたデータに対し指示が与えられたときの文書再生装置１０の処理を説明する。
【００４６】
表示可能なデータから構成される文書において、データの表示に背景色を設定することが可能である。例えば、図２に示した動画像２３に灰色の背景色ＢＧＣが設定された場合における文書描画装置２による表示は図８のようになる。また、図４に示した動画像４２に灰色の背景色ＢＧＣが設定された場合、文書描画装置２による表示は図９のようになる。
【００４７】
このとき図９の画面に対して、カーソル６４が図４の場合と同一の座標（ｘ，ｙ）に位置している状態について考える。図１０は、この状態における文書再生装置１０の処理の流れを示すフローチャートである。この処理は、文書に含まれる画像のうち、最も手前に表示される画像を判定に用いる画像として決定するステップＳ１、ステップＳ１の結果、判定に用いることのできる画像が存在するか否かを判定するステップＳ２、当該画像は可視であるか否かを判定するステップＳ４、画像に背景色が設定されているか否かを判定するステップＳ５、画像に背景色が設定されている場合に、画像が現在表示されている位置と、背景色の設定領域を取得するステップＳ６、画像に背景色が設定されていない場合に、画像が現在表示されている位置と、その画像の形状を取得するステップＳ７、および、指定された座標は画像の表示領域内にあるか否かを判定するステップＳ８を含む。ステップＳ８により、指定された座標は画像の表示領域内にあると判定された場合はその旨を応答する（ステップＳ９）。一方、ステップＳ８により、指定された座標は画像の表示領域内にないと判定された場合は、現在の判定に用いた画像よりも奥に表示される画像のうち、最も手前に表示される画像を判定に用いる画像として更新し、ステップＳ２以降のステップを再度行う。ステップＳ２において、判定に供する画像がもはや存在しないことが検知されると、指定された画像はどの画像も指していない旨、応答する（ステップＳ３）。
【００４８】
例えば図９の例の場合、文書描画装置２は、画像描画装置３に対してカーソル位置６４の座標（ｘ，ｙ）が動画像６２に含まれているかどうか調べる。座標（ｘ，ｙ）は動画像６２のフレーム形状の外であるが、動画像６２のフレームが表示されうる領域に含まれる。また、この領域は背景色によって描画されている（ステップＳ５，Ｓ８＝「はい」）。したがって、指定画像は当画像を示している旨、判定する（ステップＳ９）。動画像６２よりも奥に表示されるデータについて調べる必要はない。
【００４９】
このように、背景色が設定されているデータに対しても、ユーザが動画像６２に指示を出すことを意図し、座標（ｘ，ｙ）にカーソルを移動してクリックなどの動作をした場合に、文書再生装置１０は動画像６２に指示が出されたものと正しく認識して処理を行うことが可能である。
【００５０】
なお、図１０のフローからステップＳ５，Ｓ６，Ｓ７を除いたものは、画像への背景色の設定を考慮しない場合の処理手順として他の実施形態に適用できる。
【００５１】
また、ここでは動画像が表示されているものとして説明したが、透過領域を持つ静止画や、文字以外の表示が透過の文字列についても同様に処理を行うことができる。また透過領域を持たない表示においては、フレームが表示されうる領域とフレーム形状が常に一致するものとして扱うことができる。また文書によってデータの背景色および表示領域の両方が指定されている場合に背景色を設定する領域を文書で指定された表示領域と一致させた場合にも、背景色の描画および形状の判定を行うことができる。
【００５２】
マウス等によりユーザが位置を指示したことによってデータ（動画像や文字列領域）が特定されていることを、明示的に、例えばカーソルを用いて強調して表示することが好ましい。例えば、図１１のように、マウスポインタ７１が指定している動画像形状７２に対し、外枠形状のカーソル７３を付加する。また図１２のように、マウスポインタ８１が指す動画像形状８２をカーソル８３によって強調する場合、強調表示にも対象の表示と同一の重ね合わせ順序を適用することが好ましい。すなわち、カーソル８３の一部は、動画像形状８２と同様に、全面の動画像形状８４の背面に隠れる。
【００５３】
指示座標によって特定されるデータの表示に対して注釈を付与することも好ましい。図１３は、カーソル９１が指す動画像９２に関する注釈９３を表示した例である。なお、動画像のフレームが更新されることによりカーソルが動画像の形状外に出た場合には、これに応じて該当する動画像に対して注釈を表示する必要がある。例えば図１３の状態において動画像９２の形状が縮小し、図１４に示す動画像１０２に形状が変化したとする。この場合、カーソル９１と同一座標にあるカーソル１０１は動画像１０４を指すので、注釈１０３についても動画像１０４についての注釈に変更されるべきである。画像描画装置３がフレームを更新するごとに、文書描画装置２がカーソルの指すデータを特定することにより、かかる処理を行うことが可能になる。
【００５４】
また、カーソルが不動状態にあるときのみ注釈を表示し、カーソルの移動の際には注釈を非表示にすれば、本来のデータの表示が注釈によって不必要に隠されることがなく好ましい。
【００５５】
また、注釈を表示する条件としては、具体的には、ユーザのカーソル移動が一定時間にわたり検出されず、かつその間カーソルが同一のデータの表示を指しつづけていた場合とすることができる。この条件を満たしているか否かを判定するタイミングに相当する事象としては、例えば、（１）カーソルの座標が変更されたとき、（２）データの表示もしくは非表示の状態が変更されたとき、および（３）文書が再描画されたときの計三通りとする。これらの条件に限定して判定を行えば、文書再生装置１０への負担を増大させることなく処理を実現できる。
【００５６】
例えば、動画像の再生によってフレームの形状が変化したとき、画像描画装置３は文書描画装置２にフレームが更新されたことを通知し、これに応じて文書描画装置２は文書の再描画を行う。これは、上記事象（３）に該当する。
【００５７】
上記事象（１）〜（３）のいずれかが発生したとき、文書描画装置２はカーソルが指すデータを特定する。ここで、時間計測装置６が時刻０の時に指していたデータと異なったデータを指している場合は、時間計測装置６の時刻を０に戻し、注釈が表示されていれば非表示にする。その後、時間計測装置６が規定時間に達したときに、カーソルが指すデータの表示を特定し、時刻０の時に指していたデータを指している場合は注釈を表示する。この方法によりカーソルが指すデータに注釈を表示することが可能である。
【００５８】
文書に含まれるデータには、データ全体について関連情報を設定することができる。またデータの表示において、一個所以上の一定範囲に関連情報を設定することもできる。関連情報は例えば他の文書へのリンクである。関連情報が設定されていることを示す表示をクリックすることによって、他の文書を再生することが可能である。
【００５９】
図１５は、文書の全体および一部にそれぞれ関連情報１１２、１１３が設定されている場合を示す図である。
【００６０】
図１６は、図１５の文書について、関連情報が設定されている領域をアンカー１６１により強調表示した例である。また、図１７は、図１５の文書について、関連情報が設定されている領域をアンカー１７１により強調表示するとともに注釈１７２を表示した例である。なお、注釈の表示および非表示は、データに関する情報の方法と同様に行うことが可能である。
【００６１】
本実施形態の文書再生装置１０はこのような関連情報へのマウス等による位置指示を適切に対応付ける。図１８は、この場合の処理の流れを示すフローチャートである。本処理は、指定画像に画像が表示されているデータを特定するステップＳ１２１、ステップＳ１２１の結果、該当するデータが存在するか否かを判定するステップＳ１２２、ステップＳ１２１においてデータが特定された場合、このデータに関連情報が設定されているか否かを判定するステップＳ１２３、関連情報が設定されている場合に、指定座標に対応付けられる関連情報を検索するステップＳ１２４、およびステップＳ１２４において指定座標に対応付けられる関連情報が発見されたか否かを判定するステップＳ１２５から構成される。
【００６２】
図１９は、文字列の表示領域１７１と、現在のフレームの形状が三角形である動画像１７２と、現在のフレームの形状が円形である動画像１７３とが重なっている文書の表示例を示す図である。この図１９のように文字と動画像が重なって表示される場合、動画像のフレームが更新されるごとに、文字列を再表示する必要がある。
【００６３】
画像描画装置３は、文書描画装置２から動画像のフレームが更新されたことの通知を受けると、文書描画装置２に対して画像の（再）描画を指示する。これに伴い、動画像に重なっている他の表示も更新する必要がある。
【００６４】
このとき、画像描画装置３の描画に要する時間が動画像のフレーム表示時間よりも長く、再生に追いつかない場合は、未処理の描画要求が累積され、これにより処理負担がかかる。また、再生に時間的な遅れが生じる上、音声を同時に再生している場合には画像の再生と音声との同期が取れなくなるという問題がある。このため、動画の再生においては、すべてのフレームを描画することよりも、フレーム更新の実時間性（リアルタイム性）を重視することが望ましいとされる。
【００６５】
本実施形態はフレーム更新の実時間性に鑑み、文書再生装置１０に描画指示装置４を搭載する構成としている。描画指示装置４は、画面の再描画を入出力処理装置１３から指示される。これを受けて描画指示装置４は、文書描画装置２が描画中でなければ文書描画装置２に描画を指示し、文書描画装置２が描画中であれば描画を指示しない、という具合に描画指示をコントロールする。これにより、描画指示が累積することを防ぐことができ、動画像再生の実時間性を保つことができる。
【００６６】
また、一つの動画像のフレーム更新を行っている間に他の動画像のフレームが複数更新される場合があるが、そのような場合において同一フレームについての描画回数を減らし、文書再生装置全体の処理負担を軽減できる効果がある。
【００６７】
画像描画装置３において描画処理に時間的な遅れが生じる場合、描画が指示された現在処理中のフレームの形状と、現時点において実際に表示されているフレームの形状とが一致しない状況が起こり得る。この場合、ユーザが意図した動画像とは異なる動画像に対して指示が与えられる可能性がある。この問題を解決するために、画像描画装置３は、現時点で表示されているフレームの形状を記憶し、それを領域の判定に使用することとする。
【００６８】
例えば図１９において、動画像１７２のフレームが更新されたため再描画が指示され、その描画中に動画像１７３のフレームも更新され、最新のフレームが破線で囲まれた領域１７４に変化したとする。また、文字列１７１の領域は不変であったとする。
【００６９】
このとき、カーソル１７５が指すデータを判定する場合を考えると、動画像１７３の領域は表示上はまだ更新されていないので、領域１７４ではなく現在の領域１７３を用いて判定する必要がある。そこで、画像描画装置３は、最後に描画されたフレームの形状が保存されていればこれを判定に用いる。これによりカーソル１７５の指すデータを正しく特定することが可能である。
【００７０】
なお、文字列の表示領域１７１は不変であるので、保存されている形状を判定に用いることにより、文字の配置を再計算する処理を省略することも可能である。
【００７１】
また、データのみならずデータの関連情報に関しても、同様に処理される。
【００７２】
したがって、現実の表示内容に基づいてユーザが指示を行った場合に、該ユーザにより指示されたデータに対して、文書再生装置１０が正しく処理することができる。
【００７３】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００７４】
【発明の効果】
本発明によれば、各データの表示を行う画像描画装置に対して、該座標が該データの表示領域内であるか否かを問い合わせることにより、該座標に表示されているデータを特定するので、ユーザが位置により指示を意図するデータを、文書再生装置が正しく選択することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る文書再生装置の概略構成を示すブロック図
【図２】画像を含む文書の一表示例を示す図
【図３】画像を含む文書の他の表示例を示す図
【図４】複数の画像を含む文書の一表示例を示す図
【図５】同実施形態に係る文書再生装置による文書再生処理の流れを示すフローチャート
【図６】文字列の一表示例を示す図
【図７】文字列の他の表示例を示す図
【図８】背景色が設定された画像を含む文書の一表示例を示す図
【図９】背景色が設定された画像を含む文書の他の表示例を示す図
【図１０】画像に背景色が設定されている場合の処理の流れを示すフローチャート
【図１１】強調表示された画像を含む文書の一表示例を示す図
【図１２】強調表示された画像を含む文書の他の表示例を示す図
【図１３】注釈が表示された画像を含む文書の一表示例を示す図
【図１４】注釈が表示された画像を含む文書の他の表示例を示す図
【図１５】データの関連情報の一設定例を示す図
【図１６】強調表示されたデータの関連情報の一表示例を示す図
【図１７】注釈とともに強調表示されたデータの関連情報の他の表示例を示す図
【図１８】関連情報が設定されている場合の処理の流れを示すフロー図
【図１９】文字列と動画像とが重なって表示されている場合の再描画を説明するための図
【符号の説明】
１…文書解析装置
２…文書描画装置
３…画像描画装置
４…描画指示装置
５…受信装置
６…時間計測装置
１０…文書再生装置
１１…入力装置
１２…表示装置
１３…入出力処理装置
【図１】
2004094345.tif 000003
【図２】
2004094345.tif 000004
【図３】
2004094345.tif 000005
【図４】
2004094345.tif 000006
【図５】
2004094345.tif 000007
【図６】
2004094345.tif 000008
【図７】
2004094345.tif 000009
【図８】
2004094345.tif 000010
【図９】
2004094345.tif 000011
【図１０】
2004094345.tif 000012
【図１１】
2004094345.tif 000013
【図１２】
2004094345.tif 000014
【図１３】
2004094345.tif 000015
【図１４】
2004094345.tif 000016
【図１５】
2004094345.tif 000017
【図１６】
2004094345.tif 000018
【図１７】
2004094345.tif 000019
【図１８】
2004094345.tif 000020
【図１９】
2004094345.tif 000021