(57)【要約】【課題】動画像中に登場する物体領域の中で関連情報を付帯した物体領域を容易に識別でき選択した物体領域の関連情報を簡単に取得できるハイパーメディア情報提示方法を提供する。【解決手段】動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得するステップと、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示するステップと、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示するステップを含む。【選択図】　なし【特許請求の範囲】
【請求項１】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得するステップと、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示するステップと、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示するステップとを具備することを特徴とするハイパーメディア情報提示方法。
【請求項２】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得するステップと、前記動画像の再生時に表示され、前記物体領域を指定するポインティングデバイスの表示位置に応じて、前記関連情報を持つ前記物体領域の表示状態を切り替えるステップとを具備することを特徴とするハイパーメディア情報提示方法。
【請求項３】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域の表示条件に関する条件情報とを取得するステップと、前記表示条件に従って前記物体領域を選択的に表示および隠蔽するステップを具備することを特徴とするハイパーメディア情報提示方法。
【請求項４】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域の表示条件に関する条件情報とを取得するステップと、前記物体領域の物体を階層的に管理するステップと、前記表示条件に従って、上位層の物体を表示させる場合には、下位層に属する物体の表示も行うステップとを具備することを特徴とするハイパーメディア情報提示方法。
【請求項５】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連する関連情報とを取得するステップと、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して並べて表示した一覧表示か、前記物体領域の関連情報を並べて表示した一覧表示のいずれかから物体領域または関連情報の一つを選択するステップと、選択された物体領域または関連情報の関連のある物体領域の登場場面を再生するステップとを具備することを特徴とするハイパーメディア情報提示方法。
【請求項６】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域に関連した関連情報とを取得するステップと、前記動画像の再生時に表示され、前記物体領域を指定するポインティングデバイスの表示位置に応じて、動画像の再生速度を変化させるステップを具備することを特徴とするハイパーメディア情報提示方法。
【請求項７】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域に関連した関連情報とを取得するステップと、動画像再生時に表示されている前記物体領域を指定するステップと、指定された物体領域に関連する関連情報を表示するステップとを具備し、前記表示ステップは、動画像表示中のフレームから数フレーム遡ったフレームまでにおける物体領域が指定されても指定された物体領域の関連情報を表示することを特徴とするハイパーメディア情報提示方法。
【請求項８】
動画像中に登場する複数の物体領域に対応する物体領域情報を取得するステップと、前記物体領域を選択的に指定するステップと、指定された物体領域と端末の表示部の大きさ情報とを用いて、表示させる動画像の領域および拡大／縮小率を決定するステップとを具備することを特徴とするハイパーメディア情報提示方法。
【請求項９】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得する命令と、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示する命令と、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示する命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１０】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得する命令と、前記動画像の再生時に表示され、前記物体領域を指定するポインティングデバイスの表示位置に応じて、前記関連情報を持つ前記物体領域の表示状態を切り替える命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１１】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域の表示条件に関する条件情報とを取得する命令と、前記表示条件に従って前記物体領域を選択的に表示および隠蔽する命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１２】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域の表示条件に関する条件情報とを取得する命令と、前記物体領域の物体を階層的に管理する命令と、前記表示条件に従って、上位層の物体を表示させる場合には、下位層に属する物体の表示も行う命令とをコンピュータに実行させるハイパーメディア情報提示方法。
【請求項１３】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連する関連情報とを取得する命令と、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して並べて表示した一覧表示か、前記物体領域の関連情報を並べて表示した一覧表示のいずれかから物体領域または関連情報の一つを選択する命令と、選択された物体領域または関連情報の関連のある物体領域の登場場面を再生する命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１４】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域に関連した関連情報とを取得する命令と、前記動画像の再生時に表示され、前記物体領域を指定するポインティングデバイスの表示位置に応じて、動画像の再生速度を変化させる命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１５】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域に関連した関連情報とを取得する命令と、動画像再生時に表示されている前記物体領域を指定する命令と、指定された物体領域に関連する関連情報を表示する際に、動画像表示中のフレームから数フレーム遡ったフレームまでにおける物体領域が指定されても指定された物体領域の関連情報を表示する命令とをコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１６】
動画像中に登場する複数の物体領域に対応する物体領域情報を取得する命令と、前記物体領域を選択的に指定する命令と、指定された物体領域と端末の表示部の大きさ情報とを用いて、表示させる動画像の領域および拡大／縮小率を決定する命令とコンピュータに実行させるハイパーメディア情報提示プログラム。
【請求項１７】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得する手段と、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示する手段と、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示する手段とを具備することを特徴とするハイパーメディア装置。
【請求項１８】
動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得する手段と、前記動画像の再生時に表示されている前記物体領域を指定するポインティングデバイスの表示位置に応じて、前記関連情報を持つ前記物体領域の表示状態を切り替える手段とを具備することを特徴とするハイパーメディア装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ハイパーメディア装置、特に画像に関連情報を付帯するハイバーメディア装置に関する。
【０００２】
【従来の技術】
ハイパーメディアは、動画像、静止画像、音声、テキストなどのメディア間にハイパーリンクと呼ばれる関連性を定義し、相互に、または一方から他方を参照できるようにしたものである。例えばインターネットを使って閲覧することのできるＨＴＭＬで記述されたホームページには、テキストや静止画が配置されており、これらテキストや静止画のいたるところにリンクが定義されている。そしてこれらのリンクを指定することにより直ちにリンク先である関連情報を表示させることができる。リンクが定義されているテキストには通常は下線が引かれていたり色が他のテキストとは異なったりしており、リンクの有無を知るのは用意である。さらに、興味のある語句を直接指示すれば関連情報にアクセスできるため、操作が容易かつ直感的に行える。
【０００３】
一方、テキストや静止画ではなく動画像を中心にした場合には、動画像中に登場する物体からその物体を説明するテキストや静止画などの関連情報へのリンクが定義されており、視聴者がこの物体を指示することによりこれら関連情報が表示されるというのがハイパーメディアの代表例である。このとき、動画像中に登場する物体の時空間的な領域を表すデータ（物体領域データ）、物体から関連情報への関連性を定義するための関連情報特定データ、関連情報データが動画像データのほかに用意されている必要がある。
【０００４】
物体領域データとしては、２値以上の値を持つマスク画像系列、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ動画圧縮標準化グループによる国際標準）の任意形状符号化、特開平１１−０２０３８７号明細書で説明されている図形の特徴点の軌跡を記述する方法などにより物体領域データを作ることができる。
【０００５】
関連情報としては、テキスト、静止画、動画像、インターネット上のホームページ、コンピュータの実行プログラムなどがある。そして関連情報特定データは関連情報があるコンピュータ内のディレクトリおよび関連情報のファイル名、関連情報があるＵＲＬなどにより記述される。
【０００６】
【発明が解決しようとする課題】
このような動画像を中心とするハイパーメディアは、ホームページの例と同様に興味のある物体を直接指定することにより関連情報にアクセスできるため、操作が容易かつ直感的に行える。しかしながら、ホームページの例とは異なる課題が存在する。例えば、動画像のみを表示した場合にはどの物体に関連情報が存在し、どの物体には関連情報が存在しないのかがわからず、視聴者にとって有益な情報を見逃してします。逆に物体を指示しても関連情報が存在しないために何も表示されないことがある。一方、どの物体に関連情報が存在するかを画像上にはっきりと表示すると、動画像の観賞を妨げることになる。このように、関連情報の有無を登場物体ごとに分かり易く、かつ邪魔にならないように表示させることが動画像を中心とするハイパーメディアにおける課題である。
【０００７】
もう一つの課題は、物体の指定の方法である。物体を直接指定するのは直感的でわかりやすい反面、動いている物体を的確に指示するのは難しい。また、情報が欲しいと感じてから指示するまでの間に、目的の物体が画面上から消え去ってしまい、指示ができないという問題もある。従って視聴者が余裕を持って的確に物体を指示できる手段が必要である。
【０００８】
また他の問題として、携帯電話やＰＤＡと呼ばれる携帯情報端末等、表示部の小さな端末で動画像を視聴する場合には、表示された画像が小さいために視聴者にとって興味のある物体が良く見えないという問題がある。
【０００９】
上記のように動画像を中心とするハイパーメディアにおける課題は、動画像の観賞を妨げることなく必要なときにどの登場物体に関連情報が存在するかを容易にわかるような表示を行うことと、動画像中の動く物体を簡単に指示する手段を提供することである。これらに加え、表示部が小さいなど端末の特性が変化したときでも視聴者にとって興味のある物体が良く見える表示方法を提供することも課題となっている。
【００１０】
従って、本発明は、動画像中に登場する物体領域の中で関連情報を付帯した物体領域を容易に識別でき選択した物体領域の関連情報を簡単に取得できるハイパーメディア情報提示方法、ハイパーメディア情報提示プログラムおよびハイパーメディア情報提示装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の第１局面は、動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得するステップと、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示するステップと、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示するステップとを具備することを特徴とするハイパーメディア情報提示方法を提供する。
【００１２】
本発明の第２局面は、動画像中に登場する複数の物体領域に対応する物体領域情報を取得するステップと、前記物体領域を選択的に指定するステップと、指定された物体領域と端末の表示部の大きさ情報とを用いて、表示させる動画像の領域および拡大／縮小率を決定するステップとを具備することを特徴とするハイパーメディア情報提示方法を提供する。
【００１３】
本発明の第３局面は、動画像中に登場する複数の物体領域に対応する物体領域情報と前記物体領域にそれぞれ関連した関連情報とを取得する手段と、前記物体領域情報に対応する前記物体領域の少なくとも幾つかを復元して一覧表示する手段と、前記一覧表示された物体領域から選択された物体領域に関連した前記関連情報を表示する手段とを具備することを特徴とするハイパーメディア装置を提供する。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１５】
図１は本発明の第一実施形態に係るハイパーメディア情報提示装置の概略構成を示す図である。この図を用いて各構成要素の機能について説明する。
【００１６】
図１において、動画像データの記録媒体１００には動画像データが記録されている。物体情報データの記録媒体１０１には物体情報データが記録されている。物体情報データには図２２で示すように物体領域データ、関連情報特定データが含まれ、必要に応じて動画像特定データやアクセス制御データ、注釈データなども含まれる。
【００１７】
動画像特定データは物体情報データから動画像データを参照できるようにするためのデータであり、例えば動画像データのファイル名やＵＲＬで記述される。また、アクセス制御データは、動画像データの全体または一部を閲覧するための条件である動画像表示許可情報、動画像に登場する物体を閲覧するための条件である物体表示許可情報、関連情報を閲覧するための条件である関連情報表示許可情報などのデータである。
【００１８】
関連情報データの記録媒体１０２には関連情報データが記録されている。これらの記録媒体１００，１０１，１０２は、具体的にはハードディスク、光ディスク、半導体メモリ、磁気テープなどであり、必ずしも別々の媒体である必要はない。すなわち、一つの記録媒体に動画像データ、物体情報データ、関連情報データが記録されていても良いし、どれか一つのデータだけが他の記録媒体に記録されていても良い。さらに、記録媒体１００，１０１，１０２はローカルに存在する必要もない。すなわち、ネットワーク経由でアクセス可能な場所に置いてあっても良い。
【００１９】
動画像再生部１０３は入力された動画像データの再生を行う。再生された動画像は画像合成部１０６を経由して表示部１０８で表示される。動画像再生部１０３はまた、物体情報管理部１０４へ再生中のフレーム番号もしくはタイムスタンプを出力する。以下ではフレーム番号を用いるものとして説明を行うが、これらは全てタイムスタンプで代用することができる。
【００２０】
物体情報管理部１０４は、記録媒体１０１から物体情報データを読み出し、物体情報全般の管理を行う。動画像再生部１０３から入力されたフレーム番号において画像上に存在する物体のリストを出力したり、同フレーム番号における特定の物体の物体領域を出力したりする。また、指示物体判定部１０７において特定の物体が指示されたと判定された場合には、その物体の関連情報を表示させるために関連情報特定データを関連情報再生部１０５に出力する。さらに、物体の領域を表示させる場合には、再生中のフレーム番号における物体領域を画像合成部１０６に出力する。
【００２１】
関連情報再生部１０５は、物体情報管理部１０４より入力された関連情報特定データに基づき、記録媒体１０２から所望の関連情報データを読み込む。そしてデータの形式に合わせて情報の再生を行う。例えば、ＨＴＭＬ、静止画、動画像などが再生される。再生された画像は画像合成部１０６を経由して表示部１０８で表示される。
【００２２】
画像合成部１０６は、動画像再生部１０３から入力される動画像、物体情報管理部１０４から入力される物体領域、関連情報再生部１０５から入力される関連情報を合成し、表示部１０８に表示させる。また、指示入力部１０９から入力される指示座標値も入力され、座標値によってカーソルを表示したり画像合成の種類を変更したりする。
【００２３】
指示物体判定部１０７は、指示入力部１０９から入力される座標データと、物体情報管理部から入力される再生中のフレーム番号において登場している物体の物体領域とから、指示されたのがどの物体であるかの判定を行う。そして物体の内部であると判定された場合には、その物体の関連情報を表示するよう指示を出す。
【００２４】
表示部１０８は表示機器であり、画像合成部１０６から入力された画像を表示する。指示入力部１０９は画像上の座標を入力するための指示装置であり、マウスやタッチパネルなどである。ボタンのみのリモコンであってもよい。
【００２５】
次に、視聴者が画面上に映っている物体の領域を指示装置により指定した時に、図１の構成を用いて指定された物体の関連情報を表示する際の処理の流れについて説明する。図２はこの処理の流れを表したフローチャートである。ここでは指示装置としてはマウスやタッチパネルを想定しており、物体領域の指示はクリックにより行われる。
【００２６】
ステップＳ２００では、まず指示入力部で指定された画面上の座標が、映像中の画像のどこに相当するかが計算され、指示物体判定部１０７に送られる。
【００２７】
ステップＳ２０１では、指示物体判定部１０７が物体情報管理部１０４に物体リストを要求する。物体情報管理部１０４では、画像再生部１０３から再生中のフレーム番号を取得し、そのフレーム番号において映像中に登場している物体を選択し、物体を特定するＩＤなどのリストとして物体リストを作成し、指示物体判定部１０７に送る。物体の選択処理は、物体領域データに含まれる先頭フレーム番号および末尾フレーム番号を参照することにより行われる。
【００２８】
ステップＳ２０２では、指示物体判定部１０７が物体リストの中からステップＳ２０３の処理がまだ行われていない物体領域を１つ選択する。
【００２９】
ステップＳ２０３では、表示中のフレームにおいて指示された座標が選択された物体の内部であるか外部であるかの判定を指示物体判定部１０７が物体情報管理部１０４に要求する。物体情報管理部１０４では、物体領域データと指示された座標値とを参照し、指示された座標が処理対象の物体内部であるか否かを判定する。例えば、特開平１１−０２０３８７号明細書で説明されているように、物体領域データが任意のフレームにおける図形（矩形、多角形、円、楕円など）を特定できるパラメータである場合、指示されたときのフレーム番号における図形のパラメータを取り出し、それを用いて内部／外部判定が行われる。別な例としては、物体領域データが物体内部／外部を表す２値の画像系列である場合、指示された座標に相当する画素の値を調べることによってこの判定処理が行える。
【００３０】
ステップＳ２０４は、指示された座標が処理対象となっている物体の領域内であるとステップＳ２０３において判定された場合にのみ行われる処理である。この場合、物体情報データに含まれている関連情報特定データが関連情報再生部１０５に送られ、特定された関連情報が表示される。また、関連情報として実行プログラムが指定されている場合にはそのプログラムを実行したり、もしくは指定されている所定の動作を行ったりする。
【００３１】
ステップＳ２０５は分岐処理であり、物体リストの中にまだステップＳ２０３の処理が行われていない物体が存在しているかを判定する。まだ存在している場合にはステップＳ２０２へ処理を進め、存在しない場合には処理終了となる。
【００３２】
図３は図２の処理が行われた結果、動画像に登場する物体の関連情報が表示されている例を示している。動画像表示ウインドウ３００には再生中の動画像が表示されている。マウスカーソル３０１を登場物体に合わせてクリックすると、関連情報表示ウインドウ３０２にクリックされた物体の関連情報が表示される。
【００３３】
次に、第二実施形態として、動画像再生部１０３からの出力である動画像、物体情報管理部１０４からの出力である物体領域、関連情報再生部１０５からの出力である関連情報、指示入力部１０９からの入力である指示座標値を用いて画像合成部１０６がどのような画像合成を行うかを示す変形例を説明する。なお、画像合成部１０６は時には再生速度など動画像再生部１０３の動作をも制御する。
【００３４】
本実施形態では、動画像を表示するウインドウとは他のウインドウに物体領域の画像を切り取って表示することを特徴としている。図４は、画像合成部１０６で合成された画像の一例である。動画像表示ウインドウ４００は動画像をそのまま再生する画面である。登場物体一覧ウインドウ４０１には、物体領域データと関連情報が付帯されており、かつ動画像表示ウインドウ４００で再生中のフレーム番号において画像中に登場している物体の画像領域が切り出されて一覧表示される。即ち、ウインドウ４０１には切り出された画像領域４０２の一覧が表示される。ここに表示される画像は、動画像表示ウインドウ４００での表示フレームが変わる毎に更新される。すなわち、ウインドウ４０１には常に動画像表示ウインドウ４００で表示されているフレームから切り出された画像が表示される。
【００３５】
物体領域データに含まれる物体領域の形や位置がフレームにより変化する場合には、やはり画像領域４０２の形状や（切り出される）位置も変化する。なお、それぞれの物体領域は見やすくするためにほぼ一定の大きさになるように縦横が拡大・縮小されて表示されている。また、動画像表示ウインドウ４００に新たに物体領域データを持つ物体が表示されれば、それに合わせて登場物体一覧ウインドウ４０１にも新たな物体が表示される。逆にこれまで表示されていた物体が動画像表示ウインドウ４００から消え去った場合には、登場物体一覧ウインドウ４０１からも消去される。
【００３６】
動画像表示ウインドウ４００内に表示されている画像をマウスなどの指示装置を用いて指示すると、第一実施形態と同様に関連情報が表示される。しかし、第二実施形態では、登場物体一覧ウインドウ４０１に表示されている物体領域をマウスカーソル４０３で指示することによっても関連情報を関連情報ウインドウ４０４に表示することが可能である。本実施形態の第一実施形態との違いは、物体領域情報や関連情報を持つ登場物体を容易に知ることができる点である。第一実施形態では物体を指示してみるまで関連情報の有無がわからないが、本実施例では関連情報を持つ物体のみが登場物体一覧ウインドウ４０１に表示されるため、簡単に見分けることができる。これにより、視聴者がわざわざ画面上をクリックしてみたが、何も関連情報が表示されず、失望する、という事態に遭遇することが避けられる。
【００３７】
次に第二実施形態の処理の流れについて説明する。図５は登場物体一覧ウインドウ４０１に登場物体を表示するための処理の流れを表したフローチャートである。ステップＳ５００では、現在動画像表示ウインドウ４００で表示中のフレーム番号において、動画像中に存在している物体リストを作成する。次にステップＳ５０１において物体領域データは存在するが、関連情報を持たない物体を物体リストから削除する。この処理は、登場物体一覧ウインドウ４０１に関連情報を持たない物体を表示させてもかまわない場合には省略してよい。
【００３８】
ステップＳ５０２では、物体リストからステップＳ５０３の処理をまだ行っていない物体を選択する。ステップＳ５０３では、現在表示中のフレーム番号における選択された物体の領域を領域データから復元する。次にステップＳ５０４において、物体領域内の画像のみを、予め決められた大きさになるように縦横に拡大もしくは縮小し、登場物体一覧ウインドウ４０１の所定の場所に表示する。もちろん、このとき前フレームにおいて表示されていた物体については、前フレームにおける表示位置と同じ位置に表示するようにする。
【００３９】
ステップＳ５０５では物体リストにまだステップＳ５０２以下の処理が行われていない物体があるかどうかを確認し、あればステップＳ５０２からの処理を繰り返し、なければ処理を終了する。
【００４０】
図５の処理において、どの物体が登場物体一覧ウインドウ４０１のどの位置に表示されているかの情報を取得できるため、登場物体一覧ウインドウ４０１に表示されている物体が指示された場合にその関連情報を表示するための処理は明らかである。
【００４１】
第二実施形態の変形例として、動画像の開始から終わりまでの全区間での登場物体一覧表示を行うことができる。図６は全区間での登場物体一覧表示の例である。この場合は、全区間での登場物体一覧ウインドウ６０１に表示される物体領域６０３の画像は動画像表示ウインドウ６００での表示フレームとは無関係であり、常に同じ画像が表示される。全区間での登場物体一覧ウインドウ６０１でもやはりマウスカーソル６０２で物体を指示すると、その物体の関連情報が関連情報ウインドウ６０４に表示される。
【００４２】
全区間での登場物体一覧ウインドウ５０１を表示するための処理手順を図７に示す。図５と異なった処理はステップＳ６００とステップＳ６０３である。ステップＳ６００では動画像の全区間から物体領域データのある物体を選択し、物体リストを作成する。ステップＳ６０３では、物体ごとに表示すべきフレーム番号を計算し、そのフレーム番号における物体領域を物体領域データから復元する。表示すべきフレーム番号としては、物体の登場したフレーム番号、物体の登場区間の中間フレーム番号、物体領域の面積が最も大きいフレームの番号、物体同士が重なっていないフレームの番号などを選ぶことができる。
【００４３】
図４および６では登場物体を物体の映像として一覧表示する例について説明したが、物体情報データ中の注釈データに物体の名前などの注釈が入っている場合には、注釈の一覧として表示しても同様の機能が実現できる。すなわち、注釈をクリックすることでその注釈に対応する物体の関連情報が表示される。
【００４４】
以上、第二実施形態としてマウスを指示装置として用いることを前提に説明を進めてきたが、リモコン等のようにボタンしかない指示装置を使った場合には、図４の登場物体一覧ウインドウ４０１や図６の登場物体一覧ウインドウ６０１から物体を選択するためには異なる手段を用いる必要がある。第一の手段は、カーソルを上下左右それぞれに移動させるためのボタンを用意しておき、カーソルをボタン操作で移動させ、選択物体を決定する機能を持つボタンを押下させることにより物体を選択する方法である。第２の手段は、登場物体一覧ウインドウ中に表示されている物体の一つを選択候補としておき、選択候補を次の物体に変更する機能を持つボタンを押下することによって視聴者が選択しようとしている物体を選択候補とし、最後に選択物体を決定する機能を持つボタンを押下させることにより物体を選択する方法である。以下で説明する実施形態では引き続きマウスを指示装置として用いることを仮定して説明を行うが、リモコン等のボタンのみからなる指示装置を用いた場合でも一覧表示の中から一つを選択する操作は上記第一もしくは第二の手段により実現できる。
【００４５】
次に、第三実施形態として第二実施形態の変形例を説明する。本実施形態では、マウスカーソルの画面上の位置により、表示方法を変化させることを特徴としている。
【００４６】
図８は画像合成部１０６で合成された画像の一例を示す。ウインドウ８００および８０１はともに動画像表示ウインドウの表示例であるが、動画像の表示の方法がマウスカーソル８０２の位置により異なるため、２つのウインドウ８００および８０１が表示される。即ち、動画像表示ウインドウ８００はマウスカーソル８０２が動画像表示ウインドウの外にある場合に表示され、通常の動画像再生に用いられる。一方、動画像表示ウインドウ８０１はマウスカーソル８０２が動画像表示ウインドウ内にある場合に表示される。この例では動画像内の関連情報を持つ物体の領域は通常通りに表示され、それ以外の領域は例えば輝度を落として表示される。
【００４７】
動画像表示ウインドウ８０１のように表示することにより、視聴者はどの物体に関連情報が存在するかを簡単に知ることができる。関連情報を参照せず、動画像を観賞したい場合には動画像表示ウインドウ８００の表示に変えればよい。動画像表示ウインドウ８０１のように、関連情報を持つ物体領域とそれ以外の領域で輝度に変化をつけて表示する方法は特願平１１−０２０３８７号明細書に記述されているが、これら２種類の表示方法がマウスカーソル８０２を少し動かすだけで切り替えられることが本実施形態の特徴の一つである。動画像表示ウインドウ８００および８０１のどちらの表示の場合においても、物体領域が視聴者によってクリックされた場合には、第一実施形態と同様に関連情報の表示が行われる。
【００４８】
図９は図８の動画像表示ウインドウ表示例を実現するための処理手順を説明するフローチャートである。ステップＳ９００では、マウスカーソル８０２が動画像表示ウインドウの内部にあるか外部にあるかを判定する。外部にあると判定された場合には、ステップＳ９０１へ、内部にあると判定された場合にはステップＳ９０３へと進む。
【００４９】
マウスカーソル８０２が動画像表示ウインドウの外部にある場合に行われるステップＳ９０１では、動画像の一画像と同じサイズのマスク画像に対し、全画素に１が代入される。ここでは通常の動画像表示を行う位置の画素値を１、輝度を低くして動画像表示する位置の画素値を０と設定するものとして説明するが、両者の区別がつく限りはこれらの値は自由に設定できる。
【００５０】
ステップＳ９０１の後はステップＳ９０２の処理が行われ、マスク画像の画素値が０である位置は輝度を低くして動画像表示ウインドウに動画像が表示され、マスク画像の画素値が１である位置は通常どおりに動画像表示ウインドウに動画像が表示される。マウスカーソル８０２が動画像表示ウインドウの外部にある場合には全てのマスク画像の画素が１に設定されているため、通常どおりの動画像が表示される。
【００５１】
マウスカーソル８０２が動画像表示ウインドウの内部にある場合に行われるステップＳ９０３では、マスク画像の全ての画素に０が代入される。続いて行われるステップＳ９０４からステップＳ９０７までの物体リストを使った処理は図５におけるステップＳ５００からステップＳ５０３の処理と全く同じであるため、説明を省略する。
【００５２】
次にステップＳ９０８では、ステップＳ９０７で復元された物体領域の位置に相当するマスク画像の画素を全て１にする。ステップＳ９０９はステップＳ５０５と同じ処理で、物体リストに未処理な物体が残っていればステップＳ９０６からの処理を繰り返し、物体リストが空になっていればステップＳ９０２へと処理を進める。マウスカーソル８０２が動画像表示ウインドウの内部にある場合には、関連情報を持つ物体の領域のみがマスク画像上で１の値に設定されるため、ステップＳ９０２においてそれ以外の領域は暗く表示されることになる。
【００５３】
図１０は図９と同様の処理により実現される動画像表示ウインドウの表示例である。ウインドウ１０００および１００１はともに動画像表示ウインドウであるが、図８の場合と同様にマウスカーソル８０２の位置により動画像の表示の方法が異なるため、二つのウインドウが表示される。
【００５４】
動画像表示ウインドウ１０００はマウスカーソル１００２が動画像表示ウインドウの外にある場合の表示を示しており、通常の動画像再生と同じである。一方、動画像表示ウインドウ１００１はマウスカーソル１００２が動画像表示ウインドウ内にある場合の表示を示しており、この例では動画像内の関連情報を持つ物体には物体に関する注釈が吹き出し１００３として表示されている。この場合、注釈は物体の名前や特徴などどのような内容でも良いく、物体情報データ中の注釈データに格納されている。動画像表示ウインドウ１０００および１００１のどちらの表示の場合においても、物体領域が視聴者によってクリックされた場合には、第一実施形態と同様に関連情報の表示が行われる。また、動画像表示ウインドウ１００１の表示が行われている場合には、吹き出し１００３をクリックしてもその吹き出しの元となっている物体に関する関連情報が表示されるようにすることもできる。
【００５５】
図１１は図１０の表示を実現するための処理手順を説明するフローチャートである。ステップＳ１１００は通常の動画像再生表示であり、動画像を動画像表示ウインドウに表示する処理である。ステップＳ１１０１では、マウスカーソルが動画像表示ウインドウ内にあるか否かを判定し、動画像表示ウインドウ内であればステップＳ１１０２の処理に移り、動画像表示ウインドウの外部であれば処理を終了する。
【００５６】
ステップＳ１１０２からＳ１１０５までの処理は、図５におけるステップＳ５００からステップＳ５０３の処理と全く同じであるため、説明を省略する。
【００５７】
ステップＳ１１０６では、ステップＳ１１０４で選択された物体に関する注釈を物体情報データから取り出す。注釈はテキストや静止画像である。ステップＳ１１０７では、ステップＳ１１０６で取得した注釈と、ステップＳ１１０５で復元した物体領域とを使い、表示する吹き出しの大きさと位置を算出する。そしてステップＳ１１０８で動画像表示ウインドウに表示されている動画像の上に吹き出しを重ね表示する。
【００５８】
ステップＳ１１０９はステップＳ５０５と同じ処理で、物体リストに未処理な物体が残っていればステップＳ１１０４からの処理を繰り返し、物体リストが空になっていれば処理を終了する。
【００５９】
図１２はまた他の表示例を示しており、動画像表示ウインドウ１２００に注釈表示エリア１２０２が設けられている。注釈表示エリア１２０２に表示される内容はマウスカーソル１２０１の位置により変化する。例えば、マウスカーソル１２０１がどの物体領域内にもない場合には、何も表示されない（図１２左）。しかし、マウスカーソル１２０１がある物体領域内に入ったときには、その物体の注釈が注釈表示エリア１２０２に表示される（図１２右）。
【００６０】
この表示を実現するための処理は、図２で説明されている関連情報の表示処理とよく似ている。図１２と図２との差異は、ステップＳ２００でクリックされない場合でもマウスカーソルの座標を取得すること、ステップＳ２０４で関連情報ではなく注釈を表示することの２点である。なお、注釈は注釈表示エリア１２０２に表示するのではなく、吹き出しとして動画像上に表示させてもよい。
【００６１】
次に、第四実施形態としてこれまでの実施形態とは異なる実施形態を説明する。本実施形態では、表示許可情報により表示方法を変化させることを特徴としている。
【００６２】
図１３は視聴者に表示される画像の例である。ウインドウ１３００および１３０１はともに動画像表示ウインドウであるが、動画像の表示の方法が表示許可情報により異なるため、二つの動画像表示ウインドウが表示される。表示許可情報はアクセス制御データに含まれる情報であり、その物体映像を表示するための条件が記述されている。動画像表示ウインドウ１３００は表示許可情報の表示条件が満たされない場合の表示例であり、特定の物体領域を隠蔽して動画像を表示している。一方、動画像表示ウインドウ１３０１は表示許可情報の表示条件が満たされている場合の表示例であり、ウインドウ１３０１で隠蔽されていた物体領域の映像を表示している。
【００６３】
表示許可情報に記述される表示条件には、視聴者の年齢、視聴される国、料金の支払いの有無、パスワードの入力などがある。視聴者の年齢等の視聴者に関する情報を取得するための方法には、視聴者ごとのデータが入力されたＩＣカードを挿入する方法や、視聴者のＩＤとパスワードを入力させて視聴者を特定し、あらかじめ入力されていた個人情報を参照する方法などがある。また、国情報はあらかじめ機器に登録される。料金の支払いの有無は、物体を視聴するために必要な金額を視聴者が支払ったか否かという条件である。例えば、視聴者が支払いを認めた場合にインターネット等を通じて課金施設にデータを送信することで条件が満たされる。
【００６４】
なお、隠蔽の方法は図１３のウインドウ１３００のように黒く塗りつぶす方法の他、白等他の色で塗りつぶす方法、周辺の色で塗りつぶす方法、モザイクをかける方法などがある。
【００６５】
物体の表示／非表示を料金の支払いの有無を条件として変更する場合には、物体が同一画面上に複数ある場合に視聴者に面倒な手続きが必要になる。すなわち、一つ一つの物体について料金を支払うことを入力しなければならない。このような面倒な手続きは、物体に階層構造を持たせることで解決できる。図１４は物体の階層構造の例を示している。これによると、最上位層１４００には最も階層が上位の物体集合としてサッカーのチーム“Ｔｅａｍ　Ａ”が記述されている。最上位層１４００の下位層として、第２層１４０１にはサッカーチーム“Ｔｅａｍ　Ａ”の各選手が記述されている。さらに第３層１４０２には第２層の選手の一部分として顔と体が、さらに体の下位層として第４層１４０３に腕と足が記述されている。
【００６６】
このような階層構造がある場合、視聴者が最上位層１４００を視聴するための料金を支払うと、最上位層の“Ｔｅａｍ　Ａ”に所属する第２層の選手全てが表示される。一方、第２層１４０１の選手一人もしくは数人のみを視聴するための料金を支払った場合には、それらの選手のみが表示されることになる。さらに、第４層で“ＦＷウチダ”の“足”のみの視聴料金を支払った場合には、“ＦＷウチダ”の“足”のみが表示される。このように、階層構造をもたせることにより、視聴を選択された物体と、その下位層に所属する全ての物体領域が一度に表示できる。このような物体の階層構造の利用は、物体の表示／非表示の条件設定以外でも可能である。例えば、図１０の吹き出しを表示させるか否かを階層構造を使って選択することも可能である。
【００６７】
次に、第五実施形態として、物体領域データや関連情報特定データを利用し、所望の物体の登場する場面を再生する方法を説明する。本実施形態は第二実施形態と似ているが、第二実施形態では視聴者の指示により物体の関連情報が表示されたのに対し、本実施例では物体の登場場面の再生が行われる点で異なる。
【００６８】
図１５は登場物体の注釈一覧から物体を選択し、その物体の登場場面を再生する際の画面表示例を示している。登場物体注釈一覧ウインドウ１５００は、動画像に登場した物体の一覧表示として、物体それぞれの名称等の注釈を一覧表示するウインドウである。このウインドウに表示されている注釈をマウスカーソル１５０１によりクリックすると、その注釈を持つ物体の登場場面が動画像再生ウインドウ１５０２上で再生される。
【００６９】
図１５では、動画像再生ウインドウ１５０２は単に動画像を表示しているだけであるが、視聴者により選択された物体がどれであるかをわかりやすくするために、選択された物体だけを図１０のような吹き出しを表示させたり、選択された物体以外の領域を図８のように暗く表示させたりしてもよい。
【００７０】
図１６は図１５の表示を行うための処理の流れを説明するフローチャートである。ステップＳ１６００では、動画像中に登場する物体全てを物体情報データから取得し、物体リストを作成する。ステップＳ１６０１では、物体リストからステップＳ１６０２の処理がまだ行われていない物体を選択する。
【００７１】
ステップＳ１６０２では、選択された物体に対応する注釈データから注釈を取り出す。次にステップＳ１６０３で注釈を登場物体注釈一覧ウインドウ１５００に表示する。ステップＳ１６０４では物体リストにステップＳ１６０２以下の処理がまだ行われていない物体が残っているかどうかをチェックする。もしも残っていればステップＳ１６０１に進み、残っていなければ処理を終了する。
【００７２】
なお、図１５で説明した機能は、登場物体注釈一覧ウインドウ１５００を登場物体一覧ウインドウに置き換えて実現することも可能である。すなわち、図６のように登場物体ごとに物体領域を切り出して一覧表示し、物体領域が視聴者により選択されたときにその物体の登場場面を動画像再生ウインドウ１５０２上で再生する。
【００７３】
さらに、図１５で説明した機能は、登場物体注釈一覧ウインドウ１５００を登場物体関連情報一覧ウインドウに置き換えて実現することも可能である。図１７はこのような場合の表示例を表している。登場物体関連情報一覧ウインドウ１７００には、動画像中に登場する全ての物体の関連情報が一覧表示されている。この一覧の中のどれかをマウスカーソル１７０１でクリックすると、クリックされた関連情報と関連している物体の登場場面が動画像再生ウインドウ１７０２上に再生される。
【００７４】
図１８は、図１７において関連情報がクリックされたときに物体の登場場面を再生する処理の流れの一例である。まずステップＳ１８００で視聴者により指定された関連情報のファイル名（もしくはＵＲＬなど）を取得する。次にステップＳ１８０１において、ステップＳ１８００で取得したファイル名を含む関連情報特定データを検索する。
【００７５】
ステップＳ１８０２では、ステップＳ１８０１で検索された関連情報特定データを含む物体がどれであるかを特定し、特定された物体を表示対象として決定する。次にステップＳ１８０３では、表示対象の物体の物体領域データを参照し、その物体の動画像中の登場時刻を取得する。そしてステップＳ１８０４において、ステップＳ１８０３で取得した登場時刻から動画像を登場場面が動画像再生ウインドウ１７０２に再生する。
【００７６】
図１５において関連情報がクリックされたときに物体の登場場面を再生する処理も、図１８の関連情報を注釈に置き換えることで実現できる。
【００７７】
次に、第六実施形態として、視聴者が動画像中の物体領域を指定しやすくする方法として、マウスカーソルの位置により動画像の再生スピードをコントロールする方法を説明する。
【００７８】
図１９は第六実施形態を実現するための処理手順を示したフローチャートである。この図に示した処理を行うことにより、マウスカーソルが動画像再生ウインドウの外にあるときには通常どおりの動画像再生が行われるが、マウスカーソルが動画像再生ウインドウの内部に入ると動画像の再生速度が遅くなる。そのため、登場物体が移動している場合においても動画像再生ウインドウにおいて登場物体を指定しやすくなる。
【００７９】
図１９のステップＳ１９００は、動画像の再生開始処理である。ステップＳ１９０１ではマウスカーソルが現在どの位置にあるかという情報を取得する。次にステップＳ１９０２において、ステップＳ１９０１で取得されたマウスカーソルの位置が動画像再生ウインドウの内側か外側かの判定が行われる。内側と判定された場合には次にステップＳ１９０３に進み、外側と判定された場合にはステップＳ１９０４に処理を進める。
【００８０】
ステップＳ１９０３はマウスカーソルが動画像再生ウインドウの外側にある場合に行われる処理で、動画像を通常の再生速度で再生する。一方、ステップＳ１９０４はマウスカーソルが動画像再生ウインドウの内側にある場合に行われる処理で、あらかじめ設定されたスロー再生速度で動画像を再生する。極端な場合としては、再生速度を０として一時停止させてもよい。
【００８１】
また、スロー再生速度はあらかじめ設定しておくのではなく、動画像中に登場している物体の動きや大きさにより決定することもできる。例えば、現在表示されている場面に登場している物体の移動速度を代表する速度（最も移動速度の速い物体の速度や、登場している物体の平均速度など）を算出し、この速度が速いほどスロー再生速度を遅くする方法や、現在表示されている場面に登場している物体の面積を代表する面積（最も小さい物体の面積や、登場している物体全体の面積など）を算出し、この面積が小さいほどスロー再生速度を遅くする方法などがある。
【００８２】
ステップＳ１９０５は動画像の再生が終端に達したかを判断する。終端に達していれば処理を終了し、達していなければ再びステップＳ１９０１からの処理を繰り返す。
【００８３】
次に、第七実施形態として、視聴者が動画像中の物体領域を指定しやすくする方法として、物体領域が移動してしまってからでももともと物体のあった位置をクリックすることで関連情報表示を可能にする方法を説明する。
【００８４】
図２０は本実施形態の画面表示例である。動画像再生ウインドウ２０００には動画像が表示されている。これまでの実施形態でも、ある登場物体の現在のフレームにおける領域２００１の内側にマウスカーソル２００５を移動させ、クリックすることでその物体の関連情報２００６を表示させることができた。本実施形態ではマウスカーソル２００５は現在のフレームにおける領域２００１の外側に図示してあるが、この位置においてクリックしても関連情報表示ウインドウ２００６を表示させることができる。このように、物体の関連情報を表示させることができる領域は、１フレーム前における物体領域２００２、２フレーム前における物体領域２００３、および３フレーム前における物体領域２００４である。この例では３フレーム前までに限定されているが、何フレーム前の物体領域までを関連情報を表示させるための指定領域とするかは任意に選んでよい。数フレーム前の物体領域にまで遡って物体の指定が可能になることによって、視聴者の物体領域指定が少し遅れた場合でも関連情報が表示されるようになるため、物体の指定が容易になる。
【００８５】
図２１は本実施形態を実現するための処理の流れを示したフローチャートである。なお、図２１では現在のフレームからＭフレーム遡った物体領域までを関連情報表示のための指定領域としている。
【００８６】
ステップＳ２１００では、視聴者によりクリックされた座標を取得する。次にステップＳ２１０１では、現在表示中のフレームからそのＭフレーム前までの区間において動画像中に存在していた物体を検索し、リストを作成する。この検索は現在表示中のフレーム番号と物体領域データに含まれる先頭フレーム番号および末尾フレーム番号を使って行われる。
【００８７】
ステップＳ２１０２ではステップＳ２１０１で作成されたリストから、ステップＳ２１０３以下の処理がまだ行われていない物体を選択する。続いてステップＳ２１０３では、ステップＳ２１０２で選択された物体の、現在表示中のフレームからＭフレーム前までの区間における物体領域を１フレームずつ復元する。ステップＳ２１０４では、ステップＳ２１００で取得した座標がステップＳ２１０３で復元された複数の物体領域のいずれかの内側にあるかを判定する。そして、どれか一つ以上の物体領域の内部にあった場合にはステップＳ２１０５へ、全ての物体領域の外部にあった場合にはステップＳ２１０６へと処理を進める。
【００８８】
ステップＳ２１０５では、ステップＳ２１０２で選択されている物体の関連情報を表示する。関連情報がどこにあるかは、関連情報特定データに記述されている。最後にステップＳ２１０６では、ステップＳ２１０１で作成されたリストのうち、ステップＳ２１０３の処理がまだ行われていない物体が存在するか否かを判定する。存在する場合にはステップＳ２１０２からの処理を繰り返し、存在しない場合には処理を終了する。
【００８９】
次に、第八実施形態として、視聴者が利用している端末の形態と、視聴者が選択した物体とにより動画像の表示方法を変更する方法を説明する。
【００９０】
これまでの実施形態では、視聴者が十分な大きさの表示部が利用できることを前提としていた。しかし、近年急速に普及している携帯電話やＰＤＡと呼ばれる携帯情報端末の表示部は小さいため、これまでに説明してきた実施形態を直接実現することは困難である。すなわち、家庭で視聴するために作られた動画像をそのまま携帯電話やＰＤＡに表示すると、表示された画像が小さくて内容を理解するのが難しい。本実施形態では、表示部の小さい（主に携帯用の）端末に視聴者が興味を持っている物体を見やすく表示する。なお、動画像データおよび物体情報データはあらかじめ端末に保存されていても良いし、基地局から端末に送信されても良い。
【００９１】
図２３は、本実施形態において視聴者が視聴したい物体を選択する際に表示される画面の例を示している。この例では視聴者は携帯電話で動画像を視聴しようとしている。視聴者はまず表示された登場物体一覧表示２３００の中から詳しく見たい登場物体を選択する。登場物体一覧表示２３００は、第五実施形態で説明した登場物体注釈一覧ウインドウ１５００を表示させるのと同様の処理により表示させることができる。図２３のように注釈一覧を表示させるほか、第二実施形態で説明した登場物体一覧ウインドウ６０１と同様の処理を用いて登場物体の画像を一覧表示させても良い。図２３では物体２３０１が視聴者により選択されている。選択する物体の数は１つでもよいし、優先順位を付けて複数選択できるようにしても良い。
【００９２】
図２４は、表示部の小さな端末に動画像がどのように表示されるかを説明する図である。動画像２４００は動画像データの再生画像である。この画像において、物体２４０１が視聴者により選択された物体であるものとする。このとき、携帯電話２４０２には、携帯電話の表示部２４０３に図示されたように選択された物体を中心とする画像領域が切り出されて表示される。携帯電話２４０４の表示部２４０５には、比較対象として動画像を単に携帯電話の表示部のサイズにあわせて縮小し、表示した例を示した。表示部２４０５の表示では画像が小さいため、視聴したい物体を詳細に観賞することができない。
【００９３】
図２５は、図２４の表示を行うための処理の流れを説明する流れ図である。ここでは、優先順位付けされた物体の数をＩｍａｘとしている。もしも一つしか物体が選択されていなければＩｍａｘの値は１である。
【００９４】
まず、ステップＳ２５００では、変数Ｉの値を初期化する。次のステップＳ２５０１では、表示中のフレーム番号において優先順位Ｉ番の物体が動画像中に存在するか否かを物体情報データを用いて調べる。存在していればステップＳ２５０５に、存在していなければステップＳ２５０２に処理を進める。
【００９５】
ステップＳ２５０２では、変数Ｉの値がＩｍａｘと等しいかどうかを調べる。もしも等しい場合には、表示中のフレーム番号においては優先順位付けされた物体が一つも存在していないことになり、ステップＳ２５０４に処理を進める。変数Ｉの値がＩｍａｘと等しくない場合には、優先順位付けされた物体の中にまだステップＳ２５０１で調べていない物体があるため、ステップＳ２５０３で変数Ｉの更新処理を行った後、再びステップＳ２５０１を繰り返す。
【００９６】
優先順位付けされた物体が一つも存在していない場合にどのような表示を行うかを決定しているのがステップＳ２５０４である。本実施形態では、このような場合に表示領域を画像全体に設定する。この他に、次に優先順位付けされた物体が登場するフレームまでスキップさせる方法をとっても良い。ただしこの場合には、フレームスキップ後、再びステップＳ２５００からの処理を繰り返す必要がある。
【００９７】
ステップＳ２５０５は優先順位Ｉ番の物体が動画像中に存在する場合に行われる処理であり、優先順位Ｉ番の物体の物体領域を物体情報データから復元する。次にステップＳ２５０６の表示領域決定処理が行われる。最も単純な表示領域決定処理は、ステップＳ２５０５で復元された物体領域を含む最小の矩形領域を表示領域とする方法である。
【００９８】
ステップＳ２５０７では決定された表示領域と、端末の表示部のサイズとを用いて表示領域を表示部に表示する際の拡大／縮小率を計算する。算出方法の簡単な例としては、拡大／縮小率を常に１倍に固定する方法がある。この他に、表示領域が表示部のサイズに合うように拡大／縮小率を決定する方法もある。ただし、この場合は極端に拡大や縮小されないように拡大／縮小率の上限および下限を設けておくと良い。また、拡大／縮小率の変化が激しいと見づらくなる為、拡大／縮小率の平滑化処理を行っても良い。なお、拡大／縮小率の算出には端末の表示部のサイズの代わりに表示部の解像度を用いても良い。また、サイズと解像度の両方を用いる方法もある。両方を用いた場合の例としては、一度予め決めておいた解像度に変換してから拡大／縮小率の算出を行う方法がある。
【００９９】
ステップＳ２５０８では、ステップＳ２５０６またはステップＳ２５０４で決定された表示領域をステップＳ２５０７で決定された拡大／縮小率で拡大／縮小して表示部に表示する。この際、通常は表示領域の中心を表示画面の中心に合わせるが、表示領域が動画像の端にある場合には表示範囲が動画像の外部を含んでしまうことがある。このような場合には、表示範囲が動画像の外部を含まないように表示範囲をシフトする必要がある。以上の処理により、画像１フレームを見やすい大きさで表示部に表示することができる。
【０１００】
なお、上述した本発明の実施形態における処理はプログラムとしてコンピュータに実行させることが可能である。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、動画像中に登場する物体の一覧表示から興味のある物体を選択することができるため、動画像の観賞を妨げることなく関連情報を持つ物体を知ることができ、また、一覧から選択することで簡単に関連情報が表示させられる。
【０１０２】
また、本発明によれば、カーソル等のポインティングデバイスの指示位置表示の画面上の位置により、関連情報を持つ物体を特定するための表示と通常の動画像表示とを切り替えるため、必要なときにだけ関連情報を持つ物体を知ることができる。
【０１０３】
さらに本発明によれば、物体を階層的に管理することにより物体を表示や隠蔽を一度に変更できるため、視聴者の手間がかからなくなる。
【０１０４】
さらに本発明では、動画像中の登場物体の一覧表示から物体を指定することにより、動画像中の登場場面を再生させることができるため、視聴者に負担をかけずに興味のある場面をすばやく見ることができる。
【０１０５】
さらに本発明では、カーソル等のポインティングデバイスの指示位置表示の画面上の位置により、動画像の再生速度が変化するため、動画像内の物体を指定するときにはスロー再生となり、目標の物体が動いていても指示しやすくなる。
【０１０６】
さらに本発明では、物体の関連情報を表示させるために視聴者が指示できる領域を、視聴者が指示した瞬間に表示されていた動画像フレームにおける物体領域だけでなく、そこから数フレーム遡ったフレームまでにおける物体領域にまで拡張されるため、視聴者が少し遅れて動く物体を指定しても関連情報の表示が行える。
【０１０７】
さらに本発明では、端末の表示部が小さい場合に、視聴者が指示した物体の領域を中心として画像を切り出し、表示部の大きさに合うように拡大して表示するため、視聴者が興味のある物体を見やすく表示することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係るハイパーメディア情報提示装置の構成を示すブロック図
【図２】同実施形態における関連情報表示処理の流れを示すフローチャート
【図３】同実施形態における画面表示例
【図４】本発明の第二実施形態における画面表示例
【図５】同実施形態における画面表示処理の流れを示すフローチャート
【図６】同実施形態における他の画面表示例
【図７】同実施形態における他の画面表示処理の流れを示すフローチャート
【図８】本発明の第三実施形態における画面表示例
【図９】同実施形態における画面表示処理の流れを示すフローチャート
【図１０】同実施形態における他の画面表示例
【図１１】同実施形態における他の画面表示処理の流れを示すフローチャート
【図１２】同実施形態における他の画面表示例
【図１３】本発明の第四実施形態における画面表示例
【図１４】同実施形態における物体の階層構造の例
【図１５】本発明の第五実施形態における画面表示例
【図１６】同実施形態における画面表示処理の流れを示すフローチャート
【図１７】同実施形態における他の画面表示例
【図１８】同実施形態における他の画面表示処理の流れを示すフローチャート
【図１９】本発明の第六実施形態における再生速度制御処理の流れを示すフローチャート
【図２０】本発明の第七実施形態における画面表示例
【図２１】同実施形態における関連情報表示処理の流れを示すフローチャート
【図２２】本発明の第一実施形態に係るハイパーメディア装置のデータ構成の例
【図２３】本発明の第八実施形態における物体選択画面表示例
【図２４】同実施形態における画面表示例
【図２５】同実施形態における関連情報表示処理の流れを示すフローチャート
【符号の説明】
１００…動画像データ記録媒体
１０１…物体情報データ記憶媒体
１０２…関連情報データ記憶媒体
１０３…動画像再生部
１０４…物体情報管理部
１０５…関連情報再生部
１０６…画像合成部
１０７…指示物体判定部
１０８…表示部
１０９…指示入力部
３００…動画像表示ウインドウ
３０１…マウスカーソル
３０２…関連情報表示ウインドウ
４００…動画像表示ウインドウ
４０１…登場物体一覧ウインドウ
４０２…切り出し画像領域
４０３…マウスカーソル
６００…動画像表示ウインドウ
６０１…登場物体一覧ウインドウ
６０２…マウスカーソル
６０３…物体領域
６０４…関連情報表示ウインドウ
８００…動画像表示ウインドウ
８０１…動画像表示ウインドウ
８０２…マウスカーソル
１０００…動画像表示ウインドウ
１００１…動画像表示ウインドウ
１００２…マウスカーソル
１００３…吹き出し
１２００…動画像表示ウインドウ
１２０１…マウスカーソル
１２０２…注釈表示エリア
１３００…動画像表示ウインドウ
１３０１…動画像表示ウインドウ
１４００…最上位層
１４０１…第２層
１４０２…第３層
１４０３…第４層
１５００…登場物体注釈一覧ウインドウ
１５０１…マウスカーソル
１５０２…動画像再生ウインドウ
１７００…途上物体関連情報一覧ウインドウ
１７０１…マウスカーソル
１７０２…動画像再生ウインドウ
２０００…動画像再生ウインドウ
２００１…物体領域
２００２…物体領域
２００３…物体領域
２００４…物体領域
２００５…マウスカーソル
２００６…関連情報表示ウインドウ
２３００…登場物体一覧表示
２３０１…物体
２４００…動画像
２４０１…物体
２４０２…携帯電話
２４０３…表示部
２４０４…携帯電話
２４０５…表示部
【図１】
2004054435.tif 000002
【図２】
2004054435.tif 000003
【図３】
2004054435.tif 000004
【図４】
2004054435.tif 000005
【図５】
2004054435.tif 000006
【図６】
2004054435.tif 000007
【図７】
2004054435.tif 000008
【図８】
2004054435.tif 000009
【図９】
2004054435.tif 000010
【図１０】
2004054435.tif 000011
【図１１】
2004054435.tif 000012
【図１２】
2004054435.tif 000013
【図１３】
2004054435.tif 000014
【図１４】
2004054435.tif 000015
【図１５】
2004054435.tif 000016
【図１６】
2004054435.tif 000017
【図１７】
2004054435.tif 000018
【図１８】
2004054435.tif 000019
【図１９】
2004054435.tif 000020
【図２０】
2004054435.tif 000021
【図２１】
2004054435.tif 000022
【図２２】
2004054435.tif 000023
【図２３】
2004054435.tif 000024
【図２４】
2004054435.tif 000025
【図２５】
2004054435.tif 000026