(57)【要約】【課題】文字列や静止画を動画の所定の場面に合わせて表示させるタイミングの設定、管理、編集が容易なマルチメディアシステム及びこれに用いるプログラムを提供することを課題とする。【解決手段】本発明のマルチメディア装置は、識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する時間位置属性値挿入手段と、前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段とを備える。【選択図】図１
2005181599.tif 000002
【特許請求の範囲】
【請求項１】
識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する時間位置属性値挿入手段と、
前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段と
を備えるマルチメディア装置。
【請求項２】
前記動画、文字列または静止画が表示される表示領域内において文字列または静止画を表示する文字列部または静止画部が選択されると、その文字列または静止画を強調表示する動画の時間位置を設定するための時間位置編集領域を表示する編集領域表示手段を備えることを特徴とする請求項１記載のマルチメディア装置。
【請求項３】
前記編集領域表示手段は、利用者から動画に同期させて所定の時間位置で文字列または静止画を強調表示するか否かの選択を受付け、強調表示する旨の選択を受付けた時点の動画の時間位置を、文字列または静止画を強調表示する時間位置として設定することを特徴とする請求項２記載のマルチメディア装置。
【請求項４】
前記時間位置属性値挿入手段は、前記編集領域表示手段が利用者から強調表示する旨の選択を受付けた時点の動画の時間位置に対応する時間位置属性値を前記マークアップ言語データのタグ内に挿入することを特徴とする請求項３記載のマルチメディア装置。
【請求項５】
文字列または静止画と共に、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値がタグ内に挿入されたマークアップ言語データに基づき、
前記時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段を備えるマルチメディア装置。
【請求項６】
コンピュータに、
識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する機能と、
前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる機能と
を実現させるためのマルチメディア装置用プログラム。
【請求項７】
コンピュータに、
文字列または静止画と共に、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値がタグ内に挿入されたマークアップ言語データに基づき、
前記時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる機能を実現させるためのマルチメディア装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の再生中に、動画の場面に合わせて文字列や静止画を強調表示するマルチメディア装置に関する。
【背景技術】
【０００２】
図１５は、従来のマルチメディア表示装置の構成を示す図である。
従来の動画と静止画とを同期して表示するマルチメディア表示装置は、再生された動画の内容に同期して、静止画や文書上の対応位置を表示するために、カーソルの静止画上の表示位置とカーソルの表示区間とを表す位置情報を格納するカーソル位置情報格納部１０１、静止画上の位置を示すカーソルを表示するカーソル表示部１０２、静止画を表示する静止画表示部１０３、動画を再生する動画再生部１０４、動画の再生位置を検出する再生時刻検出部１０５、及び、再生時刻検出部１０５から求めた動画の再生位置が位置情報の表示区間に当たるとき、位置情報が表す静止画上の表示位置にカーソルを表示するようにカーソル表示部１０２を制御する制御部１０６とを備える。
動画と同期させて文書や静止画を再生する場合に、その動画に密接に関連する文書や静止画上の特定位置を、動画の再生と同期させて指し示すことができる（特許文献１参照）。
【０００３】
【特許文献１】特開平２００１−２０９３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のマルチメディア表示装置は、動画の再生中に文字列や図表等を示す静止画を所定のタイミングで同期させて表示するための時間位置情報と強調表示位置情報をシナリオと呼ばれる別データで保存していた。このような保存形式の場合、シナリオのデータ形式に対応したシナリオ編集手段あるいは編集装置を別途用意する必要があるという課題があった。
また、ＨＴＭＬデータやスタイルシート等を特定する情報と、これらを動画に同期させて表示するための同期情報が分離しているため、ＨＴＭＬデータやスタイルシート等の内容を変更する場合は、その変更に合わせて強調表示位置情報を再編集する必要があるという課題があった。
【０００５】
本発明は、上述のような課題を解決するためになされたものであり、動画を再生しながら、所定のタイミングで文字列や図表等を示す静止画を強調表示するマルチメディアシステムにおいて、文字列や静止画を動画の所定の場面に合わせて表示させるタイミングの設定、管理、編集が容易なマルチメディアシステム及びこれに用いるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のマルチメディア装置は、識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する時間位置属性値挿入手段と、前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段とを備える。
【０００７】
また、前記動画、文字列または静止画が表示される表示領域内において文字列または静止画を表示する文字列部または静止画部が選択されると、その文字列または静止画を強調表示する動画の時間位置を設定するための時間位置編集領域を表示する編集領域表示手段を備える。
【０００８】
また、前記編集領域表示手段は、利用者から動画に同期させて所定の時間位置で文字列または静止画を強調表示するか否かの選択を受付け、強調表示する旨の選択を受付けた時点の動画の時間位置を、文字列または静止画を強調表示する時間位置として設定する。
【０００９】
また、前記時間位置属性値挿入手段は、前記編集領域表示手段が利用者から強調表示する旨の選択を受付けた時点の動画の時間位置に対応する時間位置属性値を前記マークアップ言語データのタグ内に挿入する。
【００１０】
また、文字列または静止画と共に、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値がタグ内に挿入されたマークアップ言語データに基づき、前記時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段を備える。
【００１１】
本発明のマルチメディア装置用プログラムは、コンピュータに、識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する機能と、前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる機能とを実現させる。
【００１２】
本発明の他の形態に係るマルチメディア装置用プログラムは、文字列または静止画と共に、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値がタグ内に挿入されたマークアップ言語データに基づき、前記時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる機能を実現させる。
【発明の効果】
【００１３】
本発明のマルチメディア装置は、識別子を有するタグ内に文字列または静止画が挿入されたマークアップ言語データに対し、動画の再生中に前記文字列または前記静止画を強調表示するタイミングを表す時間位置属性値を前記識別子と関連付けて前記マークアップ言語データのタグ内に挿入する時間位置属性値挿入手段と、前記マークアップ言語データのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させる動画同期処理手段とを備えるので、動画に文字列または静止画の強調表示を同期させるための情報と、表示する情報とを一体としたため、管理、編集が容易である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明によるマルチメディアシステム及びマルチメディアシステム用プログラムの好適な実施の形態について詳細に説明する。
本発明のマルチメディアシステムは、動画の再生中に、動画の内容に関連する文字列や静止画を所定のタイミングで強調して表示（以下、強調表示と称する）するものである。
また、本発明のマルチメディアシステム用プログラムは、本発明のマルチメディアシステムに必要とされる機能を実現させるための編集プログラムである。
【００１５】
また、本実施の形態では、マークアップ言語であるＨＴＭＬ（HyperText Markup Language）に本発明を適用した場合について説明するが、マークアップ言語としては、他にＸＭＬ（eXtensible Markup Language）、ＸＨＴＭＬ（eXtensible HyperText Markup Language）などがあり、本発明はこれらについても同様に適用可能である。
なお、マークアップ言語データとは、ＨＴＭＬデータ、ＸＭＬデータ及びＸＨＴＭＬデータ等のマークアップ言語のデータそのもののことをいう。
【００１６】
図１は、本発明のマルチメディアシステムに用いるＨＴＭＬデータの構成を示す図である。
図１に示すＨＴＭＬデータにおいて、＜＞で示すものがＨＴＭＬデータ内におけるタグであり、その中でも＜ｓｐａｎ＞・・・・＜／ｓｐａｎ＞で表すものがスパン（ｓｐａｎ）タグである。このスパンタグは、任意の文字や記号を入力・編集可能なタグである。また、＜ｉｍｇ・・・＞は、イメージタグであり、ｊｐｅｇ等の静止画のファイル名を挿入することができる。
【００１７】
図１に示すＨＴＭＬデータでは、スパンタグ内に、タグを識別するための識別子と、動画の再生に合わせて所定のタイミングで文字列や静止画を強調表示させるための同期時間を表す時間位置属性値を挿入している。図１では、この時間位置属性値として、「ｖｓｙｎｃ−ｔｉｍｅ＝“５．０２”、ｖｓｙｎｃ−ｔｉｍｅ＝“１０．２３”、ｖｓｙｎｃ−ｔｉｍｅ＝“１３．５８”」と、イメージタグ内に「ｖｓｙｎｃ−ｔｉｍｅ＝“１８．９５”」を挿入している。
なお、スパンタグ及びイメージタグ内には、タグを識別するための識別子（ｉｄ＝Ｓ１、Ｓ２、Ｓ３、Ｓ４・・・）が付されている。
【００１８】
時間位置属性値は、動画の時間位置を示しており、動画を初めから再生し始めてからどのタイミングで文字列や静止画を強調表示するかを表している。すなわち、「ｖｓｙｎｃ−ｔｉｍｅ＝“５．０２”」は、動画を初めから再生してから「５．０２秒後」のタイミングを表しており、同様に、「ｖｓｙｎｃ−ｔｉｍｅ＝“１０．２３”」、「ｖｓｙｎｃ−ｔｉｍｅ＝“１３．５８”」及び「ｖｓｙｎｃ−ｔｉｍｅ＝“１８．９５”」は、動画を初めから再生してから「１０．２３秒後」、「１３．５８秒後」及び「１８．９５秒後」のタイミングをそれぞれ表している。
以下では、動画を初めから再生し始めてから経過した時間を表す時間的な位置のことを動画の「時間位置」と称し、ＨＴＭＬデータのタグ内に設定する時間位置の情報データのことを時間位置属性値と称する。
【００１９】
図２は、図１に示すＨＴＭＬデータに基づく動画と文字列ないし静止画の表示状態を示す図である。
まず、初期画面は図２（Ａ）に示す画面であり、画面左側にはビーカと試験管が表示されており、画面右側には「薬品Ａを試験管に入れる」、「薬品Ａを試験管からビーカに移す」及び「よくかき混ぜる」という文字列と、グラフを表す静止画が表示されている。
【００２０】
図１に示すＨＴＭＬデータに基づき、動画を再生し始めると、識別子Ｓ１のデータにより、動画の時間位置が５．０２秒のところで「薬品Ａを試験管に入れる」なる文字列が強調表示され（図２（Ｂ）の表示状態）、識別子Ｓ２のデータにより、動画の時間位置が１０．２３秒のところで「薬品Ａを試験管からビーカに移す」なる文字列が強調表示され（図２（Ｃ）の表示状態）、識別子Ｓ３のデータにより、動画の時間位置が１３．５８秒のところで「よくかき混ぜる」なる文字列が強調表示され（図２（Ｄ）の表示状態）、識別子Ｓ４のデータにより、動画の時間位置が１８．９５秒のところでファイル名「ｓａｍｐｌｅ．ｊｐｇ」の特性図を表す静止画が強調表示される（図２（Ｅ）の表示状態）。
なお、強調表示の方法としては、表示を反転させる、色彩を変える、あるいは、点滅させる等、文字列や静止画を強調させて表示する方法であればどのような方法であってもよい。
【００２１】
以上、本発明のマルチメディアシステムにおいて用いるＨＴＭＬデータの基本的なデータ構造とその意味合いについて説明した。
このような本発明のマルチメディアシステムは、サーバ装置とクライアント装置の間において、サーバ装置で管理されているＨＴＭＬデータで構成されるコンテンツをクライアント装置側でダウンロードして編集処理し、再びサーバ装置に送り返して運営管理するシステムに用いることができ、また、単一のＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）内においてＨＴＭＬデータを編集処理するシステムとして用いることもできるものである。
以下では、本発明のマルチメディアシステムを前者に適用した形態について説明する。
【００２２】
なお、上述のように識別子を有するタグ内に文字列または静止画が挿入されたＨＴＭＬデータに対し、動画の再生中に文字列または静止画を強調表示するタイミングを表す時間位置属性値を識別子と関連付けてＨＴＭＬデータのタグ内に挿入するのは時間位置属性値挿入手段の役割である。以下の説明では、後述する第１クライアント装置２０の編集処理部２０Ｂが時間位置属性値挿入手段としての役割を担う。
【００２３】
また、上述のように、ＨＴＭＬデータのタグ内に挿入された時間位置属性値に基づき、この時間位置属性値によって定義される動画の時間位置において文字列または静止画を強調表示させるのは動画同期処理手段の役割である。以下の説明では、後述する第１クライアント装置２０または第２クライアント装置３０の動画同期処理部２０Ｄまたは動画同期処理部３０Ｄが動画同期処理手段としての役割を担う。
【００２４】
また、動画、文字列または静止画が表示される表示領域内において文字列または静止画を表示する文字列部または静止画部がクリックされると、その文字列または静止画を強調表示する動画の時間位置を設定するための時間位置編集領域である第２編集パッドを表示領域に重ねて表示するのは、編集領域表示手段の役割である。以下の説明では、第１クライアント装置２０の編集画面処理部２０Ｂが編集パッド表示手段としての役割を担う。
【００２５】
また、時間位置編集パッドである第２編集パッドは、動画に同期させて所定の時間位置で文字列または静止画を強調表示するか否かを選択するための同期選択手段を備える。この同期選択手段としての役割は、同期チェックボックスが担う。
【００２６】
また、時間位置属性値挿入手段としての第１クライアント装置２０の編集処理部２０Ｂは、同期選択手段としての同期チェックボックスがオンされた時点の動画の時間位置に対応する時間位置属性値をＨＴＭＬデータのタグ内に挿入する役割を担う。
【００２７】
図３は、本発明のマルチメディアシステムのハードウェア構成を示すブロック図である。
図３に示すように、サーバ装置１０と第１クライアント装置２０及び第２クライアント装置３０は、インターネット等のネットワーク４０を介して接続されている。
なお、第１クライアント装置２０と第２クライアント装置３０との相違は、サーバ１０からダウンロードしたＨＴＭＬデータを編集する編集画面処理部を備えるか否かである。その詳細については後述する。
【００２８】
図４は、本発明のマルチメディアシステムにおけるサーバ装置１０内の構成を示すブロック図である。
図４に示すように、サーバ装置１０は、サーバ本体１１及びコンテンツ格納部１２から構成されている。
サーバ本体１１は、通信処理部１１Ａ、編集処理部１１Ｂ、保存処理部１１Ｃ及びコンテンツ送信処理部１１Ｄで構成される。
また、コンテンツ格納部１２は、動画データ、文字列及び静止画を格納するデータベースである。コンテンツ格納部１２に格納されているコンテンツはそれぞれコンテンツ識別子を有し、コンテンツ識別子を指定されることにより、読み出させるものとする。
【００２９】
通信処理部１１Ａは、周知のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）及びＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）サーバソフトウェアで構成される。
また、編集処理部１１Ｂ、保存処理部１１Ｃ及びコンテンツ送信処理部１１Ｄは、ＷＷＷサーバソフトウェアと連携して実行するプログラムによってもたらされる機能を司る処理部である。各処理部が行う処理内容については後述する。
【００３０】
図５は、本発明のマルチメディアシステムにおける第１クライアント装置２０及び第２クライアント装置３０の内部構成を示すブロック図である。
図５（Ａ）に示すように、第１クライアント装置２０は、入出力処理部２０Ａ、編集画面処理部２０Ｂ、通信処理部２０Ｃ及び動画同期処理部２０Ｄで構成される。
入出力処理部２０Ａは、周知のウィンドウ型ＯＳ及びこのウィンドウ型ＯＳ上で動作する周知のＷＷＷブラウザソフトウェアで構成される。ここで用いるウィンドウ型ＯＳは、各種デバイスの制御機能を含むものである。
編集画面処理部２０Ｂおよび動画同期処理部２０Ｄは、サーバ装置１０から送信された各画面に対して入力がなされた場合に、前記画面を構成するＨＴＭＬデータと共に送信された簡易プログラム言語に記述された処理をＷＷＷブラウザソフトウェア上で実行する処理部である。各処理部が行う処理内容については後述する。
【００３１】
通信処理部２０Ｃは、周知のＯＳ及びＷＷＷサーバソフトウェアで構成される。
また、図５（Ｂ）に示すように、第２クライアント装置３０も入出力処理部３０Ａ、通信処理部３０Ｃ及び動画同期処理部３０Ｄを備えるが、各処理部の機能は第１クライアント装置２０の同一の処理部（２０Ａ、２０Ｃ及び２０Ｄ）の機能に準じる。
【００３２】
図６から図１１は、本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置のそれぞれの内部における処理内容を示すフローチャートである。
また、図１２及び図１３は、本発明のマルチメディアシステムが表示する画面を示す図である。
サーバ側及びクライアント側における処理を説明する前に、図１２及び図１３を用いて各処理で用いる編集パッドについて説明する。
なお、以下の説明では、予め所定の動画と、この動画に対応する文字列及び静止画が図２（Ａ）に示す通りに用意されているものとする。
動画や文字列ないし静止画は、適宜編集可能なものとする。
【００３３】
また、本発明のマルチメディアシステムにおいて使用する画面には、２種類の編集パッドが表示される。
第１編集パッドは、サーバ装置１０から第１クライアント装置２０に送信される「編集画面」内に表示されるパッドであり、「保存」及び「キャンセル」の２つのボタンを有する。この第１編集パッドは例えば、図１２に示すものであり、第１クライアント装置２０のモニタ等の表示領域に表示されている。
第２編集パッドは、編集画面処理（Ｓ２０１Ｂ）において画面内に表示されるパッドであり、同期チェックボックスと同期時間表示欄を有する。この第２編集パッドは例えば、図１３に示すものであり、第１クライアント装置２０のモニタ等の表示領域における文字列部または静止画部をクリックすることにより表示される。
【００３４】
図６は、本発明のマルチメディアシステムにおけるサーバ装置１０側における処理手順を示すフローチャートである。
ここでは、サーバ装置１０と第１クライアント装置２０との間の処理として説明する。
【００３５】
まず、ステップＳ１００において、通信処理部１１Ａがクライアント装置２０からの要求があったか否かを判定する。要求があった場合は後述する各要求に対応する処理にフローが進行する。要求がない場合は、当該ステップＳ１００を繰り返す。
【００３６】
ステップＳ１００において、クライアント装置２０から要求があると判定した場合は、フローがステップＳ１０１Ａに進行し、第１クライアント装置２０からの要求が編集処理であるか否かを判定する。
ステップＳ１０１Ａにおいて、クライアント装置２０からの要求が編集処理であると判定した場合は、ステップ１０１Ｂにおいて編集処理を実行する。
【００３７】
この編集処理は、クライアント装置２０からの編集処理の要求に対し、要求に添付されたコンテンツ識別子に対応するコンテンツのＨＴＭＬファイルをコンテンツ格納部１２から読み出し、その内容を図１２に示す編集画面のコンテンツ表示領域に入れて、クライアント装置２０へ送信する処理である。
編集処理の完了後は、当該編集処理の実行結果に基づくレスポンスを第１クライアント装置２０へ送信し、フローはステップＳ１００に戻り、再び第１クライアント装置２０からの要求を待つ。
【００３８】
ステップＳ１０１Ａにおいて、第１クライアント装置２０からの要求が編集処理ではないと判定した場合は、フローはステップＳ１０２Ａに進行し、第１クライアント装置２０からの要求が保存処理であるか否かを判定する。
ステップＳ１０２Ａにおいて、第１クライアント装置２０からの要求が保存処理であると判定した場合は、フローはステップＳ１０２Ｂに進行し、保存処理を実行する。
【００３９】
この保存処理は、第１クライアント装置２０からの保存処理の要求に対し、要求に添付されたコンテンツの識別子に対応するＨＴＭＬファイルの内容を、要求に添付されたＨＴＭＬデータの内容に、それぞれ上書き保存する処理である。
保存処理の完了後は、当該保存処理の実行結果に基づくレスポンスを第１クライアント装置２０へ送信し、フローはステップＳ１００にリターンし、再び第１クライアント装置２０からの要求を待つ。
【００４０】
ステップＳ１０２Ａにおいて、第１クライアント装置２０からの要求が保存処理ではないと判定した場合は、フローはステップＳ１０３Ａに進行し、第１クライアント装置２０からの要求がコンテンツ送信処理であるか否かを判定する。
第１クライアント装置２０からの要求がコンテンツ送信処理であると判定した場合は、フローはステップＳ１０３Ｂに進行し、コンテンツ送信処理を行う。
【００４１】
コンテンツ送信処理は、第１クライアント装置２０からの送信要求に対して、要求に添付された識別子に対応するコンテンツのＨＴＭＬファイルをコンテンツ格納部１２から読み出し、その内容を第１クライアント装置２０へ送信する処理である。
【００４２】
コンテンツ送信処理の完了後は、当該コンテンツ送信処理の実行結果に基づくレスポンスを第１クライアント装置２０へ送信し、フローはステップＳ１００にリターンし、再び第１クライアント装置２０からの要求を待つ。
【００４３】
図７は、本発明のマルチメディアシステムにおける第１クライアント装置２０側における処理手順を示すフローチャートである。
本発明のマルチメディアシステムでは、ＷＷＷブラウザに本システムのＵＲＬを指定して実行する際に、編集対象のＵＲＬを本システムのＵＲＬに添付して入力する。即ち、例えば、システムのＵＲＬとして「http://aaa.bbb.ccc/system/edit.jsp」を用い、この場合において、編集対象のＵＲＬ及びシステム起動時のＵＲＬとして「http://aaa.bbb.ccc/system/contents01.html」及び「http://aaa.bbb.ccc/system/edit.jsp?url=contents01.html」のように指定したＵＲＬを用いる。
【００４４】
入出力処理部２０Ａでは、ＷＷＷブラウザからのサーバ装置１０へのアクセスにより、入出力処理が始まる。
まず、ステップＳ２００において、処理を分岐するイベントが発生したかどうかを判定する。具体的には、キーボードまたはマウスからの入力があったか否か、動画の再生または停止を検知したか、または動画を再生する時間位置を設定するタイマがその設定時間の到達を検知したかを判定する。  ステップＳ２００において、何らかのイベントが発生したと判定した場合には、フローはステップＳ２００からステップＳ２０１Ａに進行し、キーボードまたはマウスにより「編集画面」が選択されたか否かを判定する。
編集画面処理が指定された場合は、ステップＳ２０１Ｂにおいて編集画面処理を実行する。ステップＳ２０１Ａにおいて、「編集画面」が選択されたとき以外は、動画同期処理を行うために、ステップＳ２０２Ｂに進む。
【００４５】
編集画面処理は、図１２に示す編集画面内の第１編集パッド内の保存ボタンまたはキャンセルボタンのクリック、コンテンツ表示領域内に表示された文字列部や静止画部のクリックにより、処理を分岐する。詳細については図８に示すフローチャートを用いて説明する。
なお、文字列部及び静止画部とは、図１２に示した「コンテンス表示領域」内において文字列または静止画を表示する部分のことをいうものとする。
【００４６】
図８は、本発明のマルチメディアシステムにおける第１クライアント装置２０側の編集画面処理部２０Ｂでの処理手順を示すフローチャートである。この処理では、第１クライアント装置１０において、利用者から動画の場面に合わせて強調表示する文字列や静止画等の選択を受付け、その選択に基づき、指定された動画の時間位置で選択された文字列や静止画等を強調表示するようにＨＴＭＬデータを編集する。
ステップＳ２０１Ｂ１において、図１２に示す編集画面内の第１編集パッド内の保存ボタンがクリックされたか否かを判定する。
【００４７】
保存ボタンがクリックされた場合は、続くステップＳ２０１Ｂ２において、図１２に示す編集画面のコンテンツ表示領域からＨＴＭＬデータを取り出す。さらに続くステップＳ２０１Ｂ３において、内容が更新されたＨＴＭＬデータにコンテンツの識別子を添付して、サーバ装置１０に対して保存処理（ステップＳ１０２Ｂ）を要求する。続くステップＳ２０１Ｂ４において、通信処理部２０Ｃを通じてサーバ装置１０へ保存処理の要求を送信する。
【００４８】
ステップＳ２０１Ｂ１において、保存ボタンがクリックされなかったと判定した場合には、ステップＳ２０１Ｂ５において、編集画面のコンテンツ表示領域内に表示された文字列部や静止画部がクリックされたか否かを判定する。
図２（Ａ）に示すいずれかの文字列部または静止画部がクリックされたと判定した場合は、ステップＳ２０１Ｂ６において、第２編集パッドの表示／非表示を切り替えるべく第２編集パッドの表示切り替え処理を行う。この処理により、第２編集パッドが表示されていない場合には表示し、第２編集パッドが表示されている場合には非表示とする。
【００４９】
図９は、本発明のマルチメディアシステムにおける第２編集パッドの表示切り替え処理の処理手順を示すフローチャートである。
まず、ステップＳ２０１Ｂ６−１において、第２編集パッドが非表示であるか否かを判定する。
非表示であると判定した場合は、フローはステップＳ２０６Ｂ６−２に進行し、ＨＴＭＬデータ内のタグ（スパンタグまたはイメージタグ）内に時間位置属性値が挿入されているか否かを判定する。
【００５０】
時間位置属性値が挿入されていると判定した場合は、フローはステップＳ２０６Ｂ６−３に進行し、第２編集パッドの同期チェックボックスをオン（チェックを入れた状態）にし、同期時間属性値によって定義される時間位置を第２編集パッド内の同期時間表示欄に設定する。なお、このとき第２編集パッドは非表示の状態である。
ステップＳ２０６Ｂ６−３が終了すると、フローはステップＳ２０６Ｂ６−４に進行し、第２編集パッドをコンテンツ表示領域に重ねて表示する（図１３参照）。
【００５１】
また、ステップＳ２０６Ｂ６−１において、第２編集パッドが表示されていると判定した場合は、フローはステップＳ２０６Ｂ６−５に進行し、第２編集パッドを非表示とする。
また、ステップＳ２０６Ｂ６−２において、クリックされた文字部または静止画部に対応するＨＴＭＬデータ内のタグ（スパンタグまたはイメージタグ）内に時間位置属性値が挿入されていないと判定した場合は、フローはステップＳ２０２Ｂ６−６に進行し、第２編集パッドの同期チェックボックスをオフ（チェックを外した状態）にし、現在の動画の時間位置を同期時間表示欄に設定する。同期時間表示欄に設定された時間位置は、動画の再生に合わせてカウントするようになっている。
ステップＳ２０６Ｂ６−６が終了すると、フローはステップＳ２０６Ｂ６−４に進行する。
以上で、第２編集パッド表示切り替え処理が終了する。
【００５２】
なお、図１３は、図２における文字列部「薬品Ａを試験管からビーカに移す」がクリックされた場合に、第２編集パッド内にそのときに再生が停止された動画の時間位置と同期チェックボックスが表示された状態を示す図である。すなわち、この場合は第２編集パッドの非表示状態を表示状態に切り替えた場合を示している。
【００５３】
ステップＳ２０１Ｂ５において、文字列部または静止画部がクリックされなかったと判定した場合には、ステップＳ２０１Ｂ７において、第２編集パッド内の同期チェックボックスがクリックされたか否かを判定する。
第２編集パッド内の同期チェックボックスがクリックされたと判定した場合は、ステップＳ２０１Ｂ８において、同期時間属性設定処理を行う。
この同期時間属性設定処理は、利用者によって同期チェックボックスがクリックされた時点における動画の時間位置を、その文字列部または静止画部を強調表示する時間位置としてＨＴＭＬデータ内に設定する処理である。
【００５４】
図１０は、本発明のマルチメディアシステムにおける同期時間属性設定処理の処理手順を示すフローチャートである。
ステップＳ２０１Ｂ８−１において、第２編集パッドの同期チェックボックスがオンであるか否かを判定する。
オンであると判定した場合は、続くステップＳ２０１Ｂ８−２において、ステップＳ２０１Ｂ７で利用者によって同期チェックボックスがクリックされてオンされた時点における動画の時間位置を第２編集パッドの同期時間表示欄に設定する。
【００５５】
続くステップＳ２０１Ｂ８−３では、現在処理中の文字列部または静止画部に対応するＨＴＭＬデータのスパンタグまたはイメージタグ内に、ステップＳ２０１Ｂ８−２で第２編集パッドの同期時間表示欄に設定した時間位置に対応する時間位置属性値を挿入する。
ステップＳ２０１Ｂ８−３が終了すると、フローはステップＳ２０１Ｂ８−１にリターンする。
【００５６】
また、ステップＳ２０１Ｂ８−１において、第２編集パッドの同期チェックボックスがオフであると判定した場合は、フローはステップＳ２０１Ｂ８−４に進行し、現在処理中の文字列部または静止画部に対応するＨＴＭＬデータ内のスパンタグまたはイメージタグ内から時間位置属性値を削除する。
ステップＳ２０１Ｂ８−４が終了すると、フローはステップＳ２０１Ｂ８−１にリターンする。
以上で、時間位置属性値挿入処理が終了する。
【００５７】
具体的には、図１３では文字列部「薬品Ａを試験管からビーカに移す」がクリックされることによって第２編集パッドが表示され、この第２編集パッド内の同期チェックボックスがクリックされた時点での動画の時間位置は第２編集パッド内に「００：１０．２３」（００分１０，２３秒）と表示され、対応するＨＴＭＬデータ内のタグに反映される。
この処理により、「薬品Ａを試験管からビーカに移す」という文字列が、動画を再生してから１０．２３秒後に強調表示されるように設定される。
【００５８】
このように時間位置がＨＴＭＬデータに反映された後に、図１３に示す文字列部「薬品Ａを試験管からビーカに移す」がクリックされると、第２編集パッドを表示状態から非表示状態に切り替える。
【００５９】
ステップＳ２０１Ｂ７において、文字列部または静止画部がクリックされなかったと判定した場合は、ステップＳ２０１Ｂ９において、編集画面内のキャンセルボタンがクリックされたか否かを判定する。
キャンセルボタンがクリックされたと判定した場合は、ステップＳ２０１Ｂ１０において編集画面を閉じる。
また、ステップＳ２０１Ｂ９において、キャンセルボタンがクリックされなかったと判定した場合は、フローはステップＳ２０１Ｂ１にリターンする。
なお、ステップＳ２０１Ｂ４、Ｓ２０１Ｂ６、Ｓ２０１Ｂ８、Ｓ２０１Ｂ１０における各処理が終了した場合にもフローはステップＳ２０４Ｂ１にリターンする。
【００６０】
図７に示すステップＳ２０１Ａにおいて、編集画面処理が指定されなかったと判定した場合は、フローはステップＳ２０２Ｂに進行し動画同期処理を行う。
【００６１】
図１１は、本発明のマルチメディアシステムにおけるクライアント装置側のメイン画面処理部での動画同期処理の処理手順を示すフローチャートである。この動画同期処理とは、後述する時間位置対応表に基づき、動画に合わせて文字列や静止画を強調表示する処理を行うものである。
【００６２】
ステップＳ２０２Ｂ１において、時間位置属性値が挿入されたＨＴＭＬデータに基づく画面を初めて表示するのか否かを判定する。
そのような画面を初めて表示すると判定した場合は、ステップＳ２０２Ｂ２において、時間位置属性値が挿入されたＨＴＭＬデータのスパンタグまたはイメージタグの識別子（ＩＤ）と、一時的に主記憶上に記憶される、時間位置の対応表を作成する。図１４にこの表の一例を示す。
【００６３】
フローはステップＳ２０２Ｂ３に進行し、ＨＴＭＬデータのスパンタグまたはイメージタグの識別子と時間位置対応表を時間位置について降順でソートする。
ステップＳ２０２Ｂ３が終了すると、フローはステップＳ２０２Ｂ１にリターンする。
【００６４】
また、ステップＳ２０２Ｂ１において、時間位置属性値が挿入されたＨＴＭＬデータに基づく画面を初めて表示するのではないと判定した場合は、フローはステップＳ２０２Ｂ４に進行し、動画が再生されたか否かを判定する。
動画が再生されたと判定した場合は、フローはステップＳ２０２Ｂ５に進行し、ＨＴＭＬデータ内のスパンタグまたはイメージタグの識別子（ＩＤ）と時間位置対応表から、その時間位置から初めに訪れる文字列または静止画の強調表示のタイミングを表す時間位置を抽出し、その時間位置によって定義される時間をタイマに設定する。
ステップＳ２０２Ｂ５による処理が終了すると、フローはステップＳ２０２Ｂ１にリターンする。
【００６５】
また、ステップＳ２０２Ｂ４において、動画が再生されたと判定しない場合は、フローはステップＳ２０２Ｂ６に進行し、動画の再生を停止するか否かを判定する。
停止すると判定した場合は、フローはステップＳ２０２Ｂ７に進行し、タイマを停止する。
【００６６】
また、ステップＳ２０２Ｂ６で動画の再生を停止しないと判定した場合は、フローはステップＳ２０２Ｂ８に進行し、タイマに設定した時間に到達したか否かを判定する。
到達したと判定した場合は、フローはステップＳ２０２Ｂ９に進行し、現在再生中の動画の時間位置が識別子によって定まるＨＴＭＬデータ内のスパンタグまたはイメージタグ内に挿入された時間位置属性値が表す時間位置を越えたか否かを判定する。
【００６７】
その時間位置を越えたと判定した場合は、フローはステップＳ２０２Ｂ１０に進行し、強調表示された文字列部または静止画部があるか否かを判定する。
強調表示された文字列部または静止画部があると判定した場合は、フローはステップＳ２０２Ｂ１１に進行し、現在処理中の識別子に対応する文字列部または静止画部の強調表示を消す。
【００６８】
続くステップＳ２０２Ｂ１２において、時間位置に対応する識別子によって特定される文字列部または静止画部を強調表示する。
フローはステップＳ２０２Ｂ１３に進行し、時間位置対応表から次の時間位置を抽出する。
【００６９】
フローはステップＳ２０２Ｂ１４に進行し、時間位置によって定義される時間と、現在の動画の再生位置との差分時間を演算し、この差分時間をタイマに設定する。
このステップＳ２０２Ｂ１４が終了すると、フローはステップＳ２０２Ｂ１にリターンする。
【００７０】
また、ステップＳ２０２Ｂ９において、動画の再生位置が識別子によって定まるＨＴＭＬデータ内のスパンタグまたはイメージタグ内に挿入された時間位置属性値が表す時間位置を越えていないと判定した場合は、フローはステップＳ２０２Ｂ１４にスキップする。
また、ステップＳ２０２Ｂ１０において、強調表示された文字列部または静止画部がないと判定した場合は、フローはステップＳ２０２Ｂ１２にスキップする。
【００７１】
また、ステップＳ２０２Ｂ８において、タイマに設定した時間に到達していないと判定した場合は、フローはステップＳ２０２Ｂ１５に進行し、文字列部または静止画部がクリックされたか否かを判定する。
文字列部または静止画部がクリックされたと判定した場合は、フローはステップＳ２０２Ｂ１６に進行し、時間位置対応表から、クリックされた文字列部または静止画部に対応する時間位置を抽出する。
【００７２】
フローはステップＳ２０２Ｂ１７に進行し、ステップＳ２０２Ｂ１６で抽出された時間位置から動画を再生する。
すなわち、ステップＳ２０２Ｂ１６でクリックされた文字列部または静止画部の識別子に対応する時間位置を時間位置対応表から読み出し、その時点から動画の再生、文字列や静止画の強調表示を行うものである。
ステップＳ２０２Ｂ１７による処理が終了すると、フローはステップＳ２０２Ｂ１０に進行する。
また、ステップＳ２０２Ｂ１５において、文字列部または静止画部がクリックされていないと判定した場合は、フローはステップＳ２０２Ｂ１にリターンする。
以上で、本発明のマルチメディアシステムにおけるクライアント装置側のメイン画面処理部での動画同期処理が終了する。
【００７３】
なお、図７に示すステップＳ２００において、キーボードまたはマウスからの入力、動画の再生、停止の検知または、タイマの設定時間到達検知がなかったと判定された場合は、フローはステップＳ２０３Ａに進行し、サーバ装置１０から画面を受信したか否かを判定する。
画面を受信したと判定した場合には、第１クライアント装置２０または第２クライアント装置３０から受信した画面をクライアント装置２０において表示する。
【００７４】
以上、本発明のマルチメディアシステムによれば、動画に文字列または静止画の強調表示を同期させるための情報と、表示する情報とを一体としたため、管理、編集が容易である。
また、ＷＷＷブラウザ上で、動画に同期させて強調表示したい文字列や静止画を実際に確認しながら、容易に同期設定が可能である。
また、強調表示したい対象物である文字列部や静止画部に動画との同期情報を含めたため、これらの対象物の形状や画面上の位置、内容などを変更しても、動画との同期に伴う時間情報や強調表示の位置情報を修正する必要がない。
【００７５】
なお、以上では、第１クライアント装置２０とサーバ装置１０との間における処理について説明したが、編集画面処理部を備えない第２クライアント装置３０とサーバ装置１０との間においても、編集処理（ステップＳ１０１Ｂ）が行われないだけで、その他の処理は同様である。第２クライアント装置３０は、第１クライアント装置２０側で編集された動画と文字列または静止画の同期処理に従って、動画と文字列または静止画の強調表示をコンテンツ表示領域内で行う従属的なクライアント装置である。
【図面の簡単な説明】
【００７６】
【図１】本発明のマルチメディアシステムに用いるＨＴＭＬデータの構成を示す図である。
【図２】図１に示すＨＴＭＬデータに基づく動画と文字列ないし静止画の表示状態を示す図である。
【図３】本発明のマルチメディアシステムのハードウェア構成を示すブロック図である。
【図４】本発明のマルチメディアシステムにおけるサーバ装置１０内の構成を示すブロック図である。
【図５】本発明のマルチメディアシステムにおける第１クライアント装置及び第２クライアント装置の内部構成を示すブロック図である。
【図６】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図７】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図８】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図９】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図１０】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図１１】本発明のマルチメディアシステムにおけるサーバ装置、第１クライアント装置及び第２クライアント装置内における処理内容を示すフローチャートである。
【図１２】本発明のマルチメディアシステムが表示する画面を示す図である。
【図１３】本発明のマルチメディアシステムが表示する画面を示す図である。
【図１４】本発明のマルチメディアシステムで用いる時間位置対応表を示す図である。
【図１５】従来のマルチメディア表示装置の構成を示す図である。
【符号の説明】
【００７７】
１０  サーバ装置、１１  サーバ本体、１１Ａ  通信処理部、１１Ｂ  編集処理部、１１Ｃ  保存処理部、１１Ｄ  コンテンツ送信処理部、１２  コンテンツ格納部、２０  第１クライアント装置、２０Ａ  入出力処理部、２０Ｂ  編集画面処理部、２０Ｃ  通信処理部、２０Ｄ  動画同期処理部、３０  第２クライアント装置、３０Ａ  入出力処理部、３０Ｃ  通信処理部、３０Ｄ  動画同期処理部、４０  ネットワーク。
【図１】
2005181599.tif 000003
【図２】
2005181599.tif 000004
【図３】
2005181599.tif 000005
【図４】
2005181599.tif 000006
【図５】
2005181599.tif 000007
【図６】
2005181599.tif 000008
【図７】
2005181599.tif 000009
【図８】
2005181599.tif 000010
【図９】
2005181599.tif 000011
【図１０】
2005181599.tif 000012
【図１１】
2005181599.tif 000013
【図１２】
2005181599.tif 000014
【図１３】
2005181599.tif 000015
【図１４】
2005181599.tif 000016
【図１５】
2005181599.tif 000017