(57)【要約】【課題】蓄積型の映像データであっても、ライブ型の映像データであっても、受信側の情報再生装置が映像データと付加情報の同期を図ることができる情報配信装置を得ることを目的とする。【解決手段】映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を映像データと多重化する同期情報多重化部３を設けるように構成した。これにより、蓄積型の映像データであっても、ライブ型の映像データであっても受信側の情報再生装置が映像データと付加情報の同期を図ることができる。【選択図】        図１
2005012361.tif 000002
【特許請求の範囲】
【請求項１】
映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を当該映像データと多重化する多重化手段と、上記多重化手段により同期情報が多重化された映像データを配信する映像配信手段と、その映像データに関連する付加情報を配信する付加情報配信手段とを備えた情報配信装置。
【請求項２】
多重化手段は、映像データのフレーム単位で同期情報を多重化することを特徴とする請求項１記載の情報配信装置。
【請求項３】
映像データに関連する付加情報の編集を受け付ける編集手段を設けたことを特徴とする請求項１または請求項２記載の情報配信装置。
【請求項４】
編集手段は、バナー形式の付加情報の編集を受け付けることを特徴とする請求項３記載の情報配信装置。
【請求項５】
編集手段は、ハイパーメディア形式の付加情報の編集を受け付けることを特徴とする請求項３記載の情報配信装置。
【請求項６】
編集手段は、付加情報配信手段が付加情報の他に、その付加情報に関連する関連情報を配信する場合、その関連情報の編集を受け付けることを特徴とする請求項３記載の情報配信装置。
【請求項７】
情報配信装置から配信された映像データを受信し、その映像データに多重化されている同期情報を分離する映像受信手段と、上記映像受信手段により分離された同期情報が示す読込タイミングにしたがって上記情報配信装置から配信された付加情報をダウンロードする付加情報受信手段と、上記映像受信手段により分離された同期情報が示す表示タイミングにしたがって上記付加情報受信手段によりダウンロードされた付加情報を上記映像データと同期表示する同期表示手段とを備えた情報再生装置。
【請求項８】
映像受信手段は、映像データのフレーム単位で多重化されている同期情報を分離することを特徴とする請求項７記載の情報再生装置。
【請求項９】
同期表示手段は、バナー形式の付加情報を映像データと同期表示することを特徴とする請求項７または請求項８記載の情報再生装置。
【請求項１０】
同期表示手段は、ハイパーメディア形式の付加情報を映像データと同期表示することを特徴とする請求項７または請求項８記載の情報再生装置。
【請求項１１】
同期表示手段は、付加情報を映像データと同期表示したのち、その付加情報が指定されると、その付加情報の関連情報を表示することを特徴とする請求項７または請求項８記載の情報再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像データの他に、その映像データに関連する付加情報を配信する情報配信装置と、情報配信装置から配信される映像データと付加情報を同期表示する情報再生装置とに関するものである。
【０００２】
【従来の技術】
従来の情報配信装置は、蓄積型の映像データと付加情報を配信するに際して、その映像データと付加情報の同期配信方式であるＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）を採用する。ＳＭＩＬの場合、スクリプト形式の言語で、映像データと付加情報の表示タイミングを示す情報を時間単位で記述する。
情報再生装置は、情報配信装置からネットワーク経由で蓄積型の映像データと付加情報を受信すると、表示タイミングを示す情報にしたがって映像データと付加情報を表示する（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
「Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ａｃｔｉｖｉｔｙ  Ｓｔａｔｅｍｅｎｔ」、２００３年４月２７日、Ｗ３Ｃ発行、
インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｗ３ｃ．ｏｒｇ／ＡｕｄｉｏＶｉｄｅｏ／＞
【０００４】
【発明が解決しようとする課題】
従来の情報配信装置は以上のように構成されているので、受信側で蓄積型の映像データと付加情報の同期表示を実現することができる。しかし、ライブ型の映像データの場合、時間情報を持たないため、その映像データと付加情報を同期表示することができない課題があった。
なお、情報配信装置がライブ型の映像データと付加情報の同期を取って配信しても、ネットワークの帯域変動などの影響により、受信時にはライブ型の映像データと付加情報の同期が崩れている可能性があり、その場合には、その映像データと付加情報を同期表示することができなくなる。
【０００５】
この発明は上記のような課題を解決するためになされたもので、蓄積型の映像データであっても、ライブ型の映像データであっても、受信側の情報再生装置が映像データと付加情報の同期を図ることができる情報配信装置を得ることを目的とする。
また、この発明は、蓄積型の映像データであっても、ライブ型の映像データであっても付加情報と同期表示することができる情報再生装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る情報配信装置は、映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を映像データと多重化する多重化手段を設けたものである。
【０００７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による情報配信装置及び情報再生装置を示す構成図であり、図において、映像表示部１は例えば液晶ディスプレイや表示コントローラなどから構成され、映像データを入力すると、その映像データを表示する機能を備えている。付加情報編集部２は映像表示部１により表示されている映像データに関連する付加情報の編集を受け付ける編集手段を構成している。
同期情報多重化部３は映像データを圧縮するとともに、その映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を圧縮し、圧縮後の映像データと圧縮後の同期情報を多重化する。なお、同期情報多重化部３は多重化手段を構成している。付加情報出力部４は付加情報編集部２により編集された付加情報を付加情報配信部６に与える。
映像配信部５は例えば通信デバイスが搭載され、同期情報多重化部３から出力された多重化データをネットワーク７経由で情報再生装置に配信する映像配信手段を構成している。付加情報配信部６は例えば通信デバイスが搭載され、付加情報出力部４から与えられた付加情報をネットワーク７経由で情報再生装置に配信する付加情報配信手段を構成している。
【０００８】
映像受信部８は例えば通信デバイスが搭載され、情報配信装置から配信された多重化データを受信すると、その多重化データから映像データと同期情報を分離して、その映像データと同期情報を伸張する映像受信手段を構成している。付加情報受信部９は例えば通信デバイスが搭載され、映像受信部８により伸張された同期情報が示す読込タイミングにしたがって情報配信装置から配信された付加情報をメモリ１０にダウンロードする付加情報受信手段を構成している。
同期表示部１１は例えば液晶ディスプレイや表示コントローラなどから構成され、映像受信部８により伸張された同期情報が示す表示タイミングにしたがってメモリ１０に格納された付加情報を映像データと同期表示する同期表示手段を構成している。
なお、付加情報編集部２、同期情報多重化部３、付加情報出力部４、映像受信部８及び付加情報受信部９は、専用のハードウエア（例えば、半導体集積回路）を用いて構成してもよいが、これらの処理内容が記述されたプログラムを用意し、図示せぬコンピュータが当該プログラムを実行するようにしてもよい。
【０００９】
図２はこの発明の実施の形態１による情報配信装置の同期情報多重化部３を示す構成図であり、図において、映像データ読込部２１は映像表示部１により表示されている映像データの読込処理を実施し、映像データ圧縮部２２は映像データ読込部２１により読み込まれた映像データを圧縮する。付加情報読込部２３は付加情報編集部２により編集された付加情報の読込処理を実施し、同期情報生成部２４は付加情報読込部２３により読み込まれた付加情報の読込タイミングや表示タイミングを示す同期情報を生成する。同期情報圧縮部２５は同期情報生成部２４により生成された同期情報を圧縮する。多重化部２６は圧縮後の映像データと圧縮後の同期情報を多重化する。
図３はこの発明の実施の形態１による情報配信装置及び情報再生装置の処理内容を示すフローチャートである。
【００１０】
次に動作について説明する。
情報配信装置の映像表示部１は、外部から映像データが与えられると、その映像データをディスプレイに表示する（ステップＳＴ１）。なお、映像データは、蓄積型の映像データであっても、ライブ型の映像データであってもよい。
付加情報編集部２は、映像表示部１により表示されている映像データに関連する付加情報（例えば、バナー広告やキャラクタなどが該当する）の編集を受け付ける機能を有する。これにより、ユーザが例えばマウスやキーボードを操作して、その付加情報の表示位置（ディスプレイ上の座標）や表示形状などを編集することができる。なお、ユーザは、映像データに関連する付加情報を編集する際、その映像データに対する付加情報の表示タイミングを設定する。
付加情報のデータフォーマットは下記の通りである。ただし、ＩＤは付加情報を特定する識別情報である。
付加情報＝ＩＤ＋制御情報（例えば、表示位置、表示形状、表示色など）
【００１１】
同期情報多重化部３の映像データ圧縮部２２は、映像データ読込部２１が映像表示部１により表示されている映像データの読込処理を実施すると、その映像データを所定の方法で圧縮する。ただし、映像データの圧縮方法は特に問うものではなく、いかなる圧縮方法を採用してもよい。
同期情報多重化部３の同期情報生成部２４は、付加情報読込部２３が付加情報編集部２により編集された付加情報の読込処理を実施すると、その付加情報の読込タイミングや表示タイミングを示す同期情報を生成する。
【００１２】
ここで、同期情報は２種類あり、情報再生装置の付加情報受信部９が付加情報をメモリ１０にダウンロードするタイミングを示すダウンロード命令と、メモリ１０にダウンロードされた付加情報を表示するタイミングを示す表示命令とがある。
ダウンロード命令：ｄｏｗｎｌｏａｄ（ｉｄ）
表示命令        ：ｄｉｓｐｌａｙ（ｉｄ，ｔｉｍｅ）
ただし、ｉｄは付加情報のＩＤ
ｔｉｍｅは表示命令の開始時間からの経過時間
【００１３】
同期情報多重化部３の同期情報圧縮部２５は、同期情報生成部２４が同期情報を生成すると、その同期情報を所定の形式で圧縮する。ただし、同期情報の圧縮方法は特に問うものではなく、いかなる圧縮方法を採用してもよい。
同期情報多重化部３の多重化部２６は、映像データ圧縮部２２が映像データを圧縮し、同期情報圧縮部２５が同期情報を圧縮すると、付加情報編集部２で設定された表示タイミングにしたがって圧縮後の映像データと圧縮後の同期情報を多重化する（ステップＳＴ２）。
【００１４】
即ち、多重化部２６は、図４に示すように、映像データと付加情報の同期表示を開始する映像データの同期表示開始フレーム（図中、一番左側の△が埋め込まれるフレーム）から、同期表示を終了する映像データの同期表示終了フレーム（図中、一番右側の△が埋め込まれるフレーム）までの各フレームに、同期情報として表示命令を埋め込む処理を実施する。
また、同期表示を開始する前に、付加情報のダウンロードが完了している必要があるので、表示命令を埋め込むフレームよりも前の数フレームに、同期情報としてダウンロード命令を埋め込む処理を実施する。
【００１５】
映像配信部５は、同期情報多重化部３が映像データと同期情報を多重化すると、その多重化データをネットワーク７経由で情報再生装置に配信する（ステップＳＴ３）。
また、付加情報配信部６は、付加情報出力部４から与えられた付加情報をネットワーク７経由で情報再生装置に配信する。
【００１６】
情報再生装置の映像受信部８は、情報配信装置から配信された多重化データを受信すると（ステップＳＴ４）、その多重化データから映像データと同期情報を分離して、その映像データと同期情報を伸張する。
付加情報受信部９は、映像受信部８から同期情報であるダウンロード命令を受けると、情報再生装置から配信される付加情報のうち、そのダウンロード命令の引数で指定される“ｉｄ”と一致するＩＤの付加情報をダウンロードしてメモリ１０に格納する（ステップＳＴ５）。
【００１７】
同期表示部１１は、映像受信部８から出力される映像データをディスプレイに表示するとともに、映像受信部８から同期情報である表示命令を受けると、その表示命令の引数で指定される“ｉｄ”と一致するＩＤの付加情報をメモリ１０から取り込み、その表示命令の引数で指定される“ｔｉｍｅ”にしたがって付加情報をディスプレイに表示する（ステップＳＴ６）。
即ち、表示命令が多重化されている映像データのフレームをディスプレイに表示している期間中、付加情報をディスプレイに表示する。
【００１８】
以上で明らかなように、この実施の形態１によれば、映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を映像データと多重化する同期情報多重化部３を設けるように構成したので、蓄積型の映像データであっても、ライブ型の映像データであっても受信側の情報再生装置が映像データと付加情報の同期を図ることができる効果を奏する。
【００１９】
また、この実施の形態１によれば、映像受信部８により分離された同期情報が示す読込タイミングにしたがって情報配信装置から配信された付加情報をダウンロードし、映像受信部８により分離された同期情報が示す表示タイミングにしたがってダウンロードした付加情報を映像データと同期表示するように構成したので、蓄積型の映像データであっても、ライブ型の映像データであっても付加情報と同期表示することができる効果を奏する。
【００２０】
さらに、この実施の形態１によれば、映像データのフレーム単位で同期情報を多重化するように構成しているので、ネットワーク７の不安定化に伴って、仮に、いくつかのパケットが欠落しても、映像データと付加情報を同期表示することができる効果を奏する。
【００２１】
実施の形態２．
図５はこの発明の実施の形態２による情報配信装置及び情報再生装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。バナー形式対応付加情報編集部２ａは映像表示部１により表示されているバナー形式の付加情報の編集を受け付ける編集手段を構成している。
バナー形式対応同期表示部１１ａは例えば液晶ディスプレイや表示コントローラなどから構成され、映像受信部８により伸張された同期情報が示す表示タイミングにしたがってメモリ１０に格納されたバナー形式の付加情報を映像データと同期表示する同期表示手段を構成している。
【００２２】
上記実施の形態１では、付加情報の形式については特に言及していないが、バナー形式の付加情報の編集を受け付けるバナー形式対応付加情報編集部２ａを情報配信装置に搭載し、バナー形式の付加情報の表示を受け付けるバナー形式対応同期表示部１１ａを情報再生装置に搭載することにより、バナー形式の付加情報を配信して、バナー形式の付加情報を表示するようにしてもよい。
【００２３】
図６はバナー形式の付加情報と映像データの同期表示例を示す説明図である。
ここで、バナー形式の付加情報は、映像データ上のある指定された位置に静止情報の表示を目的とする情報であり、イメージ形式３１とテキスト形式３２の二種類がある。
この実施の形態２によれば、バナー形式の付加情報を映像データと同期表示することができる効果を奏する。
【００２４】
実施の形態３．
図７はこの発明の実施の形態３による情報配信装置及び情報再生装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。ハイパーメディア形式対応付加情報編集部２ｂは映像表示部１により表示されているハイパーメディア形式の付加情報の編集を受け付ける編集手段を構成している。
ハイパーメディア形式対応同期表示部１１ｂは例えば液晶ディスプレイや表示コントローラなどから構成され、映像受信部８により伸張された同期情報が示す表示タイミングにしたがってメモリ１０に格納されたハイパーメディア形式の付加情報を映像データと同期表示する同期表示手段を構成している。
【００２５】
上記実施の形態１では、付加情報の形式については特に言及していないが、ハイパーメディア形式の付加情報の編集を受け付けるハイパーメディア形式対応付加情報編集部２ｂを情報配信装置に搭載し、ハイパーメディア形式の付加情報の表示を受け付けるハイパーメディア形式対応同期表示部１１ｂを情報再生装置に搭載することにより、ハイパーメディア形式の付加情報を配信して、ハイパーメディア形式の付加情報を表示するようにしてもよい。
【００２６】
図８はハイパーメディア形式の付加情報と映像データの同期表示例を示す説明図である。
ここで、ハイパーメディア形式の付加情報は、映像データに登場するオブジェクトの動きや大きさの変化に合わせて、位置や大きさを変える動画の表示を目的とする情報であり、イメージ形式３３とグラフィック形式３４の二種類がある。
ハイパーメディア形式の付加情報は、例えば、映像データ中に多重化された表示命令の引数である経過時間“ｔｉｍｅ”に基づいて位置や大きさが算出されて、映像データ上に同期表示される。
この実施の形態３によれば、ハイパーメディア形式の付加情報を映像データと同期表示することができる効果を奏する。
【００２７】
実施の形態４．
図９はこの発明の実施の形態４による情報配信装置及び情報再生装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
関連情報対応付加情報編集部２ｃは映像表示部１により表示されている付加情報の他に、その付加情報に関連する関連情報の編集を受け付ける編集手段を構成している。
関連情報対応同期表示部１１ｃは例えば液晶ディスプレイや表示コントローラなどから構成され、映像受信部８により伸張された同期情報が示す表示タイミングにしたがってメモリ１０に格納された付加情報を映像データと同期表示する一方、その付加情報がクリックされると、その付加情報の関連情報を表示する同期表示手段を構成している。
【００２８】
上記実施の形態１では、情報配信装置が映像データと付加情報を配信して、情報再生装置が映像データと付加情報を同期表示するものについて示したが、付加情報と関連情報の編集を受け付ける関連情報対応付加情報編集部２ｃを情報配信装置に搭載し、付加情報がクリックされると、その付加情報の関連情報を表示する関連情報対応同期表示部１１ｃを情報再生装置に搭載することにより、映像データと同期表示されている付加情報が指定されると、その付加情報の関連情報を表示するようにしてもよい。
【００２９】
図１０は関連情報の表示例を示す説明図である。
関連情報は、映像データに同期して表示されている付加情報をマウス等を用いて、直接クリックして指定することにより表示される情報であり、テキスト形式４１とＷｅｂ形式４２の二種類がある。
テキスト形式の関連情報は、映像データ中の指定された位置にテキスト表示される関連情報であり、Ｗｅｂ形式の関連情報は、外部のブラウザが表示するＵＲＬ形式の情報である。
【００３０】
【発明の効果】
以上のように、この発明によれば、映像データに関連する付加情報の読込タイミング又は表示タイミングを示す同期情報を映像データと多重化する多重化手段を設けるように構成したので、蓄積型の映像データであっても、ライブ型の映像データであっても受信側の情報再生装置が映像データと付加情報の同期を図ることができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による情報配信装置及び情報再生装置を示す構成図である。
【図２】この発明の実施の形態１による情報配信装置の同期情報多重化部を示す構成図である。
【図３】この発明の実施の形態１による情報配信装置及び情報再生装置の処理内容を示すフローチャートである。
【図４】映像データと同期情報の多重化処理を説明する説明図である。
【図５】この発明の実施の形態２による情報配信装置及び情報再生装置を示す構成図である。
【図６】バナー形式の付加情報と映像データの同期表示例を示す説明図である。
【図７】この発明の実施の形態３による情報配信装置及び情報再生装置を示す構成図である。
【図８】ハイパーメディア形式の付加情報と映像データの同期表示例を示す説明図である。
【図９】この発明の実施の形態４による情報配信装置及び情報再生装置を示す構成図である。
【図１０】関連情報の表示例を示す説明図である。
【符号の説明】
１  映像表示部、２  付加情報編集部（編集手段）、２ａ  バナー形式対応付加情報編集部（編集手段）、２ｂ  ハイパーメディア形式対応付加情報編集部（編集手段）、２ｃ  関連情報対応付加情報編集部（編集手段）、３  同期情報多重化部（多重化手段）、４  付加情報出力部、５  映像配信部（映像配信手段）、６  付加情報配信部（付加情報配信手段）、７  ネットワーク、８  映像受信部（映像受信手段）、９  付加情報受信部（付加情報受信手段）、１０  メモリ、１１  同期表示部（同期表示手段）、１１ａ  バナー形式対応同期表示部（同期表示手段）、１１ｂ  ハイパーメディア形式対応同期表示部（同期表示手段）、１１ｃ  関連情報対応同期表示部（同期表示手段）、２１  映像データ読込部、２２  映像データ圧縮部、２３  付加情報読込部、２４  同期情報生成部、２５  同期情報圧縮部、２６  多重化部、３１  イメージ形式、３２  テキスト形式、３３  イメージ形式、３４  グラフィック形式、４１  テキスト形式、４２Ｗｅｂ形式。
【図１】
2005012361.tif 000003
【図２】
2005012361.tif 000004
【図３】
2005012361.tif 000005
【図４】
2005012361.tif 000006
【図５】
2005012361.tif 000007
【図６】
2005012361.tif 000008
【図７】
2005012361.tif 000009
【図８】
2005012361.tif 000010
【図９】
2005012361.tif 000011
【図１０】
2005012361.tif 000012