(57)【特許請求の範囲】
【請求項１】
第１映像表示画面情報の表示に関わる第１タイムスタンプ情報、及び第２映像表示画面情報の表示に関わる第２タイムスタンプ情報からなる第１差分情報と、
上記第１映像表示画面情報の表示に関わる第１時刻情報、及び上記第２映像表示画面情報の表示に関わる第２時刻情報からなる第２差分情報と、
上記第１時刻情報、及び映像表示画面情報における関連表示情報の表示に関わる第３時刻情報からなる第３差分情報とを用いて、
上記関連表示情報の表示に関わる第３タイムスタンプ情報を算出する算出部と、
上記関連表示情報及び上記第３タイムスタンプ情報を有する関連情報を送信する送信部と
を有することを特徴とする情報処理装置。
【請求項２】
上記関連表示情報を受信する第１受信部と、
上記第３時刻情報に関わるタイミング情報を受信する第２受信部と
を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記映像表示画面情報を受信する第３受信部を有することを特徴とする請求項２に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの普及に伴い、ネットワークを通じた映像配信技術（例えば、リアルタイムＩＰ放送等）が進展している。映像配信技術の進展に伴い、ユーザにおいては、単なる映像の視聴だけでなく、映像に関連した情報（以下、「関連情報」とも呼ぶ）をリアルタイムに取得したいニーズが高まっている。
【０００３】
このニーズに応えるため、例えば、ベンダーは、映像と共に字幕（関連情報の一例）を配信するサービスを提供しているが、この際、映像と字幕を同期する技術が重要となっている。
【０００４】
特許文献１には、受信機での表示において字幕作成遅延時間の影響を考慮して、受信機側でデジタル字幕放送信号の映像データ・音声データと字幕データとの同期を実現するための技術が記載されている。まず、字幕放送システムは、字幕作成時に生成される字幕入力開始タイミングを示す制御フラグと、字幕重畳タイミングを示す制御フラグを含む遅延制御信号を字幕付き映像信号中に重畳して配信する。前記字幕付き映像信号を受信した受信機は、映像データ及び音声データに対して固定遅延を与えて表示する。一方、字幕データに対しては、前記の制御フラグから算出される可変長の遅延時間を与えて表示している。これにより、映像データ・音声データと字幕データとの表示の同期を可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１１６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、映像と字幕の同期のために、制御フラグ（字幕重畳タイミングを示すフラグ）を含む遅延制御信号を字幕付き映像信号中に重畳する必要があった。そのため、データの配信量が多くなり、受信機側の同期処理の負荷が大きくなるという問題が生じ得る。
【０００７】
そのため、簡易な手段により、映像と関連情報との同期を取りつつ、映像と関連情報の同期処理の負荷を軽減することができる情報処理装置が望まれている。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、（１）第１映像表示画面情報の表示に関わる第１タイムスタンプ情報、及び第２映像表示画面情報の表示に関わる第２タイムスタンプ情報からなる第１差分情報と、上記第１映像表示画面情報の表示に関わる第１時刻情報、及び上記第２映像表示画面情報の表示に関わる第２時刻情報からなる第２差分情報と、上記第１時刻情報、及び映像表示画面情報における関連表示情報の表示に関わる第３時刻情報からなる第３差分情報とを用いて、上記関連表示情報の表示に関わる第３タイムスタンプ情報を算出する算出部と、（２）上記関連表示情報及び上記第３タイムスタンプ情報を有する関連情報を送信する送信部とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、簡易な手段により、映像データと関連情報との同期を行うことが可能となり、映像と関連情報の同期処理の負荷を軽減することができるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る放送配信システムの全体構成を示すブロック図である。
【図２】実施形態に係る関連情報形成装置の構成を示すブロック図である。
【図３】実施形態に係るデータベース（ＤＢ）に記憶されるテーブル（レコード）を示す説明図である。
【図４】実施形態に係る関連情報形成装置のインタフェース例を示す説明図である。
【図５】ＭＰＥＧ２システムのトランスポートパケットの構成を示す説明図である。
【図６】ＰＥＳパケットの構成を示す説明図である。
【図７】実施形態に係る情報表示装置の構成を示すブロック図である
【図８】実施形態に係る関連情報構成部が関連情報の挿入位置に対するタイムスタンプ値を推定する手順を示す説明図である。
【図９】実施形態に係る関連情報形成装置におけるタイムスタンプ値を推定する手順を示すフローチャートである。
【図１０】実施形態に係る情報表示装置におけるＰＴＳを用いた映像と関連情報の同期処理を示すフローチャートである。
【図１１】実施形態に係る情報表示装置における関連情報受信時刻と関連情報表示の関係から表示の調整が必要な場合を示す説明図である。
【発明を実施するための形態】
【００１５】
（Ａ）主たる実施形態
以下、本発明による情報処理装置の一実施形態を、図面を参照しながら詳述する。
【００１６】
（Ａ−１）実施形態の構成
（Ａ−１−１）放送配信システム１の全体構成
図１は、この実施形態の放送配信システム１の全体構成を示すブロック図である。図１において、放送配信システム１は、情報表示装置１０、関連情報形成装置２０、映像入力装置３０、中継サーバ４０、ＩＰＴＶ放送配信サーバ５０、関連情報提供サーバ６０及びネットワークＮを有する。
【００１７】
放送配信システム１は、撮像された映像を利用者の情報表示装置１０にネットワークＮを介して映像配信するシステムである。この実施形態では、特に映像を瞬時に配信する生放送（ライブ放送）を想定している。なお、ネットワークＮの通信方式については限定されないものであるが、例えば、インターネット等のＩＰ通信網を適用することができる。なお、放送配信システム１は、配信システムの一例である。
【００１８】
映像入力装置３０は、中継サーバ４０と接続されており、リアルタイムで撮影された映像信号を中継サーバ４０に送出するものである。映像入力装置３０は、種々様々な装置を適用することができるが、例えば、ビデオカメラ装置等を適用することができる。
【００１９】
中継サーバ４０は、ＩＰＴＶ放送配信サーバ５０、映像入力装置３０、及び関連情報形成装置２０と接続されており、映像入力装置３０から入力される映像信号を所定の符号化方式（例えば、ＭＰＥＧ２ＴＳ形式）でエンコードし、符号化した映像信号（以下、「映像ストリーム」とも呼ぶ）をＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して送出するものである。
【００２０】
ここで、中継サーバ４０は、映像ストリームを一時的に格納し、所定の遅延時間を与えて、映像ストリームとＩＰＴＶ放送配信サーバ５０に対して送信する。一方、中継サーバ４０は、関連情報形成装置２０に対して、映像ストリームを即座に（遅延を与えずに）送信する。これは、情報表示装置１０は、同期すべき映像ストリームと関連情報を含む信号（以下、「関連情報パケット」とも呼ぶ）を互いに異なる経由から受信するため、情報表示装置１０が保持すべき映像ストリームと関連情報パケットの持ち時間を短くするためである。
【００２１】
ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０、及びネットワークＮを介して、情報表示装置１０と接続されている。ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から送出された映像ストリームを受信し、情報表示装置１０に対してリアルタイムで送出するライブストリーミング配信を行うものである。
【００２２】
関連情報形成装置２０は、関連情報提供サーバ６０、及び中継サーバ４０と接続されており、関連情報入力作業者Ｕが中継サーバ４０から送出される映像ストリームをもとに作成するデータ（以下、「関連情報」とも呼ぶ）を、映像ストリームから算出されるタイムスタンプ値と共に関連情報提供サーバ６０に送出するものである。ここで、「関連情報」とは、映像に関連付けられた何らかの情報を言い、例えば、映像の字幕（日本語、英語等の外国語、及びその翻訳語等）、映像で使用された音源の曲名、映像（テレフォンショッピング等）で紹介された商品のＵＲＬ等が該当する。
【００２３】
関連情報提供サーバ６０は、関連情報形成装置２０、及びネットワークＮを介して、情報表示装置１０と接続されている。関連情報提供サーバ６０は、関連情報形成装置２０から送出された関連情報パケットを受信し、情報表示装置１０に対して瞬時に送出するものである。
【００２４】
情報表示装置１０は、ネットワークＮを介してＩＰＴＶ放送配信サーバ５０、及び、関連情報提供サーバ６０と接続しており、ＩＰＴＶ放送配信サーバから送出された映像ストリームデータを表示する。また、情報表示装置１０は、関連情報提供サーバ６０から送出された関連情報を映像ストリームデータと時刻同期させて表示する機能を提供する。情報表示装置１０は、種々様々な端末を適用することができるが、例えば、パーソナルコンピュータ（ＰＣ）、携帯通信端末（一例は、携帯電話、及びスマートフォン等である）、テレビ受像機、ゲーム機、及びタブレット端末等を適用することができる。
【００２５】
（Ａ−１−２）関連情報形成装置２０の詳細な構成
図２は、関連情報形成装置２０の構成を示すブロック図である。関連情報形成装置２０は、種々様々な装置を適用することができるが、例えば、汎用コンピュータを適用することができる。
【００２６】
関連情報形成装置２０は、映像データ受信部９０、映像データ表示部９１、映像データ解析部９２、入力制御部９３、入力データ管理部９４、ＤＢ９５、入力データ表示部９６、操作パネル制御部９７、関連情報構成部９８及び関連情報送出部９９を有する。
【００２７】
映像データ受信部９０は、中継サーバ４０から映像ストリームを受信し、映像データ表示部９１、及び映像データ解析部９２に転送するものである。
【００２８】
映像データ表示部９１は、映像データ受信部９０から転送された映像ストリームを表示するものである。
【００２９】
映像データ解析部９２は、映像データ受信部９０から転送された映像ストリームを解析し、タイムスタンプ値を随時取得するものである。取得されるタイムスタンプ値は、映像表示用タイムスタンプ値の一例である。
【００３０】
入力制御部９３は、操作パネル制御部９７からの通知を受けて、関連情報入力作業者Ｕにより入力されたデータを取得し、入力データ管理部９４に入力データを転送するものである。また、入力制御部９３は、後述されるように、関連情報構成部９８に入力データを転送するものである。入力データは、種々様々な形式のデータを適用することができるが、例えば、テキストデータ（一例として字幕や、ＨＴＭＬ５をはじめとするマークアップ言語、ＪａｖａＳｃｒｉｐｔ（登録商標）をはじめとするプログラム言語などにより記述されたテキスト）やバイナリデータ（一例として画像、音声、映像などのファイル）にも適用することができる。なお、入力制御部９３は、関連情報入力部の一例である。また、入力データは、関連表示情報の一例である。
【００３１】
入力データ管理部９４は、ＤＢ９５を使用して入力制御部９３から転送された入力データを管理するものである。各入力データには、一意に識別可能なＩＤが付与される。
【００３２】
ＤＢ９５は、入力データ管理部９４で生成されたＩＤと入力データの組を保存、検索するための機能を提供するものである。
【００３３】
図３は、ＤＢ９５（図２）に記憶されるテーブル（レコード）を示す説明図である。テーブルＴは、図３においてＩＤと入力データの項目を有する。例えば、ＩＤが「０００００００１」に対しては入力データ「おはようございます」が記憶されている。
【００３４】
図２に戻って説明を続ける。入力データ表示部９６は、ＤＢ９５に保存されているＩＤと入力データの組を、表示画面上に表示するものである。
【００３５】
操作パネル制御部９７は、入力データの挿入操作を関連情報構成部９８、決定操作を入力制御部９３及び関連情報送出部９９に対して通知するものである。
【００３６】
関連情報構成部９８は、操作パネル制御部９７の通知を受けて、映像データ解析部９２からタイムスタンプ値の取得を行うものである。また、関連情報構成部９８は、関連情報送出部９９の指示により、ＤＢ９５から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。さらに、関連情報構成部９８は、関連情報送出部９９の指示により、入力制御部９３から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。なお、関連情報構成部９８は、関連表示情報用タイムスタンプ値推定部の一例である。
【００３７】
関連情報送出部９９は、操作パネル制御部９７の通知を受けて、関連情報構成部９８から関連情報を取得し、関連情報提供サーバ６０に送出するものである。なお、関連情報送出部９９は、関連情報送信部の一例である。
【００３８】
図４は、関連情報形成装置２０のインタフェース例を示す説明図である。インタフェース例は、インタフェース表示画面６０であり、このインタフェース表示画面６０は、映像表示画面６１、一覧表示・選択手段６２、データ入力手段６３及び操作パネル６４を有する。
【００３９】
映像表示画面６１は、映像データ表示部９１（図２）の表示画面である。映像表示画面６１は、関連情報入力作業者Ｕが挿入すべき関連情報の位置を決定するために視聴される映像を表示する。
【００４０】
一覧表示・選択手段６２は、入力データ表示部９６（図２）の表示画面である。一覧表示・選択手段６２は、例えば、図４に示すレコードを一覧表示し、関連情報入力作業者Ｕにより、一覧表示された任意のレコード（関連情報）を選択できるように表示する。
【００４１】
データ入力手段６３は、入力制御部９３（図２）に対する入力データの入力方法を提供するものである。データ入力手段６３の一例は、図４に示されるように、コマンドライン入力に対応したインタフェースを示している。
【００４２】
操作パネル６４は、関連情報入力作業者Ｕに対して、操作パネル制御部９７（図２）の各種操作（挿入・決定・取消）を実行するための操作方法を提供するものである。操作パネル６４の「ｉｎｓｅｒｔ」は、一覧表示・選択手段６２で選択された関連情報又はデータ入力手段６３により直接入力された関連情報を映像表示画面６１に表示されている映像（フレーム）に挿入する位置を決定する（挿入）ボタンである。操作パネル６４の「ｃａｎｃｅｌ」は、先述の挿入処理を取り消すボタンである。操作パネル６４の「ＯＫ」は、先述の挿入処理を決定するボタンである。
【００４３】
図５は、ＭＰＥＧ２システムのトランスポートパケット（以下、「ＴＳパケット」とも呼ぶ）の構成を示す説明図である。
【００４４】
映像データ受信部９０（図２）が受信する映像ストリームは、複数のＴＳパケットにより構成される。また、各ＴＳパケットは、ＴＳヘッダとＴＳペイロードにより構成される。
【００４５】
ＴＳパケットは、ＴＳヘッダの１２ビット目から１３ビットの領域にＰｒｏｇｒａｍＩＤ（以下、「ＰＩＤ」とも呼ぶ）が格納されており、ＰＩＤによりＴＳペイロードの内容が決定される。
【００４６】
後述するＰＥＳパケットは、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することにより得ることができる。
【００４７】
なお、Ｖｉｄｅｏデータを示すＰＩＤは、ＰＩＤの値が０であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＡｓｓｏｃｉａｔｉｏｎＴａｂｌｅ（以下、「ＰＡＴ」とも呼ぶ）、及びＰＩＤがＰＡＴ内で指定されている値であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＭａｐＴａｂｌｅ（以下、「ＰＭＴ」とも呼ぶ）により特定される。
【００４８】
図６は、映像データが格納されるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットの構成を示す説明図である。
【００４９】
ＰＥＳパケットは、ＰＥＳヘッダとＰＥＳペイロードとから構成される可変長パケットであり、図６に示すように、そのＰＥＳヘッダには、パケット開始コード、パケット長等の情報に加え、メディアを表示・出力するのに必要な時間情報（タイムスタンプ）としてＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）等も含まれている。
【００５０】
（Ａ−１−３）情報表示装置１０の詳細な構成
図７は、情報表示装置１０の構成を示すブロック図である。
【００５１】
情報表示装置１０は、映像データ受信部１１、映像データ表示部１２、映像データ解析部１３、関連情報受信部１５、関連情報表示部１６、及び、関連情報同期部１７を有する。
【００５２】
この実施形態の情報表示装置は、映像データ受信部や関連情報受信部を除いた部分をハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（情報表示プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図７で表すことができる。
【００５３】
映像データ受信部１１は、ＩＰＴＶ放送配信サーバ５０から送出される映像ストリームを受信し、映像データ解析部１３に転送するものである。なお、映像データ受信部１１は、映像信号受信部の一例である。
【００５４】
映像データ表示部１２は、映像データ解析部１３から転送される映像ストリームを表示画面に表示するものである。なお、映像データ表示部１２は、映像表示部の一例である。
【００５５】
映像データ解析部１３は、映像データ受信部１１から転送される映像ストリームを解析し、得られたタイムスタンプ値を関連情報同期部１７に転送すると共に、映像ストリームを映像データ表示部１２に転送するものである。なお、映像データ解析部１３は、映像表示用タイムスタンプ値取得部の一例である。
【００５６】
関連情報受信部１５は、関連情報提供サーバ６０から送出される関連情報パケットを受信し、関連情報同期部１７に転送するものである。
【００５７】
関連情報表示部１６は、関連情報同期部１７から転送される関連情報パケットに含まれる入力データを画面に表示するものである。
【００５８】
関連情報同期部１７は、関連情報受信部１５から転送される関連情報に含まれるタイムスタンプ値と、映像データ解析部１３から転送されるタイムスタンプ値により、関連情報表示部１６に対する関連情報の転送時刻を決定するものである。関連情報同期部１７は、関連情報表示用タイムスタンプ値取得部及び関連表示情報同期制御部の一例である。
【００５９】
（Ａ−２）実施形態の動作
まず、映像ストリーム配信の動作の説明を行う。
【００６０】
映像入力装置３０は、自身のエンコーダがエンコードを開始すると、入力された映像信号をＭＰＥＧ２ＴＳ形式に変換する。映像入力装置３０は、エンコード済みの映像ストリームを中継サーバ４０に送信する。
【００６１】
中継サーバ４０は、映像入力装置３０から映像信号を受信する。
【００６２】
中継サーバ４０は、中継先として予め登録されたＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して、エンコード済みの映像ストリームの送出を行う。この際、中継サーバ４０は、関連情報形成装置２０に対しては即座に送出を行うが、ＩＰＴＶ放送配信サーバ５０に対しては一定の遅延時間Ｄfixを与えて送出する。この遅延時間Ｄfixは、この実施形態では固定値としているが、中継するサーバの数、配信経路等を考慮して可変値としても良い。
【００６３】
ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から受信した映像ストリームを、配信対象（情報表示装置１０）のネットワークＮに対して送出する。
【００６４】
次に、関連情報形成装置２０の関連情報の配信の動作の説明を行う。
【００６５】
映像データ受信部９０は、中継サーバ４０から映像ストリームを受信する。
【００６６】
映像データ解析部９２は、受信した映像ストリームを解析する。
【００６７】
映像データ解析部９２は、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することによりＰＥＳパケット（映像データ）を取得する。
【００６８】
映像データ解析部９２は、ＰＥＳパケット中、ＰＴＳ＆ＤＴＳフラグが「０ｂ１１」、又は「０ｂ１０」の場合には、ＰＥＳヘッダの７３ビット目から４０ビット（の内の３３ビット）の領域に存在するＰＴＳ値を取得する。
【００６９】
ＤＢ９５は、次に記載される処理に基づいて、関連情報入力作業者Ｕより入力されたデータを登録する。入力制御部９３は、データ入力手段６３を介して、関連情報入力作業者Ｕより入力されたデータを取得し、操作パネル制御部９７は、操作パネル６４を介して、関連情報入力作業者Ｕによる「ＯＫ」ボタンが押下されたことを入力制御部９３に通知することにより、入力制御部９３は、入力されたデータを入力データ管理部９４に転送する。入力データ管理部９４は、入力されたデータに対して、一意に識別可能なＩＤを付与する。ＤＢ９５は、ＩＤと入力されたデータの組を蓄積する。
【００７０】
また、関連情報構成部９８は、操作パネル制御部９７の通知を受けて、関連情報の挿入位置に対するタイムスタンプ値を推定する。ここで、操作パネル制御部９７の通知の内容は、関連情報入力作業者Ｕが、映像表示画面６１に表示される映像を視聴しながら、操作パネル６４の「ｉｎｓｅｒｔ」ボタンを押下したことについてである。図８は、関連情報構成部９８が関連情報の挿入位置に対するタイムスタンプ値を推定する手順を示す説明図である。図８においてＴnは、ある画面（フレーム）の表示時刻を示している。Ｔn+1は、Ｔnを基準として、表示時刻順で次のフレームに対応する表示時刻を示し、Ｔn-1は、Ｔnを基準として、表示時刻順で一つ前のフレームに対応する表示時刻を示す。Ｔ0は、初期フレームの時刻を示し、Ｔinsertは、操作パネル６４の「ｉｎｓｅｒｔ」ボタンが押下された時刻を示している。時刻Ｔ0に対応するフレームはＰ0を示し、ＰＴＳ値は、ＰＴＳ0を示している。以下、同様に、時刻Ｔn-1に対応するフレームはＰn-1を示し、ＰＴＳ値は、ＰＴＳn-1を示している。時刻Ｔnに対応するフレームはＰnを示し、ＰＴＳ値は、ＰＴＳnを示している。時刻Ｔinsertに対応するフレームはＰinsertを示し、ＰＴＳ値は、ＰＴＳinsertを示している。時刻Ｔn+1に対応するフレームはＰ+1を示し、ＰＴＳ値は、ＰＴＳn+1を示している。時刻Ｔ0からＴnまでの時間は、Ｔn―Ｔ0で示されており、その間のＰＴＳ値は、（ＰＴＳn−ＰＴＳ0）ｍｏｄ２33である。時刻Ｔ0からＴinsertまでの時間は、Ｔinsert―Ｔ0で示されており、その間のＰＴＳ値は以下の（１）式で推定される。
【００７１】
【数１】
0006481290.tif 000002
ここで、ｍｏｄＮはＮで除算を行った剰余を示す。この実施形態ではＰＴＳは、３３ビットの領域を巡回して使用するため、Ｎは、２33となる。また、推定した差分値は自然数に切り上げる。なお、この実施形態では上記（１）式を用いるが、固定値を用いても良い。
【００７２】
以下の、図９を用いて、図８の時刻ＴinsertのＰＴＳ値であるＰＴＳinsertを推定する処理を説明する。図９は、タイムスタンプ値を推定する手順を示したフローチャートである。
【００７３】
まず、関連情報構成部９８は、映像データ解析部９２から、映像データの最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）と表示時刻（Ｔ0）及び、直前に表示した画面に対応するＰＴＳ値（ＰＴＳn）と表示時刻（Ｔn）を取得する（Ｓ１０１）。
【００７４】
次に、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻（Ｔinsert）と最初に表示した画面の表示時刻（Ｔ0）の差分（Ｔinsert−Ｔ0）に対して、直前までのＰＴＳ値と表示時刻との比率（（ＰＴＳn−ＰＴＳ0）ｍｏｄ２33）／（Ｔn−Ｔ0）を乗じる（上記（１）式に相当）。つまり、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳinsert）と最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）との差分を推定する（Ｓ１０２）。
【００７５】
最後に、関連情報構成部９８は、最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）に前記で推定した差分値を加算し、その結果をｍｏｄ２33することで、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳinsert）の推定値を取得することができる（Ｓ１０３）。
【００７６】
関連情報入力作業者Ｕが、作成済みの入力情報の一覧表示・選択手段６２、又はデータ入力手段６３から入力データを指定した後、操作パネル６４の「ＯＫ」ボタンが押下すると、操作パネル制御部９７から関連情報構成部９８に対して関連情報の生成が要求される。
【００７７】
関連情報構成部９８は、操作パネル６４の「ｉｎｓｅｒｔ」ボタンの押下に際して決定されたタイムスタンプ値ＰＴＳinsertと選択された入力データとを含む関連情報を作成する。関連情報には、シーケンシャルな番号（関連情報番号）が付与される。関連情報送出部９９は、関連情報構成部９８が作成した関連情報を取得し、関連情報提供サーバ６０に送出する。
【００７８】
関連情報提供サーバ６０は、関連情報形成装置２０から受信した関連情報を、配信対象のネットワークＮに対して送出する。
【００７９】
最後に、情報表示装置１０の動作を説明する。
【００８０】
情報表示装置１０は、ＩＰＴＶ放送配信サーバ５０から送出された映像ストリームを映像データ受信部１１で受信した後、映像データ解析部１３に映像ストリームを転送する。
【００８１】
映像データ解析部１３は、映像ストリームを映像データ表示部１２に転送する。また、映像データ解析部１３は、映像表示用に取得されたＭＰＥＧ２ＴＳのＰＥＳヘッダに格納されたＰＴＳ値を取得し、関連情報同期部１７に転送する。
【００８２】
映像データ表示部１２は、映像データ解析部１３から転送された映像ストリームを表示する。
【００８３】
一方、関連情報受信部１５は、関連情報提供サーバ６０から送出された関連情報パケットを受信した後、当該関連情報パケットを関連情報同期部１７に転送する。
【００８４】
図１０は、情報表示装置１０におけるＰＴＳを用いた映像と関連情報の同期処理を示すフローチャートである。図１０に示すフローチャートは、主として、関連情報同期部１７及び関連情報表示部１６により実行される。
【００８５】
関連情報同期部は、関連情報パケットに含まれるタイムスタンプ値ＰＴＳinsertを取得すると、今回取得した関連情報とは異なる他の関連情報が存在しているか否かを確認する（Ｓ２０１、Ｓ２０２）。
【００８６】
そして、他の関連情報が存在する場合には、ステップＳ２０３の処理に移行し、関連情報同期部１７は、表示する関連情報の表示調整を行う。一方、他の関連情報が存在する場合には、後述するステップＳ２０４の処理を実行する（Ｓ２０２）。
【００８７】
ステップ２０３における表示調整処理の詳細な説明は、後述する図１１を用いて具体的に説明するが、ステップＳ２０３では、今回受信された関連情報の他に、他の関連情報が受信されていた場合には、関連情報を表示する順序等の調整を行う。例えば、ネットワーク上での揺らぎ等により、情報表示装置１０が関連情報パケットを受信する順序が変化する場合も生じるが、関連情報同期部１７は、今回受信した関連情報及び他の関連情報のそれぞれに含まれているＰＴＳinsertの値を比較し、ＰＴＳinsertの値が小さい順に関連情報を並び替えるようにしても良い。この並び替えにより、値の小さいＰＴＳinsertを有するものから先に関連情報を表示することができる。なお、この実施形態では、関連情報に含まれるＰＴＳinsertの値の比較に基づいて、関連情報の並べ替えを行うようにしたが、関連情報受信部１５が、関連情報パケットに含まれるシーケンシャルな番号に基づいて、関連情報の並び替えを行うようにしても良い。
【００８８】
関連情報同期部１７は、ＰＴＳinsertが映像データ解析部１３から転送されたＰＴＳ値以上となった時点で、関連情報を関連情報表示部１６に転送する（Ｓ２０４）。
【００８９】
関連情報表示部１６は、関連情報同期部１７から関連情報が転送された場合、前回表示した関連情報が残っていた場合には不要な関連情報を消去する（Ｓ２０５、Ｓ２０６）。当該関連情報が存在しない場合には、後述するステップＳ２０７の処理を実行する。
【００９０】
関連情報表示部１６は、関連情報の表示を行う（Ｓ２０７）。
【００９１】
図１１は、情報表示装置１０における、関連情報受信時刻と関連情報表示の関係から表示の調整が必要な場合を示す説明図である。
【００９２】
図１１において、「○」（白抜き丸）は関連情報を受信した時に関連情報同期部１７が保持しているＰＴＳ値を示しており、「●」（黒抜き丸）は関連情報の表示を開始するＰＴＳ値を示す。ＰＴＳ1は、関連情報１のＰＴＳinsert値を示している。ＰＴＳ2は、関連情報２のＰＴＳinsert値を示している。両者は、ＰＴＳ2＞ＰＴＳ1の関係を有している。よって、通常であれば、関連情報１が表示された後に、関連情報２が生じされることになる。パケットの遅延等により、両関連情報の表示の調整が必要な場合が生じる。
【００９３】
図１１（Ａ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ1、ＰＴＳ2）よりも前の時点で関連情報を受信している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
【００９４】
図１１（Ａ−２）は、（Ａ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報２が関連情報１よりも先に受信されているが、関連情報同期部１７は、関連情報１及び２の各推定値ＰＴＳ1とＰＴＳ2を比較し、値の小さい関連情報１を関連情報２よりも先に表示するように調整する。そして、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1とを比較し推定値ＰＴＳ1が映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報２の表示処理については、（Ａ−１）と同様である。
【００９５】
図１１（Ａ−３）は、（Ａ−１）と比べて、関連情報２が関連情報１の表示中に受信した例を示している。この場合も、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報の表示処理については、（Ａ−１）と異なる点はない。
【００９６】
図１１（Ｂ）は、関連情報２の受信が関連情報２の表示すべき時刻（ＰＴＳ2）よりも遅れている例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。ただし、関連情報２の受信が遅れているため、関連情報関連情報１は、ＰＴＳ1から関連情報２の受信時刻に対応するＰＴＳの間表示されることになる。また、関連情報２の表示開始は、関連情報２の受信時刻に対応するＰＴＳとなる。この実施形態では、関連情報表示部１６は、新たな関連情報が関連情報同期部１７より送信されるまでは、前回の関連情報が表示されたままである。言い換えれば、関連情報表示部１６から表示されている関連情報を消去したい場合、空の入力データを含む関連情報パケットを作成し、関連情報提供サーバ６０より配信する必要がある。変形例として、関連情報表示部１６は、表示時刻がＰＴＳ2になった時点でタイマーを設定し、所定時間後に関連情報１の表示を消去する処理を行っても良い。
【００９７】
図１１（Ｃ−１）は、関連情報１の受信が関連情報１の表示すべき時刻（ＰＴＳ2）よりも遅れている例を示している。この場合、関連情報１は、関連情報１の受信時刻に対応するＰＴＳからＰＴＳ2の間表示される。関連情報２は、関連情報１の表示時間中に受信しているので、関連情報２は、ＰＴＳ2から表示される。
【００９８】
図１１（Ｃ−２）は、（Ｃ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
【００９９】
図１１（Ｃ−３）は、（Ｃ−２）と比べて、関連情報２が関連情報１によりもさらに先に（ＰＴＳ1よりも）受信した例を示している。この場合も、関連情報の表示処理についは、（Ｃ−２）と異なる点はない。
【０１００】
図１１（Ｄ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ1、ＰＴＳ2）よりも後の時点で関連情報を受信している例を示している。この場合、関連情報１は、関連情報の受信時刻に対応するＰＴＳから関連情報２の受信時刻に対応するＰＴＳの間表示される。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
【０１０１】
図１１（Ｄ−２）は、（Ｄ−１）と比べて、関連情報１が関連情報２の表示時間中に受信した例を示している。関連情報の表示処理についは、関連情報１の表示開始が関連情報２の表示時間中にずれ込む点が異なる。
【０１０２】
図１１（Ｅ−１）は、関連情報２の推定値（ＰＴＳ2）よりも後の時点で関連情報１を受信し、ささに、関連情報２がＰＴＳ1よりも先に受信している例を示している。この場合、関連情報１は表示されず、関連情報２はＰＴＳ2より表示される。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報２の推定値ＰＴＳ2を比較し、推定値ＰＴＳ2が、映像のＰＴＳ値以上となった時点で、関連情報２を関連情報表示部１６に与える。これにより、関連情報２が表示される。関連情報２が表示された後に、関連情報１を受信するが、関連情報同期部１７は、現在表示中の映像との乖離を想定して、関連情報１の表示を行わない。
【０１０３】
図１１（Ｅ−２）は、（Ｅ−１）と比べて、関連情報２が関連情報１の表示時間中に受信した例を示している。関連情報の表示処理については、（Ｅ−１）と異なる点はない。
【０１０４】
図１１（Ｆ）は、関連情報２の推定値（ＰＴＳ2）よりも後の時点で関連情報１と関連情報２を受信した例を示している。この場合、関連情報１は表示されない。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。
【０１０５】
（Ａ−３）実施形態の効果
中継サーバ４０で映像ストリームの配信に固定の遅延時間を与え、関連情報形成装置２０で表示する映像位置を示すタイムスタンプ値を関連情報に含めて配信することにより、情報表示装置１０における映像と関連情報の表示の同期を、映像出力時に取得する必要のあるタイムスタンプ値の比較のみで可能とした。以上により、情報表示装置１０における映像と関連情報表示の同期処理の処理負荷を低減することできるという効果が得られる。また、関連情報を入力し、配信するシステム側の処理負荷も、全体として低減することができるという効果も得られる。
【０１０６】
（Ｂ）他の実施形態
上記の実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。
【０１０７】
（Ｂ−１）  上記の実施形態では、放送配信システム１の構成要素として、関連情報形成装置２０を適用した例を示したが、生放送に対する字幕の入力装置を適用しても良い。
【符号の説明】
【０１０８】
１…放送配信システム、１０…情報表示装置、２０…関連情報形成装置、３０…映像入力装置、４０…中継サーバ、５０…ＩＰＴＶ放送配信サーバ、６０…関連情報提供サーバ、１１…映像データ受信部、１２…映像データ表示部、１３…映像データ解析部、１５…関連情報受信部、１６…関連情報表示部、１７…関連情報同期部、６１…映像表示画面、６２…一覧表示・選択手段、６３…データ入力手段、６４…操作パネル、９０…映像データ受信部、９１…映像データ表示部、９２…映像データ解析部、９３…入力制御部、９４…入力データ管理部、９５…ＤＢ、９６…入力データ表示部、９７…操作パネル制御部、９８…関連情報構成部、９９…関連情報送出部、Ｎ…ネットワーク、Ｔ…テーブル
【図１】
0006481290.tif 000003
【図２】
0006481290.tif 000004
【図３】
0006481290.tif 000005
【図４】
0006481290.tif 000006
【図５】
0006481290.tif 000007
【図６】
0006481290.tif 000008
【図７】
0006481290.tif 000009
【図８】
0006481290.tif 000010
【図９】
0006481290.tif 000011
【図１０】
0006481290.tif 000012
【図１１】
0006481290.tif 000013