(57)【要約】【課題】映像情報と、字幕を示す文字列の情報とをタイミングを適切に合わせて出力することが可能な映像出力装置を提供する。【解決手段】映像情報を映像サーバ装置３から受信する映像受信部１０１と、字幕を示す文字列の情報である１以上の字幕情報と、前記映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す字幕タイミング情報とを、字幕サーバ装置４から受信する字幕受信部１０２と、字幕受信部１０２が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部１０１が受信した映像情報と合成して出力する出力部１１３とを備えた。【選択図】図１
2014212459.tif 000002
【特許請求の範囲】
【請求項１】
映像情報を映像サーバ装置から受信する映像受信部と、
字幕を示す文字列の情報である１以上の字幕情報と、前記映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す情報である字幕タイミング情報とを、字幕サーバ装置から受信する字幕受信部と、
前記字幕受信部が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、前記映像受信部が受信した映像情報と合成して出力する出力部とを備えた映像出力装置。
【請求項２】
前記出力部は、前記映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、当該出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する請求項１記載の映像出力装置。
【請求項３】
前記映像受信部は、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信し、
前記字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であり、
前記出力部は、一のフレーム画像を出力する際に、当該フレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する請求項１記載の映像出力装置。
【請求項４】
前記映像受信部が受信した映像情報が一時的に格納される映像格納部と、
前記映像受信部が受信した字幕情報が一時的に格納される字幕格納部とを更に備え、
前記映像受信部は、受信した映像情報を、前記映像格納部に蓄積し、
前記字幕受信部は、受信した字幕情報を、前記字幕格納部に蓄積し、
前記出力部は、前記映像格納部に格納された映像情報と、前記字幕格納部に格納された字幕情報とを読み出して出力する請求項１から請求項３いずれか一項記載の映像出力装置。
【請求項５】
前記出力部による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する出力状況取得部と、
前記出力状況取得部が取得した出力状況を示す情報に応じて、前記字幕サーバ装置に、字幕情報の送信を要求する情報である字幕要求情報を送信する要求送信部とを更に備え、
前記字幕サーバ装置は、前記字幕要求情報に応じて字幕情報を送信する請求項４記載の映像出力装置。
【請求項６】
前記出力状況取得部は、前記映像格納部における映像情報の格納状況、及び前記字幕格納部における字幕情報の格納状況の少なくとも一方を示す情報を、前記出力状況を示す情報として取得する請求項５記載の映像出力装置。
【請求項７】
前記映像格納部に格納される映像情報の格納量の最大値と、前記字幕格納部に格納される字幕情報の格納量の最大値とが互いに異なる請求項４から請求項６いずれか記載の映像出力装置。
【請求項８】
前記映像格納部に格納される映像情報の格納量の最大値と、前記字幕格納部に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する格納量設定部を更に備えた請求項４から請求項７記載の映像出力装置。
【請求項９】
前記映像受信部が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報を、前記字幕サーバ装置に送信する指定送信部を更に備え、
前記字幕受信部は、前記送信を指定する情報に応じて前記字幕サーバ装置が送信する字幕情報であって、字幕タイミング情報と対応付けられていない字幕情報を更に受信し、
前記出力部は、前記字幕受信部が受信した字幕情報が字幕タイミング情報と対応付けられていない場合は、字幕情報を前記映像受信部が受信した映像情報と合成して出力する請求項１から請求項８いずれか一項記載の映像出力装置。
【請求項１０】
前記映像受信部が受信した映像情報に対応付けられた、複数のフレーム画像を有する手話の映像を示す情報であって、各フレーム画像を出力するタイミングを示す手話タイミング情報が、各フレーム画像と対応付けられている手話映像情報を、手話映像サーバ装置から受信する手話映像受信部を更に備え、
前記出力部は、更に、前記手話映像受信部が受信した手話映像情報の各フレーム画像を、当該フレーム画像に対応する手話タイミング情報を用いて、前記映像受信部が受信した映像情報と合成して出力する請求項１から請求項９いずれか一項記載の映像出力装置。
【請求項１１】
映像情報及び字幕情報の受信に関する制御に用いられる制御情報の送信を要求する情報である制御要求情報を、制御サーバ装置に送信する制御要求情報送信部と、
前記制御サーバ装置から制御要求情報に応じて送信される制御情報を受信する制御情報受信部とを更に備え、
前記制御情報を用いて、映像情報と字幕情報との受信を行う請求項１から請求項１０いずれか一項記載の映像出力装置。
【請求項１２】
請求項１から請求項１１のいずれか一項記載の映像出力装置に字幕情報を送信する字幕サーバ装置であって、
１以上の字幕情報と、当該各字幕情報を出力するタイミングを示す字幕タイミング情報とが対応付けて格納されている字幕サーバ側格納部と、
前記字幕サーバ側格納部に格納されている字幕情報を読み出して前記映像出力装置に送信する字幕サーバ側送信部とを備えた字幕サーバ装置。
【請求項１３】
映像受信部と、字幕受信部と、出力部とを用いて行われる映像出力方法であって、
前記映像受信部が、映像情報を映像サーバ装置から受信する映像受信ステップと、
前記字幕受信部が、字幕を示す文字列の情報である１以上の字幕情報と、前記映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す字幕タイミング情報とを、字幕サーバ装置から受信する字幕受信ステップと、
前記出力部が、前記字幕受信ステップで受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、前記映像受信ステップで受信した映像情報と合成して出力する出力ステップとを備えた映像出力方法。
【請求項１４】
コンピュータを、
映像情報を映像サーバ装置から受信する映像受信部と、
字幕を示す文字列の情報である１以上の字幕情報と、前記映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す字幕タイミング情報とを、字幕サーバ装置から受信する字幕受信部と、
前記字幕受信部が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、前記映像受信部が受信した映像情報と合成して出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕と映像とを合成して出力する映像出力装置や、合成に用いられる字幕を提供する字幕サーバ装置等に関するものである。
【背景技術】
【０００２】
従来技術として、入力映像信号に文字データを合成し、表示装置に対して出力する文字表示処理装置であって、前記表示装置の表示方式に基づき、文字サイズを選択する文字サイズ選択手段と、前記文字データを、前記選択された文字サイズの文字映像信号に変換する文字データ展開手段と、前記入力映像信号に前記文字映像信号を合成する映像合成手段とを備えた、文字表示処理装置が知られていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−６９４１８号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の映像出力装置においては、映像情報と、字幕を示す文字列の情報とを、タイミングを適切に合わせて出力することができないという課題があった。このため、例えば、映像と字幕とがずれてしまい、映像で表現される内容が、適切に把握できなくなってしまうという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明の映像出力装置は、映像情報を映像サーバ装置から受信する映像受信部と、字幕を示す文字列の情報である１以上の字幕情報と、映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す字幕タイミング情報とを、字幕サーバ装置から受信する字幕受信部と、字幕受信部が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部が受信した映像情報と合成して出力する出力部とを備えた映像出力装置である。
【０００６】
かかる構成により、映像情報と、字幕を示す文字列の情報とを、タイミングを適切に合わせて出力することができる。
【０００７】
また、本発明の映像出力装置は、前記映像出力装置において、出力部は、映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する映像出力装置である。
【０００８】
かかる構成により、映像情報の出力箇所に対応した字幕情報を出力することができる。
【０００９】
また、本発明の映像出力装置は、前記映像出力装置において、映像受信部は、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信し、字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であり、出力部は、一のフレーム画像を出力する際に、フレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する映像出力装置である。
【００１０】
かかる構成により、フレーム画像に対応付けられた映像タイミング情報に対応する字幕情報を出力することができ、字幕情報と映像情報とをより確実にタイミングを合わせて出力することができる。例えば、映像情報が、途中から出力された場合においても、出力されるフレーム画像に合わせた字幕情報を出力することができる。
【００１１】
また、本発明の映像出力装置は、前記映像出力装置において、映像受信部が受信した映像情報が一時的に格納される映像格納部と、映像受信部が受信した字幕情報が一時的に格納される字幕格納部とを更に備え、映像受信部は、受信した映像情報を、映像格納部に蓄積し、字幕受信部は、受信した字幕情報を、字幕格納部に蓄積し、出力部は、映像格納部に格納された映像情報と、字幕格納部に格納された字幕情報とを読み出して出力する映像出力装置である。
【００１２】
かかる構成により、次以降に出力される映像情報と字幕情報とを予め格納しておくことができるため、例えば、通信状況等によって、映像情報や字幕情報の送信の遅延等が起こっても、映像情報や字幕情報の出力に遅れが生じないようにすることができる。
【００１３】
また、本発明の映像出力装置は、前記映像出力装置において、出力部による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する出力状況取得部と、出力状況取得部が取得した出力状況を示す情報に応じて、字幕サーバ装置に、字幕情報の送信を要求する情報である字幕要求情報を送信する要求送信部とを更に備え、字幕サーバ装置は、字幕要求情報に応じて字幕情報を送信する映像出力装置である。
【００１４】
かかる構成により、映像情報や字幕情報の出力状況に応じて、字幕情報を取得することができ、不必要な量の字幕情報を取得しないようにして、字幕情報を取得する量を最適化することができる。
【００１５】
また、本発明の映像出力装置は、前記映像出力装置において、出力状況取得部は、映像格納部における映像情報の格納状況、及び字幕格納部における字幕情報の格納状況の少なくとも一方を示す情報を、出力状況を示す情報として取得する映像出力装置である。
【００１６】
かかる構成により、映像情報や字幕情報の格納状況に応じて、字幕情報を取得することができ、不必要な量の字幕情報を格納しないようにして、出力のために格納する字幕情報の量を最適化することができる。
【００１７】
また、本発明の映像出力装置は、前記映像出力装置において、映像格納部に格納される映像情報の格納量の最大値と、字幕格納部に格納される字幕情報の格納量の最大値とが互いに異なる映像出力装置である。
【００１８】
かかる構成により、例えば、データ容量が小さいために送受信に要する時間の短い字幕情報の格納量を減らして、格納部の容量を節約することができる。
【００１９】
また、本発明の映像出力装置は、前記映像出力装置において、映像格納部に格納される映像情報の格納量の最大値と、字幕格納部に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する格納量設定部を更に備えた映像出力装置である。
【００２０】
かかる構成により、処理能力に応じて、映像格納部と字幕格納部の格納量の最大値を最適化することができる。
【００２１】
また、本発明の映像出力装置は、前記映像出力装置において、映像受信部が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報を、字幕サーバ装置に送信する指定送信部を更に備え、字幕受信部は、送信を指定する情報に応じて字幕サーバ装置が送信する字幕情報であって、字幕タイミング情報と対応付けられていない字幕情報を更に受信し、出力部は、字幕受信部が受信した字幕情報が字幕タイミング情報と対応付けられていない場合は、字幕情報を映像受信部が受信した映像情報と合成して出力する映像出力装置である。
【００２２】
かかる構成により、映像情報の種類に応じて、字幕タイミング情報を用いた字幕情報の出力を行うか否かを制御できる。
【００２３】
また、本発明の映像出力装置は、前記映像出力装置において、映像受信部が受信した映像情報に対応付けられた、複数のフレーム画像を有する手話の映像を示す情報であって、各フレーム画像を出力するタイミングを示す手話タイミング情報が、各フレーム画像と対応付けられている手話映像情報を、手話映像サーバ装置から受信する手話映像受信部を更に備え、出力部は、更に、手話映像受信部が受信した手話映像情報の各フレーム画像を、フレーム画像に対応する手話タイミング情報を用いて、映像受信部が受信した映像情報と合成して出力する映像出力装置である。
【００２４】
かかる構成により、映像情報と、字幕を示す文字列の情報と、手話映像情報とを、タイミングを適切に合わせて出力することができる。
【００２５】
また、本発明の映像出力装置は、前記映像出力装置において、映像情報及び字幕情報の受信に関する制御に用いられる制御情報の送信を要求する情報である制御要求情報を、制御サーバ装置に送信する制御要求情報送信部と、制御サーバ装置から制御要求情報に応じて送信される制御情報を受信する制御情報受信部とを更に備え、制御情報を用いて、映像情報と字幕情報との受信を行う映像出力装置である。
【００２６】
かかる構成により、映像出力装置が予め映像情報と字幕情報との受信を制御するための情報を有していなくても、制御情報を用いて、映像情報と字幕情報との受信を制御することが可能となる。
【００２７】
また、本発明の映像出力装置は、前記映像出力装置において、映像出力装置に字幕情報を送信する字幕サーバ装置であって、１以上の字幕情報と、各字幕情報を出力するタイミングを示す字幕タイミング情報とが対応付けて格納されている字幕サーバ側格納部と、字幕サーバ側格納部に格納されている字幕情報を読み出して映像出力装置に送信する字幕サーバ側送信部とを備えた字幕サーバ装置である。
【００２８】
かかる構成により、映像情報と、タイミングを適切に合わせて出力することが可能な字幕を示す文字列の情報を提供することができる。
【発明の効果】
【００２９】
本発明による映像出力装置等によれば、映像情報と、字幕を示す文字列の情報とを、タイミングを適切に合わせて出力することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態における映像システムのブロック図
【図２】同映像システムの映像出力装置の動作の一例について説明するフローチャート
【図３】同映像システムの字幕サーバ装置の動作の一例について説明するフローチャート
【図４】同映像システムの概念図
【図５】同映像システムの制御サーバ装置の制御情報管理表の一例を示す図
【図６】同映像システムの映像サーバ装置の映像情報管理表の一例を示す図
【図７】同映像システムの映像サーバ装置の映像情報の一例を示す模式図
【図８】同映像システムの字幕サーバ装置の字幕群情報管理表の一例を示す図
【図９】同映像システムの字幕サーバ装置の字幕群情報の一例を示す図
【図１０】同映像システムの手話映像サーバ装置の手話映像管理表を示す図
【図１１】同映像システムの手話映像サーバ装置の手話映像情報の一例を示す模式図
【図１２】同映像システムの映像出力装置の格納量管理表を示す図
【図１３】同映像システムの映像出力装置が受信した制御情報の一例を示す図
【図１４】同映像システムの映像出力装置の最初の字幕組情報が蓄積された状態の字幕組管理表を示す図（図１４（ａ））、及びその後に複数の字幕組情報が追記された状態の字幕組管理表を示す図（図１４（ｂ））
【図１５】同映像システムの映像出力装置の映像情報の表示例を示す図
【図１６】同映像システムの映像出力装置の映像情報の表示例を示す図
【図１７】同映像システムの映像出力装置を実現するコンピュータの外観の一例を示す模式図
【図１８】同映像システムの映像出力装置を実現するコンピュータの内部構成の一例を示す図
【発明を実施するための形態】
【００３１】
以下、映像出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００３２】
（実施の形態）
図１は、本実施の形態における映像システム１０００のブロック図である。
映像システム１０００は、１または２以上の映像出力装置１、１または２以上の制御サーバ装置２、１または２以上の映像サーバ装置３、１または２以上の字幕サーバ装置４、及び１または２以上の手話映像サーバ装置５を備える。なお、ここでは説明の便宜上、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５をそれぞれ一つずつ備えている場合を例に挙げて説明する。映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５は、有線または無線のネットワークや通信回線等を介してデータの送受信が可能となるよう接続されている。
【００３３】
映像出力装置１は、映像受信部１０１、字幕受信部１０２、映像格納部１０３、字幕格納部１０４、手話映像受信部１０５、格納量設定部１０６、出力状況取得部１０７、要求送信部１０８、指定送信部１０９、映像要求情報送信部１１０、制御要求情報送信部１１１、制御情報受信部１１２、出力部１１３を備える。
【００３４】
制御サーバ装置２は、制御情報格納部２０１、制御サーバ側受信部２０２、制御サーバ側送信部２０３を備える。
【００３５】
映像サーバ装置３は、映像サーバ側格納部３０１、映像サーバ側受信部３０２、映像サーバ側送信部３０３を備える。
【００３６】
字幕サーバ装置４は、字幕サーバ側格納部４０１、字幕サーバ側受信部４０２、字幕サーバ側送信部４０３を備える。
【００３７】
手話映像サーバ装置５は、手話映像サーバ側格納部５０１、手話映像サーバ側受信部５０２、手話映像サーバ側送信部５０３を備える。
【００３８】
映像出力装置１は、映像を出力するための装置である。映像出力装置１は、例えば、ユーザが映像の出力に利用する端末装置である。映像出力装置１は、例えば、コンピュータや、携帯電話、いわゆるスマートフォンやタブレット型端末等の多機能携帯端末等で実現される。
【００３９】
映像受信部１０１は、１または２以上の映像サーバ装置３から１または２以上の映像情報を受信する。映像情報は、動画像の情報である。映像受信部１０１が受信する映像情報は、映像サーバ装置３からパケット等に分割されて配信されるストリーミング形式の映像情報でもよいし、プログレッシブダウンロード形式や、ダウンロード形式で提供される映像情報でも良い。映像受信部１０１が受信する映像情報は、ストリーミング形式や、プログレッシブダウンロード形式等の、ダウンロードしながら出力（再生）が可能な形式であることが、映像情報が出力開始されるまでのユーザの待ち時間を短縮できるうえで好ましい。映像情報のフォーマットや、ファイル形式、圧縮方式、アスペクト比、画素数、色深度等は問わない。映像情報は、更に、音声情報を有していても良い。また、ストリーミング時に利用されるプロトコル等は問わない。音声情報は、映像情報と同期していても良いし、同期していなくても良い。
【００４０】
映像受信部１０１は、例えば、複数のフレーム画像を有する映像情報を受信する。ここでのフレーム画像を有する映像情報とは、結果的に出力の対象となる複数のフレーム画像を取得することが可能な映像情報と考えても良い。例えば、フレーム画像を有する映像情報は、複数のフィールド画像を有する映像情報であっても良い。
【００４１】
映像受信部１０１は、例えば、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信する。映像タイミング情報が、各フレーム画像と対応付けられているということは、例えば、各フレーム画像に映像タイミング情報が付与されていることである。映像タイミング情報が付与されているということは、例えば、映像タイミング情報が各フレーム画像に埋め込まれていることであっても良いし、各フレーム画像のヘッダ情報や、フッタ情報や、プロパティ等に、映像タイミング情報が埋め込まれていることであっても良い。あるいは、フレーム画像に対応付けられたフレームの識別情報と、映像タイミング情報とが対応付けて、図示しない記憶媒体等に格納されていることであっても良い。また、映像タイミング情報が、各フレーム画像と対応付けられているということは、連続した複数のフレーム画像群に対して、各フレーム画像に割り当てられる映像タイミング情報の範囲や、複数の映像タイミング情報が格納されていても良い。
【００４２】
映像タイミング情報とは、各フレーム画像の出力されるタイミングを判断するため、あるいは決定するために用いられる情報である。映像タイミング情報は、例えば、各フレーム画像の出力順番を示す連番である。また、映像タイミング情報は、例えば、各フレーム画像に付与された、各フレーム画像の出力時刻を示す情報であり、具体的には、タイムコードである。タイムコードは、例えば、時、分、秒と、フレームとの組合せで表される。タイムコードは、タイムスタンプとも呼ばれる。タイムコードのフォーマット等は問わない。各フレーム画像に付与されるタイムコードは、例えば、ＳＭＰＴＥタイムコードである。なお、ここでの時刻とは、世界の標準時刻等の絶対的な時刻であっても良いし、映像情報の出力が開始された時刻を起点等とした相対的な時刻であっても良い。
【００４３】
映像情報は、映像情報を識別する情報と対応付けられていても良い。映像情報を識別する情報を、ここでは映像識別情報と称す。映像情報を識別する情報は、例えば、映像情報のタイトルや、映像情報に割り当てられたコード等である。
【００４４】
また、映像情報は、映像情報の種類を示す情報を有していても良い。映像情報の種類とは、例えば、映像情報が作成されたタイミングにより分類された種類であってもよい。作成されたタイミングにより分類された種類を示す情報は、例えば、映像情報の種類を示す情報とは、ライブ（生）の映像情報であるか否かを示す情報である。また、映像情報で表示される内容により分類された種類であっても良い。例えば、映像情報の種類を示す情報は、ストーリー性のある内容の映像であるか、ストーリー性のない内容の映像であるかを示す情報であってもよい。映像情報の種類を示す情報は、例えば文字列の情報である。
【００４５】
映像受信部１０１は、例えば、受信した映像情報を、映像格納部１０３に蓄積する。例えば、映像サーバ装置３から、映像情報が分割して送信される場合、映像受信部１０１は、受信した映像情報を順次映像格納部１０３に蓄積する。また、映像情報がストリーミング配信される場合等においては、受信したパケット等の情報を用いて構成したフレーム画像を、映像格納部１０３に順次蓄積しても良い。また、映像受信部１０１は、映像情報を蓄積する際に、映像情報の復号化等を行っても良い。
【００４６】
映像受信部１０１は、後述する制御情報を用いて映像情報を受信しても良い。制御情報を用いて受信するということは、例えば、制御情報を用いて特定された映像サーバ装置３から送信される映像情報を受信することも含む概念である。
【００４７】
映像受信部１０１は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。映像受信部１０１は、通信デバイスを含むと考えても、含まないと考えても良い。
【００４８】
字幕受信部１０２は、１または２以上の字幕情報と、字幕タイミング情報とを字幕サーバ装置４から受信する。字幕情報は、字幕を示す文字列の情報である。文字列の情報は、テキスト情報であっても良いし、文字列を示す静止画像の情報であっても良い。ここでの文字列は、１文字以上の文字で構成される。字幕タイミング情報は、映像情報の出力に対する各字幕情報が出力されるタイミングを示す情報である。ここでの映像情報は、例えば、映像受信部１０１が受信した映像情報である。ここでの映像情報は、字幕情報が合成して出力される映像情報と考えても良い。一の字幕情報とこの字幕情報を出力するタイミングを示す字幕タイミング情報とは互いに対応付けられていると考えても良い。字幕受信部１０２は、例えば、一の字幕情報と、この字幕情報を映像情報と合成して出力するタイミングを示す字幕タイミング情報とを有する情報である１または２以上の字幕組情報を、字幕サーバ装置４から受信する。
【００４９】
字幕受信部１０２は、例えば、映像受信部１０１が受信した映像情報に対応付けられた字幕情報を受信する。映像情報に対応付けられた字幕情報を受信するということは、例えば、映像受信部１０１が受信した映像情報と同じ映像識別情報が対応付けられている字幕情報や字幕組情報を受信することである。字幕受信部１０２は、一の映像情報に対応付けられた全ての字幕情報をまとめて受信しても良い。
【００５０】
映像情報の出力に対する字幕情報が出力されるタイミングとは、例えば、映像情報の一部（例えば、最初のフレーム画像）が出力されたタイミング（例えば時刻等）を基準とした字幕情報が出力されるタイミングや、映像情報の各フレーム画像が出力されるタイミングを示す情報（例えば、タイムコードやフレーム画像の出力順番等）を用いて指定されるタイミングである。字幕タイミング情報は、字幕情報の出力を開始するタイミングを指定する情報であっても良いし、字幕情報を出力する期間を指定する情報であっても良い。期間を指定する情報は、例えば、字幕情報の出力を開始するタイミングを指定する情報と、出力を終了するタイミングを指定する情報との組合せや、出力を開始するタイミングを指定する情報と、出力の継続期間とを指定する情報との組合せ等である。字幕情報の出力を開始するタイミングを示す字幕タイミング情報は、例えば、字幕情報に対応する映像情報の、所定のフレーム画像（通常は、最初のフレーム画像）を出力開始してからの経過時間や、所定のフレーム画像の出力を開始してから出力した総フレーム画像数や、次に出力するフレーム画像の出力順番を示す情報である。出力の継続期間を指定する情報とは、例えば、出力の継続時間や、出力されるフレーム数を指定する情報である。字幕情報の出力を開始するタイミングや、字幕情報の出力を行う期間は、例えば、時刻を示す情報を用いて指定される。例えば、期間は、開始時刻と終了時刻とをそれぞれ示す情報で指定される。ここでの時刻は、上述したような絶対的な時刻であっても相対的な時刻であってもよい。ここでの時刻を示す情報としては、例えば、上述したようなタイムコードが用いられる。
【００５１】
また、字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であってもよい。例えば、字幕タイミング情報は、映像情報の１または２以上のフレーム画像に対応付けられた１または２以上のタイムコードを指定する情報であっても良い。例えば、字幕タイミング情報は、一のタイムコードや、タイムコードの範囲を示す情報（例えば、起点となるタイムコードと終点となるタイムコードとの組合せ）であっても良い。
【００５２】
字幕受信部１０２は、例えば、受信した字幕情報を、字幕タイミング情報と対応付けて字幕格納部１０４に蓄積する。字幕受信部１０２は、字幕情報と字幕タイミング情報との組、例えば、字幕組情報を字幕格納部１０４に蓄積するようにしても良い。
【００５３】
なお、字幕受信部１０２は、字幕サーバ装置４が送信する、字幕タイミング情報と対応付けられていない字幕情報を更に受信してもよい。この字幕情報は、例えば、後述するような指定送信部１０９が送信する字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報に応じて、字幕サーバ装置４が送信する字幕情報である。
【００５４】
字幕受信部１０２は、例えば、後述する制御情報を用いて字幕情報や字幕タイミング情報等を受信しても良い。制御情報を用いて受信するということは、例えば、制御情報を用いて特定された字幕サーバ装置４から送信される字幕情報や字幕タイミング情報等を受信することも含む概念である。
【００５５】
字幕受信部１０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。字幕受信部１０２は、通信デバイスを含むと考えても、含まないと考えても良い。
【００５６】
映像格納部１０３には、映像受信部１０１が受信した映像情報が一時的に格納される。例えば、映像格納部１０３には、例えば、映像情報の１または２以上のフレーム画像が格納される。映像格納部１０３は、映像格納部１０３に格納されたフレーム画像は、通常、蓄積順や、フレーム画像に対応付けられた映像タイミング情報が示す順番に読み出されて、読み出されたフレーム画像は、削除される。例えば、映像格納部１０３は、フレームメモリやＶＲＡＭ等と考えても良い。映像格納部１０３は、映像受信部１０１が受信した映像情報を一時的にバッファリングするためのいわゆるバッファやキャッシュと考えても良い。なお、映像受信部１０１が、プログレッシブダウンロード形式や、ダウンロード形式で提供される映像情報を受信した場合、この映像情報は、一旦、映像格納部１０３や図示しない記憶媒体等に蓄積された後、蓄積された映像情報から読み出された１または２以上のフレーム画像が、映像格納部１０３に蓄積されるようにしても良い。
【００５７】
映像格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは以下の格納部においても同様である。
【００５８】
字幕格納部１０４には、字幕受信部１０２が受信した１または２以上の字幕情報が一時的に格納される。字幕格納部１０４は、字幕受信部１０２が受信した字幕情報を一時的にバッファリングするためのいわゆるバッファと考えても良い。字幕格納部１０４には、更に、字幕情報に対応する字幕タイミング情報が、字幕情報と対応付けられて蓄積されても良い。字幕格納部１０４には、例えば、字幕受信部１０２が受信した１または２以上の字幕組情報が格納されても良い。
【００５９】
なお、字幕格納部１０４の字幕情報の格納量の最大値と、映像格納部１０３の映像情報の格納量の最大値とは、異なっていることが好ましく、映像情報の格納量の最大値が、字幕情報の格納量の最大値よりも大きい値に設定することがより好ましい。通常、文字列で構成される字幕情報の方が、画像の情報で構成される映像情報よりも、同じ期間に出力されるデータ量が小さいため、字幕情報を字幕サーバ装置４から取得するために要する時間は、同じ時間分の映像情報を取得するために要する時間よりも短く、字幕情報の取得に要する時間は短くて済む。このため、映像情報とは異なり、大量の字幕情報を映像出力装置１に、予めバッファリングしておかなくても、通信状況の変化等による字幕情報の出力の遅れは発生しにくいため、字幕格納部１０４の格納量の最大値を映像情報よりも小さくしても、字幕情報の出力についての影響は少ない。また、字幕格納部１０４の格納量を小さくすることで、映像出力装置１の記憶媒体の使用量を削減することが可能となる。
【００６０】
なお、字幕格納部１０４及び映像格納部１０３は、一の記憶媒体にそれぞれ割り当てられた格納領域であっても良い。
【００６１】
手話映像受信部１０５は、手話映像サーバ装置５から手話映像情報を受信する。手話映像情報は手話の映像を示す情報である。手話映像受信部１０５は、映像受信部１０１が受信した映像情報に対応付けられた手話映像情報を受信する。一の映像情報に対応付けられた手話映像情報とは、例えば、一の映像情報の映像識別情報と対応付けられた手話映像情報である。手話映像受信部１０５は、複数のフレーム画像を有する情報であって、各フレーム画像を出力するタイミングを示す手話タイミング情報が、各フレーム画像と対応付けられている手話映像情報を受信する。手話映像情報は、映像に示されている内容が手話であることを除けば、上述した映像情報と同様の情報であるため、ここでは詳細な説明は省略する。また、ここでの手話タイミング情報や、フレーム画像と手話タイミング情報との対応付け等については、上述した映像情報や、映像情報と映像タイミング情報との対応付けと同様であるので、詳細な説明は省略する。
【００６２】
手話映像受信部１０５は、例えば、受信した手話映像を図示しない手話映像格納部に蓄積する。なお、この手話映像格納部は、例えば、上述した映像格納部１０３と同様の格納部である。
【００６３】
手話映像受信部１０５は、例えば、映像受信部１０１と同様に、後述する制御情報を用いて手話映像情報等を受信しても良い。
【００６４】
手話映像受信部１０５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。手話映像受信部１０５は、通信デバイスを含むと考えても、含まないと考えても良い。
【００６５】
格納量設定部１０６は、映像格納部１０３に格納される映像情報の格納量の最大値と、字幕格納部１０４に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する。ここでの映像情報の格納量は、例えば、映像格納部１０３に格納され得る映像情報の総出力時間やフレーム数、データ容量（例えば、ビット数等）で表される。例えば、映像情報の格納量の最大値を、３０秒に設定するということは、映像格納部１０３に、最大で３０秒間分の映像情報（例えば、３０秒間分のフレーム画像）が格納可能であることを意味する。
【００６６】
また、ここでの字幕情報の格納量は、例えば、字幕格納部１０４に格納される字幕情報の出力開始時刻の属する期間や、格納される字幕情報の出力時間（出力期間）、字幕情報または字幕組情報の数、または、字幕情報のデータ容量や総文字数で表される。例えば、字幕情報の格納量の最大値を１０秒に設定するということは、字幕格納部１０４に、出力される時間の合計時間が、１０秒以内の範囲となる１または２以上の字幕情報が格納可能であることを意味する。
【００６７】
格納量設定部１０６は、例えば、自装置の処理能力に応じて上記の格納量の最大値を示す値を取得し、取得した値で、図示しない記憶媒体等に最大値を設定する値として蓄積する。また、図示しない記憶媒体に格納されている上記の格納量の最大値を設定する値を、自装置の処理能力に応じて取得した値で更新しても良い。
【００６８】
自装置の処理能力とは、映像出力装置１の処理能力を決定する１以上の要素、例えば、ＭＰＵ及び／またはＧＰＵの処理能力を示す値（例えば、動作クロック数や、コア数等）や、キャッシュやＲＡＭ等のメモリのサイズ、通信速度、表示解像度等の１以上の組合せで決定される。自装置の処理能力を決定する要素を示す情報は、例えばコンピュータシステムのプロファイルを取得するソフトウェア等として公知であるので、ここでは説明は省略する。
【００６９】
格納量設定部１０６は、通常、自装置の処理能力が高い場合（例えば、処理が速い、容量が大きい等の場合）の映像情報の格納量の最大値が、処理能力の低い場合の最大値以上となるように、映像情報の格納量の最大値を決定する。かかることは、字幕情報の格納量の最大値についても同様である。
【００７０】
格納量設定部１０６は、例えば、自装置の処理能力に関する値、例えば上記のような１または２以上の要素の値を取得する。そして、この値を用いて、格納量の最大値を決定する。
【００７１】
格納量設定部１０６は、例えば、映像情報の格納量の最大値を、ＭＰＵ及び／またはＧＰＵの動作クロック数の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、クロック数を引数とした非減少関数の値を、映像情報の格納量に設定する。
【００７２】
また、格納量設定部１０６は、例えば、映像情報の格納量の最大値を、メモリの容量の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、映像情報の格納量の最大値を、メモリの容量の値を引数とする非減少関数の値に設定する。
【００７３】
また、格納量設定部１０６は、例えば、映像情報の格納量の最大値を、表示解像度の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、映像情報の格納量の最大値を、表示解像度を引数とする非減少関数の値に設定してもよい。
【００７４】
また、格納量設定部１０６は、これらの組合せにより映像情報の格納量の最大値を決定しても良い。かかることは、字幕情報の格納量の最大値についても同様である。
【００７５】
また、格納量設定部１０６は、自装置の処理能力に関する１以上の要素の値を取得し、図示しない記憶媒体等に予め格納されている、上述した１以上の要素の値の範囲と、映像情報の格納量の最大値と、字幕情報の格納量の最大値とを対応付けた情報から、上記の要素の値を含む値の範囲と対応付けられた映像情報の格納量の最大値と、字幕情報の格納量の最大値とをそれぞれ取得しても良い。
【００７６】
なお、格納量設定部１０６は、上記以外のどのような処理により、映像情報の格納量の最大値を設定しても良い。
【００７７】
出力状況取得部１０７は、出力部１１３による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する。映像情報の出力状況とは、映像情報が予め指定されたタイミングで出力されているか否か（フレーム画像の出力が停止していないか否か等）、あるいは、映像情報が出力可能な状況であるか否か（例えば、映像格納部１０３に出力可能な映像情報が格納されているか）を示す情報である。予め指定されたタイミングとは、例えば、各フレーム画像に対応付けられた映像タイミング情報が示すタイミングや、映像情報の各フレーム画像の再生レート等を示す情報が示すタイミング等である。字幕情報の出力状況についても同様である。
【００７８】
出力状況取得部１０７は、例えば、映像格納部１０３における映像情報の格納状況、及び字幕格納部１０４における字幕情報の格納状況の少なくとも一方を示す情報を、出力状況を示す情報として取得する。ここでの映像情報の格納状況とは、例えば、未出力の映像情報の格納状況である。かかることは、字幕情報の格納状況についても同様である。映像情報の格納状況は、例えば、映像情報の各フレーム画像が、予め指定されたタイミングで出力できる状況にあるか否かを示す情報となることから、実質的に映像情報の出力状況を示す情報と考えられる。例えば、出力状況取得部１０７は、予め指定された映像情報の格納量の最大値または格納量設定部１０６が設定した映像情報の格納量の最大値のうちの、予め指定された比率以上の映像情報が、映像格納部１０３に格納されているか否かを示す情報を取得する。予め指定された比率は、通常、０から１００％までの間の比率である。あるいは、最大値に対する映像情報が格納されている比率を示す値を取得する。あるいは、予め指定された閾値以上の映像情報が格納されているか否かを判断しても良い。あるいは、格納量設定部１０６が設定した映像情報の格納量の最大値に応じて取得された閾値以上の映像情報が格納されているか否かを判断しても良い。この閾値は、映像情報の格納量の値を引数として、予め指定された関数を用いて算出されても良いし、映像情報の格納量の最大値の範囲と対応付けられて図示しない記憶媒体等に予め格納されている閾値から取得しても良い。字幕情報の格納状況に関しても同様である。なお、字幕情報の予め指定されたタイミングは、例えば、字幕情報に対応付けられた字幕タイミング情報が示すタイミングである。
【００７９】
なお、出力状況を示す情報は、例えば、映像情報及び字幕情報の少なくとも一方が出力されているか否かを示す情報であってもよい。例えば、映像情報や字幕情報の出力が一時停止されているか否かや、スロー再生されているか否か等の情報であっても良い。また、映像受信部１０１や字幕受信部１０２の通信速度の情報であっても良い。
【００８０】
要求送信部１０８は、字幕サーバ装置４に、字幕要求情報を送信する。字幕要求情報は、字幕情報の送信を要求する情報である。字幕要求情報は、字幕情報に対応する映像情報識別情報を有していても良い。要求送信部１０８は、例えば、後述する映像要求情報送信部１１０が送信する映像要求情報が有する映像識別情報と同じ映像識別情報を有する要求情報を送信する。
【００８１】
字幕要求情報は、例えば、出力順番が、字幕受信部１０２が直前に受信した字幕情報の次以降である１または２以上の字幕情報の送信を要求する情報である。字幕要求情報は、送信を要求する字幕情報の量を指定する情報を有していても良い。ここでの量は、送信を要求する字幕情報が対応付けられた字幕タイミング情報の期間や、字幕情報または字幕組情報の数や、字幕情報のデータ容量や総文字数等で表される量である。
【００８２】
要求送信部１０８は、例えば、出力状況取得部１０７が取得した出力状況を示す情報に応じて、字幕サーバ装置４に、字幕要求情報を送信する。要求送信部１０８は、例えば、字幕格納部１０４に字幕情報があふれないように、あるいは、字幕格納部１０４の字幕情報が空にならないように、出力状況を示す情報に応じて字幕要求情報を送信する。例えば、要求送信部１０８は、出力状況を示す情報に応じたタイミングで字幕要求情報を送信する。例えば、要求送信部１０８は、出力状況取得部１０７が取得した出力状況を示す情報として、映像情報（または、字幕情報）の格納されている量を取得した場合に、この格納されている量の増加に応じて、字幕要求情報を送信する間隔を、線形的に増加、あるいは段階的に増加させるようにする。要求送信部１０８は、出力状況取得部１０７が、出力状況を示す情報として、映像情報（または、字幕情報）の格納量の最大値のうちの予め指定された比率以上の映像情報（または、字幕情報）が格納されているか否かを示す情報を取得する場合において、予め指定された比率以上の映像情報（または、字幕情報）が格納されていることを示す情報を取得した場合は、要求送信部１０８は、例えば、予め指定された比率未満の場合よりも、遅いタイミング毎に、即ち、長い間隔で字幕情報の送信を要求する情報を送信する。あるいは、出力状況取得部１０７が、最大値に対する映像情報（または、字幕情報）が格納されている比率を示す値を取得する場合、要求送信部１０８は、この比率を示す値を引数とした非増加関数により算出したタイミング毎に字幕情報の送信を要求する情報を送信しても良い。非増加関数は、例えば、線形的に減少する関数や、段階的に減少する関数等である。あるいは、要求送信部１０８は、この比率を示す情報の値の属する値域に対して予め設定された、比率が高くなる毎に非増加となるタイミング毎に、字幕情報の送信を要求する情報を送信しても良い。なお、要求情報は、映像情報の出力状況と字幕情報の出力状況の組合せに応じて字幕要求情報を送信しても良い。
【００８３】
また、出力状況を示す情報に応じて字幕要求情報を送信するということは、出力状況を示す情報に応じた量の字幕情報の送信を要求する情報を送信することであってもよい。例えば、要求送信部１０８は、上記において、要求情報を送信するタイミングを遅くする代わりに、字幕情報の送信量を減らすような要求を送信すればよい。
【００８４】
なお、ここでの出力状況を示す情報に応じて、字幕要求情報を送信するということは、出力状況に応じて、字幕要求情報を送信しないことも含む概念である。また、出力状況に応じて、字幕情報の送信を停止（一時停止も含む）を指示する字幕要求情報を送信しても良い。
【００８５】
なお、要求送信部１０８は、映像識別情報を字幕要求情報として送信しても良い。また、映像識別情報の代わりに、映像識別情報が示す映像情報に対応する字幕情報の群を識別する識別情報を用いるようにしてもよい。かかることは、以下においても同様である。このような字幕群識別情報は、例えば、後述する制御情報から取得可能である。
【００８６】
要求送信部１０８は、例えば、後述する制御情報が示す字幕サーバ装置４に字幕要求情報を送信する。
【００８７】
要求送信部１０８は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。要求送信部１０８は、通信デバイスを含むと考えても、含まないと考えても良い。
【００８８】
指定送信部１０９は、映像受信部１０１が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報（以下、字幕指定情報と称す）を、字幕サーバ装置４に送信する。映像情報の種類は、映像受信部１０１が受信した映像情報の種類を示す情報から判断しても良い。また、後述する制御情報受信部１１２が受信した制御情報が有する映像情報の種類を示す情報から取得しても良い。字幕指定情報は、映像識別情報を有していても良い。
【００８９】
指定送信部１０９は、映像情報の種類を示す情報が、予め指定された種類を示す情報であるか否かを判断し、予め指定された情報であるか否かに応じて、異なる字幕指定情報を送信する。指定送信部１０９は、例えば、映像情報受信部が受信した映像情報の種類を示す情報が、ライブ（生）の映像情報であることを示す情報である場合に、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を送信し、ライブの映像情報でないことを示す情報である場合（例えば、録画された映像情報であることを示す情報である場合）には、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を送信する。
【００９０】
指定送信部１０９は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。指定送信部１０９は、通信デバイスを含むと考えても、含まないと考えても良い。
【００９１】
映像要求情報送信部１１０は、映像要求情報を映像サーバ装置３に送信する。映像要求情報は、映像情報の送信を要求する情報である。映像要求情報は、例えば、送信を要求する映像情報の映像識別情報を有する。映像識別情報は、例えば、映像情報のファイル名や、タイトル、映像情報に割り当てられたコード等である。また、映像要求情報は、映像情報を構成するフレーム画像を指定する情報を有していても良い。例えば、映像要求情報は、映像受信部１０１が直前に受信したフレーム画像の次以降の出力順番の１以上のフレーム画像を指定する情報を有していてもよい。また、映像要求情報は、送信する映像情報の量を指定する情報等を有していても良い。
【００９２】
映像要求情報送信部１１０は、例えば、後述する制御情報が示す映像サーバ装置３に映像要求情報を送信する。
【００９３】
映像要求情報送信部１１０は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。映像要求情報送信部１１０は、通信デバイスを含むと考えても、含まないと考えても良い。
【００９４】
制御要求情報送信部１１１は、制御要求情報を、制御サーバ装置２に送信する。制御要求情報は、制御情報の送信を要求する情報である。制御情報は、映像情報及び字幕情報の受信に関する制御に用いられる情報である。制御要求情報は、例えば、映像識別情報を有している。この映像識別情報は、例えば、上述した映像要求情報が有する映像識別情報と同じ映像情報を示す映像識別情報である。これにより、例えば、ユーザが視聴しようとする映像情報に対応する制御情報の送信を要求することができる。なお、映像識別情報を制御要求情報として用いてもよい。例えば、制御要求情報送信部１１１は、図示しない受付部等を介してユーザから受け付けた、ユーザが視聴しようとする映像情報を示す映像識別情報を有する制御要求情報を送信する。
【００９５】
制御情報は、例えば、映像情報及び字幕情報を送信する映像サーバ装置３及び字幕サーバ装置４を指定する情報を有する。映像サーバ装置３及び字幕サーバ装置４を指定する情報は、例えば、映像サーバ装置３及び字幕サーバ装置４のＵＲＬやＩＰアドレス等のアドレス情報である。制御情報は、更に、手話映像情報を送信する手話映像サーバ装置５を指定する情報を有していても良い。制御情報は、更に、映像情報や字幕情報が格納されているディレクトリを指定する情報や、映像識別情報や字幕情報の群の識別情報等を有していても良い。手話映像サーバ装置５を指定する情報は、手話映像サーバ装置５のＵＲＬやＩＰアドレス等のアドレス情報である。制御情報は、更に、映像情報の種類を示す情報を有していても良い。また、映像情報や、字幕情報や、手話映像情報を出力する際の配置場所を示す配置情報等を有していてもよい。例えば、映像情報と、字幕情報と、手話映像情報とを、一の画面に合成して表示する際の、それぞれの配置を示す配置情報を有していても良い。配置情報は、例えば、１または２以上の座標や、サイズ等の情報で構成される。
【００９６】
制御情報のデータ形式等は問わない。例えば、制御情報は、ＸＨＴＭＬやＸＭＬで記述されたデータである。
【００９７】
制御要求情報送信部１１１は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。制御要求情報送信部１１１は、通信デバイスを含むと考えても、含まないと考えても良い。
【００９８】
制御情報受信部１１２は、上述した制御要求情報送信部１１１が送信した制御要求情報に応じて、制御サーバ装置２から送信される制御情報を受信する。制御情報受信部１１２は、受信した制御情報を、図示しない記憶媒体等に蓄積する。
【００９９】
制御情報受信部１１２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。制御情報受信部１１２は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１００】
出力部１１３は、映像受信部１０１が受信した映像情報を出力する。映像情報が更に音声情報を含む場合、この音声情報を更に出力しても良い。ここでの出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。音声を出力するスピーカー等の出力デバイスを更に備えていても良い。
【０１０１】
出力部１１３は、例えば、映像情報を構成するフレーム画像を、フレーム画像に対応付けられた出力順番に従って、予め指定されたフレームレート等で出力する。また、出力部１１３は、例えば、映像情報を構成する各フレーム画像を、各フレーム画像に対応付けられた映像タイミング情報が示すタイミングで出力してもよい。例えば、出力部１１３は、例えば、映像情報を構成する各フレーム画像を、各フレーム画像に対応付けられたタイムコードが示すタイミングで出力する。
【０１０２】
出力部１１３は、字幕受信部１０２が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部１０１が受信した映像情報と合成して出力する。出力部１１３は、例えば、字幕受信部１０２が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報が示すタイミングで、映像受信部１０１が受信した映像情報と合成して出力する。例えば、出力部１１３は、映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する。ここでの出力箇所とは、例えば、時間軸上の箇所である。ここでの出力箇所とは、例えば、映像情報の出力開始時点からの経過時間やフレーム数で表した現在の出力箇所である。ここでの出力箇所とは、出力されるタイミングと考えてもよい。出力部１１３は、例えば、映像情報の出力開始からの経過時間の計測を開始して、次に出力する映像情報（具体的には、次に出力するフレーム画像）が出力される経過時間を取得し、この経過時間と一致する時間を示す文字タイミング情報と対応付けられた字幕情報を、字幕受信部１０２が受信した字幕情報から取得する。そして、出力部１１３は、取得した字幕情報と映像情報とを合成して出力する。また、例えば、出力部１１３は、映像情報の出力開始から出力したフレーム数のカウントを開始して、次に出力する画像フレームのフレーム数をカウント結果から取得し、この画像フレームと一致するフレーム数を示す文字タイミング情報と対応付けられた字幕情報を、字幕受信部１０２が受信した字幕情報から取得する。そして、出力部１１３は、取得した字幕情報と映像情報とを合成して出力するようにしてもよい。なお、出力部１１３は、適宜、フレーム数を時刻を示す情報に変換したり時刻を示す情報をフレーム数に変換しても良い。
【０１０３】
また、出力部１１３は、例えば、映像情報の一のフレーム画像を出力する際に、出力するフレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力するようにしてもよい。例えば、出力部１１３は、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報を取得し、この映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する。例えば、出力部１１３は、映像受信部１０１が、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報であるタイムコードを取得し、この映像タイミング情報であるタイムコードと一致するタイムコードと対応付けられた字幕情報を出力する。映像タイミング情報であるタイムコードと一致するタイムコードと対応付けられた字幕情報とは、例えば、映像タイミング情報であるタイムコードが示す時刻を示す字幕タイミング情報、または映像タイミング情報であるタイムコードが示す時刻を含む期間を示す字幕タイミング情報と対応付けられた字幕情報である。
【０１０４】
出力部１１３は、例えば、映像格納部１０３に格納されている映像情報と、字幕格納部１０４に格納されている字幕情報とを読み出し、合成して出力する。例えば、出力部１１３は、映像格納部１０３に格納されている映像情報を、フレーム画像ごとに読み出して出力する。例えば、出力部１１３は、映像格納部１０３に格納されている映像情報のフレーム画像を、蓄積された順番に、あるいは予めタイムコード等で指定されたタイミング（例えば、時刻）に読み出して出力する。読み出したフレーム画像は、例えば、映像格納部１０３から削除する。また、出力部１１３は、字幕情報を、字幕情報に対応付けられた字幕タイミング情報が示すタイミング（例えば、時刻）に読み出して出力する。
【０１０５】
出力部１１３は、更に、手話映像受信部１０５が受信した手話映像情報の各フレーム画像を、この各フレーム画像に対応する手話タイミング情報を用いて、映像受信部１０１が受信した映像情報と合成して出力してもよい。例えば、出力部１１３は、手話映像受信部１０５が受信した手話映像情報の各フレーム画像を、この各フレーム画像に対応する手話タイミング情報が示すタイミングで、映像受信部１０１が受信した映像情報と合成して出力してもよい。例えば、出力部１１３は、映像受信部１０１が、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報であるタイムコードを取得し、このタイムコードと一致する手話タイミング情報であるタイムコードと対応付けられた手話映像情報のフレーム画像を、手話映像受信部１０５が受信した手話映像情報から取得し、映像情報と合成して出力する。
【０１０６】
また、出力部１１３は、字幕受信部１０２が受信した字幕情報が字幕タイミング情報と対応付けられていない字幕情報である場合には、字幕情報を映像受信部１０１が受信した映像情報と合成して出力する。つまり、字幕タイミング情報を用いずに、字幕情報を映像情報と合成して出力する。例えば、出力部１１３は、字幕情報を、映像情報に対する出力タイミングを考慮せずに、映像情報と合成して出力する。例えば、出力部１１３は、上述したような字幕タイミング情報を用いた字幕情報の出力されるタイミングを映像情報が出力されるタイミングと合わせる処理を行わずに字幕情報を出力する。例えば、出力部１１３は、字幕受信部１０２が受信した字幕情報を、受信した直後に、映像情報と合成して出力してもよい。あるいは、受信した字幕情報を字幕格納部１０４に蓄積し、字幕格納部１０４に蓄積されている字幕情報を、予め指定されたタイミングやトリガー等に応じて蓄積順に読み出して、例えば、読み出した時点で出力される映像情報（例えば、フレーム画像）と合成して出力しても良い。
【０１０７】
映像情報に対する、字幕情報及び手話映像情報の少なくとも一方の合成は、例えば、どのように行われても良い。例えば、映像情報の一部の領域に重ねて字幕情報及び手話映像情報の少なくとも一方を表示しても良い。重ねる際には、字幕情報及び手話映像情報の可読性や視認性を損ねないようにすることが好ましい。例えば、字幕情報と手話映像情報をそのまま重ねて出力しても良いし、乗算モード等の予め指定された合成モードで合成を行って重ねて出力しても良い。あるいは、映像情報と、字幕情報と、手話映像情報とを、それぞれが重ならないように異なる領域に出力しても良い。通常、手話映像情報は、映像情報よりも小さいサイズの領域に配置して出力される。このことは、手話映像情報の元のサイズ（例えば、画素数）自体が、映像情報のサイズ（画素数）よりも小さいことであっても良いし、手話映像情報が映像情報よりも小さいサイズの領域に出力されるよう、出力部１１３が、手話映像情報が配置される領域のサイズを、映像情報が配置される領域のサイズに対して相対的に縮小することであっても良い。
【０１０８】
映像情報と、字幕情報とを出力する際のそれぞれの配置や合成モード等はどのように決定しても良い。また、手話映像情報を更に出力する際の、配置や合成モード等はどのように決定しても良い。例えば、映像情報と、字幕情報と、手話映像情報とがそれぞれ配置される配置領域や合成モード等が、予めデフォルト等で指定されていても良い。また、上述した制御情報受信部１１２が受信した制御情報に含まれている配置を示す情報を用いて、映像情報と、字幕情報と、手話映像情報との配置を設定しても良い。
【０１０９】
なお、出力部１１３は、字幕情報及び手話映像情報の少なくとも一方の、出力、非出力を、ユーザ等の指示に応じて切り替えられるようにしても良い。
【０１１０】
なお、字幕情報の出力されている期間は、どのように決定されても良い。例えば、字幕情報に対応付けられた字幕タイミング情報が、字幕が表示される期間を指定する情報である場合には、出力部１１３は、例えば、この期間の開始から終了まで、字幕情報を表示する。また、字幕タイミング情報に、字幕情報の出力の開始のタイミングを指定する情報だけが含まれている場合、予め指定された経過時間だけ字幕情報を、映像情報と合成して出力しても良いし、あるいは、次の出力順番の字幕情報が出力されるタイミングまで、字幕情報を出力しても良い。
【０１１１】
出力部１１３は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１１２】
なお、映像出力装置１は、図示しない手話映像要求情報送信部を有していても良い。手話映像要求情報送信部は、手話映像要求情報を手話映像サーバ装置５に送信する。手話映像要求情報は、手話映像情報の送信を要求する情報である。手話映像要求情報は、手話映像情報が対応する映像情報の映像識別情報を有していても良い。手話映像要求情報送信部は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。手話映像要求情報送信部は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１１３】
制御サーバ装置２は、映像出力装置１に制御情報を送信するサーバ装置である。制御サーバ装置２は、例えば、コンピュータ等で実現可能である。
【０１１４】
制御情報格納部２０１には、１または２以上の制御情報が格納される。制御情報は、映像識別情報と対応付けられて制御情報格納部２０１に格納されていても良い。一の映像識別情報と対応付けられた制御情報は、例えば、この映像識別情報が示す映像情報に関する情報を有している。一の映像識別情報と対応付けられた制御情報は、例えば、この映像識別情報が示す映像情報を送信する映像サーバ装置３、及びこの映像情報に対応する字幕情報を送信する字幕サーバ装置４を指定する情報を有する。この制御情報は、更に、この映像情報に対応する手話映像情報を送信する手話映像サーバ装置５を指定する情報を有していても良い。また、この制御情報は、更に、一の映像識別情報が示す映像情報や字幕情報が格納されているディレクトリを指定する情報や、一の映像識別情報が示す映像情報の種類を示す情報や、一の映像識別情報が示す映像情報やこれに対応する字幕情報や手話映像情報を出力する際の配置場所を示す配置情報等を有していてもよい。
【０１１５】
制御サーバ側受信部２０２は、映像出力装置１の制御要求情報送信部１１１から送信される制御要求情報を受信する。制御サーバ側受信部２０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。制御サーバ側受信部２０２は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１１６】
制御サーバ側送信部２０３は、制御情報格納部２０１に格納されている一の制御情報を読み出して、映像出力装置１に送信する。例えば、制御サーバ側送信部２０３は、制御サーバ側受信部２０２が受信した制御要求情報に対応した制御情報を読み出して、送信する。制御サーバ側送信部２０３は、例えば、制御要求情報が有する映像識別情報と一致する映像情報と対応付けて制御情報格納部２０１に格納されている制御情報を読み出して、制御要求情報の送信元となる映像出力装置１に送信する。制御サーバ側送信部２０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。制御サーバ側送信部２０３は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１１７】
映像サーバ装置３は、映像出力装置１に映像情報を送信するサーバ装置である。映像サーバ装置３は、例えば、コンピュータ等で実現可能である。
【０１１８】
映像サーバ側格納部３０１には、１または２以上の映像情報が格納される。例えば、映像サーバ側格納部３０１には、１または２以上の映像情報が、映像識別情報と対応付けて格納される。映像情報は、映像情報の種類を示す情報と対応付けて格納されていても良い。
【０１１９】
映像サーバ側受信部３０２は、映像出力装置１の映像要求情報送信部１１０から送信される映像要求情報を受信する。映像サーバ側受信部３０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。映像サーバ側受信部３０２は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１２０】
映像サーバ側送信部３０３は、映像サーバ側格納部３０１に格納されている映像情報を読み出して、映像要求情報の送信元となる映像出力装置１に送信する。映像サーバ側送信部３０３は、例えば、映像要求情報に含まれる映像識別情報と一致する映像識別情報と対応付けられている映像情報を、映像サーバ側格納部３０１から読み出して送信する。また、映像サーバ側送信部３０３は、映像情報に対応付けて格納されている映像情報の種類を示す情報を、更に映像サーバ側格納部３０１から読み出して、映像出力装置１に送信してもよい。映像サーバ側送信部３０３は、いわゆるストリーミング配信等のように、一の映像情報をパケット等に分割して一定または不定のタイミング等で送信しても良いし、一の映像情報を複数に分割して送信しても良いし、一の映像情報を一度に送信しても良い。映像サーバ側送信部３０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。映像サーバ側送信部３０３は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１２１】
字幕サーバ装置４は、字幕要求情報に応じて字幕情報を送信するサーバ装置である。字幕サーバ装置４は、例えば、コンピュータ等で実現可能である。
【０１２２】
字幕サーバ側格納部４０１には、１または２以上の字幕情報と、これらの各字幕情報を出力するタイミングを示す字幕タイミング情報とが対応付けて格納されている。字幕情報は、更に、映像識別情報と対応付けられて字幕サーバ側格納部４０１に格納されていても良い。なお、字幕サーバ側格納部４０１には、字幕タイミング情報と対応付けられていない１または２以上の字幕情報が格納されていても良い。
【０１２３】
字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕要求情報を受信する。例えば、字幕サーバ側受信部４０２は、映像識別情報を有する字幕要求情報を受信する。
【０１２４】
また、字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕指定情報を受信する。
【０１２５】
字幕サーバ側受信部４０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。字幕サーバ側受信部４０２は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１２６】
字幕サーバ側送信部４０３は、字幕サーバ側格納部４０１に格納されている字幕情報を読み出して映像出力装置１に送信する。字幕サーバ側送信部４０３は、例えば、字幕要求情報が有する映像識別情報と対応付けられた字幕情報を、字幕サーバ側格納部４０１から読み出して送信する。字幕サーバ側送信部４０３は、一の字幕要求情報の受信に応じて、一の映像情報に対応する全ての字幕情報を映像出力装置１に送信しても良いし、一の字幕要求情報を受信するごとに、一の映像情報に対応する予め指定された量の字幕情報、例えば、一の映像情報に対応する１または２以上の字幕情報を、出力順等に従って送信しても良い。また、一の字幕要求情報に応じて送信する字幕情報の量は、字幕要求情報が有する字幕情報の送信量を指定する情報や、送信量の増減を指定する情報に応じて決定される量としてもよい。
【０１２７】
また、字幕サーバ側送信部４０３は、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕タイミング情報と対応付けられた字幕情報を送信する。例えば、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕サーバ側送信部４０３は、この字幕指定情報が有する映像識別情報に対応付けられた字幕情報に対して、字幕タイミング情報と対応付けられた字幕情報を送信することを設定するための情報、例えば、いわゆるフラグ等の情報を付与する。この情報は、例えば、図示しない記憶媒体等に蓄積される。そして、この情報が付与された字幕情報を送信する際には、字幕タイミング情報と対応付けられた字幕情報を送信するようにしてもよい。
【０１２８】
また、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する情報を受け付けた場合、字幕サーバ側送信部４０３は、字幕タイミング情報と対応付けられていない字幕情報を送信する。例えば、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕サーバ側送信部４０３は、この字幕指定情報が有する映像識別情報に対応付けられた字幕情報に対して、字幕タイミング情報と対応付けられていない字幕情報を送信することを設定するための情報、例えば、いわゆるフラグ等の情報を付与する。そして、この情報が付与された字幕情報を送信する際には、字幕タイミング情報と対応付けられていない字幕情報を送信する。字幕タイミング情報と対応付けられていない字幕情報を送信するということは、例えば、字幕情報が、字幕タイミング情報と対応付けられているか否かに関わらず、字幕情報は送信するが、字幕タイミング情報は送信しないことであっても良いし、同じ映像識別情報と対応付けられた字幕情報として、字幕タイミング情報と対応付けられた字幕情報と、字幕タイミング情報と対応付けられていない字幕情報があった場合に、字幕タイミング情報と対応付けられていない字幕情報を送信することであってもよい。
【０１２９】
字幕サーバ側送信部４０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。字幕サーバ側送信部４０３は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１３０】
手話映像サーバ装置５は、手話映像情報を送信するサーバ装置である。手話映像サーバ装置５は、例えば、コンピュータ等で実現可能である。
【０１３１】
手話映像サーバ側格納部５０１には、１または２以上の手話映像情報が格納される。例えば、手話映像サーバ側格納部５０１には、１または２以上の手話映像情報が、映像識別情報と対応付けて格納される。
【０１３２】
手話映像サーバ側受信部５０２は、映像出力装置１の図示しない手話映像要求情報送信部から送信される手話映像要求情報を受信する。手話映像サーバ側受信部５０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。手話映像サーバ側受信部５０２は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１３３】
手話映像サーバ側送信部５０３は、手話映像サーバ側格納部５０１に格納されている手話映像情報を読み出して、手話映像要求情報の送信元となる映像出力装置１に送信する。映像サーバ側送信部３０３は、例えば、手話映像要求情報に含まれる映像識別情報と一致する映像識別情報と対応付けられている手話映像情報を、手話映像サーバ側格納部５０１から読み出して送信する。手話映像サーバ側送信部５０３は、いわゆるストリーミング配信等のように、一の手話映像情報をパケット等に分割して一定または不定のタイミング等で送信しても良いし、一の手話映像情報を複数に分割して送信しても良いし、一の手話映像情報を一度に送信しても良い。手話映像サーバ側送信部５０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。手話映像サーバ側送信部５０３は、通信デバイスを含むと考えても、含まないと考えても良い。
【０１３４】
次に、映像システム１０００の映像出力装置１の動作の一例について図２のフローチャートを用いて説明する。ここでは、映像受信部１０１が、映像情報として、フレーム画像が映像タイミング情報と対応付けられた受信し、この映像タイミング情報を利用して字幕情報の出力を適宜行う場合を例に挙げて説明する。また、手話映像情報を構成する各フレーム画像にも、映像タイミング情報と同様の情報（ここでは、手話映像タイミング情報と称す）が対応付けられているものとする。
【０１３５】
（ステップＳ１０１）映像出力装置１は、図示しない受付部等を介して、一の映像情報を出力する指示を受け付けたか否かを判断する。受け付けた場合、ステップＳ１０２に進み、受け付けていない場合、ステップＳ１０１に戻る。
【０１３６】
（ステップＳ１０２）格納量設定部１０６は、自装置の処理能力に関する値を取得し、取得した値に応じて映像格納部１０３と字幕格納部１０４の格納量の最大値をそれぞれ設定する。
【０１３７】
（ステップＳ１０３）制御要求情報送信部１１１は、制御サーバ装置２に制御要求情報を送信する。
【０１３８】
（ステップＳ１０４）制御情報受信部１１２は、制御情報を受信したか否かを判断する。受信した場合、ステップＳ１０４に進み、受信していない場合、ステップＳ１０４に戻る。
【０１３９】
（ステップＳ１０５）映像要求情報送信部１１０は、制御情報が示す映像サーバ装置３に映像要求情報を送信する。
【０１４０】
（ステップＳ１０６）指定送信部１０９は、制御情報が示す映像情報の種類に応じた字幕指定情報を字幕サーバ装置４に送信する。
【０１４１】
（ステップＳ１０７）要求送信部１０８は、字幕要求情報を制御情報が示す字幕サーバ装置４に送信する。
【０１４２】
（ステップＳ１０８）図示しない手話映像要求情報送信部は、手話映像要求情報を、制御情報が示す手話映像サーバ装置５に送信する。
【０１４３】
（ステップＳ１０９）映像受信部１０１は、映像サーバ装置３から映像情報を受信したか否かを判断する。例えば、出力順にパケット単位等で分割されて送信される映像情報を構成する一以上のフレーム画像を受信したか否かを判断する。受信した場合、ステップＳ１１０に進み、受信していない場合、ステップＳ１１１に進む。
【０１４４】
（ステップＳ１１０）映像受信部１０１は、ステップＳ１０９で受信した映像情報を、映像格納部１０３に蓄積する。なお、映像受信部１０１は、例えば、ステップＳ１０９で受信した映像情報の一以上のパケットを図示しない記憶媒体等に一時記憶しておくようにし、一時記憶された一以上のパケットに対して復号化等を行うことにより、映像情報の一以上のフレーム画像を取得して、映像格納部１０３に蓄積してもよい。そして、ステップＳ１１１に進む。
【０１４５】
（ステップＳ１１１）字幕受信部１０２は、字幕サーバ装置４から、字幕情報を受信したか否かを判断する。字幕サーバ装置４から、字幕情報と、字幕タイミング情報との一以上の組が送信された場合、この組を受信したか否かを判断しても良い。受信した場合、ステップＳ１１２に進み、受信していない場合、ステップＳ１１３に進む。字幕情報と、この字幕情報と対応付けられた字幕タイミング情報との一以上の組は、例えば、上述した字幕組情報であってもよい。
【０１４６】
（ステップＳ１１２）字幕受信部１０２は、受信した字幕情報を字幕格納部１０４に蓄積する。また、字幕情報と、字幕情報と対応付けられた字幕タイミング情報との一以上の組を受信した場合、字幕受信部１０２は、この組を、字幕格納部１０４に蓄積してもよい。そして、ステップＳ１１３に進む。
【０１４７】
（ステップＳ１１３）手話映像受信部１０５は、手話映像サーバ装置５から、手話映像情報を受信したか否かを判断する。例えば、パケット単位等で分割されて送信される手話映像情報を受信したか否かを判断する。受信した場合、ステップＳ１１４に進み、受信していない場合、ステップＳ１１５に進む。
【０１４８】
（ステップＳ１１４）手話映像受信部１０５は、受信した手話映像情報を、図示しない手話映像格納部に一時記憶する。この処理は、ステップＳ１１０と同様の処理としても良い。そして、ステップＳ１１５に進む。
【０１４９】
（ステップＳ１１５）出力部１１３は、映像情報を出力するタイミングであるか否かを判断する。例えば、映像格納部１０３に格納されている映像情報を構成するフレーム画像に対応付けられた映像タイミング情報のうちの、最も早い出力タイミングを示す映像タイミング情報が示すタイミングであるか否かを判断する。そして、このタイミングである場合、映像情報を出力するタイミング、ここでは、このタイミング情報と対応付けられたフレーム画像を出力するタイミングであると判断する。また、このタイミングでなければ、映像情報を出力するタイミングでないと判断する。なお、一番最初のフレーム画像を出力する際には、単に、一番最初のフレーム画像が映像格納部１０３に格納されているか否かを判断するようにしてもよい。あるいは、映像格納部１０３に１フレーム画像分以上の予め指定された量の映像情報が蓄積されている場合に、出力するタイミングであると判断しても良い。出力するタイミングである場合、ステップＳ１１６に進み、タイミングでない場合、ステップＳ１２４に進む。
【０１５０】
（ステップＳ１１６）出力部１１３は、映像格納部１０３から出力する映像情報を取得する。ここでは、例えば、映像格納部１０３から、最も早い出力時機を示す映像タイミング情報と対応付けられたフレーム画像を読み出す。なお、読み出したフレーム画像は、映像格納部１０３から削除する。ここでの削除は、削除されたことを示すフラグ等の情報を付与することであっても良い。かかることは以下においても同様である。
【０１５１】
（ステップＳ１１７）出力部１１３は、字幕格納部１０４に格納されている字幕情報が、字幕タイミング情報と対応付けられているか否かを判断する。対応付けられている場合、ステップＳ１１８に進み、対応付けられていない場合、ステップＳ１２７に進む。
【０１５２】
（ステップＳ１１８）出力部１１３は、出力する映像情報、ここでは、例えば、ステップＳ１１６で読み出したフレーム画像に対応付けられている映像タイミング情報を取得する。映像タイミング情報は、例えば、フレーム画像に付与されているタイムコードである。
【０１５３】
（ステップＳ１１９）出力部１１３は、ステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報を、字幕格納部１０４に格納されている一以上の字幕情報に対応付けられた字幕タイミング情報の中から検出する処理を行う。例えば、出力部１１３は、字幕格納部１０４に格納されている字幕タイミング情報のうちの、最も早い時機（あるいは期間）を示す字幕タイミング情報が、ステップＳ１１７で取得した映像タイミング情報が指定する時機と一致する時機を含むか否かを判断する。そして、含むと判断された場合に、その字幕タイミング情報をステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報として検出する。含まれない場合、検出できなかったと判断する。
【０１５４】
（ステップＳ１２０）出力部１１３は、ステップＳ１１９において、ステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報が検出できたか否かを判断する。検出できた場合、ステップＳ１２１に進み、検出できなかった場合、ステップＳ１２２に進む。
【０１５５】
（ステップＳ１２１）出力部１１３は、ステップＳ１１９で検出した字幕タイミング情報と対応付けて格納されている字幕情報を、字幕格納部１０４から取得する。なお、取得した字幕情報及び字幕タイミング情報は、字幕格納部１０４から削除する。
【０１５６】
（ステップＳ１２２）出力部１１３は、図示しない手話映像格納部から手話映像情報を取得する。例えば、出力部１１３は、ステップＳ１１６と同様に、手話映像情報のフレーム画像を取得する。出力部１１３は、例えば、取得した手話映像情報を図示しない手話映像格納部から削除する。
【０１５７】
（ステップＳ１２３）出力部１１３は、ステップＳ１１６で取得した映像情報と、ステップＳ１２１（または、後述するステップＳ１２７）で取得した字幕情報と、ステップＳ１２２で取得した手話映像情報とを合成して出力する。なお、ステップＳ１２１で取得した字幕情報が対応付けられている字幕タイミング情報が、字幕情報の出力される期間を示す情報である場合、出力部１１３は、例えば、この期間の間は、ステップＳ１２１で取得した字幕情報を、ステップＳ１１６で取得した映像情報を合成して出力する。また、ステップＳ１２１で取得した字幕情報が対応付けられている字幕タイミング情報が、字幕情報の出力開始時期を示す情報である場合、またはステップＳ１２７で取得した字幕情報である場合においては、出力部１１３は、例えば、予め指定された時間だけ、取得した字幕情報を、ステップＳ１１６で取得した映像情報を合成して出力するようにする。なお、ステップＳ１２１（または、後述するステップＳ１２７）で字幕情報が取得されなかった場合、出力部１１３は、字幕情報は出力しない。
【０１５８】
（ステップＳ１２４）出力状況取得部１０７は、映像格納部１０３における映像情報の格納状況を示す情報、及び字幕格納部１０４における字幕情報の格納状況を示す情報の少なくとも一方を取得する。例えば、映像格納部１０３に格納されている映像情報の量が、映像格納部１０３に設定された映像情報の格納量の最大値の予め指定された比率以上（例えば、９０％以上）であるか否かを判断し、その判断結果を映像情報の格納状況を示す情報として取得する。
【０１５９】
（ステップＳ１２５）要求送信部１０８は、ステップＳ１２４で取得した格納状況を示す値に応じて設定される字幕要求情報を送信するタイミングになったか否かを判断する。例えば、要求送信部１０８は、ステップＳ１２４で取得した格納状況を示す情報が、予め指定された比率以上の映像情報が格納されていることを示す判断結果であった場合には、字幕要求情報を送信するタイミングを第一の間隔、例えば、３０秒間隔に設定し、予め指定された比率以上の映像情報が格納されていないことを示す判断結果であった場合、タイミングを第二の間隔、例えば、１０秒間隔に設定する。そして、直前に字幕要求情報を送信してからの経過時間がこの設定した間隔となった場合に、字幕要求情報を送信するタイミングであると判断する。タイミングである場合、ステップＳ１２６に進み、タイミングでない場合、ステップＳ１０９に進む。
【０１６０】
（ステップＳ１２６）要求送信部１０８は、字幕要求情報を字幕サーバ装置４に送信する。そして、ステップＳ１０９に戻る。
【０１６１】
（ステップＳ１２７）出力部１１３は、字幕格納部１０４に格納されている一の字幕情報を取得する。例えば、出力部１１３は、蓄積されたタイミングが最も早い字幕情報を読み出す。読み出した字幕情報は、字幕格納部１０４から削除する。そして、ステップＳ１２２に進む。
【０１６２】
なお、図２に示したフローチャートにおいては、ステップＳ１２４と、ステップＳ１２５等の間に、予め指定されたタイミングになった場合に映像要求情報送信部１１０が映像要求情報を映像サーバ装置３に送信する処理を有していても良い。同様に、予め指定されたタイミングになった場合に、図示しない手話映像要求情報送信部が、手話要求情報等を手話映像サーバ装置５に送信する処理を有していても良い。
【０１６３】
また、出力部１１３が、映像情報のフレーム画像を出力する毎に、出力した映像情報のフレーム画像の数をカウントすることで、出力済のフレーム数を取得するようにし、この出力済のフレーム数から取得した次に出力する映像情報のフレーム画像の出力順番を示す値を、ステップＳ１１８において取得する映像タイミング情報の代わりに取得するようにしてもよい。
【０１６４】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１６５】
次に、映像システム１０００の字幕サーバ装置４の動作の一例について図３のフローチャートを用いて説明する。
【０１６６】
（ステップＳ２０１）字幕サーバ側受信部４０２は、字幕指定情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ２０２に進み、受け付けていない場合、ステップＳ２０３に進む。
【０１６７】
（ステップＳ２０２）字幕サーバ受信部４０２は、ステップＳ２０１で受け付けた字幕指定情報に応じて、字幕タイミング情報と対応付けられた字幕情報を送信するか、字幕タイミング情報と対応付けられていない字幕情報を送信するかを設定する情報を更新する。この設定の情報を、以下、字幕タイミング設定情報と称す。字幕タイミング設定情報は、例えば、図示しない記憶媒体等に格納されているものとする。なお、字幕タイミング設定の情報は、更新されるまでは、例えば、デフォルトで指定された値であるとする。また、字幕タイミング設定情報が、既に格納されている字幕タイミング設定情報と同じ場合は、この字幕タイミング設定情報を蓄積しないようにしても良く、この場合も、字幕タイミング設定情報を、最新の情報に更新したと考えても良い。字幕タイミング設定情報は、例えば、字幕指定情報を送信した映像出力装置１の識別情報（例えば、ＩＰアドレスや、装置名等）と対応付けられて格納される。
【０１６８】
（ステップＳ２０３）字幕サーバ受信部４０２は、字幕タイミング情報を受信したか否かを判断する。受信した場合、ステップＳ２０４に進み、受信していない場合、ステップＳ２０１に戻る。
【０１６９】
（ステップＳ２０４）字幕サーバ側送信部４０３は、字幕タイミング設定情報が示す設定が、字幕タイミング情報と対応付けられた字幕情報を送信することを示す設定であるか否かを判断する。設定である場合、ステップＳ２０５に進み、設定でない場合、ステップＳ２０６に進む。
【０１７０】
（ステップＳ２０５）字幕サーバ側送信部４０３は、字幕要求情報により特定される字幕情報であって、出力順番が早い未送信の１または２以上の字幕情報と、各字幕情報と対応付けられた字幕タイミング情報とを字幕サーバ側格納部４０１から取得する。字幕サーバ側送信部４０３は、例えば、字幕要求情報が有する映像識別情報と対応付けられた字幕情報を、字幕要求情報により特定される字幕情報として取得する。また、例えば、字幕サーバ側送信部４０３は、映像出力装置１が送信する字幕要求情報が、映像出力装置１が送信する映像要求情報が有する映像識別情報に対応する字幕群識別情報を有する場合、この字幕群識別情報に対応する字幕情報を、字幕要求情報により特定される字幕情報として取得してもよい。この字幕群識別情報は、例えば、制御情報受信部１１２が受信した制御情報から、要求送信部１０８等が取得する。また、字幕サーバ側送信部４０３は、例えば、字幕要求情報が指定するディレクトリ等に格納されている字幕情報を、字幕要求情報により特定される字幕情報として取得する。このディレクトリ等の情報は、例えば、制御情報から要求送信部１０８等が取得する。
【０１７１】
例えば、字幕サーバ側送信部４０３は、未送信の字幕情報の順番等をカウントして、そのカウント値から、次に送信される字幕情報を判断しても良い。例えば、カウント値に１を加算した値を示す順番の字幕情報を、出力対象の字幕情報と判断しても良い。ただし、どのように、送信済であるか否かを判断しても良い。例えば、送信した字幕情報に対して、送信済であることを示すフラグ等の情報を付与することで、この情報の有無により判断可能である。また、例えば、送信済の字幕情報の識別情報である字幕識別情報を、図示しない管理表等に登録するようにしてもよい。そして、ステップＳ２０７に進む。
【０１７２】
（ステップＳ２０６）字幕サーバ側送信部４０３は、字幕要求情報により特定される字幕情報であって、出力順番が早い未出力の１または２以上の字幕情報を字幕サーバ側格納部４０１から取得する。そして、ステップＳ２０７に進む。
【０１７３】
（ステップＳ２０７）字幕サーバ側送信部４０３は、ステップＳ２０５で取得した字幕情報と字幕タイミング情報との一以上の組、またはステップＳ２０６で取得した一以上の字幕情報を、字幕要求情報の送信元となる映像出力装置１に送信する。
【０１７４】
（ステップＳ２０８）字幕サーバ側送信部４０３は、送信した字幕情報の数を示す値を１増加させる。例えば、送信した字幕情報の数を示すカウンターの値を１インクリメントする。そして、ステップＳ２０１に戻る。
【０１７５】
なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１７６】
以下、制御サーバ装置２の動作の一例について簡単に説明する。制御サーバ側受信部２０２は、制御要求情報を受け付けたか否かの判断を繰り返し、制御要求情報を受け付けた場合、制御サーバ側送信部２０３は、この制御要求情報に対応する制御情報を、制御情報格納部２０１から読み出す。制御要求情報に対応する制御情報とは、例えば、制御要求情報が有する映像識別情報と対応付けられて制御情報格納部２０１に格納されている制御情報である。制御要求情報に含まれる映像識別情報は、例えば、映像出力装置１が出力する指示を受け付けた映像情報の映像識別情報である。そして、制御サーバ側送信部２０３は、読み出した制御情報を制御要求情報の送信元となる映像出力装置１に送信する。そして、上記の、制御要求情報を受け付けたか否かを判断する処理に戻る。
【０１７７】
以下、映像サーバ装置３の動作の一例について簡単に説明する。映像サーバ側受信部３０２は、映像要求情報を受け付けたか否かの判断を繰り返し、映像要求情報を受け付けた場合、映像要求情報が指定する映像情報を映像サーバ側格納部３０１から読み出す。映像要求情報が指定する映像情報は、例えば、映像要求情報が有する映像識別情報と対応付けて映像サーバ側格納部３０１に格納されている映像情報や、映像要求情報が指定するディレクトリ等に格納されている映像情報である。このディレクトリ等の情報は、例えば、制御情報から映像要求情報送信部１１０等が取得する。そして、読み出した映像情報を、映像要求情報の送信元の映像出力装置１に送信する。そして、上記の、映像要求情報を受け付けたか否かを判断する処理に戻る。なお、映像サーバ側送信部３０３は、映像要求情報を受ける毎に、映像情報のうちの、未送信の一部を、出力順に沿って送信するようにしても良い。
【０１７８】
以下、手話映像サーバ装置５の動作の一例について簡単に説明する。手話映像サーバ側受信部５０２は、手話映像要求情報を受け付けたか否かの判断を繰り返し、手話映像要求情報を受け付けた場合、手話映像要求情報が指定する手話映像情報を手話映像サーバ側格納部５０１から読み出す。手話映像要求情報が指定する手話映像情報は、例えば、手話映像要求情報が有する映像識別情報と対応付けて手話映像サーバ側格納部５０１に格納されている手話映像情報や、手話映像要求情報が指定するディレクトリ等に格納されている手話映像情報である。このディレクトリ等の情報は、例えば、制御情報から図示しない手話映像要求情報送信部等が取得する。そして、読み出した手話映像情報を、手話映像要求情報の送信元の映像出力装置１に送信する。そして、上記の、手話映像要求情報を受け付けたか否かを判断する処理に戻る。なお、手話映像サーバ側送信部５０３は、手話映像要求情報を受ける毎に、手話映像情報のうちの、未送信の一部を、出力順に沿って送信するようにしても良い。
【０１７９】
以下、本実施の形態における映像システム１０００の具体的な動作について説明する。映像システム１０００の概念図は図４である。ここでは、説明を簡単にするために、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５をそれぞれ一つずつ備えている場合を例に挙げて説明するが、本発明の映像システム１０００においては、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５は、それぞれ１または２以上であればよい。
【０１８０】
図５は、制御サーバ装置２の制御情報格納部２０１に格納されている制御情報を管理する制御情報管理表である。制御情報管理表は、「制御情報」と「映像ＩＤ」という属性を有している。「制御情報」は、制御情報のファイル名であるとする。「映像ＩＤ」は、制御情報が対応する映像情報の識別情報であるとする。
【０１８１】
図６は、映像サーバ装置３の映像サーバ側格納部３０１に格納されている映像情報を管理する映像情報管理表の一例を示す図である。映像情報管理表は、「映像ＩＤ」と「映像情報」という属性を有している。「映像ＩＤ」は、図５の「映像ＩＤ」に対応している。「映像情報」は、映像ＩＤにより識別される映像情報である。
【０１８２】
図７は、図６に示した映像情報管理表で管理されている映像情報の一例を示す模式図であり、ここでは、映像ＩＤ「ｍ１００１」と対応付けられた映像情報を示している。映像情報は、複数のフレーム画像７１−７３を有しており、各フレーム画像には、映像タイミング情報として、タイムコード７１ａ−７３ａが対応付けられている。タイムコード７１ａ−７３ａは、ここでは、「時：分：秒：フレーム」を表しているものとする。映像情報の最初のフレーム画像の表示時刻が、ここでは、タイムコードの「０：００：００．０１」に設定される。なお、ここでの映像情報は、説明のための模式図であり、フレーム画像とタイムコード等とが格納されている映像情報の実際のデータ構造等を示すものではない。
【０１８３】
図８は、字幕サーバ装置４の字幕サーバ側格納部４０１に格納されている字幕群情報を管理する字幕群情報管理表である。字幕群情報とは、一の映像情報に対応する字幕情報の群を有する情報であり、ここでは、一の映像情報に対応付けられた（具体的には、一の映像ＩＤと対応付けられた）１または２以上の字幕情報と、各字幕情報と対応付けられた字幕タイミング情報とを有する情報であるとする。ここでは、一例として、一の映像情報に対応付けられた字幕群情報は、一のファイルを構成しているものとする。字幕群情報管理表は、「映像ＩＤ」と、「字幕群情報」という属性を有している。「映像ＩＤ」は、図５および図７の「映像ＩＤ」に対応している。「字幕群情報」は、字幕群情報のファイル名を示している。ただし、ここでは拡張子等は省略している。
【０１８４】
図９は、図８の字幕群情報管理表で管理されている字幕群情報の一例を示す図である。ここでは、ファイル名が「ｃ１００１」である字幕群情報を示している。ここでは、字幕群情報は、ＸＨＴＭＬ形式で記述された情報であるとする。図９に示した字幕群情報において、「ｐ」タグで囲まれた要素が、一の字幕情報を示す。「ｐ」タグ内の「ｂｅｇｉｎ」属性の属性値は、字幕情報に対応する字幕タイミング情報であり、字幕情報の開始時刻を示す情報である。また、「ｅｎｄ」属性の属性値は、字幕情報に対応する字幕タイミング情報であり、字幕情報の終了時刻を示す情報である。この字幕群情報内においては、字幕情報は、出力時刻が早いものから順に、上から下に向かって配置されているものとする。
【０１８５】
図１０は、手話映像サーバ装置５に格納されている手話映像情報を管理する手話映像管理表である。映像情報管理表は、「映像ＩＤ」と「手話ＩＤ」と「手話映像」という属性を有している。「映像ＩＤ」は、図５の「手話ＩＤ」に対応している。「手話ＩＤ」は、手話映像情報の識別情報である。「手話映像」は、手話ＩＤにより識別される手話映像情報である。
【０１８６】
図１１は、図１０に示した手話映像情報管理表で管理されている手話映像情報の一例を示す模式図であり、ここでは、手話ＩＤ「ｈ１００１」と対応付けられた手話映像情報を示している。手話映像情報は、複数のフレーム画像８１−８３を有しており、各フレーム画像には、手話映像情報のフレーム画像が出力されるタイミングを示す情報である手話映像タイミング情報として、映像タイミング情報と同様の、タイムコード８１ａ−８３ａが対応付けられている。なお、ここでの手話映像情報は、説明のための模式図であり、フレーム画像とタイムコード等とが格納されている手話映像情報の実際のデータ構造等を示すものではない。
【０１８７】
まず、映像出力装置１を操作するユーザが、図示しないＷＥＢサイトに接続して、映像情報のリスト（図示せず）を示すＷＥＢページの情報を取得し、出力部１１３と接続された図示しないモニタにこのＷＥＢページを表示させたとする（図示せず）。この映像情報のリストの各項目には、各項目の映像情報の識別情報である映像ＩＤが対応付けられているものとする。そして、ユーザが視聴したい一の映像情報を選択する操作（例えば、映像情報のアイコンをクリックする操作）等を行ったとする。
【０１８８】
映像を設定する操作が行われると、格納量設定部１０６は、映像格納部１０３の格納量の最大値と、字幕格納部１０４の格納量の最大値とを設定する。ここでは、映像格納部１０３及び字幕格納部１０４として、映像出力装置１の記憶媒体であるメモリ（図示せず）が用いられるものとする。まず、格納量設定部１０６は、自装置である映像出力装置１の、映像格納部１０３及び字幕格納部１０４として利用される記憶媒体であるメモリの空き領域を検出し、その空き領域のデータ容量を取得する。例えば、取得した空き領域のデータ容量が１１ＧＢであったとする。
【０１８９】
図１２は、映像出力装置１のメモリの空き領域の容量と、映像格納部１０３に格納される映像情報の格納量の最大値と、字幕格納部１０４に格納される字幕情報の格納量の最大値との関係を示す格納量管理表である。格納量管理表は、「空き容量」と、「映像最大値」と、「字幕最大値」という属性を有している。「空き容量」は、メモリの空き領域の容量の範囲を示し、単位はバイトである。「映像最大値」は、映像格納部１０３に格納される映像情報の格納量の最大値を示し、単位は秒であるとする。つまり、「映像最大値」が示す秒数分の映像情報が、映像格納部１０３に格納される映像情報の最大値である。「字幕最大値」は、字幕格納部１０４に格納される字幕情報の格納量の最大値を示し、単位は秒であるとする。つまり、出力される期間の合計が、「字幕最大値」が示す秒数分以下となる１または２以上の字幕情報が、字幕格納部１０４に格納可能であることを示す。
【０１９０】
格納量設定部１０６は、図１２に示した格納量管理表の各レコード（行）から、「空き容量」が示す範囲が、上記で取得した空き領域のデータ容量の値１４ＧＢを含む範囲であるレコードを検出し、検出したレコードの「映像最大値」と「字幕最大値」との属性値を取得する。ここでは、１１ＧＢは、上から３行目のレコードの「６ＧＢ以上１２ＧＢ未満」の範囲に属するため、格納量設定部１０６は、このレコードの「映像最大値」の属性値である３０秒と、「字幕最大値」の属性値である１０秒とを取得する。そして、映像格納部１０３の格納量の最大値を３０秒に、また、字幕格納部１０４の格納量の最大値を１０秒に設定する。例えば、このような設定を示す情報を、図示しない記憶媒体等に蓄積する。
【０１９１】
ここで設定される映像最大値は、映像情報の出力時間を示す。つまり、映像最大値が示す時間分の映像情報（例えば、フレーム画像）が、映像格納部１０３に格納可能である。また、ここで設定される字幕最大値は、字幕情報の出力開始時刻の属する範囲の最大値を示す。つまり、字幕格納部１０４には、出力の開始される時刻が、現在映像情報や字幕情報が出力されている時刻よりも、１０秒以内の範囲となる１または２以上の字幕情報が格納可能であることを意味する。
【０１９２】
なお、図１２に示した格納量管理表の各行においては、「字幕最大値」の大きさは、「映像最大値」の大きさよりも小さい値に設定されている。このため、字幕格納部１０４の格納量の最大値や、映像格納部１０３の格納量の最大値よりも小さい値に設定される。
【０１９３】
また、ここでは、格納量管理表を用いて映像格納部１０３と字幕格納部１０４の格納量の最大値を設定したが、空き領域のデータ容量の値を引数とした予め指定された関数等を用いてこれらの最大値を算出しても良い。
【０１９４】
次に、制御要求情報送信部１１１は、上記で選択された映像情報の映像ＩＤである「ｍ１００１」を取得し、上記のＷＥＢページにおいて指定されている制御サーバ装置２に、この映像ＩＤを有する制御要求情報を送信する。
【０１９５】
制御サーバ装置２の制御サーバ側受信部２０２は、映像出力装置１から送信される制御要求情報を受信する。
【０１９６】
制御サーバ側送信部２０３は、制御サーバ側受信部２０２が受信した制御要求情報に含まれる映像ＩＤ「ｍ１００１」を取得し、図５に示した制御情報管理表から、「映像ＩＤ」が、「ｍ１００１」と一致するレコード（行）を検索し、検出したレコードの「制御情報」の属性値である「ｃｔｒｌ００１」を取得する。そして、制御情報格納部２０１から、ファイル名が「ｃｔｒｌ００１」である制御情報を読み出す。読み出した制御情報を、制御要求情報の送信元となる映像出力装置１に送信する。
【０１９７】
映像出力装置１の制御情報受信部１１２は、制御サーバ装置２から制御情報「ｃｔｒｌ００１」を受信する。
【０１９８】
図１３は、制御情報受信部１１２が受信した制御情報「ｃｔｒｌ００１」の一例を示す図である。ここでは、制御情報「ｃｔｒｌ００１」を示している。制御情報は、ここでは、ＸＨＴＭＬ形式で記述されているものとする。ここでは、「ｉｄ」属性の属性値が「ｖｉｄｅｏｓｅｒｖｅｒ」である「ｐ」タグの要素、（即ち＜ｐ  ｉｄ＝"ｖｉｄｅｏｓｅｒｖｅｒ"＞と＜／ｐ＞とで囲まれた情報）が、映像ＩＤが「ｍ１００１」である映像情報の取得先となる映像サーバ装置３のアドレス情報（ここではＵＲＬ）であるとする。また、「ｉｄ」属性の属性値が「ｃａｐｔｉｏｎｓｅｒｖｅｒ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報に対応する字幕情報の取得先となる字幕サーバ装置４のアドレス情報（ここではＵＲＬ）であるとする。また、「ｉｄ」属性の属性値が「ｓｉｇｎ＿ｌａｎｇｕａｇｅｓｅｒｖｅｒ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報に対応する手話映像情報の取得先となる手話映像サーバ装置５のアドレス情報（ここではＵＲＬ）であるとする。さらに、「ｉｄ」属性の属性値が「ｖｉｄｅｏｔｙｐｅ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報の種類を示す情報であり、要素「ｒｅｃｏｒｄｅｄ  ｖｉｄｅｏ」は、ライブ（生）でない映像情報であることを示す。
【０１９９】
制御情報受信部１１２が制御情報を受信すると、指定送信部１０９は、図１３に示した制御情報から、映像情報の種類を示す情報である「ｒｅｃｏｒｄｅｄ  ｖｉｄｅｏ」を取得する。そして、この映像情報の種類を示す情報が、ライブ（生）である映像情報を示す「ｌｉｖｅ  ｖｉｄｅｏ」という情報と一致するか否かを判断する。ここでは一致しないため、指定送信部１０９は、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報の送信を決定する。そして、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を送信する。
【０２００】
また、映像要求情報送信部１１０は、図１３に示した受信した制御情報から、映像サーバ装置３のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｖｉｄｅｏ００１．ｃｏｍ／」を取得する。そして、このアドレス情報が示す映像サーバ装置３に、映像ＩＤ「ｍ１００１」を含む映像要求情報を送信する。つまり、映像ＩＤが「ｍ１００１」である映像情報の送信を要求する情報を送信する。
【０２０１】
また、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、映像ＩＤ「ｍ１００１」を含む字幕要求情報を送信する。
【０２０２】
また、図示しない手話映像要求情報送信部は、図１３に示した受信した制御情報から、手話映像サーバ装置５のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｗｗｗ．ｈａｎｄｓｉｇｎ００３．ｃｏｍ／」を取得し、このアドレス情報が示す手話映像サーバ装置５に、映像ＩＤ「ｍ１００１」を含む手話映像要求情報を送信する。
【０２０３】
映像サーバ装置３の映像サーバ側受信部３０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む映像要求情報を受信する。映像サーバ側送信部３０３は、図６に示した映像情報管理表を参照して、映像ＩＤ「ｍ１００１」に対応付けられた映像情報を映像サーバ側格納部３０１において検出し、この映像情報を構成するフレーム画像と、フレーム画像に対応付けられたタイムコードとを、タイムコードの早い順に順次パケットに分割して、映像出力装置１に送信する。
【０２０４】
映像出力装置１の映像受信部１０１は、映像サーバ装置３からパケットに分割されて送信される映像情報を受信し、受信した１または２以上のパケットを用いてタイムコードと対応付けられたフレーム画像を構成して、順次、映像格納部１０３に蓄積する。例えば、映像格納部１０３には、図７のフレーム画像７１とタイムコード７１ａとの組や、フレーム画像７２とタイムコード７２ａとの組等が、タイムコードの早い順に順次格納される。
【０２０５】
字幕サーバ装置４の字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕指定情報を受信する。そして字幕指定情報に応じて字幕タイミング設定情報を設定する。ここでは、字幕サーバ側受信部４０２は、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を映像出力装置１から受信する。このため、字幕サーバ側受信部４０２は、この字幕指定情報に応じて、字幕タイミング情報と対応付けられた字幕情報を送信する設定となるよう、映像タイミング設定情報を更新する。
【０２０６】
また、字幕サーバ装置４の字幕サーバ側受信部４０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む字幕要求情報を受信する。映像サーバ側送信部３０３は、図８に示した字幕群管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた字幕群情報を字幕サーバ側格納部４０１において検出する。ここでは、ファイル名が、「ｃ１００１」である字幕群情報を検出する。ここでは、上述したように、字幕タイミング設定情報が、字幕タイミング情報と対応付けられた字幕情報を送信する設定となっているため、字幕サーバ側送信部４０３は、図９に示す字幕群情報「ｃ１００１」から、字幕情報と、この字幕情報に対応付けられた字幕タイミング情報との組を、予め指定された数だけ出力順に従って読み出す。ここでの予め指定された組は１組であるとする。例えば、字幕サーバ側送信部４０３は、図９に示すファイル名が「ｃ１００１」である字幕群情報から、まず、一番上の「ｐ」タグで囲まれた要素である「日本の達人シリーズ」という文字列を、字幕情報として読み出す。また、一番上の「ｐ」タグ内の「ｂｅｇｉｎ」属性の属性値「０：０：２０．０１」と、「ｅｎｄ」属性の属性値「０：０：２４．０１」とを、字幕タイミング情報として取得する。そして、字幕サーバ側送信部４０３は、読み出した字幕情報と字幕タイミング情報とで構成される字幕組情報を映像出力装置１に送信する。
【０２０７】
なお、字幕サーバ側送信部４０３は、字幕情報を読み出す毎に、読み出した字幕情報の個数を累積してカウントし、次回、字幕情報を送信する際には、カウント値に１を加えた順番の字幕情報を読み出すようにする。例えば、字幕サーバ側受信部４０２が、映像ＩＤ「ｍ１００１」に対応付けら字幕要求情報を更に受信した場合、字幕サーバ側送信部４０３は、直前のカウント値である「１」に「１」を加えた値である「２」を取得し、図９に示した字幕群情報の、上から二番目の字幕情報と、この字幕情報と対応付けられた字幕タイミング情報との組を取得して、映像出力装置１に送信する。
【０２０８】
映像出力装置１の字幕受信部１０２は、字幕サーバ装置４から送信される一の字幕組情報を受信し、字幕格納部１０４に蓄積する。
【０２０９】
図１４は、字幕格納部１０４に格納されている字幕組情報を管理する字幕組管理表を示す図であり、図１４（ａ）は、最初の字幕組情報が蓄積された状態を示し、図１４（ｂ）は、その後に複数の字幕組情報が追記された状態を示す。字幕組管理表は、「字幕情報」、「開始時刻」、及び「終了時刻」という属性を有している。「字幕情報」は、字幕情報であり、ここではテキスト情報である。「開始時刻」は、字幕の出力されるタイミングを示す字幕タイミング情報であり、タイムコードで示されている。また、「開始時刻」は、字幕の出力を終了するタイミングを示す字幕タイミング情報であり、タイムコードで示されている。
【０２１０】
手話映像サーバ装置５の手話映像サーバ側受信部５０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む手話映像要求情報を受信する。手話映像サーバ側送信部５０３は、図１０に示した手話映像管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた手話映像情報を手話映像サーバ側格納部５０１において検出する。ここでは、「手話ＩＤ」が、「ｈ１００１」である手話映像情報を検出する。そして、手話映像サーバ側送信部５０３は、検出した手話映像情報を構成するフレーム画像と、このフレーム画像に対応付けられたタイムコードとを、タイムコードの早い順に順次パケットに分割して、映像出力装置１に送信する。なお、手話映像情報を構成するフレーム画像は、手話フレーム画像と呼んでもよい。
【０２１１】
映像出力装置１の手話映像受信部１０５は、手話映像サーバ装置５からパケットに分割されて送信される手話映像情報を受信し、受信した１または２以上のパケットを用いてタイムコードと対応付けられた手話映像情報のフレーム画像を構成して、順次、図示しない手話映像格納部に蓄積する。例えば、手話映像格納部には、図１１のフレーム画像８１とタイムコード８１ａとの組や、フレーム画像８２とタイムコード８２ａとの組等が順次格納される。
【０２１２】
次に、出力部１１３は、映像情報を出力するタイミングであるか否かを判断する。ここではまだ、フレーム画像が出力されていないため、出力部１１３は、映像格納部１０３に、予め指定された格納量以上の映像情報が格納されているか否かを判断する。予め指定された格納量が２秒であったとすると、出力部１１３は、２秒以上の映像情報が映像格納部１０３に格納されているか否かを判断する。ここでは、映像格納部１０３に、２秒以上の映像情報、即ちフレーム画像が格納されていなかったとすると、出力部１１３は、映像情報を出力するタイミングでないと判断する。このため、映像情報を出力する処理を行わない。
【０２１３】
次に、出力状況取得部１０７は、以下に示すように、出力状況を示す情報を取得する処理を行う。出力状況取得部１０７は、映像格納部１０３に格納されている映像情報の格納量及び映像情報の字幕格納部１０４に格納されている字幕情報の格納量の少なくとも一方の値を取得する。ここでは、字幕格納部１０４に格納されている字幕情報の格納量を取得するものとする。字幕情報の格納量として、ここでは、字幕格納部１０４に格納されている字幕情報が出力される時間の合計を用いるものとする。例えば、図１４（ａ）の字幕組管理表の各レコード（行）の「終了時刻」から「開始時刻」の値を減算した値の合計を算出する。ここでは、字幕情報が一つしか格納されていないため、字幕情報の格納量は、４秒となる。そして、取得した格納量が、字幕格納部１０４に設定された閾値以上であるか否かを判断する。閾値は、ここでは、字幕格納部１０４の格納量の最大値の７０％の値であるとする。つまり、閾値は７秒となる。なお、この比率は、字幕情報の量や、映像情報の種類等に応じて手動や自動で変更しても良い。このため、出力状況取得部１０７は、字幕情報の格納量が閾値を超えないと判断し、格納状況を示す情報として、字幕情報の格納量が閾値を超えないことを示す情報を取得する。
【０２１４】
出力状況取得部１０７が、格納状況を示す情報として、字幕情報の格納量が閾値を超えないことを示す情報を取得したため、要求送信部１０８は、予めデフォルトで指定されている字幕要求情報を送信するタイミングを示す情報、ここでは、送信間隔を示す情報を取得し、前回、字幕要求情報を送信した時刻からの経過時刻が、このタイミングを示す情報が示す送信間隔以上であるか否かを判断する。例えば、要求送信部１０８は、字幕要求情報を送信する毎に、送信からの経過時間を図示しない時計等で計測するようにして、経過時間を取得する。デフォルトで指定されている字幕要求情報を送信するタイミングを示す情報は、例えば、２秒であったとする。経過時間が２秒を経過している場合、次の字幕情報の送信を要求する字幕要求情報を送信するタイミングであると判断して、字幕要求情報を送信し、経過していない場合は、字幕要求情報の送信は行わない。ここでは、経過していないため、字幕要求情報を送信しないとする。
【０２１５】
更に、映像受信部１０１が映像情報を受信する処理を繰り返し行い、また、手話映像受信部１０５が手話映像情報を受信する処理を繰り返し行う。
【０２１６】
また、出力状況取得部１０７は、出力状況を示す情報を取得する処理を繰り返し行う。
【０２１７】
また、要求送信部１０８が字幕要求情報を送信するタイミングであるか否かを判断し、タイミングであると判断した場合、字幕要求情報を送信する。
【０２１８】
また、字幕受信部１０２は、字幕要求情報に応じて送信される字幕組情報を受信する処理を行う。
【０２１９】
そして、映像格納部１０３に格納されている映像情報の格納量が２秒以上となった時点で、出力部１１３は、映像情報を出力するタイミングであると判断し、映像情報を、映像情報に対応付けられたタイムコードが示すタイミングで出力する。具体的には、映像情報の出力開始時刻を「０：００：００．０１」に設定した図示しない時計等が示す現在の時刻と一致するタイムコードと対応付けられたフレーム画像が格納されているか否かを判断し、一致するタイムコードと対応付けられたフレーム画像がある場合、映像情報を出力するタイミングであると判断して、このフレーム画像を出力する処理を行う。
【０２２０】
出力部１１３が映像情報のフレーム画像を出力する処理について以下に詳細に説明する。
【０２２１】
出力部１１３は、現在の時刻と一致するタイムコードと対応付けられたフレーム画像を、映像格納部１０３から読み出す。読み出したフレーム画像は、映像格納部１０３から削除する。
【０２２２】
また、出力部１１３は、出力するフレーム画像と対応付けられたタイムコードと同じタイムコードと対応付けられた手話映像情報のフレーム画像を、図示しない手話映像格納部から読み出す。例えば、出力部１１３は、出力する映像情報のフレーム画像のタイムコードが、「０：００：００．０１」である場合、このタイムコードと一致するタイムコードと対応付けられた手話映像情報のフレーム画像を読み出す。読み出したフレーム画像は、図示しない手話映像格納部から削除する。
【０２２３】
また、出力部１１３は、出力する映像情報のフレーム画像に対応付けられたタイムコードを含む期間を示す文字タイミング情報と対応付けられた字幕情報を、図１４（ａ）に示した字幕組管理表を用いて検出して字幕格納部１０４から読み出す処理を行う。例えば、図１４（ａ）に示した字幕組管理表を構成する各レコード（行）の「開始時刻」の値と「終了時刻」との値の間に、出力する映像情報のフレーム画像に対応付けられたタイムコードが示す時刻が含まれるか否かを順次判断し、含まれる場合には、このレコードの「字幕情報」の値を読み出す。含まれるレコードが検出できなかった場合、出力する字幕情報がないと判断する。ここでは例えば、出力する映像情報のフレーム画像に対応するタイムコード「０：００：００．０１」がであり、このタイムコードを含む期間を示す字幕タイミング情報と対応付けられた字幕情報がなかったため、字幕情報を読み出さなかったとする。
【０２２４】
そして、出力部１１３は、上記で取得した映像情報のフレーム画像及び手話映像情報のフレーム画像を合成したフレーム画像を構成し、出力する。手話映像情報は、例えば、映像情報内の予め指定された小領域内に表示されるものとする。ここでの出力は、例えば、出力部１１３と接続されたモニタ１１３ａによる表示であるとする。
【０２２５】
図１５は、出力部１１３が出力する映像情報の表示例を示す図である。ここでは、字幕情報が取得されていないため、映像情報１５１の一のフレーム画像上の一部の領域に手話映像情報１５２の一のフレーム画像が表示されている。
【０２２６】
同様にして、出力部１１３は、現在時刻の変化に応じて、映像情報と手話映像情報等とを合成した新たなフレーム画像を出力する。具体的には、新たなフレーム画像で、直前に出力されていたフレーム画像を更新する。
【０２２７】
ここで、現在の時刻が「０：００：２０．０１」になったとし、現在の時刻「０：００：２０．０１」に対応するタイムコードと対応付けられた映像情報のフレーム画像を出力部１１３が、字幕格納部１０４において検出したとする。出力部１１３は、上記と同様に、現在の時刻に対応するタイムコードと対応付けられた映像情報のフレーム画像と、手話映像情報のフレーム画像とを読み出す。
【０２２８】
また、出力部１１３は、このタイムコード「０：００：２０．０１」を含む期間を示す文字タイミング情報と対応付けられた字幕情報を、図１４（ａ）に示した字幕組管理表を用いて検出して字幕格納部１０４から読み出す処理を行う。ここでは、図１４（ａ）に示した字幕組管理表の一番目のレコードの「開始時刻」の値「０：００：２０．０１」と、「終了時刻」の値「０：００：２４．０１」との間に、出力する映像情報のフレーム画像に対応付けられたタイムコード「０：００：２０．０１」の値が含まれると判断する。このため、出力部１１３は、このレコードの「字幕情報」の値「日本の達人シリーズ」を読み出す。
【０２２９】
そして、出力部１１３は、上記で取得した映像情報のフレーム画像と、手話映像画像と、字幕情報「日本の達人シリーズ」とを合成してモニタ１１３ａに出力する。
【０２３０】
図１６は、出力部１１３が出力する映像情報の表示例を示す図である。
【０２３１】
なお、ここで出力された字幕情報は、字幕情報と対応付けられた字幕タイミング情報に応じて、映像情報のフレーム画像や手話映像情報のフレーム画像が変化しても、現在の時刻が「０：００：２４．０１」になるまで、映像情報のフレーム画像等と合成されて、繰り返し出力される。また、この字幕情報は、現在の時刻が「終了時刻」である「０：００：２４．０１」と一致した時点で、字幕格納部１０４から削除される。
【０２３２】
ここで、字幕格納部１０４に新たな字幕組情報が蓄積されたことにより、図１４（ａ）に示した状態の字幕管理表が、図１４（ｂ）に示した状態に更新されたとする。そして、出力状況取得部１０７が、上記と同様に、出力状況を取得する情報を取得する処理を行ったとする。
【０２３３】
具体的には、まず、出力状況取得部１０７は、字幕格納部１０４に格納されている字幕情報の格納量を取得するために、図１４（ｂ）の字幕組管理表の各レコード（行）の「終了時刻」から「開始時刻」の値を減算した値の合計を算出する。ここでは、字幕情報が２つ格納されているため、字幕情報の格納量は、４秒＋５秒＝９秒となる。そして、取得した格納量が、字幕格納部１０４に設定された閾値以上であるか否かを判断する。閾値は、上述したように７秒であるため、出力状況取得部１０７は、字幕情報の格納量が閾値を超えた判断し、格納状況を示す情報として、字幕情報の格納量が閾値を超えたことを示す情報を取得する。
【０２３４】
このように、出力状況取得部１０７が、格納状況を示す情報として、字幕情報の格納量が閾値を超えたことを示す情報を取得したため、要求送信部１０８は、新たに字幕要求情報を送信するタイミングを示す情報、ここでは、送信間隔を示す情報を取得する。ここでは、字幕情報の格納量の最大値の５０％の時間を新たなタイミングを示す情報として取得する。この比率は、字幕情報の量や、映像情報の種類等に応じて手動や自動で変更しても良い。ここでは、格納量の最大値が１０秒であるため、５秒を新たなタイミングを示す情報、即ち送信間隔を示す情報として取得する。
【０２３５】
そして、出力部１１３は、前回、字幕要求情報を送信した時刻からの経過時刻が、この新たなタイミングを示す情報が示す送信間隔である５秒以上であるか否かを判断して、送信間隔以上であれば、字幕要求情報を送信し、送信間隔未満であれば、字幕要求情報を送信しないようにする。
【０２３６】
これにより、字幕格納部１０４に、十分な出力期間分の字幕情報が格納されている場合には、字幕要求情報を送信するタイミングを遅らせることで、字幕情報の出力に遅延が発生しない範囲で、字幕情報の格納量や、字幕情報の送受信量を低減させることができる。
【０２３７】
なお、出力状況に応じて変更される字幕要求情報の送信タイミングは、字幕情報の格納量が増加した場合に、間隔が線形的に増加、あるいは段階的に増加するもの、であることが好ましい。
【０２３８】
ここで、仮に、図１３に示した制御情報受信部１１２が受信した制御情報に含まれる映像情報の種類を示す情報が、上述した「ｒｅｃｏｒｄｅｄ  ｖｉｄｅｏ」ではなく、ライブ（生）である映像情報を示す「ｌｉｖｅ  ｖｉｄｅｏ」という情報と一致するものであったとする。この場合、指定送信部１０９は、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報の送信を決定する。そして、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を送信する。
【０２３９】
字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を映像出力装置１から受信すると、字幕サーバ側受信部４０２は、この字幕指定情報に応じて、字幕タイミング情報と対応付けられていない字幕情報を送信する設定となるよう、映像タイミング設定情報を更新する。
【０２４０】
この場合、字幕サーバ装置４の字幕サーバ側受信部４０２が、映像出力装置１から映像ＩＤ「ｍ１００１」を含む字幕要求情報を受信すると、上記と同様に、映像サーバ側送信部３０３は、図８に示した字幕群管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた字幕群情報を字幕サーバ側格納部４０１において検出する。ただし、ここでは、上述したように、字幕タイミング設定情報が、字幕タイミング情報と対応付けられていない字幕情報を送信する設定となっているため、字幕サーバ側送信部４０３は、検出した字幕群情報から、字幕情報を予め指定された数だけ出力順に従って読み出すが、字幕タイミング情報は読み出さない。そして、映像サーバ側送信部３０３は、読み出した字幕情報を映像出力装置１に送信する。
【０２４１】
また、字幕受信部１０２が受信する字幕情報は、字幕タイミング情報と対応付けられていないため、字幕受信部１０２は、受信した字幕情報を字幕タイミング情報と対応付けずに字幕格納部１０４に蓄積する。そして、蓄積された字幕情報は、予め指定されたタイミング（例えば、２秒間隔）で蓄積順に順次読み出されて、フレーム画像と合成されて出力される。なお、この場合の字幕情報の出力が継続される期間は、例えば、予め指定された時間となる。つまり、予め指定された時間が経過するまでは、映像情報の各フレーム画像と合成して出力され、時間が経過した時点で、字幕情報は、字幕格納部１０４から削除される。なお、字幕情報を読み出す予め指定されたタイミングが、時間間隔である場合、この時間間隔は、通常、字幕情報の出力が継続される時間以上の長さに設定される。なお、字幕受信部１０２は、受信した字幕情報を字幕格納部１０４に蓄積せずに、蓄積直後に映像情報と合成して出力するようにしても良い。
【０２４２】
このようにすることで、ライブ（生）の映像情報のように、字幕情報を出力するタイミングを、映像情報が出力されるタイミングに合わせることが困難な場合等には、できるだけ、映像情報に対して遅延がないように、字幕情報を出力させることができる。また、字幕サーバ装置４においては、字幕の作成されたタイミング等を示す字幕タイミング情報を字幕情報と対応付けて字幕サーバ側格納部４０１等に蓄積しておくことで、後に映像情報を、録画した映像情報として提供する際に、字幕情報の出力タイミングを、字幕タイミング情報を利用して映像情報の出力タイミングに合わせることができる。
【０２４３】
以上、本実施の形態によれば、字幕タイミング情報を用いることにより、映像情報と、字幕を示す文字列の情報とを、タイミングを適切に合わせて出力することができる。
【０２４４】
なお、上記実施の形態において、映像出力装置１に、制御サーバ装置２の構成を組み込むようにしても良い。この場合、例えば、制御要求情報送信部１１１と制御サーバ側受信部２０２、及び制御情報受信部１１２と制御サーバ側送信部２０３とは、それぞれ、信号線やバス等を適宜用いて直接接続するようにすればよい。
【０２４５】
また、上記実施の形態においては、字幕格納部１０４に格納されている各字幕情報を、出力直後に削除する例について説明したが、字幕情報を、出力終了後も、例えば、予め指定されたタイミングとなるまで、字幕格納部１０４に蓄積しておくようにしても良い。そして、出力部１１３の出力内容を巻き戻す操作を、図示しない受付部等が受け付けた場合、出力部１１３がこの巻き戻す操作により指定される過去の出力時刻に対応する字幕情報を、字幕情報に対応付けられた字幕タイミング情報を用いて、字幕格納部１０４から読み出して出力するようにしても良い。例えば、出力部１１３は、巻き戻し操作により指定される過去の出力時刻と一致する時刻を示す字幕タイミング情報、または、この過去の出力時刻を含む期間を指定する字幕タイミング情報と対応付けられた字幕情報を字幕格納部１０４から読み出して出力する。出力内容を巻き戻す操作は、映像情報を巻き戻す操作であっても良いし、字幕情報を巻き戻す操作であっても良い。出力を巻き戻す操作が、映像情報を巻き戻す操作である場合、操作により指定される映像情報も読み出して、字幕情報を合成して出力するようにしても良い。出力終了後の字幕情報は、出力終了時から予め指定された一定の時間が経過するまで、字幕格納部１０４に蓄積しておいても良いし、出力終了時から、字幕格納部１０４の格納量の最大値に応じて設定される時間が経過するまで、字幕格納部１０４に蓄積しておいても良い。また、予め指定されたトリガーが発生するまで（例えば、次の字幕要求情報が送信されるまで）、蓄積しておいても良い。ここでの巻き戻しは、逆再生等も含む概念と考えても良い。
【０２４６】
なお、字幕情報を出力終了後も字幕格納部１０４に蓄積しておく場合において、出力を巻き戻す操作を受け付けた場合、出力部１１３は、字幕情報だけを出力するようにしても良い。例えば、映像情報がストリーミング形式のデータである場合、著作権保護の観点等から、出力後のフレーム画像等を削除することが多く、出力を巻き戻す場合には、映像情報については、再度、映像情報を映像サーバ装置３から取得する必要があり、出力されるまでに時間がかかるが、字幕情報を字幕格納部１０４に蓄積しておくことで、字幕情報だけを巻き戻して出力する場合は、字幕格納部１０４に格納されている過去の字幕情報を読み出せば良いため、短時間で字幕情報を出力することができる。このため、ユーザが直前に出力された字幕を見落とした場合においても、瞬時に字幕だけを巻き戻して出力することが可能となる。
【０２４７】
なお、上記実施の形態において、各処理（あるいは各機能）は、単一の装置（あるいはシステム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２４８】
また、上記実施の形態において、一の装置に存在する２以上の通信手段（例えば、映像受信部、手話映像受信部等）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０２４９】
また、上記実施の形態では、映像出力装置がスタンドアロンである場合について説明したが、映像出力装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【０２５０】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。
【０２５１】
なお、上記実施の形態における映像出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像情報を映像サーバ装置から受信する映像受信部と、字幕を示す文字列の情報である１以上の字幕情報と、映像情報の出力に対する当該各字幕情報が出力されるタイミングを示す字幕タイミング情報とを、字幕サーバ装置から受信する字幕受信部と、字幕受信部が受信した１以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部が受信した映像情報と合成して出力する出力部として機能させるためのプログラムである。
【０２５２】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
【０２５３】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２５４】
図１７は、上記プログラムを実行して、上記実施の形態による映像出力装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０２５５】
図１７において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０２５６】
図１８は、コンピュータシステム９００の内部構成を示す図である。図１８において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０２５７】
コンピュータシステム９００に、上記実施の形態による映像出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０２５８】
プログラムは、コンピュータ９０１に、上記実施の形態による映像出力装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０２５９】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２６０】
以上のように、本発明にかかる映像出力装置等は、映像情報を出力する装置等として適しており、特に、映像情報と字幕情報とを出力する装置等として有用である。
【符号の説明】
【０２６１】
１  映像出力装置
２  制御サーバ装置
３  映像サーバ装置
４  字幕サーバ装置
５  手話映像サーバ装置
１０１  映像受信部
１０２  字幕受信部
１０３  映像格納部
１０４  字幕格納部
１０５  手話映像受信部
１０６  格納量設定部
１０７  出力状況取得部
１０８  要求送信部
１０９  指定送信部
１１０  映像要求情報送信部
１１１  制御要求情報送信部
１１２  制御情報受信部
１１３  出力部
２０１  制御情報格納部
２０２  制御サーバ側受信部
２０３  制御サーバ側送信部
３０１  映像サーバ側格納部
３０２  映像サーバ側受信部
３０３  映像サーバ側送信部
４０１  字幕サーバ側格納部
４０２  字幕サーバ側受信部
４０３  字幕サーバ側送信部
５０１  手話映像サーバ側格納部
５０２  手話映像サーバ側受信部
５０３  手話映像サーバ側送信部
１０００  映像システム
【図１】
2014212459.tif 000003
【図２】
2014212459.tif 000004
【図３】
2014212459.tif 000005
【図４】
2014212459.tif 000006
【図５】
2014212459.tif 000007
【図６】
2014212459.tif 000008
【図７】
2014212459.tif 000009
【図８】
2014212459.tif 000010
【図９】
2014212459.tif 000011
【図１０】
2014212459.tif 000012
【図１１】
2014212459.tif 000013
【図１２】
2014212459.tif 000014
【図１３】
2014212459.tif 000015
【図１４】
2014212459.tif 000016
【図１５】
2014212459.tif 000017
【図１６】
2014212459.tif 000018
【図１７】
2014212459.tif 000019
【図１８】
2014212459.tif 000020