(57)【要約】【課題】映像の再生に同期して、当該映像の字幕、副音声あるいは映像スナップといった副情報を、映像の再生装置とは物理的に別の表示部上で再生する。【解決手段】テレビ１等の映像再生端末でテレビ番組Paが受信され、その映像が再生されると、当該テレビ番組Paに固有の識別情報IDaを含むコンテンツ情報が、タブレット４およびスマートフォン５等の各情報再生端末へ送信される。各情報再生端末では、識別情報IDaに基づいてテレビ番組Paが識別され、当該テレビ番組Paに対応した字幕データ、副音声データあるいは映像スナップなどの各種の副情報が、ネットワーク上の副情報サーバからダウンロードされて一時記憶される。ダウンロードされた副情報は、テレビ１におけるテレビ番組Paの再生に同期して復号、再生され、映像の再生位置に対応した字幕２１および副音声２２が、当該再生位置の映像スナップ２３と共に表示される。【選択図】図１
2014140135.tif 000002
【特許請求の範囲】
【請求項１】
映像に関連した副情報を当該映像とは物理的に異なる画面上で再生する情報再生端末において、
映像を識別するコンテンツ情報を取得するコンテンツ情報取得手段と、
前記コンテンツ情報に基づいて副情報を取得する副情報取得手段と、
前記副情報を表示する表示パネルと、
前記副情報を映像と同期して再生する再生制御手段と、
を具備したことを特徴とする情報再生端末。
【請求項２】
前記副情報取得手段は、言語、対象年齢および表現の少なくとも一つが異なる複数の副情報を取得し、
ユーザの選択操作に応答して、前記言語、対象年齢および表現の少なくとも一つが異なる複数の副情報のいずれかを選択する再生情報選択手段を更に具備したことを特徴とする請求項１に記載の情報再生端末。
【請求項３】
前記副情報が、前記映像の字幕および副音声の少なくとも一方を含むことを特徴とする請求項１または２に記載の情報再生端末。
【請求項４】
前記副情報取得手段は、言語の異なる複数の副情報を取得し、
前記再生情報選択手段は、ユーザの選択操作に応答して、字幕および副音声ごとに言語対象年齢および表現の少なくとも一つを選択することを特徴とする請求項３に記載の情報再生端末。
【請求項５】
前記副情報が、所定のWebページへのリンクを含み、
当該リンクが選択されると前記Webページを取得して表示するブラウザ機能を具備したことを特徴とする請求項１ないし４のいずれかに記載の情報再生端末。
【請求項６】
前記副情報が、所定の電子メールアドレスへのリンクを含み、
当該リンクが選択されると前記電子メールアドレスへ電子メールを送信するメールアプリケーションを具備したことを特徴とする請求項１ないし５のいずれかに記載の情報再生端末。
【請求項７】
前記副情報が、所定の電話番号へのリンクを含み、
当該リンクが選択されると前記電話番号に発呼する電話機能を具備したことを特徴とする請求項１ないし６のいずれかに記載の情報再生端末。
【請求項８】
声質の異なる複数の音声合成モデルと、
選択された音声合成モデルを前記副音声に適用して声質を制御する音声合成手段とを具備したことを特徴とする請求項１ないし７のいずれかに記載の情報再生端末。
【請求項９】
前記字幕には、前記映像の再生位置を識別する位置情報が記録され、
前記字幕の所定位置が選択されると、当該位置の位置情報に基づいて、当該位置からの映像を取得して表示する映像表示手段をさらに具備したことを特徴とする請求項１ないし８のいずれかに記載の情報再生端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に関連した字幕、副音声あるいは映像スナップといった副情報を再生する情報再生端末に係り、特に、映像再生端末における映像の再生に同期して、当該映像の再生装置とは物理的に別の表示部に副情報を再生する情報再生端末に関する。
【背景技術】
【０００２】
特許文献１には、携帯電話等への映像配信を想定し、映像の下方領域に字幕リストが表示される画面において、字幕を選択することで、同字幕の割り当てられた時刻から動画を再生する技術が開示されている。
【０００３】
特許文献２には、映像字幕に含まれるキーワードを検索し、選択された字幕の箇所から動画像を再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２２２１０５号公報
【特許文献２】特開２００６−３３２７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来から、洋画のように音声が外国語の映像を鑑賞する場合は、多重化された日本語の吹き替え音声を選択したり、音声は原語のまま日本語字幕を映像に重畳表示させたりすることで対応していた。しかしながら、今日のように映像画面の大型化が進み、より多くの視聴ユーザが一つの画面を同時に鑑賞する機会が増えると、各人の使用言語が異なるために、従来のような吹き替えや字幕表示だけでは各人の使用言語に対応することができなかった。
【０００６】
また、高齢者は一般的に視聴に最適な周波数帯域が若年層よりも低いこと、文字サイズのより大きな字幕が望ましいこと、子供用には振り仮名付きの字幕や表現を簡単化した吹き替えが望ましことがある。しかしながら、従来技術では視聴ユーザの年齢層（お年寄り、子供）に応じて吹き替えや字幕の内容を切り替えることができなかった。また、失語症患者のユーザに対して、その症状に適した表現の副情報を提供することや、要約情報で十分なユーザに対して要約表現の副情報を提供することなど、視聴ユーザごとに最適化された副情報を提供することが難しかった。
【０００７】
さらに、近年のデジタル放送では映像配信と並行してデータ通信も行われ、映像の再生中に所望の場面でデータ通信を行うと、当該場面に応じて様々な情報を取得できる。しかしながら、複数人で同一画面を視聴しているときに、一人の希望で画面を切り替えることは避けなければならない。
【０００８】
これに対して、上記の従来技術はいずれも、一つの再生装置の画面上に様々な情報を切り替えて表示する方式なので、複数人が同時視聴する用途では、各人に応じた適切な字幕を表示したり、各人が望むタイミングで表示を切り替えたり、あるいは同一言語であっても視聴ユーザに適した表現を選択したりするなどの、各ユーザの様々な要求に応えられないという技術課題があった。
【０００９】
本発明の目的は、上記の技術課題を解決し、複数のユーザが一つの映像を同時に視聴する環境下でも、各ユーザの要求に個別に対応できる情報再生端末を提供ことにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、映像に関連した副情報を前記映像とは物理的に異なる画面上で再生する情報再生端末において、以下のような手段を講じた点に特徴がある。
【００１１】
(1)映像のコンテンツ情報を取得するコンテンツ情報取得手段と、コンテンツ情報に基づいて字幕および副音声の少なくとも一方を副情報として取得する副情報取得手段と、副情報を表示する表示パネルと、副情報を主映像と同期して再生する再生制御手段とを具備した。
【００１２】
(2)副情報取得手段は、言語、対象年齢および表現の少なくとも一つが異なる複数の副情報を取得し、ユーザの操作に応答して、前記言語、対象年齢および表現の少なくとも一つが異なる複数の副情報のいずれかを選択する再生情報選択手段を更に具備した。
【００１３】
(3)副情報が、所定のWebページへのリンク、所定の電子メールアドレスへのリンクあるいは所定の電話番号へのリンクを含み、Webページへのリンクが選択されるとWebページを取得・表示するブラウザ機能、電子メールアドレスへのリンクが選択されると電子メールアドレスへ電子メールを送信するメールアプリケーション、および電話番号へのリンクが選択されると電話番号に発呼する電話機能を具備した。
【００１４】
(4)声質の異なる複数の音声合成モデルと、選択された音声合成モデルを前記副音声に適用して声質を制御する音声合成手段とをさらに設け、必要に応じて副音声の声質や表現（方言、性別など）を変更できるようにした。
【００１５】
(5)字幕には、映像の再生位置を識別する位置情報が記録され、字幕の所定位置が選択されると、当該位置の位置情報に基づいて、当該位置からの映像を取得して表示する映像表示手段をさらに具備した。
【発明の効果】
【００１６】
本発明によれば、以下のような効果が達成される。
【００１７】
(1)テレビ等の映像再生端末において主映像を再生させながら、各ユーザの情報再生端末では、その副情報（字幕および副音声）を主映像とは別に再生できるので、主映像を縮小したり主映像への重畳表示を許容したりすることなく、主映像および副情報の完全な同時再生が可能になる。
【００１８】
(2)テレビ等で主映像を再生させながら、ユーザの情報再生端末では、テレビ等で再生されている言語と異なる言語の副情報（字幕および副音声）、周波数帯域の低い副音声、振り仮名付きの字幕、文字サイズの大きな字幕、要約字幕等を再生できるので、使用言語や年齢層の異なるユーザ同士、健常者および失語症患者、さらには詳細情報を望むユーザおよび要約情報で十分なユーザが、一つの映像を不便なく同時に視聴できるようになる。
【００１９】
(3)テレビ等で一つの主映像を再生させながら、各ユーザの情報再生端末では、端末ごとに異なる副情報（字幕および副音声）、周波数帯域の低い副音声、振り仮名付きの字幕、文字サイズの大きな字幕あるいは要約字幕等を再生できるので、使用言語や年齢層の異なる複数のユーザ、健常者および失語症患者を含む複数のユーザ、さらには詳細情報を望むユーザおよび要約情報で十分なユーザなどが、一つの映像を不便なく同時に視聴できるようになる。
【００２０】
(4)字幕に含まれるURL，Twitter，Facebook，LinkedInなどのソーシャルメディアID，電子メールアドレスおよび電話番号が、対応するアプリケーションや機能とリンクされているので、URL，ソーシャルメディアID，電子メールアドレスおよび電話番号をクリックするだけで、テレビ等で主映像を再生させたまま、Webページの表示、電子メールの送信および電話による通話が可能になる。しかも、一の再生端末ではWebページを表示し、他の一の再生端末では電子メールを送受するといったように、再生端末ごとに異なる機能で動作できるようになる。
【００２１】
(5)通常は映像再生端末で再生中の映像と同期する字幕や副音声の再生位置を、ユーザの操作により任意の位置まで戻したり進めたりできるので、例えば料理番組におけるレシピのように、詳細に確認したい内容の非同期表示を、再生端末ごとに独立して行えるようになる。
【００２２】
(6)所望の字幕位置をクリックすると、当該字幕位置に対応した時刻位置から映像を再生させることができるので、字幕に基づいて映像を所望の時刻位置から視聴できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る情報再生端末の使用方法を模式的に表現した図である。
【図２】情報再生端末の一機能を模式的に示した図である。
【図３】本発明の一実施形態に係る情報再生端末の機能ブロック図である。
【図４】本発明の機能とアプリ制御部との連携を模式的に表現した図である。
【図５】本発明の一実施形態の動作を示したシーケンスフローである。
【図６】本発明の他の実施形態に係る情報再生端末の機能ブロック図である。
【図７】本発明の他の実施形態の動作を示したシーケンスフローである。
【図８】映像再生端末と情報再生端末との間で実行される同期制御の手順を示したシーケンスフローである。
【図９】映像再生端末が情報再生端末を管理する方法および手順を示した図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係る情報再生端末の使用方法を模式的に表現した図であり、放送波を受信してテレビ番組やデータ放送を再生するテレビ（TV）１、テレビ番組の録画映像やDVD（Blue ray）映像を再生してテレビ１へ出力するDVD（Blue ray）レコーダ２、および有線／無線送信されるテレビ番組等の映像をテレビ１へ出力するSTB（セットトップボックス）３を含む映像再生端末と、当該映像再生端末と広域通信網または短距離通信網により有線・無線接続され、映像再生端末で再生される映像に関連した字幕、副音声あるいは映像スナップなどの各種情報（以下、副情報で総称する）を再生するタブレット４やスマートフォン５などの情報再生端末とを主要な構成としている。
【００２５】
このような構成において、テレビ１でテレビ番組が受信され、その映像が再生されると、当該テレビ番組に固有の識別情報IDaや再生位置を特定する同期情報を含む制御情報が、映像再生端末から予め宛先登録されているタブレット４およびスマートフォン５等の各情報再生端末へ送信される。
【００２６】
前記各情報再生端末では、前記識別情報IDaに基づいてテレビ番組が識別され、当該テレビ番組に対応した字幕、副音声あるいは映像スナップなどの副情報が、ネットワーク上の副情報サーバ（図示省略）からダウンロードされて一時記憶される。なお、当該副情報サーバは、インターネット等の広域ネットワーク上に設けられていても良いし、ユーザ宅内のローカルなネットワーク（LAN）上に設けられていても良い。また、映像再生端末における映像源がDVDなどの記録媒体であり、副情報が映像と共に記録されている場合には、当該副情報を取得して一時記憶するようにしても良い。
【００２７】
前記ダウンロードされた副情報は、テレビ１におけるテレビ番組の再生に同期して復号、再生され、再生位置に対応した字幕２１および副音声２２が、当該再生位置の映像スナップ（例えば、キーフレームの静止画）２３と共に表示される。このような情報再生端末は、さらに以下のような各種の機能を備えることができる。
【００２８】
(1)機能１
字幕として複数の言語のデータや、年齢層等に応じて表現等が最適化された複数のデータがダウンロードされていれば、情報再生端末ごとに任意言語、任意表現の字幕２１を表示できる。
【００２９】
(2)機能２
副音声として複数の言語のデータや、年齢層等に応じて表現等が最適化された複数のデータがダウンロードされていれば、情報再生端末ごとに任意言語、任意音質の副音声２２を出力できる。
【００３０】
(3)機能３
字幕２１が横書き表示される場合には、主映像の進行に同期して字幕２１や映像スナップ２３が上方へ順次にロールアップされる。また、このような副情報のスクロースは、画面右側端部のスクロールバー２４を操作することにより、主映像とは非同期に任意の位置まで任意の速度でロールアップまたはロールダウンすることもできる。
【００３１】
(4)機能４
各字幕位置には映像の再生位置に関する情報が埋め込まれており、任意の字幕をクリック等すると、映像再生端末の画面では、前記字幕位置に対応した位置から映像の再生が始まる。
【００３２】
(5)機能５
複数の音声合成モデルを予めダウンロードしておくことにより、副音声の声質や表現（方言、性別など）を各端末ユーザの嗜好に応じて自由に変換できる。
【００３３】
図２は、前記機能１を模式的に表現した図であり、ここでは、特に複数の言語のデータが用意されている場合を例にして説明する。
【００３４】
字幕として日本語データ、英語データおよび韓国語データがダウンロードされていれば、各情報再生端末のユーザU1，U2，U3がいずれかの言語を選択することにより、端末ごとに異なる言語で字幕を表示できる。同様に、副音声として複数の言語がダウンロードされていれば、各ユーザU1，U2，U3がいずれかの言語を選択することにより、端末ごとに異なる言語で副音声を出力できる。このとき、字幕と副音声とは同一言語である必要はなく、字幕を英語で表示し、副音声を韓国語で出力するといった任意の組合せも可能である。
【００３５】
図３は、本発明の一実施形態に係る情報再生端末の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００３６】
コンテンツ情報取得部１０１は、テレビ１等の映像再生端末において再生中または再生予定の映像について、そのコンテンツ情報を取得する。このコンテンツ情報には、再生映像を一意に識別できる識別情報（コンテンツID）が含まれている。映像識別部１０２は、前記コンテンツ情報からコンテンツIDを抽出する。副情報取得部１０３は、前記コンテンツIDを含む副情報要求REQ1を所定の副情報サーバ１０へ送信する。
【００３７】
この副情報サーバ１０には、映像のコンテンツIDごとに、その字幕データ、副音声データおよび映像スナップ等の副情報が言語ごとに記憶されており、前記副情報取得部１０３は、当該サーバ１０から返信される副情報応答REP1を取得して副情報記憶部１０４に記憶する。
【００３８】
前記副情報応答REP1には、前記コンテンツIDに対応した言語の字幕や副音声などの各符号化データが含まれる。字幕の符号化データは字幕領域に一時記憶され、副音声の符号化データは副音声領域に一時記憶される。
【００３９】
UI部１０８は、ユーザ操作を受け付けるタッチパネル１０８ａ、表示パネル１０８ｂおよびスピーカ１０８ｃを含み、本実施形態では、表示パネル１０８ｂに表示されたアイコンやスイッチがタッチされると、そのタッチ位置がタッチパネル１０８ａにより検知され、当該タッチ位置に応じた制御が実行される。
【００４０】
再生情報選択部１０５は、端末ユーザのタッチパネル操作で指定された言語、年齢層、声質などに応じた字幕および副音声の再生を副情報再生制御部１０６へ要求する。副情報再生制御部１０６は、前記要求された言語等に対応した字幕および副音声を前記副情報記憶部１０４から、同期信号に応じた所定の再生レートで順次に読み出して出力する。
【００４１】
音声合成モデル記憶部１０７ａには、声質や表現の異なる複数の音声合成モデルが予め記憶されている。音声合成部１０７は、前記副情報再生制御部１０６から出力される副音声を、必要に応じて、端末ユーザのタッチパネル操作で指定された声質等の音声合成モデルで変換する。
【００４２】
主制御部１００は、副情報を再生するための上記各構成とUI部１０８およびアプリ制御部１０９とのデータ伝送を制御し、前記字幕の映像は表示パネル１０８ｂに表示させ、前記音声合成された副音声はスピーカ１０８ｃから出力させる。
【００４３】
アプリ制御部１０９は、本再生端末に実装された各種のアプリケーションおよび機能を制御するための構成として、電子メールの生成および送信機能を発揮する電子メール制御部１０９ａ、WebサーバへアクセスしてWebページを表示するブラウザ機能を発揮するブラウザ制御部１０９ｂおよび発呼、着呼および通話機能を発揮する電話制御部１０９ｃを備える。
【００４４】
図４は、上記の本発明に固有の機能とアプリ制御部１０９との連携を模式的に表現した図であり、前記ブラウザ制御部１０９ｂは、字幕に含まれるURLがクリック等されると、当該宛先へアクセスしてWebページを表示する。前記電子メール制御部１０９ａは、字幕またはWebページに含まれるメールアドレスがクリック等されるとメールアプリケーションを起動して電子メールを送受する。電話制御部１０９ｃは、前記字幕またはWebページに含まれる電話番号がクリック等されると当該電話番号に発呼する。
【００４５】
図５は、本発明の一実施形態の動作を示したシーケンスフローであり、時刻t1では、テレビ番組、DVD映像あるいは録画映像等の映像が映像再生端末において再生され、テレビ画面に表示される。時刻t2において、端末ユーザがタブレット４やスマートフォン５といった情報再生端末のタッチパネル１０８ａを自ら操作して副情報の出力を指示すると、時刻t3では、当該情報再生端末から映像再生端末へ接続要求が送信される。時刻t4では、前記映像再生端末から情報再生端末へ、再生中の映像を一意に識別するコンテンツIDを含む接続応答が返信される。
【００４６】
時刻t5では、前記情報再生端末の副情報取得部１０３からネットワーク上の副情報サーバ１０へ、前記再生中の映像のコンテンツIDを含む副情報要求が送信される。時刻t6では、前記副情報要求を受信したサーバ１０において、当該要求に含まれるコンテンツIDに基づいて、対応する字幕、副音声および映像スナップの各符号化データが選択され、時刻t7において、当該符号化データを含む副情報応答が要求元の情報再生端末へ返信される。本実施形態では、字幕および副音声のペアが複数の言語について予め用意されており、その全てが情報再生端末へ応答される。
【００４７】
時刻t8では、前記副情報応答を受信した情報再生端末において、取得した字幕および副音声の符号化データが前記副情報記憶部１０４に一時記憶される。そして、字幕および副音声の言語ならびに副音声の声質等をユーザに選択させるためのメニュー画面に、前記取得できた言語および変換可能な声質等が一覧表示される。
【００４８】
時刻t9において、端末ユーザにより一の言語および声質等が選択されると、時刻t10では、当該選択操作が受け付けられる。時刻t11では、前記選択された言語の字幕データおよび副音声データが、前記副情報再生制御部１０６において復号され、その再生が開始される。
【００４９】
なお、前記副音声に関しては、前記選択された声質が音声合成部１０７において音声合成されて出力される。その後は、時刻t12,13…において、周期的に映像再生端末との間で映像と副情報との同期がとられる。
【００５０】
時刻t16において、端末ユーザが字幕に含まれるURLをクリックし、これが前記タッチパネル１０８ａにより検知されると、時刻t17ではブラウザ制御部１０９ｂによりブラウザが起動される。時刻t18では、前記URLがアクセスされてWebページが取得、表示される。
【００５１】
時刻t19において、端末ユーザが字幕に含まれるメールアドレスをクリックし、これが前記タッチパネル１０８ａにより検知されると、時刻t20では電子メール制御部１０９ａによりメールアプリケーションが起動される。時刻t21では、所定のメールサーバがアクセスされて電子メールが送受信される。
【００５２】
時刻t22において、端末ユーザが字幕に含まれる電話番号をクリックし、これが前記タッチパネル１０８ａにより検知されると、時刻t21では電話制御部１０９ｃにより電話機能が起動される。時刻t22では、前記電話番号が発呼される。
【００５３】
本実施形態によれば、テレビ等で主映像を再生させながら、ユーザの再生端末では、その字幕や副音声を主映像とは別に再生できるので、主映像を縮小したり主映像への重畳表示を許容したりすることなく、映像および副情報の完全な同時再生が可能になる。
【００５４】
また、本実施形態によれば、テレビ等で主映像を再生させながら、ユーザの再生端末では、テレビ等で再生されている言語と異なる言語の副情報（字幕および副音声）、周波数帯域の低い副音声、振り仮名付きの字幕、文字サイズの大きな字幕あるいは要約字幕等を再生できるので、使用言語や年齢層の異なるユーザ同士、健常者および失語症患者、さらには詳細情報を望むユーザおよび要約情報で十分なユーザが、一つの映像を不便なく同時に視聴できるようになる。
【００５５】
さらに、本実施形態では、テレビ等で一つの主映像を再生させながら、各ユーザの再生端末では、端末ごとに異なる副情報（字幕および副音声）、周波数帯域の低い副音声、振り仮名付きの字幕、文字サイズの大きな字幕あるいは要約字幕等を再生できるので、使用言語や年齢層の異なる複数のユーザ、健常者および失語症患者を含む複数のユーザ、さらには詳細情報を望むユーザおよび要約情報で十分なユーザなどが、一つの映像を不便なく同時に視聴できるようになる。
【００５６】
さらに、本実施形態によれば、字幕に含まれるURL，Twitter，Facebook，LinkedInなどのソーシャルメディアID，電子メールアドレスおよび電話番号が、対応するアプリケーションや機能とリンクされているので、URL，ソーシャルメディアID，電子メールアドレスおよび電話番号をクリックするだけで、テレビ等で主映像を再生させたまま、Webページの表示、電子メールの送信および電話による通話が可能になる。しかも、一の再生端末ではWebページを表示し、他の一の再生端末では電子メールを送受するといったように、再生端末ごとに異なる機能で動作できるようになる。
【００５７】
さらに、本実施形態によれば、通常は映像再生端末で再生中の映像と同期する字幕や副音声の再生位置を、ユーザの操作により任意の位置まで戻したり進めたりできるので、例えば料理番組におけるレシピのように、詳細に確認したい内容の非同期表示を、再生端末ごとに独立して行えるようになる。
【００５８】
図６は、本発明の他の実施形態に係る情報再生端末の構成を示した機能ブロック図であり、図３と同一の符号が同一又は同等部分を表しているので、その説明は省略する。図７は、本実施形態の動作を示したシーケンスフローである。
【００５９】
本実施形態では、副情報の各字幕に、対応する映像の再生位置を識別する位置情報が記録されており、前記字幕のいずれかの位置がユーザによりクリック等されると、当該位置に記録された位置情報に基づいて、当該位置からの映像を再生端末から取得して表示パネル上で再生する映像表示部１１０を設けた点に特徴がある。
【００６０】
本実施形態では、副情報の各字幕に、その表示パネル上での表示行ごとに、行頭に対応した映像位置の再生時刻情報が記録されており、図７の時刻t31において、字幕のいずれかの行がユーザによりクリック等されると、時刻t32では、当該行に記録されている再生時刻情報が前記映像表示部１１０により認識される。時刻t33では、当該再生時刻情報の記述された映像要求が映像再生端末へ送信される。
【００６１】
映像再生端末では、再生中の映像がDVD映像や録画映像であれば、現在の映像再生を継続したまま、前記映像要求に記述された再生時刻情報で特定される位置から映像データを別途に読み出し、時刻t34において、当該映像データの配信を開始する。前記映像表示部１１０は、時刻t35において、前記映像データが受信されると、その再生を開始する。当該映像再生は、ユーザにより再び副情報の再生が指示されるまで継続される。
【００６２】
図８は、前記映像再生端末と情報再生端末との間で実行される同期制御の手順を示したシーケンスフローであり、時刻t51、t52では、前記図５，７の時刻t3，4と同様に、情報再生端末から映像再生端末への接続要求の送信および映像再生端末から情報再生端末への接続応答の返信が実行される。時刻t55，t56では、前記図５，７の時刻t12，t13と同様に同期信号が送受される。
【００６３】
また、前記時刻t52からt55までの間の適宜のタイミングにおいて、時刻tsでは、情報再生端末から映像再生端末へ伝搬時刻測定信号が送信される。時刻Trでは、前記伝搬時刻測定信号が映像再生端末において受信され、時刻Tsでは、映像再生端末から情報再生端末へ、前記時刻Tr，Tsの記述された伝搬時刻測定信号が返信される。時刻trでは、前記伝搬時刻測定信号が情報再生端末において受信される。情報再生端末は、前記各時刻ts，tr，Ts，Trを次式(1)に適用して伝搬遅延θを計測する。
【００６４】
θ＝｛（ｔｒ−ｔｓ）−（Ｔｓ−Ｔｒ）｝／２    …  (1)
【００６５】
情報再生端末は、時刻t55、t56…において、映像再生時刻情報tiを含む同期信号を映像再生端末から受信するごとに、当該時刻情報tiに前記伝搬遅延θを加算した時刻（ti+θ）を情報再生端末における吹き替えや字幕の時刻位置Tiと認識して当該情報の再生タイミングを制御する。
【００６６】
図９は、映像再生端末が各情報再生端末を管理する方法および手順を示した図であり、映像再生端末は、再生中の映像を一意に識別するコンテンツIDおよびその状態（再生中、停止中、一時停止中）が登録されたコンテンツ状態テーブル、および自身に接続中の情報再生端末を管理する接続端末管理テーブルを備える。
【００６７】
時刻t71において、情報再生端末Aからコンテンツ情報要求を取得するとコンテンツ状態管理テーブルを参照し、時刻t72において、前記「コンテンツID」および「状態」の記述されたコンテンツ情報応答を返信する。時刻t73において、情報再生端末Aから送信されたコンテンツ接続要求が受信されると、前記接続端末管理テーブルに情報再生端末Aの種別やIPアドレスを更新登録し、時刻t74においてコンテンツ接続応答を返信する。
【００６８】
上記の処理は、時刻t75において他の情報再生端末Bからコンテンツ情報要求を取得したときにも同様に繰り返される。
【符号の説明】
【００６９】
１０…副情報サーバ，１００…主制御部，１０１…コンテンツ情報取得部，１０２…映像識別部，１０３…副情報取得部，１０４…副情報記憶部，１０５…再生情報選択部，１０６…副情報再生制御部，１０７…音声合成部，１０７ａ…音声合成モデル記憶部，１０８…UI部，１０８ａ…タッチパネル，１０８ｂ…表示パネル，１０８ｃ…スピーカ，１０９…アプリ制御部，１０９ａ…電子メール制御部，１０９ｂ…ブラウザ制御部，１０９ｃ…電話制御部
【図１】
2014140135.tif 000003
【図２】
2014140135.tif 000004
【図３】
2014140135.tif 000005
【図４】
2014140135.tif 000006
【図５】
2014140135.tif 000007
【図６】
2014140135.tif 000008
【図７】
2014140135.tif 000009
【図８】
2014140135.tif 000010
【図９】
2014140135.tif 000011