(57)【要約】この発明に係る映像情報再生装置は、ネットワークを通して映像データ及びその制御情報データを含む信号を受信し、前記制御情報データに含まれる時刻情報を取得する時刻情報検出部と、内部時計により計時された内部時刻を検出する内部時刻検出部と、前記時刻情報検出部で取得された時刻情報による時刻と、前記内部時刻検出部で計時された内部時刻とを比較する比較部と、該比較部の比較結果に基づき、前記映像データの単位時間当たりフレーム数に基づく表示フレーム数、及び、前記映像データの１フレームに対応する表示フレーム数を制御するフレーム制御部とを、備えたものである。
2016017266.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを通して映像データ及びその制御情報データを含む信号を受信し、前記制御情報データに含まれる時刻情報を取得する時刻情報検出部と、
内部時計により計時された内部時刻を検出する内部時刻検出部と、
前記時刻情報検出部で取得された時刻情報による時刻と、前記内部時刻検出部で計時された内部時刻とを比較する比較部と、
該比較部の比較結果に基づき、前記映像データの単位時間当たりフレーム数に基づく表示フレーム数、及び、前記映像データの１フレームに対応する表示フレーム数が少なくとも１となるように制御するフレーム制御部と、
前記映像データのフレームレート以上のフレームを表示可能な表示部と、
を備えた映像情報再生装置。
【請求項２】
前記フレーム制御部は、映像再生時に映像データが持つフレームごとの再生表示時刻と非同期に映像の切り替え制御を行うことを特徴とする請求項１に記載の映像情報再生装置。
【請求項３】
前記フレーム制御部は、フレーム出力時間を表示装置が表示可能なフレームレートの整数倍に変化させることを特徴とする請求項１又は請求項２のいずれかに記載の映像情報再生装置。
【請求項４】
ネットワークを通して映像データ及びその制御情報データを含む信号を受信するステップと、
前記制御情報データに含まれる時刻情報を取得すステップと、
内部時計により計時された内部時刻を検出するステップと、
前記時刻情報による時刻と、前記内部時刻とを比較するステップと、
前記比較された結果に基づき、前記映像データの単位時間当たりフレーム数に基づく表示フレーム数、及び、前記映像データの１フレームに対応する表示フレーム数が少なくとも１となるように制御するステップと、
前記映像データのフレームレート以上のフレームを表示するステップと、
を有する映像情報再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワークを通じて映像情報データ（以下、映像データとのみ記載する場合もある）を含む信号を受信し、映像を再生する映像情報再生装置に係り、特に、映像データを複数の表示装置に表示する場合の映像信号のフレーム制御に関するものである。
【背景技術】
【０００２】
従来、再生装置で映像の再生が指示されると、まず通信路符号化された多重伝送される信号の分離（復号）処理であるデマックスという処理がされ、その後、情報源符号化された信号の復号処理が開始される。情報源符号化された信号の復号処理は、符号化された映像データに対しては、デコーダーで再生され画像表示装置に表示される。【０００３】
映像データの再生同期は、受信信号の制御情報データに含まれる映像フレームの表示時刻に係る情報をデコーダーが読み出し、読み出された時刻情報に基づいてフレームの表示を切り替えることで、映像の再生同期をとっている。この映像再生の同期手法は映像情報再生装置に搭載されるハードウエアクロックにより計時された内部時刻に基づき行われる。【０００４】
一般的に、内部時刻は、ハードウエアクロックを動作させる水晶発振器の発振周波数の誤差が数ｐｐｍ〜１００ｐｐｍ程度あり、受信端末の負荷上昇、並びに、温度、湿度、及び、電圧といった諸条件でも変化する。仮に水晶発振器の発振周波数の誤差が約２０ｐｐｍとすると１日で約３秒の時間の差異が生じる。【０００５】
このようなハードウエアクロックを搭載した映像情報再生装置がネットワークに接続され、映像データを配信するコンテンツサーバーから複数の映像情報再生装置へ映像データの配信を行う場合、コンテンツサーバーと映像情報再生装置の時計が異なると、機器間のデータ交換などの処理を適切に行えない恐れがある。そこで、機器それぞれが持つ時計を正しい時刻（以下、基準時刻と記載する場合がある）に同期させるＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ：以下、ＮＴＰとのみ記載する場合がある）にて、機器間の同期をとっている。【０００６】
ＮＴＰを使用することにより、各機器の時計を調整し時刻同期を行うことができるが、突然時刻が変更されると、例えば、映像を再生中の場合、再生が不連続になったり、最後まで再生されなかったりするといった問題が生じる。【０００７】
このような問題に対し、基準時刻の時刻情報と映像情報再生装置の相対的な時刻の差異を検出し、その差異を基に映像の再生同期をとる方法が提案されている。例えば、蓄積メディアから読み出された符号化された映像データの本編の最終フレームと同じ内容を表示するＩ又はＰピクチャーを、本編の最終フレームの後に再生同期用のフレームとして複数枚追加しておき、基準時刻の時刻情報に合わせて、再生同期用のフレームの再生枚数を変更することで調整する方法がある（例えば、特許文献１参照）。【０００８】
また、映像情報再生装置のハードウエアクロックを基準時刻に合わせるよう修正を行う方法として、ハードウエアクロックを補正するために、第１のクロックを分周して第２のクロックを生成し、出力するスケーラーと、第２のクロックを元に内部時刻情報を生成するタイマーを備え、内部時刻と基準時刻の時間差と、時刻合わせに掛ける所定の時間の長さを基に、スケーラーの分周比を、第２のクロックの周期毎に調整し、内部時刻が基準時刻に次第に近付くよう補正を行う方法がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１１−１１４６８１号公報
【特許文献２】特開２０１０−１０７３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に係る調整方法では、コンテンツサーバー上で映像データに加工を行ってから複数の映像情報再生装置に映像配信を行うため、コンテンツサーバーの処理負荷が増えることが課題である。また、デジタルサイネージのビジネスのように、予め客先から納入された映像データの再生表示を行う場合には、客先のデータに加工を行うことも問題である。【００１１】
また、特許文献２に係る調整方法では、なめらかに時計を調整することが可能であるがハードウエアクロックの修正に時間を要するという問題がある。
【課題を解決するための手段】
【００１２】
この発明に係る映像情報再生装置は、ネットワークを通して映像データ及びその制御情報データを含む信号を受信し、前記制御情報データに含まれる時刻情報を取得する時刻情報検出部と、内部時計により計時された内部時刻を検出する内部時刻検出部と、前記時刻情報検出部で取得された時刻情報による時刻と、前記内部時刻検出部で計時された内部時刻とを比較する比較部と、該比較部の比較結果に基づき、前記映像データの単位時間当たりフレーム数に基づく表示フレーム数、及び、前記映像データの１フレームに対応する表示フレーム数を制御するフレーム制御部とを、備えたものである。
【発明の効果】
【００１３】
この発明によれば、映像情報再生装置内のハードウエアクロックが示す時刻とコンテンツサーバーの基準時刻との時間差が検出された場合に、表示フレーム数を増減することで、受信信号に含まれる映像データの１フレームあたりの表示時間を変化させることで、時間差を小さくすることが出来る。【００１４】
また、コンテンツサーバーで映像データに加工を施さずに済み、蓄積された元の映像データをそのまま配信することが可能なため、コンテンツサーバーの処理負荷を軽減出来る。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１にかかる映像情報再生システム全体の構成を概念的に示す図である。
【図２】本発明の実施の形態１にかかる映像情報再生装置の構成例を概略的に示すブロック図である。
【図３】基準時刻と映像情報再生装置の内部時刻に差異がない場合のフレーム表示方法を示す図である。
【図４】基準時刻と比較して映像情報再生装置の内部時刻が遅れている場合のフレームの表示方法を示す図である。
【図５】基準時刻と比較して映像情報再生装置の内部時刻が進んでいる場合のフレームの表示方法を示す図である。
【図６】映像情報再生装置の映像情報再生方法を示すフローチャートである。
【図７】コンテンツサーバーの映像情報配信方法を示すフローチャートである。
【図８】本発明の実施の形態２にかかる映像情報再生システム全体の構成を概念的に示す図である。
【図９】本発明の実施の形態２にかかる映像情報再生装置を示すブロック図である。
【発明を実施するための形態】
【００１６】
実施の形態１．
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１７】
図１は、映像情報再生装置、及び、映像データを含む信号の配信を行うコンテンツサーバーを備えた映像情報再生システムを概略的に示すブロック図である。以下、図を用いて説明する。図において、映像データ、及び、その制御情報データを含むデジタルデータを複数の映像情報再生装置へ配信するコンテンツサーバー５０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ。以下、ＬＡＮとのみ記載する場合がある）で構成されるネットワーク５１を経由して、映像情報再生装置３０、ここでは、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４からなる、にデータを配信する。ここで、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４は、同一の構成からなりコンテンツサーバー５０から配信される映像データを含む信号をそれぞれが受信する。
【００１８】
コンテンツサーバー５０から映像情報再生装置３０へ配信されるデジタルデータは、例えば映像データ、音声データ、及び、それらの制御情報データ、並びに、サーバーの時刻情報データ、並びに、映像情報再生装置の通信可否を確認するデータなどである。以下では、ネットワーク５１上に、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ。以下、ＵＤＰとのみ記載する場合がある）を使ったブロードキャスト配信によりデジタルデータを配信することを想定する。なお、ここでは、送信信号としてデジタルデータで構成された信号を想定したが、特にデジタルデータに限られない。振幅変調、または、周波数変調を利用したアナログデータを送信してもよい。
【００１９】
図２は、この発明の実施の形態１による映像情報再生装置、ここでは、第１の映像情報再生装置を示すブロック図である。なお、他の映像情報再生装置の構成も同様である。図において、映像情報再生装置３０は、ここでは、第１の映像情報再生装置３１を例にとり説明するが、他の映像情報再生装置についても同様である、コンテンツサーバー５０から配信された映像データの復号を行う機能と、コンテンツサーバー５０に対し映像情報再生装置３０の内部時計が計時する時刻の遅れや進みを検知すると、その遅れや進みの時刻情報を記憶し、配信される映像データが有する単位時間当たりのフレーム数に対し、表示部２２（以下、表示装置と記載する場合がある）が表示する単位時間当たりのフレーム数を増やすことで、配信される映像データが有する１フレームあたりの表示時間を短くしたり、同一画像のフレーム数を多くしたり、その他のフレーム処理をすることを決定する機能を持つ映像再生処理部２３と、映像再生処理部２３で決定したフレーム処理結果に基づき映像を表示する表示部２２とを有する。
【００２０】
表示部２２は、フレームレート変換等により配信される映像データが有するフレームレート以上の映像信号を受信し、表示することが可能であることを特徴とする。例えば、３０ｆｐｓ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ：以下、ｆｐｓとのみ記載する場合がある）の映像データを再生する場合、表示部２２は、３０ｆｐｓ以上の映像データを表示可能な表示装置とする。例えば、この表示部２２として、６０ｆｐｓで表示可能な表示装置を用いる場合、フレームレート変換を行う前の元の映像データの１フレームあたり想定される表示時間である約３３．３ｍｓ（１／３０ｓ、以下、「約」については省略する場合がある）よりも、単位時間当たりのフレーム数を倍としたフレームレート変換後の１フレームあたりの実際の表示時間の方が短くなる。このような表示装置を用いることで、映像の再生に遅れが生じた場合に、元の映像データの１フレームあたりの表示時間である３３．３ｍｓよりも、実際の表示時間を短くし、その再生の遅れを取り戻すことを可能とする。
【００２１】
なお、上記実施の形態では、表示部２２は、フレームレート変換等により配信される映像データが有するフレームレート以上の映像信号を受信し、表示することが可能な表示装置を想定したが、配信される映像データが有するフレームレートと同じフレームレートの映像信号を受信し、表示することしかできない表示装置であっても、映像の再生に進みが生じた場合に対しては、同一フレームを続けて表示する等して、元の映像データの１フレームあたり想定される表示時間の３３．３ｍｓよりも長くすることで、その再生の進みを修正することが可能である。
【００２２】
映像再生処理部２３は、データ受信部１０、基準時刻検出部１１、データ記憶部１３、再生制御部１４、出力時間制御部１９、及び、出力時間計時部２０を有する。これらは全て、バス２１により繋がっている。
【００２３】
データ受信部１０は、映像情報再生装置３０とＬＡＮで接続されたコンテンツサーバー５０から、例えば、ＭＰＥＧ-２、Ｈ．２６４、または、Ｈ．２６５といった符号化された映像データの受信を行う。
【００２４】
基準時刻検出部１１は、ＬＡＮで接続されたコンテンツサーバー５０からＮＴＰにより定期的に時刻情報が送信されるので、コンテンツサーバー５０の時刻情報の検出を行う。ここでは、基準時刻検出部１１で検出されるコンテンツサーバー５０が示す時刻を基準時刻として取り扱う。ここで検出する時刻情報は、例えば、コンテンツサーバー５０が示す絶対時刻に係る時刻情報を受信するものであっても良いし、コンテンツサーバー５０が、現在再生が予定されているフレームに係る情報を示すものであっても良い。
【００２５】
データ記憶部１３は、この発明の実施の形態１に係る映像情報再生装置で映像データを受信した時にそのデータを一時的に蓄積するＲＡＭ等のバッファメモリ、及び、この発明の実施の形態１に係る映像情報再生装置の動作プログラム等を記憶するＲＯＭなどにより構成される。
【００２６】
フレーム制御部は、再生制御部１４及び出力時間計時制御部１９で構成される。
【００２７】
再生制御部１４はフレームの再生制御をおこなうフレーム制御部の一部を構成する。再生制御部１４は、符号化されている映像データの復号を行い、コンテンツサーバー５０の基準時刻情報と映像情報再生装置３０の内部時計に係る時刻情報を比較し、再生タイミングの遅れや進みの検出がなされるとその遅れや進みの量に従ってフレームの表示数及び表示時間を制御する。
【００２８】
出力時間計時制御部１９は、１フレームあたりの表示時間の制御を行い、フレームの再生制御をおこなうフレーム制御部の一部を構成する。出力時間計時制御部１９は、映像再生時に映像データが持つフレームごとの再生表示時刻と非同期に、再生制御部１４によるフレーム数の制御と合わせて、表示フレームの表示時間を短くしたり長くしたりする。
【００２９】
出力時間計時部２０は、ハードウエアクロック等で構成され、時刻の計時手段をもち、再生制御部１４の制御に従いフレームの表示時間を短くしたり長くしたりする場合の時間を計時する。
【００３０】
再生制御部１４は、映像デコーダー１５、比較部１６、記憶部１７、及び、出力更新部１８を有する。
【００３１】
映像デコーダー１５は、データ受信部１０で受信したＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、及び、Ｈ．２６５といった圧縮符号化された映像データを復号する。
【００３２】
比較部１６では、基準時刻検出部１１で受信したコンテンツサーバー５０の時刻情報と映像情報再生装置３０の表示制御の基準とする時刻情報とを比較し、コンテンツサーバー５０に対して映像表示タイミングの遅れや進みの検出を行う。
【００３３】
記憶部１７は、比較部１６で検出された映像情報再生装置３０の映像表示タイミングの遅れや進みの時間を記憶する。
【００３４】
出力更新部１８は、フレーム出力時間を表示装置が表示可能な１フレームあたりの表示時間の整数倍に変化させることを特徴とする。これは、例えば、映像データを６０ｆｐｓで表示可能な表示装置を用いて、３０ｆｐｓの映像データを表示する場合、１フレームの表示時間を１６．７ｍｓ（１／６０ｓ）、３３．３ｍｓ（２／６０ｓ）、５０．０ｍｓ（３／６０ｓ）、６６．７ｍｓ（４／６０ｍｓ）・・・と変化させることを意味する。記憶部１７で記憶された映像情報再生装置３０の表示タイミングの遅れや進みに基づいて、各フレームの出力時間を０にせずフレーム落ちを起こさないようフレームの表示時間を決定する。
【００３５】
従来の映像再生装置では、ハードウエアクロックの時刻情報を基準として映像データに含まれるフレームごとのデコード時刻、表示開始時刻に従って同期再生がなされる。そのため、３０ｆｐｓの映像データの再生を行う場合には、フレームの表示開始時刻が３３．３ｍｓ（１／３０ｓ）刻みとなっているため、３３．３ｍｓでフレームが切り替わる。しかし、ハードウエアクロックは自走し、計時を行うため、コンテンツサーバーの基準時刻、または、並列して設置された映像情報再生装置との間で時刻がずれる結果となる。
【００３６】
そこで、この発明の実施の形態１に係る映像情報再生装置では、受信データに含まれる表示開始時刻情報を参照せず、また、受信された映像データのフレームレート以上のフレームレートを再生可能な表示装置を用いることにより、フレーム表示時間の変更を行い、基準時刻情報であるコンテンツサーバー５０との時刻の差異を縮小する。なお、同一画像を有する静止画を表示する場合などは、受信された映像データのフレームレートと同一のフレームレートで表示可能な表示装置を用いても、フレームの追加または削除を行うことで、コンテンツの切り替わりのタイミングをハードウエアクロックと基準時刻とが一致するよう調整することも可能であるが、フレーム毎の情報が異なる動画像などに対しては、フレーム落ちを防止し、違和感のないスムーズな動画再生を達成できるという効果をさらに有する。
【００３７】
図３は、コンテンツサーバーと映像情報再生装置に時刻の差異がない場合における映像データのフレーム構成と再生フレームとの関係を示す模式図である。図において、映像データのフレームレートは３０ｆｐｓであり、表示装置は、６０ｆｐｓのフレームレートで表示可能な表示装置とする。映像データのフレームレートは３０ｆｐｓであり、３３．３ｍｓごとにフレームが切り替わる。一方、表示装置は、フレームレートが６０ｆｐｓに対応可能であるから、約１６．７ｍｓ（１／６０ｓ、以下、「約」については省略する場合がある）ごとにフレームを切り替えることが可能である。そのため、１６．７ｍｓ（１／６０ｓ）で垂直同期をとる表示装置では、送信時に１フレームで送られる画像を同一の画像情報を有する２フレームで表示させることとなる。
【００３８】
図４は、コンテンツサーバーの基準時刻に対し、映像情報再生装置のフレーム表示のタイミングが、例えば、３３．３ｍｓ遅れていることが検出された場合の映像情報再生装置側の処理方法を示す図である。図において、３０ｆｐｓの受信データの再生を行う場合、本来１フレームは、３３．３ｍｓで切り替わるが、例えば、フレームレートが６０ｆｐｓで表示可能な受信装置で表示する場合には、送信時に１フレームで送られる画像を同一の画像情報を有する２フレームで表示することとなる。この場合に、基準時刻とハードウエアクロックによる内部時刻との時間差を縮小するためには、所定の画像情報に対して、１フレームで表示することにより、本来２フレームで表示するところを１フレームで表示することとなり、１フレーム分の１６．７ｍｓ（１／６０ｓ）の時間を短縮することができ、その分の遅れが解消できる。これを所定の２画像に対し行うことで、２フレーム分の３３．３ｍｓの時間が短縮でき、遅れを解消することができる。この場合には、ある特定画像の画像情報を全く表示しないフレーム落ちは発生せず、全ての画像情報を必ず表示することとなる。また、表示時間の短縮は、人の目の画像に対する時間軸方向の分解能以下の変化量とすることで、違和感なくコンテンツサーバー５０の基準時刻に対し映像情報再生装置３０のフレーム表示タイミングの遅れが生じた場合、その修正をすることができる。
【００３９】
なお、図４では、フレーム落ちを避けるために、所定の複数フレームに対し、その表示時間を１／２としたが、複数フレームにわたり同一内容の画像が続くような静止画に対し、このような静止画を一定時間表示し切り替わる場合などは、フレーム落ちが生じても構わない。このような場合には、表示時間を１／２とするような複雑な処理をすることなく、所定のフレームを表示しないといった単純な処理で対応可能である。
【００４０】
図５は、コンテンツサーバーの基準時刻に対し映像情報再生装置のフレーム表示のタイミングが、例えば、３３．３ｍｓ進んでいることが検出された時のフレームの表示方法を示す図である。図において、３０ｆｐｓの受信データの再生を行う場合、本来１フレームは、３３．３ｍｓで切り替わるが、例えば、フレームレートが６０ｆｐｓで表示可能な受信装置で表示する場合には、送信時に１フレームで送られる画像を同一の画像情報を有する２フレームで表示することとなる。この場合に、基準時刻とハードウエアクロックによる内部時刻との時間差を縮小するためには、所定の画像情報に対して、３フレームで表示することにより、本来２フレームで表示するところをそれ以上のフレームで表示することとなり、１フレーム分の１６．７ｍｓ（１／６０ｓ）の時間を短縮することができ、その分の進みが解消できる。これを所定の２画像に対し行うことで、２フレーム分の３３．３ｍｓの時間が短縮でき、進みを解消することができる。ここでは、所定の２画像に対し行ったが、所定の１画像に対し、４フレームで表示することで進みを解消することもできる。また、進みの幅が大きい場合には、所定の画像の数を４以上としたり、所定の１画像に対し、４フレーム以上としたりすることで対応できることはいうまでもない。
【００４１】
次に、コンテンツサーバーから配信された映像データが映像情報再生装置で再生されるまでのシーケンスについて説明する。ユーザーからコンテンツサーバー５０に対して再生開始のためのデータ送信の要求が出されると、コンテンツサーバー５０は、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４に対し、ブロードキャストで映像データ等の送信を開始する。この再生開始の要求は、例えば、映像情報再生装置のいずれかから信号を送ることにより行われる場合もある。
【００４２】
図６は、複数の映像情報再生装置の再生を同期させるための、各映像情報再生装置の処理シーケンスを示すフロー図である。図において、ステップＳＴ１でコンテンツサーバー５０からＭＰＥＧ−２、Ｈ．２６４、及び、Ｈ．２６５といった映像データがデータ受信部１０で受信されると、再生制御部１４内の映像デコーダー１５で映像データのデコードが開始される。
【００４３】
次に、ステップＳＴ２で、基準とする時刻情報が基準時刻検出部１１で受信されると、ステップＳＴ３に進む。例えば、この時刻情報は、コンテンツサーバー５０から１０秒ごとに送信される。このステップで受信されるコンテンツサーバー５０の時刻情報は、例えば、コンテンツサーバー５０が示す絶対時刻に係る時刻情報を受信するものであっても良いし、コンテンツサーバー５０が、現在再生が予定されているフレームに係る情報を示すものであっても良い。コンテンツサーバー５０の時刻情報が基準時刻検出部１１で受信されなかった場合は、ステップＳＴ９のフレーム表示時間設定へ進む。
【００４４】
次に、ステップＳＴ３では、比較部１６で、映像情報再生装置３０内で動作しているハードウエアクロックから内部時刻情報を取得し、基準時刻検出部１１で受信したコンテンツサーバー５０の時刻情報と、内部時刻情報とを比較し、ステップＳＴ４で、基準時刻に対する内部時刻のずれ（差異時間）ΔＴ（ｍｓ）を求める。内部時刻情報は、記憶部１７で記憶される。
【００４５】
このとき、コンテンツサーバー５０の時刻情報を基準時刻とし、映像情報再生装置３０の時刻情報を内部時刻とすると、差異時間ΔＴは、以下の数式１で計算される。
［数式１］ΔＴ＝内部時刻−基準時刻
以下では、差異時間ΔＴは「ｍｓ」を単位とする値であるものとする。
【００４６】
次に、ステップＳＴ５で、ΔＴの値を判別し、ΔＴが０以外の所定の閾値を超えて、補正が必要な値となった場合にはステップＳＴ６に進む。ΔＴが所定の閾値以下の場合には、時刻の補正は不要のためステップＳＴ９へ進む。なお、この発明の実施の形態１に係る映像情報再生装置では、フレームの増減により遅延時間と調整を行っているため、調整時間は不連続となる。よって、ΔＴが０以外の場合であっても、増減させるフレームの表示時間の半分に満たない場合には、ある所定のフレームの増減のみでは、却って時間差が大きくなるため、例えば、閾値を１フレームの半分の時間に設定をしておき、閾値以下となるため調整は行わずステップＳＴ９へ進む場合もありうる。ただし、１秒間に表示できるフレーム数が多ければ大きいほど複数の所定のフレームを増やしたり減らしたりすることで、より細かな時間調整が可能であることは説明するまでもない。
【００４７】
基準時刻と内部時刻に差異があり補正が必要な場合には、まず、比較部１６でΔＴの正負を判別する。そのΔＴの値に基づき出力時間計時制御部１９で表示時間の決定がされる。表示装置が表示可能なフレーム周期の整数倍を差異補正量Ａの単位として、表示装置でフレーム落ちしないフレーム周期の整数倍となる差異補正量Ａに基づいてフレームの表示時間を変化させることとする。表示装置が表示可能なフレームレートが６０ｆｐｓとすると、１６．７ｍｓの整数倍が差異補正量Ａとなる。
【００４８】
フレームレート３０ｆｐｓの映像データのソースを、フレームレートが６０ｆｐｓで表示可能な表示装置に表示する場合で、仮に、映像情報再生装置３０が基準時刻と比較して３３．３ｍｓ遅れていた場合には、２つのフレームに対し、本来２フレームずつ表示するところを１フレームのみ表示し、表示時間を１６．７ｍｓとして短くすることで、３３．３ｍｓの遅れを取り戻すことが可能である。
【００４９】
ΔＴが負の場合、つまり、内部時刻が遅れている場合には、差異が１６．７ｍｓ以上の場合は、１つのフレーム、もしくは、複数のフレームにわたって差異を分散させて時刻の補正を行う。一方、差異が１６．７ｍｓ未満の場合は、時刻の補正を行わず、差異が１６．７ｍｓ以上となるまで処理を行わない。
【００５０】
また、ΔＴが正の場合、つまり、内部時刻が進んでいる場合には、差異が１６．７ｍｓ以上の場合は、１つのフレーム、もしくは、複数のフレームにわたって差異を分散させて時刻の補正を行う。一方、差異が１６．７ｍｓ未満の場合には、時刻の補正を行わず、差異が１６．７ｍｓ以上となるまで処理を行わない。
【００５１】
差異時間ΔＴが±１６．７ｍｓ未満の場合の時刻の補正は、ΔＴが１６．７ｍｓの半分の８．３ｍｓ以上となる時に時刻の補正を行っても良い。８．３ｍｓ以上の差異が検出されるごとに時刻の補正を行うことで、基準時刻との差異を常に±８．３ｍｓ以内におさめることができ、さらに時刻補正の精度を高めることが出来る。
【００５２】
ステップＳＴ６では、差異補正量Ａ決定する。
差異ΔＴが±１６．７ｍｓの範囲外の場合、差異補正量Ａ、表示装置側の単位での表示フレーム数Ｂ、及び、繰越誤差Ｃを決定する。この時、差異ΔＴは[数式２]で表わされる。
［数式２］ΔＴ＝Ｂフレーム×１６．７ｍｓ＋Ｃ
［数式２］を満たすＢ、Ｃの値を決定し、本来の表示時間より±Ｂフレーム加算／減算して表示を行う。この時、Ｃは「余り」の値となり、１６．７ｍｓ以下の値とする。
よって、差異補正量Ａは[数式３]のように計算され、差異時間ΔＴに対し差異補正量Ａの補正を行う。
［数式３］差異補正量Ａ＝Ｂフレーム×１６．７ｍｓ
同様に、時刻補正の精度を上げるため、差異時間ΔＴが±８．３ｍｓの範囲外の場合に差異補正量Ａ、表示フレーム数Ｂ、繰越誤差Ｃを決定しても良い。
この場合も同様に、差異ΔＴは[数式４]のように計算される。
［数式４］ΔＴ＝Ｂフレーム×１６．７ｍｓ＋Ｃ
［数式４］を満たすＢ、Ｃの値を決定し、本来の表示時間より±Ｂフレーム加算／減算して表示を行う。この時、Ｃは「余り」の値となり、１６．７ｍｓ以下の値とする。
よって、差異補正量Ａは[数式５]のように計算され、差異時間ΔＴに対し差異補正量Ａの補正を行う。
［数式５］差異補正量Ａ＝Ｂフレーム×１６．７ｍｓ
【００５３】
ステップＳＴ７では、比較部１６が現在再生中のフレームを検出する。この発明の実施の形態１に係る映像情報再生装置において、予め設定された各フレームの映像データの表示時刻とは同期をとらないため、再生時刻だけでは現在表示しているフレームの内容が分からない。そこで、現在再生中のフレームのフレーム番号を取得し、記憶部１７で記憶する。
【００５４】
ステップＳＴ８では、映像情報再生装置３０のハードウエアクロックの時刻を差異補正量Ａの時間分、本来の表示時間から加算もしくは減算することで時刻の補正を行う。映像データの表示時刻情報を参照せずに映像再生を行うことにより、フレーム落ちをしないように制御をしており、映像再生の途切れや、フレーム落ちによる映像の乱れが起こらない。また、もしフレーム落ちが起こってしまった場合も、時刻の差異を即修正することが可能である。
【００５５】
ステップＳＴ９では、出力時間計時制御部１９において、ステップＳＴ６で決定した差異補正量Ａに従い、既定のフレーム表示時間（通常３３．３ｍｓ）から時刻が遅れている場合は、次フレームの再生時間を［３３．３ｍｓ−差異補正量Ａ］とし、時刻が進んでいる場合は、次フレームの再生時間を［３３．３ｍｓ＋差異補正量Ａ］とする。この時、フレーム落ちを起こさないようフレームの再生時間を設定するため、時刻が遅れている場合は、次フレームの再生時間が０にならないよう、差異補正量Ａを決定する。時刻が進んでいる場合は、なめらかな映像再生を阻まないよう複数フレームに渡って表示時間の延長を行う。例えば、１６６ｍｓ時刻が進んでいる場合、１フレームの表示時間を１９９．３ｍｓ（３３．３ｍｓ＋１６６ｍｓ）の表示にするのではなく、１０フレームに渡って５０．０ｍｓ（３３．３ｍｓ＋１６．７ｍｓ）の表示とする。また、フレーム落ちが起こった場合も時刻の差異を即修正することが可能である。
【００５６】
次に、ステップＳＴ１０では、ステップＳＴ９で決定した次フレームの再生時間を、出力時間計時部２０で計時し、表示部２２は映像を表示する。この時、ステップＳＴ１１でこのシーケンスを終了するか否かを判断し、映像データを終了まで再生した場合には、終了する。映像データを終了まで再生していない場合、ステップＳＴ２から再度処理を開始する。
【００５７】
図７は、映像情報再生装置３０にコンテンツサーバーの処理シーケンスを示すフロー図である。
【００５８】
例えば、サイネージ設置者等が予め設定した制御装置からコンテンツサーバー５０に対して再生開始のためのデータ送信の要求が出されると、コンテンツサーバー５０は映像情報再生装置３０に対して映像データのブロードキャストでの送信を開始する。この再生開始の要求は、映像情報再生装置のいずれかから信号を送ることにより行われる場合もある。上記の要求が出されるとコンテンツサーバーの処理はステップＳＴ２０に進み、映像データを映像情報再生装置のデータ受信部１０へ送信を開始する。
【００５９】
次にステップＳＴ２１で、映像データ送信からサーバーの時刻を基準として１０秒が経過したと判断すると、ステップＳＴ２２で複数の映像情報再生装置の基準時刻とするコンテンツサーバー５０の時刻情報を複数の映像情報再生装置の基準時刻検出部１１へ送信する。１０秒が経過していない場合はステップＳＴ２３へ進む。なお、ここでは、１０秒を例にとり説明したが、５秒、１５秒、２０秒、３０秒、その他５秒単位に限られず任意に設定できることはいうまでもない。
【００６０】
ステップＳＴ２２終了後にステップＳＴ２３へ進み、映像情報データを終了まで再生した場合、このシーケンスを終了する。また、映像データを終了まで再生していない場合、ステップＳＴ２０から再度処理を開始する。
【００６１】
以上で説明したように、受信された映像データのフレームレート以上のフレームレートで再生可能な表示装置を用いることにより、基準時刻と映像情報再生装置の内部時刻に差異が検出されると、表示されるフレームを追加したり削除したりすることで映像の再生タイミングの補正を行うことが可能となる。
【００６２】
本実施の形態１によれば、コンテンツサーバー５０の時刻情報と映像情報再生装置３０の表示制御の基準とする時刻情報とを比較し、コンテンツサーバー５０に対して映像表示タイミングの遅れや進みの検出がされた時、受信された映像データのフレームの表示時間を変化させることで検出された時間差を素早く小さくすることが出来る。
【００６３】
さらに、コンテンツサーバー上でコンテンツサーバーが映像データに加工を施さず、蓄積された映像データをそのまま配信することが可能なため、コンテンツサーバーの処理負荷を軽減できる効果がある。
【００６４】
また、受信された映像データの本来予定されているフレームの表示時間を変化させるため、フレーム落ちを起こすことなく基準時刻と時刻の同期をとることが可能となり、なめらかな映像再生を行うことが出来る効果がある。
【００６５】
この発明の実施の形態１に係る映像情報再生装置は、例えば、自動車、路面電車、バス、及び、列車などに搭載された表示装置、並びに、監視カメラの表示装置などにおいて、複数の表示装置間で同期をとり、映像を表示させる表示装置間の再生時刻を高精度に同期させることができるという効果が得られる。
【００６６】
実施の形態２
図８は、映像情報再生装置と、映像情報再生装置複数台より構成される、映像情報再生システムを概略的に示すブロック図である。上記実施の形態１では、コンテンツサーバーが映像データの配信を担っていが、この発明の実施の形態２では、代表する１つの映像情報再生装置が映像データの配信を担うものとする。以下図を用いて説明する。図において、第５映像情報再生装置３５は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ。以下、ＬＡＮと記載する場合がある）で構成されるネットワーク５１を経由して、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４にデータを配信する。ここで、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５は同一であり、例えば、ここでは第５の映像情報再生装置３５から配信される映像データをそれぞれの映像情報再生装置が受信するものとする。
【００６７】
また、上記実施の形態１では、映像情報再生装置３０の基準時刻を外部機器であるコンテンツサーバー５０の時刻と設定していたが、基準時刻をネットワークにより接続された第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５の内部時刻の平均を取り、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５の内、最も平均値に近い映像情報再生装置の内部時刻としても良い。
【００６８】
図９は、この発明の実施の形態２による映像情報再生装置、ここでは、第５の映像情報再生装置を示すブロック図である。図において、上記実施の形態１と同じ番号を付した部分は、上記実施の形態１で説明した構成と同様な構成を取る部分であるため、ここでは、詳しい説明を省略する。データ送信部２４は、第５映像情報再生装置３５以外の映像情報再生装置である第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４に内部時刻情報を含むデータを配信する。例えば、内部時刻の時刻情報の送信は１０秒おきに行う。なお、ここでは、１０秒を例にとり説明したが、５秒、１５秒、２０秒、３０秒、その他５秒単位に限られず任意に設定できることはいうまでもない。
【００６９】
基準時刻決定部２５は、図８で示したネットワーク５１を経由して第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５の内部時刻の時刻情報と各映像情報再生装置を識別するＩＤ情報を含む信号を受信し、内部時刻情報が最も平均値に近い映像情報再生装置を検出し基準時刻を決定する。
【００７０】
上記のような構成により、この発明の実施の形態２に係る映像情報再生装置では、コンテンツサーバーを用いることなく、ネットワークで接続された第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５のうち、いずれか一つがコンテンツサーバーの変わりを果たすことにより上記実施の形態１と同様の効果を得ることが出来る。
【００７１】
さらに、この発明の実施の形態２に係る映像情報再生装置では、コンテンツサーバーを用意することなく、第５の映像情報再生装置３５に記憶された映像データを第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４へ配信し同期再生することが可能である。なお、ここでは、第５の映像情報再生装置３５がコンテンツサーバーの変わりを果たす場合を例にとり説明したが、他の第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４のいずれか一つ又は複数であってもかまわない。また、ここでは、映像情報再生装置が５台接続されたネットワークを例にとり説明したが、複数台であれば、それ以上、例えば、６台、７台、１０台、及び、それ以上の台数であっても、又は、それ以下、例えば、２台、３台、及び、４台であっても、本発明の効果が得られることはいうまでもない。
【符号の説明】
【００７２】
１０  データ受信部
１１  基準時刻検出部
１３  データ記憶部
１４  再生制御部
１５  映像デコーダー
１６  比較部
１７  記憶部
１８  出力更新部
１９  出力時間計時制御部
２０  出力時間計時部
２１  バス
２２  表示部
２３  映像再生処理部
２４  データ送信部
２５  基準時刻決定部
３０  映像情報再生装置
３１  第１の映像情報再生装置
３２  第２の映像情報再生装置
３３  第３の映像情報再生装置
３４  第４の映像情報再生装置
３５  第５の映像情報再生装置
５０  コンテンツサーバー
５１  ネットワーク
【図１】
2016017266.tif 000003
【図２】
2016017266.tif 000004
【図３】
2016017266.tif 000005
【図４】
2016017266.tif 000006
【図５】
2016017266.tif 000007
【図６】
2016017266.tif 000008
【図７】
2016017266.tif 000009
【図８】
2016017266.tif 000010
【図９】
2016017266.tif 000011
【手続補正書】
【提出日】平成28年8月19日(2016.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データ及び該映像データの制御情報データを含む受信信号における、前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出部と、
内部時計により計時された内部時刻を検出する内部時刻検出部と、
前記基準時刻検出部によって検出された前記基準時刻と前記内部時刻検出部によって検出された前記内部時刻とを比較する比較部と、
前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示可能な表示部と、
前記映像データの各フレームの前記表示部における表示時間を変更する出力更新部と、
を備え、
前記出力更新部は、
前記比較部の比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を１以上の整数倍にすることによって求め、
前記比較部の比較結果から前記基準時刻よりも前記内部時刻が遅れていないと判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を２以上の整数倍にすることによって求める
映像情報再生装置。
【請求項２】
前記表示部における前記表示時間を、前記制御情報データに含まれる前記時刻情報による前記基準時刻と非同期に、短くし又は長くする出力時間計時制御部をさらに備えたことを特徴とする請求項１に記載の映像情報再生装置。
【請求項３】
前記比較部は、前記比較結果として、前記基準時刻と前記内部時刻との時間差を求め、
前記出力更新部は、前記時間差の絶対値を小さくするように、前記整数倍における整数を決定する
ことを特徴とする請求項１又は請求項２に記載の映像情報再生装置。
【請求項４】
映像データ及び該映像データの制御情報データを含む受信信号を受信する受信ステップと、
前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出ステップと、
内部時計により計時された内部時刻を検出する内部時刻検出ステップと、
前記基準時刻検出ステップにおいて検出された前記基準時刻と前記内部時刻検出ステップにおいて検出された前記内部時刻とを比較する比較ステップと、
前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示可能な表示部における、前記映像データの各フレームの表示時間を変更する出力更新ステップと、
を有し、
前記出力更新ステップでは、
前記比較ステップの比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を１以上の整数倍にすることによって求め、
前記比較ステップの比較結果から前記基準時刻よりも前記内部時刻が遅れていないと判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を２以上の整数倍にすることによって求める
映像情報再生方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
この発明に係る映像情報再生装置は、映像データ及び該映像データの制御情報データを含む受信信号における、前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出部と、内部時計により計時された内部時刻を検出する内部時刻検出部と、前記基準時刻検出部によって検出された前記基準時刻と前記内部時刻検出部によって検出された前記内部時刻とを比較する比較部と、前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示可能な表示部と、前記映像データの各フレームの前記表示部における表示時間を変更する出力更新部と、を備え、前記出力更新部は、前記比較部の比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を１以上の整数倍にすることによって求め、前記比較部の比較結果から前記基準時刻よりも前記内部時刻が遅れていないと判断されたときには、前記表示部における前記表示時間を、前記表示用のフレームレートに基づく１フレーム当たりの時間を２以上の整数倍にすることによって求めるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
映像再生処理部２３は、データ受信部１０、基準時刻検出部１１、データ記憶部１３、再生制御部１４、出力時間計時制御部１９、及び、出力時間計時部２０を有する。これらは全て、バス２１により繋がっている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
実施の形態２
図８は、映像情報再生装置と、映像情報再生装置複数台より構成される、映像情報再生システムを概略的に示すブロック図である。上記実施の形態１では、コンテンツサーバーが映像データの配信を担っていが、この発明の実施の形態２では、代表する１つの映像情報再生装置が映像データの配信を担うものとする。以下図を用いて説明する。図において、第５の映像情報再生装置３５は、例えば、ＬＡＮ（Local  Area  Network。以下、ＬＡＮと記載する場合がある）で構成されるネットワーク５１を経由して、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４にデータを配信する。ここで、第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、第４の映像情報再生装置３４、及び、第５の映像情報再生装置３５は同一であり、例えば、ここでは第５の映像情報再生装置３５から配信される映像データをそれぞれの映像情報再生装置が受信するものとする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
図９は、この発明の実施の形態２による映像情報再生装置、ここでは、第５の映像情報再生装置を示すブロック図である。図において、上記実施の形態１と同じ番号を付した部分は、上記実施の形態１で説明した構成と同様な構成を取る部分であるため、ここでは、詳しい説明を省略する。データ送信部２４は、第５の映像情報再生装置３５以外の映像情報再生装置である第１の映像情報再生装置３１、第２の映像情報再生装置３２、第３の映像情報再生装置３３、及び、第４の映像情報再生装置３４に内部時刻情報を含むデータを配信する。例えば、内部時刻の時刻情報の送信は１０秒おきに行う。なお、ここでは、１０秒を例にとり説明したが、５秒、１５秒、２０秒、３０秒、その他５秒単位に限られず任意に設定できることはいうまでもない。
【国際調査報告】
2016017266.tif 000012
2016017266.tif 000013