(57)【要約】【課題】本発明は、複数の映像符号化ストリーム間で同期して映像表示させることを可能とする映像同期装置を提供することにある。【解決手段】映像同期装置１は、受信した複数の映像符号化ストリームに基づき、映像符号化ストリーム毎にフレーム単位の画像データを生成し、画像順序番号を付与して映像出力バッファ３０に記憶させる映像復号処理部２０と、映像出力バッファ３０に記憶された画像順序番号が一致するフレーム単位の画像データの間の同期を取って、映像表示部５０に出力する映像同期処理部４０とを備える。【選択図】図１
2011166615.tif 000002
【特許請求の範囲】
【請求項１】
受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期装置であって、
前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶するバッファ部と、
受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成部と、
前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理部と
を備えることを特徴とする映像同期装置。
【請求項２】
前記映像同期処理部は、
前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持する
ことを特徴とする請求項１に記載の映像同期装置。
【請求項３】
前記映像同期処理部は、
前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、一致した前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、
前記複数の映像情報の間で少なくとも前記最小値の１つが一致しないと判定した場合に、前記最小値の内、最小の前記順序番号に応じた前記フレーム画像情報を破棄する
ことを特徴とする請求項２に記載の映像同期装置。
【請求項４】
前記映像同期処理部は、
前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、連続して出力すべきフレームの計数値と前記最小値が一致するか否かを判定し、前記フレームの計数値と前記最小値が一致すると判定した場合に、前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、
前記フレームの計数値と前記最小値が一致しないと判定した場合に、前記フレームの計数値と前記最小値が一致するかの判定前に同期を取って出力した状態を保持する
ことを特徴とする請求項２又は請求項３に記載の映像同期装置。
【請求項５】
前記画像情報生成部は、
前記受信した映像情報を送信時に符号化された符号化方式に基づいて復号化処理を行い、該符号化方式の制御情報に基づいて前記順序番号を生成する
ことを特徴とする請求項１から請求項４のいずれかに記載の映像同期装置。
【請求項６】
前記符号化方式は、ＩＴＵ−Ｔ  Ｈ．２６４勧告に基づく
ことを特徴とする請求項１から請求項５のいずれかに記載の映像同期装置。
【請求項７】
請求項１から請求項６のいずれかに記載の映像同期装置を用いて同期化された複数の映像情報を表示する
ことを特徴とする映像表示装置。
【請求項８】
受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期方法であって、
前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する過程と、
受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる画像情報生成処理過程と、
前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理過程と
を含むことを特徴とする映像同期方法。
【請求項９】
コンピュータに、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力させるプログラムであって、
バッファ部が、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する処理ステップと、
画像情報生成部が、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成処理ステップと、
映像同期処理部が、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理ステップと
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像符号化ストリームを復号するシステムに係わる映像同期装置、映像表示装置、映像同期方法及びプログラムに関する。
【背景技術】
【０００２】
ネットワークを介して複数の映像符号化ストリームを送信し、受信した複数の映像符号化ストリームを復号し、複数の映像符号化ストリームの間の同期を取って表示装置に表示させるシステムがある。このようなシステムにおいて、複数の映像符号化ストリームを送信する際には、ＴＳパケット（Transport Packet）やＲＴＰパケット（Real-time Transport Protocol Packet）を使用する。この場合、各パケットのヘッダ情報に埋め込まれたタイムコードに基づいて複数の映像符号化ストリームの間の同期を取っていた。また、ＮＴＰサーバ（Network Time Protocol Server）から時刻情報を取得し、映像情報間の同期を取る方式が開示されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−０３２２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の映像符号化ストリームを送信する際に、ＴＳパケット又はＲＴＰパケットを使用する場合、タイムコードは、パケット毎に付与される。そのタイムコードは、画像フレームとの対応を取って付与されたものではない。そのため、複数の映像符号化ストリーム間で同期を取ることは困難である。また、映像符号化ストリームにタイムコードによるヘッダ情報が付加されるため、全体の情報量が増大する問題がある。そのため、ネットワーク上の負荷が高くなり、複数の映像符号化ストリーム間で同期を取ることができないという問題がある。
また、特許文献１が示す、ＮＴＰサーバから時刻情報を取得する方式においては、ＮＴＰクライアント機能が必要になる。また、ＮＴＰサーバから時刻情報を毎回、ネットワークを介して取得する必要があるため、ネットワーク上の負荷が高くなり、複数の映像符号化ストリーム間で同期を取ることができないという問題がある。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、複数の映像符号化ストリーム間で同期して映像表示させることを可能とする映像同期装置、映像表示装置、映像同期方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期装置であって、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶するバッファ部と、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成部と、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理部とを備える映像同期装置である。
【０００７】
また、本発明は上記発明において、  前記映像同期処理部は、前記順序番号の内、前記映像情報ごとの前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも前記最小値の１つが一致しない場合、前記判定の前に同期を取って出力した状態を保持することを特徴とする。
【０００８】
また、本発明は上記発明において、前記映像同期処理部は、前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、一致した前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、前記複数の映像情報の間で少なくとも前記最小値の１つが一致しない場合に、前記最小値の内、最小の前記順序番号に応じた前記フレーム画像情報を破棄することを特徴とする。
【０００９】
また、本発明は上記発明において、前記映像同期処理部は、前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、表示させるフレームの計数値と前記最小値が一致するかを判定し、前記表示させるフレームの計数値と前記最小値が一致すると判定した場合に、前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、前記表示させるフレームの計数値と前記最小値が一致しない場合に、前記表示させるフレームの計数値と前記最小値が一致するかの判定前に同期を取って出力した状態を保持することを特徴とする。
【００１０】
また、本発明は上記発明において、前記画像情報生成部は、前記受信した映像情報を送信時に符号化された符号化方式に基づいて復号化処理を行い、該符号化方式の制御情報に基づいて前記順序番号を生成することを特徴とする。
【００１１】
また、本発明は上記発明において、前記符号化方式は、ＩＴＵ−Ｔ  Ｈ．２６４勧告に基づくことを特徴とする。
【００１２】
また、本発明は、上記発明における映像同期装置を用いて同期化された複数の映像情報を表示する映像表示装置である。
【００１３】
また、本発明は、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期方法であって、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する過程と、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる画像情報生成処理過程と、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記バッファ部に前記映像情報ごとに記憶された前記フレーム画像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理過程とを含む映像同期方法である。
【００１４】
また、本発明は、コンピュータに、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力させるプログラムであって、バッファ部が、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する処理ステップと、画像情報生成部が、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成処理ステップと、映像同期処理部が、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記バッファ部に前記映像情報ごとに記憶された前記フレーム画像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理ステップとを前記コンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
この本発明によれば、画像情報生成部が、受信した複数の映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、映像情報ごとに、フレーム画像情報を表示させる順序番号を生成し、フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる。映像同期処理部が、フレーム画像情報にそれぞれ付与された順序番号に基づいて、バッファ部に映像情報ごとに記憶されたフレーム画像情報の間の同期を取って、フレーム画像情報を出力する。これにより、映像同期装置は、複数の映像情報間で同期を取ることができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態による映像同期装置を示すブロック図である。
【図２】同実施形態における映像同期装置の映像表示の一形態を示す図である。
【図３】同実施形態における映像情報の流れを示す図である。
【図４】同実施形態における伸長復号部の動作を示すフローチャートある。
【図５】同実施形態における映像同期処理部の動作を示す図である。
【図６】同実施形態における映像同期処理部の動作を示すフローチャートである。
【図７】第２の実施形態による映像同期装置を示すブロック図である。
【図８】同実施形態における映像同期装置の映像表示の一形態を示す図である。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞
以下、本発明の第１の実施形態による映像同期装置について図面を参照して説明する。
図１は、本実施形態における映像同期装置を示すブロック図である。
図１に示される映像同期装置１は、インターネットプロトコル（以下ＩＰという。）を用いて通信を行うネットワーク（以下ＩＰネットワークという。）２と接続される。また、ＩＰネットワーク２には、映像送信装置６０が接続され、映像同期装置１と映像送信装置６０は、通信可能な状態にある。映像送信装置６０が送信した映像符号化ストリームを、映像同期装置１が受信する。
映像送信装置６０は、２つの映像情報を並列して取り込む映像取り込み部３と、取り込んだ映像情報に基づき、映像符号化ストリームに圧縮符号化する圧縮符号化器４、５とを備える。また、映像送信装置６０は、圧縮符号化器４、５が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１に送信する。ここで、圧縮符号化器４、５が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）Ｈ．２６４勧告に基づいて行なわれる。
また、図１の全体を映像同期システム１００とする。
【００１８】
この図に示される映像同期装置１は、映像データ通信処理部１０、映像復号処理部２０、映像出力バッファ３０、映像同期処理部４０及び映像表示部５０を備える。
映像データ通信処理部１０は、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して２つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０は、受信した２つの映像符号化ストリームＥ１、Ｅ２を映像復号処理部２０に供給する。
映像復号処理部２０は、伸長復号部２１、２２を備える。映像復号処理部２０は、映像データ通信処理部１０より供給される２つの映像符号化ストリームＥ１、Ｅ２に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０は、フレーム単位の画像データ（Ｇ１、Ｇ２）を生成する。また、映像復号処理部２０は、生成したフレーム単位の画像データ（Ｇ１、Ｇ２）に、Ｈ．２６４勧告の符号化情報に含まれるＰＯＣ（Picture Order Count：画像順序番号）を付与したＰＯＣ付き画像データＦ１、Ｆ２を生成する。映像復号処理部２０は、ＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２１は、フレーム単位の画像データ（Ｇ１）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ１を、映像出力バッファ３０に記憶させる。また、伸長復号部２２は、映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ２を、映像出力バッファ３０に記憶させる。
【００１９】
映像出力バッファ３０は、２つの映像符号化ストリームＥ１、Ｅ２にそれぞれ対応した領域を有する。この領域は、複数フレーム分の画像データＦ１、Ｆ２を記憶することができる。映像出力バッファ３０は、映像復号処理部２０より供給されるＰＯＣ付き画像データＦ１、Ｆ２を記憶する。また、映像出力バッファ３０は、ＰＯＣ付き画像データＦ１、Ｆ２を映像同期処理部４０に供給する。
映像同期処理部４０は、映像出力バッファ３０と映像表示部５０との間に配置される。映像同期処理部４０は、映像出力バッファ３０が記憶するＰＯＣ付き画像データＦ１、Ｆ２を参照する。映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１、Ｆ２間の同期を取る。また、映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２からＰＯＣを除いたフレーム単位の画像データＧ１、Ｇ２を生成し、２つを同期して映像表示部５０に出力する。
映像表示部５０は、映像同期処理部４０に接続され、映像同期処理部４０が供給するフレーム単位の画像データＧ１、Ｇ２を図示しない表示画面に表示する。
【００２０】
次に、本実施形態の動作について説明する。
図２は、本実施形態における映像同期装置の映像表示の一形態を示す図である。この図において、映像送信装置６０（図１）の映像取り込み部３（図１）が左目映像３１と右目映像３２を取り込み、映像表示部５０（図１）が３次元映像５１を表示する映像同期システム１００を示す。
【００２１】
図３は、本実施形態における映像情報の流れを示す図である。
図３において、映像取り込み部３（図１）が取り込んだ左目映像３１及び右目映像３２の映像情報は、それぞれ、圧縮符号化器４、５により、Ｈ．２６４勧告の符号化処理が行われる。これにより、２つの映像符号化ストリームＥ１、Ｅ２が生成される。また、映像符号化ストリームＥ１、Ｅ２は、映像送信装置６０（図１）によりそれぞれＩＰネットワーク２を介して送信される。ここで、映像符号化ストリームＥ１が左目映像３１の映像ストリームであり、映像符号化ストリームＥ２が左目映像３２の映像ストリームである。
映像符号化ストリームＥ１、Ｅ２は、映像データ通信処理部１０（図１）により受信され、伸長復号部２１、２２に供給される。伸長復号部２１、２２は、Ｈ．２６４勧告に基づいた映像符号化ストリームＥ１、Ｅ２をそれぞれ伸長復号して、ＰＯＣ付き画像データＦ１、Ｆ２を生成する。また、伸長復号部２１、２２は、生成したＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
【００２２】
映像出力バッファ３０は、左目映像３１の映像符号化ストリームＥ１用の領域と右目映像３２の映像符号化ストリームＥ２用の領域の２つの領域を有している。ここで、映像符号化ストリームＥ１用の領域を領域［１］とし、映像符号化ストリームＥ２用の領域を領域［２］とする。また、領域［１］及び領域［２］は、それぞれ複数のＰＯＣ付き画像データを記憶するための記憶容量を有する。映像出力バッファ３０は、伸長復号部２１より供給されるＰＯＣ付き画像データＦ１を、領域［１］に順次記憶する。
また、映像出力バッファ３０は、伸長復号部２２より供給されるＰＯＣ付き画像データＦ２を、領域［２］に順次記憶する。
この図において、映像出力バッファ３０は、ＰＯＣ＝１及びＰＯＣ＝２のＰＯＣ付き画像データを記憶した状態を示す。ここで、領域［１］に記憶されるＰＯＣ付き画像データＦ１のＰＯＣをＰＯＣ１とし、領域［２］に記憶されるＰＯＣ付き画像データＦ２のＰＯＣをＰＯＣ２とする。
【００２３】
映像出力バッファ３０に記憶されたＰＯＣ付き画像データＦ１、Ｆ２は、映像復号処理部２０（図１）に参照される。同じＰＯＣが付与されたフレーム単位の画像データＧ１、Ｇ２は、２つの間の同期が取られて、映像復号処理部２０により映像表示部５０に出力される。これにより、映像表示部５０は、左目映像３１と右目映像３２を同期して３次元映像５１として表示する。
【００２４】
次に、図１に戻り各部の動作を説明する。
図１において、映像送信装置６０は、映像取り込み部３が取り込んだ左目映像３１及び右目映像３２の映像情報を、圧縮符号化器４、５によりそれぞれＨ．２６４勧告の符号化処理を行う。これにより生成された映像符号化ストリームＥ１、Ｅ２はパケットに順次分割され、映像送信装置６０により、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１の映像データ通信処理部１０は、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０は、受信したパケットを映像符号化ストリームＥ１、Ｅ２に順次戻して、伸長復号部２１、２２にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１、Ｅ２は、エラーの部分が欠損した映像符号化ストリームとなる。
【００２５】
伸長復号部２１は、映像データ通信処理部１０より供給される映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２１は、フレーム単位の画像データ（Ｇ１）を生成する。更に、伸長復号部２１は、生成したフレーム単位の画像データ（Ｇ１）にＰＯＣを付与したＰＯＣ付き画像データＦ１を順次生成し、映像出力バッファ３０の領域［１］に順次記憶させる。
伸長復号部２２は、映像データ通信処理部１０より供給される映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成する。更に、伸長復号部２２は、生成したフレーム単位の画像データ（Ｇ２）にＰＯＣを付与したＰＯＣ付き画像データＦ２を順次生成し、映像出力バッファ３０の領域［２］に順次記憶させる。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。また、上述の処理は、伸長復号部２１、２２において、並列して行われる。
【００２６】
映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１、Ｆ２のＰＯＣ部分（ＰＯＣ１及びＰＯＣ２）を順次参照する。映像同期処理部４０は、参照したＰＯＣの内、ＰＯＣ１の最小値とＰＯＣ２の最小値が一致すると判定した場合に、対応するＰＯＣ付き画像データＦ１、Ｆ２を参照する。更に、映像同期処理部４０は、一致したＰＯＣ（ＰＯＣ１及びＰＯＣ２）を除いたフレーム単位の画像データＧ１、Ｇ２を、２つの間の同期を取って映像表示部５０に出力する。映像同期処理部４０は、この動作を繰り返し、同期されたフレーム単位の画像データＧ１、Ｇ２が映像表示部５０に順次出力される。なお、フレーム単位の画像データＧ１、Ｇ２は、映像符号化ストリームＥ１、Ｅ２のフレームレートに応じて、予め定められた時間間隔により出力される。
映像表示部５０は、映像同期処理部４０から供給されるフレーム単位の画像データＧ１、Ｇ２を同期して順次表示する。これにより、映像表示部５０は、３次元映像５１を表示する。
【００２７】
図４は、本実施形態における伸長復号部の動作を示すフローチャートある。
伸長復号部２１、２２は、並列して同様の処理を行う。そこで、図４において、伸長復号部２１における処理を示す。
この図において、伸長復号部２１は、映像データ通信処理部１０より映像符号化ストリームＥ１の供給を受けて、処理を開始する。
まず、ステップＳ２１において、伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、フレーム単位の画像データ（Ｇ１）が生成される。次に、ステップＳ２２において、伸長復号部２１は、Ｈ．２６４勧告における符号化情報であるＰＯＣ（画像順序番号）をフレーム単位の画像データ（Ｇ１）に付与し、ＰＯＣ付き画像データＦ１を生成する。また、伸長復号部２１は、生成したＰＯＣ付き画像データＦ１を映像出力バッファ３０に出力し、領域［１］に記憶させる。
ステップＳ２３において、伸長復号部２１は、映像データ通信処理部１０から供給されるデータに基づいて、続いて伸長復号処理するデータがあるか否かを判定する。続いて伸長復号処理するデータがあると判定した場合、伸長復号部２１は、ステップＳ２１の処理に戻り、ステップＳ２１からＳ２２の処理を繰り返す。また、続いて伸長復号処理するデータがないと判定した場合、伸長復号部２１は、処理を終了する。
【００２８】
伸長復号部２２においても、上述のステップＳ２１からＳ２３の処理と同様の処理が行われる。ただし、伸長復号部２２の場合、映像符号化ストリームＥ２に基づき、ＰＯＣ付き画像データＦ２が生成され、映像出力バッファ３０の領域［２］に記憶される。
【００２９】
次に、伝送エラーが発生した場合の映像同期処理部４０の動作を説明する。
図５は、本実施形態における映像同期処理部４０の動作を示す図である。
図５の（ａ）から図５の（ｄ）は、時間の経過に伴って行われる各フレームにおける映像同期装置１の処理状態を示す。また、フレーム単位の画像データＧ１及びＧ２には、ここでは、ＰＯＣの値を付加して示す。また、ＰＯＣ付き画像データＦ１及びＦ２には、ここでは、ＰＯＣの値を付加して示す。例えば、ＰＯＣの値が“２”の場合、Ｇ１２及びＧ２２ならびにＦ１２及びＦ２２として示す。
図５の（ａ）は、状態（１）を示す。状態（１）において、伸長復号部２１、２２は、ＰＯＣの値が“２”（ＰＯＣ１＝２、ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ１２、Ｇ２２）を伸長復号して生成する。なお、ここでは、パケットロス等の伝送エラーが発生したとする。そのため、伸長復号部２２は、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）を生成できない。
また、状態（１）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣの値に“１”（ＰＯＣ１＝１、ＰＯＣ２＝１）が付加されたＰＯＣ付き画像データ（Ｆ１１、Ｆ２１）が記憶されている。また、映像表示部５０は、まだ映像を表示していない状態である。
また、状態（１）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“１”で一致するため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１１、Ｇ２１）を、２つの間の同期を取って、次の状態（２）において映像表示部５０に出力する。
【００３０】
図５の（ｂ）は、状態（２）を示す。この状態は、フレーム番号Ｎが“１”（Ｎ＝１）の状態である。
状態（２）において、伸長復号部２１、２２は、ＰＯＣの値が“３”（ＰＯＣ１＝３、ＰＯＣ２＝３）となるフレーム単位の画像データ（Ｇ１３、Ｇ２３）を伸長復号して生成する。
また、状態（２）において、映像出力バッファ３０は、領域［１］に、（ＰＯＣ１＝２）が付加されたＰＯＣ付き画像データ（Ｆ１２）が記憶されている。しかし、状態（１）において、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）が生成されていない。このため、映像出力バッファ３０の領域［２］には、（ＰＯＣ２＝２）が付加されたＰＯＣ付き画像データ（Ｆ２２）がない状態である。
また、状態（２）において、映像表示部５０は、ＰＯＣの値が“１”に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）を表示する。
また、状態（２）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ２の値がないため、映像同期処理部４０は、次の状態（３）においてフレーム単位の画像データ（Ｇ１２、Ｇ２２）を出力しない。
【００３１】
図５の（ｃ）は、状態（３）を示す。この状態は、フレーム番号Ｎが“２”（Ｎ＝２）の状態である。
状態（３）において、伸長復号部２１、２２は、ＰＯＣの値が“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）となるフレーム単位の画像データ（Ｇ１４、Ｇ２４）を伸長復号して生成する。
また、状態（３）において、映像出力バッファ３０は、領域［１］に、ＰＯＣの値に“２”と“３”（ＰＯＣ１＝２とＰＯＣ１＝３）が付加された２つのＰＯＣ付き画像データ（Ｆ１２、Ｆ１３）が記憶されている。また、領域［２］には、ＰＯＣの値に“３”（ＰＯＣ２＝３）が付加されたＰＯＣ付き画像データ（Ｆ２３）が記憶されている。
また、状態（３）において、映像表示部５０は、ＰＯＣの値が１に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）の表示状態を保持する。つまり、最後に表示されたフレーム番号（Ｎ＝１）の表示状態を保持する。
また、状態（３）において、映像同期処理部４０は、次に表示するフレーム番号よりも小さいＰＯＣ（ＰＯＣ１＝２）のＰＯＣ付き画像データ（Ｆ１２）を破棄する。また、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“３”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１３、Ｇ２３）を、２つの間の同期を取って、次の状態（４）において映像表示部５０に出力する。
【００３２】
図５の（ｄ）は、状態（４）を示す。この状態は、フレーム番号Ｎが“３”（Ｎ＝３）の状態である。
状態（４）において、伸長復号部２１、２２は、ＰＯＣの値が“５”（ＰＯＣ１＝５、ＰＯＣ２＝５）となるフレーム単位の画像データ（Ｇ１５、Ｇ２５）を伸長復号して生成する。
また、状態（４）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣ値に“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）が付加されたＰＯＣ付き画像データ（Ｆ１４、Ｆ２４）が記憶されている。
また、状態（４）において、映像表示部５０は、ＰＯＣの値が“３”に対応したフレーム単位の画像データ（Ｇ１３、Ｇ２３）を表示する。これにより、映像表示部５０の表示の更新が再開され、映像表示部５０は、正常な映像表示が行われる状態となる。
また、状態（４）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値が“４”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１４、Ｇ２４）を、２つの間の同期を取って、次のフレーム番号（Ｎ＝４）の状態において映像表示部５０に出力する。
【００３３】
次に、映像同期処理部４０の一態様の処理についてフローチャートを用いて詳細に説明する。
図６は、実施形態における映像同期処理部４０の動作を示すフローチャートである。
まず、ステップＳ４１において、映像同期処理部４０は、フレーム番号Ｎを初期化する。フレーム番号Ｎは、映像同期処理部４０の図示しない記憶部に記憶され、“１”に 初期化される。次に、ステップＳ４２において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］のＰＯＣ（ＰＯＣ１、ＰＯＣ２）を参照する。
次に、ステップＳ４３において、映像同期処理部４０は、参照したＰＯＣ（ＰＯＣ１、ＰＯＣ２）の内、領域［１］に記憶されたＰＯＣ付き画像データＦ１に付与されたＰＯＣ１の最小値と領域［２］に記憶されたＰＯＣ付き画像データＦ２に付与されたＰＯＣ２の最小値とが一致するか否かを判定する。ＰＯＣ１の最小値とＰＯＣ２の最小値が一致すると判定された場合、映像同期処理部４０は、ステップＳ４４の処理に進む。また、ＰＯＣ１の最小値とＰＯＣ２の最小値が一致しないと判定された場合、映像同期処理部４０は、ステップＳ４５の処理に進む。すなわち、ＰＯＣ１の最小値とＰＯＣ２の最小値が不一致の場合は、伸長復号部２１、２２のいずれか一方において、エラーが発生し、フレーム単位の画像データ（Ｇ１又はＧ２）を生成できなかった場合である。
【００３４】
ステップＳ４４において、映像同期処理部４０は、ＰＯＣ１の最小値とフレーム番号Ｎとが一致するか否かを判定し、一致すると判定した場合はステップＳ４６の処理に進み、一致しないと判定した場合は、ステップＳ４７の処理に進む。なお、フレーム番号Ｎと比較するＰＯＣの値は、ＰＯＣ１の最小値とＰＯＣ２の最小値のいずれでも良いが、ここでは、ＰＯＣ１の最小値とする。ＰＯＣ１の最小値とフレーム番号Ｎが不一致の場合は、伸長復号部２１、２２の両方において、エラーが発生し、フレーム単位の画像データ（Ｇ１、Ｇ２）を生成できなかった場合である。
また、ステップＳ４５において、映像同期処理部４０は、ＰＯＣ１の最小値とＰＯＣ２の最小値の小さい方のＰＯＣの値に対応する、ＰＯＣ付き画像データ（Ｆ１又はＦ２）を、映像出力バッファ３０から破棄する。例えば、ＰＯＣ１の最小値の方が小さいとする。この場合、映像同期処理部４０は、ＰＯＣ１の最小値に対応するＰＯＣ付き画像データ（Ｆ１）を映像出力バッファ３０から消去する。次に、映像同期処理部４０は、ステップＳ４７の処理に進む。
【００３５】
ステップＳ４６において、映像同期処理部４０は、（ＰＯＣ１＝Ｎ）に対応するＰＯＣ付き画像データ（Ｆ１）を参照し、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１）を生成する。映像同期処理部４０は、（ＰＯＣ２＝Ｎ）に対応するＰＯＣ付き画像データ（Ｆ２）を参照し、ＰＯＣを除いたフレーム単位の画像データ（Ｇ２）を生成する。また、映像同期処理部４０は、フレーム単位の画像データ（Ｇ１、Ｇ２）を、２つの間の同期を取って、映像表示部５０に出力する。
次に、ステップＳ４７において、映像同期処理部４０は、フレーム番号Ｎを更新する。つまり、映像同期処理部４０は、図示しない記憶部に記憶されたフレーム番号Ｎの値を参照し、“１”を加算した値を記憶部に記憶させる。
なお、ステップＳ４４の処理、又はステップＳ４５の処理からステップＳ４７の処理に進んだ場合、ステップＳ４６の処理が行われない。つまり、この場合、映像同期処理部４０は、フレーム単位の新たな画像データ（Ｇ１、Ｇ２）を映像表示部５０に出力しない。このため、映像表示部５０は、最後に出力された（最後に同期が取れた）フレーム単位の画像データ（Ｇ１、Ｇ２）を表示する状態を保持する。
【００３６】
次に、ステップＳ４８の処理において、映像同期処理部４０は、次のフレーム番号Ｎの画像データを表示させる必要があるか否かを判定する。次のフレーム番号Ｎの画像データを表示させる必要があるか否かの判定は、例えば、映像復号処理部２０が映像符号化ストリーム（Ｅ１、Ｅ２）の伸長復号処理を完了し、映像出力バッファ３０のいずれか一方が空であることを検出して判定する。必要がある場合は、ステップＳ４２の処理に戻り、ステップＳ４２からＳ４７の処理が繰り返される。これにより、フレーム番号Ｎに応じた画像データ（Ｇ１，Ｇ３）が、映像表示部５０に順次表示される。つまり、映像表示部５０には、連続的に更新される３次元映像５１が表示される。
また、表示させる必要がない場合、映像同期処理部４０は処理を終了する。
【００３７】
以上のように、映像復号処理部２０が、２つの映像符号化ストリームを並列に復号し、映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１、Ｆ２）を映像出力バッファ３０に記憶させる。また、映像同期処理部４０が、映像出力バッファ３０に記憶された映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１、Ｆ２）を参照し、ＰＯＣの値が一致するフレーム単位の画像データ（Ｇ１、Ｇ２）を、２つの間の同期を取って、映像表示部５０に順次表示させる。つまり、映像同期装置１は、映像符号化ストリームを伸長復号する際にＰＯＣを付与することで、複数の映像符号化ストリーム（Ｅ１、Ｅ２）を同期させた３次元映像５１を映像表示部５０に表示させることができる。これにより、映像同期装置１は、複数の映像符号化ストリーム（Ｅ１、Ｅ２）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要がない。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１は、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１は、ネットワーク上の負荷を低減できる。
【００３８】
＜第２の実施形態＞
以下、本発明の第２の実施形態による映像同期装置について説明する。
図７は、本実施形態における映像同期装置を示すブロック図である。
図７に示される映像同期装置１ａは、ＩＰネットワーク２と接続される。また、映像送信装置６０ａが、ＩＰネットワーク２に接続され、映像同期装置１ａと映像送信装置６０ａは、通信可能な状態にある。
この図において、図１と同じ構成には同一の符号を付す。
映像送信装置６０ａは、映像取り込み部３ａと、圧縮符号化器４〜７とを備える。映像取り込み部３ａは、４ｋ×２ｋ（ヨンケイニケイ）精細度の1つの映像を４分の１の画素数で構成される４つのＨＤ（High Definition）映像に分割して、並列に取り込む。圧縮符号化器４〜７は、取り込んだ４つの映像情報に基づき、映像符号化ストリームに圧縮符号化すると。また、映像送信装置６０ａは、圧縮符号化器４〜７が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１ａに送信する。ここで、圧縮符号化器４〜７が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ  Ｈ．２６４勧告に基づいて行われる。また、圧縮符号化器４〜７は、図１の圧縮符号化器４、５と同じ構成である。
また、図１の全体を映像同期システム１００ａとする。
【００３９】
この図において、映像同期装置１ａは、映像データ通信処理部１０ａ、映像復号処理部２０ａ、映像出力バッファ３０ａ、映像同期処理部４０ａ及び映像表示部５０ａを備える。
映像データ通信処理部１０ａは、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して４つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０ａは、受信した４つの映像符号化ストリームＥ１〜Ｅ４を映像復号処理部２０ａに供給する。
映像復号処理部２０ａは、伸長復号部２１〜２４を備える。映像復号処理部２０ａは、映像データ通信処理部１０ａより供給される４つの映像符号化ストリームＥ１〜Ｅ４に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０ａは、フレーム単位の画像データ（Ｇ１〜Ｇ４）を生成する。また、映像復号処理部２０ａは、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）に、Ｈ．２６４勧告の符号化情報であるＰＯＣ（画像順序番号）を付与したＰＯＣ付き画像データＦ１〜Ｆ４を生成する。映像復号処理部２０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４を映像出力バッファ３０ａに記憶させる。
伸長復号部２１〜２４は、図１の伸長復号部２１、２２と同じ構成である。
【００４０】
映像出力バッファ３０ａは、映像復号処理部２０ａと映像同期処理部４０ａとの間に配置され、４つの映像符号化ストリームＥ１〜Ｅ４にそれぞれ対応した領域を有する。この領域は、複数フレーム分のＰＯＣ付き画像データＦ１〜Ｆ４を記憶することができる。映像出力バッファ３０ａは、映像復号処理部２０ａより供給されるＰＯＣ付き画像データＦ１〜Ｆ４を記憶する。また、映像出力バッファ３０ａは、記憶するＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４を映像同期処理部４０ａに供給する。
映像同期処理部４０ａは、映像出力バッファ３０ａと映像表示部５０ａとの間に配置される。映像同期処理部４０ａは、映像出力バッファ３０ａが記憶するＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４を参照する。映像同期処理部４０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１〜Ｆ４の同期を取る。また、映像同期処理部４０ａは、ＰＯＣを除いたフレーム単位の画像データＧ１〜Ｇ４を、４つの間の同期を取って映像表示部５０ａに出力する。
映像表示部５０ａは、映像同期処理部４０ａに接続され、映像同期処理部４０ａが供給するフレーム単位の画像データＧ１〜Ｇ４を図示しない表示画面に表示する。
【００４１】
次に、本実施形態の動作について説明する。
図８は、本実施形態における映像同期装置の映像表示の一形態を示す図である。
この図は、本実施形態における映像同期システム１００ａの動作の概要を示す。映像同期システム１００ａにおいて、映像送信装置６０ａ（図７）と映像同期装置１ａ（図７）がそれぞれＩＰネットワーク２に接続されている。映像送信装置６０ａ（図７）は、取り込んだ４ｋ×２ｋ映像を４つのＨＤ映像に分割して、ＩＰネットワーク２を介して送信する。４つのＨＤ映像は、左上４分の１のＨＤ映像３３、右上４分の１のＨＤ映像３４、左下４分の１のＨＤ映像３５、右下４分の１のＨＤ映像３６である。映像同期装置１ａ（図７）は、ＩＰネットワーク２を介して４つのＨＤ映像３３〜３６を受信し、４つのＨＤ映像３３〜３６を、４つの間の同期を取って、４ｋ×２ｋ映像５２として映像表示部５０ａ（図５）に表示する。
【００４２】
次に、図７に戻り各部の動作を説明する。
図７において、映像符号化ストリームの数が４つになった点を除き、基本的な動作は、第１の実施形態と同じである。
映像送信装置６０ａは、映像取り込み部３ａが取り込んだ４ｋ×２ｋ映像を、４分の１の面積の４つのＨＤ映像に分割する。分割された４つのＨＤ映像情報は、圧縮符号化器４〜７によりそれぞれＨ．２６４勧告の符号化処理を並列して行う。これにより生成された映像符号化ストリームＥ１〜Ｅ４はパケットに順次分割され、映像送信装置６０ａにより、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１ａの映像データ通信処理部１０ａは、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０ａは、受信したパケットを映像符号化ストリームＥ１〜Ｅ４に順次戻して、伸長復号部２１〜２４にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１〜Ｅ４は、エラーの部分が欠損した映像符号化ストリームとなる。
【００４３】
伸長復号部２１〜２４の動作は、基本的に図４のフローチャートに示される動作と同じである。
伸長復号部２１〜２４は、映像データ通信処理部１０ａより供給される映像符号化ストリームＥ１〜Ｅ４に基づき、それぞれＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２１〜２４は、フレーム単位の画像データ（Ｇ１〜Ｇ４）をそれぞれ生成する。更に、伸長復号部２１〜２４は、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）にＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４をそれぞれ生成し、映像出力バッファ３０ａの領域［１］〜領域［４］に順次記憶させる。なお、フレーム単位の画像データ（Ｇ１〜Ｇ４）は、ＨＤ精細度の画像サイズ（ＨＤサイズ）である。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。
【００４４】
映像同期処理部４０ａは、映像出力バッファ３０ａの領域［１］〜領域［４］に記憶されたＰＯＣ付き画像データＦ１〜Ｆ４のＰＯＣ部分（ＰＯＣ１〜ＰＯＣ４）を順次参照する。映像同期処理部４０ａは、参照したＰＯＣの内、ＰＯＣ１の最小値〜ＰＯＣ４の最小値が全て一致すると判定した場合に、対応するＰＯＣ付き画像データＦ１〜Ｆ４を参照する。更に、映像同期処理部４０ａは、一致したＰＯＣ（ＰＯＣ１〜ＰＯＣ４）を除いたフレーム単位の画像データＧ１〜Ｇ４を、４つの間の同期を取って、映像表示部５０ａに出力する。映像同期処理部４０ａは、この動作を繰り返し、同期されたフレーム単位の画像データＧ１〜Ｇ４が映像表示部５０ａに順次出力される。なお、フレーム単位の画像データＧ１〜Ｇ４は、映像符号化ストリームＥ１〜Ｅ４のフレームレートに応じて、予め定められた時間間隔により出力される。
映像表示部５０ａは、映像同期処理部４０ａから供給されるフレーム単位のＨＤサイズ画像データＧ１〜Ｇ４を同期して順次表示する。これにより、映像表示部５０ａは、４ｋ×２ｋ映像５２を表示する。
【００４５】
また、上述のＰＯＣ１の最小値〜ＰＯＣ４の最小値が不一致である場合の処理は、基本的に図６のフローチャートに示される動作と同じである。本実施形態において、ＰＯＣは、ＰＯＣ１の最小値〜ＰＯＣ４の最小値の４つある。そのため、図６のステップＳ４５の処理において、本実施形態の場合、４つの最小値の内、最小のＰＯＣに対応するＰＯＣ付き画像データを破棄すれば良い。
【００４６】
以上のように、映像復号処理部２０ａが、４つのＨＤサイズの映像符号化ストリームを並列に復号し、映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１〜Ｆ４）を映像出力バッファ３０ａに記憶させる。また、映像同期処理部４０ａが、映像出力バッファ３０ａに記憶された映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１〜Ｆ４）を参照し、ＰＯＣの値が一致するフレーム単位の画像データ（Ｇ１〜Ｇ４）を、４つの間の同期を取って、映像表示部５０ａに順次表示させる。つまり、映像同期装置１ａは、映像符号化ストリームを伸長復号する際にＰＯＣを付与することで、複数の映像符号化ストリーム（Ｅ１〜Ｅ４）を同期させた４ｋ×２ｋ映像５２を映像表示部５０ａに表示させることができる。これにより、映像同期装置１ａは、複数の映像符号化ストリーム（Ｅ１〜Ｅ４）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要がない。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１ａは、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１ａは、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１ａは、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１ａは、ネットワーク上の負荷を低減できる。
また、本実施形態では、４ｋ×２ｋ精細度の映像を、４分の１のＨＤ精細度の映像として圧縮符号化／伸長復号処理できる。このため、映像同期システム１００ａ全体で処理する情報量を低減できる。
【００４７】
なお、本発明の実施形態によれば、映像同期装置１（又は１ａ）では、映像出力バッファ３０（又は３０ａ）が、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに順序付けられたフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに記憶する。映像復号処理部２０（又は２０ａ）が、受信した映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に基づいてフレーム画像単位で表示させるフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を生成し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を表示させる画像順序番号（ＰＯＣ）を生成し、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）にそれぞれ付与して、映像出力バッファ３０（又は３０ａ）にそれぞれ記憶させる。映像同期処理部４０（又は４０ａ）が、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）にそれぞれ付与された画像順序番号（ＰＯＣ）に基づいて、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに記憶されたフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）について、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間の同期を取って、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を出力する。
【００４８】
これにより、映像同期装置１（又は１ａ）は、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要なしに、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間の同期を取って、映像表示部５０（又は５０ａ）に表示させることができる。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１（又は１ａ）は、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１（又は１ａ）は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１（又は１ａ）は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１（又は１ａ）は、ネットワーク上の負荷を低減できる。
【００４９】
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の内、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに付与されたＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致するかを判定し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で少なくとも１つの画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の１つが一致しないと判定した場合に、全て一致するかの判定の前に同期を取って出力した状態を保持する。
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致すると判定した場合に、一致したＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値に応じた映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとのフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）の間の同期を取って出力し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で少なくとも画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の１つが一致しないと判定した場合に、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の内、最小の画像順序番号に応じたフレーム単位の画像データを破棄する。
これにより、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のいずれかに、パケットロス等のＩＰネットワーク２上のエラーが発生した場合において、同期ずれを防止できる。そのため、映像同期装置１（又は１ａ）は、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を同期して映像表示部５０（又は５０ａ）に表示することができる。
【００５０】
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致すると判定した場合に、連続して出力すべきフレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致するか否かを判定し、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致すると判定した場合に、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値に応じた映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとのフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）の間の同期を取って出力し、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致しないと判定した場合に、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致するかの判定前に同期を取って出力した状態を保持する。
これにより、全ての映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に、パケットロス等のＩＰネットワーク２上のエラーが発生した場合、映像同期装置１（又は１ａ）は、最後に出力された（最後に同期が取れた）フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を表示する状態を保持する。このため、映像同期装置１（又は１ａ）は、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のフレームずれにより映像表示時間が短くなることを防止できる。
【００５１】
また、映像復号処理部２０（又は２０ａ）は、受信した映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を送信時に符号化された符号化方式（ＩＴＵ−Ｔ  Ｈ．２６４勧告）に基づいて復号化処理を行い、符号化方式（Ｈ．２６４勧告）の制御情報（符号化情報）に基づいて画像順序番号ＰＯＣを生成する。
これにより、映像復号処理部２０（又は２０ａ）は、自らフレーム番号Ｎを計数する必要がない。このため、映像同期装置１（又は１ａ）は、映像復号処理部２０（又は２０ａ）の処理を簡略化できる。
【００５２】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。本発明に用いる映像符号化の方式は、Ｈ．２６４勧告に限定されるものではなく、他の方式でも良いし、符号化されない映像情報に基づいてフレーム単位の画像データを生成しても良い。また、本実施形態において、画像順序番号（ＰＯＣ）は、Ｈ．２６４勧告の符号化情報であるＰＯＣを使用したが、これに限定されるものではない。例えば、映像復号処理部２０（又は２０ａ）は、自ら計数したフレーム番号を使用しても良い。
また、映像表示部５０（又は５０ａ）は、映像同期装置１（又は１ａ）に含まれる形態を説明したが、外部ディスプレイやプロジェクタなどの表示装置に表示する形態でも良い。また、映像同期装置１（又は１ａ）は、映像符号化ストリーム間の同期を取って、記憶媒体などに出力する形態でも良い。また、映像送信装置６０（又は６０ａ）は、映像取り込み部３（又は３ａ）を含み、リアルタイムに圧縮符号化した映像符号化ストリームを送信する形態を説明したが、予め圧縮符号化して取り込まれた映像符号化ストリームを送信する形態でも良い。例えば、映像送信装置６０（又は６０ａ）は、複数の映像符号化ストリームを配信するサーバ装置などでも良い。また、２つの映像符号化ストリーム（Ｅ１、Ｅ２）と４つの映像符号化ストリーム（Ｅ１〜Ｅ４）の同期を取る形態を説明したが、これに限定されるものではなく、他の数の映像符号化ストリームを同期させる形態でも良い。
【００５３】
また、３次元映像５１を表示する映像同期システム１００と４ｋ×２ｋ映像５２を表示する映像同期システム１００ａの形態を説明したが、本発明は、これに限定されるものではない。例えば、テレビ会議システムなどのＩＰネットワーク２を介した映像伝送システムに適用しても良い。
また、図６のステップＳ４５において、映像同期処理部４０は、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を映像表示部５０に再出力しない形態を説明した。しかし、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、ステップＳ４４において、ステップＳ４７の処理に進む前に、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、フレーム番号Ｎを記憶する図示しない記憶部を映像同期処理部４０に備えた形態を説明したが、映像出力バッファ部３０に備えても良い。
【００５４】
上述の映像同期装置１、１ａは内部に、コンピュータシステムを有している。そして、上述した複数の映像符号化ストリームを同期させて映像表示部５０、５０ａに表示させる映像同期の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５５】
なお、本発明のバッファ部は、映像出力バッファ部３０（又は３０ａ）に対応する。また、本発明の画像情報生成部は、映像復号処理部２０（又は２０ａ）に対応する。また、本発明のフレーム画像情報は、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）に対応する。また、本発明の複数の映像情報は、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に対応する。また、本発明の順序番号は、画像順序番号（ＰＯＣ）に対応する。
【符号の説明】
【００５６】
１、１ａ  映像同期装置
２  ＩＰネットワーク
３、３ａ  映像取り込み部
４、５、６、７  圧縮符号化器
１０、１０ａ  映像データ通信処理部
２０、２０ａ  映像復号処理部
２１、２２、２３、２４  伸長復号部
３０、３０ａ  映像出力バッファ
３１  左目映像
３２  右目映像
３３  左上４分の１のＨＤ映像
３４  右上４分の１のＨＤ映像
３５  左下４分の１のＨＤ映像
３６  右下４分の１のＨＤ映像
４０、４０ａ  映像同期処理部
５０、５０ａ  映像表示部
５１  ３次元映像
５２  ４ｋ×２ｋ映像
１００、１００ａ  映像同期システム
【図１】
2011166615.tif 000003
【図２】
2011166615.tif 000004
【図３】
2011166615.tif 000005
【図４】
2011166615.tif 000006
【図５】
2011166615.tif 000007
【図６】
2011166615.tif 000008
【図７】
2011166615.tif 000009
【図８】
2011166615.tif 000010