(57)【要約】      （修正有）【課題】超高解像度映像の処理時間の低減及び伝送時のバーストトラフィックの発生の抑止を図る、映像処理方法を提供する。【解決手段】ＭＭＴ送信器１の分割部が超高解像度の映像非圧縮データを入力して複数の映像非圧縮データに分割し、複数のエンコード部のそれぞれが分割された映像非圧縮データを入力して符号化し、分割後の映像のそれぞれに同じタイムスタンプを付与したＭＭＴＰパケットを送出する。クライアント端末３の複数のデコード部のそれぞれが分割後の映像のＭＭＴＰパケットを受信して復号し、結合部が同じタイムスタンプの分割後の映像のフレームを結合して超高解像度の映像を出力する。また、複数のエンコード部のそれぞれがＩフレームの送出タイミングをずらす。【選択図】図１
2018201159.tif 000002
【特許請求の範囲】
【請求項１】
映像を符号化して送信する映像送信装置と符号化された映像を復号する映像受信装置による映像処理方法であって、
前記映像送信装置による、
映像を入力して１つのフレームを複数のフレームに分割するステップと、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出するステップと、を有し、
前記映像受信装置による、
前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得するステップと、
前記タイムスタンプが同じフレームを結合して前記１つのフレームを生成するステップと、を有すること
を特徴とする映像処理方法。
【請求項２】
前記複数の映像のパケットを送出するステップは、符号化後のデータ量が大きいパケットを前記複数の映像間でずらして送出することを特徴とする請求項１に記載の映像処理方法。
【請求項３】
映像を符号化して送信する映像送信装置と符号化された映像を復号する映像受信装置を備えた映像処理システムであって、
前記映像送信装置は、
映像を入力して１つのフレームを複数のフレームに分割する分割手段と、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有し、
前記映像受信装置による、
前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得する複数のデコード手段と、
前記タイムスタンプが同じフレームを結合して前記１つのフレームを生成する結合手段と、を有すること
を特徴とする映像処理システム。
【請求項４】
前記エンコード手段は、符号化後のデータ量が大きいパケットを前記複数のエンコード手段間でずらして送出することを特徴とする請求項３に記載の映像処理システム。
【請求項５】
映像を符号化して送信する映像送信装置であって、
映像を入力して１つのフレームを複数のフレームに分割する分割手段と、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、
を有することを特徴とする映像送信装置。
【請求項６】
前記エンコード手段は、符号化後のデータ量が大きいパケットを前記複数のエンコード手段間でずらして送出することを特徴とする請求項５に記載の映像送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を処理する技術に関し、特に超高解像度の映像を処理して伝送する技術に関する。
【背景技術】
【０００２】
新しいメディア伝送技術であるＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）が国際標準化されている（非特許文献１）。
【０００３】
ＭＭＴでは、メディアの提示時刻をＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）で指定できる。そのため、映像と音声などのコンテンツが、放送と通信のように別々の伝送経路で配信された場合でも、端末側でコンテンツを同期して再生することが可能である。また、複数の端末間でコンテンツを同期して再生することが可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＡＲＩＢ  ＳＴＡＮＤＡＲＤ、「デジタル放送におけるＭＭＴによるメディアトランスポート方式」、ＡＲＩＢ  ＳＴＤ−Ｂ６０  １．４版、一般社団法人電波産業会、平成２７年９月３０日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、超高解像度の４Ｋ映像が広まりつつある。さらに、４Ｋ映像よりも高解像度な８Ｋ映像の登場が見込まれている。
【０００６】
映像処理においては、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのハードウェア支援を受けることにより、処理時間を低減することが可能である。しかしながら、超高解像度の映像処理は、より多くの処理時間や計算リソースが必要である。テレビ電話などのように双方向でインタラクティブに超高解像度の映像を送受信する場合は、映像処理による遅延をできるだけ無くすことが望まれる。また、４Ｋ，８Ｋ用のハードウェアは、２Ｋ用のハードウェアよりもコストが高い。
【０００７】
動画を構成するフレームにはＩフレーム，Ｐフレーム，Ｂフレームがある。超高解像度の動画の送信においては、データ量が多いＩフレームを送信する際にバーストトラフィックが発生する可能性がある。バーストトラフィックが発生した場合、ネットワーク上の機器で制御が行われ、想定しない遅延やパケットロスが発生し、配信する映像の品質に影響を及ぼす可能性がある。
【０００８】
本発明は、上記に鑑みてなされたものであり、超高解像度映像の処理時間の低減及び伝送時のバーストトラフィックの発生の抑止を図ることを目的とする。
【課題を解決するための手段】
【０００９】
第１の本発明に係る映像処理方法は、映像を符号化して送信する映像送信装置と符号化された映像を復号する映像受信装置による映像処理方法であって、前記映像送信装置による、映像を入力して１つのフレームを複数のフレームに分割するステップと、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出するステップと、を有し、前記映像受信装置による、前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得するステップと、前記タイムスタンプが同じフレームを結合して前記１つのフレームを生成するステップと、を有することを特徴とする。
【００１０】
上記映像処理方法において、前記複数の映像のパケットを送出するステップは、符号化後のデータ量が大きいパケットを前記複数の映像間でずらして送出することを特徴とする。
【００１１】
第２の本発明に係る映像処理システムは、映像を符号化して伝送する送信装置と符号化された映像を復号する受信装置を備えた映像処理システムであって、前記送信装置は、映像を入力して１つのフレームを複数のフレームに分割する分割手段と、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有し、前記受信装置による、前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得する複数のデコード手段と、前記タイムスタンプが同じフレームを結合して前記１つのフレームを生成する結合手段と、を有することを特徴とする。
【００１２】
第３の本発明に係る映像送信装置は、映像を符号化して送信する映像送信装置であって、映像を入力して１つのフレームを複数のフレームに分割する分割手段と、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、超高解像度映像の処理時間の低減及び伝送時のバーストトラフィック発生の抑止を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態のメディア同期伝送システムの構成を示す全体構成図である。
【図２】ＭＭＴ送信器の構成を示す機能ブロック図である。
【図３】クライアント端末の構成を示す機能ブロック図である。
【図４】分割後の映像を伝送するのに必要な帯域の変化を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明実施の形態について図面を用いて説明する。
【００１６】
図１は、本実施形態のメディア同期伝送システムの構成を示す全体構成図である。
【００１７】
本メディア同期伝送システムは、ＭＭＴ送信器１とクライアント端末３を備える。ＭＭＴ送信器１とクライアント端末３は、ネットワーク１００を介して接続されている。
【００１８】
ＭＭＴ送信器１は、カメラやマイク等の集信系機器から入力した映像・音声信号をエンコードし、ＭＭＴＰ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）パケットに変換して送出する。ＭＭＴ送信器１は、４Ｋ映像のフレームを２Ｋ映像の４つのフレームに分割したうえで、各２Ｋ映像のエンコード処理及びＭＭＴＰストリーム変換処理を並列に行う。
【００１９】
クライアント端末３は、ＭＭＴＰパケットを受信し、映像・音声信号をデコードし、映像・音声を出力する。クライアント端末３は、各２Ｋ映像のＭＭＴＰパケットを個別にデコードし、デコードした各２Ｋ映像を結合して４Ｋ映像を表示する。各２Ｋ映像はＭＭＴＰパケット化して送出されるので、ＭＭＴにより同期が担保される。そのため、結合後の４Ｋ映像内のある領域だけ他の領域と時間が前後するようなズレや映像の乱れが発生することはない。
【００２０】
次に、ＭＭＴ送信器１について説明する。
【００２１】
図２は、本実施形態のＭＭＴ送信器１の構成を示す機能ブロック図である。同図に示すＭＭＴ送信器１は、分割部１１と複数のエンコード部１２Ａ〜１２Ｄを備える。
【００２２】
分割部１１は、超高解像度の映像非圧縮データを入力し、複数の映像非圧縮データに分割する。例えば、外部の集信系機器からシリアルデジタルインタフェース（ＳＤＩ）を介して４Ｋ（３８４０×２１６０）の映像非圧縮データを入力し、４つの２Ｋ（１９２０×１０８０）の映像非圧縮データに分割する。なお、超高解像度の映像を任意の大きさに分割してもよい。
【００２３】
エンコード部１２Ａ〜１２Ｄは、分割部１１によって分割された映像非圧縮データを入力して符号化し、分割後のフレームのそれぞれに同じタイムスタンプを付与したＭＭＴＰパケットを送出する。エンコード部１２Ａ〜１２Ｄは、分割後の映像を結合する際に必要な表示位置の情報を含む制御情報も送出する。
【００２４】
エンコード部１２Ａ〜１２Ｄのそれぞれを個別のハードウェアで構成し、並列処理することにより処理時間の短縮を図ることができる。また、エンコード部１２Ａ〜１２Ｄを構成するハードウェアとして、より安価な２Ｋ映像用のハードウェアを用いることで、コストの低減を図ることができる。
【００２５】
次に、クライアント端末３について説明する。
【００２６】
図３は、本実施形態のクライアント端末３の構成を示す機能ブロック図である。同図に示すクライアント端末３は、複数のデコード部３１Ａ〜３１Ｄと結合部３２を備える。
【００２７】
デコード部３１Ａ〜３１Ｄは、分割後の映像のＭＭＴＰパケットを受信して復号し、分割後の映像のフレーム及びタイムスタンプを取得する。
【００２８】
結合部３２は、同じタイムスタンプの分割後の映像のフレームを結合し、超高解像度の映像を出力する。
【００２９】
デコード部３１Ａ〜３１Ｄのそれぞれを個別のハードウェアで構成し、並列処理することにより処理時間の短縮を図ることができる。また、デコード部３１Ａ〜３１Ｄを構成するハードウェアとして、より安価な２Ｋ映像用のハードウェアを用いることで、コストの低減を図ることができる。
【００３０】
ＭＭＴ送信器１及びクライアント端末３が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはＭＭＴ送信器１及びクライアント端末３が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００３１】
次に、分割後の映像のＩフレームの送出タイミングについて説明する。
【００３２】
図４は、分割後の映像を伝送するのに必要な帯域の変化を示す図である。図中の実線は、Ｉフレームの送出タイミングをずらした場合に映像の伝送に必要な帯域の変化を示し、破線は、Ｉフレームの送出タイミングをずらさない場合に映像の伝送に必要な帯域の変化を示す。
【００３３】
Ｉフレームは、フレーム内だけで独立して符号化することによって得られるので、フレーム間予測を用いて符号化されたＰフレームやＢフレームよりも符号化後のデータのサイズが大きくなる。図４の実線で示すように、分割後の２Ｋ映像のＩフレームの送出タイミングをずらすことにより、バーストトラフィックの発生を抑止し、ネットワーク１００における遅延を軽減できる。例えば、エンコード部１２Ａ〜１２Ｄがエンコードを開始するタイミングをずらすことで、各エンコード部１２Ａ〜１２ＤがＩフレームを送出するタイミングをずらすことができる。
【００３４】
以上説明したように、本実施の形態によれば、分割部１１が超高解像度の映像非圧縮データを入力して複数の映像非圧縮データに分割し、エンコード部１２Ａ〜１２Ｄのそれぞれが分割された映像非圧縮データを入力して符号化し、分割後の映像のそれぞれに同じタイムスタンプを付与したＭＭＴＰパケットを送出し、デコード部３１Ａ〜３１Ｄのそれぞれが分割後の映像のＭＭＴＰパケットを受信して復号し、結合部３２が同じタイムスタンプの分割後の映像のフレームを結合して超高解像度の映像を出力することにより、超高解像度映像の処理時間の低減を図ることができる。
【００３５】
本実施の形態によれば、エンコード部１２Ａ〜１２ＤのそれぞれがＩフレームの送出タイミングをずらすことにより、バーストトラフィック発生の抑止を図ることができる。
【符号の説明】
【００３６】
１…ＭＭＴ送信器
１１…分割部
１２Ａ〜１２Ｄ…エンコード部
３…クライアント端末
３１Ａ〜３１Ｄ…デコード部
３２…結合部
【図１】
2018201159.tif 000003
【図２】
2018201159.tif 000004
【図３】
2018201159.tif 000005
【図４】
2018201159.tif 000006