(57)【要約】      （修正有）【課題】超低遅延要件を満たすビデオ送信システム及び受信システムを提供する。【解決手段】ビデオ送信システムにおいて、ソースバッファは、ビデオフレームの複数の画素の画素データを受信し、ビデオエンコーダは、ソースバッファからビデオフレームの複数の画素の一部の画素データを読み出し、ビデオフレームの最終画素の画素データがソースバッファによって受信される前に、複数の画素の該一部の画素データの符号化を開始する。ビットストリームバッファは、ビデオエンコーダから複数の画素の一部を符号化することによって生成されるネットワークアブストラクションレイヤ（ＮＡＬ）ストリームを受信する。送信回路は、ビットストリームバッファからＮＡＬストリームを読み出し、ビデオフレームの最終画素の画素データがビデオエンコーダによって符号化される前に、ＮＡＬストリームの出力を開始する。【選択図】図１
2017143511.tif 000002
【特許請求の範囲】
【請求項１】
符号化すべきビデオフレームの複数の画素の画素データを受信するようにアレンジされたソースバッファと、
前記ソースバッファから前記ビデオフレームの複数の画素の一部の画素データを読み出し、前記ビデオフレームの最終画素の画素データが前記ソースバッファによって受信される前に、前記ビデオフレームの複数の画素の該一部の画素データの符号化を開始するようにアレンジされたビデオエンコーダと、
前記ビデオエンコーダからネットワークアブストラクションレイヤ（ＮＡＬ）ストリームを受信するようにアレンジされ、該ＮＡＬストリームは前記ビデオフレームの複数の画素の前記一部の画素データを符号化することによって生成される、ビットストリームバッファと、
前記ビットストリームバッファから前記ＮＡＬストリームを読み出し、前記ビデオフレームの最終画素の画素データが前記ビデオエンコーダによって符号化される前に、前記ＮＡＬストリームの出力を開始するようにアレンジされた送信回路と、
を含むビデオ送信システム。
【請求項２】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの少なくとも一つを含み、
前記複数のフレームセグメントの少なくとも一つが、前記ソースバッファ内で利用可能であるときは、前記ビデオエンコーダは、前記複数のフレームセグメントの少なくとも一つの符号化を開始することが許容される、請求項１に記載のビデオ送信システム。
【請求項３】
前記複数のフレームセグメントの各々は、少なくとも一つの符号ブロック列から構成されるスライスである、請求項２に記載のビデオ送信システム。
【請求項４】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの少なくとも一つを含み、
前記複数のフレームセグメントの少なくとも一つを符号化することによって生成されたＮＡＬストリームが前記ビットストリームバッファ内で利用可能であるときは、前記送信回路は、前記複数のフレームセグメントの少なくとも一つの前記ＮＡＬストリームの出力を開始することが許容される、請求項１に記載のビデオ送信システム。
【請求項５】
前記複数のフレームセグメントの各々は、少なくとも一つの符号ブロック列から構成されるスライスである、請求項４に記載のビデオ送信システム。
【請求項６】
前記ビデオエンコーダは、前記ビデオフレームの符号化により生成された複数のＮＡＬストリームの最後のＮＡＬストリームにダミーＮＡＬストリームを付加するようにさらにアレンジされ、
前記ダミーＮＡＬストリームは、前記ビデオフレームの最後を示すのに設定される、請求項１に記載のビデオ送信システム。
【請求項７】
前記送信回路は、前記ビデオフレームの符号化により生成された複数のＮＡＬストリームを複数のパケットにパケット化し、該複数のパケットを出力し、
前記送信回路は、前記複数のパケットの最後のパケットに特別マーカーを挿入するようにさらにアレンジされ、
前記特別マーカーは、前記ビデオフレームの最後を示すのに設定される、請求項１に記載のビデオ送信システム。
【請求項８】
前記ビデオエンコーダのレイテンシ要件に応じて、前記ビデオエンコーダにより採用される符号ブロックサイズを適応的に設定するようにアレンジされた制御回路をさらに含む、請求項１に記載のビデオ送信システム。
【請求項９】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの一つであり、
当該ビデオ送信システムは、
前記ビデオエンコーダのレイテンシ要件に応じて、前記複数のフレームセグメントの各々のサイズを適応的に設定するようにアレンジされた制御回路をさらに含む、請求項１に記載のビデオ送信システム。
【請求項１０】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの一つであり、
前記ビデオエンコーダは、前記複数のフレームセグメントを符号化して、それぞれ複数のＮＡＬストリームを生成し、
前記複数のＮＡＬストリームは、第一ＮＡＬストリームと、第二ＮＡＬストリームと、を含み、
前記送信回路は、連続して、前記第一ＮＡＬストリームの一部、前記第二ＮＡＬストリームの一部及び前記第一ＮＡＬストリームの他の一部を送信する、請求項１に記載のビデオ送信システム。
【請求項１１】
復号化すべき複数のＮＡＬストリームを受信するようにアレンジされ、該複数のＮＡＬストリームは、ビデオフレームの複数の画素の画素データの符号化により生成された、受信回路と、
前記受信回路からの前記複数のＮＡＬストリームを受信するようにアレンジされたビットストリームバッファと、
前記ビットストリームバッファからの前記複数のＮＡＬストリームのうちのＮＡＬストリームを読み出し、前記複数のＮＡＬストリームの最後のＮＡＬストリームが前記ビットストリームバッファによって受信される前に該ＮＡＬストリームの復号化を開始するようにアレンジされたビデオデコーダと、
前記ビデオデコーダから前記ビデオフレームの復号化された画素データを受信するようにアレンジされたディスプレイバッファと、
前記ディスプレイバッファから前記ビデオフレームの複数の画素の一部の復号化された画素データを読み出し、前記ビデオフレームの最後の画素の復号化された画素データが、前記ビデオデコーダから生成される前に前記ビデオフレームの複数の画素の該一部の復号化された画素データに従ってディスプレイデバイスを駆動するようにアレンジされたディスプレイ回路と、
を含み、
前記ビデオフレームの前記複数の画素の前記一部の復号化された画素データは、前記ＮＡＬストリームの復号化により生成される、ビデオ受信システム。
【請求項１２】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの少なくとも一つを含み、
前記複数のフレームセグメントの少なくとも一つのＮＡＬストリームが、前記ビットストリームバッファ内で利用可能であるときは、前記ビデオデコーダは、前記複数のフレームセグメントの少なくとも一つの該ＮＡＬストリームの復号化を開始することが許容される、請求項１１に記載のビデオ受信システム。
【請求項１３】
前記複数のフレームセグメントの各々は、少なくとも一つの符号ブロック列から構成されるスライスである、請求項１２に記載のビデオ受信システム。
【請求項１４】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの少なくとも一つを含み、
前記複数のフレームセグメントの少なくとも一つの復号化された画素データが前記ディスプレイバッファ内で利用可能であるときは、前記ディスプレイ回路は、前記複数のフレームセグメントの少なくとも一つ表示するのに前記ディスプレイデバイスの駆動を開始することが許容される、請求項１１に記載のビデオ受信システム。
【請求項１５】
前記複数のフレームセグメントの各々は、少なくとも一つの符号ブロック列から構成されるスライスである、請求項１４に記載のビデオ受信システム。
【請求項１６】
前記受信回路は、前記複数のＮＡＬストリームの最後のＮＡＬストリームに続くダミーＮＡＬストリームを受信し、
前記ダミーＮＡＬストリームは、前記ビデオフレームの最後を示す、請求項１１に記載のビデオ受信システム。
【請求項１７】
オーディオ／ビデオ（Ａ／Ｖ）逆多重化回路であって、前記受信回路のビットストリーム出力にＡ／Ｖ逆多重を行うようにアレンジされ、前記ビットストリーム出力から前記複数のＮＡＬストリーム抽出し、前記複数のＮＡＬストリームを前記ビットストリームバッファに送信するＡ／Ｖ逆多重化回路と、
当該ビデオ受信システムの動作を制御するようにアレンジされた制御回路と、
をさらに含み、
前記ダミーＮＡＬストリームが前記Ａ／Ｖ逆多重化回路によって検出されたときは、前記Ａ／Ｖ逆多重化回路は、前記制御回路又は前記ビデオデコーダに、前記ビデオフレームの最後を知らせる、請求項１６に記載のビデオ受信システム。
【請求項１８】
オーディオ／ビデオ（Ａ／Ｖ）逆多重化回路であって、前記受信回路のビットストリーム出力にＡ／Ｖ逆多重を行うようにアレンジされ、前記ビットストリーム出力から前記複数のＮＡＬストリーム抽出し、前記複数のＮＡＬストリームを前記ビットストリームバッファに送信するＡ／Ｖ逆多重化回路と、
当該ビデオ受信システムの動作を制御するようにアレンジされた制御回路と、
前記ダミーＮＡＬストリームが前記制御回路によって検出されたときは、前記制御回路は、前記Ａ／Ｖ逆多重化回路又は前記ビデオデコーダに、前記ビデオフレームの最後を知らせる、請求項１６に記載のビデオ受信システム。
【請求項１９】
前記受信回路は、前記ビデオフレームの符号化から生成された前記複数のＮＡＬストリームを搬送する複数のパケットを受信し、
前記複数のパケットの最後のパケットは、前記ビデオフレームの最後を示すように設定された特別マーカーを含む、請求項１１に記載のビデオ受信システム。
【請求項２０】
オーディオ／ビデオ（Ａ／Ｖ）逆多重化回路であって、前記受信回路のビットストリーム出力にＡ／Ｖ逆多重を行うようにアレンジされ、前記ビットストリーム出力から前記複数のＮＡＬストリーム抽出し、前記複数のＮＡＬストリームを前記ビットストリームバッファに送信するＡ／Ｖ逆多重化回路と、
当該ビデオ受信システムの動作を制御するようにアレンジされた制御回路と、
前記特別マーカーが前記Ａ／Ｖ逆多重化回路によって検出されたときは、前記Ａ／Ｖ逆多重化回路は、前記制御回路又は前記ビデオデコーダに、前記ビデオフレームの最後を知らせる、請求項１９に記載のビデオ受信システム。
【請求項２１】
オーディオ／ビデオ（Ａ／Ｖ）逆多重化回路であって、前記受信回路のビットストリーム出力にＡ／Ｖ逆多重を行うようにアレンジされ、前記ビットストリーム出力から前記複数のＮＡＬストリーム抽出し、前記複数のＮＡＬストリームを前記ビットストリームバッファに送信するＡ／Ｖ逆多重化回路と、
当該ビデオ受信システムの動作を制御するようにアレンジされた制御回路と、
前記特別マーカーが前記制御回路によって検出されたときは、前記制御回路は、前記Ａ／Ｖ逆多重化回路又は前記ビデオデコーダに、前記ビデオフレームの最後を知らせる、請求項１９に記載のビデオ受信システム。
【請求項２２】
前記ビデオフレームは、複数のフレームセグメントに分割され、
前記ビデオフレームの複数の画素の前記一部は、前記複数のフレームセグメントの一つであり、
前記ビデオデコーダは、前記複数のＮＡＬストリームを復号化して、それぞれ前記複数のフレームセグメントの復号化された画素データを生成し、
前記複数のＮＡＬストリームは、第一ＮＡＬストリームと、第二ＮＡＬストリームと、を含み、
前記受信回路は、連続して、前記第一ＮＡＬストリームの一部、前記第二ＮＡＬストリームの一部及び前記第一ＮＡＬストリームの他の一部を受信する、請求項１１に記載のビデオ受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の開示された実施形態は、ビデオデータ処理に関連し、より詳細には、オンザフライ（on-the-fly）符号化及びオンザフライ配信を備えたビデオ送信システム並びにこれに関連したビデオ受信システムに関連する。
【背景技術】
【０００２】
従来のビデオ処理設計によれば、フレームベースのパイプライン構造が採用されることがある。ビデオ送信システムに関して、パイプラインステージは、ビデオエンコーダと、送信回路と、を含むことができる。しかし、ビデオエンコーダは、ビデオフレームの画素データが完全に受信されるまでは、ビデオフレームの符号化を開始しないし、送信回路は、ビデオフレームの符号化された画素データが完全に生成されるまでは、符号化されたビデオフレームのビデオビットストリームの出力を開始しない。ビデオ受信システムに関して、パイプラインステージは、ビデオデコーダと、表示回路と、を含むことができる。しかし、ビデオデコーダは、ビデオフレームの符号化された画素データが完全に受信されるまでは、符号化されたビデオフレームのビデオビットストリームの復号化を開始しないし、表示回路は、ビデオフレームの復号化された画素データが完全に生成されるまでは、ビデオフレームを表示するディスプレイデバイスの駆動を開始しない。従来のフレームベースのパイプライン構造は、パイプラインステージ間の長いレイテンシによって、いくつかの超低遅延（ultra-low  latency）アプリケーションの要件を満たせない可能性がある。このため、革新的な超低遅延ビデオ送信システム設計及び超低遅延ビデオ受信システムの必要性がある。
【発明の概要】
【０００３】
本発明の例示の実施形態によれば、オンザフライ符号化及びオンザフライ配信を備えたビデオ送信システム及びこれに関連したビデオ受信システムが上述の問題を解決するのに提案される。
【０００４】
本発明の第一側面によれば、例示のビデオ送信システムが開示される。例示の当該ビデオ送信システムは、ソースバッファと、ビデオエンコーダと、ビットストリームバッファと、送信回路と、を含む。前記ソースバッファは、符号化すべきビデオフレームの複数の画素の画素データを受信するようにアレンジされる。前記ビデオエンコーダは、前記ソースバッファから前記ビデオフレームの複数の画素の一部の画素データを読み出し、前記ビデオフレームの最終画素の画素データが前記ソースバッファによって受信される前に、前記ビデオフレームの複数の画素の該一部の画素データの符号化を開始するようにアレンジされる。前記ビットストリームバッファは、前記ビデオエンコーダからネットワークアブストラクションレイヤ（ＮＡＬ）ストリームを受信するようにアレンジされ、該ＮＡＬストリームは前記ビデオフレームの複数の画素の前記一部の画素データを符号化することによって生成される。前記送信回路は、前記ビットストリームバッファから前記ＮＡＬストリームを読み出し、前記ビデオフレームの最終画素の画素データが前記ビデオエンコーダによって符号化される前に、前記ＮＡＬストリームの出力を開始するようにアレンジされる。
【０００５】
本発明の第二側面によれば、例示のビデオ受信システムが開示される。例示の当該ビデオ受信システムは、受信回路と、ビットストリームバッファと、ビデオデコーダと、ディスプレイバッファと、ディスプレイ回路と、を含む。前記受信回路は、復号化すべき複数のＮＡＬストリームを受信するようにアレンジされ、該複数のＮＡＬストリームは、ビデオフレームの複数の画素の画素データの符号化により生成される。前記ビットストリームバッファは、前記受信回路からの前記複数のＮＡＬストリームを受信するようにアレンジされる。前記ビデオデコーダは、前記ビットストリームバッファからの前記複数のＮＡＬストリームうちのＮＡＬストリームを読み出し、前記複数のＮＡＬストリームの最後のＮＡＬストリームが前記ビットストリームバッファによって受信される前に該ＮＡＬストリームの復号化を開始するようにアレンジされる。前記ディスプレイバッファは、前記ビデオデコーダから前記ビデオフレームの復号化された画素データを受信するようにアレンジされる。前記ディスプレイ回路は、前記ディスプレイバッファから前記ビデオフレームの複数の画素の一部の復号化された画素データを読み出し、前記ビデオフレームの最後の画素の復号化された画素データが、前記ビデオデコーダから生成される前に前記ビデオフレームの複数の画素の該一部の復号化された画素データに従ってディスプレイデバイスを駆動するようにアレンジされる。前記ビデオフレームの前記複数の画素の前記一部の復号化された画素データは、前記ＮＡＬストリームの復号化により生成される。
【０００６】
本発明のこれらの目的及び他の目的は、様々な図表及び図面に図示される、次の発明の実施するための好ましい形態を読むことにより、当業者には疑いなく明らかとなるだろう。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の実施形態による、ビデオ送信システム及びビデオ受信システムを図示するブロック図である。
【図２】図２は、本発明の実施形態による、例示のフレーム分割設計を図示する図である。
【図３】図３は、本発明の実施形態による、ビデオ送信システムにより採用されたフレームセグメントベースのパイプラインを図示する図である。
【図４】図４は、本発明の実施形態による、ビデオ受信システムにより採用されたフレームセグメントベースのパイプラインを図示する図である。
【図５】図５は、本発明の実施形態による、ビデオエンコーダにより生成されたダミーＮＡＬストリームを図示する図である。
【図６】図６は、本発明の実施形態による、ビデオ受信システムにより受信されたダミーＮＡＬストリームを処理するのに用いられる第一アレンジメントを図示する図である。
【図７】図７は、本発明の実施形態による、ビデオ受信システムにより受信されたダミーＮＡＬストリームを処理するのに用いられる第二アレンジメントを図示する図である。
【図８】図８は、本発明の実施形態による、ビデオ受信システムにより受信されたダミーＮＡＬストリームを処理するのに用いられる第三アレンジメントを図示する図である。
【図９】図９は、本発明の実施形態による、ビデオ受信システムにより受信されたダミーＮＡＬストリームを処理するのに用いられる第四アレンジメントを図示する図である。
【図１０】図１０は、本発明の実施形態による、送信回路から生成されたパケットに含まれる特別マーカーの第一アレンジメントを図示する図である。
【図１１】図１１は、本発明の他の実施形態による、送信回路から生成されたパケットに含まれる特別マーカーの第二アレンジメントを図示する図である。
【図１２】図１２は、本発明の実施形態による、ビデオ受信システムにより受信された特別マーカーを処理するのに用いられる第一アレンジメントを図示する図である。
【図１３】図１３は、本発明の実施形態による、ビデオ受信システムにより受信された特別マーカーを処理するのに用いられる第二アレンジメントを図示する図である。
【図１４】図１４は、本発明の実施形態による、ビデオ受信システムにより受信された特別マーカーを処理するのに用いられる第三アレンジメントを図示する図である。
【図１５】図１５は、本発明の実施形態による、ビデオ受信システムにより受信された特別マーカーを処理するのに用いられる第四アレンジメントを図示する図である。
【図１６】図１６は、本発明の実施形態による、インフレームストリームインタリービング（in-frame  stream  interleaving）を図示する図である。
【発明を実施するための形態】
【０００８】
いくつかの文言は、発明を実施するための形態及び特許請求の範囲の全体を通じて、特定のコンポーネントを参照するのに用いられる。当業者であれば分かるように、製造者は、異なる名称によって、コンポーネントを参照する可能性がある。本文書は、名前が異なるが、機能は異ならないコンポーネント間を区別すること意図していない。次の発明を実施するための形態及び特許請求の範囲において、文言「含む（“include”  and  “comprise”）は、オープンエンド形式で用いられ、ゆえに、「含む、しかし…には限られない」ことを意味すると解釈されるべきである。また、文言「結合」は、間接的又は直接的な電気接続のいずれかを意味することを意図している。従って、一つのデバイスが電気的に他のデバイスに接続されているとき、その接続は、直接的な電気接続を通じたものである、又は多のデバイス又は接続を介した間接的な電気接続である可能性がある。
【０００９】
図１は、本発明の実施形態による、ビデオ送信システム及びビデオ受信システムを図示するブロック図である。限定的ではなく、例示として、ビデオ送信システム１００及びビデオ受信システム１２０は、仮想現実（ＶＲ）アプリケーション等の超低遅延アプリケーションによって採用されることができる。この実施形態においては、ビデオ送信システム１００は、ソースバッファ１０２と、ビデオエンコーダ１０４と、ビットストリームバッファ１０６と、オーディオデータパス１０８と、オーディオ／ビデオ多重化回路（「Ａ／Ｖ  ＭＵＸ」で示されている）１１０と、送信（ＴＸ）回路１１２と、制御回路（例えば、中央処理ユニット）１１４と、を含む。ビデオ受信システム１２０は、受信（ＲＸ）回路１２２と、オーディオ／ビデオ逆多重化回路（「Ａ／Ｖ  ＤＥＭＵＸ」で示されている）１２４と、ビットストリームバッファ１２６と、ビデオデコーダ１２８と、ディスプレイバッファ１３０と、ディスプレイ回路１３２と、オーディオデータパス１３４と、制御回路（例えば、中央処理ユニット）１３６と、を含む。ビデオ送信システム１００は、通信リンク１５を介して、ビデオソース１０から提供されたビデオフレームを符号化するのに用いられるビデオ記録システムとして働くことができる。ビデオ受信システム１２０は、通信リンク１５から符号化されたビデオフレームを受信し、復号化されたビデオフレームをビデオ再生ためにディスプレイデバイス２０に生成するのに用いられるビデオ再生システムとして働くことができる。例えば、ビデオソース１０は、カメラデバイスであることができ、ディスプレイデバイス２０は、ＶＲヘッドセットのディスプレイスクリーンであることができる。さらに、ビデオエンコーダ１０４及びビデオデコーダ１２８は、Ｈ．２６４、ＨＥＶＣ、ＶＰ９又はＡＶＳ２等の任意のビデオ符号化標準（video  coding  standard）に従って実装されることができる。通信リンク１５は、有線リンク又は無線リンクを用いて実装されることができる。
【００１０】
ビデオ送信システム１００及びビデオ受信システム１２０のそれぞれに関して、フレームセグメントベースのパイプライン構造（例えば、スライスベースのパイプライン構造）は、パイプラインステージ間のレイテンシ（latency）を効果的に低減するのに採用されることができる。例えば、フレームセグメントベースのパイプライン構造を用いたビデオ送信システム１００は、オンザフライ符号化及びオンザフライ配信を行うように構成されることができる。フレームセグメントベースのパイプライン構造を用いたビデオ受信システム１２０は、オンザフライ復号化及びオンザフライ表示を行うように構成されることができる。さらに、提案されたフレームセグメントベースのパイプライン構造（例えば、スライスベースのパイプライン構造）の詳細を、以下に記載する。
【００１１】
符号化すべきビデオフレームは、ビデオソース１０によって提供される。ソースバッファ１０２は、符号化すべきビデオフレームの複数の画素の画素データを受信するようにアレンジされたメモリデバイスであることができる。ビデオエンコーダ１０４は、ソースバッファ１０２からビデオフレームの複数の画素の一部の画素データを読み出し、ビデオフレームの最後の画素の画素データがソースバッファ１０２により受信される前に、そのビデオフレームの複数の画素の一部の符号化を開始するようにアレンジされている。ビットストリームバッファ１０６は、ビデオエンコーダ１０４からのネットワークアブストラクションレイヤ（ＮＡＬ）ストリームを受信するようにアレンジされたメモリデバイスであることができる。ＮＡＬストリームは、そのビデオフレームの複数の画素の一部の画素データを符号化することによって生成されたビデオビットストリーム（video  bitstream）である。例えば、ＮＡＬストリームは、少なくとも一つのＮＡＬユニットを含むことができ、それぞれ、そのビデオフレームの複数の画素の一部の符号化により生成される（例えば、ビデオフレームの一つの符号ブロック列である）。
【００１２】
Ａ／Ｖ  ＭＵＸ１１０は、ビットストリームバッファ１０６からビデオビットストリームを、オーディオデータパスからオーディオビットストリームを受信し、ビデオビットストリーム及びオーディオビットストリームにオーディオ／ビデオ多重化を行い、ＴＸ回路１１２に向けた単一のビットストリーム出力を生成する。本発明がビデオ処理及び配信に注目しているため、オーディオ処理及び配信についてのさらなる説明は簡潔性のため、ここでは省略する。ＴＸ回路１１２は、Ａ／Ｖ  ＭＵＸ１１１０を介してビットストリームバッファ１０６からＮＡＬストリーム（ビデオフレームの複数の画素の一部の画素データを符号化することによって生成された）を読み出し、そのビデオフレームの最後の画素の画素データがビデオエンコーダ１０４により符号化される前にＮＡＬストリームの出力を開始するようにアレンジされている。
【００１３】
この実施形態において、ビデオフレームは複数のフレームセグメントに分割され、複数のフレームセグメントの各々は、ビデオフレームの複数の画素の一部を含むようになっている。一つのフレームセグメントは、一つ以上の符号ブロック列を含むことができるが、それは、実際の設計検討に依存する。図２は、本発明の実施形態による、例示のフレーム分割設計を図示する図である。図２に示されるように、一つのビデオフレームＩＭＧは、Ｎ個のフレームセグメントＦＳ＿１、ＦＳ＿２、ＦＳ＿３…ＦＳ＿Ｎを含む。複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎの各々は、少なくとも一つの符号ブロック列を含む。ここで、Ｎは、２以上の正の整数（つまり、Ｎ≧２）である。例えば、ハイエフィシエンシービデオコーディング（ＨＥＶＣ）をとると、フレームセグメントＦＳ＿１〜ＦＳ＿Ｎはスライスであることができる。各スライスは、一つの最大の符号単位（ＬＣＵ：largest  coding  unit）列を有する。ビデオフレームＩＭＧは複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割され、フレームセグメントベースのパイプライン構造（例えば、スライスベースのパイプライン構造）は、ビデオ送信システム１００及びビデオ受信システム１２０の各々によって採用されることができ、超低遅延要件を満たす。
【００１４】
図３は、本発明の実施形態による、ビデオ送信システム１００により採用されたフレームセグメントベースのパイプラインを図示する図である。単一フレームセグメントパイプラインが採用された場合を考える。これにより、特定のフレームセグメントがソースバッファ１０２内で利用可能であるとき、ビデオエンコーダ１０４がその特定のフレームセグメントの符号化を開始することが許容される。特定のＮＡＬストリーム（その特定のフレームセグメントを符号化することによって生成されたもの）がビットストリームバッファ１０６内で利用可能であるとき、ＴＸ回路１１２がその特定のＮＡＬストリームの出力を開始することが許容される。また、マルチフレームセグメントパイプラインが採用された場合を考える。これにより、連続する複数のフレームセグメントの特定のグループがソースバッファ１０２内で利用可能であるとき、ビデオエンコーダ１０４がその連続する複数のフレームセグメントの特定のグループの符号化を開始することが許容される。連続する複数のＮＡＬストリームの特定のグループ（その連続する複数のフレームセグメントの特定のグループを符号化することによって生成されたもの）がビットストリームバッファ１０６内で利用可能であるとき、ＴＸ回路１１２がその連続する複数のＮＡＬストリームの特定のグループの出力を開始することが許容される。
【００１５】
図３に示される例は、説明する目的のため、単一フレームセグメントパイプラインを採用している。ソースバッファ１０２に関して、書き込みポインタＷＰＴＲ１は、到来する画素データがソースバッファ１０２内に記憶される書き込みアドレスを制御する。読み出しポインタＲＰＴＲ１は、記憶された画素データがソースバッファ１０２から読み出される読み出しアドレスを制御する。ビットストリームバッファ１０６に関して、書き込みポインタＷＰＴＲ２は、到来するＮＡＬデータがビットストリームバッファ１０６内に記憶される書き込みアドレスを制御する。読み出しポインタＲＰＴＲ２は、記憶されたＮＡＬデータがビットストリームバッファ１０６から読み出される読み出しアドレスを制御する。ビデオソース１０はフレームセグメントＦＳ＿１とＦＳ＿２とをソースバッファ１０２に連続して書き込む。ビデオエンコーダ１０４は、ソースバッファ１０２から読み出されたＦＳ＿１とＦＳ＿２とを連続して符号化して、対応するＮＡＬストリームＮＡＬ＿１とＮＡＬ＿２を生成する。ＴＸ回路１１２は、ビットストリームバッファ１０６から読み出されたＮＡＬ＿１とＮＡＬ＿２とを連続して出力する。ビデオソース１０が、書き込みポインタＷＰＴＲ１により指し示された書き込みアドレスに従って、フレームセグメントＦＳ＿３に含まれる複数の画素の画素データの書き込みを開始するとき、フレームセグメントＦＳ＿１に含まれる複数の画素の画素データ及びフレームセグメントＦＳ＿２に含まれる複数の画素の画素データはすでにソースバッファ１０２に記憶されている。これにより、ビデオエンコーダ１０４がフレームセグメントＦＳ＿１の符号化を完了して、対応するＮＡＬストリームＮＡＬ＿１を生成した後、ビデオエンコーダ１０４は、読み出しポインタＲＰＴＲ１により指し示された読み出しアドレスに従って、ソースバッファ１０２からフレームセグメントＦＳ＿２に含まれる複数の画素の画素データを読み出し、フレームセグメントＦＳ＿２の符号化を開始し、書き込みポインタＷＰＴＲ２により指し示された書き込みアドレスに従って、ビットストリームバッファ１０６に向けて、対応するＮＡＬストリームＮＡＬ＿２を生成する。ビデオエンコーダ１０４がＮＡＬストリームＮＡＬ＿２（フレームセグメントＦＳ＿２の符号化により生成されたもの）のビットストリームバッファ１０６への書き込みを開始するとき、フレームセグメントＦＳ＿１の符号化により生成されたＮＡＬストリームＮＡＬ＿１はすでにビットストリームバッファ１０６内で利用可能となっている。これにより、ビデオエンコーダ１０４がフレームセグメントＦＳ＿１の符号化を完了して、ＮＡＬストリームＮＡＬ＿１を生成した後、ＴＸ回路１１２は、読み出しポインタＲＰＴＲ２により指し示された読み出しアドレスに従って、ビットストリームバッファ１０６からＮＡＬストリームＮＡＬ＿１を読み出し、通信リンク１５を介してＮＡＬストリームＮＡＬ＿１のビデオ受信システム１２０への出力を開始する。このようにして、ビデオ送信システム１００のオンザフライ符号化及びオンザフライ配信が、提案されたフレームセグメントベースのパイプライン構造により達成されることができる。ストリームデータのアンダーフロー又はオーバーフローを避けるため、ビデオエンコーダ１０４は、読み出しポインタＲＰＴＲ２及び書き込みポインタＷＰＴＲ２に従ってビットストリームバッファの埋まり／空き状況を監視するようにさらにアレンジされることができることに留意されたい。
【００１６】
ビデオ送信システム１００のＴＸ回路１１２は、通信リンク１５を介して符号化されたビデオビットストリーム及び符号化されたオーディオビットストリームをビデオ受信システム１２０のＲＸ回路１２２に送信する。Ａ／Ｖ  ＤＥＭＵＸ１２４は、符号化されたビデオビットストリーム（ビデオエンコーダ１０４により生成されたＮＡＬストリーム）及び符号化されたオーディオビットストリーム（オーディオデータパス１０８により生成されたもの）を受信し、符号化されたビデオビットストリーム及び符号化されたオーディオビットストリームにオーディオ／ビデオ逆多重化を行い、符号化されたビデオビットストリームと符号化されたオーディオビットストリームとを分離して、符号化されたビデオビットストリームと符号化されたオーディオビットストリームが、それぞれ、ビットストリームバッファ１２６とオーディオデータパス１３４とに転送されるようにする。本発明がビデオ処理及び再生に注目しているため、オーディオ処理及び再生についてのさらなる説明は簡潔性のため、ここでは省略する。ビデオ処理及び再生に関して、ＲＸ回路１２２は復号化すべきＮＡＬストリームを受信し、ビットストリームバッファ１２６は、ＲＸ回路１２２からＮＡＬストリームをＡ／Ｖ  ＤＥＭＵＸ１２４を通じて受信する。
【００１７】
ビデオデコーダ１２８は、ビットストリームバッファ１２６から複数のＮＡＬストリーム（ビデオフレームの複数の画素の画素データを符号化することにより生成されたもの）のうちのあるＮＡＬストリームを読み出し、その複数のＮＡＬストリームの最後のＮＡＬストリームがビットストリームバッファ１２６により受信される前にそのＮＡＬストリームの復号化を開始するようにアレンジされている。ディスプレイバッファ１３０は、ビデオフレームの復号化された画素データをビデオデコーダ１２８から受信するようにアレンジされている。ディスプレイ回路１３２はビデオフレームの複数の画素の一部の復号化された画素データをディスプレイバッファ１３０から読み込み、そのビデオフレームの最後の画素の復号化された画素データがビデオデコーダ１２８から生成される前に、そのビデオフレームの複数の画素の一部の復号化された画素データに従って、ディスプレイデバイス２０を駆動する。ここで、そのビデオフレームの複数の画素の一部の復号化された画素データは、ビットストリームバッファ１２６から読み出されたＮＡＬストリームの復号化により生成されている。
【００１８】
図２に示すように、一つのビデオフレームＩＭＧは複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割され、それぞれ、少なくとも一つの符号ブロック列（例えば、一つのＬＣＵ列）を含む。ビデオフレームＩＭＧは複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割されるため、フレームセグメントベースのパイプライン構造（例えば、スライスべスのパイプライン構造）は、ビデオ受信システム１２０により採用されることができ、超低遅延要件を満たす。
【００１９】
図４は、本発明の実施形態による、ビデオ受信システム１２０により採用されたフレームセグメントベースのパイプラインを図示する図である。単一フレームセグメントパイプラインが採用された場合を考える。これにより、特定のＮＡＬストリームがビットストリームバッファ１２６内で利用可能であるとき、ビデオデコーダ１２８がその特定のＮＡＬストリームの復号化を開始することが許容される。特定のフレームセグメント（その特定のＮＡＬストリームを復号化することによって生成されたもの）がディスプレイバッファ１３０内で利用可能であるとき、ディスプレイ回路１３２がその特定のフレームセグメントを表示するためディスプレイデバイス２０の駆動を開始することが許容される。また、マルチフレームセグメントパイプラインが採用された場合を考える。これにより、連続する複数のＮＡＬストリームの特定のグループがビットストリームバッファ１２６内で利用可能であるとき、ビデオデコーダ１２８がその連続する複数のＮＡＬストリームの特定のグループの復号化を開始することが許容される。連続する複数のフレームセグメントの特定のグループ（その連続する複数のＮＡＬストリームの特定のグループを復号化することによって生成されたもの）の復号化された画素データがディスプレイバッファ１３０内で利用可能であるとき、ディスプレイ回路１３２はその連続する複数のフレームセグメントの特定のグループを表示するためディスプレイデバイス２０の駆動を開始することが許容される。
【００２０】
図４に示される例は、説明する目的のため、単一フレームセグメントパイプラインを採用している。ビットストリームバッファ１２６に関して、書き込みポインタＷＰＴＲ３は、到来するＮＡＬデータがビットストリームバッファ１２６内に記憶される書き込みアドレスを制御する。読み出しポインタＲＰＴＲ３は、記憶されたＮＡＬデータがビットストリームバッファ１２６から読み出される読み出しアドレスを制御する。ディスプレイバッファ１３０に関して、書き込みポインタＷＰＴＲ４は、到来する復号化された画素データがディスプレイバッファ１３０内に記憶される書き込みアドレスを制御する。読み出しポインタＲＰＴＲ４は、記憶された復号化された画素データがディスプレイバッファ１３０から読み出される読み出しアドレスを制御する。Ａ／Ｖ  ＤＥＭＵＸ１２４は、ＮＡＬストリームＮＡＬ＿１とＮＡＬ＿２とをビットストリームバッファ１２６に連続して書き込む。ビデオデコーダ１２８は、ビットストリームバッファ１２６から読み出されたＮＡＬ＿１とＮＡＬ＿２とを連続して復号化して、対応する復号化されたフレームセグメントＦＳ＿１とＦＳ＿２を生成する。ディスプレイ回路１３２は、ディスプレイバッファ１３０から連続して読み出された復号化されたフレームセグメントＦＳ＿１とＦＳ＿２とに従って、ディスプレイデバイス２０を駆動する。Ａ／Ｖ  ＤＥＭＵＸ１２４が、書き込みポインタＷＰＴＲ３により指し示された書き込みアドレスに従って、ビットストリームバッファ１２６へのＮＡＬストリームＮＡＬ＿３の書き込みを開始するとき、ＮＡＬストリームＮＡＬ＿１及びＮＡＬ＿２はすでにビットストリームバッファ１２６に記憶されている。これにより、ビデオデコーダ１２８がＮＡＬストリームＮＡＬ＿１の復号化を完了して、フレームセグメントＦＳ＿１の復号化された画素データを生成した後、ビデオデコーダ１２８は、読み出しポインタＲＰＴＲ３により指し示された読み出しアドレスに従って、ビットストリームバッファ１２６からＮＡＬストリームＮＡＬ＿２を読み出し、ＮＡＬストリームＮＡＬ＿２の復号化を開始し、書き込みポインタＷＰＴＲ４により指し示された書き込みアドレスに従って、ディスプレイバッファ１３０に向けて、対応するフレームセグメントＦＳ＿２の復号化された画素データを生成する。ビデオデコーダ１２８がフレームセグメントＦＳ＿２（ＮＡＬストリームＮＡＬ＿２の復号化により生成されたもの）の復号化された画素データのディスプレイバッファ１３０への書き込みを開始するとき、ＮＡＬストリームＮＡＬ＿１の復号化により生成されたフレームセグメントＦＳ＿１はすでにディスプレイバッファ１３０内で利用可能となっている。これにより、ビデオデコーダ１２８がＮＡＬストリームＮＡＬ＿１の復号化を完了して、フレームセグメントＦＳ＿１の復号化された画素データを生成した後、ディスプレイ回路１３２は、読み出しポインタＲＰＴＲ４により指し示された読み出しアドレスに従って、ディスプレイバッファ１３０からフレームセグメントＦＳ＿１の復号化された画素データを読み出し、フレームセグメントＦＳ＿１を表示するためディスプレイデバイス２０の駆動を開始する。このようにして、ビデオ受信��ステム１２０のオンザフライ復号化及びオンザフライ表示駆動が、提案されたフレームセグメントベースのパイプライン構造により達成されることができる。表示データのアンダーフロー又はオーバーフローを避けるため、ビデオデコーダ１２８は、読み出しポインタＲＰＴＲ４及び書き込みポインタＷＲＴＲ４に従ってディスプレイバッファの埋まり／空き状況を監視するようにさらにアレンジされることができることに留意されたい。
【００２１】
従来の設計においては、現在のビデオフレームの最後は、次のビデオフレームの最初が検出されたときに分かる。従来のビデオ再生システムは、現在のビデオフレームの最後の送信と次のビデオフレームの最初の送信との間のレイテンシにより生じるビデオ再生レイテンシを被っている。超低遅延ビデオ再生を達成するため、本発明は、ビデオ送信システム（ビデオ記録システムとして働き得る）から「ビデオフレームの最後」メッセージをビデオ受信システム（ビデオ再生システムとして働き得る）に送信することをさらに提案する。ここで、提案された「ビデオフレームの最後」メッセージは、ビデオフレームの符号化された画素データがビデオ送信システムによって完全に送信されたことをビデオ受信システムに知らせることができるし、エラー処理判定等の所定のオペレーションに有益であることもできる。
【００２２】
一つの例示の設計においては、「ビデオフレームの最後」メッセージは、ダミーＮＡＬストリームを用いて送信される。図５は、本発明の実施形態による、ビデオエンコーダにより生成されたダミーＮＡＬストリームを図示する図である。図２に示した例示のフレーム分割設計が各ビデオフレームに適用されたことを想定する。これにより、一つのビデオフレームＩＭＧは、複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割され、それぞれ、少なくとも一つの符号ブロック列（例えば、一つのＬＣＵ列）を有する。ビデオエンコーダ１０４は、フレームセグメントＦＳ＿１〜ＦＳ＿Ｎを連続して符号化する。このため、ビデオエンコーダ１０４は、ビットストリームバッファ１０６に向けたＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを連続して生成する。ここで、ＮＡＬストリームＮＡＬ＿ＮはビデオフレームＩＭＧの符号化により生成された最後のＮＡＬストリームである。この実施形態においては、ビデオエンコーダ１０４はさらに、ダミーＮＡＬストリームＤ＿ＮＡＬを最後のＮＡＬストリームＮＡＬ＿Ｎに付加するようにさらにアレンジされる。ダミーＮＡＬストリームＤ＿ＮＡＬはユーザー定義のＮＡＬタイプを有し、ビデオフレームＩＭＧの最後を示すのに設定される。
【００２３】
ビデオ送信システム１００のＴＸ回路１１２がＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎ及びダミーＮＡＬストリームＤ＿ＮＡＬを連続して出力するので、ビデオ受信システム１２０のＲＸ回路１２２は、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎ及びダミーＮＡＬストリームＤ＿ＮＡＬを連続して受信する。ビデオ受信システム１２０は、検出されたダミーＮＡＬストリームＤ＿ＮＡＬを参照して、ビデオフレームＩＭＧの符号化された画素データがビデオ送信システム１００によって完全に送信されたこと知る。ビデオ受信システム１２０が次のビデオフレームの符号化された画素データの受信を開始する前に、現在のビデオフレームの符号化された画素データの送信の最後をビデオ受信システム１２０によって知ることができるので、現在のビデオフレームのビデオ再生レイテンシが効果的に低減されることができる。
【００２４】
図６は、本発明の実施形態による、ビデオ受信システム１２０により受信されたダミーＮＡＬストリームＤ＿ＮＡＬを処理するのに用いられる第一アレンジメントを図示する図である。Ａ／Ｖ  ＤＥＭＵＸ１２４は、ダミーＮＡＬストリームＤ＿ＮＡＬの存在を検出するようにさらにアレンジされている。ダミーＮＡＬストリームＤ＿ＮＡＬがＡ／Ｖ  ＤＥＭＵＸ１２４により検出されたときは、Ａ／Ｖ  ＤＥＭＵＸ１２４は制御回路（例えば、ＣＰＵ）１３６に向けてインジケータＳＩＮＤを生成して、制御回路１３６にビデオフレームＩＭＧの最後を知らせるようにさらにアレンジされている。これにより、制御回路１３６は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００２５】
図７は、本発明の実施形態による、ビデオ受信システム１２０により受信されたダミーＮＡＬストリームＤ＿ＮＡＬを処理するのに用いられる第二アレンジメントを図示する図である。Ａ／Ｖ  ＤＥＭＵＸ１２４は、ダミーＮＡＬストリームＤ＿ＮＡＬの存在を検出するようにさらにアレンジされている。ダミーＮＡＬストリームＤ＿ＮＡＬがＡ／Ｖ  ＤＥＭＵＸ１２４により検出されたときは、Ａ／Ｖ  ＤＥＭＵＸ１２４はビデオデコーダ１２８に向けてインジケータＳＩＮＤを生成して、ビデオデコーダ１２８にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、ビデオデコーダ１２８は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００２６】
図８は、本発明の実施形態による、ビデオ受信システム１２０により受信されたダミーＮＡＬストリームＤ＿ＮＡＬを処理するのに用いられる第三アレンジメントを図示する図である。制御回路（例えば、ＣＰＵ）１３６は、ダミーＮＡＬストリームＤ＿ＮＡＬの存在を検出するようにさらにアレンジされている。ダミーＮＡＬストリームＤ＿ＮＡＬが制御回路１３６により検出されたときは、制御回路１３６はＡ／Ｖ  ＤＥＭＵＸ１２４に向けてインジケータＳＩＮＤを生成して、Ａ／Ｖ  ＤＥＭＵＸ１２４にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、Ａ／Ｖ  ＤＥＭＵＸ１２４は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００２７】
図９は、本発明の実施形態による、ビデオ受信システム１２０により受信されたダミーＮＡＬストリームＤ＿ＮＡＬを処理するのに用いられる第四アレンジメントを図示する図である。制御回路（例えば、ＣＰＵ）１３６は、ダミーＮＡＬストリームＤ＿ＮＡＬの存在を検出するようにさらにアレンジされている。ダミーＮＡＬストリームＤ＿ＮＡＬが制御回路１３６により検出されたときは、制御回路１３６はビデオデコーダ１２８に向けてインジケータＳＩＮＤを生成して、ビデオデコーダ１２８にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、ビデオデコーダ１２８は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００２８】
他の例示の設計においては、「ビデオフレームの最後」メッセージは、パケット内に記録された特別マーカーを用いて送信されることができる。本発明の実施形態による、送信回路から生成されたパケットに含まれる特別マーカーの第一アレンジメントを図示する図である。図２に示した例示のフレーム分割設計が各ビデオフレームに適用されたことを想定する。これにより、一つのビデオフレームＩＭＧは、複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割され、それぞれ、少なくとも一つの符号ブロック列（例えば、一つのＬＣＵ列）を有する。ビデオエンコーダ１０４は、フレームセグメントＦＳ＿１〜ＦＳ＿Ｎを連続して符号化する。このため、ビデオエンコーダ１０４は、ビットストリームバッファ１０６に向けたＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを連続して生成する。ここで、ＮＡＬストリームＮＡＬ＿ＮはビデオフレームＩＭＧの符号化により生成された最後のＮＡＬストリームである。本発明のいくつかの実施形態において、通信リンク１５は、ＷｉＦｉ（登録商標）等のネットワークリンクであることができる。これにより、ＴＸ回路１１２は、ネットワークインタフェースの一部であり、複数のパケットによってＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを送信するのに用いられる。例えば、ＴＸ回路１１２は、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを複数のパケットにパケット化し、それらのパケットを、通信リンク１５を介してビデオ受信システム１２０に出力する。この例において、最後のＮＡＬストリームＮＡＬ＿Ｎは、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを送信するのに用いられる複数のパケットの最後のパケットＰＫＴＬＡＳＴのペイロードによって完全に送信される。ＴＸ回路１１２は、最後のパケットＰＫＴＬＡＳＴ内に特別マーカーＭＫを挿入するようにさらにアレンジされている。ここで、最終ＰＫＴＬＡＳＴ内の特別マーカーＭＫは、ビデオフレームＩＭＧの最後を示すため、最後のパケットＰＫＴＬＡＳＴの少なくとも一つ予約ビットを用いることによって設定される。この例においては、特別マーカーＭＫは、最後のパケットＰＫＴＬＡＳＴ内の最後のＮＡＬストリームＮＡＬ＿Ｎより前に位置する（複数の）予約ビット内に記録される。しかし、これは説明することのみを目的としており、本発明を限定することを意味していない。あるいは、特別マーカーＭＫは最後のパケットＰＫＴＬＡＳＴ内の最後のＮＡＬストリームＮＡＬ＿Ｎの後に位置する（複数の）予約ビット内に記録されてもよい。これでも本発明の範囲内に入る。
【００２９】
図１１は、本発明の他の実施形態による、送信回路から生成されたパケットに含まれる特別マーカーの第二アレンジメントを図示する図である。図２に示した例示のフレーム分割設計が各ビデオフレームに適用されたことを想定する。これにより、一つのビデオフレームＩＭＧは、複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎ（例えば、スライス）に分割され、それぞれ、少なくとも一つの符号ブロック列（例えば、一つのＬＣＵ列）を有する。ビデオエンコーダ１０４は、フレームセグメントＦＳ＿１〜ＦＳ＿Ｎを連続して符号化する。このため、ビデオエンコーダ１０４は、ビットストリームバッファ１０６に向けたＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを連続して生成する。ここで、ＮＡＬストリームＮＡＬ＿ＮはビデオフレームＩＭＧの符号化により生成された最後のＮＡＬストリームである。本発明のいくつかの実施形態において、通信リンク１５は、ＷｉＦｉ（登録商標）等のネットワークリンクであることができる。これにより、ＴＸ回路１１２は、ネットワークインタフェースの一部であり、複数のパケットによってＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを送信するのに用いられる。例えば、ＴＸ回路１１２は、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを複数のパケットにパケット化し、それらのパケットを、通信リンク１５を介してビデオ受信システム１２０に出力する。この例においては、最後のＮＡＬストリームＮＡＬ＿Ｎが複数のＮＡＬセグメントＮＡＬ＿Ｓ１、ＮＡＬ＿Ｓ２…ＮＡＬ＿ＳＭに分割される。ここで、Ｍは、２以上の正の整数（つまり、Ｎ≧２）である。ＮＡＬセグメントＮＡＬ＿Ｓ１〜ＮＡＬ＿ＳＭは、複数のパケットのペイロードによってそれぞれ送信される。図１１に示すように、最後のＮＡＬ＿ＳＭは、最後のＮＡＬストリームＮＡＬ＿Ｎを送信するのに用いられる複数のパケットの最後のパケットのペイロードによって完全に送信される。言い換えると、パケットＰＫＴＬＡＳＴは、ビデオフレームＩＭＧのフレームセグメントＦＳ＿１〜ＦＳ＿Ｎの符号化により生成されたＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを送信するのに用いられる複数のパケットの最後のパケットでもある。ＴＸ回路１１２は、最後のパケットＰＫＴＬＡＳＴ内に特別マーカーを挿入するようにさらにアレンジされている。ビデオフレームＩＭＧの最後を示すため、最後のパケットＰＫＴＬＡＳＴの少なくとも一つ予約ビットを用いることによって設定される。この例においては、特別マーカーＭＫは、最後のパケットＰＫＴＬＡＳＴ内にある最後のＮＡＬストリームＮＡＬ＿Ｎより前に位置する（複数の）予約ビット内に記録される。しかし、これは説明することのみを目的としており、本発明を限定することを意味していない。あるいは、特別マーカーＭＫは最後のパケットＰＫＴＬＡＳＴ内にある最後のＮＡＬストリームＮＡＬ＿Ｎの後に位置する（複数の）予約ビット内に記録されてもよい。これでも本発明の範囲内に入る。
【００３０】
ビデオ送信システム１００のＴＸ回路１１２が複数のパケット（ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎのパケット化により生成される）を連続して出力するので、ビデオ受信システム１２０のＲＸ回路１２２は、その複数のパケット（ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを搬送するもの）を連続して受信する。ビデオ受信システム１２０は、特別マーカーＭＫを参照して、ビデオフレームＩＭＧの符号化された画素データがビデオ送信システム１００によって完全に送信されたこと知る。ビデオ受信システム１２０が次のビデオフレームの符号化された画素データの受信を開始する前に、現在のビデオフレームの符号化された画素データの送信の最後をビデオ受信システム１２０によって知ることができるので、現在のビデオフレームのビデオ再生レイテンシが効果的に低減されることができる。
【００３１】
図１２は、本発明の実施形態による、ビデオ受信システム１２０により受信された特別マーカーＭＫを処理するのに用いられる第一アレンジメントを図示する図である。Ａ／Ｖ  ＤＥＭＵＸ１２４は、特別マーカーＭＫの存在を検出するようにさらにアレンジされている。特別マーカーＭＫがＡ／Ｖ  ＤＥＭＵＸ１２４により検出されたときは、Ａ／Ｖ  ＤＥＭＵＸ１２４は制御回路（例えば、ＣＰＵ）１３６に向けてインジケータＳＩＮＤを生成して、制御回路１３６にビデオフレームＩＭＧの最後を知らせるようにさらにアレンジされている。これにより、制御回路１３６は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００３２】
図１３は、本発明の実施形態による、ビデオ受信システム１２０により受信された特別マーカーＭＫを処理するのに用いられる第二アレンジメントを図示する図である。Ａ／Ｖ  ＤＥＭＵＸ１２４は、特別マーカーＭＫの存在を検出するようにさらにアレンジされている。特別マーカーＭＫがＡ／Ｖ  ＤＥＭＵＸ１２４により検出されたときは、Ａ／Ｖ  ＤＥＭＵＸ１２４はビデオデコーダ１２８に向けてインジケータＳＩＮＤを生成して、ビデオデコーダ１２８にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、ビデオデコーダ１２８は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００３３】
図１４は、本発明の実施形態による、ビデオ受信システム１２０により受信された特別マーカーＭＫを処理するのに用いられる第三アレンジメントを図示する図である。制御回路（例えば、ＣＰＵ）１３６は、特別マーカーＭＫの存在を検出するようにさらにアレンジされている。特別マーカーＭＫが制御回路１３６により検出されたときは、制御回路１３６はＡ／Ｖ  ＤＥＭＵＸ１２４に向けてインジケータＳＩＮＤを生成して、Ａ／Ｖ  ＤＥＭＵＸ１２４にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、Ａ／Ｖ  ＤＥＭＵＸ１２４は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００３４】
図１５は、本発明の実施形態による、ビデオ受信システム１２０により受信された特別マーカーＭＫを処理するのに用いられる第四アレンジメントを図示する図である。制御回路（例えば、ＣＰＵ）１３６は、特別マーカーＭＫの存在を検出するようにさらにアレンジされている。特別マーカーＭＫが制御回路１３６により検出されたときは、制御回路１３６はビデオデコーダ１２８に向けてインジケータＳＩＮＤを生成して、ビデオデコーダ１２８にビデオフレームＩＭＧの最後を知らせるようにアレンジされている。これにより、ビデオデコーダ１２８は、そのインジケータＳＩＮＤに対して所定のアクションをとることができる。
【００３５】
ビデオエンコーダレイテンシは、ビデオ解像度（特に、縦方向のサイズ（vertical  size））、符号ブロックサイズ（例えば、ＬＣＵサイズ）、フレームセグメントサイズ（例えば、スライスサイズ）等の複数の要素によって影響を受けることがある。一つのビデオフレームに含まれるフレームセグメントの数は、フレームセグメントサイズに依存することに留意されたい。これにより、フレームセグメントサイズの変更は、一つのビデオフレームに含まれるフレームセグメントの数を変更することに等価である。一つのフルのビデオフレームをビデオエンコーダに供給する入力時間が固定であるとき、ビデオ解像度（より大きい縦方向のサイズ）がより大きくなると、ビデオエンコーダによって符号化される一つのフレームセグメントの画素データを受信するためのレイテンシがより短くなることを意味する。ビデオエンコーダのフレーム符号化レートが固定されているとき、ビデオ解像度（より大きい縦方向のサイズ）がより大きくなると、一つのフレームセグメントの画素データを符号化するためのレイテンシがより長くなることを意味する。さらに、符号ブロックサイズ（例えば、ＬＣＵサイズ）がより大きくなると、レイテンシがより長くなることを意味し、フレームセグメントサイズ（例えば、スライスサイズ）がより大きくなるとレイテンシがより長くなることを意味する。また、符号ブロックサイズ（例えば、ＬＣＵサイズ）及びフレームセグメントサイズ（例えば、スライスサイズ）も、ビデオエンコーダのビットストリームビットレートに影響を与える可能性がある要素である。例えば、符号ブロックサイズ（例えば、ＬＣＵサイズ）がより小さくなると、ビットレートオーバヘッドが多くなることを意味し、フレームセグメントサイズ（例えば、スライスサイズ）がより小さくなると、ビットレートオーバヘッドが多くなる。本発明は、さらにビデオ送信システム１００の制御回路（例えば、ＣＰＵ）１１４を用いて、ビデオエンコーダ１０４により採用される符号ブロックサイズ及び／又はビデオエンコーダ１０４のレイテンシ要件に応じた各フレームセグメントのサイズを適応的に設定することを提案する。本発明のいくつかの実施形態においては、ビデオエンコーダ１０４のレイテンシ要件は、異なるビデオソース解像度（例えば、７２０ｘ４８０、１２８０ｘ７２０、１９２０ｘ１０８８、３８４０ｘ２１６０等）及び／又はビデオ受信システム１２０の異なる使用ケース（例えば、ＷｉＦｉディスプレイ、ビデオ記録等）によって異なることができる。例えば、要求範囲内にビデオエンコーダレイテンシを維持するため、符号ブロックサイズ（例えば、ＬＣＵサイズ）及び／又はフレームセグメントサイズ（例えば、スライスサイズ）は、ビデオ解像度（特に、縦方向のサイズ）が大きな値に切り替わったときに上げられることができる。符号ブロックサイズ（例えば、ＬＣＵサイズ）及び／又はフレームセグメントサイズ（例えば、スライスサイズ）は、ビデオ解像度（特に、縦方向のサイズ）が小さな値に切り替わったときに下げられることができる。しかし、これは説明することのみを目的としており、本発明を限定することを意味していない。
【００３６】
従来のフレームベースのビデオ処理設計は、ビデオフレームの画素データが完全に受信されるまではビデオフレームの符号化を開始せず、ビデオフレームの符号化された画素データが完全に生成されるまでは符号化されたビデオフレームのビデオビットストリームの出力を開始しない。これにより、単一のビデオビットストリームが単一のビデオフレームのために生成、送信される。しかし、ビデオデコーダパフォーマンスは通常、エントロピー復号パフォーマンス（entropy  decoding  performance）により境界される（bounded）。図２に示されるように、本発明は、一つのビデオフレームＩＭＧを複数のフレームセグメントＦＳ＿１〜ＦＳ＿Ｎに分割することを提案している。これにより、フレームセグメントＦＳ＿１〜ＦＳ＿Ｎの符号化により生成されたＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎのそれぞれは独立して復号化可能であることができる。本発明の一つの実施形態においては、図１に示されるビデオデコーダ１２８は、複数のＮＡＬストリームに対して並列方式でエントロピー復号化を適用する複数のエントロピー復号化ユニットを有するように構成されることができる。しかし、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎが連続して送信される場合、一つのエントロピー復号化ユニットは、前のＮＡＬストリームがビデオ受信システムによって完全に受信されるまでは、現在のＮＡＬストリームへのエントロピーオペレーションを開始しないし、他のエントロピー復号化ユニットは、現在のＮＡＬストリームがビデオ受信システムによって完全に受信されるまでは、次のＮＡＬストリームへのエントロピーオペレーションを開始しない。ビデオデコーダ１２８が並列エントロピー復号化のため、複数のエントロピー復号化ユニットを備えても、ビデオデコーダレイテンシ（特に、エントロピー復号化レイテンシ）が連続して送信されたＮＡＬ＿１〜ＮＡＬ＿Ｎにより存在する。本発明は、インフレームストリームインタリービングを用いて、ビデオデコーダレイテンシ（特に、エントロピー復号化レイテンシ）を下げることをさらに提案する。
【００３７】
図１６は、本発明の実施形態による、インフレームストリームインタリービングを図示する図である。一つのビデオフレームが、スライスＳｌｉｃｅ＿１〜Ｓｌｉｃｅ＿Ｎ等の複数のフレームセグメントに分割されたことを想定する。ビデオエンコーダ１０４は、スライスＳｌｉｃｅ＿１〜Ｓｌｉｃｅ＿Ｎを符号化して、複数のＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎをそれぞれ生成する。Ａ／Ｖ  ＭＵＸ１１０は、インフレームストリームインタリービングスキームを採用して、ＴＸ回路１１２にＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎを出力する。つまり、Ａ／Ｖ  ＭＵＸ１１０は、異なるＮＡＬストリームの複数の部分をインタリーブして、ＴＸ回路１１２への多重出力を生成する。ビデオデコーダ１２８が２つのエントロピー復号化ユニットを有するように構成された場合を考える。Ａ／Ｖ  ＭＵＸ１１０は、ＮＡＬストリームＮＡＬ＿１の第一部分ＮＡＬ＿１１、ＮＡＬストリームＮＡＬ＿２の第一部分ＮＡＬ＿２１、ＮＡＬストリームＮＡＬ＿１の第二部分ＮＡＬ＿１２及びＮＡＬストリームＮＡＬ＿２の第二部分ＮＡＬ＿２２を、ＴＸ回路１１２に連続して出力する。これにより、ＴＸ回路１１２は、ＮＡＬストリームＮＡＬ＿１の第一部分ＮＡＬ＿１１、ＮＡＬストリームＮＡＬ＿２の第一部分ＮＡＬ＿２１、ＮＡＬストリームＮＡＬ＿１の第二部分ＮＡＬ＿１２、ＮＡＬストリームＮＡＬ＿２の第二部分ＮＡＬ＿２２を、ビデオ受信システム１２０に連続して出力する。ビデオデコーダ１２８の第一エントロピー復号化ユニットは、インフレームストリームインタリービング方式で送信及び受信されたＮＡＬストリームＮＡＬ＿１の第一部分ＮＡＬ＿１１及びＮＡＬストリームＮＡＬ＿１の第二部分ＮＡＬ＿１２を含むＮＡＬストリームＮＡＬ＿１にエントロピー復号化を行うように用いられる。ビデオデコーダ１２８の第二エントロピー復号化ユニットは、インフレームストリームインタリービング方式で送信及び受信されたＮＡＬストリームＮＡＬ＿２の第一部分ＮＡＬ＿２１及びＮＡＬストリームＮＡＬ＿２の第二部分ＮＡＬ＿２２を含むＮＡＬストリームＮＡＬ＿２にエントロピー復号化を行うように用いられる。ＮＡＬストリームＮＡＬ＿１の第一部分ＮＡＬ＿１１、ＮＡＬストリームＮＡＬ＿２の第一部分ＮＡＬ＿２１、ＮＡＬストリームＮＡＬ＿１の第二部分ＮＡＬ＿１２及びＮＡＬストリームＮＡＬ＿２の第二部分ＮＡＬ＿２２がビデオ受信システム１２０により連続して受信されるので、第二エントロピー復号化ユニットは、ＮＡＬストリームＮＡＬ＿１がビデオ受信システム１２０により完全に受信される前に、ＮＡＬストリームＮＡＬ＿２の第一部分ＮＡＬ＿２１にエントロピー復号化を行うことを開始することができる。このように、ビデオデコーダレイテンシ（特に、エントロピー復号化レイテンシ）を効果的に下げることができる。ビデオデコーダ１２８は二つよりも多くのエントロピー復号化ユニットを有するように構成されてよく、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎの各々は、二つよりも多くの部分に分割されてよいことに留意されたい。提案したインフレームストリームインタリービングスキームは、ＮＡＬストリームＮＡＬ＿１〜ＮＡＬ＿Ｎの部分をインタリーブするのに用いられて、ビデオデコーダレイテンシを下げる同じ目的を達成することができる（特に、エントロピー復号化レイテンシ）。
【００３８】
当業者であれば、本装置及び本方法の多様な修正物及び代替物が、発明の教示を保持しつつなされることができることに容易に気づくだろう。したがって、上記の開示は、添付の特許請求の範囲の境界によってのみ制限されるものとして解釈されるべきである。
【符号の説明】
【００３９】
１０  ビデオソース
１５  通信リンク
２０  ディスプレイデバイス
１００  ビデオ送信システム
１０２  ソースバッファ
１０４  ビデオエンコーダ
１０６  ビットストリームバッファ
１０８  オーディオデータパス
１１０  ビデオ多重化回路
１１２  送信回路
１１４  制御回路
１２０  ビデオ受信システム
１２２  受信回路
１２４  ビデオ逆多重化回路
１２６  ビットストリームバッファ
１２８  ビデオデコーダ
１３０  ディスプレイバッファ
１３２  ディスプレイ回路
１３４  オーディオデータパス
１３６  制御回路
【図１】
2017143511.tif 000003
【図２】
2017143511.tif 000004
【図３】
2017143511.tif 000005
【図４】
2017143511.tif 000006
【図５】
2017143511.tif 000007
【図６】
2017143511.tif 000008
【図７】
2017143511.tif 000009
【図８】
2017143511.tif 000010
【図９】
2017143511.tif 000011
【図１０】
2017143511.tif 000012
【図１１】
2017143511.tif 000013
【図１２】
2017143511.tif 000014
【図１３】
2017143511.tif 000015
【図１４】
2017143511.tif 000016
【図１５】
2017143511.tif 000017
【図１６】
2017143511.tif 000018
【外国語明細書】
2017143511000001.pdf