(57)【要約】      （修正有）【課題】従属ランダムアクセスポイント（ＤＲＡＰ）ピクチャを導入して、効率的なビデオ符号化および復号化を提供する。【解決手段】ビデオビットストリームの復号方法は、ビデオビットストリームの従属ランダムアクセスポイント(ＤＲＡＰ)ピクチャに付随するデータを特定し、特定されたＤＲＡＰピクチャに付随するデータを用いてＤＲＡＰピクチャを復号し、出力順序及び復号順序でＤＲＡＰピクチャに後続する、ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非ＲＡＰ)ピクチャを復号する。少なくとも一つの非ＲＡＰピクチャは、ビデオビットストリーム中の復号順序でＤＲＡＰピクチャに先行するどの非ＲＡＰピクチャをも参照ピクチャとして用いることを許さないよう符号化されることを含む。【選択図】図２１
2019195203.tif 000002
【特許請求の範囲】
【請求項１】
ビデオビットストリームを復号するための方法であって、
前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号すること(S1)と、
前記ビデオビットストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号すること(S2)であって、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成することとを含む方法。
【請求項２】
請求項１に記載の方法であって、前記DRAPピクチャを復号すること(S2)は、前記ビデオビットストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを復号すること(S2)を含む方法。
【請求項３】
請求項１または２に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられた補足的拡張情報(SEI)メッセージに基づいたDRAPピクチャとして特定すること(S50)をさらに含む方法。
【請求項４】
請求項１または２に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられ、かつ前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含まれたピクチャタイプ識別子に基づいたDRAPピクチャとして特定すること(S60)をさらに含む方法。
【請求項５】
請求項１乃至４のいずれか一項に記載の方法であって、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント（非RAP)ピクチャを復号すること(S20)をさらに含み、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、方法。
【請求項６】
請求項５に記載の方法であって、さらに、
前記復号されたDRAPピクチャを出力すること(S21)と、
前記少なくとも一つの復号された非RAPピクチャを出力することとを含む方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の方法であって、前記DRAPピクチャを用いて前記ビデオビットストリームの中へのランダムアクセスオペレーションを実行すること(S30)をさらに含む方法。
【請求項８】
請求項７に記載の方法であって、出力順序で前記DRAPピクチャに先行しておりかつ復号済みピクチャバッファ(115)の中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定することをさらに含む方法。
【請求項９】
請求項１乃至８のいずれか一項に記載の方法であって、前記DRAPピクチャを復号すること(S2)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび／または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを復号すること(S2)を含む、方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットから前記IRAPピクチャの識別子を検索すること(S10)をさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
【請求項１１】
ビデオストリームを符号化するための方法であって、
前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化すること(S100)と、
前記ビデオストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化すること(S101)であって、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成することとを含む方法。
【請求項１２】
請求項１１に記載の方法であって、前記DRAPピクチャを符号化すること(S101)は、前記ビデオストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを符号化すること(S101)を含む方法。
【請求項１３】
請求項１１または１２に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャをDRAPピクチャとして特定する補足的拡張情報(SEI)メッセージに関連づけること(S130)をさらに含む方法。
【請求項１４】
請求項１１または１２に記載の方法であって、前記DRAPピクチャに関連付けられたピクチャタイプ識別子を、前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含ませること（140）をさらに含み、前記ピクチャタイプ識別子は前記DRAPピクチャをDRAPピクチャとして特定する、方法。
【請求項１５】
請求項１１乃至１４のいずれか一項に記載の方法であって、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオストリームの少なくとも一つの非ランダムアクセスポイント（非RAP)ピクチャを符号化すること(S110)をさらに含み、前記少なくとも一つの非RAPピクチャは、前記ビデオストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、方法。
【請求項１６】
請求項１１乃至１５のいずれか一項に記載の方法であって、前記DRAPピクチャを符号化すること(S101)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび／または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを符号化すること(S101)を含む、方法。
【請求項１７】
請求項１１乃至１６のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットに、前記IRAPピクチャの識別子を含ませること(S120)をさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
【請求項１８】
請求項１乃至１７のいずれか一項に記載の方法であって、前記DRAPピクチャは前記ビデオビットストリームの最下位層に属する、方法。
【請求項１９】
ビデオビットストリームを復号するためのデコーダ(100,110,120)であって、
前記デコーダ(100,110,120)は、前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号するよう構成され、
前記デコーダ(100,110,120)は、前記ビデオビットストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号するよう構成され、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成するデコーダ。
【請求項２０】
請求項１９に記載のデコーダであって、前記デコーダ(100,110,120)は、ビデオビットストリームの中の復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを復号するよう構成されるデコーダ。
【請求項２１】
請求項１９または２０に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを、前記DRAPピクチャに関連づけられた補足的拡張情報(SEI)メッセージに基づいたDRAPピクチャとして特定するよう構成されるデコーダ。
【請求項２２】
請求項１９または２０に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを、前記DRAPピクチャに関連づけられ、かつ前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含まれたピクチャタイプ識別子に基づいたDRAPピクチャとして特定するよう構成されるデコーダ。
【請求項２３】
請求項１９乃至２２のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント（非RAP)ピクチャを復号するよう構成され、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、デコーダ。
【請求項２４】
請求項２３に記載のデコーダであって、
前記デコーダ(100,110,120)は、前記復号されたDRAPピクチャを出力するよう構成され、
前記デコーダ(100,110,120)は、前記少なくとも一つの復号された非RAPピクチャを出力するよう構成されるデコーダ。
【請求項２５】
請求項１９乃至２４のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを用いて前記ビデオビットストリームの中へのランダムアクセスオペレーションを実行するよう構成されるデコーダ。
【請求項２６】
請求項２５に記載のデコーダであって、前記デコーダ(100,110,120)は、出力順序で前記DRAPピクチャに先行しておりかつ復号済みピクチャバッファ(115)の中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定するよう構成されるデコーダ。
【請求項２７】
請求項１９乃至２６のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび／または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを復号するよう構成されるデコーダ。
【請求項２８】
請求項１９乃至２７のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャの参照ピクチャセットから前記IRAPピクチャの識別子を検索するよう構成され、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、デコーダ。
【請求項２９】
請求項１９乃至２８のいずれか一項に記載のデコーダであって、
前記IRAPピクチャを復号するよう構成されたIRAPデコーダ(111)と、
前記DRAPピクチャを復号するよう構成されたDRAPデコーダ(112)とを含むデコーダ。
【請求項３０】
請求項１９乃至２８のいずれか一項に記載のデコーダであって、
プロセッサ(121)と、
前記プロセッサ(121)により実行可能な命令を含むメモリ(122)とを含み、
前記プロセッサ(121)は、前記IRAPピクチャを復号するよう機能し、
前記プロセッサ(121)は、前記DRAPピクチャを復号するよう機能する、デコーダ。
【請求項３１】
ビデオビットストリームを復号するためのデコーダ(130)であって、
前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号するためのIRAPデコーダ(131)と、
前記ビデオビットストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号するためのDRAPデコーダ(132)とを含み、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成する、デコーダ。
【請求項３２】
ビデオストリームを符号化するためのエンコーダ(200,210,220)であって、
前記エンコーダ(200,210,220)は、前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するよう構成され、
前記エンコーダ(200,210,220)は、前記ビデオストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化するよう構成され、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、エンコーダ。
【請求項３３】
請求項３２に記載のエンコーダであって、前記エンコーダ(200,210,220)は、ビデオストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを符号化するよう構成されるエンコーダ。
【請求項３４】
請求項３２または３３に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャを、前記DRAPピクチャをDRAPピクチャとして特定する補足的拡張情報(SEI)メッセージに関連づけるよう構成されるエンコーダ。
【請求項３５】
請求項３２または３３に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャに関連付けられたピクチャタイプ識別子を、前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含ませるよう構成され、前記ピクチャタイプ識別子は前記DRAPピクチャをDRAPピクチャとして特定する、エンコーダ。
【請求項３６】
請求項３２乃至３５のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオストリームの少なくとも一つの非ランダムアクセスポイント（非RAP)ピクチャを符号化するよう構成され、前記少なくとも一つの非RAPピクチャは、前記ビデオストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、エンコーダ。
【請求項３７】
請求項３２乃至３６のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび／または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを符号化するよう構成されるエンコーダ。
【請求項３８】
請求項３２乃至３７のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャの参照ピクチャセットに前記IRAPピクチャの識別子を含ませるよう構成され、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示すエンコーダ。
【請求項３９】
請求項３２乃至３８のいずれか一項に記載のエンコーダであって、
前記IRAPピクチャを符号化するよう構成されたIRAPエンコーダ(211)と、
前記DRAPピクチャを符号化するよう構成されたDRAPデコーダ(212)とを含むエンコーダ。
【請求項４０】
請求項３２乃至３８のいずれか一項に記載のエンコーダであって、
プロセッサ(221)と、
前記プロセッサ(221)により実行可能な命令を含むメモリ(222)とを含み、
前記プロセッサ(221)は、前記IRAPピクチャを符号化するよう機能し、
前記プロセッサ(221)は、前記DRAPピクチャを符号化するよう機能する、エンコーダ。
【請求項４１】
ビデオストリームを符号化するためのエンコーダ(230)であって、
前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するためのIRAPエンコーダ(231)と、
前記ビデオストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化するためのDRAPエンコーダ(232)とを含み、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、エンコーダ。
【請求項４２】
命令を含むコンピュータプログラム(340)であって、前記命令は、プロセッサ(310)により実行された際に前記プロセッサ(310)に、
ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号させ、
前記ビデオビットストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号させ、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成する、コンピュータプログラム。
【請求項４３】
命令を含むコンピュータプログラム(340)であって、前記命令は、プロセッサ(310)により実行された際に前記プロセッサ(310)に、
ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化させ、
前記ビデオストリームの中の前記IRAPピクチャおよび／または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化させ、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、コンピュータプログラム。
【請求項４４】
請求項４２または４３に記載のコンピュータプログラム(340)を含む担体(350)であって、前記担体(350)は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちのひとつである、担体。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は一般に、ビデオ符号化および復号化と、特に、そのようなビデオ符号化および復号化の間に従属ランダムアクセスポイントを導入し、使用することとに関連している。
【背景技術】
【０００２】
インターネット、放送ネットワークおよび移動通信ネットワーク上で送信されるビデオデータの量は年ごとに増大している。この傾向は、高品質のビデオおよびテレビおよび他のビデオサービスを見る一層柔軟な方法に対する需要増のほか、Netflix、Hulu、およびYouTube(登録商標)のような並はずれた(OTT)サービスの使用の増大によっても押し進められる。
【０００３】
ビデオへのますます高まるビットレート需要に応じるために、優れたビデオ圧縮を持つことが重要である。最近、JCT-VCはMPEGと協力して、先行するAVC/H.264と比べて、同じ品質のためのビットレートを効率的に半分にカットする高効率ビデオ符号化(HEVC)バージョン1ビデオコーデックを開発した。
【０００４】
H.265とも称されるHEVCは、時間的および空間的な予測の両方を利用するブロックベースのビデオコーデックである。空間的な予測は、現在のピクチャの中からイントラ(I)予測を使って達成される。イントラ符号化ブロックだけから成るピクチャはIピクチャと称される。時間的な予測は、単方向予測とも呼ばれるインター予測(P)、または双方向予測とも呼ばれる双方向インター予測(B)をブロックレベルで用いて達成される。インター予測においては、予測は、一つの以前に復号されたピクチャから行われる。双方向インター予測においては、予測は、以前に復号された同じピクチャまたは以前に復号された二つの異なるピクチャのいずれかを参照できる二つの予測の組み合わせから行われる。以前に復号されたピクチャ（複数）は、現在のピクチャの前に復号されて、表示時(出力順序)においては現在のピクチャの前または後に来てよい。少なくとも一つのインター符号化ブロック（ただし双方向インター符号化ブロックではない）を含んでいるピクチャは Pピクチャと呼ばれる。少なくとも一つの双方向インター符号化ブロックを含んでいるピクチャは、Bピクチャと呼ばれる。PピクチャとBピクチャはまたイントラ符号化されたブロックを含むことができる。典型的なブロックでは、イントラ符号化は一般にインター符号化と比較してビットコストが非常に高価であり、一般に双方向予測符号化よりも高価である。
【０００５】
瞬時復号リフレッシュ(instantaneous decoding refresh:IDR)ピクチャは、後続のピクチャがそのIDRピクチャに先行するピクチャを参照できないIピクチャである。クリーンランダムアクセス(CRA)ピクチャは、ランダムアクセススキップトリーディング(RASL)ピクチャが、復号順序でそのCRAピクチャに後続するピクチャを参照することを可能にし、表示または出力順序でそのCRAピクチャに先行するI-ピクチャである。復号がCRAピクチャで開始される場合、CRAピクチャがランダムアクセスのための利用されるときには、RASLピクチャが、予測のために利用できない可能性のあるCRAピクチャに先行するピクチャから予測することを許されているため、RASLピクチャはドロップされなければならない。中断(broken)リンクアクセス(BLA)ピクチャは、ビットストリームの中の接合ポイントを示すために使われるI-ピクチャである。ビットストリーム接合操作は、第一のビットストリーム内のCRAピクチャのピクチャタイプをBLAピクチャへ変更し、そのストリームをその他のビットストリーム内の適切な位置で連結することによって実行できる。
【０００６】
イントラランダムアクセスポイント(IRAP)ピクチャは、IDR、CRAまたはBLAのうちのどれかひとつであってよい。すべてのIRAPピクチャは、復号順序および出力順序の両方においてIRAPに後続するピクチャが、復号順序でIRAPピクチャに先行するどのようなピクチャも参照しないことを保証する。ビットストリームの最初のピクチャはIRAPピクチャでなければならないが、多くの他のIRAPピクチャがビットストリームにわたってあってもよい。例えばテレビを見始めるときやひとつのテレビチャネルから別のチャネルに切り換えるときに、IRAPピクチャは、ビデオビットストリームに合わせる(tune in)可能性をもたらす。IRAPピクチャはまた、例えば、ビデオプレーヤのコントロールバーを使って再生位置を移動することによってビデオクリップの中でシークするために使用することができる。さらに、ビデオビットストリームの中にエラーまたは欠損がある場合に、IRAPピクチャはビデオのリフレッシュを提供する。
【０００７】
ビデオシーケンスは、一般に、IRAPピクチャの間の固定された最大のピクチャ距離を使って圧縮される。IRAPの頻度がより高くなれば、チャネル切替えはより速くなり、ビデオクリップの中でのシークの細分性が高くなる。これはIRAPピクチャのビットコストに対して釣り合いが取れている。共通のIRAPピクチャ間隔は0.5〜1.0秒の間で変わる。
【０００８】
IRAPピクチャと、PピクチャおよびBピクチャなどの時間的予測ピクチャとの違いを見る一つの方法は、IRPAピクチャは独立した静止画のようであり、一方、時間的予測ピクチャは前のピクチャに対する従属差分(dependent delta)ピクチャであることである。
【０００９】
図１はビデオシーケンスの一例を示し、そこにおいて最初のピクチャがIRAPピクチャであり、後続のピクチャがPピクチャである。上段は、ビットストリームの中で送信されるものを示し、下段は、復号されたピクチャがどのように見えるかを示す。見てのとおり、Pピクチャが差分ピクチャである一方、IRAPピクチャは完全なピクチャを伝達する。IRAPピクチャが時間的なピクチャ予測を使わないので、その圧縮サイズは対応する時間的予測ピクチャより通常何倍も大きい。
【００１０】
実際の符号化されたシーケンスを見ることによって、Pピクチャに比べてどのくらい多くのビットがIRAPピクチャに使われるかの指標を得ることができる。JCT-VC標準化グループによって提供されるHEVCコーデックのための共通条件ビットストリームを見よう。最初のピクチャを除いたすべてのIRAPピクチャを二つのセットのシーケンスのためのPピクチャに変換することによって達成可能なビットレートの節約の推定が表1および表2で報告される。例として、表1は、IRAPピクチャとして最初のピクチャだけを持つKimonoテストシーケンスを符号化することが、毎秒ひとつのIRAPピクチャを使用して符号化された同じシーケンスに比べて、10.5%低いビットレートをもたらすことを示す。
【００１１】
【表１】
2019195203.tif 000003
【００１２】
【表２】
2019195203.tif 000004
【００１３】
従って、効率的なビデオ符号化および復号化、特に、ランダムアクセスポイントの数とそのようなランダムアクセスポイントのビットコストとの間のバランスを取るそのようなビデオ符号化および復号化に対するニーズがある。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
効率的なビデオ符号化および復号化を提供することが一般的な目的である。
【００１５】
ビデオビットストリーム内の新しいタイプのランダムアクセスポイントを提供することが具体的な目的である。
【００１６】
これらの目的および他の目的はここに開示された実施形態によって達成されている。
【００１７】
実施形態の一側面は、ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号することを含むビデオビットストリームを復号するための方法に関する。この方法はまた、ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【００１８】
実施形態に関する一側面は、ビデオビットストリームを復号するためのデコーダを定義する。そのデコーダはビデオビットストリームのIRAPピクチャを復号するよう構成される。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【００１９】
この実施形態に関する他の側面は、ビデオビットストリームを復号し、ビデオビットストリームのIRAPピクチャを復号するためのIRAPデコーダを含むデコーダを定義する。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号するためのDRAPデコーダを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２０】
実施形態の他の側面はビデオストリームを符号化するための方法に関する。その方法は、ビデオストリームのIRAPピクチャを符号化すること、および、そのストリームのDRAPピクチャを、そのビデオストリームの中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２１】
実施形態の関する一側面は、ビデオストリームを符号化するためのエンコーダを定義する。そのエンコーダは、ビデオストリームのIRAPピクチャを符号化するよう構成される。そのエンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２２】
実施形態に関する他の側面はビデオストリームを符号化するためのエンコーダに関する。このエンコーダはビデオストリームのIRAPピクチャを符号化するためのIRAPエンコーダを含む。そのエンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するためのDRAPエンコーダを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２３】
実施形態のさらなる側面は、プロセッサによって実行された際に、ビデオビットストリームのIRAPピクチャをプロセッサに復号させる命令を含むコンピュータプログラムに関する。そのプロセッサはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号させる。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２４】
実施形態のさらに他の側面は、プロセッサによって実行された際に、ビデオストリームのIRAPピクチャをプロセッサに符号化させる命令を含むコンピュータプログラムに関する。そのプロセッサはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化させられる。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
【００２５】
この実施形態に関連する側面は、上記実施形態に従うコンピュータプログラムを含む担体を定義する。この担体は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちのひとつである。
【００２６】
本実施形態は、ランダムアクセスオペレーションを行うために利用できる、ビデオビットストリーム中の新しいタイプのランダムアクセスポイント(RAP)ピクチャを提供する。このRAPピクチャは、それが、前のIRAPピクチャおよび／または前のDRAPピクチャを唯一の参照ピクチャとして用いて符号化され、また復号されることを意味している従属RAP(DRAP)ピクチャである。結果として、このDRAPピクチャはIRAPピクチャに比べて著しく低いビットコストで表されることができるが、それでも、ビデオビットストリーム中のRAPを構成している。
【図面の簡単な説明】
【００２７】
実施形態は、そのさらなる目的および利点とともに、添付の図面と併せた以下の説明を参照することによって最もよく理解されるであろう。
【図１】図１は最初のIRAPピクチャおよび後続のPピクチャを伴うビデオシーケンスの例を説明する。
【図２】図２は実施形態に従ってビデオビットストリームを復号するための方法を説明しているフローチャートである。
【図３】図３は、図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図４】図４は、図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図５】図５は、図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図６】図６は、図５中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図７】図７は、図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図８】図８は、図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図９】図９は、現在のHEVCバージョン１仕様を用いるランダムアクセス構成を概略的に説明している。
【図１０】図１０は、従来のIRAPアプローチを用いる画面コンテンツの符号化の例を説明している。
【図１１】図１１は、実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。
【図１２】図１２は、他の実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。
【図１３】図１３は、実施形態に従ってDRAPピクチャを用いる画面コンテンツの符号化の例を説明している。
【図１４】図１４は、他の実施形態に従ってDRAPピクチャを用いる画面コンテンツの符号化の例を説明している。
【図１５】図１５は、更なる実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。
【図１６Ａ】、
【図１６Ｂ】、
【図１６Ｃ】図１６Ａ−図１６Ｃは、DRAPピクチャおよびIRAPピクチャを用いる周期的ランダムアクセスの例を説明している。
【図１７】図１７は、実施形態に従うサーバの実装の概略ブロック図である。
【図１８】図１８は、図７中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図１９】図１９は、図７中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２０】図２０は、図７中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２１】図２１は、ランダムアクセスオペレーションのためのDRAPピクチャを用いる実施形態を説明するフローチャートである。
【図２２】図２２は、ビデオビットストリームを復号する実施形態をより詳細に説明するフローチャートである。
【図２３】図２３は、実施形態に従う、ビデオストリームを符号化する方法を説明するフローチャートである。
【図２４】図２４は、図２３中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２５】図２５は、図２３中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２６】図２６は、図２３中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２７】図２７は、図２６中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２８】図２８は、図２３中で示された方法の追加的なオプションのステップを説明しているフローチャートである。
【図２９】実施形態に従うエンコーダおよびデコーダの概略図である。
【図３０】図３０は、実施形態に従うデコーダの概略ブロック図である。
【図３１】図３１は、他の実施形態に従うデコーダの概略ブロック図である。
【図３２】図３２は、さらなる実施形態に従うデコーダの概略ブロック図である。
【図３３】図３３は、実施形態に従うエンコーダの概略ブロック図である。
【図３４】図３４は、他の実施形態に従うエンコーダの概略ブロック図である。
【図３５】図３５は、さらなる実施形態に従うエンコーダの概略ブロック図である。
【図３６】図３６は、実施形態に従うコンピュータプログラムの実装を概略的に説明している。
【発明を実施するための形態】
【００２８】
図面を通して、同じ参照番号は同じまたは対応する要素に用いられる。
【００２９】
本実施形態は一般に、ビデオ符号化および復号化に関し、特に、そのようなビデオ符号化および復号化の間に従属ランダムアクセスポイントを導入し、使用することに関する。
【００３０】
本実施形態はビデオ符号化および復号化内でランダムアクセスポイント(RAP)についての新しい概念を導入する。実施形態のRAPピクチャは、ビデオビットストリームにおけるRAPポイントとして従来使われるIRAPピクチャとは異なる。IRAPピクチャは独立して復号可能であり、すなわち、いかなる参照ピクチャも使わない。実施形態のRAPは従属ランダムアクセスポイント(DRAP)ピクチャという形の従属RAPである。それゆえ、実施形態のDRAPピクチャは独立して復号可能でなく、すなわちDRAPピクチャは少なくともひとつの参照ピクチャを用いるけれども、それでも、ビデオビットストリームの中のRAPを構成している。DRAPピクチャは、IRAPピクチャに比べて著しく少ないビットを使って符号化でき、表すことができる。それゆえ、実施形態のDRAPピクチャは、ビデオビットストリームの全体のビットコストを下げるために使うことができ、あるいは、全体のビットコストを増大させることなくビデオビットストリーム内のRAPの総数を増大させるために使うことができる。
【００３１】
DRAPピクチャは、それがどの参照ピクチャを使うことができるかにおいてさらに多くの制限を受けるという点で、DRAPピクチャは他の非IRAPピクチャと異なる。これらの制限は、DRAPピクチャがランダムアクセスオペレーションのために使われることを可能にする。ランダムアクセスオペレーションは、ビデオビットストリームのはじめからではなく復号が開始される場合である。代わりに、ランダムアクセスポイントとして特定されたポイントで、ビデオビットストリーム内のある位置で復号は開始される。ランダムアクセスオペレーションの例はすなわち、テレビを見はじめるか、またはひとつのテレビチャネルから別のものに切り換えるときに、放送されたテレビストリームの中にチャネルを合わせることを含む。
【００３２】
図２は、実施形態に従う、ビデオビットストリームを復号するための方法を説明するフローチャートである。この方法は、ステップS1においてビデオビットストリームのIRAPピクチャを復号することを含む。この方法は、それから、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含むステップS２に続く。ステップS2において復号されたDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化される。DRAPピクチャはビデオビットストリームの中のランダムアクセスポイントを構成している。
【００３３】
ステップS1において復号されたIRAPピクチャは、ステップS2においてDRAPピクチャを復号するときに参照ピクチャとして用いることができ、それゆえ、復号順序に従ってビデオビットストリームの中の先行IRAPピクチャである。IRAPピクチャはすなわちどのような参照ピクチャもなしに独立して復号される。
【００３４】
ステップS2において復号されたDRAPピクチャは、IRAPピクチャと明らかに著しく異なり、少なくともひとつの参照ピクチャを持っている。この少なくともひとつの参照ピクチャは、ビデオビットストリームの中の、ステップS1において復号されたようなIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャのいずれかである。前のDRAPピクチャはそれから、復号順序に従ってIRAPピクチャと現在のDRAPピクチャとの間に置かれる。DRAPピクチャは、参照ピクチャとして、この又はこれらのピクチャを使うことしかできず、従ってビデオビットストリームの中の他のいかなるピクチャも参照することができない。
【００３５】
一実施形態では、ステップS2は、DRAPピクチャを、復号順序に従ってビデオビットストリームの中の最も近い先行するIRAPピクチャのみをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。この実施形態では、DRAPピクチャは、復号順序に従ってビデオビットストリームの中で最も近い先行するIRAPピクチャを参照することだけよく、ステップS2においてDRAPピクチャのブロックを復号するときには、参照ピクチャとしてこの特定のIRAPピクチャを使うだけでよい。
【００３６】
DRAPピクチャは、最も近い先行するIRAPピクチャへの単一の参照表示を有する時間的予測ピクチャとして符号化されてよい。これは、DRAPピクチャがPピクチャとみなされ得ることを意味しているけれども、それがビデオビットストリームの中のRAPを構成するのに対してPピクチャがそのようなRAPを構成することができないという重要な相違がある。別の例では、DRAPピクチャはBピクチャとみなされ得る。そのような場合には、それは、最も近い先行IRAPピクチャへの唯一の参照の代わりに、同じ最も近い先行IRAPピクチャへの二つの参照を使うブロックを含むことがある。
【００３７】
DRAPピクチャを復号するときに参照ピクチャとして使われたIRAPピクチャは、好ましくはビデオビットストリームの中の、復号順序に従って最も近い先行するIRAPピクチャである。しかしながら、ここにさらに説明されるように、代替の実施形態において、参照ピクチャとしてDRAPピクチャによって使われたIRAPピクチャは、必ずしもビデオビットストリームにおいて最も近い先行IRAPピクチャである必要がないけれども、ビデオビットストリームの中の、復号順序に従って先行するIRAPピクチャであってよい。
【００３８】
別の実施形態では、ステップS2は、復号順序に従って最も近い先行するDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして使っているDRAPピクチャを復号することを含む。この実施形態では、DRAPピクチャは、他のDRAPピクチャを参照することだけができ、この、他のDRAPピクチャは、復号順序に従ってビデオビットストリームの中の最も近い先行DRAPピクチャである。
【００３９】
この特定の実施形態では、他のDRAPピクチャは、前のDRAPピクチャまたはIRAPピクチャを順に参照してよい。それゆえ、ビデオビットストリームの中の、復号順序に従ってIRAPピクチャに後続する最初のDRAPピクチャは、そのIRAPピクチャを参照し、復号順序に従って二番目のDRAPピクチャは最初のDRAPピクチャを参照するなどする。
【００４０】
DRAPピクチャは、DRAPピクチャがPピクチャ(一回の参照)またはBピクチャ(二回の参照)のどちらと同様に復号されるかに従って、先行DRAPへの一回の参照または二回の参照を含んでよい。
【００４１】
さらなる実施形態では、ステップS２は、DRAPピクチャを、復号順序に従って最も近い先行IRAPピクチャおよび復号順序に従って最も近い先行DRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。この実施形態では、DRAPピクチャは二つの異なるピクチャを参照することができる。しかしながら、これら二つの異なるピクチャは、最も近い先行IRAPピクチャおよびDRAPピクチャである。
【００４２】
図３は、図２に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は、ステップS10で開始され、それは、DRAPピクチャの参照ピクチャセット(RPS)からIRAPピクチャの識別子(ID)を検索することを含む。DRAPピクチャのRPSは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
【００４３】
方法はそれからステップS1に続き、そこではステップS10においてRPSから検索された識別子によって識別されるIRAPピクチャが復号され、それによりDRAPピクチャのために参照ピクチャとして使われる。DRAPピクチャはそれから、唯一の参照ピクチャとしてステップS1において復号されたIRAPピクチャを用いてステップS2において復号される。
【００４４】
代替の実施形態では、図２のステップS1は図３のステップS10に先がけて実行される。そのような場合に、IRAPピクチャは復号済みピクチャバッファ(DPB)中で復号されて、記憶される。そして、DRAPピクチャのRPSは、IRAPピクチャの識別子を検索するために解析される。従ってこの識別子は、すでに復号されたIRAPピクチャが短期参照ピクチャまたは長期参照ピクチャとしてDPBの中に記憶されたままとされ、DRAPピクチャのブロックを復号するときに参照ピクチャとして使われるべきであることを示す。
【００４５】
それゆえ、この実施形態では、IRAPピクチャは唯一の参照ピクチャであり、従ってDRAPピクチャのRPSの中で示される。IRAPピクチャは、復号されたIRAPピクチャが、復号済みピクチャバッファ(DPB)中にどのくらいの時間記憶され続けるべきであるかに従って、いわゆる短期参照ピクチャまたは長期参照ピクチャとして示され得る。
【００４６】
ステップS2において復号されたDRAPピクチャは、上述したように、ビデオビットストリームの中のRAPを構成している。それゆえ、DRAPピクチャはビデオビットストリームの中のRAPとして使用でき、ビデオビットストリームの中のランダムアクセスオペレーションを実行するために使用でき、すなわち、DRAPピクチャにおいてランダムアクセスオペレーションを実行することが可能である。ステップS1において復号されたIRAPピクチャがまた、ビデオビットストリームの中のRAPでもあることに注意してほしい。IRAPピクチャによって提供されたRAPは、しかしながら、IRAPピクチャがビデオビットストリームの中のいかなる他のピクチャの参照もなしに復号できることを意味している独立したRAPである。これは、DRAPピクチャによって提供されたRAPと明らかに著しく異なって、DRAPピクチャがビデオビットストリームの中の前のIRAPおよび／またはDRAPピクチャを参照することを意味している従属RAPであり、従って、唯一の参照ピクチャとして前のIRAPおよび／またはDRAPピクチャを使って復号される。
【００４７】
DRAPピクチャはビデオビットストリームの中のランダムアクセスポイントを構成している。これは、ランダムアクセスオペレーションが、ビデオビットストリームにおけるDRAPピクチャに対応している位置で起こり得ることを意味している。しかしながら、DRAPピクチャは従属RAPピクチャである。これは、DRAPピクチャが、DRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャおよび／または前のDRAPピクチャを用いて復号されることを意味している。これは、ランダムアクセスオペレーションを実行するために、IRAPピクチャおよび／または前のDRAPピクチャも復号される必要があることを意味している。しかしながら、IRAPピクチャおよび／または前のDRAPピクチャと現在のDRAPピクチャとの中間の他のいかなるピクチャも、ランダムアクセスオペレーションを実行するために復号される必要がない。それゆえ、特定の実施形態において、DRAPピクチャは、IRAPピクチャおよび／または前のDRAPピクチャと共に、ビデオビットストリームの中のランダムアクセスポイントを構成している。
【００４８】
DRAPピクチャは、参照のために使うことのできるトレーリングピクチャとして符号化される。それゆえ、HEVCにおいて、DRAPピクチャはいわゆるTRAIL_Rピクチャである。トレーリングピクチャは、出力順序で、関連するRAPピクチャに続くピクチャである。関連するRAPピクチャは、復号順序で最も近い先行RAPピクチャである。TRAIL_Rは、参照のために使うことのできるトレーリングピクチャと定義される。それゆえ、ビデオビットストリームの中の復号順序でDRAPピクチャに後続するピクチャはDRAPピクチャを参照でき、復号のあいだDRAPピクチャを参照ピクチャとして利用する。
【００４９】
従って、トレーリングピクチャは、IRAPピクチャとしてマークされないピクチャである。それは、復号順序ではIRAPピクチャに後続し、従ってIRAPピクチャのトレーリングピクチャである。HEVC規格において、トレーリングピクチャはまた、出力順序でIRAPピクチャに後続する。
【００５０】
TRAIL_Rピクチャは、HEVCにおいては、値１のネットワーク抽象層(NAL)タイプによって表示される。それゆえ、実施形態においては、DRAPピクチャは、DRAPピクチャの符号化済みビデオデータを含むNALユニットのNALユニットヘッダの中の値１のNALタイプを含む。
【００５１】
特定の実施形態において、DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中の最下位層に属する。それゆえ、この実施形態において、DRAPピクチャは、0に等しい時間的な識別子パラメータ（時間的idすなわちTemporalId）の値を持っている。0の時間的idは、DRAPピクチャが最下位層に属していて、ビデオビットストリームの中の他のピクチャによって、それらの時間的idと関係なく参照として使うことができることを意味している。
【００５２】
図４は、様々な実施形態に従って図２中で示された方法の追加的なオプションのステップを説明しているフローチャートである。この方法は図２中のステップS2から続いている。次のステップS２０は、出力順序および復号順序でDRAPピクチャに後続するビデオビットストリームの少なくともひとつの非RAPピクチャを復号することを含む。その少なくともひとつの非RAPピクチャは、ビデオビットストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
【００５３】
従って、DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャのための参照として使われるIRAPピクチャおよび／または前のDRAPピクチャを潜在的には除いて、復号順序でDRAPピクチャに先行しているいかなるピクチャも参照しない。これは、復号順序でDRAPピクチャに先行しているどの非RAPピクチャも、出力順序および復号順序でDRAPピクチャに後続しているどのような非RAPピクチャのための参照ピクチャとして使われないことを意味している。
【００５４】
それゆえ、DRAPピクチャをまたぐ予測は禁止されている。DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャに先行するいかなる非RAPピクチャ、またはDRAPピクチャと関連づけられたIRAPピクチャに先行するいかなるピクチャも予測のために使ってはならない。DRAPピクチャと関連づけられるIRAPピクチャは、復号順序で最も近い先行するIRAPピクチャである。
【００５５】
特定の実施形態では、出力順序および復号順序でDRAPピクチャに後続するピクチャは、出力順序および復号順序でDRAPピクチャに後続するピクチャがDRAPピクチャと関連づけられたIRAPピクチャを参照ピクチャとして使うことができることを例外として、復号順序でDRAPピクチャに先行するいかなるピクチャも参照ピクチャとして使うことができない。
【００５６】
別の特定の実施形態では、出力順序および復号順序でDRAPピクチャに後続しているピクチャは、後続するDRAPピクチャがIRAPピクチャを参照ピクチャとして使用できることを例外として、復号順序でDRAPピクチャに先行するいかなるピクチャも参照ピクチャとして使用できない。
【００５７】
さらなる特定の実施形態では、出力順序および復号順序でDRAPに後続するピクチャは、さらに、DRAPピクチャに関連付けられた（すなわちDRAPピクチャの復号時に参照ピクチャとして使用される）IRAPピクチャに復号順序で先行するいかなるRAPピクチャも使うことはできない。
【００５８】
これら三つの実施形態では、代わりに、前のDRAPピクチャまたは前のIRAPピクチャ（いずれも復号順序で最も近い）への参照を可能としても良い。代わりに、これら三つの実施形態では、前のIRAPピクチャおよび前のDRAP（もしあれば）の両方への参照を可能としても良い。
【００５９】
DRAPピクチャをまたぐ予測におけるこの制限は、ビデオビットストリームの中のRAPとしてのDRAPピクチャの効率的な使用を可能にする。予測がDRAPピクチャをまたいで許されるとするなら、DRAPピクチャがランダムアクセスオペレーションにおけるRAPとして使われた場合には、復号順序でDRAPピクチャに先行しているいかなる参照ピクチャもDPBの中で使用できない可能性があるので、復号順序および出力順序でDRAPピクチャに後続する非RAPピクチャは正確に復号されない可能性がある。
【００６０】
以下の二つのステップS21およびS22は出力実施形態と関連している。ステップS21は、復号されたDRAPピクチャを出力することを含む。それに続くステップS22は、非RAPピクチャを出力することを含む。
【００６１】
ステップS21とS22とにおいて出力されたピクチャは、出力順序に従って出力されるが、それは復号順序とは違っていてもよい。ランダムアクセスオペレーションにおいて、復号はIRAPピクチャで開始され(S1)、それから、ランダムアクセスオペレーションのためのRAPを構成しているDRAPピクチャ(S2)に続く。復号はそれから後続の非RAPピクチャに続く(S20)。ランダムアクセスオペレーションに続いて出力される最初のピクチャは、好ましくはDRAPピクチャであり(S21)、それから出力順序で非RAPピクチャ(S22)である。
【００６２】
それゆえ、好適な実施形態では、DRAPピクチャのための参照ピクチャとして使われたIRAPピクチャは、望ましくは出力されない。HEVCにおいて、これは、IRAPピクチャの出力フラグを、それが出力されるべきでないことを示すために、0に設定することによって示すことができる。代わりに、デコーダは、DRAPピクチャに先行しているピクチャの出力フラグの値が0であることを推定することができ、それによりDRAPピクチャでランダムアクセスオペレーションを実施するときにそのような先行ピクチャが出力されることを防止する。ピクチャの出力を抑制する他の方法を非HEVCビデオのために使うことができる。
【００６３】
ステップS21およびS22におけるピクチャの出力は、通常は表示のための出力を含む。しかしながら、代わりに、出力は、表示以外の他の目的のための出力を指すこともあり得る。非限定的な例には、変換のための出力、記憶のための出力、ビデオ分析、例えば監視用途のための出力などを含む。
【００６４】
図５は、図２に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は、ステップS30で開始され、そこではDRAPピクチャを用いてビデオビットストリームの中へのランダムアクセスオペレーションを実行することを含んでいる。この方法はステップS１に続き、そこでは関連づけられたIRAPピクチャは復号され、それにより、ステップS2においてDRAPピクチャを復号するときに参照として使用可能である。
【００６５】
ビデオビットストリームの中のRAPとしてDRAPピクチャを使って実行されたランダムアクセスオペレーションは、様々な実施形態に従う可能性がある。ランダムアクセスは、RAPでビデオビットストリームの復号を開始するデコーダの能力を当てにする。RAPは、トリックモードオペレーションと集合的に称される、局所的に記憶されたビデオビットストリームの中のシーク、早送り、早戻しのオペレーションを可能にする。ビデオのオンデマンドストリーミングにおいて、サーバは、シーク要求に対して、要求されたシークオペレーションの行先に最も近いRAPから始まるデータを送信することで応答することができる。異なるビットレートのビデオビットストリームの間で切り替えることは、送信されたビットレートを期待されるネットワークスループットと一致させるために、そしてネットワーク内の輻輳を避けるために、インターネットのためのユニキャストストリーミングで一般的に用いられる方法である。RAPで別のビデオビットストリームに切り換えることが可能である。さらにRAPは、ブロードキャストまたはマルチキャストへチャンネルを合わせること(tune in)を可能にし、チャネル切替えを可能にする。さらにRAPは、ソースシーケンスにおけるシーンのカットへの応答として、またはRAP更新要求への応答として符号化できる。
【００６６】
実施形態においては、DRAPピクチャでのランダムアクセス動作は、IRAPピクチャおよび/または前のDRAPピクチャ、すなわちDRAPピクチャが従属するピクチャをデコードし、続いて IRAPピクチャとDRAPピクチャとの間にある他のピクチャをデコードすることなくDRAPピクチャをデコードする。
【００６７】
図６は、図５に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図２中のステップS2から続いている。次のステップS４０は、出力順序でDRAPピクチャに先行しておりかつ復号済みピクチャバッファの中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定することを含む。
【００６８】
それゆえ、DRAPピクチャでビデオビットストリームの中でランダムアクセスオペレーションを実行することは、望ましくは、出力順序でDRAPピクチャに先行する、DRAPピクチャの復号の間は復号済みピクチャバッファにまだ存在しているいかなるピクチャの出力も防止することに関連づけられる。これは、HEVCの実施形態において、ステップS1で復号されたIRAPピクチャを含むこれらの先行ピクチャのためのそれぞれのピクチャ出力フラグが0に等しいと推定することによって達成される。
【００６９】
図２のステップS2におけるIRAPピクチャの復号は、好ましくは、ビデオ復号化の分野の中で良く知られたイントラモードに従って実行される。これは、技術的には一般に復号ユニット(CU)または予測ユニット(PU)、またはより一般的にピクセルまたはサンプルのブロックと呼ばれるIRAPピクチャのブロックが、各々イントラモードに従って復号されて、各ピクセルまたはサンプルが、輝度値と二つのクロミナンス値、または赤値、緑値、青値などの少なくとも一つのピクセル値またはサンプル値を持つ復号済みブロックを形成することを意味する。
【００７０】
DRAPピクチャは、唯一の参照ピクチャとしてIRAPピクチャおよび／または先行するDRAPピクチャを用いて図２のステップS2において復号される。これは、DRAPピクチャがインターモードに従って復号されることを意味している。これは、DRAPピクチャのブロックが、Pブロック、Bブロック、またはIブロックという形である可能性があることを意味している。
【００７１】
特定の実施形態では、DRAPピクチャは、DRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャおよび／またはDRAPピクチャを用いてスキップブロックとして、またはイントラブロックとして、望ましくはDRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャを用いてスキップブロックとして、またはイントラブロックとして、DRAPピクチャのブロックを復号することで、復号される。
【００７２】
スキップブロックは、ブロックが、IRAPピクチャおよび／または先行するDRAPピクチャを唯一の参照ピクチャとして用いてスキップモードに従って符号化されることを意味している。これは、スキップブロックのためのサンプル値またはピクセル値が、参照ピクチャの中に配列されたブロックからいかなる動き補償もなしに複製されることを意味している。従って、DRAPピクチャのブロックに対するスキップモードとイントラモードの組み合わせは、DRAPピクチャを符号化し、復号する効率的な方法である。
【００７３】
それゆえ、変更がされていないか、または最も近い先行するIRAPなどの参照ピクチャに対する所定の最小の差分よりも多くの変更がされていないDRAPピクチャのそれらのブロックは、好ましくはスキップブロックとして符号化され、かつ復号され、その一方、変更された、または参照ピクチャに対する所定の最小の差分よりも多くの変更がされたDRAPピクチャのブロックは、イントラブロックとして符号化され、かつ復号される。
【００７４】
別の実施形態では、DRAPピクチャのブロックは、IRAPの中に配列されたブロックが、他のIRAPピクチャの中に配列されたそれぞれのブロックと同じか或いは所定の閾値よりも大きな差がないならば、復号順序に従って先行するビデオストリームの最も近いIRAPピクチャを前記DRAPピクチャのための唯一の参照ピクチャとして用いて、スキップブロックとして符号化され、さもなければ、DRAPピクチャのブロックをイントラブロックとして符号化する。この、他のIRAPピクチャは、復号順序に従ってビデオストリームの中でIRAPピクチャに先行し、好ましくはIRAPピクチャを符号化することに先行して符号化される最も近い先行するIRAPピクチャである。
【００７５】
実施形態では、DRAPピクチャのブロックは、IRAPの中に配列されたブロックが、他のIRAPピクチャの中に配列されたそれぞれのブロックと同じか、或いは、他のIRAPピクチャの中、および復号順序に従って他のIRAPピクチャとIRAPピクチャとの間にある中間ピクチャの中に配列されたそれぞれブロックと所定の閾値よりも大きな差がないならば、復号順序に従って先行するビデオストリームの最も近いIRAPピクチャを前記DRAPピクチャのための唯一の参照ピクチャとして用いて、スキップブロックとして符号化され、さもなければ、DRAPピクチャのブロックをイントラブロックとして符号化する。
【００７６】
この特定の実施形態では、連続する復号のあいだ、参照されたIRAPピクチャが失われても他のIRAPピクチャが正確に復号されるならば、他のIRAPピクチャと参照されたIRAPピクチャとの間で変化がないビデオストリームの部分は、失われた参照されたIRAPピクチャを再構成するときに、最新の復号済みピクチャからスキップブロックを複製することで正確に隠されるだろう。他のIRAPピクチャと参照されたIRAPピクチャとの間で変更されたビデオストリームの部分は、DRAPピクチャの中のイントラブロックによりリフレッシュされる。
【００７７】
イントラモードに従うブロックの復号すなわちイントラブロックの復号は、望ましくは、ITU-TH.265シリーズH：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.4イントラ予測モードにおいて符号化された符号化ユニットのための復号処理、において記述されたように実行される。インターモードに従うブロックの復号すなわちスキップブロックのようなインターブロックの復号は、望ましくは、ITU-TH.265シリーズH：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.5インター予測モードにおいて符号化された符号化ニットのための復号処理、において記述されたように実行される。スキップブロックの復号すなわち１に等しいスキップフラグの値を有するブロックの復号は特に、ITU-TH.265シリーズH：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.5.4.1概要、に説明されている。
【００７８】
HEVCにおいて、スキップモードは、残余のデータがスキップされることを除いて新しいマージモードに類似している。マージモードは、四つの空間の候補のうちのひとつ、ひとつの時間的な候補、およびゼロモーション候補のうちの一つから動きパラメータを選ぶ。それゆえ、スキップブロックは、望ましくは、HEVCにおけるスキップモードに従って、選択されたゼロモーション候補により復号される。
【００７９】
DRAPピクチャは、ビデオストリームの中のIRAPピクチャおよび／または前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号される。これは、DRAPピクチャのブロックの実際の復号が、参照ピクチャとしてIRAPピクチャおよび／または前のDRAPピクチャを使うだけであることを意味している。
【００８０】
実施形態において、DRAPピクチャの参照ピクチャセット(RPS)は、IRAPピクチャおよび／または前のDRAPピクチャを含むだけである。これは、この第一の実施形態においては、DRAPピクチャすなわちIRAPピクチャおよび／または前のDRAPピクチャのブロックを復号するときに、DRAPピクチャのRPSが、参照ピクチャとして用いられるそのピクチャまたはそれらのピクチャの識別子を含むだけであろうということを意味している。
【００８１】
別の実施形態では、DRAPピクチャのRPSは、IRAPピクチャおよび／または前のDRAPピクチャを含むことがあり、さらには、ビデオビットストリームの中の復号順序に従って前の他のピクチャを含むことがある。しかし、RPSが他のピクチャを含むかもしれなくても、この実施形態においても、DRAPピクチャの実際の復号は、たとえRPSが他のピクチャを含んでいるとしても、IRAPピクチャおよび／または前のDRAPピクチャだけをDRAPピクチャのための参照ピクチャとして使って実行される。
【００８２】
HEVC、および、参照ピクチャセットを使っている他のビデオ符号化規格において、参照ピクチャとしてピクチャを使うことは、RPSのいわゆるCurrリストすなわちRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurrの中に識別子を持つことに対応する。これは、DRAPピクチャが、望ましくは、そのRPSのCurrリストの中のIRAPピクチャおよび／または前のDRAPピクチャの識別子を持つだけであることを意味している。DRAPピクチャを復号するときに参照ピクチャとして使うことができない他の前のピクチャの識別子は、DRAPピクチャのRPSのFollリストすなわちPocStFollまたはPocLtFollにおいてRPSにまだ存在することがある。
【００８３】
DRAPピクチャは、様々な実施形態によればビデオビットストリームの中のDRAPピクチャとして示され得る。図7は、DRAPピクチャとしてビデオビットストリームの中のピクチャを示す一例を説明しているフローチャートである。
【００８４】
この方法は、ステップS50において、そのDRAPピクチャを、そのDRAPピクチャに関連づけられた補足的拡張情報(supplemental enhancement information:SEI)メッセージに基づいたひとつのDRAPピクチャとして特定することを含む。この方法はそれから図2におけるステップS1に続く。
【００８５】
一例では、SEIメッセージは、ピクチャがDRAPピクチャであり、従ってビデオビットストリームの中のRAPとして用いることができることを示している関連ピクチャと共に送られる。それゆえ、ビデオビットストリームの中のSEIメッセージの配置は、SEIメッセージがどのピクチャに付属しているかを示す。
【００８６】
一実施形態では、SEIメッセージは空のことがあり、デコーダ、ネットワークエレメント、またはビデオビットストリームに作用するすべてのエンティティに、SEIメッセージと関連づけられたピクチャがDRAPピクチャであることを示すために使われることもある。
【００８７】
そしてSEIメッセージは以下の形であってもよい。
【００８８】
【表Ａ】
2019195203.tif 000005
【００８９】
他の一実施形態において、SEIメッセージは空でないけれども、以下でさらに説明される付加情報を含むこともある。
【００９０】
図８は、ビデオビットストリームの中のピクチャをDRAPピクチャとして示す別の例を説明しているフローチャートである。
【００９１】
この方法は、ステップS60において、DRAPピクチャを、そのDRAPピクチャに関連づけられ、かつビデオビットストリームのNALユニットヘッダに含まれたピクチャタイプ識別子に基づいてひとつのDRAPピクチャとして特定することを含む。
【００９２】
それゆえ、この実施形態では、NALユニットタイプの少なくともひとつの値はDRAPピクチャを示すための専用である。これは、DRAPピクチャの符号化されたビデオデータを搬送しているNALユニットが、DRAPピクチャのための専用の値がセットされたNALユニットヘッダの中にNALユニットタイプパラメータの値を持つことを意味している。非制限的な例として、NALユニットタイプ=24を、DRAPピクチャを示すために利用することができる。
【００９３】
ランダムアクセスは、現在のHEVCバージョン1仕様を用いて周期的な間隔で符号化されたIRAPピクチャを持つことにより達成される。図９は、８番目のピクチャごとの周期的なIRAPピクチャを持つHEVCのためのランダムアクセス構成を示す。 一般に、IRAPピクチャはブロードキャストされるコンテンツのためにおよそ0.5-2秒ごとに挿入される。これは、30Hzのシーケンスに対して、およそ15から60ピクチャごとがIRAPピクチャであることを意味している。図９中のダークグレイのピクチャはIRAPピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。
【００９４】
ビデオが時間と共にそれほどアップデートされない画面コンテンツまたは他の一般のコンテンツに対して従来のランダムアクセスアプローチを使うと、図10のようなに見えるかもしれない。図１０に示す簡素化された例では、IDRピクチャは3番目ごとのピクチャに挿入されている。説明目的のために、ブロックはまた、それらがより正常な解像度でHEVCで符号化されたビデオにとってそうであるであろうよりずっと大きい。この例におけるPピクチャはそれらのそれぞれの前のピクチャを参照する。すべてのIDRピクチャについて、ピクチャ中の各ブロックのイントラ符号化によりビデオは即座にリフレッシュされる。図１０において、イントラブロックはダークグレイでマークされて、インターブロックはグレイ(これらのいくつかはまたイントラブロックであってもよい)であり、白色のブロックはスキップブロックである。
【００９５】
画面共有および画面モニタリングなどの特定の画面コンテンツサービスはますますポピュラーになりつつある。画面コンテンツは一般のビデオ符号化の符号化に対してとは異なる要求をビデオ符号化に課す。通常の画面コンテンツは、シャープなエッジを持つウインドウ、グラフィクスおよびテキスト、別個の色を含み、長い期間更新されないビデオピクチャのエリアを持つ傾向がある。HEVCバージョン1の開発の間、画面コンテンツ符号化(SCC)の特殊な特性は明示的に対処されなかった。従って、JCT-VCは現在SCCを明示的にターゲットとしているHEVCへの拡張に関して作業している。
【００９６】
ここで、以下では、様々な実施形態がより詳細にさらに説明されるであろう。
【００９７】
実施形態１-IRAPのみを参照するDRAP
本発明の第一の実施形態では、新しい従属RAP(DRAP)ピクチャが導入される。このタイプのDRAPピクチャはDRAP1と称される。DRAP1ピクチャの中のブロックは前のIRAPピクチャを参照することしかできない。他のピクチャへの参照は許されない。図１１において予測パターンが説明されており、そこでは、ダークグレイのピクチャがIRAPピクチャであり、中間のグレイのピクチャがDRAP1ピクチャであり、白色のピクチャがPピクチャまたはBピクチャである。DRAP1ピクチャはIRAPピクチャを参照することしかできない。
【００９８】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAP1が、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAP1ピクチャに先行するどのようなピクチャも参照のために使わない。
【００９９】
DRAP1ピクチャを復号するために、前の参照されたIRAPピクチャが復号される必要がある。DRAP1ピクチャの中のすべてのブロックをイントラコーディングを使って符号化する必要がないことにより、多くのビットレートを節約することができる。それでも、ランダムアクセスのあるレベルは、前のIRAPピクチャを参照しさえすればよいことによって達成できる。
【０１００】
参照されたIRAPピクチャは、IRAPピクチャへの距離に従って、RPSの中の短期ピクチャまたは長期ピクチャとして示されることがあり、IRAPピクチャは、DRAP1ピクチャのRPSの中に示される。
【０１０１】
実施形態２−他のDRAPまたはIRAPを参照するDRAP
本発明の第二の実施形態ではDRAPピクチャの別のバージョンが導入され、ここではDRAP2と示される。DRAP2ピクチャの中のブロックは前のIRAPピクチャまたは前のDRAP2ピクチャを参照することしかできない。他のピクチャの参照は許されない。予測パターンは、図１２(各DRAP2ピクチャからIRAPピクチャへの可能な参照は省略する)において説明される。ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAP2ピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。DRAP2ピクチャは前のDRAP2ピクチャまたは前のIRAPピクチャを参照するだけでよい。
【０１０２】
出力順序でDRAP2ピクチャに後続するピクチャは、他の後続するDRAP2が、参照のために関連づけられたIRAPピクチャまたは関連づけられたDRAP2ピクチャを使うこともできることを例外として、出力順序または復号順序でDRAP2ピクチャに先行するどのようなピクチャも参照のために使わない。
【０１０３】
DRAP2ピクチャを復号するために、後ろが先行するIRAPピクチャとなっている前の参照済みDRAP2ピクチャが復号される必要がある。参照のために前のDRAP2ピクチャを使用可能であることにより、DRAP参照の間の距離はより短く、DRAP1ピクチャについてより、ビットレートを節約することができる。それでも、ランダムアクセスのあるレベルは、前のIRAPピクチャの後ろの、前のDRAP2ピクチャを参照しさえすればよいことによって達成できる。
実施形態１および２における従属的ランダムアクセスアプローチを用いることからどのくらい得ることができるかを理解するために、三回のシミュレーションが、JCT-VC HEVC v1およびJCT-VC HEVC SCCの開発の間に使われたテストシーケンスを用いて、JCT-VC HEVC画面コンテンツ符号化(SCC)標準化活動のランダムアクセステスト設定を使って行われた。ランダムアクセステスト設定は階層的Bピクチャを使う。第一のアンカーシミュレーションにおいて、CRAピクチャが、３２ピクチャごとに挿入された。 第二のシミュレーションにおいては、実施形態１の中の最初のIDRピクチャのみを参照するPピクチャが３２ピクチャごとに挿入された。第三のシミュレーションでは、実施形態２をエミュレートして、前のPピクチャのみを参照する、または最初のGOPの場合には最初のIDRピクチャのみを参照するPピクチャが３２ピクチャごとに挿入された。
【０１０４】
三通りのシミュレーションすべてについて、設定テストファイルは、オリジナルの8つのピクチャのGOP構造が4回繰り返された３２ピクチャのGOP構造を使うよう変更された。実施形態１のシミュレーションを実施するために、最初のIDRピクチャはRPSの中に長期ピクチャとして示され、復号済みピクチャバッファの中に保持された。実施形態2を実施するために、GOPの最初のピクチャ(最初のGOPのための最初のIDRまたは他のGOPのための前のPピクチャのどちらか)は、次のGOPの最初のピクチャのための参照として使われるRPSの後ろに追加された。
【０１０５】
三つのケースの間で公正な比較をするために、３２番目ごとのピクチャが、CRA、DRAP1(最初のIDRを参照しているPピクチャ)、またはDRAP2(前のDRAP2/IDRを参照しているPピクチャ)であることを唯一の差異として持つ、正確に同じGOP構造が使われた。
【０１０６】
下の表３および表４は、JCT-VC HEVC v1およびJCT-VC SCCテストシーケンスについて、CRAアンカーと、実施形態１(DRAP1)および実施形態２(DRAP2)との間の輝度ビヨンテガールト(Bjontegaard)デルタ(BD Y)レートを示す。
【０１０７】
【表３】
2019195203.tif 000006
【０１０８】
【表４】
2019195203.tif 000007
【０１０９】
利得は一般に、画面コンテンツ固有シーケンス(SlideEditing、sc_desktop、sc_web_browsing、sc_map、Basketball_Screen、MissionControlClip2、およびMissionControlClip3)については、一般のコンテンツシーケンスについてよりも高いことに注目できる。JCT-VC SCCテストセットにおける画面コンテンツシーケンスは一般に、ポップアップウインドウおよびたくさん移動されるウインドウを持つ比較的アクティブなコンテンツを有している。長期間にわたってあまり起こらないシナリオでは、利得はかなり高いであろう。
【０１１０】
実施形態３−イントラブロックまたはスキップブロックを用いるのみのDRAP
本発明の第三の実施形態では、上述した実施形態のどれにおいても説明されたように、イントラ符号化されたか、または、参照されたピクチャを用いてスキップとして符号化されたブロックだけを許すための制限がDRAPピクチャに設定される。
【０１１１】
この実施形態のひとつのバージョンでは、DRAPピクチャの中のスキップとして符号化されるブロックに対して、参照されたIRAPまたはDRAPの後のすべての先行ピクチャの中のすべての対応するブロックが同一でなければならないという制限が追加される。これは、参照されたIRAPピクチャが、そのIRAPピクチャを参照するブロックのために以前に復号されたピクチャを複製することによって失われるなら、デコーダがよい隠蔽をすることの助けになるであろう。
【０１１２】
この実施形態では、ビットレートはたぶん実施形態１または実施形態２における解決策に比べてより高くなるであろうけれども、ビットストリームのエラーロバスト性は高められる。イントラブロックまたはスキップブロックだけを含んでいるDRAPピクチャによって参照されたピクチャ(IRAPまたはDRAP)が失われるなら、参照されたピクチャに先行しているピクチャが正しく復号された場合にのみ、DRAPピクチャは、失われたブロックを以前に復号されたピクチャから複製することによって正しく復号される可能性が高い。これは動きのない場面を持つ画面コンテンツシナリオにおいてに特にあてはまる。
【０１１３】
イントラまたはスキップだけが許されるDRAP1ランダムアクセスアプローチを用いる画面コンテンツ符号化の例が図１３に示される。この例におけるPピクチャは前のピクチャを参照する。ピクチャが最後のIDRピクチャ以来変わっているDRAP1ピクチャの中のブロックに対しては、イントラコーディングが実行される。ビデオが変わっていないDRAP1ピクチャの中のブロックはスキップされる。図１３中ではイントラブロックはダークグレイに、インターブロック(これらのいくつかはまたイントラブロックであってよい)はグレイにマークされ、白色のブロックはスキップされたブロックである。
【０１１４】
イントラまたはスキップだけが許されるDRAP2ランダムアクセスアプローチを用いる画面コンテンツ符号化の例が図１４に示される。この例におけるPピクチャは前のピクチャを参照する。最後のDRAP2ピクチャ以来(最初のDRAP2ピクチャのためのIDRピクチャ以来)ピクチャが変化したDRAP2ピクチャの中のブロックに対してはイントラコーディングが実行される。ビデオが変化しなかったDRAP2ピクチャの中のブロックはスキップされる。図１４中ではイントラブロックはダークグレイに、インターブロック(これらのいくつかはまたイントラブロックである可能性がある)はグレイにマークされ、白色のブロックはスキップされたブロックである。
【０１１５】
DRAPが、イントラおよびスキップだけを使って符号化される場合、DRAPピクチャの復号の間、動き補償およびサブピクセル補間を行う必要がないために、DRAPピクチャでランダムアクセスを実行するための計算の複雑性は低減する。
【０１１６】
さらに、イントラブロックまたはスキップブロックだけを使うDRAPピクチャでランダムアクセスを実行する場合、参照された前のIRAPピクチャまたは他のDRAPピクチャは、完全に復号される必要があるわけではない。現在のDRAPピクチャの中のイントラブロックと一致している参照されたピクチャの中のブロックは、現在のDRAPピクチャを復号するときに必要でなく、参照されたピクチャを復号するときに無視し得る。
【０１１７】
実施形態４−前のDRAP/IRAPが参照される場合に、ランダムアクセス(RA)オペレーションの中を除いて、前のピクチャを参照するDRAP
本発明の第四の実施形態では別のDRAPピクチャタイプが導入され、ここではDRAP3と称される。DRAP3ピクチャはDRAP1またはDRAP2ピクチャと同様に振る舞うけれども、DRAP3ピクチャの中のブロックは、イントラ符号化されるか、または参照として前のピクチャを用いてスキップされるかのいずれかであってよく、かつ、このピクチャの対応するブロックは前のDRAP3またはIRAPピクチャの中の配列されたブロックと同一でなければならないという追加の制約を持つ。従って、完全な復号では、前のピクチャへの参照を用いて、最後のIRAPピクチャ以来変わっていないブロックに対して、正常なスキップを直接的に行える。早送り再生においてのようなランダムアクセスオペレーションの場合、DRAP3ピクチャの参照されたピクチャが、前に復号されたDRAP3またはIRAPピクチャと交換される。
【０１１８】
図１５は、DRAP3ピクチャを用いたランダムアクセスアプローチの例を説明する。ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAP3ピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。完全な復号モードでは、前のピクチャはスキップの符号化のための参照として使われる。ランダムアクセス復号モードでは、代わりに前のDRAP3またはIRAPピクチャがスキップの符号化のための参照として使われる。
【０１１９】
この実施形態の利点は、デコーダが、ランダムアクセスオペレーションを実行するためにそれがDRAP3ピクチャを使う可能性があることを知っている場合に限って、デコーダは、前のDRAP3およびIRAPピクチャを記憶する必要があることである。
【０１２０】
この実施形態ではスキップは前のピクチャを参照すべきであることを説明する。しかしながら、ある符号化設定では、例えば階層的なBピクチャを使うときに、DRAP3ピクチャがスキップのために別の前のピクチャを参照することがより自然であるかもしれない。これは、参照されたブロックが前のDRAP3またはIRAPピクチャの中の対応するブロックと同一である限りまたうまくいくであろう。
【０１２１】
実施形態５−IRAPおよびDRAPの異なる周期性を用いることができる
上述の実施形態におけるDRAP1、DRAP2、またはDRAP3ピクチャは、最初のIDRピクチャに後続するすべてのIRAPピクチャを置換する必要があるわけではない。IRAPピクチャを使っている完全なランダムアクセスは、DRAPピクチャに対してよりも粗い間隔で要求され得る。すなわちIRAPピクチャは、DRAPピクチャより低頻度の周期性で挿入され得る。図１６Ａ−図１６Ｃは、従属ランダムアクセスが、DRAP1、DRAP2、またはDRAP3ピクチャを使って８番目ごとのピクチャに提供され、完全ランダムアクセスが、IDRピクチャを使って24番目ごとのピクチャに提供される例を示す。 より現実的な場合では、DRAP1、DRAP2、またはDRAP3ピクチャは約1-2秒ごとに、IRAPピクチャは10-60秒ごとに挿入されればよい。図１６Ａ−図１６Ｃでは、従属ランダムアクセスは、DRAP1(図１６Ａ)、DRAP2(図１６Ｂ)、またはDRAP3(図１６Ｃ)ピクチャを提供することによって８番目ごとのピクチャに提供される。IRAPピクチャは２４番目ごとのピクチャに挿入されて完全ランダムアクセスを提供するけれども、追加のビットレートのペナルティを伴う。 ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAPピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。
【０１２２】
ビデオ素材を記録し、記憶することがしばしば重要な、画面共有と監視のシナリオなどにおいては、DRAPピクチャは有益であるかもしれない。短い周期性を持つDRAPピクチャおよびより長い周期性を持つIRAPピクチャを使って、例えばDRAPピクチャは毎秒、IRAPピクチャは60秒ごとに、記憶されたビデオを容易に検索できると同時に、ビットレートを低減することができる。さらに、これらのサービスのためのビデオリンクはいつもエラーを免れるわけではない可能性がある。イントラブロックまたはスキップブロックだけを持つDRAPピクチャを使うことは、いかなるランダムアクセスポイントも持たないのに比べて、ストリームのエラーロバスト性を増大させる。
【０１２３】
実施形態６−DRAPを、NALユニットヘッダの中にそれ自身のピクチャタイプとして示す。
【０１２４】
本発明の第６実施形態では、前述の実施形態のどれにおいてでも定義されたように、DRAPピクチャが、HEVCまたは別のビデオ符号化規格におけるそれ自身のピクチャタイプにより定義される。DRAPピクチャタイプは、nal_unit_typeのためのそれ自身の値を使って、ビデオビットストリームのNALユニットヘッダの中に示される。下の表５は、NALユニットタイプコードおよび現在のHEVC勧告のNALユニットタイプクラステーブルをどのように修正してDRAPnal_unit_typeを含めることができたかを示す。
【０１２５】
【表５−１】
2019195203.tif 000008
【０１２６】
【表５−２】
2019195203.tif 000009
【０１２７】
【表５−３】
2019195203.tif 000010
【０１２８】
実施形態7
本発明の一実施形態では、実施形態1-6のどれにおいてでも定義されるように、DRAPピクチャに付随するデータが、デコーダ、ネットワークエレメントまたはビデオビットストリームに作用するすべてのエンティティに、DRAPを復号するために必要なのはどのIRAPピクチャかを示す。
【０１２９】
デコーダは、以下の順序づけられたステップによってランダムアクセスを実行するためにこの実施形態を用いることができる。
1.  デコーダはDRAPピクチャに付随するデータを復号し、IRAPピクチャへの指示を導き出す。
2.  IRAPピクチャを構成している圧縮データを検索するために、デコーダはIRAPピクチャへの指示を利用する。
3.  デコーダはIRAPピクチャを復号する。
4.  デコーダはDRAPピクチャを復号し、それを出力する。
5.  デコーダは、復号順序および出力順序でDRAPに続いているピクチャを復号し、それらのピクチャを出力する。
【０１３０】
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1.  エンコーダはIRAPピクチャを符号化し、将来の参照のために復号済みピクチャバッファにIRAPピクチャを記憶する。
2.  エンコーダは、IRAPピクチャだけを参照するピクチャを符号化し、そのピクチャをDRAPピクチャとしてマークする。エンコーダはまたIRAPピクチャへの指示を作成し、この指示を符号化する。
3.  エンコーダは、IRAPピクチャ、DRAPピクチャ、および復号順序および出力順序の両方でDRAPピクチャに後続するピクチャへの参照を許すことのみによって、復号順序および出力順序でDRAPピクチャに後続するピクチャを符号化する。
【０１３１】
実施形態２、４、および５のどれにおいてもそうであるようにDRAPピクチャが定義されるこの実施形態のひとつのバージョンでは、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャおよび前のDRAPピクチャをデコーダに示す。
【０１３２】
実施形態８
本発明の一実施形態では、IRAPピクチャに付随するデータは、ビットストリームに作用するデコーダ、ネットワークエレメント、またはすべてのエンティティに、実施形態１−６のどれにおいてでも定義されたように、IRAPピクチャに従属するDRAPピクチャを示す。
【０１３３】
デコーダは、以下の順序づけられたステップによってランダムアクセスを実行するためにこの実施形態を用いることができる。
1.  デコーダは現在のDRAPピクチャに付随するデータを復号し、現在のDRAPピクチャの復号のために必要であるIRAPピクチャおよびDRAPピクチャへの指示を導き出す。
2.  デコーダはIRAPおよびDRAPピクチャへの指示を用いて、IRAPおよびDRAPピクチャを構成している圧縮データを検索する。
3.  デコーダは、ステップ1で指示されたIRAPピクチャおよびDRAPピクチャを復号する。
4.  デコーダは現在のDRAPピクチャを復号し、それを出力する。
5.  デコーダは、復号順序および出力順序で現在のDRAPに続いているピクチャを復号し、それらのピクチャを出力する。
【０１３４】
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1.  エンコーダはIRAPピクチャおよび少なくとも一つのDRAPピクチャを符号化し、将来の参照のために復号済みピクチャバッファにそれらを記憶する。
2.  エンコーダは、IRAPピクチャおよび少なくともひとつのDRAPピクチャのみを参照する現在のDRAPピクチャを符号化し、この現在のDRAPピクチャをDRAPピクチャとしてマークする。エンコーダはまたIRAPピクチャおよび少なくともひとつのDRAPピクチャへの表示を作成し、これらの表示を符号化する。
3.  エンコーダは、IRAPピクチャ、少なくともひとつのDRAPピクチャ、現在のDRAPピクチャおよび復号順序および出力順序の両方で現在のDRAPピクチャに後続するピクチャへの参照を許すことのみによって、復号順序および出力順序で現在のDRAPピクチャに後続するピクチャを符号化する。
【０１３５】
実施形態９
本発明の実施形態では、IRAPピクチャおよびそれに従属するDRAPピクチャを復号することによって、デコーダは早送りを実行する。
【０１３６】
本実施形態の他のバージョンでは、デコーダは、IRAPピクチャおよびそれに従属するDRAPピクチャを復号することによって他のトリックプレイ操作を実行する。これらのトリックプレイは、巻き戻し、前方ジャンプ、後方ジャンプおよびポジションへの移動を含む。
【０１３７】
実施形態１０
本発明の一実施形態では、HEVC仕様では代替仮想参照デコーダ(alternative hypothetical reference decoder：HRD)パラメータとしても知られている代替バッファパラメータがビデオビットストリームにおいて提供される。
【０１３８】
これらの代替バッファパラメータは、エンコーダが、バッファオーバーフローおよび／またはアンダーランを防止するために、復号の開始前にどのくらいのビデオビットストリームをバッファすべきかをデコーダに対して表示することよって示される。
【０１３９】
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1．  エンコーダはDRAPピクチャを符号化する。
2.  エンコーダは、関連付けられたIRAPおよびDRAPピクチャが、IRAPピクチャの前のピクチャおよびIRAPピクチャとDRAPピクチャとの間のピクチャがビットストリームから除去された刈り込み済みビットストリームに存在するならば、バッファ状態を計算する。
3.  エンコーダは、ビデオビットストリームの中で、ビデオビットストリームがステップS２に従って刈り込まれているならば、ランダムアクセスでどのくらいのデータをバッファするかをデコーダに示すバッファスパラメータを示す。
【０１４０】
デコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1．  ストリーム内のランダムアクセスがデコーダにより行われる。ランダムクセスポイントは、IRAPピクチャおよびDRAPピクチャを含む従属ランダムアクセスポイント(DRAP)である。
2.  デコーダは、ランダムアクセスがIRAPピクチャおよびDRAPピクチャを用いて行われる場合に、バッファオーバフローおよび／またはアンダーランを避けるために、復号を開始する前にどれくらいのデータをバッファするかを示す代替バッファパラメータをビデオビットストリームから受信する。
3.  デコーダは受信した代替バッファパラメータにより指定されたようにデータをバッファする。
4.  デコーダは、代替バッファパラメータにより指定された量のデータを受信した後でビデオデータの復号を開始する。
【０１４１】
実施形態１１
本発明の実施形態では、サーバ（図17参照）が、IRAPピクチャを抽出し、それがデコーダによって出力されないようIRAPピクチャにマークし、IRAPピクチャ、後続のDRAPピクチャおよび後続のピクチャ(s)をクライアントに送信する。
【０１４２】
実施形態１２−SEIメッセージの例
本発明の実施形態では、実施形態1から6までのどれにおいてでも説明されたDRAPピクチャの存在および制限が、SEIメッセージを使って示される。この実施形態では、特定のDRAPnal_unit_typeは必要でない。DRAPピクチャは、実施形態1-6のどれにおいてでも示された制限によってPピクチャのように符号化される。
【０１４３】
SEIメッセージは、ピクチャが上記の実施形態のどれにおいてでも説明された制限を持つDRAPピクチャであることを示すまたは特定する、関連付けられたピクチャと共に送信される。
【０１４４】
SEIの例１
SEIメッセージはたとえばこのように構造化できる。
【０１４５】
【表Ｂ】
2019195203.tif 000011
【０１４６】
このSEIメッセージは空であり、デコーダ、ネットワークエレメント、またはビデオビットストリームに作用するすべてのエンティティに、SEIメッセージと関連づけられたピクチャがDRAPピクチャであり、かつこのDRAPピクチャをまたぐ予測が行われないであろうことを示すために使われる。
【０１４７】
DRAPピクチャが予測のために使用する可能性のあるIRAPピクチャは、復号順序でDRAPピクチャに対して最も近い前のIRAPピクチャである。
【０１４８】
DRAPピクチャは、それらが時間的id 0を持つTRAIL_Rピクチャでなければならないよう制限される可能性がある。トレーリングピクチャは、関連づけられたRAPピクチャに出力順序で後続するピクチャである。TRAIL_Rは、参照のために使うことのできるトレーリングピクチャと定義される。0の時間的idは、ピクチャが最下位層に属していて、かつ、それらの時間的idと関係なく他のピクチャにより参照として使うことができることを意味している。
【０１４９】
他の実施形態の例では、SEIメッセージは必ずしも空ではない。そのような様々な実施形態の例が、図１８−２０を参照してさらにここで今から説明される。
【０１５０】
SEIの例２
SEIメッセージの他のバージョンがこのように構造化できる。
【０１５１】
【表Ｃ】
2019195203.tif 000012
【０１５２】
図１８は、図７に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図7中のステップS50から続いている。次のステップS70は、SEIメッセージから中断リンクフラグ（broken link frag）を検索することを含む。この方法は、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することをさらに含む。
【０１５３】
特定の実施形態では、この判定はステップS71において、中断リンクフラグが1に等しいか調査することを含む。その値が1に等しければ、この方法はステップS72へと続き、それは、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があることを判定することを含む。
【０１５４】
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャ、および出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分がデコードされる必要があるかを判定することを支援する。
【０１５５】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
【０１５６】
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０１５７】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
【０１５８】
broken_link_flagは従属RAP表示SEIメッセージの位置のNALユニットストリーム内の破損したリンクの存在または不在を示し、さらに次のように意味を割り当てられる：
-  broken_link_flagが１に等しいならば、前のIRAPアクセスユニットの位置で復号処理を開始することによって作成されたピクチャは、従属RAP表示と関連づけられたアクセスユニットに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性がある。
-  さもなければ(broken_link_flagは０に等しい)、視覚的アーティファクトのいかなる潜在的な存在についても表示は与えられない。
【０１５９】
この例では、DRAPピクチャと関連づけられたIRAPピクチャへの参照インジケータは、SEIメッセージの中では明示的に示されないけれども、RPSから、または他の方法によって得られる可能性がある。
【０１６０】
SEIの例３
SEIメッセージの他のバージョンはこのように構造化できる。
【０１６１】
【表Ｄ】
2019195203.tif 000013
【０１６２】
図１９は、図７に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図7中のステップS50から続いている。次のステップS80は、SEIメッセージからスキップまたはイントラブロックのみフラグ（only skip or intra blocks flag）を検索することを含む。この方法はまた、スキップまたはイントラブロックのみフラグの値に基づいて、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみを含むか判定することを含む。
【０１６３】
特定の実施形態では、この判定はステップS81においてスキップまたはイントラブロックのみフラグの値が1に等しいか調査することを含む。値が1に等しいならば、この方法はステップS82に続き、そこには、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみを含むと判定することを含む。
【０１６４】
SEIメッセージは、上に示したようにスキップまたはイントラブロックのみフラグ、または、スキップまたはイントラブロックのみフラグと前述した中断リンクフラグとの両方を含むことがある。
【０１６５】
broken_link_flagは、存在しているならば、SEI例２においてのように定義される。
【０１６６】
only_skip_or_intra_blocks_flagは、DRAPピクチャが、イントラ符号化ブロックまたはcu_skip_flagが1にセットされたブロックのみを含むかを以下に従って表示する：
-  only_skip_or_intra_blocks_flagが１に等しいならば、DRAPピクチャは、イントラ符号化ブロックまたはcu_skip_flagが１にセットされたブロックのどちらかを含むだけである。
-  さもなければ、only_skip_or_intra_blocks_flagが０に等しいならば、DRAPピクチャは、イントラ符号化ブロックまたはcu_skip_flagが１にセットされたブロック以外のブロックを含む可能性がある。
【０１６７】
SEIの例４
SEIメッセージの他のバージョンはこのように構造化できる。
【０１６８】
【表Ｅ】
2019195203.tif 000014
【０１６９】
図２０は、図７に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図７中のステップS50から続いている。次のステップS90は、SEIメッセージから参照ピクチャデルタ識別子を検索することを含む。この方法はさらに、参照ピクチャデルタ識別子が０より大きいならば、ステップS92において、IRAPピクチャのピクチャオーダーカウント（POC）値を、DRAPピクチャのPOC値および参照ピクチャデルタ識別子に基づいて計算することを含む。この方法はまた、ステップS93において、参照ピクチャデルタ識別子が０より大きいならば、計算したPOC値に基づいてIRAPピクチャを特定し、参照ピクチャデルタ識別子が０に等しいならば、ビデオビットストリームの中の最も近い先行IRAPピクチャとしてIRAPピクチャを特定することを含む。
【０１７０】
特定の実施形態では、この方法はまたステップS91において参照ピクチャデルタ識別子の値を調査することを含む。値が０とは違うならば、方法は、DRAPピクチャのために参照ピクチャとして使われたIRAPピクチャのPOC値が計算されるステップS92に続く（好適にはPOC(IRAP)=POC(DRAP)-(reference_irap_picture_poc_delta_idc_minus1+1)に等しい）。この方法はそれから、IRAPピクチャが、計算したPOC値に基づいて特定されるステップS43に続く。
【０１７１】
しかし、ステップS91での調査が、参照ピクチャデルタ識別子の値が０に等しいと結論するならば、この方法は直接、ビデオビットストリームの中の最も近い先行IRAPピクチャとしてIRAPピクチャを特定することを含むステップS93に続く。それゆえ、この場合にはPOC値の計算は必要でない。
【０１７２】
これらの例において、IRAPピクチャのPOC値は、IRAPピクチャが復号順序および出力順序でDRAPピクチャに先行するので、常にDRAPピクチャのPOC値より小さいであろう。これは、参照ピクチャデルタ識別子が０になるか、または正の整数になるであろうということを意味している。
【０１７３】
SEIメッセージは、上述したように、パラメータ参照ピクチャデルタ識別子または、中断リンクフラグおよび／または、スキップまたはイントラブロックのみフラグと一緒に参照ピクチャデルタ識別子を含むことができる。
【０１７４】
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
【０１７５】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
【０１７６】
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて０に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０１７７】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
【０１７８】
broken_link_flagは、存在する場合、SEI例２においてのように定義される。
【０１７９】
only_skip_or_intra_blocks_flagは、存在する場合、SEI例３においてのように定義される。
【０１８０】
referenced_irap_picture_poc_delta_idc_minus1は、DRAPピクチャのPOCとDRAPピクチャによって参照されたIRAPピクチャのPOCとの差引く１を示す。
【０１８１】
SEIの例５
SEIメッセージのさらに他のバージョンではこのように構造化できる。
【０１８２】
【表Ｆ】
2019195203.tif 000015
【０１８３】
これらのバージョンは上記に類似しているけれども、この場合に、referenced_irap_picture_poc_delta_idcの値が0より大きいならば、IRAPピクチャのPOC値はPOC(IRAP)=POC(DRAP) - reference_irap_picture_poc_delta_idcとしてステップS42において計算されている。
【０１８４】
従属RAP表示SEIメッセージは、デコーダが、従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
【０１８５】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、それの関連付けられたIRAPピクチャを参照のために用いることができるが、他のいかなるピクチャも参照のために用いない。
【０１８６】
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて０に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０１８７】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
【０１８８】
Broken_link_flagは、存在する場合、SEI例２においてのように定義される。
【０１８９】
only_skip_or_intra_blocks_flagは、存在する場合、SEI例３においてのように定義される。
【０１９０】
referenced_irap_picture_poc_delta_idcは、ゼロより大きい場合には、DRAPピクチャのPOCとDRAPピクチャによって参照されたIRAPピクチャのPOCとの差を示す。referenced_irap_picture_poc_delta_idcが０と等しい場合には、DRAPは参照のために前のIRAPピクチャを使っている。
【０１９１】
理解されるように、IRAPピクチャへの参照は、二つの異なる方法（デルタidcを用いる明示的な参照により、あるいは、前のIRAPピクチャが参照のために使われることを伝えることにより）で記述できる。明示的な参照を常に使うわけではない理由は、IRAPおよび潜在的にはDRAPがどのみちシステム層で示されるシステムアプリケーションに関しては、POC値を得ることが少し面倒である可能性があることである。さらに、参照を明示的に示さないことによって数ビットの節約になる。
【０１９２】
SEIの例６
SEIメッセージのさらに他のバージョンはこのように構造化できる。
【０１９３】
【表Ｇ】
2019195203.tif 000016
【０１９４】
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
【０１９５】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
【０１９６】
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて０に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０１９７】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
【０１９８】
broken_link_flagは、存在する場合、SEI例２においてのように定義される。
【０１９９】
only_skip_or_intra_blocks_flagは、存在する場合、SEI例３においてのように定義される。
【０２００】
referenced_irap_picture_poc_lsbは、DRAPピクチャによって参照されたIRAPピクチャのPOC最下位ビット(lsb)を示す。
【０２０１】
IRAPピクチャのPOC値は、パラメータreferenced_rap_picture_poc_lsbに基づいて計算され、それにより、DRAPピクチャのための参照ピクチャとして使われるIRAPピクチャを特定できる。
【０２０２】
パラメータreferenced_rap_picture_poc_lsbに基づいたIRAPピクチャのPOC値の計算の仕方のより多くの情報が、ITU-TH.265シリーズH: 視聴覚およびマルチメディアサービス、視聴覚サービスのインフラストラクチャ−動きビデオの符号化、高効率ビデオ符号化のセクション8.3.2 参照ピクチャセットの復号処理、に見いだせる。
【０２０３】
SEIの例７
SEIメッセージのさらに他のバージョンはこのように構造化できる。
【０２０４】
【表Ｈ】
2019195203.tif 000017
【０２０５】
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
【０２０６】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて０に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０２０７】
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
【０２０８】
broken_link_flagは、存在する場合、SEI例２においてのように定義される。
【０２０９】
only_skip_or_intra_blocks_flagは、存在する場合、SEI例３においてのように定義される。
【０２１０】
implicitly_reference_previous_irap_picture_flagは、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャによって前のIRAPピクチャが参照されるかどうかを以下に従って示す：
-  implicitly_reference_previous_irap_picture_flagが１に等しいならば、DRAPピクチャは、従属RAP表示SEIメッセージにおいてこのIRAPピクチャを明示的に参照せずに前のIRAPピクチャを参照している。
-  さもなければ、implicitly_reference_previous_irap_picture_flagが０に等しいならば、DRAPピクチャによって参照されたIRAPピクチャのための参照インジケータが、従属RAP表示SEIメッセージにおいて明示的に示される。
【０２１１】
referenced_irap_picture_poc_lsbは、DRAPピクチャによって参照されたIRAPピクチャのPOC最下位バイトを示す。
【０２１２】
先行IRAPピクチャ黙示的参照フラグ（implicitly reference previous IRAP picture flag）を用いるこの実施形態の例は、代わりに、パラメータreferenced_irap_picture_poc_lsb、またはreferenced_irap_picture_poc_delta_idc_minus1、またはreferenced_irap_picture_poc_delta_idcと共に用いることができる。
【０２１３】
SEIの例８
SEIメッセージのさらに他のバージョンはこのように構造化できる。
【０２１４】
【表Ｉ】
2019195203.tif 000018
【０２１５】
【表Ｊ】
2019195203.tif 000019
【０２１６】
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
【０２１７】
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、関連付けられたIRAPピクチャまたは関連付けられたDRAPピクチャを参照のために用いることができるが、参照のために他のいかなるピクチャも用いない。
【０２１８】
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて０に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
【０２１９】
出力順序でDRAPピクチャに後続するピクチャは、他の後続するDRAPピクチャが、参照のために関連づけられたIRAPピクチャまたは関連付けられたDRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
【０２２０】
broken_link_flagは、存在する場合、SEI例２においてのように定義される。
【０２２１】
only_skip_or_intra_blocks_flagは、存在する場合、SEI例３においてのように定義される。
【０２２２】
reference_dependent_rap_flagは、従属RAP表示SEIメッセージに関連付けられたピクチャが、IRAPピクチャまたは別のDRAPピクチャを参照しているかを、以下に従って示す：
-  reference_dependent_rap_flagが1に等しいならば、従属RAP表示SEIメッセージに関連付けられたピクチャは、別のDRAPピクチャを参照している。
-  reference_dependent_rap_flagが０に等しいならば、従属RAP表示SEIメッセージに関連付けられたピクチャは、IRAPピクチャを参照している。
【０２２３】
nbr_pictures_in_reference_chain_minus1は、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャからIRAPピクチャまでの参照のチェーンを通してリンクされるピクチャ数引く１を示す。 reference_dependent_rap_flagが１と等しい場合に限って、この変数はセットされる。
【０２２４】
reference_picture_poc_delta_idcは、ゼロより大きい場合には、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャのPOCと、従属RAP表示SEIメッセージと関連づけられたピクチャからIRAPピクチャまでの参照ピクチャのチェーンの中の参照ピクチャのPOCとの差を示す。 reference_picture_poc_deltaが０と等しい場合には、DRAPピクチャは、前のIRAPピクチャと参照のための前の他のDRAPピクチャの最新のものを使っている。
【０２２５】
参照従属RAPフラグ（reference dependent RAP flag）および参照チェーンの中のピクチャ数（the number of pictures in reference chain）を使っているこの実施形態例は、代わりに、referenced_irap_picture_poc_delta_idcに代えてパラメータreferenced_irap_picture_poc_delta_idc_minus1またはreferenced_irap_picture_poc_lsbと一緒に使われてもよい。
【０２２６】
この実施形態の一側面は、ビデオビットストリームの復号のための方法に関連し、以下のステップを含む（図２１参照）：
-  イントラランダムアクセスポイント(IRAP)ピクチャを復号し、
-  IRAPピクチャにのみ従属するインターピクチャを復号し、そのインターピクチャは従属ランダムアクセスポイント(DRAP)と呼ばれ、
-  DRAPピクチャを用いてランダムアクセスオペレーションを実行する。
【０２２７】
一実施形態では、方法はさらに以下を含む：
-  前のDRAPピクチャに従属する追加のDRAPピクチャを復号し、
-  追加のDRAPピクチャを用いてランダムアクセスオペレーションを実行する。
【０２２８】
一実施形態では、DRAPピクチャは、継続的な復号では別の前のピクチャを参照し、ランダムアクセスオペレーションでは前のIRAPまたはDRAPピクチャを参照し、両方の参照が同じ復号されたDRAPピクチャを結果として生じる。
【０２２９】
一実施形態では、DRAPピクチャはイントラまたはスキップ符号化ブロックのみを含んでもよい。
【０２３０】
一実施形態では、ビットストリームの中に、DRAPピクチャはIRAPピクチャより高頻度に存在してもよい。
【０２３１】
一実施形態では、DRAPピクチャは、DRAPピクチャによってビットストリームの中で示されるピクチャタイプ識別子を割り当てられてもよい。
【０２３２】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャをデコーダに示してもよい。
【０２３３】
一実施形態では、DRAPピクチャに付随するデータは、追加のDRAPピクチャを復号するために必要なIRAPピクチャおよびDRAPピクチャをデコーダに示してもよい。
【０２３４】
一実施形態では、DRAPピクチャに付随するデータは、IRAPピクチャに従属するDRAPピクチャをデコーダに示してもよい。
【０２３５】
一実施形態では、ランダムアクセスオペレーションは、トリックプレイであってよく、トリックプレイは、早送り、巻き戻し、前方ジャンプ、後方ジャンプ、ポジショへの移動のうちの任意のものである。
【０２３６】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャの位置での中断リンクの存在または不在を示してもよい。
【０２３７】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャがイントラおよびスキップ符号化ブロックのみを含むかを示してもよい。
【０２３８】
一実施形態では、データは、補足的拡張層（SEI）メッセージ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）またはビデオスライスヘッダで示されてもよい。
【０２３９】
図２２は、前述した実施形態１(実線)、２、７、および８(破線)をより詳細に説明するフローチャートである。この方法は第一のDRAPピクチャを受信することを含む。この方法はオプションで、ピクチャオーダータイプデータまたはSEIメッセージなどの付随データを受信することを含む。この方法はオプションで、現在のDRAPピクチャが、前のIRAPピクチャまたは前のDRAPピクチャのどちらを参照しているかを判定することを含む。後者の場合に、参照されたDRAPピクチャを取得することにより、方法は継続する。このループは、IRAPピクチャを参照する現在のDRAPピクチャに達するまで実行される。この方法はそれから、IRAPピクチャを得て、IRAPピクチャを復号することを含む。次のオプションのステップは、以前に復号されたIRAPまたはDRAPピクチャが、第一のステップにおいて受け取られた第一のDRAPピクチャによって参照されるかどうかを判定することを含む。もしされていなければ、以前に復号されたIRAPまたはDRAPピクチャを参照しているDRAPピクチャを復号することによって、方法は継続する。このループは、以前に復号されたIRAPまたはDRAPピクチャが第一のDRAPピクチャによって参照されるまで実行される。そのような場合には、第一のDRAPピクチャは復号されて、ランダムアクセスオペレーションのために使われる。
【０２４０】
IRAPピクチャは、一般に周期的な方法で使われ、符号化されたビデオにランダムアクセスおよびエラーロバスト性を与える。一般的なビデオコンテンツでは、ビットレートという意味において、IRAPピクチャは通常、Pピクチャを符号化するよりおよそ3-5倍高くなり、Bピクチャを符号化するよりおよそ5-10倍高くなる。
【０２４１】
IRAPピクチャを0.5から1.0秒ごとに挿入するとかなりのビットが掛かる。表１および表２に示したように、ビットコストは変化し、一般的にはSlideEditingのような動かないコンテンツのためよりも高い。画像の多くの部分がめったに更新されないシーケンス（たとえば何かの画面コンテンツ）では、PピクチャおよびBピクチャが一般的には多くのスキップブロックを含むので、IRAPピクチャとPピクチャおよびBピクチャとの間の比率はさらに大きい。
【０２４２】
非常に静的なコンテンツを有することが多いビデオサービスには、画面共有および監視ビデオを含む。画面共有は、たとえば、個人の間のライブ通信ツールとして利用されることがあり、あるいは、サーバのような他のコンピュータを監視するために設定されることがある。これらすべてのサービスで、ビデオ素材を記録し、格納することがしばしば重要である。そして格納したビデオ素材は、好適にはランダムアクセスオペレーションを用いて検索することが容易であるべきである。同時に、帯域幅の利用の制限および格納スペースの節約の両方のために、ビデオのビットレートを最低限に維持することが重要である。
【０２４３】
提案された解決策は、IRAPピクチャのランダムアクセスおよびエラーロバストの性質をほぼ同じに維持しながら、一般的なコンテンツの符号化ならびに画面コンテンツ符号化においてRAPピクチャで費やされる多くのビットを減らすことを目的とする。これは、ここでは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる新しいピクチャタイプの導入により成されている。DRAPピクチャはたとえば、Pピクチャ（前のIRAPピクチャのみ（ある実施形態では他のDRAPピクチャも）を参照できる）である。
【０２４４】
DRAPピクチャは、ビデオビットストリームの全体のビットコストを下げるためにIRAPピクチャのいくつかを置き替えることができる。代わりに、同じビットレートを前提として、ランダムアクセスポイントをより高頻度で配置できる。DRAPピクチャ上のランダムアクセスは、先行するIRAPを最初に復号し、それからDRAPピクチャを復号することによって行われる。
【０２４５】
ランダムアクセスは、参照されたIRAPピクチャ（および関連があるなら照されたDRAPピクチャ）は、DRAPピクチャの復号の前に復号されなければならないという制約と共にDRAPピクチャに提供される。DRAPピクチャはたとえば、ランダムアクセスのためのビットレートのオーバーヘッドを最低限に維持すると同時に、ビデオによる早送りのために非常に役立つ。
【０２４６】
別の好適な制約はDRAPピクチャをまたぐ予測が禁止されるべきということである。DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャに先行するいかなる非RAPピクチャも予測のために使ってはならない。この制約のひとつの代替的な定式化は、復号順序および出力順序の両方でDRAPピクチャに後続する非RAPピクチャは、復号順序でDRAPピクチャに先行するいかなる非RAPピクチャも参照のために使うことはない、ということである。
【０２４７】
本発明の一実施形態では、エラーロバスト性を改善するために、イントラまたはスキップブロックのどちらかのみがDRAPピクチャに許される。
【０２４８】
HEVCでは、AVC/H.264と同様、Recovery Point（復帰点）SEIと呼ばれるSEIメッセージがある。復帰点SEIメッセージは、デコーダがランダムアクセスを開始した後またはエンコーダがビットストリームにおいて中断リンクを示した後に、復号処理が表示のために受入れ可能なピクチャをいつ作り出すかの決定においてデコーダを支援する。復帰点SEIメッセージと関連付けられたピクチャで復号処理が復号順序で開始されたとき、このSEIメッセージに記述された復帰点のピクチャ、または出力順序でそれに続く復号されたピクチャの全ては、コンテンツのなかで正しいか或いはほぼ正しいと表示される。
【０２４９】
復帰点SEIメッセージはDRAPピクチャの機能性を実現するために使うことはできない。復帰点SEIメッセージがIRAPピクチャと共に送信されたなら、復号順序でそれに後続するすべてのピクチャはDRAPピクチャまでに復号し終えねばならず、それは望ましくない。そして、DRAPメッセージは復号順序で復帰点SEIメッセージに先行する何物にも従属を表示できないので、復帰点SEIメッセージはDRAPピクチャと共に送信できない。
【０２５０】
一側面によれば、ビットストリームを符号化するための方法が提供される。その方法では、IRAPピクチャが符号化され、IRAPピクチャにのみ従属するインターピクチャが符号化され、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
【０２５１】
他の一側面によれば、ビデオビットストリームを復号するための方法が提供される。その方法では、イントラランダムアクセスポイント(IRAP)ピクチャが復号され、IRAPピクチャにのみ従属するインターピクチャが復号され、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれ、DRAPピクチャはランダムアクセスオペレーションを遂行するために用いられる。
【０２５２】
図２３は、ビデオストリームを符号化するための方法を説明するフローチャートである。この方法は、ステップS100においてビデオストリームのIRAPピクチャを復号することを含む。その方法はまた、ステップS101において、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことのできるトレーリングピクチャとしてステップS101において符号化される。DRAPピクチャはビデオストリームの符号化されたピクチャのビデオビットストリームの中のRAPを構成する。
【０２５３】
一実施形態では、DRAPピクチャは、ステップS101において、参照のために使うことができるトレーリングピクチャとして（すなわちTRAIL_Rピクチャとして）符号化され、ビデオビットストリーム中の最下位層に属する（すなわち時間的ID=0を持つ）。
【０２５４】
一実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
【０２５５】
他の実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
【０２５６】
更なる一実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャおよびDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
【０２５７】
復号順序は、ビデオビットストリームの中のピクチャがデコーダにより復号される順序を特定する。この順序はビデオストリームのピクチャがエンコーダにより符号化されるのと同じ順序である。それゆえ、復号順序は符号化またはコード化順序とも呼ばれる。
【０２５８】
図２４は、図２３に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS101から続いている。次のステップS101は、出力順序および復号順序ではDRAPピクチャに後続するビデオストリームの少なくともひとつの非RAPピクチャを符号化することを含む。少なくとも一つの非RAPピクチャはステップS101において、符号化順序でDRAPピクチャに先行するビデオストリームのどのような非RAPピクチャも、その少なくともひとつの非RAPピクチャのための参照ピクチャとして使うことなく符号化される。それにより、ステップS101において符号化されたDRAPピクチャをまたぐ参照は、場合により、非RAPピクチャが、ステップS100で符号化されたIRAPピクチャを参照ピクチャとして、および／または、前のDRAPピクチャすなわちステップS100で符号化されたIRAPピクチャとステップS101で符号化されたDRAPピクチャとの間にあるDRAPピクチャを参照ピクチャとして用いることができることを例外として、好ましくは防止される。
【０２５９】
特定の実施形態では、ステップS101は、DRAPピクチャのブロックを、IRAPピクチャおよび／または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして符号化することを含む。
【０２６０】
図２５は、図２３に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS101から続いている。次のステップS120は、DRAPピクチャのRPSにIRAPピクチャの識別子を含ませることを含む。RPSは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
【０２６１】
図２６は、図２３に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS100から続いている。次のステップS130は、DRAPピクチャを、DRAPピクチャをDRAPピクチャとして特定するSEIメッセージと関連付けることを含む。
【０２６２】
SEIメッセージは空のSEIメッセージであるか、または様々なSEIメッセージの例との関連で以前に説明したパラメータのいずれかを含むことができる。
【０２６３】
図２７は、SEIメッセージが空でない場合にこの方法に含ませることができる追加的なオプションのステップを説明するフローチャートである。
【０２６４】
一実施形態では、この方法は、ステップS140において、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することに基づいて、中断リンクフラグの値をセットすることをさらに含む。この方法はまた、ステップS143において、中断リンクフラグをSEIメッセージに含ませることを含む。
【０２６５】
代わりにあるいは追加的に、この方法は、ステップS141において、DRAPピクチャを符号化することが、イントラ符号化ブロックまたはスキップフラグが１にセットされたスキップブロックのみとしてDRAPピクチャのブロックを符号化することを含むかどうかに基づいて、スキップまたはイントラブロックのみフラグの値をセットすることを含む。この方法はまた、ステップS143において、スキップまたはイントラブロックのみフラグをSEIメッセージに含ませることを含む。
【０２６６】
代わりにまたは追加的に、この方法は、ステップS142において、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャと異なるならば、IRAPピクチャのPOC値とDRAPピクチャのPOC値との差に基づいて参照ピクチャデルタ識別子の値をセットすることを含む。このステップS142は、代わりに、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャであるならば、参照ピクチャデルタ識別子の値をゼロにセットすることを含む。この方法はまた、ステップS143において、参照デルタ識別子をSEIメッセージに含ませることを含む。
【０２６７】
代替の実施形態では、ステップS142は、DRAPピクチャを符号化するときに、参照ピクチャとして用いられるIRAPピクチャのPOCのLSBに等しいパラメータの値をセットすることを含む。この方法はまた、ステップS143において、パラメータをSEIメッセージに含ませることを含む。
【０２６８】
この方法はまた、値をセットすること、および、ここで前述したパラメータimplicitly_reference_previous_irap_picture_flagまたはreference_dependent_rap_flagおよび nbr_pictures_in_reference_chain_minus1を含ませることを含む。
【０２６９】
図２８は、DRAPピクチャを示す他の実施形態を説明しているフローチャートである。この方法は図23中のステップS101から続いている。次のステップS150は、DRAPピクチャに関連付けられたピクチャタイプ識別子を、ビデオビットストリームのNALユニットヘッダに含ませることを含む。ピクチャタイプ識別子は、DRAPピクチャをDRAPピクチャとして識別する。
【０２７０】
それゆえ、符号化されたDRAPピクチャまたは少なくともその一部は、好ましくは、NALユニットに含まれたピクチャがDRAPピクチャであることを示す値を持つピクチャタイプ識別子を含む。
【０２７１】
この実施形態の一側面は、ビデオビットストリームの符号化のための方法に関連し、以下のステップを含む：
-  IRAPピクチャを符号化し、
-  IRAPピクチャのみに従属するインターピクチャを符号化し、そのインターピクチャは従属ランダムアクセスポイント(DRAP)と呼ばれる。
【０２７２】
一実施形態では、方法はさらに以下を含む：
-  前のDRAPピクチャに従属する追加のDRAPピクチャを符号化する。
【０２７３】
一実施形態では、DRAPピクチャは、前のIRAPピクチャもしくはDRAPピクチャ、または他の前のピクチャのいずれかを参照でき、両方の参照が同じ復号されたDRAPピクチャを結果として生じるような方法で符号化される。
【０２７４】
一実施形態では、DRAPピクチャはイントラまたはスキップ符号化ブロックのどちらかだけを含んでもよい。
【０２７５】
一実施形態では、ビットストリームの中に、DRAPピクチャはIRAPピクチャより高頻度に存在してもよい。
【０２７６】
一実施形態では、DRAPピクチャは、DRAPピクチャによってビットストリームの中で示されるピクチャタイプ識別子を割り当てられてもよい。
【０２７７】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャをデコーダに示してもよい。
【０２７８】
一実施形態では、DRAPピクチャに付随するデータは、追加のDRAPピクチャを復号するために必要なIRAPピクチャおよびDRAPピクチャをデコーダに示してもよい。
【０２７９】
一実施形態では、DRAPピクチャに付随するデータは、IRAPピクチャに従属するDRAPピクチャをデコーダに示してもよい。
【０２８０】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャの位置での中断リンクの存在または不在を示してもよい。
【０２８１】
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャがイントラおよびスキップ符号化ブロックのみを含むかを示してもよい。
【０２８２】
一実施形態では、データは、補足的拡張層（supplementary enhancement layer : SEI）メッセージ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）またはビデオスライスヘッダで示されてもよい。
【０２８３】
実施形態の一側面はビデオストリームを符号化するための方法に関する。この方法では、IRAPピクチャは符号化され、IRAPピクチャのみに従属するインターピクチャが符号化される。インターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
【０２８４】
実施形態の一側面によれば、ビットストリームを符号化するためのエンコーダ200が提供される（図２９参照）。エンコーダ200は、IRAPピクチャを符号化し、IRAPピクチャにのみ従属するインターピクチャを符号化するよう構成された処理手段を含み、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
【０２８５】
実施形態の一側面によれば、ビットストリームを復号するためのデコーダ100が提供される。デコーダ100は、イントラランダムアクセスポイント(IRAP)ピクチャを復号し、IRAPピクチャにのみ従属するインターピクチャを復号するよう構成された処理手段を含み、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれ、DRAPピクチャはランダムアクセスオペレーションを遂行するために用いられる。
【０２８６】
エンコーダ200およびデコーダ100それぞれにおいて、処理手段はプロセッサおよびメモリを含み、メモリはさらに、プロセッサにより実行された際に、ここで説明した方法を実施するよう構成される命令を含む。
【０２８７】
エンコーダ200は、符号化されたビットストリームを、たとえばSEIメッセージにより例示される制御情報と共に送信するための出力ユニットを含んでよく、デコーダ100は、ビットストリームおよび制御情報を受信するための入力ユニットを含む。
【０２８８】
エンコーダ200およびデコーダ100はそれぞれ、ユーザ端末やネットワーク、ノードなどのデバイスの中に置くことができる。ユーザ端末はたとえばビデオカメラ、携帯電話、またはタブレットであってよい。
【０２８９】
例示の実施形態が与えられる命令を様々な形で提供してよいことが理解されるべきである。
【０２９０】
本実施形態は、HEVC復号化及び符号化、すなわちHEVC仕様または規格に従う復号、およびHEVC仕様または規格に準拠したビデオデータからビデオビットストリームへの符号化に関連した使用に特に適している。HEVC仕様または規格は、HEVCバージョン1とその後のバージョンを含むHEVC仕様の任意のバージョン、および、画面コンテンツの拡張、マルチビュー拡張およびスケーラブル拡張に関連するようなHEVC仕様の任意の拡張を含む。
【０２９１】
当業者は、ここで実施形態を説明するためのベースとしてHEVCが使用されていたとしても、この実施形態は、AVC/H.264、H.263、MPEG-4、VP8およびVP9を含む時間的予測符号化を用いる他のビデオ符号化規格に対しても同様に良好に動作する。
【０２９２】
ここで説明したIRAPピクチャは、イントラランダムアクセスポイントピクチャ、すなわち、ランダムアクセスポイントピクチャを構成し、それによってランダムアクセスポイントピクチャとして使用でき、空間（すなわちイントラ）予測を用いて符号化および復号化され、それによりイントラ符号化ブロックのみを含むピクチャを構成する。前述したように、HEVC仕様によればIRAPピクチャはIDRピクチャ、CRAピクチャまたはBLAピクチャの形でよい。上述したような他のビデオ符号化規格では、キーピクチャあるいはキーフレームなど他の特定のピクチャタイプ名が、イントラランダムアクセスポイントピクチャを定義するために使用されることがある。しかしながら、そのような他の特定のピクチャタイプはまた、そのような他のビデオ符号化規格のためにそれらがランダムアクセスポイントを構成し、それによってランダムアクセスポイントとして使用でき、空間的すなわちイントラ予測のみを用いて符号化され復号される限り、ここで使用されるIRAPピクチャの表現に包含されるとみなされる。ビデオ符号化においては、ビデオストリームのピクチャはフレームとよばれることがある。
【０２９３】
実施形態の他の側面はビデオビットストリームを復号するためのデコーダに関する。そのデコーダはビデオビットストリームのIRAPピクチャを復号するよう構成される。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、DRAPピクチャはビデオビットストリーム中のランダムアクセスポイントを構成している。
【０２９４】
実施形態では、DRAPピクチャはビデオビットストリームの最下層に属する。
【０２９５】
一実施形態では、デコーダは、DRAPピクチャを、復号順序に従ってビデオビットストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号するよう構成される。
【０２９６】
一実施形態では、デコーダは、出力順序および復号順序でDRAPピクチャに後続するビデオビットストリームの少なくともひとつの非RAPピクチャを復号するよう構成される。その少なくともひとつの非RAPピクチャは、ビデオビットストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
【０２９７】
一実施形態では、デコーダは、復号されたDRAPピクチャを出力し、DRAPピクチャに後続する復号された非RAPピクチャを出力するよう構成される。特定の一実施形態では、デコーダはさらに、DRAPピクチャの復号のあいだ参照ピクチャとして使用されるIRAPピクチャを出力しないよう構成される。
【０２９８】
一実施形態では、デコーダは、ビデオビットストリームの中へのDRAPピクチャを用いるランダムアクセスオペレーションを実行するよう構成される。
【０２９９】
特定の一実施形態では、デコーダは、出力順序でDRAPピクチャに先行しておりかつ復号済みピクチャバッファの中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定するよう構成される。
【０３００】
一実施形態では、デコーダは、DRAPピクチャのブロックを、IRAPピクチャおよび／または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして復号するよう構成される。
【０３０１】
一実施形態では、デコーダは、DRAPピクチャの参照ピクチャセットからIRAPピクチャの識別子を検索するよう構成される。参照ピクチャセットは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
【０３０２】
一実施形態では、デコーダは、DRAPピクチャと関連付けられたSEIメッセージに基づいて、DRAPピクチャをDRAPピクチャとして識別するよう構成される。
【０３０３】
特定の一実施形態では、デコーダは、SEIメッセージから中断リンクフラグを検索するよう構成される。デコーダはまた、中断リンクフラグの値に基づいて、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があるかどうかを判定するよう構成される。
【０３０４】
他の特定の実施形態では、デコーダは、代わりにまたは追加的に、SEIメッセージからスキップまたはイントラブロックのみフラグを検索するよう構成される。デコーダはまた、スキップまたはイントラブロックのみフラグの値に基づいて、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのどちらかだけを含むか判定するよう構成される。
【０３０５】
更なる特定の実施形態では、デコーダは、代わりにまたは追加的に、SEIメッセージから参照ピクチャデルタ識別子を検索するよう構成される。デコーダはまた、参照ピクチャデルタ識別子がゼロより大きいならば、IRAPピクチャのPOC値を、DRAPピクチャのPOC値および参照ピクチャデルタ識別子に基づいて計算するよう構成される。デコーダはさらに、参照ピクチャデルタ識別子がゼロより大きいならば、計算したPOC値に基づいてIRAPピクチャを特定するよう構成される。代わりに、デコーダは、参照ピクチャデルタ識別子がゼロに等しいならば、ビデオビットストリームの中の最も近い先行するIRAPピクチャとしてIRAPピクチャを特定するよう構成される。
【０３０６】
一実施形態では、デコーダは、DRAPピクチャを、そのDRAPピクチャに関連づけられ、かつビデオビットストリームのNALユニットヘッダに含まれたたピクチャタイプ識別子に基づいてひとつのDRAPピクチャとして特定するよう構成される。
【０３０７】
ここで説明した方法及びデバイスは様々なやり方で結合し、また再配置することができることは理解されるであろう。
【０３０８】
例えば、実施形態はハードウエアまたは適切な処理回路により実行するためのソフトウェア、またはそれらの組み合わせで実現することができる。
【０３０９】
ここで説明したステップ、機能、手続、モジュールおよび／またはブロックは、汎用電子回路および特定用途向け回路の両方を含む離散回路または集積回路技術など、どのような従来の技術を用いたハードウエアででも実施できる。
【０３１０】
特定の例は、一つ以上の適切に構成されたデジタル信号プロセッサや、たとえば専門の機能を遂行するために相互接続した離散論理ゲートや、特定用途向け集積回路(ASICs)など、他の公知の電子回路を含む。
【０３１１】
図３０は、実施形態に従うデコーダ110の詳細なハードウエア実装を説明する。一実施形態では、デコーダ110は、IRAPピクチャを復号するよう構成されたIRAPデコーダ111を含む。デコーダ110は、DRAPピクチャを復号するよう構成されたDRAPデコーダ112を含む。
【０３１２】
図３０において、デコーダ110は、別々のIRAPデコーダ111とDRAPデコーダ112とを含むとして説明されている。代替的な実装では、デコーダ110は、ピクチャが、IRAPピクチャであるかDRAPピクチャであるか又は非RAPピクチャであるかに関わらず、ビデオビットストリームのピクチャに作用し、復号する単一の復号ユニットを含んでよい。
【０３１３】
デコーダ110は好ましくはまた、一般には、ビデオストリームの中のピクチャの符号化ビデオデータを搬送しているNALユニットおよび、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)およびビデオパラメータセット(VPS)のようなビデオビットストリームに関連する他の制御データを搬送するNALユニットのシーケンスの形で、ビデオビットストリームを受信するよう構成された入力ユニット113を含む。
【０３１４】
デコーダ110は好ましくは、デコーダ110によって、そして特にIRAPデコーダ111およびDRAPデコーダ112によって復号されたピクチャを出力するよう構成された出力ユニット114をさらに含む。出力ユニット114は、ビデオストリームの表示のために、ディスプレイまたはスクリーンに復号されたピクチャを出力するよう構成される。代わりに、出力ユニット114は、ビデオストリームを変換するよう構成されたトランスコーダに、または復号されたピクチャの記憶のためのメモリに、復号されたピクチャを出力することができる。
【０３１５】
入力ユニット113は、特にビデオビットストリームの無線受信のための受信機またはトランシーバとして実施できる。代わりに、入力ユニット113は、特にビデオビットストリームの有線受信のための汎用入力または入力ポートの形で可能である。それに従って、出力ユニット114は、送信機またはトランシーバまたは汎用出力または出力ポートとして実施できる。
【０３１６】
デコーダ110は好ましくはまた、IRAPデコーダ111またはDRAPデコーダ112により生成された復号済みピクチャを一時的に格納するよう構成された復号済みピクチャバッファ(DPB)115を含む。復号済みピクチャは好ましくはDPB115に格納されてビデオビットストリームの中の後続するピクチャを復号する際に参照ピクチャとして用いられ、かつ／またはピクチャが出力順序に従って出力されるまで格納される。
【０３１７】
入力ユニット113は好ましくは、IRAPデコーダ111およびDRAPデコーダ112に接続され、受信したピクチャを復号のためにそこへと送信する。IRAPデコーダ111およびDRAPデコーダ112は、復号済みピクチャをDPB115に格納するためにDPB115に接続され、DRAPデコーダ112は、現在のDRAPピクチャを復号している間、以前に復号したIRAPピクチャおよび／またはDRAPピクチャにアクセスできる。出力ユニット114は好ましくはDPB115に接続され、復号済みピクチャをDPB115から出力順序に従って出力する。
【０３１８】
代わりに、ここで説明した少なくともいくつかのステップ、機能、手続、モジュールおよび／またはブロックは、少なくとも一つのプロセッサまたは処理ユニットなどの適切な処理回路により実行されるコンピュータプログラムなどのソフトウェアで実現できる。
【０３１９】
処理回路の例は、ひとつ以上のマイクロプロセッサ、ひとつ以上の信号処理プロセッサ(DSP)、ひとつ以上の中央処理装置(CPU)、ビデオアクセラレーションハードウェア、および／またはひとつ以上のフィールドプログラマブルゲートアレイ(FPGA)またはひとつ以上のプログラマブルロジックコントローラ(PLC)などのすべての適当なプログラマブルロジック回路含むけれども、それらに限定されない。
【０３２０】
提案された技術が実施されるどのような従来のデバイスまたはユニットの一般の処理能力でも再利用することが可能であるかもしれないことも理解されるべきである。例えば、既存のソフトウェアの再プログラミングによって、または新しいソフトウェアコンポーネントを追加することによって既存のソフトウェアを再利用することも可能であるかもしれない。
【０３２１】
特定の例では、デコーダ120（図３１参照）は、プロセッサ121および、プロセッサ121により実行可能な命令を含むメモリ122を含む。プロセッサ121はIRAPピクチャを復号し、かつDRAPピクチャを復号するよう機能する。
【０３２２】
一実施形態では、デコーダ120はまた、ビデオビットストリームを受信し、復号したピクチャを出力するよう構成された入出力(I/O)ユニット123を含む。
【０３２３】
デコーダ120のメモリ122は、好ましくは、復号したピクチャを格納し、アクセスするために、プロセッサ121により用いられるDPBを含む。
【０３２４】
特定の実施形態では、プロセッサ121は、メモリ122に格納された命令を実行している際に、上述した作用を遂行するよう機能する。それによって、プロセッサ121はメモリ122と相互接続され、正常なソフトウェア実行を可能としている。
【０３２５】
図３６は、プロセッサ310、関連メモリ320、および通信回路330を含むユーザ機器(UE)300の例を説明する概略ブロック図である。
【０３２６】
この特定の例では、ここで説明した少なくともいくつからのステップ、機能、手続、モジュールおよび／またはブロックがコンピュータプログラム340に実装され、それはひとつ以上のプロセッサ310を含む処理回路による実行のためにメモリ320にロードされる。プロセッサ310およびメモリ320は互いに相互接続されて通常のソフトウェア実行を可能にしている。通信回路330はまた、プロセッサ310および／またはメモリ320と相互接続されて、ビデオビットストリームおよび復号済みピクチャの入力および／または出力を可能にしている。
【０３２７】
ユーザ機器300はビデオビットストリームを受信でき、処理できる任意のデバイスまたは装置であり得る。例えば、ユーザ機器300は、ラップトップ、スマートフォン、タブレット、セットトップボックスなどの据え置き型または携帯型のコンピュータであり得る。
【０３２８】
用語「プロセッサ」は、特定の処理、判断または計算タスクを遂行するために、プログラムコードまたはコンピュータプログラム命令を実行できる任意のシステムまたはデバイスとして一般的な意味に解釈されるべきである。
【０３２９】
そのため一つ以上のプロセッサを含む処理回路は、コンピュータプログラムを実行している際に、ここで説明したもののように、明確に定義された処理タスクを遂行するよう構成される。
【０３３０】
処理回路は上述したステップ、機能、手続およびまたはブロックを実行するためだけの専用である必要はなく、他のタスクも実行してよい。
【０３３１】
一実施形態では、コンピュータプログラム340は、プロセッサ310によって実行された際にプロセッサ310にビデオビットストリームのＩＲＡＰピクチャを復号させる命令を含む。プロセッサ310はまた、DRAPピクチャのための唯一の参照ピクチャとして、IRAPピクチャおよび／または、復号順序に従ってビデオビットストリームの中の前のDRAPピクチャを用いてビデオビットストリームのDRAPピクチャを復号させる。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【０３３２】
提案された技術はまたコンピュータプログラム340を含む担体350を提供する。この担体350は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体350のうちのひとつである。
【０３３３】
例として、ソフトウェアまたはコンピュータプログラム340は、コンピュータプログラム製品として実現でき、それは通常コンピュータ可読媒体340に担持され、あるいは格納される。コンピュータ可読媒体350は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ（RAM）、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク、ユニバーサルシリアルバス(USB)メモリ、ハードディスクドライブ(HDD)ストレージデバイス、フラッシュメモリ（登録商標）、磁気テープ、または他の任意の従来のメモリデバイスを含むがそれらに限定されない一つ以上のリムーバブルまたはリムーバブルでないメモリデバイスを含むことができる。したがって、図36においてユーザ機器300によりそのプロセッサ310による実行のために表されたコンピュータプログラム340は、コンピュータまたは均等な処理デバイスの動作メモリにロードされ得る。
【０３３４】
それゆえ、ここで表されたフロー図または図は、一つ以上のプロセッサにより実行された際に、コンピュータフロー図または図と見なされる。対応するデコーダは機能モジュールのグループとして定義されてよく、そこでは各ステップは機能モジュールに対応するプロセッサにより実行される。この場合には、機能モジュールはプロセッサで実行されるコンピュータプログラムとして実装される。そのため、デコーダは代わりに機能モジュールのグループとして定義してよく、そこでは機能モジュールは少なくとも一つのプロセッサで実行されるコンピュータプログラムとして実装される。
【０３３５】
それにより、メモリに常駐するコンピュータプログラムは、プロセッサにより実行された際にここで説明したステップおよび／またはタスクの少なくとも一部を実行するよう構成された適切な機能モジュールとしてまとめられる。そのような機能モジュールの例が図３２に説明されている。
【０３３６】
図３２は、機能モジュールを有するデコーダ130の概略ブロック図である。デコーダ130は、ビデオビットストリームのIRAPピクチャを復号するためのIRAPデコーダ131を含む。デコーダ130はまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号するDRAPデコーダ132を含む。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【０３３７】
実施形態の更なる側面はビデオストリームを符号化するためのエンコーダに関する。エンコーダは、ビデオストリームのIRAPピクチャを符号化するよう構成される。エンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
【０３３８】
一実施形態において、DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリーム中の最下位層に属する。
【０３３９】
一実施形態では、エンコーダは、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。
【０３４０】
一実施形態では、エンコーダは、出力順序および復号順序でDRAPピクチャに後続するビデオストリームの少なくともひとつの非RAPピクチャを符号化するよう構成される。その少なくともひとつの非RAPピクチャは、ビデオストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
【０３４１】
一実施形態では、エンコーダは、DRAPピクチャのブロックを、IRAPピクチャおよび／または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして符号化するよう構成される。
【０３４２】
一実施形態では、エンコーダは、DRAPピクチャの参照ピクチャセットにIRAPピクチャの識別子を含ませるよう構成される。参照ピクチャセットは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
【０３４３】
一実施形態では、エンコーダは、DRAPピクチャを、DRAPピクチャをDRAPピクチャとして特定するSEIメッセージと関連付けるよう構成される。
【０３４４】
特定の実施形態では、エンコーダは、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することに基づいて、中断リンクフラグの値をセットするよう構成される。エンコーダはまた中断リンクフラグをSEIメッセージに含ませるように構成される。
【０３４５】
他の特定の実施形態では、エンコーダは、代わりにまたは追加的に、DRAPピクチャを符号化することが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみとしてDRAPピクチャのブロックを符号化することを含むかどうかに基づいて、スキップまたはイントラブロックのみフラグの値をセットすることを含む。エンコーダはまた、スキップまたはイントラブロックのみフラグをSEIメッセージに含ませるように構成される。
【０３４６】
更なる特定の実施形態では、エンコーダは、代わりにまたは追加的に、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャと異なるならば、IRAPピクチャのPOC値とDRAPピクチャのPOC値との差に基づいて参照ピクチャデルタ識別子の値をセットするよう構成される。エンコーダはまた、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャであるならば、参照ピクチャデルタ識別子の値をゼロにセットするよう構成される。エンコーダはまた参照ピクチャデルタ識別子をSEIメッセージに含ませるように構成される。
【０３４７】
一実施形態では、エンコーダは、DRAPピクチャに関連付けられたピクチャタイプ識別子を、ビデオビットストリームのNALユニットヘッダに含ませるよう構成される。ピクチャタイプ識別子は、DRAPピクチャをDRAPピクチャとして識別する。
【０３４８】
図３３は、実施形態に従うエンコーダ210の詳細なハードウエア実装を説明する。一実施形態では、エンコーダ210は、IRAPピクチャを符号化するよう構成されたIRAPエンコーダ211を含む。エンコーダ210は、DRAPピクチャを符号化するよう構成されたDRAPエンコーダ212を含む。
【０３４９】
図３３において、エンコーダ210は、別々のIRAPエンコーダ211とDRAPエンコーダ212とを含むとして説明されている。代替的な実装では、エンコーダ210は、ピクチャが、IRAPピクチャであるかDRAPピクチャであるか又は非RAPピクチャであるかに関わらず、ビデオストリームのピクチャに作用し、符号化する単一の符号化ユニットを含んでよい。
【０３５０】
エンコーダ210は好ましくはまた、ビデオストリームを受信するよう構成された入力ユニット213を含む。エンコーダ210は好ましくはさらに、一般には、ビデオストリームの中のピクチャの符号化ビデオデータを搬送しているNALユニットおよびビデオビットストリームに関連する他の制御データを搬送するNALユニットのシーケンスの形で、ビデオビットストリームを出力するよう構成された出力ユニット214を含む。
【０３５１】
入力ユニット213は、受信機またはトランシーバまたは汎用入力または入力ートとして実施できる。それに従って、出力ユニット214は、送信機またはトランシーバまたは汎用出力または出力ポートとして実施できる。
【０３５２】
エンコーダ210は好ましくはまた、ビデオビットストリームの符号化の間、復号された、または再構成されたピクチャを一時的に格納するよう構成されたDPB215を含む。
【０３５３】
入力ユニット213は好ましくは、IRAPエンコーダ211およびDRAPデコーダ212に接続され、受信したピクチャを符号化のためにそこへと送信する。IRAPエンコーダ211およびDRAPエンコーダ212は、復号された、または再構成されたピクチャをDPB115に格納するために、DPB115に接続される。出力ユニット214は好ましくは、IRAPエンコーダ211およびDRAPデコーダ212に接続され、符号化したピクチャのビデオビットストリームを出力する。
【０３５４】
特定の例では、エンコーダ220（図３４参照）は、プロセッサ221および、プロセッサ221により実行可能な命令を含むメモリ222を含む。プロセッサ221はIRAPピクチャを符号化し、かつDRAPピクチャを符号化するよう機能する。
【０３５５】
一実施形態では、エンコーダ220はまた、ビデオストリームを受信し、ビデオビットストリームを出力するよう構成された入出力(I/O)ユニット223を含む。
【０３５６】
エンコーダ220のメモリ222は、好ましくは、復号済みまたは再構成済みピクチャを格納するために、プロセッサ221により用いられるDPBを含む。
【０３５７】
特定の実施形態では、プロセッサ121は、メモリ222に格納された命令を実行している際に、上述した作用を遂行するよう機能する。それによって、プロセッサ221はメモリ222と相互接続され、正常なソフトウェア実行を可能としている。
【０３５８】
一実施形態では、図３６に示したユーザ機器300は、ビデオストリームを受信でき、処理できる任意のデバイスまたは装置であり得る。例えば、ユーザ機器300は、ラップトップ、スマートフォン、タブレット、ビデオカメラなどの据え置き型または携帯型のコンピュータであり得る。
【０３５９】
一実施形態では、図３６に示したコンピュータプログラム340は、プロセッサ310によって実行された際にプロセッサ310にビデオストリームのＩＲＡＰピクチャを符号化させる命令を含む。プロセッサ310はまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化させられる。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【０３６０】
図３５は、機能モジュールを有するエンコーダ230の概略ブロック図である。エンコーダ230は、ビデオストリームのIRAPピクチャを符号化するためのIRAPエンコーダ231を含む。そのエンコーダ230はまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび／または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するためのDRAPエンコーダ232を含む。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
【０３６１】
提案した解決策の利点は、ランダムアクセスをサポートするビットストリームを符号化する際に、IRAP（IDR、CRAまたはBLA）ピクチャの一部の代わりにDRAPピクチャを使用することにより、多くの帯域幅を節約でき、すなわちより高い全体的な品質得られることである。
【０３６２】
画面共有および監視シナリオのために、短い周期性を持つDRAPピクチャおよびより長い周期性を持つIRAPピクチャを使って、例えばDRAPピクチャは毎秒、IRAPピクチャは60秒ごとに、記憶されたビデオが容易に検索されることができると同時に、ビットレートを低減することができる。さらに、これらのサービスのためのビデオリンクはいつもエラーがないわけではない可能性がある。イントラブロックまたはスキップブロックだけを持つDRAPピクチャを使うことは、どのようなランダムアクセスポイントも持たないのに比べて、ストリームのエラーロバスト性を増大させる。
【０３６３】
上述した実施形態は本発明のいくつかの説明的なサンプルとして理解されるべきである。本発明の範囲から離れることなく、補実施形態に様々な修正、組み合わせおよび変更が行えることが当業者により理解されるであろう。特に、相異なる実施形態における異なる部分の解決策が技術的に可能な他の構成に組み合わせられる。本発明の範囲は、しかしながら添付の特許請求の範囲により定義される。
【図１】
2019195203.tif 000020
【図２】
2019195203.tif 000021
【図３】
2019195203.tif 000022
【図４】
2019195203.tif 000023
【図５】
2019195203.tif 000024
【図６】
2019195203.tif 000025
【図７】
2019195203.tif 000026
【図８】
2019195203.tif 000027
【図９】
2019195203.tif 000028
【図１０】
2019195203.tif 000029
【図１１】
2019195203.tif 000030
【図１２】
2019195203.tif 000031
【図１３】
2019195203.tif 000032
【図１４】
2019195203.tif 000033
【図１５】
2019195203.tif 000034
【図１６Ａ】
2019195203.tif 000035
【図１６Ｂ】
2019195203.tif 000036
【図１６Ｃ】
2019195203.tif 000037
【図１７】
2019195203.tif 000038
【図１８】
2019195203.tif 000039
【図１９】
2019195203.tif 000040
【図２０】
2019195203.tif 000041
【図２１】
2019195203.tif 000042
【図２２】
2019195203.tif 000043
【図２３】
2019195203.tif 000044
【図２４】
2019195203.tif 000045
【図２５】
2019195203.tif 000046
【図２６】
2019195203.tif 000047
【図２７】
2019195203.tif 000048
【図２８】
2019195203.tif 000049
【図２９】
2019195203.tif 000050
【図３０】
2019195203.tif 000051
【図３１】
2019195203.tif 000052
【図３２】
2019195203.tif 000053
【図３３】
2019195203.tif 000054
【図３４】
2019195203.tif 000055
【図３５】
2019195203.tif 000056
【図３６】
2019195203.tif 000057
【手続補正書】
【提出日】令和1年7月2日(2019.7.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオビットストリームを復号するための方法であって、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを特定することであって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示すことと、
特定された前記DRAPピクチャに付随する前記データを用いて前記DRAPを復号することであって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされることと、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを復号することであって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化されることと
を含む方法。
【請求項２】
請求項１に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられた補足的拡張情報(SEI)メッセージに基づいたDRAPピクチャとして特定することをさらに含む方法。
【請求項３】
請求項１又は２に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられ、かつ前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含まれたピクチャタイプ識別子に基づいたDRAPピクチャとして特定することをさらに含む方法。
【請求項４】
請求項１乃至３のいずれか一項に記載の方法であって、さらに、
前記復号されたDRAPピクチャを出力することと、
前記少なくとも一つの復号された非RAPピクチャを出力することと
を含む方法。
【請求項５】
請求項１乃至４のいずれか一項に記載の方法であって、前記IRAPおよび前記先行DRAPピクチャとともに前記DRAPピクチャを用いて前記ビデオビットストリームの中へのランダムアクセスオペレーションを実行することをさらに含む方法。
【請求項６】
請求項１乃至５のいずれか一項に記載の方法であって、出力順序で前記DRAPピクチャに先行しておりかつ復号済みピクチャバッファの中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定することをさらに含み、それにより、出力順序で前記DRAPピクチャに先行する任意のピクチャの出力を抑制し、前記DRAPピクチャの復号の間にはそれはまだ前記復号済みピクチャバッファ内にある、方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の方法であって、前記DRAPピクチャを復号することは、前記DRAPピクチャのための唯一の参照ピクチャとして前記IRAPピクチャおよび前記先行DRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを復号することを含む、方法。
【請求項８】
請求項１乃至７のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットから前記IRAPピクチャの識別子を検索することをさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
【請求項９】
ビデオビットストリームを符号化するための方法であって、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを生成することであって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示すことと、
生成された前記DRAPピクチャに伴う前記データを用いて前記DRAPを符号化することであって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされることと、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを符号化することであって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化されることと
を含む方法。
【請求項１０】
請求項９に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャをDRAPピクチャとして特定する補足的拡張情報(SEI)メッセージに関連づけることをさらに含む方法。
【請求項１１】
請求項９又は１０に記載の方法であって、前記DRAPピクチャに関連付けられたピクチャタイプ識別子を、前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含ませることをさらに含み、前記ピクチャタイプ識別子は前記DRAPピクチャをDRAPピクチャとして特定する、方法。
【請求項１２】
請求項９乃至１１のいずれか一項に記載の方法であって、前記DRAPピクチャを符号化することは、前記DRAPピクチャのための唯一の参照ピクチャとして前記IRAPピクチャおよび前記先行DRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを符号化することを含む、方法。
【請求項１３】
請求項９乃至１２のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットに、前記IRAPピクチャの識別子を含ませることをさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
【請求項１４】
請求項９乃至１３のいずれか一項に記載の方法であって、前記DRAPピクチャは前記ビデオビットストリームの最下位層に属する、方法。
【請求項１５】
ビデオビットストリームを復号するためのデコーダであって、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを特定する手段であって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示す手段と、
特定された前記DRAPピクチャに付随する前記データを用いて前記DRAPを復号する手段であって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされる手段と、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを復号する手段であって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化される手段と
を含むデコーダ。
【請求項１６】
ビデオビットストリームを符号化するためのエンコーダであって、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを生成する手段であって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示す手段と、
生成された前記DRAPピクチャに伴う前記データを用いて前記DRAPを符号化する手段であって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされる手段と、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを符号化する手段であって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化される手段と
を含むエンコーダ。
【請求項１７】
コンピュータに、ビデオビットストリームを復号するための方法を実行させるためのプログラムであって、前記方法は、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを特定することであって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示すことと、
特定された前記DRAPピクチャに付随する前記データを用いて前記DRAPを復号することであって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされることと、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを復号することであって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序に従って前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化されることと
を含むプログラム。
【請求項１８】
コンピュータに、ビデオビットストリームを符号化するための方法を実行させるためのプログラムであって、前記方法は、
前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャに付随するデータを生成することであって、前記データは、前記DRAPピクチャを復号するために、前記ビデオビットストリーム中のイントラランダムアクセスピクチャ(IRAP)と復号順序での先行DRAPピクチャとが必要とされることを示すことと、
生成された前記DRAPピクチャに伴う前記データを用いて前記DRAPを符号化することであって、前記DRAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに後続するピクチャにより参照ピクチャとして用いられるピクチャとしてマークされることと、
出力順序及び復号順序で前記DRAPに後続する、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを符号化することであって、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリーム中の復号順序で前記DRAPピクチャに先行するどの非RAPピクチャをも参照ピクチャとして用いることを許さないよう符号化されることと
を含むプログラム。
【外国語明細書】
2019195203000001.pdf