(57)【要約】  映像符号化器１０１は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する。リフレッシュ制御器１０２は、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行う。表示可能領域符号化器１０３は、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する。多重化器１０４は、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する。
2014002385.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、
ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、
リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、
映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えた
ことを特徴とする映像符号化装置。
【請求項２】
前記表示可能領域符号化手段は、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成する
請求項１記載の映像符号化装置。
【請求項３】
映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、
多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、
多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、
多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えた
ことを特徴とする映像復号装置。
【請求項４】
前記表示可能領域情報ビットストリームは、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含み、
前記表示可能領域復号手段は、表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る
請求項３記載の映像復号装置。
【請求項５】
入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、
ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、
前記リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、
前記映像ビットストリームと前記表示可能領域情報ビットストリームとを多重化する
ことを特徴とする映像符号化方法。
【請求項６】
符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、表示可能領域情報ビットストリームを生成する
請求項５記載の映像符号化方法。
【請求項７】
映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、
多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、
多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、
多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する
ことを特徴とする映像復号方法。
【請求項８】
少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る
請求項７記載の映像復号方法。
【請求項９】
コンピュータに、
映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、
多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、
多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、
多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理
を実行させるための映像復号プログラム。
【請求項１０】
コンピュータに、
前記表示可能領域復号処理で、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を取得させる
請求項９記載の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化技術、特に画面内符号化と画面間予測符号化とを適応的に切り替えて圧縮を行う適応予測符号化を用いた映像符号化技術に関する。
【背景技術】
【０００２】
映像は膨大な情報量をもつため、それをデジタルデータとして記録・伝送するためには、効率よく圧縮符号化することが不可欠である。効率のよい圧縮を実現するため、映像圧縮符号化には様々な要素技術が用いられる。【０００３】
映像圧縮符号化に用いられる要素技術に、予測符号化技術がある。予測符号化技術とは、映像を構成する各画素を順次符号化するにあたって、時空間近傍にある他の一つまたは複数の画素を用いて、現符号化対象画素の予測値を生成し、原信号を直接符号化する代わりに原信号と予測信号との差分信号を符号化する技術である。一般に映像を構成する各画素は時空間近傍画素との間に高い相関性を持つので、予測符号化技術を用いることにより、効率のよい圧縮が可能となる。【０００４】
予測符号化技術のうち、同一のピクチャに含まれる画素群を参照して予測を行うものを画面内予測符号化と呼び、他のピクチャ（参照ピクチャと呼ぶ。）に含まれる画素群を参照して予測を行うものを画面間予測符号化と呼ぶ。一般に、映像には何らかの動きが含まれているので、画面間予測符号化技術は、通常、空間方向の変位情報を併せて用いることにより予測効率を高める、動き補償予測技術と併せて用いられる。なお、「ピクチャ」とは、画面の処理単位を表し、インターレース方式の映像をフィールド単位で符号化する場合にはフィールドに相当し、非インターレース方式（プログレッシブ方式）の映像を符号化する場合、および、インターレース方式の映像をフレーム単位で符号化する場合にはフレームに相当する。【０００５】
一般に、映像は、空間方向よりも時間方向に特に高い相関性を持つ。そのため、予測符号化技術のうち、画面間予測符号化技術によって、特に効率のよい圧縮が可能となる。一方で、前景と背景の位置関係の移動、又は編集による映像切り替えなどの要因により、画面の全体又は一部において、時間的相関性が著しく低下する場合がある。このため、非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding (AVC)をはじめとする一般的な映像符号化方式は、ピクチャを小分割した部分画像を単位として、画面間予測符号化と画面内予測符号化とを、あるいは画面間予測符号化と画面内予測符号化と予測を用いない画面内符号化とを、適応的に切り替えて符号化する、適応予測符号化方式を採用している。上記切り替えの単位としては、映像符号化方式によって異なるが、典型的には、垂直方向16画素、水平方向16画素からなる矩形領域（マクロブロックと呼ぶ。）が用いられる。また、以下、画面内符号化を、イントラ符号化と呼ぶことがある。【０００６】
上記の適応予測符号化方式を用いた場合、ピクチャごとの相関性の違いによって、予測効率に差異が生じ、ひいては圧縮効率に差異が生じる。その結果、ピクチャごとに所要符号量が変動する状況が発生する。加えて、その変動は、圧縮符号化により得られたデータ群（ビットストリームと呼ぶ。）を伝送する伝送路の伝送帯域とは無関係に発生する。したがって、一般的な映像符号化装置および復号装置は、符号量の変動を吸収し所定の伝送帯域での伝送を保証するために、ビットストリームを蓄積するためのバッファメモリを設けている。バッファメモリは、AVC 方式においては符号化画像バッファ（CPB: Coded Picture Buffer ）と呼ばれる。バッファメモリの容量は、符号化装置および復号装置が適用されるシステムの特性に応じて大きく異なるが、典型的には、たとえば伝送ビットレートに対して０．５秒分に相当する容量が設定される。【０００７】
ところで、映像の記録・伝送にあたっては、テレビ放送におけるチャンネル切り替えや蓄積型コンテンツにおける特殊再生を始めとする様々なケースで、ビットストリームの途中からの復号開始（ランダムアクセス）が要求される。画面間予測符号化を用いて生成されたビットストリームに対して途中から復号を開始すると、未復号の参照ピクチャからの画面間予測処理により、正常に映像を復号することができない。したがって、上記適応予測符号化方式を採用した一般的な映像符号化装置は、ビットストリームの途中から復号を開始した場合でも所定の周期内で正常な復号画像を得られるように、画面内符号化を適宜挿入する符号化制御（リフレッシュと呼ぶ。）を行っている。【０００８】
該リフレッシュ方式の一つに、ピクチャ全体を画面内符号化に制限したピクチャ（イントラ符号化ピクチャと呼ぶ。）を挿入する、瞬時リフレッシュ方式がある。図１４に、瞬時リフレッシュ方式の動作の一例を示す。図内破線枠で示した領域は、リフレッシュ制御の単位となるピクチャ群であり、これをリフレッシュピクチャグループ（RGOP: Refreshing Group Of Pictures）と呼ぶ。図１４に示す動作例においては、映像符号化装置は、４枚のピクチャごとにイントラ符号化ピクチャを挿入し、その後続の３枚のピクチャは、直前のイントラ符号化ピクチャよりも過去に符号化されたピクチャを参照ピクチャとしない、つまり、リフレッシュピクチャグループ内に閉じて画面間予測を行うように制御を行う。これによって、復号装置は、ビットストリームの途中から復号を開始する場合においても、各リフレッシュピクチャグループ先頭のイントラピクチャから復号処理を開始することによって、正しい復号画像を得ることができる。前記非特許文献１に記載のAVC 方式では、後続のピクチャに対して過去に符号化されたピクチャを参照させないよう制約を加えるイントラ符号化ピクチャをInstant Decoding Refresh (IDR)ピクチャと呼び、IDR ピクチャに対して、ビットストリーム内で特別なピクチャ識別子を付与している。AVC 方式にしたがう映像符号化装置は、リフレッシュピクチャグループ先頭のピクチャをIDR ピクチャとして符号化することにより、リフレッシュのための復号開始タイミングを映像復号装置に正しく通知できる。【０００９】
しかし、瞬時リフレッシュ方式には、伝送遅延が増大するという問題がある。上記のように、一般に映像が持つ時間方向の相関性は高い。そのため、画面間予測が使えないイントラ符号化ピクチャは、他のピクチャに比べて、一定の画像品質を維持するために多くの符号量を必要とする。ピクチャ間の発生符号量の差異は、大きければ大きいほど、映像符号化装置および映像復号装置が具備すべき上記バッファメモリの所要量を増大させる。バッファメモリの容量増大は、符号化装置と復号装置との間での伝送遅延の増大につながる。したがって、映像を用いた機器の遠隔操作などの高度なリアルタイム性を必要とする用途においては、瞬時リフレッシュ方式は不適切である。【００１０】
一方で、伝送遅延低減要求に応えるリフレッシュ方式として、画面を小分割した部分領域（以下、セグメントと呼ぶ。）単位で段階的にリフレッシュを行い、複数のピクチャをまたいでリフレッシュを完了させる方式（漸次リフレッシュ方式と呼ぶ。）がある。典型的な漸次リフレッシュ方式の一つに、例えば特許文献１などに開示されている、イントラスライスリフレッシュ方式がある。スライスとは、ピクチャ内の符号化単位ブロックの集合であり、ピクチャ内で他の符号化単位ブロックとは独立したセグメントを指す。また、イントラスライスとは、スライス内の全符号化単位でフレーム内符号化が選択され、同じフレーム内の他のスライスも含め該スライス外の画素を用いた予測が行われないスライスを指す。イントラスライスリフレッシュ方式は、ピクチャ内の一部をイントラスライスとして符号化し、イントラスライスとして符号化する位置を連続するピクチャでずらしていくことにより、ピクチャ内の任意の領域が一定期間内で一度はイントラスライスとして符号化されるよう制御して、リフレッシュを行う方式である。【００１１】
図１５に、イントラスライスリフレッシュ方式の動作の一例を示す。以下、時刻t におけるピクチャをP(t)と表記する。図１５では、P(ti-4) ，P(ti) ，P(ti+4) が漸次リフレッシュの開始フレームとなっており、４枚のピクチャを経てリフレッシュを完了する。このリフレッシュ処理の開始から終了まで（図１５ではピクチャ４枚分）の期間をリフレッシュ期間と呼ぶ。図１５において、黒塗りで示した部分領域はイントラスライスを表す。リフレッシュ期間内において、画面内の全ての領域がそれぞれ少なくとも一度ずつイントラスライスとして設定されることにより、画面のリフレッシュが行われる。【００１２】
図１５に示したイントラスライスリフレッシュ方式において、リフレッシュを確実に行うためには、図１５に示した瞬時リフレッシュ方式の場合と同様に、イントラスライス以外においても、予測において参照可能な範囲に制限が加えられる。図１５において破線枠で示した領域は、リフレッシュ制御の単位となる部分領域群であり、リフレッシュセグメントグループ(RGOS: Refreshing Group Of Segments)と呼ぶ。瞬時リフレッシュ方式におけるリフレッシュピクチャグループと同様に、各リフレッシュセグメントグループは、該リフレッシュセグメントグループに属する領域を持つ最初のピクチャよりも過去のピクチャから始まる別のリフレッシュセグメントグループを参照しないように制限される。このように符号化されたビットストリームを受信し復号する映像復号装置においては、リフレッシュ期間先頭のピクチャから復号を開始することにより、リフレッシュ期間終了位置のピクチャ以降は、画面全体で乱れのない正しい復号画像を得ることができる。以後、このリフレッシュ期間先頭ピクチャを同期開始ピクチャと呼び、同期開始ピクチャから符号化した場合に画面全体で乱れのない正しい復号画像を得ることができる最初のピクチャを、同期完了ピクチャと呼ぶ。【００１３】
なお、漸次リフレッシュ方式は、必ずしもイントラスライスを利用する必要はなく、一般には、リフレッシュセグメントグループ間の予測参照関係を制約することで実現される。図１６に、一般化した漸次リフレッシュ方式の例を示す。リフレッシュを確実に行うためには、破線枠で示した各リフレッシュセグメントグループに属する領域は、該リフレッシュセグメントグループの先頭ピクチャよりも過去のピクチャから始まる別のリフレッシュセグメントグループを参照しないように制限される。さらに、より一般的には、リフレッシュ完了後の復号画像が、ビットストリームの最初から復号した画像と十分に類似することが保証される場合には、各リフレッシュセグメントグループに属する領域は、該リフレッシュセグメントグループの先頭フレームよりも過去のフレームから始まる別のリフレッシュセグメントグループを参照してもよい。【００１４】
漸次リフレッシュ方式においては、リフレッシュによる符号量増加は、リフレッシュ期間全体に分配される。すなわち、瞬時リフレッシュ方式におけるイントラピクチャのように、画面全体で符号量を増加させるピクチャが存在しない。そのため、所要符号量のピクチャ間変動は、瞬時リフレッシュ方式を用いる場合に比べ抑制される。これにより、前記バッファメモリの所要量が小さくなり、ひいては符号化装置と復号装置の間の伝送遅延が低減される。【００１５】
一方で、漸次リフレッシュ方式を用いた場合には、IDR ピクチャのような明示的なリフレッシュ開始点が存在しない。そのため、漸次リフレッシュ方式を利用してビットストリームを生成する映像符号化装置は、復号装置が同期開始ピクチャから復号を開始し、かつ同期完了ピクチャから画像の表示を再開できるように、リフレッシュにおける同期開始ピクチャと同期完了ピクチャの情報（リフレッシュ情報）をビットストリームに多重化し、復号装置に伝達する必要がある。【００１６】
非特許文献１に記載されたAVC 方式では、リフレッシュ情報を符号化装置が復号装置に伝達する方法として、同期回復点補助情報メッセージ（Recovery Point SEI message）と呼ばれるデータ群を規定している。AVC方式に準拠した符号化装置は、同期回復点補助情報メッセージをビットストリームに多重化して復号装置に伝達する。同期回復点補助情報メッセージにより、AVC 方式に準拠した復号装置は、同期開始ピクチャから復号を開始し、かつ同期完了ピクチャから画像の表示を再開できる。同期回復点補助情報メッセージは、同期開始ピクチャと同期完了ピクチャの情報を含んでおり、瞬時リフレッシュ方式と漸次リフレッシュ方式の双方に対応する。【００１７】
図１７のリストに、従来のAVC 方式に準拠した符号化装置と復号装置の間でリフレッシュ情報の伝達に用いられる、同期回復点補助情報メッセージを構成するシンタックス要素を示す。【００１８】
recovery_frame_cntは、同期完了ピクチャを通知するパラメータである。すなわち、図１４に示す例ではP(ti-4) ，P(ti) ，P(ti+4) 、図１５に示す例ではP(ti-1) ，P(ti+3) ，P(ti+7) を通知する。対となる同期開始ピクチャは、同期回復点補助情報メッセージの存在自体により、映像復号装置に通知される。すなわち、AVC 方式に準拠した映像復号装置は、同期回復点補助情報メッセージが付与された同期開始ピクチャから復号を開始し、recovery_frame_cntによって指示される同期完了ピクチャまで復号を完了することで、画面全体で乱れのない復号画像を得ることができる。これにより、映像復号装置は、漸次リフレッシュ方式を用いて生成されたビットストリームに対しても、乱れのない画像のみを選択して表示することが可能となる。【００１９】
exact_match_flagは、recovery_frame_cntによって指示される同期完了ピクチャにおいて、該同期開始ピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを通知するパラメータである。【００２０】
broken_link_flagは、該同期開始ピクチャより復号を開始した場合に、recovery_frame_cntによって指示される同期完了ピクチャまでの間に存在するピクチャ群において、視覚的に許容でないほどの乱れが発生する可能性があるか否かを通知するパラメータである。【００２１】
changing_slice_group_idcは、該同期開始ピクチャより復号を開始する場合に、recovery_frame_cntによって指示される同期完了ピクチャまでの間に存在するピクチャ群において、復号処理を省略してもリフレッシュの完了に影響を与えない部分領域の存在を通知するためのパラメータである。【００２２】
以上で、図１７のリストによる、従来のリフレッシュ情報多重化の例についての説明を終了する。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２００７−２２１４１１号公報（段落０００５，０００６）
【非特許文献】
【００２４】
【非特許文献１】ISO/IEC 14496-10 Information technology - coding of audio-visual objects Part 10: Advanced Video Coding, December 15, 2010
【発明の概要】
【発明が解決しようとする課題】
【００２５】
漸次リフレッシュ方式を用いる場合には、同期開始ピクチャから同期完了ピクチャまでの間のピクチャでは、部分的には画面のリフレッシュが完了している。リフレッシュが完了した部分領域内に、視聴者に対する即座の通知が必要な重要情報が存在する場合には、同期完了ピクチャを待たずに、リフレッシュが完了した領域だけでも部分的に表示を開始できることが望ましい。しかし、前記同期回復点補助情報メッセージを用いて同期開始ピクチャと同期完了ピクチャを通知する方式では、画面内のどの部分でリフレッシュが完了しているか否かを、映像復号装置が容易に知る手段がない。そのために、映像復号装置において、同期完了ピクチャまでは表示を開始することができない、すなわち、表示遅延が発生するという問題がある。【００２６】
一方で、各リフレッシュセグメントグループにおける参照領域制約が厳密に守られている場合には、映像復号装置はその復号処理の過程において、予測の単位となる部分画像ごとに、予測処理において参照される範囲を知ることができる。これにより映像復号装置は、リフレッシュ済みの部分領域を計算によって求めることも可能である。しかし、映像復号装置に、予測参照範囲の情報を用いた計算によってリフレッシュ済みの部分領域を求める処理を行わせることは、映像復号装置の演算量を増大させるという問題がある。【００２７】
また、前記リフレッシュセグメントグループにおける参照領域制約が厳密には守られていない場合、すなわち、同期回復点補助情報メッセージにおけるexact_match_flagが0 に設定される場合には、復号器は、予測参照範囲の情報を用いた計算によっても、リフレッシュ済みの部分領域を知ることができない。したがって、復号器が予測参照範囲情報を用いた計算によりリフレッシュ済みの部分領域を知るためには、映像符号化装置において予測参照範囲を制限する必要がある。すなわち、映像復号装置に、予測参照範囲の情報を用いた計算によってリフレッシュ済みの部分領域を求める処理を行わせることにより、必ずしも復号画像の完全一致を必要としないシステムにおいて、映像の圧縮効率を低下させ、相対的に映像品質を低下させるという問題がある。【００２８】
そこで、本発明は、上記課題に鑑みて発明されたものであって、その目的は、漸次リフレッシュ方式において、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、復号装置における演算量を増加させることなく通知することが可能な、映像符号化装置、映像符号化方法およびプログラムを提供することにある。【００２９】
また、本発明の目的は、漸次リフレッシュ方式において、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、映像品質を低下させることなく復号装置に通知することが可能な、映像符号化装置、映像符号化方法およびプログラムを提供することにある。【００３０】
また、本発明の目的は、漸次リフレッシュ方式を用いて生成されたビットストリームを復号し映像を再生するにあたって、演算量を増加させることなく、同期完了ピクチャに至るまでに部分的に表示開始を行うことが可能な、映像復号装置、映像復号方法およびプログラムを提供することにある。【００３１】
また、本発明の目的は、漸次リフレッシュ方式を用いて生成されたビットストリームを復号し映像を再生するにあたって、同期完了ピクチャに至るまでに部分的に高品質な映像の表示開始を行うことが可能な、映像復号装置、映像復号方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００３２】
本発明による映像符号化装置は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えたことを特徴とする。【００３３】
本発明による映像復号装置は、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えたことを特徴とする。【００３４】
本発明による映像符号化方法は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、映像ビットストリームと表示可能領域情報ビットストリームとを多重化することを特徴とする。【００３５】
本発明による映像復号方法は、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出することを特徴とする。【００３６】
本発明による映像符号化プログラムは、コンピュータに、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化処理、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御処理、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化処理、および、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化処理を実行させることを特徴とする。【００３７】
本発明による映像復号プログラムは、コンピュータに、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理を実行させることを特徴とする。
【発明の効果】
【００３８】
本発明によれば、映像符号化装置が生成したビットストリームを、映像復号装置が途中から受信し再生する場合に、同期完了ピクチャに至るまでに部分的に表示を開始でき、表示遅延を低減することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明による第１の実施形態の映像符号化装置の構成例を示すブロック図である。
【図２】第１の実施形態の映像符号化装置の動作例を示すフローチャートである。
【図３】漸次リフレッシュ方式による映像符号化の例を示す説明図である。
【図４】表示可能領域情報を多重化する例を示す説明図である。
【図５】表示可能領域情報を多重化する他の例を示す説明図である。
【図６】表示可能領域情報を多重化するさらに他の例を示す説明図である。
【図７】表示可能領域情報を多重化するさらに他の例を示す説明図である。
【図８】本発明による第２の実施形態の映像復号装置の構成例を示すブロック図である。
【図９】第２の実施形態の映像復号装置の動作例を示すフローチャートである。
【図１０】本発明による第３の実施形態の映像符号化装置の構成例を示すブロック図である。
【図１１】本発明による第４の実施形態の映像符号化装置の構成例を示すブロック図である。
【図１２】第４の実施形態の映像符号化装置の動作例を示すフローチャートである。
【図１３】本発明によるプログラムを用いた情報処理システムの例を示すブロック図である。
【図１４】瞬時リフレッシュ方式の動作例を示す説明図である。
【図１５】イントラスライスリフレッシュ方式の動作例を示す説明図である。
【図１６】一般化された漸次リフレッシュ方式の例を示す説明図である。
【図１７】同期回復点補助情報メッセージを構成するシンタックス要素の例を示す説明図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施形態について、図面を参照して説明する。
【００４１】
（第１の実施形態）
図１は、本発明の第１の実施形態の映像符号化装置のブロック図である。図示されるように、第１の実施形態の映像符号化装置は、映像符号化器１０１、リフレッシュ制御器１０２、表示可能領域符号化器１０３、および多重化器１０４を備える。本実施形態で特徴的なことは、リフレッシュ制御器１０２から得られるピクチャごとの表示可能領域の情報を符号化し、多重化器１０４に供給する、表示可能領域符号化器１０３を備えていることである。
【００４２】
映像符号化器１０１は、入力映像を構成する各ピクチャに対して符号化を行い、その映像ビットストリームを多重化器１０４に供給する。
【００４３】
リフレッシュ制御器１０２は、映像符号化器１０１において適応予測符号化が行われる場合に、意図するリフレッシュが行われるようにリフレッシュセグメントグループ間で予測制約が守られるように、映像符号化器１０１に制御信号を供給する。また、リフレッシュセグメントグループから得られる各ピクチャの表示可能領域の情報を、表示可能領域符号化器１０３に供給する。
【００４４】
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報を符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
【００４５】
多重化器１０４は、映像符号化器１０１より得られる映像ビットストリームと、表示可能領域符号化器１０３より得られる表示可能領域情報ビットストリームとを多重化し、ビットストリームとして出力する。
【００４６】
次に、図２のフローチャートを参照して、第１の実施形態の映像符号化装置による映像符号化処理について説明する。
【００４７】
ステップS10001において、リフレッシュ制御器１０２は、リフレッシュ動作を規定する制御情報を、映像符号化器１０１、表示可能領域符号化器１０３に供給する。
【００４８】
ステップS10002において、映像符号化器１０１は、入力映像の各ピクチャを符号化し、その映像ビットストリームを多重化器１０４に供給する。
【００４９】
ステップS10003において、現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャである場合、ステップS10004に進む。現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャでない場合、ステップS10004の処理をスキップし、ステップS10005に進む。
【００５０】
ステップS10004において、表示可能領域符号化器１０３は、各ピクチャの表示可能領域を規定する情報を符号化し、そのビットストリームを多重化器１０４に出力する。
【００５１】
ステップS10005において、多重化器１０４は、映像符号化器１０１より供給される映像ビットストリームと、表示可能領域符号化器１０３より供給される表示可能領域情報ビットストリームとを多重化して、ビットストリームとして出力する。
【００５２】
ステップS10006において、ステップS10005で出力したビットストリームが、符号化すべき最後のピクチャに対応する場合、映像符号化を終了する。最後のピクチャでない場合、S10001に戻る。
【００５３】
このように構成することで、映像符号化装置は、漸次リフレッシュ方式を用いてビットストリームを生成するにあたって、該ビットストリームを途中から受信し再生する映像復号装置が同期完了ピクチャに至るまでに部分的に表示を開始でき表示遅延を低減するように、ビットストリームを構成することができる。その理由は、各ピクチャにおける表示可能開始領域を規定した制御情報を、多重化器１０４が表示可能領域符号化器１０３から受け取ってビットストリームに多重化し、上記制御情報を映像復号装置に伝送することにより、映像復号装置は、同期完了ピクチャに至るまでのピクチャにおいて部分的に表示可能な領域を知ることができるからである。
【００５４】
（実施例）
以下、上述した第１の実施形態の映像符号化装置の具体的な実施例を説明する。
【００５５】
本実施例では、フレームあたりの空間解像度が３２０×２４０画素のプログレッシブ映像に対して、画面を水平方向に均等に５分割した６４×２４０画素の領域のうち最も左側の領域をイントラ符号化セグメントとして設定し、これを５枚のピクチャを通じてイントラ符号化セグメントが重ならないようにずらしていくことでリフレッシュを行うこととする。
【００５６】
図３に、具体的にリフレッシュが行われていく様子を示す。図３において、時刻tiにおけるピクチャP(ti) を同期開始ピクチャ、P(ti+4) を同期完了ピクチャとする。また、時刻t におけるピクチャP(t)におけるリフレッシュ済みセグメントは、時刻tiから時刻t までに一度イントラ符号化セグメントとして設定された領域を指す。このとき、ピクチャP(ti) ，P(ti+1) ，P(ti+2) ，P(ti+3) ，P(ti+4) における各表示可能領域は、ピクチャ左側から６４×２４０画素、１２８×２４０画素、１９２×２４０画素、２５６×２４０画素、３２０×２４０画素の矩形領域となる。表示可能領域符号化器１０３は、それぞれの表示可能領域を符号化し、多重化器１０４に供給する。
【００５７】
上述した表示可能領域の情報は、例えば、非特許文献１の”Specification of syntax functions, categories, and descriptors”の記述に準じ、図４のリストに例示するように、補助情報メッセージ（Supplemental Enhancement Information message）の一部（部分表示可能領域補助情報メッセージと呼ぶ。）としてビットストリームに多重化してもよい。
【００５８】
以下、図４のリストにおける表示可能領域情報の多重化例を説明する。
【００５９】
recovery_starting_poc_cnt は、該部分表示可能領域補助情報メッセージが付与されたピクチャのピクチャ番号をCurrPicOrderCnt とするとき、以下の式１により求められるピクチャ番号RecvStartPicOrderCntによって規定されるピクチャを同期開始ピクチャとして復号を開始した場合に、該部分表示可能領域補助情報メッセージに示される表示可能領域が適用されることを示す。
【００６０】
RecvStartPicOrderCnt = CurrPicOrderCnt - recovery_starting_poc_cnt
・・・（式１）
【００６１】
partial_recovery_cnt_minus1 は、該部分表示可能領域補助情報メッセージに存在する、表示可能領域を表す矩形領域の数を表す。該部分表示可能領域補助情報メッセージが付与されたピクチャにおける表示可能領域は、該表示可能矩形領域の和集合として求められる。
【００６２】
exact_match_flag[i] は、該表示可能矩形領域において、RecvStartPicOrderCntによって規定されるピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを示す。exact_match_flag[i]  の復号値が1 の場合、該表示可能矩形領域内の全ての画素について、復号画像が完全一致することを示す。exact_match_flag[i] の復号値が0 の場合、該表示可能矩形領域において、復号画像が完全には一致しない可能性があることを示す。
【００６３】
recovery_rect_left_offset[i]，recovery_rect_right_offset[i] ， recovery_rect_top_offset[i] ，recovery_rect_bottom_offset[i]は、該表示可能矩形領域の画面上での位置を指定するパラメータ群である。復号画像の左上の画素の水平座標および垂直座標を共に0 とし、復号画像の右下の画素の水平座標と垂直座標を、PicWidthInSamples - 1，PicHeightInSamples  - 1とおくとき、CurrPicOrderCnt で規定されるピクチャにおける該矩形領域の左上画素水平座標、左上画素垂直座標、右下画素水平座標、右下画素垂直座標を、 CurrRecvRectLeft[i] ，CurrRecvRectRight[i]， CurrRecvRectTop[i]，CurrRecvRectBottom[i] とおくと、CurrRecvRectLeft[i] ，CurrRecvRectRight[i]，CurrRecvRectTop[i]，CurrRecvRectBottom[i] の値は下記の式２により求められる。
【００６４】
CurrRecvRectLeft[i] = recovery_rect_left_offset[i]
CurrRecvRectRight[i] = PicWidthInSamples - 1 - recovery_rect_right_offset[i]
CurrRecvRectTop[i] = recovery_rect_top_offset[i]
CurrRecvRectBottom[i] = PicHeightInSamples - 1 - recovery_rect_bottom_offset[i]
・・・（式２）
【００６５】
以上で、図４における表示可能領域情報の多重化例の説明を終了する。
【００６６】
本実施例では、同期開始ピクチャから同期完了ピクチャまでのピクチャごとに、表示可能領域の情報を直接符号化し、補助情報メッセージとしてビットストリームに多重化する実施例を示した。しかし、本発明によれば、例えば、表示可能領域の情報を符号化する最初のピクチャでは図４の部分表示可能領域補助情報メッセージとして多重化し、その後のピクチャごとに、表示可能領域の更新情報を図５の部分表示可能領域更新補助情報メッセージとしてビットストリームに多重化してもよい。
【００６７】
以下、図５のリストにおける表示可能領域情報の多重化例を説明する。
【００６８】
partial_recovery_ref_poc_cntは、該部分表示可能領域更新補助情報メッセージが付与されたピクチャのピクチャ番号をCurrPicOrderCnt とするとき、以下の式３により求められるピクチャ番号PartRecvRefPicOrderCntによって規定されるピクチャに付与された部分表示可能領域更補助情報メッセージまたは部分表示可能領域更新補助情報メッセージによって規定される表示可能領域を参照して、該ピクチャの表示可能領域が算出されることを示す。
【００６９】
PartRecvRefPicOrderCnt = CurrPicOrderCnt - partial_recovery_ref_poc_cnt
・・・（式３）
【００７０】
exact_match_flag[i] は、該表示可能矩形領域において、RecoveryStartingPicOrderCnt によって規定されるピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを示す。exact_match_flag[i] の復号値が1 の場合、該表示可能矩形領域内の全ての画素について、復号画像が完全一致することを示す。exact_match_flag[i] の復号値が0 の場合、該表示可能矩形領域において、復号画像が完全には一致しない可能性があることを示す。
【００７１】
recovery_rect_left_offset_decr[i] ，recovery_rect_right_offset_decr[i]，recovery_rect_top_offset_decr[i]，recovery_rect_bottom_offset_decr[i] は、該ピクチャにおける表示可能矩形領域を更新するパラメータ群である。PartRecvRefPicOrderCntによって規定されるピクチャにおいて定められた、i 番目の表示可能矩形領域の左上画素水平座標、左上画素垂直座標、右下画素水平座標、右下画素垂直座標を、RefRecvRectLeft[i]，RefRecvRectRight[i] ，RefRecvRectTop[i] ，RefRecvRectBottom[i]とおくとき、CurrPicOrderCnt で規定されるピクチャにおける該矩形領域の左上画素水平座標CurrRecvRectLeft[i] 、左上画素垂直座標CurrRecvRectRight[i]、右下画素水平座標CurrRecvRectTop[i]、右下画素垂直座標CurrRecvRectBottom[i] の値は下記の式４により求められる。
【００７２】
CurrRecvRectLeft[i] = RefRecvRectLeft[i] - recovery_rect_left_offset_decr[i]
CurrRecvRectRight[i] = RefRecvRectRight[i] + recovery_rect_right_offset_decr[i]
CurrRecvRectTop[i] = RefRecvRectTop[i] - recovery_rect_top_offset_decr[i]
CurrRecvRectBottom[i]=RefRecvRectBottom[i] + recovery_rect_bottom_offset_decr[i]
・・・（式４）
【００７３】
recovery_rect_left_offset_decr[i] ，recovery_rect_right_offset_decr[i]，recovery_rect_top_offset_decr[i]，recovery_rect_bottom_offset_decr[i] それぞれについて、変数がビットストリーム上に存在しないときには、値は0 であるとみなされる。
【００７４】
以上で、図５における表示可能領域更新情報の多重化例の説明を終了する。
【００７５】
また、本実施例では、表示可能領域情報を、図４および図５において、他の補助情報メッセージとは独立した補助情報メッセージとしてビットストリームに多重化する例を示した。しかし本発明によれば、例えば、同期開始ピクチャにおいて、図６のリストに例示するように、部分表示可能領域の情報を、図１７のリストに例示した同期回復点補助情報メッセージに重ね合わせて、ビットストリームに多重化してもよい。
【００７６】
以下、図６のリストにおける表示可能領域情報の多重化例について説明する。
【００７７】
partital_recovery_info_present_flag は、部分表示可能領域の情報が該補助情報メッセージ内に存在するか否かを表すパラメータである。
【００７８】
図６のリストに示されるその他のパラメータについては、図４および図１７のリストに示すパラメータと同じであるので、ここでは説明を省略する。
【００７９】
以上で、図６における表示可能領域情報の多重化例の説明を終了する。
【００８０】
また、以上の本発明の第１の実施形態の映像符号化装置における映像符号化処理の説明においては、表示可能領域をもつピクチャごとに、表示可能領域情報を符号化して、ビットストリームに多重化する動作例を示した。しかし、本発明によれば、例えば、同期開始ピクチャにおいて、図７のリストに例示するように、同期完了ピクチャに至るまでの表示可能領域の情報を同期回復点補助情報メッセージに重ね合わせて、ビットストリームに多重化してもよいし、いくつかのピクチャごとに、表示可能領域情報をまとめて符号化し、ビットストリームに多重化してもよい。
【００８１】
以下、図７のリストにおける表示可能領域情報の多重化例を説明する。
【００８２】
partial_recovery_update_info_present_flag[i]は、該同期開始ピクチャ以降のピクチャにおける、該i 番目の表示可能領域の更新情報が存在するか否かを示すパラメータである。
【００８３】
図７のリストに示されるその他のパラメータについては、図６および図１７のリストに示すパラメータと同じであるので、ここでは説明を省略する。
【００８４】
以上で、図７における表示可能領域情報の多重化例についての説明を終了する。
【００８５】
以上、本実施例では、表示可能領域情報を、ピクチャごとに補助情報メッセージとして多重化する実施例を示した。しかし、本発明によれば、例えば、ビットストリーム全体の符号化および復号に用いるシーケンスパラメータセットにおいて、表示可能領域情報を多重化してもよいし、その他の単位、例えばピクチャパラメータセットなどにおいて、表示可能領域情報を多重化してもよい。
【００８６】
また、本実施例では、表示可能領域情報が、同期開始ピクチャから同期完了ピクチャまでの全てのピクチャにおいて符号化して、ビットストリームに多重化された。しかし、本発明は、同期開始ピクチャから同期完了ピクチャまでの全てのピクチャにおける表示可能領域情報の符号化に限定されるものではなく、同期開始ピクチャから同期完了ピクチャまでのいずれかのピクチャにおいて、選択的に符号化して、ビットストリームに多重化してもよい。
【００８７】
また、本実施例では、画面左から右方向に向かって等間隔かつ重複なしにイントラ符号化セグメントをずらしていくことによりリフレッシュが行われた。しかし、本発明は、そのようなリフレッシュに限定されるものではなく、リフレッシュの方向は任意である。たとえば、右から左、上から下、左上から右下、あるいは画面中心から左右方向、画面中心から渦巻き状など、任意の方向にリフレッシュを行ってもよい。また、リフレッシュのためのイントラ符号化セグメントのずらし方は任意であり、ピクチャごとにイントラ符号化セグメントの大きさが異なっていてもよいし、同一領域をリフレッシュ期間内で二度以上イントラ符号化セグメントとして設定してもよい。さらに、本明細書に記載されている漸次リフレッシュ方式の説明において明らかなように、本発明は、イントラ符号化セグメントによるリフレッシュに限定されるものではなく、画面間予測符号化の予測範囲を制限するなどの任意の方法でリフレッシュを行ってもよい。
【００８８】
また、本実施例では、表示可能領域をピクチャの上下左右端からのオフセット値として符号化しビットストリームに多重化されたが、本発明は、表示可能領域をピクチャの上下左右端からのオフセット値として符号化することに限定されるものではなく、任意の表現方法で符号化してもよい。
【００８９】
また、本実施例では、非特許文献１に記載されているAVC 方式の記述方法に従って表示可能領域情報が多重化されたが、本発明は、AVC 方式の利用に限定されるものではなく、その他の映像符号化方式に対しても適用可能であり、二次元映像以外の任意次元の映像符号化方式に対して適用可能である。
【００９０】
また、本実施例では、表示可能領域を二次元画像上の矩形領域の集合として符号化し、ビットストリームに多重化したが、本発明は、二次元画像上の矩形領域の集合としての表示可能領域符号化に限定されるものではなく、表示可能領域を矩形集合以外の任意の表現方法を用いて符号化してもよいし、任意次元の領域として符号化してもよい。
【００９１】
以上で、本発明の第１の実施形態の映像符号化装置の説明を終了する。
【００９２】
（第２の実施形態）
図８は、本発明の第２の実施形態の映像復号装置のブロック図である。図８に示されるように、第２の実施形態の映像復号装置は、多重化解除器２０１、映像復号器２０２、表示可能領域復号器２０３、および映像出力制御器２０４を備える。本実施形態で特徴的なことは、ピクチャごとの表示可能領域の情報を復号して出力する、表示可能領域復号器２０３を備え、また、表示可能領域を解釈して表示可能領域外の復号画像を出力しないよう制御する、映像出力制御器２０４を備えていることである。
【００９３】
多重化解除器２０１は、ビットストリームの多重化を解除して、映像ビットストリームと、表示可能領域情報ビットストリームとを抽出し、映像ビットストリームを映像復号器２０２に供給し、表示可能領域情報ビットストリームを表示可能領域復号器２０３に供給する。
【００９４】
映像復号器２０２は、映像ビットストリームを復号し、得られた再構築画像を映像出力制御器２０４に供給する。
【００９５】
表示可能領域復号器２０３は、表示可能領域情報ビットストリームを復号し、得られた表示可能領域情報を映像出力制御器２０４に供給する。
【００９６】
映像出力制御器２０４は、映像復号器２０２より供給される再構築画像に対して、表示可能領域復号器２０３より得られる表示可能領域の外にある画像が表示されないよう制御を行って、処理結果を復号映像として出力する。
【００９７】
次に、図９のフローチャートを参照して、第２の実施形態の映像復号装置による映像復号処理を説明する。
【００９８】
ステップS20001において、多重化解除器２０１は、ビットストリームの多重化を解除して、映像ビットストリームと、表示可能領域情報ビットストリームとを抽出し、映像ビットストリームを映像復号器２０２に供給し、表示可能領域情報ビットストリームを表示可能領域復号器２０３に供給する。
【００９９】
ステップS20002において、映像復号器２０２は、映像ビットストリームを復号し、得られた再構築画像を映像出力制御器２０４に供給する。
【０１００】
ステップS20003において、該ピクチャに表示可能領域情報が付与されている場合、ステップS20004に進む。該ピクチャに表示可能領域情報が付与されていない場合、ステップS20004の処理をスキップし、ステップS20005に進む。
【０１０１】
ステップS20004において、表示可能領域復号器２０３は、表示可能領域情報ビットストリームを復号し、得られた表示可能領域情報を映像出力制御器２０４に供給する。
【０１０２】
ステップS20005において、映像出力制御器２０４は、映像復号器２０２より供給される再構築画像に対して、表示可能領域復号器２０３より得られる表示可能領域の外にある画像が表示されないよう制御を行って、処理結果を復号映像として出力する。
【０１０３】
ステップS20006において、ステップS20002で復号したビットストリームが、復号すべき最後のピクチャに対応する場合、映像復号を終了する。最後のピクチャでない場合、S20001に戻る。
【０１０４】
このように構成することで、映像復号装置は、漸次リフレッシュ方式を用いて生成されたビットストリームを途中から受信し再生するにあたって、表示可能領域を予測参照範囲から計算により求めることなく、演算量同期完了ピクチャの復号を待たずに部分的に表示を開始でき、表示遅延を低減できる。その理由は、映像復号装置が、表示可能領域を規定した情報を、映像符号化装置よりビットストリームとして受け取って、多重化解除器２０１が表示可能領域復号器２０３に供給することで、表示可能領域外の画像を復号映像として出力しないように映像出力制御器２０４が制御できるからである。
【０１０５】
以上で、本発明の第２の実施形態の映像符号化装置の説明を終了する。
【０１０６】
（第３の実施形態）
図１０は、本発明の第３の実施形態の映像符号化装置のブロック図である。図１０に示されるように、第３の実施形態の映像符号化装置は、図１に示した第１の実施形態の映像符号化装置と比較すると、その構成要素は同じであるが、映像符号化器１０１より、表示可能領域符号化器１０３に、制御信号が供給される点が異なる。第３の実施形態の映像符号化装置の構成要素のうち、リフレッシュ制御器１０２、多重化器１０４の動作は、第１の実施形態の映像符号化装置における各構成要素の動作と同一であるため、以下では残りの各ブロックについて説明する。
【０１０７】
映像符号化器１０１は、入力映像を構成する各ピクチャに対して符号化を行い、その映像ビットストリームを多重化器１０４に供給する。また、リフレッシュが完了した領域に関する情報を、表示可能領域情報符号化器１０３に供給する。
【０１０８】
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報と、映像符号化器１０１より供給されるリフレッシュ完了領域情報から、表示可能領域情報を算出して符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
【０１０９】
第３の実施形態の映像符号化装置による映像符号化処理は、第１の実施形態の映像符号化装置による映像符号化処理と同様に図２のフローチャートによって表される。そこで、第３の実施形態の映像符号化装置による映像符号化処理の流れについては説明を省略する。
【０１１０】
このように構成することで、第１の実施形態の映像符号化装置に比べて、より広い表示可能領域を映像復号装置に伝達できるという効果が得られる。その理由は、映像符号化器１０１において、リフレッシュ制御器１０２より供給される制御信号とは独立して結果的に画面内符号化が選択され、リフレッシュが完了し表示可能となった領域が発生した場合に、表示可能領域符号化器１０３は、より広い表示可能領域を符号化し、多重化器１０４に供給できるためである。
【０１１１】
以上で、本発明の第３の実施形態の映像符号化装置の説明を終了する。
【０１１２】
（第４の実施形態）
図１１は、本発明の第４の実施形態の映像符号化装置のブロック図である。図１１に示されるように、第４の実施形態の映像符号化装置は、図１に示した第１の実施形態の映像符号化装置と比較すると、その構成要素として、表示可能領域符号化制御器１０５を新たに備える点が異なる。第４の実施形態の映像符号化装置の構成要素のうち、映像符号化器１０１、リフレッシュ制御器１０２、多重化器１０４の動作は、第１の実施形態の映像符号化装置における各構成要素の動作と同一であるため、以下では残りの各ブロックについて説明する。
【０１１３】
表示可能領域符号化制御器１０５は、表示可能領域情報の符号化を制御する制御信号を、表示可能領域符号化器１０３に供給する。
【０１１４】
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報のうち、表示可能領域符号化制御器１０５より供給される制御信号によって符号化を指示された情報を符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
【０１１５】
次に、図１２のフローチャートを参照して、第４の実施形態の映像符号化装置による映像符号化処理を説明する。
【０１１６】
ステップS10001において、リフレッシュ制御器１０２は、リフレッシュ動作を規定する制御情報を、映像符号化器１０１、表示可能領域符号化器１０３に供給する。
【０１１７】
ステップS10002において、映像符号化器１０１は、入力映像の各ピクチャを符号化し、その映像ビットストリームを多重化器１０４に供給する。
【０１１８】
ステップS10003において、現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャである場合、ステップS10007に進む。現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャでない場合、ステップS10007およびステップS10004の処理をスキップし、ステップS10005に進む。
【０１１９】
ステップS10007において、現在の表示可能領域が符号化対象領域である場合、ステップS10004に進む。そうでなければ、ステップS10004の処理をスキップし、スキップS10005に進む。
【０１２０】
ステップS10004において、表示可能領域符号化器１０３は、各ピクチャの表示可能領域を規定する情報を符号化し、そのビットストリームを多重化器１０４に出力する。
【０１２１】
ステップS10005において、多重化器１０４は、映像符号化器１０１より供給される映像ビットストリームと、表示可能領域符号化器１０３より供給される表示可能領域情報ビットストリームとを多重化して、ビットストリームとして出力する。
【０１２２】
ステップS10006において、ステップS10005で出力したビットストリームが、符号化すべき最後のピクチャに対応する場合、映像符号化を終了する。最後のピクチャでない場合、S10001に戻る。
【０１２３】
このように構成することで、第１の実施形態の映像符号化装置によって得られる効果に加えて、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、映像符号化装置から映像復号装置に通知するにあたって、映像データの圧縮効率低下をより相対的に抑制することができるという効果が得られる。その理由は、表示可能領域符号化制御器１０５により、符号化対象となる表示可能領域が制限されるので、表示可能領域情報の伝送に必要なデータ量を削減できるからである。
【０１２４】
以上で、本発明の第４の実施形態の映像符号化装置の説明を終了する。
【０１２５】
上述した発明の実施の形態における説明からも明らかなように、本発明はハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１２６】
図１３に示す情報処理システムは、プロセッサ１００１，プログラムメモリ１００２，記憶媒体１００３，１００４からなる。記憶媒体１００３，１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【０１２７】
図１３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図８、図１０、図１１のそれぞれに示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図８、図１０、図１１のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０１２８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２９】
（付記１）入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えたことを特徴とする映像符号化装置。
【０１３０】
（付記２）前記表示可能領域符号化手段は、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成する付記１記載の映像符号化装置。
【０１３１】
（付記３）表示可能領域を符号化するか否かを制御する表示可能領域符号化制御手段を備え、前記表示可能領域符号化手段は、前記表示可能領域符号化制御手段によって符号化すべきと判定された表示可能領域を選択して符号化する付記１または付記２記載の映像符号化装置。
【０１３２】
（付記４）前記リフレッシュ制御手段は、イントラ符号化によってリフレッシュを行う付記１から付記３のうちのいずれか１つに記載の映像符号化装置。
【０１３３】
（付記５）前記リフレッシュ制御手段は、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、前記映像符号化手段は、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外する付記１から付記４のうちのいずれか１つに記載の映像符号化装置。
【０１３４】
（付記６）映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えたことを特徴とする映像復号装置。
【０１３５】
（付記７）前記表示可能領域情報ビットストリームは、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含み、前記表示可能領域復号手段は、表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る付記６記載の映像復号装置。
【０１３６】
（付記８）入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、前記リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、前記映像ビットストリームと前記表示可能領域情報ビットストリームとを多重化することを特徴とする映像符号化方法。
【０１３７】
（付記９）符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、表示可能領域情報ビットストリームを生成する付記８記載の映像符号化方法。
【０１３８】
（付記１０）表示可能領域を符号化するか否かを制御し、当該制御によって符号化すべきと判定された表示可能領域を選択して符号化する付記８または付記９記載の映像符号化方法。
【０１３９】
（付記１１）ピクチャのリフレッシュを行う際、イントラ符号化によってリフレッシュを行う付記８から付記１０のうちのいずれか１つに記載の映像符号化方法。
【０１４０】
（付記１２）ピクチャのリフレッシュを行う際、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外する付記８から付記１１のうちのいずれか１つに記載の映像符号化方法。
【０１４１】
（付記１３）映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出することを特徴とする映像復号方法。
【０１４２】
（付記１４）少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る付記１３記載の映像復号装置。
【０１４３】
（付記１５）コンピュータに、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化処理、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御処理、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化処理、および、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化処理を実行させるための映像符号化プログラム。
【０１４４】
（付記１６）コンピュータに、表示可能領域符号化処理で、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成させる付記１５記載の映像符号化プログラム。
【０１４５】
（付記１７）コンピュータに、表示可能領域を符号化するか否かを制御する表示可能領域符号化制御処理を実行させ、表示可能領域符号化処理で、表示可能領域符号化制御処理で符号化すべきと判定された表示可能領域を選択して符号化させる付記１５または付記１６記載の映像符号化プログラム。
【０１４６】
（付記１８）コンピュータに、リフレッシュ制御処理で、イントラ符号化によってリフレッシュを行わせる付記１５から付記１７のうちのいずれか１つに記載の映像符号化プログラム。
【０１４７】
（付記１９）コンピュータに、リフレッシュ制御処理で、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらして処理させ、映像符号化処理で、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外させる付記１５から付記１８のうちのいずれか１つに記載の映像符号化プログラム。
【０１４８】
（付記２０）コンピュータに、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理を実行させるための映像復号プログラム。
【０１４９】
（付記２１）コンピュータに、前記表示可能領域復号処理で、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を取得させる付記２０記載の映像復号プログラム。
【０１５０】
以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５１】
この出願は、２０１２年６月２５日に出願された日本特許出願２０１２−１４１９２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１５２】
１０１  映像符号化器
１０２  リフレッシュ制御器
１０３  表示可能領域符号化器
１０４  多重化器
１０５  表示可能領域符号化制御器
２０１  多重化解除器
２０２  映像復号器
２０３  表示可能領域復号器
２０４  映像出力制御器
【図１】
2014002385.tif 000003
【図２】
2014002385.tif 000004
【図３】
2014002385.tif 000005
【図４】
2014002385.tif 000006
【図５】
2014002385.tif 000007
【図６】
2014002385.tif 000008
【図７】
2014002385.tif 000009
【図８】
2014002385.tif 000010
【図９】
2014002385.tif 000011
【図１０】
2014002385.tif 000012
【図１１】
2014002385.tif 000013
【図１２】
2014002385.tif 000014
【図１３】
2014002385.tif 000015
【図１４】
2014002385.tif 000016
【図１５】
2014002385.tif 000017
【図１６】
2014002385.tif 000018
【図１７】
2014002385.tif 000019
【国際調査報告】
2014002385.tif 000020
2014002385.tif 000021