(57)【要約】  広視野角画像の動画像データを良好に符号化する。  広視野角画像の動画像データをブロック分割して符号化対象ブロックを得る。符号化対象ブロック毎に動き補償された参照ブロックを抽出する。参照ブロックに回転および/またはスケーリングのアジャスト処理をする。符号化対象ブロック毎にこの符号化対象ブロックの画素値とアジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る。符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報を挿入する。残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。
2018056181.tif 000002
【特許請求の範囲】
【請求項１】
広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を備える
符号化装置。
【請求項２】
上記参照ブロックアジャスト部は、上記回転の角度を、上記参照ブロックと上記符号化対象ブロックの位置から自動判定する
請求項１に記載の符号化装置。
【請求項３】
上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする
請求項１に記載の符号化装置。
【請求項４】
上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする
請求項１に記載の符号化装置。
【請求項５】
ブロック分割部が、広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るステップと、
参照ブロック抽出部が、上記符号化対象ブロック毎に参照ブロックを抽出するステップと、
参照ブロックアジャスト部が、上記参照ブロックに回転および/またはスケーリングのアジャスト処理をするステップと、
符号化部が、上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得るステップと、
情報挿入部が、上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入するステップを有する
符号化方法。
【請求項６】
広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化信号を含む符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を備え、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに備える
復号化装置。
【請求項７】
復号化部が、広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得るステップを有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
参照ブロック抽出部が、上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出するステップと、
画素値算出部が、上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画素データを得るステップをさらに有する
復号化方法。
【請求項８】
広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記符号化装置は、
上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
送信装置。
【請求項９】
広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
上記復号化装置は、
上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置に関し、詳しくは、広視野角画像の動画像データを符号化する符号化装置等に関する。
【背景技術】
【０００２】
広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものであるから、画像中心からの距離に応じて変形されたものとなる。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。【０００３】
この広視野角画像の動画像データの符号化を行う場合、従来方法によるブロック状のデータを参照画像との間で平行移動させて動き予測を行うと、残差が大きくなり、符号化ビットレートが増大することが懸念される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２００９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術の目的は、広視野角画像の動画像データを良好に符号化することにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記符号化装置は、
上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
送信装置にある。【０００７】
本技術において、送信装置は、符号化装置と、送信部を備えるものとされる。符号化装置により、広視野角画像の動画像データが符号化されて符号化ストリームが得られる。送信部により、符号化ストリームを含む所定フォーマットのコンテナが送信される。例えば、広視野角画像は、全方位画像である、ようにされてもよい。【０００８】
符号化装置は、ブロック分割部と、参照ブロック抽出部と、参照ブロックアジャスト部と、符号化部と、情報挿入部を有するものとされる。ブロック分割部により、広視野角画像の動画像データがブロック分割されて符号化対象ブロックが得られる。参照ブロック抽出部により、符号化対象ブロック毎に動き補償された参照ブロックが抽出される。【０００９】
参照ブロックアジャスト部により、参照ブロックに回転および/またはスケーリングのアジャスト処理がされる。例えば、参照ブロックアジャスト部は、回転の角度を、参照ブロックと符号化対象ブロックの位置から自動判定する、ようにされてもよい。【００１０】
また、例えば、参照ブロックアジャスト部は、参照ブロック抽出部で参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする、ようにされてよい。また、例えば、参照ブロックアジャスト部は、参照ブロック抽出部で参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする、ようにされてもよい。【００１１】
符号化部により、符号化対象ブロック毎にこの符号化対象ブロックの画素値とアジャスト処理された参照ブロックの画素値に基づいて残差信号が算出され、各符号化対象ブロックの残差信号が符号化されて符号化ストリームが得られる。そして、情報挿入部により、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理の情報が挿入される。【００１２】
このように本技術においては、参照ブロックに回転および/またはスケーリングのアジャスト処理がされる。そのため、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。また、本技術においては、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理の情報が挿入される。そのため、復号化側では、動きベクトルと共にアジャスト処理の情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。【００１３】
また、本技術の他の概念は、
広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
上記復号化装置は、
上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
受信装置にある。【００１４】
本技術において、受信装置は、受信部と、復号化装置を備えるものである。受信部により、広視野角画像の動画像データが符号化されて得られた符号化ストリームを含む所定フォーマットのコンテナが受信される。復号化装置により、符号化ストリームが復号化されて広視野角画像の画像データが得られる。【００１５】
復号化装置は、復号化部と、参照ブロック抽出部と、画素値算出部を有している。復号化部により、符号化ストリームが復号化されて、復号化対象ブロック毎の残差信号が得られる。符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されている。【００１６】
参照ブロック抽出部により、ブロック毎の動きベクトルとアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックが抽出される。そして、画素値算出部により、復号化対象ブロック毎に、残差信号に参照ブロックの画素値が加算されて、広視野角画像の動画像データが得られる。【００１７】
このように本技術においては、符号化ストリームに挿入されている、ブロック毎の動きベクトルとアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックが抽出される。そのため、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。
【発明の効果】
【００１８】
本技術によれば、広視野角画像の動画像データを良好に符号化し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】全方位カメラでキャプチャされた全方位画像の一例を示す図である。
【図３】全方位画像をパノラマ展開した後の画像の一例を示す図である。
【図４】送信装置の構成例を示すブロック図である。
【図５】従来のブロック平行移動による動き予測の適用例を示す図である。
【図６】参照ブロックアジャストを経た動き予測適用例を示す図である。
【図７】従来のブロック平行移動による動き予測の適用例と参照ブロックアジャストを経た動き予測適用例を比較して示す図である。
【図８】送信装置のエンコーダの符号化処理部分の構成例を示すブロック図である。
【図９】動き予測/動き補償回路および参照画アジャスト情報処理部における処理フローの一例を示す図である。
【図１０】動き予測/動き補償回路および参照画アジャスト情報処理部における処理フローの他の一例を示す図である。
【図１１】スライスのＮＡＬユニットの構造例を示す図である。
【図１２】スライス・セグメント・データの構造例を示す図である。
【図１３】「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例を示す図である。
【図１４】「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例における主要な情報の内容を示す図である。
【図１５】受信装置の構成例を示すブロック図である。
【図１６】受信装置のデコーダの復号化処理部分の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２１】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００２２】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、広視野角画像、この実施の形態においては全方位画像の動画像データを符号化して得られた符号化ストリーム（ビデオストリーム）が含まれている。
【００２３】
図２は、全方位カメラでキャプチャされた全方位画像の一例を示している。この全方位カメラでは、従来周知のように、例えば双曲面ミラーを用いて撮像が行われる。全方位画像には基準点（Target Point）Ｏが設定される。全方位画像は、この基準点Ｏを中心とした３６０度の画像を持っている。この全方位画像をパノラマ展開することで、図３に示すような２次元３６０度の画像が得られる。全方位画像は、例えば上述したように双曲面ミラーを用いて撮像が行われことから、基準点Ｏからの距離や角度位置に応じて変形を伴うものとなる。
【００２４】
送信装置１００は、動き補償予測符号化を行うが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリング（リニア、ノンリニア）のアジャスト処理を施す。これにより、全方位画像に上述の変形があっても、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。例えば、回転の角度は、参照ブロックと符号化対象ブロックの位置から自動判定される。
【００２５】
送信装置１００は、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報を挿入する。これにより、受信側（復号化側）では、動きベクトルと共にアジャスト処理情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行って、全方位画像の動画像データを良好に得ることができる。
【００２６】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、全方位画像の動画像データを符号化して得られた符号化ストリーム（ビデオストリーム）が含まれている。そして、この符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入されている。
【００２７】
受信装置２００は、符号化ストリームに挿入されている、ブロック毎の動きベクトルと回転および/またはスケーリングのアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックを抽出する。これにより、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行って、全方位画像の動画像データを良好に得ることができる。
【００２８】
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、全方位カメラ１０２と、エンコーダ１０３と、圧縮データバッファ１０４と、ＴＳフォーマッタ１０５と、送信部１０６を有している。
【００２９】
ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。全方位カメラ１０２は、被写体を撮像して全方位画像の動画像データＶＤを得る。エンコーダ１０３は、全方位画像の動画像データＶＤをＡＶＣあるいはＨＥＶＣなどで符号化して符号化ストリーム（ビデオストリーム）を得る。
【００３０】
エンコーダ１０３は、動き補償予測符号化を行うが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリングのアジャスト処理を施す。これにより、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。例えば、回転の角度は、参照ブロックと符号化対象ブロックの位置から自動判定される。
【００３１】
図５は、従来のブロック平行移動による動き予測の適用例を示している。左側はＴ０の時刻の参照フレーム（過去フレーム）を示し、右側はＴ１の時刻の符号化対象フレーム（現フレーム）を示している。符号化対象フレームの符号化対象ブロックに対応して、例えばブロックマッチング法などによる動き検出処理により、符号化対象ブロックとの間の差分である残差が最も小さくなるように、参照フレームに参照ブロックが定められる。ＭＶは、動きベクトルを示している。
【００３２】
実空間においてオブジェクトが時間経過により平行移動したとしても、全方位画像にあっては単なる平行移動とはならず、回転および/またはスケーリングを伴った移動となる。そのため、上述の符号化対象ブロック内の画像は、参照ブロック内の画像に対して回転および/またはスケーリングを伴ったものとなっている。したがって、図７（ａ）に示すように、参照ブロックの画素値と符号化対象ブロックの画素値との間の差分を取った場合、残差は大きくなる。
【００３３】
図６は、参照ブロックアジャストを経た動き予測適用例を示している。左側はＴ０の時刻の参照フレーム（過去フレーム）を示し、右側はＴ１の時刻の符号化対象フレーム（現フレーム）を示している。符号化対象フレームの符号化対象ブロックに対応して、例えばブロックマッチング法などによる動き検出処理により、符号化対象ブロックとの間の差分である残差が最も小さくなるように、参照フレームに参照ブロック（アジャスト処理前）が定められる。ＭＶは、動きベクトルを示している。
【００３４】
基準点Ｏに対する符号化対象ブロックと参照ブロックとがなす角度θを求める。そして、参照フレームに、参照ブロックを含む範囲を持つアジャスト処理範囲が設定され、このアジャスト処理範囲の画像に対して角度θの回転、さらに必要に応じて所定のスケーリングの処理が施される。そのため、図７（ｂ）に示すように、アジャスト処理後の参照ブロック内の画像は、アジャスト処理前の参照ブロック内の画像が角度θだけ回転され、さらにスケーリングされたものとなり、参照ブロックの画素値と符号化対象ブロックの画素値との間の差分を取った場合、残差は小さくなる。
【００３５】
図８は、エンコーダ１０３の符号化処理部分の構成例を示している。このエンコーダ１０３は、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、参照画アジャスト情報処理部１２９と、エントロピー符号化回路１３０を有している。
【００３６】
全方位画像の動画像データＶＤは、ブロック化回路１２１に入力される。このブロック化回路１２１では、動画像データＶＤを構成する各ピクチャの画像データが符号化処理単位としての符号化対象ブロック（ＭＢ：マクロブロック）に分割される。各符号化対象ブロックは減算回路１２２に順次供給される。
【００３７】
動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、符号化対象ブロック毎に、動き補償された参照ブロック（予測参照ブロック）が抽出される。この参照ブロックは、参照画アジャスト情報処理部１２９で、上述したように回転および/またはスケーリングのアジャスト処理が施されたものである（図６、図７（ｂ）参照）。
【００３８】
なお、（１）参照画アジャスト情報処理部１２９は、動き予測/動き補償回路１２３で参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理やスケーリング処理をする。あるいは、（２）参照画アジャスト情報処理部１２９は、動き予測/動き補償回路１２３で参照ブロックを抽出するためのブロックマッチングの結果について回転処理やスケーリング処理をする。
【００３９】
図９は、（１）の場合における動き予測/動き補償回路１２３および参照画アジャスト情報処理部１２９における処理フローを示している。まず、ステップＳＴ１において、処理を開始する。次に、ステップＳＴ２において、参照ブロックのトップ・レフト（top-left）位置を設定する。次に、ステップＳＴ３において、符号化対象ブロックと参照ブロックとの間の回転角θを求める。
【００４０】
次に、ステップＳＴ４において、参照ブロックをθだけ回転させる。また、このとき、参照ブロックを比率Ｓだけスケーリングさせる。なお、回転、拡大縮小の基準点は参照ブロックのトップ・レフト（top-left）の点とする。次に、ステップＳＴ５において、回転（スケーリング）させた参照ブロック と符号化対象ブロックとの間で残差成分ｊを計算し、回転（スケーリング）前の参照ブロック設定位置の残差成分ｋとの間で、残差パワーがＰ（ｋ）＞Ｐ（ｊ）の場合、動きベクトルと回転角θ（スケーリング比Ｓ）を記憶する。
【００４１】
なお、回転（スケーリング）させた各参照ブロックの作成は、角度情報による先取り処理で符号化対象ブロックの近傍領域に対して予め求めておくことが可能である。ステップＳＴ６において、前回までのループで記憶された、動きベクトルと回転角θ（スケーリング比Ｓ）による残差パワーと比較し、残差パワーの小さい方の動きベクトルと回転角θ（スケーリング比Ｓ）とで更新する。また、ステップＳＴ７において、当該ループにおける残差パワーが最小残差パワーと判断されないとき、参照ブロックのトップ・レフト（top-left）位置を変更して上述した処理を繰り返す。一方、当該ループにおける残差パワーが最小と判定されたらループを抜け、ステップＳＴ８において、ＳＴ７の残差パワーと従来のブロックマッチング法による残差パワーとを比較し、値の小さい方を採用する。その後、ステップＳＴ９において、処理を終了する。
【００４２】
図１０は、（１）の場合における動き予測/動き補償回路１２３および参照画アジャスト情報処理部１２９における処理フローを示している。まず、ステップＳＴ１１において、処理を開始する。次に、ステップＳＴ１２において、従来のブロックマッチング法による動きベクトルを求める。
【００４３】
次に、ステップＳＴ１３において、動きベクトルの位置の参照ブロックのトップ・レフト（top-left）位置を設定する。次に、ステップＳＴ１４において、符号化対象ブロックと参照ブロックとの間の回転角θを求める。次に、ステップＳＴ１５において、参照ブロックをθだけ回転させる。また、このとき、参照ブロックを比率Ｓだけスケーリングさせる。なお、回転、拡大縮小の基準点は参照ブロックのトップ・レフト（top-left）の点とする。
【００４４】
次に、ステップＳＴ１６において、回転（スケーリング）させた参照ブロックと符号化対象ブロックとの間で残差成分ｊを計算する。次に、ステップＳＴ１７において、従来のブロックマッチング法による残差成分ｋと比較をし、残差パワーがＰ（ｋ）＞Ｐ（ｊ）の場合、アジャスト情報（回転角θとスケーリング比Ｓの情報）を記憶する。それ以外は、アジャスト情報（回転角θ＝０とスケーリング比Ｓ＝１）を記憶する。ステップＳＴ１７の処理の後、ステップＳＴ１８において、処理を終了する。
【００４５】
図８に戻って、動き予測/動き補償回路１２３で得られた各参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られた符号化対象ブロック毎に、参照ブロックとの間で減算処理が行われて、予測誤差（残差信号）が得られる。この符号化対象ブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
【００４６】
整数変換/量子化回路１２４で得られた符号化対象ブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測誤差が得られる。この予測誤差は、加算回路１２６に供給される。
【００４７】
この加算回路１２６では、予測誤差に動き補償された参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
【００４８】
また、整数変換/量子化回路１２４で得られた符号化対象ブロック毎の量子化データは、エントロピー符号化回路１３０に供給されて、エントロピー符号化が行われて、符号化ストリーム（ビデオストリーム）が得られる。なお、この符号化ストリームには、符号化対象ブロック毎に、参照ピクチャインデックス、動きベクトル、アジャスト処理情報などの情報が、受信側における復号化のために、ＭＢヘッダ情報として付加される。
【００４９】
図１１（ａ）は、符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例を示している。このＮＡＬユニットは、スライス・セグメント・ヘッダ（slice_segment_header()）と、スライス・セグメント・データ（slice_segment_data()）とからなっている。図１１（ｂ）は、スライス・セグメント・ヘッダの構造例を示している。「angled_prediction_enable_flag」のフィールドは、符号化に際して参照ブロックにアジャスト処理が施されているか否かを示すフラグ情報である。“１”はアジャスト処理が施されていることを示し、“０”はアジャスト処理が施されていないことを示す。
【００５０】
図１２は、スライス・セグメント・データの構造例を示している。なお、この構造例は、双方向予測を行う場合の例を示している。「ref_idx_l0」および「ref_idx_l1」のフィールドは、それぞれ、参照ピクチャインデックスを示す。「mvd_coding( x0, y0, mvx0_l0, mvy0_l0, ref_idx_l0)」および「mvd_coding( x0, y0, mvx0_l1, mvy0_l1, ref_idx_l1)」のフィールドは、それぞれ、予測元の符号化ブロックの位置と動きベクトル、参照ピクチャのインデックスを示す。
【００５１】
また、「angled_prediction_enable_flag」が“１”であるとき、「ref_block_adjust_proc(x0, y0, mvx0, mvy0, ref_idx_l0 )」および「ref_block_adjust_proc(x0, y0, mvx1, mvy1, ref_idx_l1 )」のフィールドが存在する。これらのフィールドは、それぞれ、アジャスト処理情報（予測元の符号化ブロックの位置と動きベクトル、参照ピクチャのインデックスと共に回転角θとスケーリング比Ｓの情報）を与える。
【００５２】
図１３は、「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例を示している。図１４は、その構造例における主要な情報の内容を示している。「rotation_degree」のフィールドは、回転角θを示す。このフィールドは、参照ブロックを回転させる角度を反時計回りに１００倍の値で示す。なお、拡大縮小の基準点は、参照ブロックのトップ・レフト（top-left）の点とする。例えば、「rotation_degree = 1250」は、反時計回りに１２．５度であることを示す。
【００５３】
「scaling_ratio」のフィールドは、スケーリング比Ｓを示す。このフィールドは、参照対象の画像のブロックのサイズを基準とした拡大縮小比を１００倍の値で示す。例えば、「scaling_ratio = 100」は１倍（等倍）を示し、「「scaling_ratio = 15」は０．１５倍を示し、「scaling_ratio = 366」は３．６６倍を示す。
【００５４】
図４に戻って、圧縮データバッファ(ｃｐｂ)１０４は、エンコーダ１０３で生成された符号化ストリームを、一時的に蓄積する。ＴＳフォーマッタ１０５は、圧縮データバッファ１０４に蓄積されている符号化ストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０６は、ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【００５５】
図４に示す送信装置１００の動作を簡単に説明する。全方位カメラ１０２で得られた全方位画像の動画像データは、エンコーダ１０３に供給される。エンコーダ１０３では、動画像データＶＤがＡＶＣあるいはＨＥＶＣなどで符号化されて、符号化ストリーム（ビデオストリーム）が得られる。
【００５６】
エンコーダ１０３では、動き補償予測符号化が行われるが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリングのアジャスト処理が施される（図９、図１０参照）。全方位画像の動画像データＶＤであっても、残差信号を小さくでき、符号化効率が高められる。符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入される（図１２、図１３参照）。
【００５７】
エンコーダ１０３で生成された符号化ストリームは、圧縮データバッファ(ｃｐｂ)１０４に一時的に蓄積される。ＴＳフォーマッタ１０５では、圧縮データバッファ１０４に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【００５８】
ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳは、送信部１０６に送られる。送信部１０６では、ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【００５９】
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、デコーダ２０５と、ピクチャフォーマットコンバータ２０６と、表示部２０７を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
【００６０】
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる全方位画像の動画像データＶＤに係る符号化ストリーム（ビデオストリーム）を取り出して圧縮データバッファ２０４に送る。この符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報（回転角θとスケーリング比Ｓの情報）が挿入されている。圧縮データバッファ(ｃｐｂ)２０４は、ＴＳ解析部２０３から送られてくるビデオストリームが一時的に蓄積される。
【００６１】
デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、全方位画像の動画像データＶＤを得る。この際、デコーダ２０５は、復号化対象ブロック毎に、動きベクトルおよびアジャスト処理情報に基づいて参照ブロックを抽出し、残差信号に参照ブロックの画素値を加算して、動画像データＶＤを得る。
【００６２】
図１６は、デコーダ２０５の復号化処理部分の構成例を示している。このデコーダ２０５は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６と、参照画アジャスト情報処理部２１７を有している。
【００６３】
エントロピー復号化回路２１１では、符号化ストリームにエントロピー復号化が施されて、復号化対象ブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２１２に供給される。この逆量子化/逆整数変換回路２１２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測誤差（残差信号）が得られる。この復号化対象ブロック毎の予測誤差は、加算回路２１４に供給される。
【００６４】
動き補償回路２１３では、メモリ２１６に記憶されている参照ピクチャの画像データに基づいて、復号化対象ブロック毎に、動き補償された参照ブロック（予測参照ブロック）が抽出される。この場合、符号化ストリームに、ブロック毎に挿入されている動きベクトルおよびアジャスト処理情報に基づいて、符号化時と同様にアジャスト処理された参照ブロックが抽出される。
【００６５】
動き補償回路２１３で得られた各参照ブロックは、加算回路２１４に順次供給される。加算回路２１４では、各復号化対象ブロックの予測残差（残差信号）に対応する参照ブロックが加算されて、全方位画像の動画像データＶＤを構成する各ブロックが得られる。このように加算回路２１４で得られる各ブロックは、ループフィルタ２１５で量子化ノイズが除去された後に、メモリ２１６に蓄積される。そして、このメモリ２１６からの蓄積データの読み出しにより、全方位画像の動画像データＶＤが得られる。
【００６６】
図１５に戻って、ピクチャフォーマットコンバータ２０６は、デコーダ２０５で得られた全方位画像の動画像データＶＤにパノラマ展開の画像処理を施して、パノラマの表示用画像データを得る。表示部２０７は、ピクチャフォーマットコンバータ２０６からの表示用画像データによる画像表示をする。この表示部２０７は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０７は、受信装置２００に接続される外部機器であってもよい。
【００６７】
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。
【００６８】
ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる全方位画像の動画像データＶＤに係る符号化ストリーム（ビデオストリーム）が取り出され、圧縮データバッファ２０４に送られる。この符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報（回転角θとスケーリング比Ｓの情報）が挿入されている圧縮データバッファ(ｃｐｂ)２０４では、ＴＳ解析部２０３から送られてくるビデオストリームが一時的に蓄積される。
【００６９】
デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされ、全方位画像の動画像データＶＤが得られる。この際、デコーダ２０５では、復号化対象ブロック毎に、動きベクトルおよびアジャスト処理情報に基づいて符号化時と同様の参照ブロックが抽出され、残差信号に参照ブロックの画素値が加算されて、動画像データＶＤが得られる。
【００７０】
デコーダ２０５で得られた全方位画像の動画像データＶＤは、ピクチャフォーマットコンバータ２０６に供給される。ピクチャフォーマットコンバータ２０６では、動画像データＶＤにパノラマ展開の画像処理が施されて、パノラマの表示用画像データが得られる。表示部２０７では、ピクチャフォーマットコンバータ２０６で得られた表示用画像データによる画像表示が行われる。この場合、表示部２０７は、パノラマの全体画像を表示することもでき、あるいは、例えばユーザの選択操作に応じて、選択的に、一部の範囲の画像のみを表示することもできる。
【００７１】
以上説明したように、図１に示す送受信システム１０において、送信側のエンコーダ１０３では、参照ブロックに回転および/またはスケーリングのアジャスト処理が施される。そのため、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。
【００７２】
また、図１に示す送受信システム１０において、送信側のエンコーダ１０３では、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入される。そのため、受信画側のデコーダ２０５では、動きベクトルと共にアジャスト処理情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。
【００７３】
＜２．変形例＞
なお、上述実施の形態においては、全方位画像の動画像データを取り扱う例を示した。しかし、本技術は、全方位画像の動画像データに限定されるものではなく、その他の広視野角画像の動画像データを取り扱う場合にも同様に適用し得るものである。
【００７４】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【００７５】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。
【００７６】
また、本技術は、以下のような構成を取ることもできる。
（１）広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を備える
符号化装置。
（２）上記参照ブロックアジャスト部は、上記回転の角度を、上記参照ブロックと上記符号化対象ブロックの位置から自動判定する
前記（１）に記載の符号化装置。
（３）上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする
前記（１）または（２）に記載の符号化装置。
（４）上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする
前記（１）または（２）に記載の符号化装置。
（５）ブロック分割部が、広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るステップと、
参照ブロック抽出部が、上記符号化対象ブロック毎に参照ブロックを抽出するステップと、
参照ブロックアジャスト部が、上記参照ブロックに回転および/またはスケーリングのアジャスト処理をするステップと、
符号化部が、上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得るステップと、
情報挿入部が、上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入するステップを有する
符号化方法。
（６）広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化信号を含む符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を備え、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに備える
復号化装置。
（７）復号化部が、広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得るステップを有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
参照ブロック抽出部が、上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出するステップと、
画素値算出部が、上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画素データを得るステップをさらに有する
復号化方法。
（８）広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記符号化装置は、
上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
送信装置。
（９）広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
上記復号化装置は、
上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
受信装置。
【００７７】
本技術の主な特徴は、全方位画像（広視野角画像）の動画像データの予測符号化をする際に、参照ブロックに回転および/またはスケーリングのアジャスト処理を施すことで、残差を小さくして、符号化効率を高めるようにしたことである（図６参照）。
【符号の説明】
【００７８】
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・全方位カメラ
１０３・・・エンコーダ
１０４・・・圧縮データバッファ
１０５・・・ＴＳフォーマッタ
１０６・・・送信部
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・参照画アジャスト情報処理部
１３０・・・エントロピー符号化回路
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・ＴＳ解析部
２０４・・・圧縮データバッファ
２０５・・・デコーダ
２０６・・・ピクチャフォーマットコンバータ
２０７・・・表示部
２１１・・・エントロピー復号化回路
２１２・・・逆量子化/逆整数変換回路
２１３・・・動き補償回路
２１４・・・加算回路
２１５・・・ループフィルタ
２１６・・・メモリ
２１７・・・参照画アジャスト情報処理部
【図１】
2018056181.tif 000003
【図２】
2018056181.tif 000004
【図３】
2018056181.tif 000005
【図４】
2018056181.tif 000006
【図５】
2018056181.tif 000007
【図６】
2018056181.tif 000008
【図７】
2018056181.tif 000009
【図８】
2018056181.tif 000010
【図９】
2018056181.tif 000011
【図１０】
2018056181.tif 000012
【図１１】
2018056181.tif 000013
【図１２】
2018056181.tif 000014
【図１３】
2018056181.tif 000015
【図１４】
2018056181.tif 000016
【図１５】
2018056181.tif 000017
【図１６】
2018056181.tif 000018
【国際調査報告】
2018056181.tif 000019
2018056181.tif 000020
2018056181.tif 000021
2018056181.tif 000022