(57)【要約】【課題】  符号化のビットレートが充分でない場合であっても、正しい立体感の阻害が軽減できる立体映像符号化装置及び方法を提供する。【解決手段】  右目画像及び左目画像を含む立体映像を符号化する装置において、符号化対象ブロックに隣接する既に符号化済の画素値を用いて予測画像を生成し、符号化対象ブロックの画素値と予測画像の画素値との差分を符号化する画面内符号化を行う符号化部と、前記画面内符号化の予測モードは複数あり、複数の予測モードの中から１つの予測モードを選択する画面内予測モード選択部とを備え、前記画面内予測モード選択部は、各々の予測モードに設定されている予測モード係数に基づいて予測モードを選択し、符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数が、他の予測モードに対する予測モード係数より、選択されにくくなるよう重み付けする。【選択図】  図１
2015186052.tif 000002
【特許請求の範囲】
【請求項１】
右目画像及び左目画像を含む立体映像を符号化する立体映像符号化装置において、
符号化対象ブロックに隣接する既に符号化済の画素値を用いて予測画像を生成し、符号化対象ブロックの画素値と前記予測画像の画素値との差分を符号化する画面内符号化を行う符号化手段と、
前記画面内符号化の予測モードは複数あり、複数の前記予測モードの中から１つの予測モードを選択する画面内予測モード選択手段とを備え、
前記画面内予測モード選択手段は、各々の予測モードに設定されている予測モード係数に基づいて予測モードを選択し、
前記符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数が、他の予測モードに対する予測モード係数より、選択されにくくなるよう重み付けすることを特徴とする立体映像符号化装置。
【請求項２】
前記各予測モード係数は、符号化対象ブロックの水平方向に隣接する画素の数の、垂直方向に隣接する画素の数に対する割合が大きいほど、より選択されにくくなるように重み付けされることを特徴とする請求項１に記載の立体映像符号化装置。
【請求項３】
前記符号化手段は、符号化ビットレートを選択可能であって、
符号化ビットレートが低いほど、前記符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数と、他の予測モードに対する予測モード係数との差が大きくなるように重み付けされることを特徴とする請求項１又は請求項２に記載の立体映像符号化装置。
【請求項４】
前記符号化手段による符号化は、符号化対象画像とは時間的に異なる既に符号化済の画像を参照画像とした動き補償符号化を含み、前記符号化ブロックの単位で前記画面内符号化と前記動き補償符号化を選択可能であることを特徴とする請求項１乃至請求項３の何れか１項に記載の立体映像符号化装置。
【請求項５】
右目画像及び左目画像を含む立体映像を符号化する立体映像符号化方法において、
符号化対象ブロックに隣接する既に符号化済の画素値を用いて予測画像を生成し、符号化対象ブロックの画素値と前記予測画像の画素値との差分を符号化する画面内符号化を行う符号化工程と、
前記画面内符号化の予測モードは複数あり、複数の前記予測モードの中から１つの予測モードを選択する画面内予測モード選択工程とを有し、
前記画面内予測モード選択工程では、各々の予測モードに設定されている予測モード係数に基づいて予測モードを選択し、
前記符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数が、他の予測モードに対する予測モード係数より、選択されにくくなるよう重み付けすることを特徴とする立体映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化する符号化装置及び方法に関し、特に複数の撮像装置で撮られた複数の映像を用いて立体映像を符号化する符号化技術に関する。
【背景技術】
【０００２】
近年、立体表示可能なディスプレイの普及にともない、立体映像の撮影可能な撮像装置についても注目されている。立体映像の撮影については、通常、視差を有する２つのカメラで撮影した右目用映像、左目用映像を用いて作成している。立体映像の符号化においては、従来の圧縮符号化復号化技術として知られるMPEG方式などで用いられた時間方向の物体の動きベクトルを予測する動き予測に加え、複数の撮像装置間の視差ベクトルを予測する視差予測を用いることができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１６５９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、特に符号化のビットレートが充分でなく符号化劣化が顕著となった場合に、符号化劣化が原因で右目用画像と左目用画像の視差が乱され、正しい立体感が阻害されるという問題があった。
【０００５】
そこで、本発明は上記の問題に鑑みて為されたものであり、符号化のビットレートが充分でない場合であっても、正しい立体感の阻害が軽減できる立体映像符号化装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る立体映像符号化装置の構成は、右目画像及び左目画像を含む立体映像を符号化する立体映像符号化装置において、符号化対象ブロックに隣接する既に符号化済の画素値を用いて予測画像を生成し、符号化対象ブロックの画素値と前記予測画像の画素値との差分を符号化する画面内符号化を行う符号化手段と、前記画面内符号化の予測モードは複数あり、複数の前記予測モードの中から１つの予測モードを選択する画面内予測モード選択手段とを備え、前記画面内予測モード選択手段は、各々の予測モードに設定されている予測モード係数に基づいて予測モードを選択し、前記符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数が、他の予測モードに対する予測モード係数より、選択されにくくなるよう重み付けすることを特徴とする。
【０００７】
本発明に係る立体映像符号化方法の構成は、右目画像及び左目画像を含む立体映像を符号化する立体映像符号化方法において、符号化対象ブロックに隣接する既に符号化済の画素値を用いて予測画像を生成し、符号化対象ブロックの画素値と前記予測画像の画素値との差分を符号化する画面内符号化を行う符号化工程と、前記画面内符号化の予測モードは複数あり、複数の前記予測モードの中から１つの予測モードを選択する画面内予測モード選択工程とを有し、前記画面内予測モード選択工程では、各々の予測モードに設定されている予測モード係数に基づいて予測モードを選択し、前記符号化対象ブロックの水平方向に隣接する画素を用いて予測画像を生成する予測モードに対する予測モード係数が、他の予測モードに対する予測モード係数より、選択されにくくなるよう重み付けすることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、符号化のビットレートが充分でない場合であっても、正しい立体感の阻害が軽減できる立体映像符号化装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る立体映像符号化装置の構成例を示すブロック図である。
【図２】イントラ予測方法の予測画像の生成方法を説明するための図である。
【図３】本発明の第１の実施形態に係るイントラ予測部のブロック図である。
【図４】本発明の第２の実施形態に係るイントラ／インター判定部のブロック図である。
【図５】本発明の第３の実施形態に係るイントラ予測部のブロック図である。
【図６】予測モード係数と符号化ビットレートの関係を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
【００１１】
（第１の実施形態）
図１は本発明に係る立体映像符号化装置のブロック図である。図１に示すように、本発明に係る立体映像符号化装置は、主画像撮像部１０１、副画像撮像部１０２、フレームメモリ１０３、フィルタ後参照フレームメモリ１０４、動き／視差予測部１０５、動き／視差補償部１０６、イントラ予測部１０７、直交変換部１０８、量子化部１０９、エントロピー符号化部１１０、逆量子化部１１１、逆直交変換部１１２、イントラ／インター判定部１１３、減算器１１４、加算器１１５、フィルタ前参照フレームメモリ１１６、ループフィルタ１１７とから成っている。
【００１２】
係る構成において、まず入力画像を符号化する方法について述べる。主画像撮像部１０１および副画像撮像部１０２は、撮影レンズおよび結像した画像を光電変換するための撮像素子と、撮像素子から読み出したアナログ信号をデジタル信号へ変換するＡ／Ｄ変換処理部等を含み、さらに変換されたデジタル信号から輝度信号や色差信号を生成してフレームメモリ１０３へデータを書き込む。なお、本実施例では主画像は左目用の映像を撮影し、副画像は右目用の映像を撮影するものとする。また副画像は主画像を参照画像として使用できるが主画像は副画像を参照画像として使用できないものとする。
【００１３】
フレームメモリ１０３には表示順に主画像、副画像の各々が保存され、符号化順に符号化対象ブロックを動き／視差予測部１０５、イントラ予測部１０７、減算器１１４、原点差分演算部１１８に順次送信する。
【００１４】
フィルタ後参照フレームメモリ１０４はフィルタ処理された符号化済み画像が参照画像として保存され、符号化順に符号化対象ブロックの参照画像を動き／視差予測部１０５、動き／視差補償部１０６に順次送信する。
【００１５】
フィルタ前参照フレームメモリ１１６はフィルタ処理される前の符号化済み画像が保存されイントラ予測部１０７に順次送信する。
【００１６】
動き／視差予測部１０５はフレームメモリ１０３から送信される符号化対象ブロックが主画像であるか副画像であるかによって処理を変える。
【００１７】
主画像の場合はフィルタ後参照フレームメモリ１０４から送信される事前に符号化し復号化された主画像を参照画像として用いて動きベクトルとして検出し、参照画像データ番号と共に動き／視差補償部１０６に送信する。
【００１８】
副画像の場合は事前に符号化し復号化された表示順で同一時刻の主画像あるいは事前に符号化し復号化された副画像を参照画像としてフィルタ後参照フレームメモリ１０４から受け動きベクトルあるいは視差ベクトルを検出する。検出された動きベクトルあるいは視差ベクトルは参照画像データ番号と共に動き／視差補償部１０６に送信する。
【００１９】
また、副画像の場合に事前に符号化し復号化された表示順で同一時刻の主画像と事前に符号化し復号化された副画像とから、参照画像のいずれかを最終的な参照画像として選択する方法については特に問わない。本実施例ではベクトル位置での符号化対象ブロックと参照画像の差分値が小さい方を選択するものとする。
【００２０】
動き／視差補償部１０６は動き／視差予測部１０５から送られた動きベクトルあるいは視差ベクトルを用いて、フィルタ後参照フレームメモリ１０４中のフィルタ後参照フレーム画像データ番号で示される参照フレーム画像を参照して、各ブロックの予測画像データを生成し、動きベクトルあるいは視差ベクトルとともに、イントラ／インター判定部１１３に送信する。
【００２１】
一方、イントラ予測部１０７はフィルタ前参照フレームメモリ１１６から送信される符号化対象ブロック周辺の復号化済みデータを用いて複数のイントラ予測モードごとにイントラ予測画像を生成する。図２にイントラ予測の種類とそれぞれのイントラ予測方法での予測画像の生成方法を概略で示した。白い四角が符号化対象のブロックを示しており、ここでは水平４画素、垂直４画素のブロックとしている。黒い四角は前記符号化対象のブロックに隣接する既に符号化された画素を示している。前記隣接する画素値を矢印の方向に使用して予測画像を生成する。例えば、図２（ａ）Ｖｅｒｔｉｃａｌ予測は上隣接の画素を使用して予測画像を生成する。なお、矢印が斜めになっている場合に、複数の隣接する画素値を用いて演算により予測画像を生成するものもある。
【００２２】
フレームメモリ１０３から送信される符号化対象ブロックと生成した予測画像とを用いて適切なイントラ予測モードを選択し、予測画像とともにイントラ／インター判定部１１３に送信する。
【００２３】
イントラ／インター判定部１１３は動き／視差補償部１０６およびイントラ予測部１０７から送信されてくる予測画像データのうち符号化対象ブロックとの相関の高い予測画像データを選択して減算器１１４に送信する。また、イントラ予測を選択した場合にはイントラ予測モード、インター予測を選択した場合には動きベクトルなどの情報をエントロピー符号化部１１０に送信する。
【００２４】
減算器１１４はフレームメモリ１０３から送信されてくる符号化対象ブロックとイントラ／インター判定部１１３から送信されてくる予測画像ブロックを減算し、画像残差データを出力する。
【００２５】
直交変換部１０８では減算器１１４から出力された画像残差データを直交変換処理して、変換係数を量子化部１０９に送信する。
【００２６】
量子化部１０９は直交変換部１０８からの変換係数を所定の量子化パラメータを用いて量子化し、エントロピー符号化部１１０および逆量子化部１１１に送信する。
【００２７】
エントロピー符号化部１１０は量子化部１０９で量子化された変換係数を入力し、ＣＡＶＬＣ、ＣＡＢＡＣなどのエントロピー符号化を施して、符号化データとして出力する。
【００２８】
続いて、量子化部１０９で量子化された変換係数を用いて参照画像データを生成する方法について述べる。
【００２９】
逆量子化部１１１は量子化部１０９から送信されてくる量子化された変換係数を逆量子化する。
【００３０】
逆直交変換部１１２は逆量子化部１１１で逆量子化された変換係数を逆直交変換し、復号残差データを生成し加算器１１５に送信する。
【００３１】
加算器１１５は復号残差データと後述する予測画像データとを加算し参照画像データを生成し、フィルタ前参照フレームメモリ１１６に保存する。また、ループフィルタ１１７に送信される。
【００３２】
ループフィルタ１１７は参照画像データをフィルタリングしてノイズを除去したフィルタ後の参照画像データをフィルタ後参照フレームメモリ１０４に保存する。
【００３３】
続いて本発明の特徴であるイントラ予測部１０７におけるイントラ予測モードの決定方法について詳細に述べる。図３はイントラ予測部１０７のブロック図である。予測モード発生部３０４は順次図２に示した複数の予測モードのうちの１つを選択して、予測画像生成部３０１および予測モード係数発生部３０５へ送信する。予測画像生成部３０１は指定された予測モードの予測画像を生成するために必要な、既に符号化済みの隣接する画素をフィルタ前参照フレームメモリ１１６から読み出し、予測画像を生成して評価値算出部３０２へ送信する。
【００３４】
予測モード係数発生部３０５は指定された予測モードに応じて予測モード係数を発生する。例えば、予測モードがＭｏｄｅ  １（Ｈｏｒｉｚｏｎｔａｌ予測）の場合は２．０、それ以外の予測モードの場合は１．０を発生する。予測モード係数の他の発生例としては、予測モードがＭｏｄｅ  １の場合は２．０、Ｍｏｄｅ  ４，５，６，８の場合は１．５、それ以外の予測モードの場合は１．０を発生してもよい。予測モード係数の発生は、前述の例に限られず、予測方向が水平成分を強くもつものほど予測モード係数が大きくなればよい。
【００３５】
評価値算出部３０２は、符号化対象のブロック画像をフレームメモリ１０３から読み出し、前記予測画像生成部３０１が生成した予測画像との差分値を算出する。差分値としては、画素毎の差分値の絶対値をブロックの画素数分加算した差分絶対値和を算出する。前記差分絶対値和に、前記予測モード係数発生部３０５が発生した予測モード係数を乗算して、予測モード発生部３０４が発生した予測モードに対する評価値を算出し、予測モード決定部３０３へ送信する。予測モード決定部３０３は順次送信されてくる、各予測モードに対する評価値のうち最も小さいものを、符号化対象のブロックに対する予測モードとして決定し、予測画像とともにイントラ／インター判定部１１３に送信する。
【００３６】
以上により、イントラ予測の予測画像が水平方向に延長されるような予測モードが選択されにくくなり、その結果として水平方向に延長されるような符号化劣化が抑えられ、正しい立体感の阻害を低減することができる。
【００３７】
（第２の実施形態）
以下、本発明の第２の実施形態に係る立体映像符号化装置について説明する。本発明の第２の実施形態に係る立体映像符号化装置の構成は上述の第１の実施形態と同様なため説明は省略する。
【００３８】
図４はイントラ／インター判定部１１３のブロック図である。イントラ／インター判定部１１３には、動き／視差補償部１０６からインター差分が入力され、イントラ予測部１０７からイントラ差分が入力される。前記インター差分、イントラ差分は、それぞれの予測画像と符号化画像との差分絶対値和である。イントラ差分には、あらかじめ決められているイントラ係数が乗算されてイントラ評価値としてイントラ／インター決定部４０１に入力される。ここではイントラ係数は２．０としている。なお、イントラ係数の値は１．０より大きければよい。一方のインター差分はそのままインター評価値としてイントラ／インター決定部４０１に入力される。イントラ／インター決定部４０１は、インター評価値とイントラ評価値の小さい方を予測方式として決定し、エントロピー符号化部１１０へ送信する。
【００３９】
以上により、イントラ予測が選択されにくくなり、イントラ予測の場合に発生しやすい水平方向に延長されるような符号化劣化が抑えられ、正しい立体感の阻害を低減することができる。
【００４０】
（第３の実施形態）
以下、本発明の第３の実施形態に係る立体映像符号化装置について説明する。本発明の第３の実施形態に係る立体映像符号化装置の構成は上述の第１の実施形態とほぼ同様のため説明は省略する。
【００４１】
図１のイントラ予測部１０７を、図５のイントラ予測５００に置き換えることで本発明の第３の実施形態に係る立体映像符号化装置のブロック図になる。イントラ予測部５００は、イントラ予測部１０７とほぼ同じ構成であり、予測モード係数発生部５０５が異なっている。予測モード係数発生部５０５は、ユーザーなどが設定する符号化ビットレートが入力され、前記符号化ビットレートに応じて予測モード係数を発生する。予測モード係数は、前述の第１の実施形態で説明した通り、予測方向が水平成分を強くもつものほど予測モード係数が大きくなればよい。ただし、符号化ビットレートが高くなるほど、各々の予測モードに対する予測モード係数の、最大と最小の差分が小さくなるように設定する。ここでは例として、Ｍｏｄｅ  ０  の予測モード係数と、Ｍｏｄｅ  １  の予測モード係数について、符号化ビットレートに応じた変化について図６を用いて説明する。
【００４２】
図６は、Ｍｏｄｅ  ０  の予測モード係数と、Ｍｏｄｅ  １  の予測モード係数を横軸に符号化ビットレートをとって示したグラフである。符号化ビットレートが高い場合は  Ｍｏｄｅ  ０  の予測モード係数は小さくＭｏｄｅ  １の予測モード係数と近い値となる。符号化ビットレートが低い場合はＭｏｄｅ  １  の予測モード係数は大きく、Ｍｏｄｅ０の予測モード係数とは離れた値となる。すなわち、符号化ビットレートが低い場合には、水平方向に延長されるような予測画像となる予測モードが強く抑制される。
【００４３】
以上により、特に符号化ビットレートが低い場合に顕著となる、水平方向に延長されるような符号化劣化が抑えられ、正しい立体感の阻害を低減することができる。
【符号の説明】
【００４４】
１０１  主画像撮像部
１０２  副画像撮像部
１０３  フレームメモリ
１０４  フィルタ後参照フレームメモリ
１０５  動き／視差予測部
１０６  視差補償部
１０７  イントラ予測部
１０８  直交変換部
１０９  量子化部
１１０  エントロピー符号化部
１１１  逆量子化部
１１２  逆直交変換部
１１３  イントラ／インター判定部
１１４  減算器
１１５  加算器
１１６  フィルタ前参照フレームメモリ
１１７  ループフィルタ
【図６】
2015186052.tif 000003
【図１】
2015186052.tif 000004
【図２】
2015186052.tif 000005
【図３】
2015186052.tif 000006
【図４】
2015186052.tif 000007
【図５】
2015186052.tif 000008