(57)【要約】【課題】奥行き情報を用いる表示画像の符号化効率を向上させることができる画像符号化装置及び画像符号化方法を提供する。【解決手段】実施形態の画像符号化装置は、取得手段と、信号処理手段と、出力手段とを備える。取得手段は、入力画像信号により構成される各画像領域の奥行き情報を取得する。信号処理手段は、前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する処理を行う。出力手段は、前記信号処理手段による処理後の画像信号を出力する。【選択図】図１
2013131928.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号により構成される各画像領域の奥行き情報を取得する取得手段と、
前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する処理を行う信号処理手段と、
前記信号処理手段による処理後の画像信号を出力する出力手段と、
を備える画像符号化装置。
【請求項２】
前記信号処理手段は、前記奥行き値が大きい画像領域ほど画像の精細度の低減量を増加させて、当該画像領域に対する画像信号のデータ量を低減する請求項１に記載の画像符号化装置。
【請求項３】
前記信号処理手段は、前記奥行き値が大きい画像領域ほど、前記入力画像信号を量子化する際の量子化ステップ幅を大きくして符号化を行う符号化手段を更に備える、請求項２に記載の画像符号化装置。
【請求項４】
前記信号処理手段は、前記奥行き値の大きい画像領域ほど画像の精細度を低減するフィルタ処理を行うフィルタ処理手段を更に備える、請求項１ないし３のいずれか１つに記載の画像符号化装置。
【請求項５】
画像の精細度を表す精細度情報を検出する検出手段を更に備え、
前記信号処理手段は、前記奥行き値が大きく且つ精細度が低い画像領域ほど画像の精細度を低減する処理を行う、請求項１ないし４のいずれか１つに記載の画像符号化装置。
【請求項６】
前記検出手段は、前記精細度情報として、前記入力画像信号から画像の複雑さを示すアクティビティを検出し、
前記信号処理手段は、前記奥行き値が大きく且つ前記アクティビティが小さい画像領域ほど、画像の精細度を低減する処理を行う、請求項５に記載の画像符号化装置。
【請求項７】
前記検出手段は、前記精細度情報として、前記入力画像信号から画像領域内に表示されるオブジェクトのエッジを検出し、
前記信号処理手段は、前記奥行き値が大きく且つ前記エッジが少なく検出された画像領域ほど、画像の精細度を低減する処理を行う、請求項５または６に記載の画像符号化装置。
【請求項８】
前記フィルタ処理手段はローパスフィルタを備え、前記奥行き値が大きい画像領域ほど前記ローパスフィルタのカットオフ周波数を小さくして、当該画像領域の画像の精細度を低減する、請求項４ないし７のいずれか１つに記載の画像符号化装置。
【請求項９】
前記信号処理手段は、所定の閾値より前記奥行き値が大きい画像領域に限って、前記画像の精細度を低減する処理を行う、請求項１ないし８のいずれか１つに記載の画像符号化装置。
【請求項１０】
画像符号化装置において、
入力画像信号により構成される各画像領域の奥行き情報を取得する取得工程と、
前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する信号処理工程と、
前記信号処理工程による処理後の画像信号を出力する出力工程と、
を含む画像符号化方法。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
動画像符号化処理では、符号化効率や画質の向上を狙いとして、量子化パラメータを調整することが種々行われている。また、近年では、奥行き情報を用いて立体映像を表示する表示装置が用いられるようになったため、奥行き情報を用いる表示画像の符号化処理についてもその符号化効率を向上させることが望まれている。
【０００３】
量子化パラメータの調整に関する従来技術としては、３次元ボリュームデータの各階層データに対して符号化効率を向上させるよう量子化を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１１３３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、奥行き情報を用いる表示画像の符号化については、効率性の点で改善の余地があり、符号化効率をより向上させることが可能な技術が望まれている。
【０００６】
本発明は、上記に鑑みてなされたものであって、奥行き情報を用いる表示画像の符号化効率を向上させることができる画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の画像符号化装置は、取得手段と、信号処理手段と、出力手段とを備える。取得手段は、入力画像信号により構成される各画像領域の奥行き情報を取得する。信号処理手段は、前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する処理を行う。出力手段は、前記信号処理手段による処理後の画像信号を出力する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる画像符号化装置の構成を示すブロック図である。
【図２】図２は、フィルタ処理を説明する図である。
【図３】図３は、プリフィルタ部が行うフィルタ処理の手順を説明するフローチャートである。
【図４】図４は、符号化部の構成を示すブロック図である。
【図５】図５は、奥行き値と量子化ステップ幅との関係の一例を示す図である。
【図６】図６は、符号化部が行う符号化処理の手順を説明するフローチャートである。
【図７】図７は、第２の実施形態にかかる画像符号化装置の構成を示すブロック図である。
【図８】図８は、奥行き値と、アクティビティと、プリフィルタ部が用いるカットオフ周波数との関係の一例を示す図である。
【図９】図９は、符号化部の構成を示すブロック図である。
【図１０】図１０は、奥行き値と、カットオフ周波数と、量子化制御部が設定する量子化ステップ幅との関係の一例を示す図である。
【図１１】図１１は、第３の実施形態において、プリフィルタ部が行うフィルタ処理の手順を説明するフローチャートである。
【図１２】図１２は、第１の実施形態にかかる符号化部の変形例の構成を示すブロック図である。
【図１３】図１３は、第２の実施形態にかかる符号化部の変形例の構成を示すブロック図である。
【図１４】図１４は、第２の実施形態にかかる符号化部の変形例の構成を示すブロック図である。
【図１５】図１５は、第２の実施形態にかかる符号化部の変形例の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
【００１０】
図１は、第１の実施形態にかかる画像符号化装置１０の構成を示すブロック図である。図１に示すように、画像符号化装置１０は、プリフィルタ部１１および符号化部１２を主に備えている。画像符号化装置１０には複数視差分の入力画像信号と、その入力画像信号に含まれた被写体像（画像領域）の奥行き情報とが、多視差画像としてフレーム毎に関連付けて入力される。尚、ここでは入力画像信号として多視差画像が入力される場合について説明するが、入力画像信号は多視差画像に限られるものではなく、２次元画像と奥行き情報とが対応付けられて入力されてもよい。
【００１１】
また、奥行き情報としては、仮想点から画像領域までの奥行き方向の距離に対応する奥行き値を用いることができる。尚、奥行き情報は、被写体像の画像領域に対応付けられていても良いし、画素毎に対応付けられていてもよい。プリフィルタ部１１および符号化部１２は、入力画像信号により構成される各画像領域の奥行き情報を取得する取得手段として夫々機能する。
【００１２】
尚、奥行き情報を取得する方法は特に限定されるものではない。複数視点分の入力画像信号の生成時に奥行き情報が生成される場合には、図１に示すように、この生成された奥行き情報が画像符号化装置１０に入力されてもよい。或いは、その他の実施形態で後述するように、画像符号化装置１０が２次元画像から奥行き情報を生成することにより奥行き情報を取得してもよい。
【００１３】
プリフィルタ部１１は、奥行き値に応じて入力画像信号の精細度を調整するフィルタ処理を施して、フィルタ処理後の画像信号を符号化部１２に出力する。また、プリフィルタ部１１は、奥行き値の大きい画像領域ほど、即ち奥側に表示される画像領域ほど、画像の精細度をより低減するフィルタ処理を行う。このようにプリフィルタ部１１は、奥行き値に応じて画像の精細度を調整することにより、各画像領域に対する画像信号のデータ量を当該画像領域の奥行き値に応じて調整する。
【００１４】
符号化部１２は、奥行き値に応じてフィルタ処理後の画像信号を符号化する符号化処理を行い、処理後の符号化データを出力する。また、符号化部１２は、奥行き値が大きい画像領域ほど、入力画像信号を量子化する際の量子化ステップ幅をより大きくして、当該画像領域の画像の精細度をより低減するよう符号化処理を行う。即ち符号化処理部１２は、奥行き値に応じて符号化量を調整することにより、画像の精細度、つまり各画像領域に対する画像信号のデータ量を当該画像領域の奥行き値に応じて調整する。
【００１５】
このように、プリフィルタ部１１および符号化部１２は、入力画像信号を処理する信号処理手段および信号処理後の画像信号を出力する出力手段として機能する。以下では、プリフィルタ部１１、符号化部１２の機能、動作についてより詳細に説明する。
【００１６】
まず、図２を参照してプリフィルタ部１１が行うフィルタ処理の一例について説明する。図２は、フィルタ処理を説明する図である。図２では、１フレームの画像について、横方向に並ぶ画素を丸印により模式的に示しており、画素ごとに奥行き情報が対応付けられている場合について説明する。尚、上述したように、奥行き情報が被写体ごと等の画像領域ごとに対応付けられている場合には、以下の画素間の処理を当該画像領域間での処理に置き換えて行うとよい。また、プリフィルタ部１１が行うフィルタ処理の種類は特に限定されるものではないが、以下ではローパスフィルタ処理を行って画像ぼかしを行う例について説明する。
【００１７】
プリフィルタ部１１は、ｉ番目の画素について、その画素での奥行き値ｄｉが大きいほどローパスフィルタのカットオフ周波数ｆｉを小さくする。次式（１）にカットオフ周波数ｆｉと奥行き値ｄｉとの関係の一例を示す。
【数１】
2013131928.tif 000003
尚、式（１）において関数ｇ1は任意の関数を用いることができる。また、ｒ1は係数であり、例えば画像符号化装置１０ごとに定められる係数が用いられる。
【００１８】
ローパスフィルタのカットオフ周波数ｆiは大きいほど画像が鮮明化され、小さいほど画像のぼかしは大きくなる。従って、奥行き値が大きいほどカットオフ周波数を小さくすることで、奥側に表示される画像領域において画像のぼかしを大きくし、出力信号のデータ量を低減することが可能となる。また、奥行き値が小さいほどカットオフ周波数を大きくすることで、手前側に表示される画像領域において画像を鮮明化し、画像の精細度を向上させることができる。
【００１９】
プリフィルタ部１１は、ｉ番目の画素の入力信号値ｘiに対して、カットオフ周波数ｆiに応じたサンプリング画素数（２Ｎ＋１個）の近隣画素の入力信号値（図２ではｘi-2，ｘi-1，ｘi，ｘi+1，ｘi+2）を用いて、ｉ番目の画素に対する出力信号値ｙiを求める。これにより、ｉ番目の画素の出力信号は、複数の近隣画素の入力信号によってぼかしがかけられる。
【００２０】
ここで、近隣画素の入力信号値（ｘi-2〜ｘi+2）の夫々に対して用いられるフィルタ係数Ｃn（図２では、Ｃ-2〜Ｃ2）は、式（１）により求められたカットオフ周波数ｆiに依存し、例えば任意の関数ｇ2を用いて次式（２）のように表される。
【数２】
2013131928.tif 000004
【００２１】
そして、プリフィルタ部１１はｉ番目の画素の出力信号値ｙiを、次式（３）のようにフィルタ係数Ｃnとサンプリングされた画素の入力信号値ｘi-nの積和演算により求める。
【数３】
2013131928.tif 000005
【００２２】
プリフィルタ部１１は、式（３）では、フレーム内の横方向に並ぶ近隣画素（図２ではｘi-2，ｘi-1，ｘi，ｘi+1，ｘi+2）を用いてフィルタ処理を行ったが、フレーム内の縦方向に並ぶ近隣画素についても同様に考慮してフィルタ処理を行う。
【００２３】
以上のように、プリフィルタ部１１は、奥行き値が大きい画像領域ほどぼかし効果の大きいフィルタ処理を行う。従って、奥側に表示される画像領域ほどぼかされるが、手前側に表示される画像領域は奥側ほどぼかされず、精細度を保つことができる。従って、主観画質を低減させることなくフィルタ処理後の画像信号量を削減することができ、符号化効率を向上させることができる。
【００２４】
次に、プリフィルタ部１１の動作について説明する。図３は、プリフィルタ部１１が行うフィルタ処理の手順を説明するフローチャートである。まず、プリフィルタ部１１に多視差画像の入力画像信号と、その多視差画像の奥行き情報とがフレーム毎に関連付けて入力される（ステップＳ１）。プリフィルタ部１１は、奥行き値に基づいてフレーム画像の精細度を低減するフィルタ処理を行う（ステップＳ２）。即ち、上述のように、奥行き値に応じてカットオフ周波数ｆiを算出し、奥行き値に応じたサンプリング画素数２Ｎ＋１個を用いてｉ番目の画素の出力信号値ｙiを算出する。そして、プリフィルタ部１１は、フィルタ処理後の出力信号値をフレーム毎に符号化部１２に出力する（ステップＳ３）。
【００２５】
尚、上述では、画素毎の奥行き値に基づいてカットオフ周波数ｆiやフィルタ係数Ｃnを算出する例について説明したが、プリフィルタ部１１は、複数画素で構成される画像領域（例えば、マクロブロック単位の画像領域）における奥行き情報（例えば、画像領域における奥行き値の平均値）に基づいて当該画像領域のカットオフ周波数ｆiやフィルタ係数Ｃnを算出してもよい。
【００２６】
次に、符号化部１２について説明する。まず、図４を参照して符号化部１２の構成についてより詳細に説明する。
【００２７】
図４は、符号化部１２の構成を示すブロック図である。同図に示すように符号化部１２は、減算部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、量子化制御部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、フレームメモリ１０９及び予測画像生成部１１０で構成される。なお、符号化までの処理は、４×４画素や８×８画素等のマクロブロック単位で行うこととする。
【００２８】
減算部１０１には、プリフィルタ部１１によってフィルタ処理が行われた後の画像信号（フレーム単位の動画像信号）と、後述する予測画像生成部１１０で生成された予測画像信号とが入力される。減算部１０１は、画像信号と予測画像信号との差分を取ることで、予測誤差信号を生成し、直交変換部１０２に出力する。
【００２９】
直交変換部１０２は、減算部１０１により生成された予測誤差信号に対し、公知の直交変換処理を施すことで直交変換係数情報を生成する。例えば、直交変換部１０２は、減算部１０１により生成された予測誤差信号をマクロブロック単位で直交変換処理を行うことで、マクロブロック毎に少数の低域係数に集中させた直交変換係数情報を生成する。そして直交変換部１０２は生成した直交変換係数情報を出力する。なお、本実施の形態においては変換方式に離散コサイン変換（ＤＣＴ）を用いることとするが、この変換方式に制限するものではない。
【００３０】
量子化部１０３は、後述する量子化制御部１０５から入力される量子化ステップ幅を用いて、直交変換部１０２から入力された直交変換係数情報の量子化を行う。尚、量子化の方法は特に限定されず、公知の方法を用いることができる。また、量子化部１０３は、量子化された直交変換係数情報を、量子化直交変換係数情報としてエントロピー符号化部１０４及び逆量子化部１０６に出力する。
【００３１】
量子化制御部１０５は、マクロブロック毎の奥行き情報が表す奥行き値に基づいて量子化ステップ幅を算出し、算出した量子化ステップ幅を量子化部１０３に出力する。具体的に、量子化制御部１０５は、マクロブロックの奥行き値の平均値を算出し、奥行き値の平均値が大きいマクロブロックに対しては量子化ステップ幅を大きくし、奥行き値の平均値が小さいマクロブロックに対しては量子化ステップ幅を小さくする。
【００３２】
次式（４）にｊ番目のマクロブロックにおける奥行き値の平均値（奥行き値）ｄjとそのマクロブロックにおいて用いられる量子化ステップ幅ｓjとの関係の一例を示す。
【数４】
2013131928.tif 000006
尚、式（４）において関数ｈ1は任意の関数を用いることができる。また、ｒ4は係数であり、例えば画像符号化装置１０ごとに定められる係数が用いられる。
【００３３】
図５は、奥行き値（奥行き値の平均値）ｄjと量子化ステップ幅ｓjとの関係の一例を示す図であり、上式（４）において、ｒ4を定数とした場合の例である。図５に示すように、量子化ステップ幅ｓjは奥行き値ｄjに対して線形的に変化するように設定されるとしてもよい。或いは、量子化ステップ幅ｓjは奥行き値ｄjに対して非線形的（例えば指数的）に変化するよう設定されてもよい。
【００３４】
以上のように、量子化制御部１０５は、奥行き値が大きく奥側に表示される画像領域ほど量子化ステップ幅を荒く設定し、奥行き値が小さく手前側に表示される画像領域ほど量子化ステップ幅を細かく設定する。これにより、注目されやすい手前側の符号量を保って画像領域の画質を保持しつつも、注目されにくい奥側の画像領域については符号化量を減少することができる。従って、主観画質を低下させることなく符号化効率を向上させることができる。
【００３５】
図４に戻り、逆量子化部１０６は、量子化部１０３により出力された量子化直交変換係数情報に対してマクロブロック毎に量子化ステップ幅ｓjを掛けることにより、逆量子化を行う。
【００３６】
逆直交変換部１０７は、逆量子化部１０６により逆量子化された量子化直交変換係数情報に対してさらに逆直交変換を行い、逆直交変換された情報を加算部１０８に出力する。
【００３７】
加算部１０８は、逆直交変換部１０７から入力された情報に、予測画像信号を加算して、局部復号信号を生成し、フレームメモリ１０９に出力する。
【００３８】
フレームメモリ１０９は入力された加算部１０８から入力された局部復号画像信号を記憶する。
【００３９】
予測画像生成部１１０は、フレーム内のマクロブロック毎に、入力された入力画像信号とフレームメモリ１０９に記憶された局部復号画像信号との間のマッチング（例えばブロックマッチング）を行い、もっとも差分が小さくなるような動きベクトルを検出し、この動きベクトルで補償された局部復号画像信号を用いて予測画像信号を生成する。そして予測画像生成部１１０は、補償するときに選択された、動きベクトル情報及び予測モード情報を生成された予測画像信号と供に出力する。
【００４０】
エントロピー符号化部１０４は、量子化部１０３による量子化直交変換係数情報及び予測画像生成部１１０により入力された動きベクトル情報と予測モード情報について、入力画像信号の出現確率の偏りを利用して圧縮する（エントロピー符号化を行う）。圧縮方式は特に限定されるものではなく、例えば、可変長符号方式を用いることができる。そしてエントロピー符号化部１０４は、圧縮して生成された符号化データを伝送系または蓄積系（ともに図示せず）に出力する。
【００４１】
次に、符号化部１２の動作について説明する。図６は、符号化部１２が行う符号化処理の手順を説明するフローチャートである。
【００４２】
まず、プリフィルタ部１１によってフィルタ処理が行われたフレーム毎の画像信号と、当該フレームに対応する奥行き情報とが符号化部１２に入力される（ステップＳ１１）。そして、符号化部１２の量子化制御部１０５は、奥行き情報に基づいてマクロブロック毎の量子化ステップ幅を算出し（ステップＳ１２）、量子化部１０３に算出した量子化ステップ幅を出力する。量子化部１０３は、入力された量子化ステップ幅を用いて、直交変換部１０２から入力されたマクロブロック毎の直交変換係数情報の量子化を行う（ステップＳ１３）。そして、符号化部１２は量子化を行い符号化したデータ（符号化データ）を、テレビジョン受像機やＰＣ等の画像表示装置に出力する（ステップＳ１４）。
【００４３】
このように、第１の実施形態の画像符号化装置１０によれば、奥行き値が大きい画像領域ほど画像の精細度の低減量を増加させるので、奥側に表示される画像領域の符号量を優先的に削減するとともに、手前側に表示される画像領域の画質は保持される。従って、主観画質を低減させることなく画像信号量を削減することができ、奥行き情報を用いる表示画像の符号化効率を向上させることができる。
【００４４】
尚、符号化部１２は、上述のように奥行き値が大きい画像領域（例えば、マクロブロック）に対して量子化ステップ幅を大きくすることにより削減できた符号量を、奥行き値の小さい画像領域に割り振ってもよい。また、符号化部１２は、一のフレームの画像において削減できた符号量を、以降のフレームの画像において利用してもよい。そして、割り振られた符号量を用いて奥行き値の小さい画像領域に対して量子化ステップ幅をより小さくして画像の精細化を図ってもよい。これにより、符号量を削減できるとともに、注目され易い手前側の画像領域に対してより精細化を図ることができる。
【００４５】
（第２の実施形態）
図７は、第２の実施形態にかかる画像符号化装置２０の構成を示すブロック図である。画像符号化装置２０は、プリフィルタ部２１と、符号化部２２とに加え、アクティビティ算出部２３を更に備える。
【００４６】
アクティビティ算出部２３は、画像の精細度を表す精細度情報を検出する検出手段として機能する。精細度情報は特に限定されないが、例えば、画像の複雑さを示すアクティビティが用いられる。尚、精細度情報のその他の例としては、フレーム内のオブジェクトを検出し、オブジェクトの境界（エッジ）を精細度情報として用いてもよい。この場合には、オブジェクトのエッジが多い画像領域ほど画像の精細度が高いことを示す。
【００４７】
以下では精細度情報としてアクティビティを用いる場合について説明する。アクティビティ算出部２３は、フレーム単位の入力画像信号を所定のマクロブロック単位に分割し、各マクロブロックの画像の複雑さを示すアクティビティを算出する。尚、アクティビティの算出方法については特に限定されず、公知の算出方法を用いることができる。
【００４８】
図７に示すように、アクティビティ算出部２３が算出したアクティビティは、各フレーム画像の入力画像信号に対応付けられて、プリフィルタ部２１と符号化部２２にそれぞれ入力される。アクティビティが大きく画像が複雑であるほど、画質の精細度を要する領域である。従って、アクティビティが大きい画像領域については、画質を低減しないほうが好ましいといえる。そこで、本実施形態のプリフィルタ部２１および符号化部２２は、奥行き値が大きく且つ精細度が低い画像領域（例えばアクティビティが小さい画像領域、或いは、エッジが少ない画像領域）ほど画像の精細度を低減する処理を行う。
【００４９】
プリフィルタ部２１は、奥行き情報に加え、画像の精細度を表す精細度情報（例えば、アクティビティ）に基づいて、入力画像信号に対するローパスフィルタ等のフィルタ処理を、アクティビティ算出部２３が分割したマクロブロック単位で施す。
【００５０】
図８は、奥行き値ｄと、アクティビティａｃｔと、プリフィルタ部２１が用いるカットオフ周波数ｆとの関係の一例を示す図である。プリフィルタ部２１は、マクロブロックにおける奥行き値の平均値（奥行き値ｄ）が大きくなるにつれ、当該マクロブロックで用いるカットオフ周波数ｆを小さくする。加えて、マクロブロックにおけるアクティビティａｃｔが小さくなるにつれて、当該マクロブロックで用いるカットオフ周波数ｆを小さくする。
【００５１】
次式（５）に、ｊ番目のマクロブロックについて、カットオフ周波数ｆjと、マクロブロックの奥行き値の平均値（奥行き値）ｄjと、マクロブロックにおけるアクティビティａｃｔjとの関係の一例を示す。
【数５】
2013131928.tif 000007
尚、式（５）において関数ｇ3、ｇ4は任意の関数を用いることができる。また、上記式（５）では右辺第１項と右辺第２項とを乗じるとしたが、これらの和を求めてカットオフ周波数ｆjを算出してもよい。また、ｒ51、ｒ52は係数であり、例えば画像符号化装置２０ごとに定められる係数が用いられる。
【００５２】
また、プリフィルタ部２１は、式（５）で求めたカットオフ周波数ｆjをマクロブロック内の画素に適用し、上記式（２）、式（３）を用いて各画素の出力信号値ｙiを求める。そして、プリフィルタ部２１は、フィルタ処理後の入力画像信号を符号化部１２に出力する。
【００５３】
上述では、奥行き値及びアクティビティに基づいてカットオフ周波数を変更する例について説明したが、ローパスフィルタのサンプリング画素数等、フィルタ処理にかかるその他のパラメータを変更してもよい。
【００５４】
符号化部２２は、奥行き情報に加え、画像の精細度を表す精細度情報（例えば、アクティビティ）に基づいて量子化ステップ幅を決定し、この量子化ステップ幅によって上述した直交変換係数情報を量子化する。
【００５５】
図９は、符号化部２２の構成を示すブロック図である。符号化部２２の構成は図４で示した第１の実施形態の符号化部１２の構成と同様である。符号化部２２の量子化制御部１０５には、プリフィルタ部２１によるフィルタ処理後の入力画像信号と、奥行き情報とに加えて、アクティビティ算出部２３が出力したアクティビティが入力される。
【００５６】
量子化制御部１０５は、奥行き情報に加え、マクロブロック毎のアクティビティに応じて量子化ステップ幅を算出し、算出した量子化ステップ幅を量子化部１０３に出力する。
【００５７】
図１０は、奥行き値ｄと、アクティビティａｃｔと、量子化制御部１０５が設定する量子化ステップ幅ｓとの関係の一例を示す図である。量子化制御部１０５は、マクロブロックにおける奥行き値の平均値（奥行き値ｄ）が大きくなるにつれ、当該マクロブロックで用いる量子化ステップ幅ｓを大きくする。加えて、マクロブロックにおける奥行き値の平均値（奥行き値ｄ）が小さくなるにつれ、当該マクロブロックで用いる量子化ステップ幅ｓを小さくする。加えて、量子化制御部１０５は、マクロブロックのアクティビティａｃｔが大きいほど当該マクロブロックの量子化ステップ幅ｓを相対的に小さくし、マクロブロックのアクティビティａｃｔが小さいほど量子化ステップ幅ｓを相対的に大きくする。
【００５８】
次式（６）に、ｊ番目のマクロブロックについて、そのマクロブロックの奥行き値の平均値（奥行き値）ｄjと、マクロブロックにおけるアクティビティａｃｔjとの関係の一例を示す。
【数６】
2013131928.tif 000008
尚、式（６）において、関数ｈ2、ｈ3は任意の関数を用いることができる。また、上記式（６）では右辺第１項と右辺第２項とを乗じるとしたが、これらの和を求めて量子化ステップ幅を算出してもよい。また、ｒ61、ｒ62は係数であり、例えば画像符号化装置２０ごとに定められる係数が用いられる。
【００５９】
このように、第２の実施形態の画像符号化装置２０によれば、奥側に表示される画像領域であっても画像の精細度（例えば、アクティビティ）が高い画像領域は、画像の精細度が低い画像領域に比べて符号量の削減率を小さくする。従って、符号化量を削減する場合であっても画像の精細度を保つことができる。
【００６０】
即ち、本実施形態によれば、アクティビティが小さく画像が平坦（平滑）で複雑でない領域に対しては符号量を低減し、アクティビティが大きく画像が複雑な領域に対しては画像の精細度を保つことができる。従って、注目されにくい画像領域に対しては符合量を低減して符号化効率を向上させるとともに、注目され易い画像領域に対しては画質の劣化を防ぐことができる。また、手前側に表示され、かつ複雑な画像領域がより鮮明に表示されるので、手前側にピントが合っているように表示することができる。
【００６１】
また、上述では、プリフィルタ部１１が、奥行き値と、アクティビティとに応じてカットオフ周波数が図８の関係となるようにカットオフ周波数を設定するとしたが、これら３者の関係は図８の例に限定されるものではない。その他の例として、カットオフ周波数ｆが次式（７）の関係を満たすように設定されてもよい。尚、ｄminは奥行き値ｄの最小値、ｄmaxは奥行き値ｄの最大値、ａｃｔminはアクティビティの最小値、ａｃｔmaxはアクティビティの最大値である。
【数７】
2013131928.tif 000009
【００６２】
なお、上述では、符号化部１２が、奥行き値とアクティビティとに応じて量子化ステップ幅が図１０の関係となるように量子化ステップ幅を設定するとしたが、これら３者の関係は図１０の例に限定されるものではない。その他の例として、量子化ステップ幅ｓが次式（８）の関係を満たすように設定されてもよい。
【数８】
2013131928.tif 000010
【００６３】
式（７）（８）のようにプリフィルタ部１１または符号化部１２を構成することで、手前側に表示される映像の平坦な部分をノイズの目立たない平滑化された画像として表示させることができる。また、奥側に表示される映像であっても、複雑な部分の映像を潰さずに表示することができる。
【００６４】
（第３の実施形態）
その他の実施形態として、奥行き値に所定の閾値を設けておき、この閾値以上となる画像領域に対してのみフィルタ処理を行うとしてもよい。
【００６５】
図１１は、第３の実施形態において、プリフィルタ部１１が行うフィルタ処理の手順を説明するフローチャートである。まず、プリフィルタ部１１に多視差画像の入力画像信号と、その多視差画像の奥行き情報とがフレーム毎に関連付けて入力される（ステップＳ２０）。プリフィルタ部１１は、各マクロブロックの奥行き値の平均値（奥行き値ｄj）が所定の閾値θより大きいか否かを判定する（ステップＳ２１）。そのマクロブロックの奥行き値平均値（奥行き値ｄj）が閾値θより大きい場合（ステップＳ２１：Ｙｅｓ）には、そのマクロブロックに対して上述と同様に奥行き情報を用いるフィルタ処理を行い、奥側に表示される画像の精細度を落とすフィルタ処理を行う（ステップＳ２２）。一方マクロブロックの奥行き値の平均値（奥行き値ｄj）が閾値θより大きくない場合（ステップＳ２１：Ｎｏ）には、奥行き情報を用いないフィルタ処理を行い、奥側に表示される画像の精細度を落とさないフィルタ処理を行う（ステップＳ２３）。そして、全てのマクロブロックについてのフィルタ処理が終了したかを判定し（ステップＳ２４）、終了していない場合にはステップＳ２１に移行する。全てのマクロブロックについてのフィルタ処理が終了した場合（ステップＳ２４：Ｙｅｓ）には、全てのマクロブロックについてのフィルタ処理後の出力信号を合成して、１フレーム分の出力信号として符号化部１２に出力する（ステップＳ２５）。
【００６６】
尚、ステップＳ２３においては、そのマクロブロックに対してフィルタ処理自体を行わないとしてもよい。
【００６７】
このように、第３の実施形態によれば、所定の奥行き値以上となる画像領域に対してのみ画像の精細度を落とすフィルタ処理を行う。従って、フィルタ処理の対象とする画像信号量を削減することができ、フィルタ処理の処理速度を向上することができる。
【００６８】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６９】
（その他の実施形態）
例えば、装置構成や入力される情報は適宜変更可能である。図１２は、第１の実施形態で上述した符号化部１２（図４参照）の変形例である符号化部１２ａの構成を示すブロック図である。図１２に示すように、符号化部１２ａに奥行き情報生成部１８０を設けて、外部から入力される入力画像信号から奥行き情報を生成してもよい。
尚、奥行き情報の生成方法は特に限定されるものではないが、例えば、２次元画像内の被写体の動きの度合いに応じて奥行きを推定するモーションステレオ方法等によって奥行き情報を生成してもよい。
【００７０】
図１３〜図１５は、第２の実施形態で上述した符号化部２２（図９参照）の変形例である符号化部２２ａ〜２２ｃの構成をそれぞれ示すブロック図である。図１３に示すように、符号化部２２ａにアクティビティ算出部１９０を設けて、外部から入力される入力画像信号から各フレームのマクロブロック毎にアクティビティを算出する形態としてもよい。また、図１４に示すように、符号化部２２ｂに奥行き情報生成部１８０を設けてもよい。更に、図１３、図１４の構成を組み合わせて、図１５に示すように、符号化部２２ｃに奥行き情報生成部１８０及びアクティビティ算出部１９０を設けてもよい。
【００７１】
また、上述では、エントロピー符号化による符号化処理を行う例について説明したが、画像符号化装置１０、２０が行う符号化処理の種類は特に限定されず、固定長符号化など、その他の符号化処理を用いてもよい。
【００７２】
また、符号化後に出力されるデータ（符号化データ）の用途は特に限定されるものではなく、３次元画像表示装置に出力されてもよいし、２次元画像表示装置に出力されてもよい。
【００７３】
また、プリフィルタ部１１、２１が行うフィルタ処理は特に限定されるものではなく、１次元フィルタ、フレーム内での２次元の画素列に対して演算を行う２次元フィルタ、異なる時刻のフレームの画素列を更に用いて演算を行う時空間フィルタ等も用いることができる。以上は線形フィルタの例であるが、非線形フィルタを用いてもよい。非線形フィルタ処理の一例としては、対象画素とその周囲の画素との差が大きい場合にはエッジがあると推定し、当該エッジの反対側にあると判定された画素は用いずにその代替となる同じ側の画素をフィルタ係数に乗算する処理を用いることができる。
【００７４】
その他の非線形フィルタの例としては、周辺画素に対して画素出力値の変動幅が小さい場合にのみ平滑化を行うεフィルタを用いることもできる。これに関しては、ノイズと判定された領域に対して平滑化を行うため、奥行き情報（或いはアクティビティと併用してもよい）に基づいて、奥側に表示される画像領域に対してはεの値（ノイズではなと判定する閾値）を大きくして、手前側に表示される画像領域に対してはεの値を小さくして、平滑化を行う画素出力値の範囲を制御してもよい。
【００７５】
また、上述では、画像符号化装置１０、２０はプリフィルタ部１１、２１を備えるとしたが、これら画像符号化装置１０、２０はプリフィルタ部１１、２１を備えず、符号化部１２、２２のみを備える形態であってもよい。
【００７６】
なお、本実施形態の画像符号化装置１０、２０で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。画像符号化装置１０、２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７７】
さらに、本実施形態の画像符号化装置１０、２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像符号化装置１０、２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７８】
本実施形態の画像符号化装置１０、２０で実行されるプログラムは、上述した各部（減算部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、量子化制御部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、予測画像生成部１１０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、減算部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、量子化制御部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、予測画像生成部１１０が主記憶装置上に生成されるようになっている。
【００７９】
以上のように、上述した各実施形態によれば、奥行き値に応じて各画像領域の画像信号のデータ量を調整するので、奥行き情報を用いる表示画像の符号化効率を向上させることができる。
【符号の説明】
【００８０】
１０、２０…画像符号化装置、１１、２１…プリフィルタ部、１２、１２ａ、２２、２２ａ、２２ｂ、２２ｃ…符号化部、２３…アクティビティ算出部、１０１…減算部、１０２…直交変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…量子化制御部、１０６…逆量子化部、１０７…逆直交変換部、１０８…加算部、１０９…フレームメモリ、１１０…予測画像生成部、１８０…奥行き情報生成部、１９０…アクティビティ算出部、Ｃｎ…フィルタ係数、２Ｎ＋１…サンプリング画素数、ｄ、ｄi、ｄj…奥行き値、ｆ、ｆi、ｆj…カットオフ周波数、ｇ1、ｇ2、ｇ3、ｇ4…関数、ｈ1、ｈ2、ｈ3、…関数、ｒ1、ｒ4、ｒ51、ｒ52、ｒ61、ｒ62…係数、ｓ、ｓj…量子化ステップ幅、ｘi…入力信号値、ｙi…出力信号値、ａｃｔ、ａｃｔj…アクティビティ、θ…閾値。
【図１】
2013131928.tif 000011
【図２】
2013131928.tif 000012
【図３】
2013131928.tif 000013
【図４】
2013131928.tif 000014
【図５】
2013131928.tif 000015
【図６】
2013131928.tif 000016
【図７】
2013131928.tif 000017
【図８】
2013131928.tif 000018
【図９】
2013131928.tif 000019
【図１０】
2013131928.tif 000020
【図１１】
2013131928.tif 000021
【図１２】
2013131928.tif 000022
【図１３】
2013131928.tif 000023
【図１４】
2013131928.tif 000024
【図１５】
2013131928.tif 000025