(57)【要約】      （修正有）【課題】１画面内で画質が異なるような画像についても符号化効率を向上させるための技術を提供する。【解決手段】符号化装置は、画像を取得する取得手段と、前記画像に画像処理を施す画像処理手段と、前記画像処理が施された画像を、該画像処理の特性に応じたブロックサイズの複数のブロックに分割し、ブロック単位に符号化する符号化手段とを備える。【選択図】図１
2015115901.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記画像に画像処理を施す画像処理手段と、
前記画像処理が施された画像を、該画像処理の特性に応じたブロックサイズの複数のブロックに分割し、ブロック単位に符号化する符号化手段と
を備える符号化装置。
【請求項２】
前記符号化手段は、
前記画像処理が施され、予め定められた第１のサイズの第１のブロックに分割された画像につき、前記画像処理の特性に応じて該第１のブロックの画像を更に分割するためのブロックサイズを決定するサイズ決定手段と、
前記決定されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割手段と、
前記複数のブロックに分割された画像をブロック単位に予測符号化する予測符号化手段と
を備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記画像処理の特性に応じたブロックサイズは、前記画像のうち、前記画像処理の特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより決定されることを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記分割手段は、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズを決定することを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記それ以外の領域について決定される前記ブロックサイズには、前記所定の領域に割り当てられるブロックサイズよりも小さなブロックサイズが含まれることを特徴とする請求項３又は４に記載の符号化装置。
【請求項６】
前記所定の領域について決定される前記ブロックサイズには、前記それ以外の領域に割り当てられるブロックサイズよりも大きなブロックサイズが含まれることを特徴とする請求項３乃至５のいずれか１項に記載の符号化装置。
【請求項７】
前記所定の領域には、光量落ちしている領域が含まれ、
前記サイズ決定手段は、前記第１のブロックの画像が前記光量落ちしている領域で占められている場合に、前記ブロックサイズを前記第１のサイズに決定することを特徴とする請求項３乃至６のいずれか１項に記載の符号化装置。
【請求項８】
前記符号化手段は、
前記画像処理が施され、予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックの画像を更に分割するためのブロックサイズを決定するサイズ決定手段と、
前記画像処理の特性に基づき、前記サイズ決定手段が決定した前記ブロックサイズを補正する補正手段と、
前記補正されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割手段と、
前記複数のブロックに分割された前記画像をブロック単位に予測符号化する予測符号化手段と
を備える請求項１に記載の符号化装置。
【請求項９】
前記画像処理の特性に応じたブロックサイズは、前記画像のうち、前記画像処理の特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより決定されることを特徴とする請求項８に記載の符号化装置。
【請求項１０】
前記補正手段は、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズを補正することを特徴とする請求項９に記載の符号化装置。
【請求項１１】
前記補正手段は、前記それ以外の領域について決定された前記ブロックサイズが所定のブロックサイズより小さい場合、該所定のブロックサイズ以上のブロックサイズに補正することを特徴とする請求項９または１０に記載の符号化装置。
【請求項１２】
前記補正手段は、前記所定の領域について決定された前記ブロックサイズが所定のブロックサイズより大きい場合、該所定のブロックサイズ以下のブロックサイズに補正することを特徴とする請求項９乃至１１のいずれか１項に記載の符号化装置。
【請求項１３】
前記所定の領域には、光量落ちしている領域が含まれ、
前記補正手段は、前記第１のブロックの画像が前記光量落ちしている領域で占められている場合に、前記ブロックサイズを前記第１のサイズに補正することを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
【請求項１４】
前記サイズ決定手段は、前記第１のブロックの画像のうち、高周波成分の多い複雑な領域と、低周波成分の多い平坦な領域とを区分するように前記ブロックサイズを決定することを特徴とする請求項２乃至１３のいずれか１項に記載の符号化装置。
【請求項１５】
前記予測符号化手段は、
前記第１のブロックにおける符号化対象ブロックの予測画像を生成する予測画像生成手段と、
前記画像のうち前記符号化対象ブロックの画像と、前記予測画像との予測誤差を直交変換し、量子化する処理手段と
を含み、
前記サイズ決定手段は前記ブロックサイズとして、前記符号化対象ブロックのサイズを決定する
ことを特徴とする請求項２乃至１４のいずれか１項に記載の符号化装置。
【請求項１６】
前記サイズ決定手段は、前記処理手段における処理の単位としてのブロックサイズを、前記符号化対象ブロックのブロックサイズ以下のサイズとして更に決定することを特徴とする請求項１５に記載の符号化装置。
【請求項１７】
前記画像処理には、前記画像に所定の視覚的効果を付加するフィルタ処理が含まれることを特徴とする請求項１乃至１６のいずれか１項に記載の符号化装置。
【請求項１８】
取得手段が、画像を取得する取得工程と、
画像処理手段が、前記画像に画像処理を施す画像処理工程と、
符号化手段が、前記画像処理が施された画像を、該画像処理の特性に応じたブロックサイズの複数のブロックに分割し、ブロック単位に符号化する符号化工程と
を備える符号化装置の制御方法。
【請求項１９】
コンピュータを請求項１乃至１７のいずれか１項に記載の符号化装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化装置の制御方法、及び、コンピュータプログラムに関する。
【背景技術】
【０００２】
従来、動画データを圧縮・予測符号化する画像処理装置として撮像装置や携帯型通信装置等が知られている。撮像装置や携帯型通信装置では、撮像部で撮影された画像に基づいて動画信号を取得し、取得した動画信号を予測符号化して、記録媒体に記録していた。
【０００３】
従来、動画信号を予測符号化する技術として、たとえばＭＰＥＧ、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ等の形式に予測符号化する技術が提案されている。このような予測符号化技術は、たとえば、テレビ放送を録画する録画装置などでも用いられている。たとえば、特許文献１では、放送番組のジャンル情報に応じてＤＣＴブロックのサイズを決定する為の閾値を変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８８０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように１画面内で同じ処理を適用するだけでは、１画面内で画質が異なるような画像を符号化する際には、符号化効率が低下する場合がある。これに対し本発明は、１画面内で画質が異なるような画像についても符号化効率を向上させるための技術を提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明は、符号化装置であって、
画像を取得する取得手段と、
前記画像に画像処理を施す画像処理手段と、
前記画像処理が施された画像を、該画像処理の特性に応じたブロックサイズの複数のブロックに分割し、ブロック単位に符号化する符号化手段とを備える。
【発明の効果】
【０００７】
本発明によれば、符号化対象画像の画像処理モードに応じて、符号化処理におけるブロックのサイズを決定することで、１画面内で過失が異なるような画像についても符号化効率を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】発明の実施形態１に対応する符号化装置の構成例を示す図。
【図２】発明の実施形態に対応する画像処理の種類に基づく入力画像の特性を示すテーブルの一例。
【図３】発明の実施形態に対応する画像内の領域の画像処理特性の一例を説明するための図。
【図４】発明の実施形態に対応する入力画像の分割方式の一例を説明するための図。
【図５】発明の実施形態１に対応するブロック分割処理の一例を示すフローチャート。
【図６】発明の実施形態２に対応する符号化装置の構成例を示す図。
【図７】発明の実施形態２に対応するブロック補正処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１０】
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
［実施形態１］
図１は、本実施形態に対応する符号化装置の構成の一例を示す図である。当該符号化装置は、入力画像を可変サイズのブロックに分割して予測符号化を行って符号化ストリームを生成し、記録する。なお、本発明が適用可能な符号化装置には、デジタルカメラ、デジタルビデオカメラの他、カメラ機能を有する携帯電話、ＰＤＡ、スマートフォン、タブレットＰＣ等が含まれる。また、図１の符号化装置を構成する各ブロックは、レンズや撮像素子のような物理的デバイスを除き、専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行して、装置の動作を制御することにより、ソフトウェア的に構成されてもよい。
【００１１】
また、本実施形態では、符号化装置として、レンズ及び撮像素子を有するカメラ装置を例に取って説明するが、予測符号化部を有し、符号化対象画像に関わる画像処理特性に応じて予測符号化部の処理におけるブロックサイズを決定する装置であればどのような装置であっても良い。
【００１２】
＜符号化処理＞
次に、発明の実施形態に対応する符号化装置の構成及び、当該装置で実行される符号化処理を説明する。まず、レンズ１０１は、外部から被写体からの反射光を取り込み、センサ１０２へ出力する。モード通知部１１９は、操作部１２１に対して行われたユーザからの入力に従い、センサからの入力画像に対して実施する画像処理の種類を判定し、特性決定部１１２及び画像処理部１２０に通知する。操作部１２１はボタンやタッチパネルなどのユーザインタフェースであって、ユーザからの所定の指示入力を受け付けることができる。特性決定部１１２は、モード通知部１１９から通知された画面に適用される画像処理の種類に基づき、画像処理の特性を決定する。具体的に、当該画像処理の結果として入力画像内で画像処理特性が現れる領域をブロックサイズ決定部１１６に通知する。ブロックサイズ決定部１１６は、特性決定部１１２から通知された各領域の特性、及び、画像処理部１２０から供給される画像処理済の画像データの各領域の特徴に基づいて、各領域について符号化処理のためのブロックサイズを決定する。画像処理特性及びブロックサイズの詳細は後述する。
【００１３】
センサ１０２は、ＣＭＯＳやＣＣＤ等の撮像素子からなり、レンズ１０１を介して受光した被写体像を画像に変換し、画像処理部１２０へ出力する。画像処理部１２０は、モード通知部１１９から通知された画像処理方法に従って、入力された画像に画像処理を施し、ブロック分割部１１３、ブロックサイズ決定部１１６、動き探索部１１０、イントラ予測部１１７へと出力する。なお、画像処理部１２０より下流に位置する機能ブロック群（点線で囲まれたブロック）は、全体として画像の圧縮・予測符号化を行う符号化部１０として機能する。
【００１４】
ブロック分割部１１３は、画像処理済の入力画像を同一サイズの第１の符号化ブロックに分割し、その上でブロックサイズ決定部１１６の指示に従い、第１の符号化ブロックを第２の符号化ブロックに分割して出力する。
【００１５】
動き探索部１１０は、符号化対象の予測ブロックと、後述する参照フレーム保持部１０９が保持する参照フレーム画像とを用いてパターンマッチングを行う。このパターンマッチングにおいて誤差が最小となるものに基づき、入力画像における予測ブロックの動きベクトルを検出する。動き探索部１１０にて算出された予測ブロックの動きベクトルは、動き補償部１１１へ出力される。動き補償部１１１は、参照フレーム画像及び動きベクトルに基づいて予測ブロックのための予測処理を行い、予測画像生成を行う。当該予測画像は、判定部１１８に出力される。上記動き探索処理で、予測ブロックのサイズを決定する。イントラ予測部１１７は、参照画像として、符号化を行う予測ブロックの周辺の画素を用いて、複数のイントラ予測モードのうちから符号化効率の高くなる予測モードを選択し、予測画像生成を行う。
【００１６】
判定部１１８は、イントラ予測部１１７、動き補償部１１１からの出力の結果に基づき、符号化する予測方式を選択決定する。例えば、符号化対象ブロックについてイントラ予測部１１７で計算した予測画像と、動き補償部１１１で生成した予測画像について、符号化対象画像との画面間差分値とそれぞれ導出して比較し、差分のより小さい方式を選択できる。予測方式を決定すると、判定部１１８は選択方式で生成された予測画像を減算器１０３と加算器１０８とに出力する。
【００１７】
減算器１０３は、入力画像の予測ブロックの画素値と予測画像の画素値との間で予測誤差を算出し、直交変換部１０４へ出力する。直交変換部１０４は、予測誤差をブロックサイズ決定部１１６が決定した量子化ブロック単位に、例えば離散コサイン係数に変換する。量子化部１０５は、直交変換部１０４から入力された離散コサイン係数を、ブロックサイズ決定部１１６が決定した量子化ブロック単位に量子化する。
【００１８】
逆量子化部１０６及び逆直交変換部１０７は、量子化部１０５の量子化の結果を逆量子化および逆直交変換することで、復号予測誤差を求める。加算器１０８は、復号予測誤差と予測画像とを加算することで、局所的な復号結果である局所復号画像を得る。参照フレーム保持部１０９は加算器１０８によって得られた局所復号画像を、参照フレーム画像として保持する。算術符号化部１１４は、量子化の結果および動き補償部１１１より求められた動きベクトルを第２の符号化ブロック単位にエントロピー符号化し、ストリームとして記憶１１５へと出力する。
【００１９】
＜画像処理特性通知処理＞
次に、本実施形態における画像処理特性通知処理について説明する。本実施形態では、画像処理部１２０において実行される画像処理では、ぼかし、光量落ち、歪曲等の加工を画像に施す処理手法を任意に組み合わせた「フィルタ」を設定し、フィルタ毎に異なる視覚的効果を画像に付与することができる。図２は、特性決定部１１２が保持する、フィルタの種類と各領域の特性の関係を示すテーブルの一例を示す図である。当該テーブルは、使用される可能性のあるフィルタについて予め登録して符号化装置が保持しておくことができる。また、テーブルの情報は、モード通知部１１９から提供される情報に従って更新したり、符号化装置が外部からダウンロードして更新したりできる。
【００２０】
図２は、入力画像の水平成分を「ｘ等分」、入力画像の垂直成分を「ｙ等分」に分割された場合を想定し、分割された各画素についての特性を示している。入力画像の分割方法は図３（Ａ）に示すとおりであり、画像の左上を原点として、原点に位置する画素を（０，０）で表す。各画素は画像内での位置に応じた水平方向と垂直方向の座標値を有する。座標値は、ｘ成分、ｙ成分につきそれぞれ０からｘ−１、０からｙ−１の値をとりえる。
【００２１】
また、画像処理部１２０において実行される画像処理では、操作部１２１によりユーザが行ったモード設定に応じて、対応するフィルタが選択される。特性決定部１１２は、選択可能なフィルタの種類に応じて画面上の各領域を通常領域、ぼかし領域、光量落ち領域、歪曲領域のいずれかに設定したテーブルを保有する。特性決定部１１２は、モード通知部１１９から取得したフィルタの種類に関する情報に基づき当該テーブルを参照し、使用されているフィルタの種類に対応する特性情報をブロックサイズ決定部１１６へ通知する。
【００２２】
なお、通常領域２０１とは、ぼかし、光量落ち、歪曲等の処理がかけられていない画素領域である。ぼかし領域２０２とは、ぼけを付加する処理が適用された画素領域である。光量落ち領域２０３とは、光量を落とす処理が適用された画素領域である。歪曲領域２０４とは、歪みを生じさせる処理が適用された画素領域である。なお、本実施形態では、ぼかし領域２０２、光量落ち領域２０３、及び、歪曲領域２０４のことを、まとめて「画像処理特性領域」と呼ぶことがある。
【００２３】
フィルタの種類が「フィルタ１」である場合、特性決定部１１２は、領域（０，０）から（ｘ-1、ｙ-1）まで全て「通常領域」であることを、ブロックサイズ決定部１１６へ通知する。また、フィルタの種類が「フィルタ２」である場合、特性決定部１１２は、領域（０，０）、（１，０）は「光量落ち領域」、領域（２，０）から（４，０）は「歪曲領域」、以後、領域（５、０）から（ｘ-1、ｙ-1）までの各領域の情報をブロックサイズ決定部１１６へと通知する。
【００２４】
フィルタの種類が「フィルタ３」である場合、特性決定部１１２は、領域（０，０）から（２，０）は「ぼかし領域」、領域（３，０）から（４，０）は「歪曲領域」、以後、領域（５、０）から（ｘ-1、ｙ-1）までの情報をブロックサイズ決定部１１６へと通知する。さらに、フィルタの種類が「フィルタ４」である場合、特性決定部１１２は、領域（０，０）から（２，０）は「歪曲領域」、領域（３、０）から（４，０）は「通常領域」、以後、領域（３、０）から（ｘ-1、ｙ-1）までの各領域の情報をブロックサイズ決定部１１６へと通知する。
【００２５】
上記処理の具体例を、図３を用いて説明する。図３は、フィルタを用いた画像処理を行っていない画像および、魚眼風フィルタ、ジオラマ風フィルタをそれぞれ用いて画像処理した画像と、各領域の画像処理特性を示した図である。図３（Ｂ１）は、フィルタ処理をしていない画像である。図３（Ｂ２）は、フィルタ処理をしていない場合の、画像内の各領域の画像処理特性を示した図である。
【００２６】
図３（Ｃ１）は、図３（Ｂ１）と同じシーンを、魚眼風フィルタを用いて画像処理した画像である。魚眼風フィルタとは、通常のレンズを用いて撮影した画像を魚眼レンズで撮影した画像のように加工するためのフィルタである。魚眼風フィルタでは、例えば処理対象の画像において範囲を指定すると、当該範囲を中心に画像を拡大処理すると共に、画像の端を歪ませて円形に収縮したようになる。図３（Ｃ２）は、図３（Ｃ１）の魚眼風フィルタを用いて画像処理した場合の、画像内の各領域の画像処理特性を示した図である。
【００２７】
図３（Ｄ１）は、図３（Ｂ１）と同じシーンを、ジオラマ風フィルタを用いて画像処理した画像である。ジオラマ風フィルタとは、通常の風景などをジオラマ風に加工するためのフィルタであって、例えば以下のような処理が行われる。まず、グラデーションマスクなどを使用して、画像の上下、或いは左右にボケの領域を設定し、当該領域にフィルタのぼかしをかけてボケを作る。またスペキュラハイライト等により新たに点光源のボケを強調しつつ、コントラスト、彩度の強調を行う。以上により、通常の風景を撮影した場合でも、ミニチュア模型を撮影したかのように加工することができる。図３（Ｄ２）は、図３（Ｄ１）のジオラマ風フィルタを用いて画像処理した場合の、画像内の各領域の画像処理特性を示した図である。なお、参照番号２０１から２０４は、図２におけるものと同様である。
【００２８】
図３（Ｂ１）と図３（Ｃ１）とを比較すると、図３（Ｃ１）の魚眼風フィルタを用いて画像処理した画像は、画像が画面全体から円状へと縮小され、外側は黒くなっている。また、画像の端の光量が落ち、上端、下端に行くほど画像が歪曲する。図３（Ｂ１）の画像は、フィルタを用いた画像処理を施していないため、画像内の各領域が全て通常領域２０１となる。図３（Ｃ２）は、魚眼風フィルタを用いて画像処理されているため、円状に縮小された撮像領域の外は、光量落ち領域２０３、撮像領域の上端、下端は、画像が歪曲しているため、歪曲領域２０４となる。
【００２９】
図３（Ｂ１）と図３（Ｄ１）とを比較すると、図３（Ｄ１）のジオラマ風フィルタを用いて画像処理した画像は、画面の上下がぼけた画像となる。図３（Ｄ２）は、ジオラマ風フィルタを用いて画像処理されているため、画面の中央は通常領域２０１で、画面の上下はぼかし領域２０２となる。
【００３０】
本実施形態では、魚眼風フィルタやジオラマ風フィルタを用いて説明しているが、その他のフィルタについても同様に、フィルタの種類に応じて入力画像が通常領域２０１、ぼかし領域２０２、光量落ち領域２０３、歪曲領域２０４のいずれかの領域に設定される。特性決定部１１２は、フィルタの種類に応じてテーブルを参照して各領域の情報をブロックサイズ決定部１１６へ通知する。
【００３１】
＜ブロックサイズ決定処理＞
図４は、ブロックサイズ決定部１１６において決定される各ブロックサイズを示す図である。第１の符号化ブロック４０１は、例えば入力画像を縦６４画素×横６４画素など、等間隔に分割したブロックであり、「ＬＣＵ（Largest Coding Unit）」とも呼ばれる。第１の符号化ブロック４０１を用いた符号化処理は、例えば左上ブロックから右下ブロックの順で行われる。
【００３２】
第２の符号化ブロック４０２は、第１の符号化のブロック４０１をより細かく分割したブロックであって、実際の符号化対象ブロックに相当し、「ＣＵ（Coding Unit）」とも呼ばれる。第２の符号化ブロック４０２は、縦横６４画素、３２画素、１６画素、８画素のサイズを取り得る。第１の符号化ブロック４０１と同様、左上のブロックから右下のブロックへの順で処理が行われる。動き補償処理、イントラ予測処理、直交変換処理、量子化処理、算術符号化処理は、第２の符号化ブロック内で実行される。
【００３３】
予測ブロック４０３は、第２の符号化ブロック４０２をより細かく分割したもので、動き探索部１１０、動き補償部１１１、イントラ予測部１１７が処理を行う単位であり、「ＰＵ（Prediction Unit）」とも呼ばれる。予測ブロック４０３は、縦横６４画素、３２画素、１６画素、８画素、４画素のサイズをとることができる。なお、予測ブロック４０３は、決定されたＣＵのブロックサイズを基準として、動き探索用のブロックパターンが順次選択される。例えば、ＣＵのサイズを２Ｎ×２Ｎとした場合、動き補償処理のためには２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ等のサイズを有するブロックパターンが選択される。また、イントラ予測処理の場合、２Ｎ×２Ｎ、Ｎ×Ｎ（Ｎ＝４）のサイズを有するブロックパターンが選択される。
【００３４】
量子化ブロック４０４は、第２の符号化ブロック４０２をより細かく分割したもので、直交変換部１０４、量子化部１０５が処理を行う単位であり、「ＴＵ（Transform Unit）」とも呼ばれる。量子化ブロック４０４は、縦横３２画素、１６画素、８画素、４画素のサイズをとることができる。
【００３５】
次にブロックサイズ決定部１１６が行う、ブロックのサイズ決定処理について、図５のフローチャートを用いて説明する。図５は、ブロックサイズ決定部１１６が行う第２の符号化ブロックと、量子化ブロックのサイズ決定処理の一例を示すフローチャートである。本処理は、第１の符号化ブロックを処理単位としており、入力画像の全体を処理するまで繰り返される。該フローチャートに対応する処理は、例えば、ブロックサイズ決定部１１６として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００３６】
まずＳ５０１では、選択された画像処理方法（フィルタ）の種別に応じた画像処理特性情報を、特性決定部１１２から取得する。次にＳ５０２では、処理対象のブロック内に画像処理特性が画質に影響するところの所定の領域に属する領域（画像処理特性領域）が含まれるかを判定する。具体的には、画像処理特性として通常領域２０１以外の特性が現れる領域が含まれるか否かを判定する。もし、通常領域２０１しか含まれない場合（Ｓ５０２で「ＮＯ」）、Ｓ５０６に進む。一方、画像処理特性領域のぼかし領域２０２、光量落ち領域２０３、歪曲領域２０４のいずれかが含まれる場合（Ｓ５０２で「ＹＥＳ」）、Ｓ５０３に移行する。以下、入力画像内で画像処理特性領域と、それ以外の領域（通常領域２０１）とで、独立にブロックサイズの決定処理を行う。
【００３７】
Ｓ５０３では、処理対象ブロックが含む画像処理特性が全て光量落ち領域２０３であるか否かを判定する。もし、全て光量落ち領域２０３である場合（Ｓ５０３で「ＹＥＳ」）、Ｓ５０４に移行し、光量落ち領域２０３以外も含まれる場合（Ｓ５０３で「ＮＯ」）、Ｓ５０５に移行する。
【００３８】
Ｓ５０４では、第２の符号化ブロック、量子化ブロックのブロックサイズを最大のブロックサイズに決定する。なお、第２の符号化ブロックの場合、第１の符号化ブロックのブロックサイズ（６４画素×６４画素）に決定する。また、量子化ブロックの場合、取り得る最大サイズは３２画素×３２画素のサイズになる。
【００３９】
また、Ｓ５０５では、まず、処理対象ブロックの画像の特徴を判定し、劣化の目立ちにくい複雑な領域（高周波成分の多い領域）と、劣化の目立つ平坦な領域（低周波成分の多い領域）とを区別する。そして、複雑な領域と平坦な領域に異なる量子化幅を設定するために、量子化ブロック内に複雑な領域と平坦な領域ができるだけ混在しないよう、第２の符号化ブロック、および量子化ブロックの各ブロックサイズを決定する。例えば量子化ブロックの場合、最大サイズが３２画素×３２画素なので、まず第１の符号化ブロックを４分割し、その上で、分割後のブロック内に複雑な領域と平坦な領域が混在する場合には、両者を区分するために該ブロックを更に４分割する。一方、混在しない場合にはブロックは分割しなくてよい。
【００４０】
以上の処理は、分割後のブロックに複雑な領域と平坦な領域との混在をできる限り少なくするように、許容されるブロックサイズの範囲で繰り返す。なお、ブロックサイズが小さくなりすぎると符号量が増えることとなるので、許容できる混在率を予め設定しておいても良い。その場合、分割後のブロックにおける混在率が当該許容混在率よりも低い場合には、更なる分割を行わなくても良い。その際、所定の閾値Ｔｈ１以上のサイズになるように、第２の符号化ブロック、および量子化ブロックのブロックサイズを決定する。閾値Ｔｈ１の値としては、例えば１６画素×１６画素とすることができる。なお、このような閾値を設定するのは、Ｓ５０５における処理対象ブロックは、ぼけ、光量落ち、歪曲のある画素を含んでいるため、ブロックを細分化して細かく量子化処理を行うことは符号量が余計に増えることになるからである。
【００４１】
Ｓ５０６では、第２の符号化ブロック、および量子化ブロックの各ブロックサイズを決定する。ここでもＳ５０５と同様に、分割後のブロックにおいて、複雑な領域と平坦な領域ができるだけ混在しなくなるようにする。その際、所定の閾値Ｔｈ２以下のサイズになるように、第２の符号化ブロック、および量子化ブロックのブロックサイズを決定する。閾値Ｔｈ２の値としては、例えば１６画素×１６画素とすることができる。なお、閾値Ｔｈ２の値は、閾値Ｔｈ１と同一であっても良いし、異なっていても良い。なお、このような閾値を設定するのは、Ｓ５０６における処理対象ブロックは光量落ちやぼけ等のない通常画素を含み、Ｓ５０５の場合とは異なりブロックを細分化して細かく量子化処理を行うメリットがあるためである。
【００４２】
以上により、入力画像中のぼかし領域や光量落ち領域、歪曲領域といった画像処理特性領域に対し、ブロックサイズを大きく設定して符号量を削減することができる。それと同時に、当該画像処理特性領域以外の領域のブロックサイズを小さく割り当てることで、符号量の細やかな調整が可能となる。なお、動きベクトルや量子化パラメータは、ブロックあたりに１つ含まれるので、ブロックサイズを大きくすると、細かく分割した場合と比較して動きベクトルや量子化パラメータの数を削減できるため、符号量を削減することができる。一方、ブロックサイズを細かくすると、各ブロックに適した動きベクトルや量子化幅を設定可能となる。このように、入力画像の特徴に応じた適切なブロックサイズを選択することで、符号化効率が向上し、高画質化した符号化ストリームを生成することができる。
【００４３】
また、本実施形態では、主に量子化ブロックのサイズを決定する手法を説明したが、予測ブロックなど他のブロックのサイズを決定する手法にも本発明を適用することができる。例えば、予測ブロックでは、第２の符号化ブロックに基づき複数のブロックパターンを選択するが、当該選択の際に、複雑な領域と平坦な領域とが混在するパターンは除外して、当該混在が生じないパターンのみを選択することができる。
【００４４】
また、本実施形態では、画像処理の種類としてぼかし、光量落ち、歪曲の加工処理を挙げて説明した。しかし、これらの手法はあくまで例示であって、本発明が適用可能な画像処理方法はこれらに限定されない。他の処理方法であっても、その特性が画質に影響を与える可能性がある場合に、その影響の種類に応じて図２のようなテーブルを作成し、画像処理特性に応じてブロックサイズを変えることは、本発明の技術的思想の範囲内に属することは明らかである。
【００４５】
［実施形態２］
上述の実施形態１では、ブロックサイズ決定部１１６は、適用される画像処理の種類に基づく画像処理特性情報を特性決定部１１２から取得し、該画像処理特性情報を参照しつつ、入力画像の特徴を考慮してブロックサイズを決定した。これに対し、本実施形態ではブロックサイズ決定部１１６は画像処理特性情報を参照せず、入力画像の特徴のみに基づいてブロックサイズを決定する。その上で、ブロックサイズ補正部１２２が特性決定部１１２から画像処理特性情報を取得して、決定されたブロックサイズを補正する。
【００４６】
図６は、本実施形態に対応する符号化装置の構成の一例を示す図である。特性決定部１１２は、適用される画像処理の種類に基づき、画面内で画像処理特性が現れる領域を、ブロックサイズ補正部１２２へ通知する。画像処理特性の検出方法は、実施形態１と同様である。
【００４７】
ブロックサイズ決定部１１６は、センサ１０２から取り込まれた入力画像複数の第１の符号化ブロック、第２の符号化ブロック、予測ブロック、量子化ブロックにそれぞれ分割し、ブロックサイズ補正部１２２に通知する。第２の符号化ブロック、予測ブロック、量子化ブロックの分割方法は、実施形態１と同様に画像の特徴に応じて行う。即ち、処理対象ブロックの画像の特徴を判定し、劣化の目立ちにくい複雑な領域（高周波成分の多い領域）と、劣化の目立つ平坦な領域（低周波成分の多い領域）とを区別する。そして、複雑な領域と平坦な領域ができるだけ混在しないようにブロックを細分化していく。これにより、各領域に適した量子化幅が設定できる。なお、実施形態１ではブロックサイズの上限や下限を設定したが、ここでは閾値に応じてブロックサイズの大小を制約することはしない。
【００４８】
ブロックサイズ補正部１２２は、ブロックサイズ決定部１１６で決定した、第２の符号化ブロック、予測ブロック、量子化ブロックの各サイズを、特性決定部１１２から通知された情報を用いて補正する。ブロックサイズ補正部１２２の補正処理について、詳しくは後述する。ブロック分割部１１３は、ブロックサイズ補正部１２２より通知されたブロックサイズに基づき入力画像からブロックを分割し、後段の処理ブロックに提供する。
【００４９】
＜ブロックサイズ補正処理＞
次に、ブロックサイズ補正部１２２における処理を説明する。ブロックサイズ補正部１２２は、ブロックサイズ決定部１１６から第２の符号化ブロック、予測ブロック、量子化ブロックの各サイズの情報を取得する。また、特性決定部１１２から、適用される画像処理の種類に基づく画像処理特性情報を取得する。当該画像処理特性情報は図２に示したものと同様である。ブロックサイズ補正部１２２は、通知された画像処理特性情報に基づき、各ブロックサイズを補正する。
【００５０】
具体的な補正方法を図７のフローチャートを参照して説明する。図７は、ブロックサイズ補正部１２２が行う分割処理の一例を示すフローチャートである。本処理は、第１の符号化ブロックを処理単位としており、入力画像の全体について処理が完了するまで繰り返すものとする。該フローチャートに対応する処理は、例えば、ブロックサイズ補正部１２２として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００５１】
まず、Ｓ７０１では、ブロックサイズ決定部１１６にて分割された第２の符号化ブロック、予測ブロック、量子化ブロックの、各ブロックサイズを取得する。次にＳ７０２では、特性決定部１１２より、画像処理特性情報を取得する。次にＳ７０３では、補正処理を行うブロックが、画像処理特性が画質に影響を与えるところの所定の領域（画像処理特性領域）に属するかを判定する。もし、当該ブロックが画像処理特性が現れる領域に該当すれば（Ｓ７０３で「ＹＥＳ」）Ｓ７０４へ移行する。一方、当該ブロックが通常領域２０１に該当する場合（Ｓ７０３で「ＮＯ」）、Ｓ７０７へ移行する。以下、入力画像内で画像処理特性領域と、それ以外の領域（通常領域２０１）とで、独立にブロックサイズの補正処理を行う。
【００５２】
Ｓ７０４では、処理対象の第１の符号化ブロックが全て光量落ち領域２０３であるか否かを判定する。もし光量落ち領域２０３である場合（Ｓ７０４で「ＹＥＳ」）、Ｓ７０５に移行する。一方、光量落ちフィルタ領域２０３以外の領域を含む場合、Ｓ７０６に移行する。Ｓ７０５では、第２の符号化ブロック、量子化ブロックの、各ブロックサイズをそれぞれ最大のブロックサイズに補正する。例えば、第２の符号化ブロックの場合、第１の符号化ブロックのブロックサイズ（６４画素×６４画素）に補正する。また、量子化ブロックの場合、３２画素×３２画素に補正する。また、Ｓ７０６では、所定の閾値Ｔｈ１に相当するブロックサイズ以上の大きさになるように、第２の符号化ブロック及び量子化ブロックの各ブロックサイズを補正する。さらにＳ７０７では、所定の閾値Ｔｈ２に相当するブロックサイズ以下の大きさになるように、第２の符号化ブロック及び量子化ブロックの各ブロックサイズを補正する。ここで、所定の閾値Ｔｈ１及びＴｈ２の値を、例えば１６画素×１６画素とすることができる。なお、Ｔｈ１及びＴｈ２の値は同一であっても良いし、異なっていても良い。
【００５３】
なお、実施形態１で説明したように、予測ブロックのサイズは第２の符号化ブロックのサイズに基づいて決定されることになるので、第２の符号化ブロックのサイズを補正するだけでもよい。但し、第２の符号化ブロックに基づき予測ブロックについて複数のブロックパターンを選択する際に、複雑な領域と平坦な領域とが混在するパターンは除外して、当該混在が生じないパターンのみを選択することができる。
【００５４】
以上によれば、ブロックサイズ決定部１１６が画像の特徴を用いて各ブロックサイズを決める汎用的なブロックであっても、ブロックサイズ補正部１２２を追加することにより符号化効率が向上するため、実施形態１同様、高画質の符号化ストリームを生成する符号化装置を提供することができる。また、本実施形態では、画像処理特性を用いて、量子化ブロックのサイズを適切に選択したが、他のブロックのサイズにも適用する場合も、本発明の範疇である。
【００５５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015115901.tif 000003
【図５】
2015115901.tif 000004
【図６】
2015115901.tif 000005
【図７】
2015115901.tif 000006
【図２】
2015115901.tif 000007
【図３】
2015115901.tif 000008
【図４】
2015115901.tif 000009