(57)【要約】【課題】  従来の画像符号化装置では、複数ある予測方式のうち最適な予測方式を選択するため、全ての予測方式について発生符号量を推定し最適なものを選択する必要があり、符号化に必要な演算量が膨大になるという問題点があった。【解決手段】  画像符号化装置の予測方式制御部１１は、制御情報（または発生符号量の推定結果など）に基づき、適切な予測方式候補の限定および予測方式の決定を行う。これにより、不要な予測方式による発生符号量の推定を削減し、演算量が膨大になることを防ぐことができる。【選択図】        図１
2005175903.tif 000002
【特許請求の範囲】
【請求項１】
ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化を行う画像符号化装置において、
前記複数の予測方式の一部を所定の条件で予測方式候補とし、前記予測方式候補から当該ブロックの予測方式を決定することを特徴とする、画像符号化装置。
【請求項２】
前記所定の条件は、符号化対象画像の解像度であり、該解像度が高い場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、該解像度が低い場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くすることを特徴とする、請求項１記載の画像符号化装置。
【請求項３】
前記所定の条件は、画像の圧縮率であり、該圧縮率が高い場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、該圧縮率が低い場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くすることを特徴とする、請求項１記載の画像符号化装置。
【請求項４】
前記所定の条件は、当該ブロックの符号化に用いる量子化幅であり、当該ブロックにおける量子化幅が大きい場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、当該ブロックにおける量子化幅が小さい場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くすることを特徴とする、請求項１記載の画像符号化装置。
【請求項５】
前記ブロック毎に変更可能な複数の予測方式における第１の予測方式による当該ブロックの第１の推定発生符号量と、前記サブブロック毎に変更可能な複数の予測方式における第２の予測方式による当該ブロックの第２の推定発生符号量に基づき、前記予測方式候補を決定することを特徴とする、請求項１記載の画像符号化装置。
【請求項６】
前記ブロック毎に画像特徴を解析する画像解析手段を備え、画像解析手段の解析結果に基づき前記予測方式候補を決定することを特徴とする、請求項１記載の画像符号化装置。
【請求項７】
前記所定の条件は、隣接ブロックの符号化に用いた予測方式であり、
隣接ブロックの符号化に前記ブロック毎の予測方式が高い割合で用いられている場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、隣接ブロックの符号化に前記サブブロック毎の予測方式が高い割合で用いられている場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くすることを特徴とする、請求項１記載の画像符号化装置。
【請求項８】
ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化を行う画像符号化装置において、
第１の符号化パラメータと第２の符号化パラメータを選択する選択手段を備え、
第１の符号化パラメータが第２の符号化パラメータより大きい場合は、第１の符号化パラメータが選択された場合の前記ブロック毎の予測方式の割合を、第２の符号化パラメータが選択された場合の前記ブロック毎の予測方式の割合より大きくすると共に、前記符号化パラメータは符号化対象画像の解像度、圧縮率、量子化幅のいずれかであることを特徴とする、画像符号化装置。
【請求項９】
ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化された符号化データを蓄積する記録媒体において、
前記符号化データは第１の符号化パラメータと第２の符号化パラメータを含み、第１の符号化パラメータが第２の符号化パラメータより大きい場合は、第１の符号化パラメータにより符号化された前記ブロック毎の予測方式の割合が、第２の符号化パラメータにより符号化された前記ブロック毎の予測方式の割合より大きいと共に、前記符号化パラメータは符号化対象画像の解像度、圧縮率、量子化幅のいずれかであることを特徴とする、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、特に静止画像および動画像データを符号化する画像符号化装置に関するものである。
【背景技術】
【０００２】
次世代の動画像符号化方式として、従来方式より更なる符号化効率の向上を目指した動画像符号化方式である、以下の非特許文献１に記載された技術が知られている。本技術ではイントラ予測と呼ばれる画像符号化技術により、従来の動画像符号化方式に比べ符号化効率が向上している。
【０００３】
以下、本技術で用いられるイントラ予測について説明する。本技術では、画像を複数のブロックに分割しブロック毎に符号化を行う。イントラ予測は、符号化対象であるブロックの画像に対し、既に符号化済みの近隣ブロックの画像を基に、当該ブロックの画像の予測画像を作成するための予測方法である。イントラ予測により作成された適切な予測画像と符号化対象の画像の差分画像を符号化することで符号化効率が向上する。
【０００４】
また本技術では、図１０（ａ）に示すように、符号化対象の画像は複数の１６ｘ１６画素単位のブロックに分割される。各ブロックは更に、図１０（ｂ）に示すように１６等分され、４ｘ４画素単位のサブブロックに分割される。なお、以下の説明ではブロック内の各画素値をＸijkと表す。ここでi、ｊはそれぞれサブブロック内の水平、垂直位置（０≦i,j＜４）、kは図１０（ｂ）に示される当該ブロック内の各サブブロックを示すサブブロック識別ＩＤ（０≦ｋ＜１６）とする。
【０００５】
図１１に本技術で用いられるイントラ予測における予測方法の一例として、４ｘ４画素のサブブロックを単位とした場合を示す。
【０００６】
イントラ予測で用いられる予測方法は１種類ではなく、４ｘ４画素ブロックの場合、図１１（ａ）に示すように、予測方式ａからｉまでの９通りが存在する。図１１（ａ）における矢印は、それぞれの予測方法の予測方向の違いを模式的に表しており、これについては、図１１（ｂ）から（ｅ）の例を用いて説明する。
【０００７】
図１１（ｂ）から（ｅ）は、それぞれ予測方式ａからｄによって作成されたサブブロックの予測画像、および予測画像を作成する際に参照する周辺ブロックに属する９画素の画素の関係を表す説明図である。
【０００８】
なお、図中の数値は当該画素の画素値を表している。例えば、予測方式ａの場合、図１１（ａ）の水平方向への矢印が示す通り、図１１（ｂ）では、サブブロックの左側に隣接する４画素を基に水平方向への予測が行われ予測画像が作成されている。
【０００９】
同様に、予測方式ｂでは図１１（ａ）および図１１（ｃ）に示すように垂直方向の予測により上側に隣接する４画素を基に予測画像が作成され、予測方式ｄでは、図１１（ａ）および図１１（ｅ）に示すように斜め方向の予測によって隣接９画素を基に予測画像が作成されている。
【００１０】
ただし例外的に予測方式ｃは、その他の予測方式と異なり特定の予測方向を持たない予測方式であり、図１１（ｄ）に示すように、隣接９画素の平均値によって予測画像が作成される。図１１（ｂ）から（ｅ）に示した予測方式ａからｄ以外の予測方式については同様の方法で予測方向に従った予測画像が作成されるため説明を省略する。
【００１１】
なお予測方式は、輝度成分４ｘ４画素のサブブロックに対し上記ａからｉまでの９通り、輝度成分の１６ｘ１６画素のブロックに対し４通り、色差成分のブロックに対し４通りが用意されており、予測方式としてブロックサイズおよび予測方向の組み合わせが多数存在する。
【００１２】
従来の画像符号化装置では、図１２の動作フローに示すように、複数ある予測方式のうち１つを選択し、その予測方式での発生符号量を推定し（Ｓ１）、同様に全ての予測方式について発生符号量の推定を繰り返し（Ｓ２）、発生符号量の推定結果から、最も発生符号量が少ないと予想される予測方式を選択して符号化を行い（Ｓ３）、全てのブロックについてＳ１〜Ｓ３を繰り返す（Ｓ４）。
【００１３】
なお発生符号量の推定としては、実際に当該予測方式による符号化を行い、その発生符号量を計測する方法や、符号化対象の画像と予測画像の誤差の大きさから推定する方法が用いられる。
【００１４】
符号化対象の画像と予測画像の誤差ｅｋを用いて推定を行う場合、誤差ｅｋは、当該サブブロックの画像の画素値をＸijk、それに対応する予測画像の画素値をＹijkとすると次式で表される。
【００１５】
【数１】
2005175903.tif 000003
【００１６】
上式の推定においては、通常、差分絶対値和（ｎ＝１）あるいは差分二乗和（ｎ＝２）が用いられる。なお、誤差ｅが小さいほど発生符号量は少なく、誤差ｅが大きいほど発生符号量が多いものとして発生符号量の推定が行われる。
【非特許文献１】Ｆｉｎａｌ  Ｃｏｍｍｉｔｅｅ  Ｄｒａｆｔ  ＩＳＯ／ＩＥＣ  １４４９６−１０
【発明の開示】
【発明が解決しようとする課題】
【００１７】
従来の画像符号化装置では、複数ある予測方式のうち最適な予測方式を選択するため、全ての予測方式について、発生符号量を推定し最適なものを選択する必要があり、符号化に必要な演算量が膨大になるという問題点があった。
【００１８】
この発明は上記問題点を解決するためになされたものであり、符号化に必要な演算量を減少させることができる画像符号化装置を提供することを目的としている。
【課題を解決するための手段】
【００１９】
本発明は上記目的を達成するためになされたものであり、本発明の第１の画像符号化装置は、ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化を行う画像符号化装置であって、前記複数の予測方式の一部を所定の条件で予測方式候補とし、前記予測方式候補から当該ブロックの予測方式を決定する特徴を備える。
【００２０】
本発明の第２の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記所定の条件は、符号化対象画像の解像度であり、該解像度が高い場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、該解像度が低い場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くする特徴を備える。
【００２１】
本発明の第３の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記所定の条件は、画像の圧縮率であり、該圧縮率が高い場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、該圧縮率が低い場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くする特徴を備える。
【００２２】
本発明の第４の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記所定の条件は、当該ブロックの符号化に用いる量子化幅であり、当該ブロックにおける量子化幅が大きい場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、当該ブロックにおける量子化幅が小さい場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くする特徴を備える。
【００２３】
本発明の第５の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記ブロック毎に変更可能な複数の予測方式における第１の予測方式による当該ブロックの第１の推定発生符号量と、前記サブブロック毎に変更可能な複数の予測方式における第２の予測方式による当該ブロックの第２の推定発生符号量に基づき、前記予測方式候補を決定する特徴を備える。
【００２４】
本発明の第６の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記ブロック毎に画像特徴を解析する画像解析手段を備え、画像解析手段の解析結果に基づき前記予測方式候補を決定する特徴を備える。
【００２５】
本発明の第７の画像符号化装置は、本発明の第１の画像符号化装置の構成に加え、前記所定の条件は、隣接ブロックの符号化に用いた予測方式であり、隣接ブロックの符号化に前記ブロック毎の予測方式が高い割合で用いられている場合には、前記予測方式候補に占める前記ブロック毎の予測方式の割合を高く、隣接ブロックの符号化に前記サブブロック毎の予測方式が高い割合で用いられている場合には、前記予測方式候補に占める前記サブブロック毎の予測方式の割合を高くする特徴を備える。
【００２６】
本発明の第８の画像符号化装置は、ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化を行う画像符号化装置において、第１の符号化パラメータと第２の符号化パラメータを選択する選択手段を備え、第１の符号化パラメータが第２の符号化パラメータより大きい場合は、第１の符号化パラメータが選択された場合の前記ブロック毎の予測方式の割合を、第２の符号化パラメータが選択された場合の前記ブロック毎の予測方式の割合より大きくすると共に、前記符号化パラメータは符号化対象画像の解像度、圧縮率、量子化幅のいずれかである特徴を備える。
【００２７】
本発明の記録媒体は、ブロック分割された画像に対し、前記ブロック毎あるいは前記ブロックを更に分割したサブブロック毎に変更可能な複数の予測方式を用いてフレーム内予測符号化された符号化データを蓄積する記録媒体であって、前記符号化データは第１の符号化パラメータと第２の符号化パラメータを含み、第１の符号化パラメータが第２の符号化パラメータより大きい場合は、第１の符号化パラメータにより符号化された前記ブロック毎の予測方式の割合が、第２の符号化パラメータにより符号化された前記ブロック毎の予測方式の割合より大きいと共に、前記符号化パラメータは符号化対象画像の解像度、圧縮率、量子化幅のいずれかである特徴を備える。
【発明の効果】
【００２８】
本発明の第１の画像符号化装置は、所定の条件に基づき予測方式候補を選択するため、予測方式決定のために全ての予測方式での符号量推定を必要とせず、予測方式決定のための演算量を抑えることが可能である。
【００２９】
本発明の第２の画像符号化装置は、画像解像度を利用して適切な予測方式候補を選択することが可能である。
【００３０】
本発明の第３の画像符号化装置は、予測方式と画像の圧縮率の相関を利用して、適切な予測方式候補を選択することが可能である。
【００３１】
本発明の第４の画像符号化装置は、予測方式と量子化幅の相関関係を利用して、適切な予測方式候補を選択することが可能である。
【００３２】
本発明の第５の画像符号化装置は、代表的な予測方式での発生符号量の推定結果を利用して適切な予測方式候補を選択することが可能である。
【００３３】
本発明の第６の画像符号化装置は、画像特徴を解析することで適切な予測方式候補を選択することが可能である。
【００３４】
本発明の第７の画像符号化装置は、当該ブロックと隣接ブロックの予測方式の相関関係を利用して、適切な予測方式候補を選択することが可能である。
【００３５】
本発明の第８の画像符号化装置は、符号化パラメータに応じて適切な予測方式候補を選択することが可能である。
【００３６】
本発明の記録媒体は、符号化パラメータに応じた適切な予測方式に基づく符号化データを記録することが可能である。
【発明を実施するための最良の形態】
【００３７】
本発明の実施の形態の一例における画像符号化装置について以下、詳細に説明する。
【００３８】
本発明の実施の形態の一例における画像符号化装置は、入力画像を複数のブロックに分割し、ブロック毎に符号化を行う。さらに画像符号化装置は、分割されたブロック毎に予め定められた複数の予測方式から１つの予測方式を選択し、選択した予測方式に基づき隣接ブロックに属する画像から当該ブロックに対する予測画像を作成する。あるいは、ブロックをさらに複数のサブブロックに分割し、サブブロック毎に予め定められた複数の予測方式から１つの予測方式を選択し、選択した予測方式に基づき隣接サブブロックに属する画像から当該サブブロックに対する予測画像を作成する。
【００３９】
さらに画像符号化装置は、当該ブロックあるいは当該サブブロックの入力画像と予測画像との差分画像を生成し、差分画像と選択した予測方式の種別の符号化を行う。このような符号化方式としては上述の非特許文献１の技術がある。
【００４０】
当該技術では、１６ｘ１６画素のブロック単位の４通りの予測方式、４ｘ４画素のサブブロック単位の９通りの予測方式が用いられるが、本発明の符号化方式はこれらのブロックおよびサブブロックサイズ、予測方式に限定されるものではなく、上記に示すような符号化方式であればいかなる符号化方式であっても適応可能である。なお、以下の実施例では図１０に示すブロック、およびサブブロックの場合について説明する。
【実施例１】
【００４１】
図１は本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。
【００４２】
図１において、１１は複数の予測方式から適切な予測方式を決定する予測方式を決定する予測方式制御部、１２は予測方式制御部１１により決定された予測方式に基づき予測画像を生成する予測画像生成部、１３は予測画像と符号化対象となる画像を入力として差分画像を生成する差分画像生成部、１４は差分画像および予測方式の種別を符号化する画像符号化部、１５は差分画像と予測画像を合成する画像合成部、１６は動画像を蓄積する画像蓄積部、１７はユーザ操作により本画像符号化装置の録画モードを決定する録画モード選択部、１８は符号化データを記録蓄積する磁気ディスク、着脱可能な光磁気ディスク、半導体メモリカード等の記録媒体である。
【００４３】
なお、記録媒体１８の代わりに通信手段を設け、符号化データが当該通信手段を通して送信される構成を採用しても構わない。
【００４４】
本実施形態の画像符号化装置による符号化の動作について図２の動作フローを参照しながら説明する。
【００４５】
なお本画像符号化装置は、録画画像サイズ、録画品質等をパラメータ化した複数の録画モードを備え、予めユーザが録画モード選択部１７を用いて、当該画像の録画モードを決定しているものとする。
【００４６】
符号化が開始されるとまず、予測方式制御部１１が当該画像に用いる予測方式候補を決定する（Ｓ１）。
【００４７】
予測方式候補は、ユーザが事前に決定した当該画像の記録モードを基にした制御情報と所定のしきい値を比較することで決定する。
【００４８】
例えば制御情報として当該画像の解像度を用いる場合について説明する。ただし以下の説明では、解像度を表現する符号化パラメータとして当該画像を構成する画素数Ｉｎを用いるものとし、画素数Ｉｎが大きいほど解像度が高いことを示す。また、予測方式候補は画素数Ｉｎと所定のしきい値ＴＨ１を用いて次のように決定する。
【００４９】
Ｉｎ＞ＴＨ１の場合、ブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００５０】
Ｉｎ≦ＴＨ１の場合、サブブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００５１】
なお、Ｉｎとしては、画像データ中の輝度データの水平画素数や全画素数（水平画素数ｘ垂直画素数）を用いることができる。
【００５２】
一般に解像度の低い画像は解像度の高い画像に比べ隣接画素間の相関が低いため、ブロック単位の予測方式での予測効率が低下する。一方解像度が高い場合は、ブロック単位、サブブロック単位それぞれの予測方式間での予測効率の差が小さい。よって、ブロック単位の予測方式を用いた方が、予測方式を示す符号量を抑圧することが可能なため符号化効率が良い。したがって予め実験により適切なしきい値ＴＨ１を定めることで画像解像度に応じた適切な予測方式候補を選択することが可能である。
【００５３】
また、ブロック単位あるいはサブブロック単位のいずれか一方のみを予測方式候補とするのではなく、複数のしきい値を用いて、予測方式候補に占めるブロック単位、サブブロック単位の予測方式の占める割合を段階的に切り替える方式でも構わない。例えば、しきい値ＴＨ１、ＴＨ２を用いて、
Ｉｎ＞ＴＨ１の場合、ブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００５４】
ＴＨ２＜Ｉｎ≦ＴＨ１の場合、一般に予測効率の高い予測方式をブロック単位、サブブロック単位それぞれの全ての予測方式からそれぞれ半数づつ選び、当該画像の予測方式候補とする。
【００５５】
といった３段階に予測方式候補を切り替えることで、画像解像度に応じた、より適切な予測方式候補を選択することが可能である。
【００５６】
また高画質録画モード、長時間録画モードといった録画モードに関する制御情報を基に予測方式候補を決定してもよい。すなわち１ブロック当りの割り当て符号量Ｉｃを録画モードに対応する符号化パラメータとし、所定のしきい値ＴＨ３を用いて、予測方式候補を決定することが可能である。例えば、
Ｉｃ＜ＴＨ３ならば、ブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００５７】
Ｉｃ≧ＴＨ３ならば、サブブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００５８】
１ブロック当りの割り当て符号量が少ない場合、符号化により生成される画像の品質が低下するため、予測精度が低下し各予測方式間の予測効率の差は小さくなる。また符号量全体に占める予測方式を示す符号量の割合が相対的に高くなる。ゆえに１ブロック当りの割り当て符号量が少ない場合は、ブロック単位の予測方式を選択することで、予測方式の符号化に必要な符号量を抑制し符号化効率を高めることが可能である。一方、１ブロック当りの割り当て符号量が多い場合は、相対的に予測精度の高いサブブロック単位の予測方式を選択することで符号化効率を高めることが可能である。
【００５９】
したがって予め実験により適切なしきい値ＴＨ３を定めることで１ブロック当りの割り当て符号量に応じた適切な予測方式候補を選択することが可能である。また画像解像度を用いた場合と同様、複数のしきい値を用いて、段階的に予測方式候補を選択することも可能である。
【００６０】
なお上記の説明では、録画モードに対応する符号化パラメータとして１ブロック当たりの割り当て符号量Ｉｃを用いたが、その逆数である圧縮率Ｉｒを用いても構わない。その場合、予測方式候補の決定方法は例えば、
Ｉｒ＞ＴＨ３’ならば、ブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００６１】
Ｉｒ≦ＴＨ３’ならば、サブブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００６２】
といった構成で実現可能である。
【００６３】
次に選択された予測方式候補から符号化対象のブロックで用いる予測方式を決定する（Ｓ２）。なお、サブブロック単位の予測方式を用いる場合には、サブブロック毎に用いる予測方式を決定する。選択された予測方式候補から当該ブロックで用いる予測方式を決定する方法はいかなる方法を用いても構わない。例えば、各予測方式候補について従来手法と同様、発生符号量を推定し発生符号量が最小となる予測方式を用いることができる。
【００６４】
なお予測方式候補に選択された予測方式が１種類のみの場合、このステップは省略可能である。
【００６５】
次に決定した予測方式に基づき当該ブロックの符号化を行う（Ｓ３）。予測画像生成部１１は指定された予測方式に基づき画像蓄積部１６に蓄積された符号化済み画像を参照し、当該ブロックあるいは当該サブブロックの予測画像を生成する。差分画像生成部１３は、当該ブロックあるいは当該サブブロックの符号化対象の画像と予測画像の差分画像を作成し、画像符号化部１４が当該ブロックあるいは当該サブブロックの予測方式の種別および差分画像の符号化を行い、符号化データは順次、記録媒体１８に蓄積される。また符号化された差分画像は、画像合成部１５にて予測画像と合成され、当該ブロックあるいは当該サブブロックの符号化画像として画像蓄積部１６に蓄積され、他のブロックおよびサブブロックの予測に用いられる。
【００６６】
上記Ｓ２〜Ｓ３の動作を符号化対象画像の全てのブロックについて繰り返し（Ｓ４）、当該画像の符号化が完了する。
【００６７】
このようにして、本発明により記録媒体に１８に蓄積された符号化データは以下のような特徴をもっている。
【００６８】
（１）  高解像度の画像におけるブロック単位の予測方式の割合は、低解像度の画像におけるブロック単位の予測方式の割合に比べ高い。
【００６９】
（２）  ブロック当たりの割り当て符号量Ｉｃが大きい場合のブロック単位の予測方式の割合は、Ｉｃが小さい場合のブロック単位の予測方式の割合に比べ高い。
【００７０】
以上説明したように、本実施形態の画像符号化装置では、録画モードを基にした制御情報に応じて適切な予測方式候補を選択することで、全ての予測方式での発生符号量の推定を必要とせず、少ない演算量で予測方式を決定することができる。
【００７１】
また、記録媒体に１８に蓄積された符号化データは上記（１）、（２）のような特徴を持つため、画像の解像度や割り当て符号量に応じた適切な予測方式を選択することができ、符号化後の画質を向上させることが出来る。
【実施例２】
【００７２】
図３は本発明の第２の実施形態における画像符号化装置の構成を示すブロック図である。
【００７３】
図２において、２１は各ブロックの発生符号量を計測し、当該計測結果に基づき量子化幅等の符号化パラメータをブロック毎に順次変更することで発生符号量の制御を行う符号量制御部２１である。他の構成要素については、実施例１の構成要素と同一のため、同一符号を付与し説明を省略する。
【００７４】
本実施形態の画像符号化装置による符号化の動作について図４の動作フローを参照しながら説明する。
【００７５】
符号化が開始されるとまず、予測方式制御部１１が当該ブロックに用いる予測方式候補を決定する（Ｓ１）。
【００７６】
予測方式候補は、符号量制御部２１によって決定される当該ブロックの割り当て符号量あるいは、当該ブロックの量子化に用いる量子化幅を制御情報として予測方式制御部１１に入力し、所定のしきい値と比較することで決定する。制御情報として当該ブロックの割り当て符号量を用いる場合の予測方式候補決定の方法は、実施例１の場合と同じであり説明を省略し、ここでは量子化幅Ｉｑと所定のしきい値ＴＨ４を用いて予測方式候補を決定する場合について説明する。例えば、
Ｉｑ＞ＴＨ４ならば、ブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００７７】
Ｉｑ≦ＴＨ４ならば、サブブロック単位の全ての予測方式を当該画像の予測方式候補とする。
【００７８】
量子化幅が大きい場合、符号化により生成される画像の品質が低下するため、予測精度が低下し各予測方式間の予測効率の差は小さくなる。また、符号量全体に占める予測方式を示す符号量の割合が相対的に高くなる。ゆえに量子化幅が大きい場合には、ブロック単位の予測方式を選択することで、予測方式の符号化に必要な符号量を抑制し符号化効率を高めることが可能である。一方、量子化幅が小さい場合には、相対的に予測精度の高いサブブロック単位の予測方式を選択することで符号化効率を高めることが可能である。
【００７９】
したがって、予め実験により適切なしきい値ＴＨ４を定めることで当該ブロックの量子化幅に応じた適切な予測方式候補を選択することが可能である。また、実施例１の場合と同様、複数のしきい値を用いて、段階的に予測方式候補を選択することも可能である。
【００８０】
次に選択された予測方式候補から符号化対象のブロックで用いる予測方式を決定する（Ｓ２）。なお、サブブロック単位の予測方式を用いる場合には、サブブロック毎に用いる予測方式を決定する。選択された予測方式候補から当該ブロックで用いる予測方式を決定する方法はいかなる方法を用いても構わない。例えば、各予測方式候補について従来手法と同様、発生符号量を推定し発生符号量が最小となる予測方式を用いることができる。
【００８１】
なお予測方式候補に選択された予測方式が１種類のみの場合、このステップは省略可能である。
【００８２】
次に決定した予測方式に基づき当該ブロックの符号化を行う（Ｓ３）。予測画像生成部１１は指定された予測方式に基づき画像蓄積部１６に蓄積された符号化済み画像を参照し、当該ブロックあるいは当該サブブロックの予測画像を生成する。差分画像生成部１３は、当該ブロックあるいは当該サブブロックの符号化対象の画像と予測画像の差分画像を作成し、画像符号化部１４は、当該ブロックあるいは当該サブブロックの予測方式の種別および差分画像を符号化し、符号化データは順次、記録媒体１８に蓄積される。
【００８３】
なお符号化における量子化幅は、符号量制御部２１により決定された量子化幅を用いる。また、符号量制御部２１は当該ブロックの発生符号量を計測し、以降のブロックの符号化に用いる量子化幅を決定する。また画像符号化部１４で符号化された差分画像は、画像合成部１５にて予測画像と合成され、当該ブロックあるいは当該サブブロックの符号化画像として画像蓄積部１６に蓄積され、他のブロックおよびサブブロックの予測に用いられる。
【００８４】
上記Ｓ１〜Ｓ３の動作を符号化対象画像の全てのブロックについて繰り返し（Ｓ４）、当該画像の符号化が完了する。
【００８５】
このようにして本発明により記録媒体１８に蓄積された符号化データは、量子化幅Ｉｑの大きいブロックにおけるブロック単位の予測方式の割合は、Ｉｑの小さいブロックにおけるブロック単位の予測方式の割合に比べ高い特徴をもっている。
【００８６】
以上説明したように、本実施形態の画像符号化装置では、ブロック毎に制御情報に応じて適切な予測方式候補を選択し、全ての予測方式での発生符号量の推定を必要とせず、少ない演算量で予測方式を決定することができる。
【００８７】
また、記録媒体１８に蓄積された符号化データは上記のような特徴を持つため、ブロック毎の量子化幅に応じた適切な予測方式を選択することができ、符号化後の画質を向上させることが出来る。
【実施例３】
【００８８】
図５は、本発明の第３の実施形態における画像符号化装置の構成を示すブロック図である。
【００８９】
図３において、３１は差分画像の符号化により発生する符号量を推定する符号量推定部、３２は画像符号化部１４と符号量推定部３１のいずれか一方を選択し差分画像を出力するための切り替えスイッチである。前述の実施例と同一の構成要素については、同一符号を付与し、説明を省略する。
【００９０】
本実施形態の画像符号化装置における符号化の動作について図６の動作フローを参照しながら以下説明する。
【００９１】
符号化が開始されるとまず、予測方式制御部１１は、ブロック単位の複数の予測方式から所定の予測方式を１つ選択し、当該予測方式を用いて予測画像生成部１２にて当該ブロックの予測画像を、差分画像生成部１３にて当該ブロックの差分画像をそれぞれ生成し、符号量推定部３１にて当該予測方式での当該ブロックの推定符号量Ｃｂを求める。
【００９２】
同様に予測方式制御部１１が、サブブロック単位の複数の予測方式から所定の予測方式を１つ選択し、当該ブロックを構成する全てのサブブロックについて、予測画像生成部１２にて予測画像、差分画像生成部１３にて差分画像をそれぞれ生成し、符号量推定部３１にて当該予測方式での当該ブロックの推定符号量Ｃｓを求める（Ｓ１）。
【００９３】
なお当該符号量推定に用いる予測方式は、任意の予測方式を選択可能であるが、各予測方式の一般的な予測効率を予め定め、ブロック単位およびサブブロック単位それぞれの予測方式から一般に最も予測効率の良い予測方式を選択することで符号化効率を高めることが可能である。
【００９４】
また当該符号量推定に用いる予測方式は、ブロック毎に異なる予測方式を用いる構成でも構わない。例えば、当該画像の符号化に際し、各予測方式の使用頻度を計測し、当該ブロックの符号化時点で使用頻度の最も高い予測方式を用いることで、符号化効率を高めることが可能である。なお、当該予測方式の使用頻度計測結果は、制御情報として予測方式制御部１１に入力する。
【００９５】
次に予測方式制御部１１は、符号量推定部１７の符号量推定結果と所定のしきい値ＴＨ５に基づき当該ブロックの符号化に用いる予測方式候補を決定する（Ｓ２）。例えば、
Ｓ１における符号量推定の結果がＣｂ≧Ｃｓ＋ＴＨ５の場合、サブブロック単位の全ての予測方式を当該ブロックにおける予測方式候補とする。
【００９６】
Ｓ１における符号量推定の結果がＣｂ＜Ｃｓ＋ＴＨ５の場合、ブロック単位の全ての予測方式を当該ブロックにおける予測方式候補とする。
【００９７】
なおしきい値ＴＨ５は、外部から与えられる制御情報Ｉの関数ＴＨ５＝Ｆ（Ｉ）としてＩに応じて変更可能な構成でも構わない。
【００９８】
例えば、制御情報として隣接ブロックの符号化にブロック単位の予測方式が用いられた割合Ｉｂを用いて、
ＴＨ５＝Ｆ（Ｉｂ）＝α１・Ｉb＋β１  （α１、β１は所定の定数）
とする。この場合、隣接ブロックでブロック単位の予測方式が多く用いられている場合には、ブロック単位の予測方式が選択されやすくなるようにＴＨ５の値を大きく、隣接ブロックでサブブロック単位での予測方式が多く用いられている場合には、サブブロック単位の予測方式が選択されやすくなるようＴＨ５の値を小さくする。
【００９９】
このような構成とすることで、隣接ブロック間の画像の相関を利用し、高い精度で最適な予測方式を選択することが可能となり、符号化効率を向上させることが可能である。なおＦ（Ｉｂ）は上記のＩｂの１次関数に限らず、予め実験を基に隣接ブロックと当該ブロックの相関関係を求めることで得られた任意の関数でよい。例えば、図７のグラフに示すような関数であっても構わない。
【０１００】
また制御情報として当該ブロックの符号化に用いる量子化幅Ｉｑを用いる場合には、例えば、
ＴＨ５＝Ｆ（Ｉｑ）＝α２・Ｉｑ＋β２  （α２、β２は所定の定数）
とする。この場合、量子化幅Ｉｑが大きい場合には、ブロック単位の予測方式が選択されやすくなるようにＴＨ５が大きく、量子化幅Ｉｑが小さい場合には、サブブロック単位の予測方式が選択されやすくなるようにＴＨ５の値は小さくなる以上のような構成とすることで、実施例２の場合同様、当該ブロックの量子化幅に応じて、適切な予測方式候補を選択することが可能である。
【０１０１】
なおＦ（Ｉｑ）もＦ（Ｉｂ）の場合同様、上記Ｉｑの１次関数に限らず、所定の実験結果に基づく任意の関数であって構わない。
【０１０２】
また制御情報として当該ブロックの割り当て符号量Ｉｃを用いて、
ＴＨ５＝Ｆ（Ｉｃ）＝−α３・Ｉｃ＋β３  （α３、β３は所定の定数）
として、予測候補を決定しても構わない。
【０１０３】
なおいずれの制御情報を用いる場合も実施例１，２の場合と同様、複数のしきい値を用いて、予測方式候補を段階的に切り替える構成であって構わない。
【０１０４】
次に選択された予測方式候補から当該ブロックで用いる予測方式を決定する（Ｓ３）。なお、サブブロック単位の予測方式を用いる場合には、サブブロック毎に当該予測方式候補から用いる予測方式を決定する。選択された予測方式候補から当該ブロックで用いる予測方式を決定する方法はいかなる方法を用いても構わない。
【０１０５】
例えば、各予測方式候補について従来手法と同様に発生符号量を推定し、発生符号量が最小となる予測方式を用いる。なお予測方式候補に選択された予測方式が１種類のみの場合、このステップは省略可能である。
【０１０６】
次に決定した予測方式に基づき当該ブロックの符号化を行う（Ｓ４）。予測画像生成部１１は、指定された予測方式に基づき、画像蓄積部１６に蓄積された符号化済み画像を参照し、当該ブロックあるいは当該サブブロックの予測画像を生成する。差分画像生成部１３は、当該ブロックあるいは当該サブブロックの符号化対象の画像と予測画像の差分画像を作成し、画像符号化部１４が当該ブロックあるいは当該サブブロックの予測方式の種別および差分画像を符号化し、符号化データは順次、記録媒体１８に蓄積される。符号化された差分画像は、画像合成部１５にて予測画像と合成され、当該ブロックあるいは当該サブブロックの符号化画像として画像蓄積部１６に蓄積される。
【０１０７】
上記Ｓ１〜Ｓ４の動作を符号化対象画像の全てのブロックについて繰り返し（Ｓ５）、当該画像の符号化が完了する。
【０１０８】
このようにして本発明により記録媒体１８に蓄積された符号化データは、以下のような特徴をもっている。
【０１０９】
（１）  隣接ブロックにブロック単位の予測方式が用いられている割合Ｉｂが高い時の当該ブロックのブロック単位の予測方式の割合は、Ｉｂが低い時の当該ブロックの予測方式の割合に比べ高い。
【０１１０】
（２）  量子化幅Ｉｑの大きいブロックにおけるブロック単位の予測方式の割合は、Ｉｑの小さいブロックのブロック単位の予測方式の割合に比べ高い。
【０１１１】
以上説明したように本実施形態の画像符号化装置では、ブロック単位およびサブブロック単位それぞれを代表する予測方式による符号量推定に基づき、当該ブロックで用いる予測方式候補を選択するため、全ての予測方式での発生符号量推定を必要とせず、少ない演算量で予測方式を決定することができる。
【０１１２】
また、制御情報の利用により、適切な予測方式候補の選定が可能であり、符号化効率の高い予測方式を効率よく決定することができる。
【０１１３】
また、記録媒体１８に蓄積された符号化データは上記（１）、（２）のような特徴を持つため、隣接ブロックとの予測方式の相関あるいはブロック毎の量子化幅に応じた適切な予測方式を選択することができ、符号化後の画質を向上させることが出来る。
【実施例４】
【０１１４】
図８は、本発明の第４の実施形態における画像符号化装置の構成を示すブロック図である。
【０１１５】
図８において、４１は入力画像の解析を行う画像解析部である。前述の実施例と同一の構成要素については、同一符号を付与し、説明を省略する。
【０１１６】
本実施形態の画像符号化装置の動作について、図９の動作フローを参照しながら以下説明する。
【０１１７】
符号化が開始されるとまず、画像解析部２１が符号化対象のブロックにおける画像の特徴解析を行う（Ｓ１）。特徴解析は、符号化対象のブロック内の各サブブロックにおける画像の類似度を評価することで行う。
【０１１８】
特徴解析に用いる類似度Ｓとしては、例えば、サブブロック毎に、
【０１１９】
【数２】
2005175903.tif 000004
【０１２０】
なおこの場合、Ｓが小さいほど、サブブロック間のばらつきが小さく類似度が高い、Ｓが大きいほどサブブロック間のばらつきが大きく類似度が低いと判断する。
【０１２１】
あるいは所定のサブブロックを１つ選び、当該サブブロックの画像と当該ブロック内の他のサブブロックにおける画像との差分をサブブロック毎に求め、差分の大きさの合計により類似度を評価する方法を用いても構わない。
【０１２２】
例えば、図１０におけるサブブロックインデックスｋ＝０のサブブロックとそれ以外のサブブロックにおける画像との差分の大きさの合計を用いる場合、類似度Ｓは、次式で表される。
【０１２３】
【数３】
2005175903.tif 000005
【０１２４】
なおこの場合、Ｓが小さいほど、サブブロック間の誤差が少なく類似度が高い、Ｓが大きいほどサブブロック間の誤差が大きく類似度が低いと判断する。
【０１２５】
次に予測方式制御部１１は、画像特徴解析の結果と所定のしきい値ＴＨ６、ＴＨ７（ただしＴＨ６＜ＴＨ７）に基づき当該ブロックの符号化に用いる予測方式候補を決定する（Ｓ２）。例えば、
Ｓ＜ＴＨ６あるいはＴＨ７≦Ｓならば、ブロック単位の全ての符号化方式を当該ブロックの予測方式候補とする。
【０１２６】
ＴＨ６≦Ｓ＜ＴＨ７ならば、サブブロック単位の全ての符号化方式を当該ブロックの予測方式候補とする。
【０１２７】
サブブロック間の類似度が高い場合（Ｓが小さい場合）、ブロック単位、サブブロック単位いずれの予測方式を用いた場合でも高い予測精度が得られ、ブロック単位、サブブロック単位いずれの予測方式を用いても、差分画像の符号化効率の差は小さい。よってブロック単位の予測方式を選択することで、予測方式を示す符号量を抑制し符号化効率を高めることが可能である。
【０１２８】
一方サブブロック間の類似度が低い場合（Ｓが大きい場合）は、ブロック単位、サブブロック単位いずれの予測方式を用いた場合も予測精度が低く、やはりブロック単位、サブブロック単位いずれの予測方式を用いても差分画像の符号化効率の差は小さい。よってブロック単位の予測方式を選択することで、予測方式を示す符号量を抑制し符号化効率を高めることが可能である。
【０１２９】
上記以外の場合は、予測精度の高いサブブロック単位の予測方式を選択することで、符号化効率を高めることが可能である。
【０１３０】
なお実施例１〜３の場合と同様、しきい値ＴＨ６、ＴＨ７を制御情報に応じて変更する構成としても良いし、さらにしきい値を増やし予測方式候補に占めるブロック単位およびサブブロック単位の予測方式の割合を段階的に変える構成であっても構わない。
【０１３１】
次に選択された予測方式候補から当該ブロックで用いる予測方式を決定する（Ｓ３）。なお、サブブロック単位の予測方式を用いる場合には、サブブロック毎に用いる予測方式を決定する。選択された予測方式候補から当該ブロックで用いる予測方式を決定する方法はいかなる方法を用いても構わない。例えば、従来手法と同様に、全ての予測方式候補について発生符号量を推定し、発生符号量が最小となる予測方式を用いる。
【０１３２】
なお予測方式候補に選択された予測方式が１種類のみの場合、このステップは省略可能である。
【０１３３】
次に決定した予測方式に基づき当該ブロックの符号化を行う（Ｓ４）。予測画像生成部１１は、指定された予測方式に基づき、画像蓄積部１６に蓄積された符号化済み画像を参照し、当該ブロックあるいは当該サブブロックの予測画像を生成する。差分画像生成部１３は、当該ブロックあるいは当該サブブロックの符号化対象の画像と予測画像の差分画像を作成し、画像符号化部１４が当該ブロックあるいは当該サブブロックの予測方式の種別および差分画像を符号化し、符号化データは順次、記録媒体１８に蓄積される。符号化された差分画像は、画像合成部１５にて予測画像と合成され、当該ブロックあるいは当該サブブロックの符号化画像として画像蓄積部１６に蓄積される。
【０１３４】
なお、実施例１〜３の場合と同様、制御情報Iに応じてしきい値ＴＨ６，ＴＨ７を変更する構成とした場合、本発明により記録媒体１８に蓄積された符号化データは、制御情報Ｉに応じてブロック単位の予測方式の割合が変化する特徴をもつ。
【０１３５】
以上説明したように本実施形態の画像符号化装置では、画像の特徴解析結果に基づき、当該ブロックで用いる予測方式候補を選定するため、全ての予測方式での発生符号量推定を必要とせず、少ない演算量で予測方式を決定することができる。
【０１３６】
また、記録媒体１８に蓄積された符号化データは上記のような特徴を持つため、制御情報に応じた適切な予測方式を選択することができ、符号化後の画質を向上させることができる。
【０１３７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３８】
【図１】本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態の画像符号化装置の動作フローを示す図である。
【図３】本発明の第２の実施形態における画像符号化装置の構成を示すブロック図である。
【図４】第２の実施形態の画像符号化装置の動作フローを示す図である。
【図５】本発明の第３の実施形態における画像符号化装置の構成を示すブロック図である。
【図６】第３の実施形態の画像符号化装置の動作フローを示す図である。
【図７】関数Ｆ（Ｉｂ）の例を示す図である。
【図８】本発明の第４の実施形態における画像符号化装置の構成を示すブロック図である。
【図９】第４の実施形態の画像符号化装置の動作フローを示す図である。
【図１０】ブロックおよびサブブロックの概要を示す図である。
【図１１】予測方式の概要を示す図である。
【図１２】従来の画像符号化装置の動作フローを示す図である。
【符号の説明】
【０１３９】
１１  予測方式制御部、１２  予測画像生成部、１３  差分画像生成部、１４  画像符号化部、１５  画像合成部、１６  画像蓄積部、１７  録画モード選択部、１８  記録媒体、２１  符号量制御部、３１  符号量推定部、３２  切り替えスイッチ、４１  画像解析部。
【図１】
2005175903.tif 000006
【図２】
2005175903.tif 000007
【図３】
2005175903.tif 000008
【図４】
2005175903.tif 000009
【図５】
2005175903.tif 000010
【図６】
2005175903.tif 000011
【図７】
2005175903.tif 000012
【図８】
2005175903.tif 000013
【図９】
2005175903.tif 000014
【図１０】
2005175903.tif 000015
【図１１】
2005175903.tif 000016
【図１２】
2005175903.tif 000017