(57)【要約】【課題】イントラ予測の処理の速度が他の処理によって影響を受けることを抑え、より高速にイントラ予測することができる符号化装置を提供する。【解決手段】入力画像データに対してデータ圧縮のために歪を加える処理をする整数トランスフォーム部２０３、量子化部２０４、逆整数トランスフォーム部２０７、逆量子化部２０６、加工されたデータを使って入力画像データを予測する予測画像データを生成すると共に予測画像データ生成のための演算の条件である予測モードを設定するイントラ予測部２１１を備え、イントラ予測部２１１は、整数トランスフォーム部２０３、量子化部２０４、逆整数トランスフォーム部２０７、逆量子化部２０６によって加工される以前の入力画像データを使って予測演算条件を設定する。【選択図】図４
2007221420.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを所定の単位ずつ順次入力し、入力画像データと、該入力画像データを予測した予測画像データとの差分である予測誤差データを符号化する符号化装置であって、
入力画像データに対してデータ圧縮のために歪を加えるデータ加工手段と、
前記データ加工手段によって加工されたデータを使って入力画像データを予測する予測画像データを生成する予測画像生成手段と、
予測画像生成手段における予測画像データ生成のための演算の条件である予測演算条件を設定する演算条件設定手段と、を備え、
前記演算条件設定手段は、前記データ加工手段によって加工される以前の入力画像データを使って予測演算条件を設定することを特徴とする符号化装置。
【請求項２】
前記演算条件設定手段が１フレーム分の画像データを分割して得られる複数のブロック画像ごとに演算条件を設定し、
前記予測画像生成手段が前記演算条件設定手段によりブロック画像ごとに設定された演算条件にしたがって予測画像を生成した場合、得られる予測誤差の値が所定のしきい値以下であるか否かを判定する予測誤差値判定手段と、
前記予測誤差値判定手段の判定の結果に基づいて、前記演算条件設定手段が演算条件を設定するブロック画像の大きさを切替えるブロック切替え手段と、
を備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
入力画像データと、該入力画像データを予測した予測画像データとの差分である予測誤差データを符号化する符号化装置と、当該符号化装置によって符号化された予測誤差データに基づいて入力画像データを復号する復号化装置と、を備える画像処理装置であって、
前記符号化装置は、
入力画像データに対してデータ圧縮のために歪を加える処理をするデータ加工手段と、
前記データ加工手段によって加工されたデータを使って入力画像データを予測する予測画像データを生成する予測画像生成手段と、
前記データ加工手段によって加工される以前の入力画像データをブロック画像ごとに演算し、前記予測画像生成手段における予測画像データ生成のための予測演算条件を設定する演算条件設定手段と、
前記予測画像生成手段が前記演算条件設定手段により設定された演算条件にしたがって予測画像を生成した場合、得られる予測誤差の値が所定のしきい値以下であるか否かを判定する予測誤差値判定手段と、
前記予測誤差値判定手段の判定の結果に基づいて、前記演算条件設定手段が演算条件を設定するブロック画像の大きさを切替えるブロック切替え手段と、を備え、
前記復号化装置は、
予測誤差データを復号化する予測値復号化手段と、
前記予測値復号化手段によって復号化された予測誤差データに基づいて画像データを予測した予測画像データを生成すると共に、該予測画像データと復号化された予測誤差データをたし合わせて画像データを復号化する画像復号手段と、を備え、
予測誤差データの生成に関する情報が演算条件を設定したブロック画像の大きさを含み、前記画像復号手段は、前記ブロック画像の大きさごとに予測画像データを生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、画像処理装置に係り、特にイントラ予測を使って動画像を符号化す符号化装置、画像処理装置に関する。
【背景技術】
【０００２】
現在、携帯電話やＴＶ電話等の小型端末装置において、動画像を符号、復号化する技術が普及している。このような小型端末装置は、当然のことながら携帯するために可能な限り小型、軽量化されることが望ましい。また、装置の普及のためには装置の製造コストを低減して価格を下げる必要がある。
【０００３】
ところで、動画像を符号化する方式の一つに、Ｈ．２６４がある。Ｈ．２６４には、１フレームの内部で予測画像を生成する、イントラ予測と呼ばれる処理がある。イントラ予測は、所定の数の画素で構成されるブロック画像ごとに行われ、画像データ全体は、縦、横方向に配置される複数のブロック画像によって構成される。イントラ予測では、画像データにおいて隣接して配置され、かつ先に符号化または復号化の処理がされたブロック画像の画素の値を使って未処理のブロック画像を符号化または復号化する。
【０００４】
ブロック画像は、１６×１６、８×８、４×４というように、同数の画素を縦、横方向配置して構成される。イントラ予測方式で画像データを符号化する場合、符号化の対象となるブロック画像において配置される画素の例えば縦、または横といった特定の配置方向を定め、この方向に沿って先に符号化される他のブロック画像に含まれる画素の画素値から順次画素値を減算する。減算された値は、フレーム画像単位でＤＣＴ（離散コサイン変換）および量子化処理された後、エントロピー符号化される。
【０００５】
なお、上記した処理において、複数の配置方向のうち配置方向に沿って減算の結果得られる予測誤差値の総和が最も小さい方向が、減算の方向に沿う配置方向（演算方向）に設定される。このような従来技術としては、例えば、特許文献１に記載された発明が挙げられる。各画素の予測誤差値の総和が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。
【０００６】
イントラ予測に関する従来技術としては、例えば、特許文献１が挙げられる。特許文献１は、このようなイントラ予測の処理において、演算に画像の特性を考慮する、あるいは演算に使用されるデータ間引く等の方法によって演算方向を決定するための処理にかかる負荷を軽減するものである。
【特許文献１】特開２００４−３０４７２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したように、イントラ予測は、先に符号化されるブロック画像の画素の値を使って未処理のブロック画像を符号化する。また、イントラ予測では、最も高い圧縮率を得られる演算方向を正確に使用する。このため、イントラ予測する構成は、イントラ予測の処理に使用されるデータが処理されるのを待って後のブロック画像のイントラ予測を開始することになる。
【０００８】
入力されたオリジナル画素値のデータは、ＤＣＴ変換や量子化された上、再度逆量子化等を経てイントラ予測に使用されるデータになる。このため、イントラ予測の処理は、符号化までの処理の速度によって制限されることになり、符号化までの処理にかかる時間によってはイントラ予測処理の開始が待たされるおそれがある。
本発明は、このような点に鑑みてなされたものであって、イントラ予測の処理の速度が他の処理によって影響を受けることを抑え、より高速にイントラ予測することができる符号化装置、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
以上の課題を解決するため、本発明の符号化装置は、入力画像データを所定の単位ずつ順次入力し、入力画像データと、該入力画像データを予測した予測画像データとの差分である予測誤差データを符号化する符号化装置であって、入力画像データに対してデータ圧縮のために歪を加えるデータ加工手段と、前記データ加工手段によって加工されたデータを使って入力画像データを予測する予測画像データを生成する予測画像生成手段と、予測画像生成手段における予測画像データ生成のための演算の条件である予測演算条件を設定する演算条件設定手段と、を備え、前記演算条件設定手段は、前記データ加工手段によって加工される以前の入力画像データを使って予測演算条件を設定することを特徴とする。
【００１０】
このような発明によれば、入力画像データに対してデータ圧縮のために歪を加える加工処理をし、加工されたデータを使って入力画像データを予測する予測画像データを生成することができる。また、予測画像データ生成のための予測演算条件を、加工される以前の入力画像データを使って設定することができる。このため、イントラ予測の処理の速度がデータ加工の処理によって影響を受けることを抑え、より高速にイントラ処理を実行することができる。
【００１１】
また、予測演算条件設定の間にデータが加工され、加工されたデータを使って予測画像データを生成する。このため、符号化の処理効率を高めながら、復号側で符号側が意図するとおりの予測画像を生成することに支障が生じることがない。
また、本発明の符号化装置は、前記演算条件設定手段が１フレーム分の画像データを分割して得られる複数のブロック画像ごとに演算条件を設定し、前記予測画像生成手段が前記演算条件設定手段によりブロック画像ごとに設定された演算条件にしたがって予測画像を生成した場合、得られる予測誤差の値が所定のしきい値以下であるか否かを判定する予測誤差値判定手段と、前記予測誤差値判定手段の判定の結果に基づいて、前記演算条件設定手段が演算条件を設定するブロック画像の大きさを切替えるブロック切替え手段と、を備えることを特徴とする。
【００１２】
このような発明によれば、より小さいサイズのブロック画像を使用してより高い圧縮率を得ることができる。また、この際に演算量が増えることのデメリットに代えても良いほど高い圧縮率を得ることが可能な場合にだけブロック画像のサイズを小さくするよう切替えることができる。
【００１３】
また、本発明の画像処理装置は、入力画像データと、該入力画像データを予測した予測画像データとの差分である予測誤差データを符号化する符号化装置と、当該符号化装置によって符号化された予測誤差データに基づいて入力画像データを復号する復号化装置と、を備える画像処理装置であって、前記符号化装置は、入力画像データに対してデータ圧縮のために歪を加える処理をするデータ加工手段と、前記データ加工手段によって加工されたデータを使って入力画像データを予測する予測画像データを生成する予測画像生成手段と、前記データ加工手段によって加工される以前の入力画像データをブロック画像ごとに演算し、前記予測画像生成手段における予測画像データ生成のための予測演算条件を設定する演算条件設定手段と、前記予測画像生成手段が前記演算条件設定手段により設定された演算条件にしたがって予測画像を生成した場合、得られる予測誤差の値が所定のしきい値以下であるか否かを判定する予測誤差値判定手段と、前記予測誤差値判定手段の判定の結果に基づいて、前記演算条件設定手段が演算条件を設定するブロック画像の大きさを切替えるブロック切替え手段と、を備え、前記復号化装置は、予測誤差データを復号化する予測値復号化手段と、前記予測値復号化手段によって復号化された予測誤差データに基づいて画像データを予測した予測画像データを生成すると共に、該予測画像データと復号化された予測誤差データをたし合わせて画像データを復号化する画像復号手段と、を備え、予測誤差データの生成に関する情報が演算条件を設定したブロック画像の大きさを含み、前記画像復号手段は、前記ブロック画像の大きさごとに予測画像データを生成することを特徴とする。
【００１４】
このような発明によれば、符号化装置は、より小さいサイズのブロック画像を使用してより高い圧縮率を得ることができる。また、この際に演算量が増えることのデメリットに代えても良いほど高い圧縮率を得ることが可能な場合にだけブロック画像のサイズを小さくするよう切替えることができる。また、復号化装置にあっては、符号化において使用された画像ブロックの大きさと同じ大きさの画像ブロックを使って予測画像を生成することができる。このため、復号側で符号側が意図するとおりの予測画像を生成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図を参照して本発明にかかる符号化装置、画像処理装置、画像処理方法をコンピュータに実行させるためのプログラムの実施形態１、実施形態２を説明する。
【００１６】
（実施形態１）
まず、実施形態１の符号化装置、画像処理装置、画像処理方法をコンピュータに実行させるためのプログラムの説明に先立って、一般的なイントラ予測の処理について説明する。
【００１７】
図１は、一般的なイントラ予測を説明するための図であって、イントラ予測のモード（予測モード）の種別を説明するための図である。なお、実施形態１では、ブロック画像を１６×１６画素でなるマクロブロックとしているが、図１においては簡単のため４×４のブロック画像を例にして９種類の予測モードを示す。予測モードは、他のブロック画像に含まれる画素の値から、今回の処理対象となるブロック画像（注目ブロック画像）に含まれる画素であって他のブロック画像に含まれる画素と隣接する画素の値を減算する方向を指す。予測モードには、減算方向によって予測モード０から予測モード８までの識別子が付されている。
【００１８】
図１（ａ）〜（ｉ）のいずれにおいても白丸で示す画素は、注目ブロック画像に含まれる画素である。また、黒丸で示す画素は注目ブロック画像に隣接するブロック画像にある画素である。また、図中に示した矢線は、各々の予測モードの減算方向を示す。なお、図１（ｃ）に示した予測モード２では、閉曲線ａ１、ａ２で囲んだ画素１の値の平均を、各々予測誤差値として採用する。このため、図１（ｃ）には矢線の図示がされていない。
イントラ予測とは、ブロック画像を符号化する場合に最も高い圧縮率を得られる方向を予測するため、予測モード０から予測モード８のうちから１つを選択する処理である。
【００１９】
図２は、予測モードを選択する方法をより具体的に説明するための図である。図２による説明では、簡単のため縦、横の２方向についてのみ演算してイントラ予測をするものとする。しかし、実施形態１の画像処理装置は、前記した９種類の予測モードのうちから予測モードを選択するものである。したがって、実際のイントラ予測部２１１は、９種類の予測モードから一つの予測モードを選択するのに必要な全ての方向について演算する。
【００２０】
図２中に白丸で示した画素ｄ１は、注目ブロック画像に含まれる画素であって、黒丸で示した画素ｄ２は、注目ブロック画像と隣接する隣接ブロック画像に含まれて、かつ画素ｄ１と隣接する画素である。
イントラ予測では、隣接する画素ｄ２から特定の方向に画素値を補間し、モード選択のための予測画像ｄ２ｐを算出する。この算出された予測画像ｄ２ｐと入力画像ｄ１の差分値を加算し、差分値の総和ｄｐを求める。差文値の総和ｄｐが小さい方が強い相関があることを示す。イントラ予測では、図１の全てのモードの中から最も差分値の総和ｄｐが小さいモードが選択され、選択された予測モードで予測画像を生成する。
【００２１】
実施形態１は、以上述べたイントラ予測の処理において、入力された画像データ（入力画像データ）を使って予測モード選択のための演算を実行する。また、選択された予測モードによる予測画像の生成には、入力画像データを加工して得られるデータを使う。加工された入力画像データを使って予測画像を生成する理由は、実際に復号される画像データと同じ画像データを使って予測画像を生成するためである。このようにすれば、符号化側が意図した通りの画像を符号化側で再現することができる。
【００２２】
図３は、実施形態１の画像処理装置が備える符号化装置の概要を説明するための図である。実施形態１の符号化装置１は、画像データのイントラ予測をするイントラ予測制御装置１０４、イントラ予測制御装置１０４によってされたイントラ予測の結果にしたがって画像データを符号化するＣＰＵ（Central Processing Unit）を備えている。なお、実施形態１では、イントラ予測制御装置１０４がイントラ予測のモードを決定すると共に決定されたモードによって予測画像を生成するものとする。
【００２３】
イントラ予測制御装置１０４は、メモリ１０１と、メモリ１０１に保存されている画像データを使い、ブロック画像ごとに画像データのイントラ予測をする予測回路１０３と、を備えている。メモリ１０１は、フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段である。また、予測回路１０３は、メモリ１０１に保存されている画像データを使い、ブロック画像ごとに画像データのイントラ予測をするイントラ予測手段である。
【００２４】
なお、フレーム画像とは、動画像として表示される画像データのフレーム単位の画像を指し、単位時間当たりに何枚のフレーム画像が表示できるによって動画像のフレームレートが表される。また、実施形態１でいうブロック画像とは、１フレーム画像を分割して得られる画像であって、縦、横方向に各々所定の画素を配置して構成されるものとする。実施形態１では、ブロック画像を特に１６×１６個のマクロブロック１個分とした。
【００２５】
ただし、ブロック画像はマクロブロック１個分に限定されるものでなく、複数のマクロブロックをブロック画像とすることも可能である。また、マクロブロックは１６×１６個に限定されるものでなく、縦及び横方向に配置される画素の数は任意であることは言うまでもない。
【００２６】
また、予測回路１０３は、演算量が多いことで知られるイントラ予測をするハードウェア（ＨＷ）構成であって、ソフトウェアによるよりも高速にイントラ予測をすることができる。一方、ＣＰＵ１０２は、ソフトウェア（ＳＷ）によって動画像符号化の全般を管理する。実施形態１は、予測回路１０３を設けたことによってＣＰＵ１０２の負荷を軽減し、ＣＰＵ１０２に要求される機能や処理速度を抑えることができる。なお、予測回路１０３は、比較的小型かつ簡易な回路で実現できるので、画像処理装置１の小型化を妨げることがない。
【００２７】
予測回路１０３によってイントラ予測をする実施形態１の画像処理装置１では、予測回路１０３がブロック画像ごとに画像データのイントラ予測を実行し、イントラ予測の結果にしたがって予測画像のデータ（予測画像データ）を生成する。ＣＰＵ１０２は、ＣＰＵ１０２上で動作するソフトウェアによって予測画像データと入力画像データの差分をとり、この差分のデータ（予測誤差データ）を符号化する。
【００２８】
図４は、図３に示した符号化装置１の構成をより詳細に説明するための図である。符号化装置１は、外部から入力されて量子化等の加工がされる以前の画像データ（入力画像データ）を所定の単位（１マクロブロック）ずつ順次入力する。そして、入力画像データと、この入力画像データを予測した予測画像データとの差分である予測誤差を符号化する符号化装置である。
【００２９】
符号化装置１は、イントラ予測制御装置１０４と、イントラ予測制御装置１０４によって生成された予測画像データと入力画像データの差分とを符号化する構成とを備えている。
符号化のための構成の実態はソフトウェアであって、予測画像から入力した画像データを減算する減算器２０２、減算値をアダマール変換あるいはＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）処理する整数トランスフォーム部２０３、整数トランスフォーム部２０３で処理されたデータを量子化する量子化部２０４、量子化部２０４による量子化を量子化の条件等によって制御する符号化制御部２０１、量子化された画像データをエントロピー符号化（可変長符号化とも記す）するエントロピー符号化部２０５を備えている。
【００３０】
また、イントラ予測制御装置１０４は、ハードウェア構成として構成される。イントラ予測では、より正確にイントラ予測するため、復号された状態の画像データを使ってイントラ予測する。このため、イントラ予測制御装置１０４は、いったん量子化された画像データを逆量子化する逆量子化部２０６、先に行われたアダマール変換やＤＣＴの処理と逆の処理する逆整数トランスフォーム部２０７を備えている。
【００３１】
上記した減算器２０２、整数トランスフォーム部２０３、量子化部２０４及び符号化制御部２０１、逆量子化部２０６、逆整数トランスフォーム部２０７は、実施形態１における入力画像データに対してデータ圧縮のために歪を加える処理をするデータ加工手段となる。
また、イントラ予測制御装置１０４は、逆整数トランスフォーム部２０７によって処理されたデータに予測画像をたし合わせる加算器２０８、たし合わせて生成された画像データのブロックノイズの発生を抑制するデブロッキング・フィルタ（Ｄｅｂｌｏｃｋｉｎｇ  Ｆｉｌｔｅｒ）２０９を備えている。デブロッキング・フィルタ２０９は、整数変換のブロック境界のみを平滑化するものである。
【００３２】
また、イントラ予測制御装置１０４は、加算器２０８において加算された画像データを蓄積するフレームメモリ１０１ａ、デブロッキング・フィルタ２０９を通った画像データを蓄積するフレームメモリ１０１ｃを有している。フレームメモリ１０１ａはイントラ処理用のフレームメモリであり、フレームメモリ１０１ｃはインター処理用のフレームメモリである。フレームメモリ１０１ａ、フレームメモリ１０１ｃは、図３に示したメモリ１０１に含まれる。
【００３３】
上記したフレームメモリ１０１ａ、フレームメモリ１０１ｃには、データ圧縮のために歪を伴う画像データが保存されることになる。さらに、イントラ予測制御装置１０４は、フレームメモリ１０１ａに保存されている加工されたデータを使い、入力画像データの予測画像データを生成する際の予測モードを決定するイントラ予測部２１１を備えている。
【００３４】
さらに、実施形態１の符号化装置１は、フレームメモリ１０１ｃに保存されている加工された画像データを使ってインター予測するインター予測部２１４、インター予測処理に必要な動きベクトルの検出をする動きベクトル検出部２１５を備えている。インター予測部２１４は、検出された動きベクトルに基づいて予測画像データの圧縮率に関するデータを生成する。なお、インター予測は公知の技術であるので、ここではこれ以上の説明を省くものとする。
【００３５】
さらに、イントラ予測制御装置１０４は、イントラ予測部２１１、インター予測部２１４から出力した予測画像データの圧縮率に関するデータを入力し、一方を選択する選択器２１６を備えている。選択器２１６は、入力された２つのデータに基づいて予測誤差がより少ない予測画像データを選択して出力する。選択された予測画像は、次に入力された入力画像データと減算器２０２において減算される。この結果、新たな予測誤差データが生成される。
このようなイントラ予測部２１１は、選択器２１６と共に加工されたデータを使って入力画像データを予測する予測画像データを生成する予測画像生成手段となる。
【００３６】
また、実施形態１の符号化装置では、入力画像データが分岐され、量子化等の加工を受けることなくフレームメモリ１０１ａに保存される。イントラ予測部２１１は、フレームメモリ１０１ａに保存された加工される以前の入力画像データを使って図２で説明した演算を実行する。そして、予測画像データ生成のための演算の条件である予測モードを決定する。このような、イントラ予測部２１１は、予測画像データ生成のための演算の条件である予測演算条件を設定する演算条件設定手段としても機能する。実施形態１のイントラ予測部２１１は、予測モードを決定する場合、量子化部２０４等によって加工される以前の入力画像データを使って予測モードを設定する。
【００３７】
以上述べた符号化装置１は、以下のように動作する。すなわち、符号化装置１に入力された画像データは、分岐して一方がフレームメモリ１０１ａに保存される。イントラ予測部２１１は、イントラ予測部２１１に保存された画像データを１マクロブロック分ずつ読み出して１マクロブロックごとに予測モードを決定する。また、決定した予測モード及び該予測モードによって得られる圧縮率に関する情報（相関値等）を選択器２１６に入力する。
【００３８】
また、分岐した他方の入力画像データは、予測画像データと減算される。減算の結果得られた予測誤差データは、イントラ予測部２１１による予測モードの決定と並行して整数トランスフォーム部２０３、量子化部２０４等によって加工される。加工された予測画像データはさらに分岐され、一方がエントロピー符号化部２０５によって符号化される。また、分岐された他方の予測画像データは、逆量子化等の処理を経てフレームメモリ１０１ａに保存される。
【００３９】
選択器２１６は、イントラ予測部２１１から入力された情報とインター予測部２１４によって入力された情報に基づいて、イントラ予測画像、インター予測画像のどちらが高い圧縮率を得られるか判断する。選択器２１６の判断にしたがってイントラ予測部２１１またはインター予測部２１４がイントラ予測画像またはンター予測画像を生成する。生成されたイントラ予測画像またはンター予測画像は、選択器２１６を介して減算器２０２に出力され、入力画像データと減算される。
このような実施形態１の符号化装置は、入力画像データが量子化、逆量子化といった複数回の加工工程を経る間に予測モード決定の演算を開始することができる。このため、イントラ予測の実行が画像データの加工によって遅れることを抑えることができる。
【００４０】
次に、以上述べた実施形態１の符号化装置の動作を図５（ａ）、（ｂ）、（ｃ）にフローチャートにして示し、説明する。図５（ａ）は、実施形態１のイントラ予測の予測モードを判定する処理を説明するためのフローチャートである。また、（ｂ）は、（ａ）の処理によって判定された予測モードに基づいて予測画像を生成する処理を説明するためのフローチャートである。さらに、（ｃ）は、イントラ予測と並行して実行されるインター予測の処理を説明するためのフローチャートである。
【００４１】
図５（ａ）に示した処理では、先ず、入力画像データが１ＭＢ（マクロブロック）ずつ入力される（Ｓ５０１）。入力画像データは、フレームメモリ１０１ａに保存される。そして、イントラ予測部２１１は、フレームメモリ１０１ａに保存されている加工前の入力画像データ（原画像）のうち注目画像ブロックの周辺画像ブロックを読み出す（Ｓ５０２）。実施形態１の画像処理装置は、読み出された周辺画像ブロックを使って予測モード判定のための処理を実行する（Ｓ５０３）。フローチャートにおいて、ステップＳ５０２の処理をイントラ仮予測と記す。
【００４２】
次に、実施形態１では、イントラ予測部２１１が図示しない減算器等を使い、各予測モードを使って生成された予測画像データと入力画像データとの差分を算出する（Ｓ５０４）。なお、この処理は、前述した周辺画像ブロックに含まれる画素の値と注目画像ブロックに含まれる画素の値との差分をとる演算を含むものである。
以上の処理の後、符号化装置は、イントラ予測の処理が１ＭＢ分終了したか否か判断する（Ｓ５０５）。１ＭＢ分の処理が終了した場合（Ｓ５０５：Ｙｅｓ）、演算の結果から、このＭＢを符号化するのに適した予測モード（フローチャートにおいて符号化モードと記す）を判定するための処理を実行する（Ｓ５０６）。
【００４３】
また、以上の処理の後、符号化装置は、イントラ予測の結果に基づいて生成された予測画像データを入力画像データと減算するか否か判断する（Ｓ５１１）。この判断の結果、イントラ予測によって生成された予測画像を選択する場合（Ｓ５１１：Ｙｅｓ）、フレームメモリ１０１ａに保存されている逆トランスフォームされた周辺画像ブロックのデータが読出され（Ｓ５１２）、イントラ予測部２１１は、ステップＳ５０５で判定された予測モードを使って予測画像を生成する（Ｓ５１３）。
【００４４】
なお、ステップＳ５１１において、イントラ予測によって生成された予測画像を符号化に使用しないと判断された場合（Ｓ５１１：Ｎｏ）、インター予測部２１４は、インター予測の結果に基づいて生成された予測画像を生成して減算器２０２に出力する（Ｓ５２０）。この処理のため、インター予測部２１４は、図５（ｃ）に示したフローチャートにより、イントラ予測とは独立にインター予測し（Ｓ５３４）、この結果に基づいて予測画像データと入力画像データとの誤差を算出している（Ｓ５３５）。ステップＳ５２１で生成される予測画像は、この算出結果に基づいて実行される。
【００４５】
予測画像が減算器２０２に出力された後、符号化装置は、入力画像データを整数トランスフォーム（Ｓ５１４）、量子化（Ｓ５１５）を実行する。量子化等された入力画像データは分岐され、一方はエントロピー符号化部２０５に出力されて符号化される（Ｓ５１６）。また、一方は、逆量子化（Ｓ５１７）、逆整数トランスフォームされ（Ｓ５１８）る。以上の処理が１ＭＢ分終了すると（Ｓ５１９：Ｙｅｓ）、例えばＣＰＵ１０２が、処理が終了したか否か判断する（Ｓ５２０）。処理が未だ終了しない場合（Ｓ５２０：Ｎｏ）、符号化装置は、入力画像データの整数トランスフォーム、量子化といった加工を繰り返す。
【００４６】
図６は、実施形態１のイントラ予測と比較するために示した従来のイントラ予測のフローチャートである。図示したフローチャートは、図５（ｂ）に示したフローチャートに対応するものである。
図６に示したフローチャートでは、入力画像データに量子化、逆量子化等の加工がされた後（Ｓ６０４）〜（Ｓ６０８）、周辺画像ブロックの画像データが読み出されて予測モードが決定する（Ｓ６１０）。このため、従来では予測モードの決定のための演算を画像データの加工を待って実行しなければならなかった。
【００４７】
このような従来例に比べ、実施形態１は、予測モードの決定のための演算を入力画像データの加工に先立って実行することができる。また、予測モードの決定のための演算をする間に入力画像データを加工することができるので、符号化の処理効率を高めることができる。
また、以上述べた符号化装置によって符号化された画像データは、出力ビットストリームとして復号化装置に出力される。出力ビットストリームには符号化された画像データと共に画像データの符号化に使用された予測モードを示す情報が含まれている。復号化装置は、符号化装置１から与えられた予測モードによって予測画像を生成し、予測誤差データとたし合わせて入力画像データを復号した出力画像のデータを得る。
【００４８】
図７は、このような本実施形態１に適用される復号化装置を示した図である。復号化装置は、符号化装置１が備えるイントラ予測制御装置１０４と同様の構成を備え、符号化装置１で生成された予測画像と同様の予測画像を再現することができる。
また、実施形態１は、符号化装置１と復号化装置とを備えた画像処理装置として構成しても良い。また、符号化装置単体を備えて外部から入力された画像データを符号化し、保存しておくものであってもよい。
【００４９】
（実施形態２）
次に、本発明の実施形態２の符号化装置、画像処理装置について説明する。なお、実施形態２の符号化装置は、実施形態１の構成と外観上同一であるため、図示及びその説明を一部略すものとする。
【００５０】
実施形態２の符号化装置は、イントラ予測されるブロック画像の単位が小さいほど画像データの圧縮率が高まる一方、処理の演算量が大きくなって処理時間が増すという欠点を有することに着目してなされたものである。すなわち、実施形態２の符号化装置は、実施形態１が加工前の画像データを使って予測モードを決定することによって処理時間を短縮することから、実施形態１の符号化装置において、１ＭＢ分の画像データをさらに分割して得られるブロック画像を単位にしてイントラ予測するものである。
【００５１】
図８は、１６×１６画素を１ＭＢとしたブロック画像をさらに分割して生成された４×４画素のブロック画像（サブブロック）を示したものである。図８（ａ）は、１ＭＢ分のサブブロックと、サブブロック画像を注目ブロック画像とした場合の周辺ブロック画像とを示した図である。図中数字を付して示したのは１ＭＢに含まれる１６個のサブブロックである。また、斜線を付して示したのは他のＭＢに含まれて、かつサブブロックの周辺ブロック画像となるサブブロックである。
【００５２】
図８（ｂ）は、数字を付して示した各サブブロックのイントラ予測に使用される画素を示した図である。サブブロックごとにイントラ予測する場合、イントラ予測にＭＢ内の画素が使用される。図中、斜線を付して示した各サブブロックの部分は、ＭＢ内にありながらイントラ予測に使用される画素の位置を示したものである。
実施形態２の符号化装置は、サブブロックごとにイントラ予測の演算条件（予測モード）を設定し、イントラ予測部２１１が、サブブロックごとに設定された予測モードにしたがって予測画像を生成した場合、得られる予測誤差の値が所定のしきい値以下であるか否かを判定する。そして、判定の結果に基づいて、前記演算条件設定手段が演算条件を設定するブロック画像の大きさを切替える。このような実施形態２において、イントラ予測部２１１は、予測誤差値判定手段及びブロック切替え手段として機能する。
【００５３】
なお、実施形態２でいう判定の結果とは、予測誤差値がしきい値より小さいか否かをいい、イントラ予測部２１１は、しきい値より小さい予測誤差値が得られる場合にのみブロック画像の大きさをＭＢからサブブロックに切替えるものである。
また、実施形態２に適用される復号化装置は、符号化装置で符号化された予測誤差のデータを、この予測誤差データの生成に関する情報と共に入力する。実施形態２では、予測誤差のデータと情報（予測画像がインター予測されたものかイントラ予測されたものか、イントラ予測の予測モード等）とを図４に示した出力ビットストリームで示す。
【００５４】
そして、復号化装置は、図７に示したエントロピー復号化部５０１が予測誤差データを復号化する。また、イントラ予測部２１１が復号化された予測誤差データに基づいて画像データを予測した予測画像データを生成すると共に、加算器２０８が、この予測画像データと復号化された予測誤差データをたし合わせて画像データを復号化する。また、出力ビットストリームに含まれる予測モード等の情報は、演算条件を設定したブロック画像の大きさを含む。復号化装置のイントラ予測部２１１は、ブロック画像の大きさごとに予測画像のデータを生成する。
【００５５】
このような実施形態２の符号化装置によれば、符号化の際のブロック画像の大きさと同様の大きさのブロック画像を使って復号化の処理ができる。このため、符号化装置で意図したとおりに入力画像データを復号し、適正な入力画像を得ることができる。また、実施形態２では、サブブロックを分割し、多数のサブブロックの予測モードを符号化することと、マクロブロック単位で予測モードを決定することのコスト計算を行い、サブブロックに分割することで符号化効率が向上する場合にサブブロックを選択する。このコスト計算の判定として、サブブロックの予測誤差とマクロブロックの予測誤差に閾値を与えて判定することができる。さらに、演算量の増加が無視できるほど高い圧縮率が得られる場合にだけサブブロックごとにイントラ予測することができる。このため、演算量が増える一方圧縮率に関する効果が上がらない入力画像データについてサブブロック単位の処理がされることを防ぐことができる。
【００５６】
図９（ａ）、（ｂ）、（ｃ）は、実施形態２の符号化装置の動作を説明するためのフローチャートである。図９（ａ）は、実施形態２のイントラ予測の予測モードを判定する処理を説明するためのフローチャートである。また、（ｂ）は、（ａ）の処理によって判定された予測モードに基づいて予測画像を生成する処理を説明するためのフローチャートである。さらに、（ｃ）は、イントラ予測と並行して実行されるインター予測の処理を説明するためのフローチャートである。
【００５７】
図９（ａ）に示した処理では、先ず、入力画像データが１ＭＢずつ入力される（Ｓ９０１）。入力画像データは、フレームメモリ１０１ａに保存される。そして、イントラ予測部２１１は、フレームメモリ１０１ａに保存されている加工前の入力画像データ（原画像）のうち注目画像ブロックの周辺画像ブロックを読み出す（Ｓ９０２）。実施形態２の画像処理装置は、読み出された周辺画像ブロックを使って予測モード判定のための処理を実行する（Ｓ９０３）。フローチャートにおいて、ステップＳ９０２の処理をイントラ仮予測と記す。
【００５８】
次に、実施形態２では、イントラ予測部２１１が図示しない減算器等を使い、各予測モードを使って生成された予測画像データと入力画像データとの差分を算出する（Ｓ９０４）。なお、この処理は、前述した周辺画像ブロックに含まれる画素の値と注目画像ブロックに含まれる画素の値との差分をとる演算を含むものである。
【００５９】
以上の処理の後、符号化装置は、イントラ予測の処理が１ＭＢ分終了したか否か判断する（Ｓ９０５）。１ＭＢ分の処理が終了した場合（Ｓ９０５：Ｙｅｓ）、実施形態２の符号化装置は、予測モード判定のための演算の結果から、判定の結果選択された予測モードによって予測画像を生成した場合、予めしきい値として設定されている予測誤差以下の予測誤差を得られるか否か判断するための処理（判定用しきい値制御）を実行する（Ｓ９０６）。一般には、ブロックを細かく分割することにより、より効果的な予測を行うことができる。１６個のサブブロックの予測モードの符号コードに割り当てるコストとマクロブロックの予測モードの符号コードに割り当てるコストとの差を閾値として与え、サブブロックの予測誤差に加える。しきい値分を加算したサブブロックの予測誤差とマクロブロックの予測誤差と比較する。（Ｓ９０７）
【００６０】
また、ステップＳ９０６の判定用しきい値制御の結果から、このＭＢを符号化するのに適した予測モード（フローチャートにおいて符号化モードと記す）を判定する（Ｓ９０７）。そして、サブブロックごとにイントラ予測する４×４モードを選択するか否か判断する（Ｓ９０８）。判断の結果、４×４モードを選択しない場合（Ｓ９０８：Ｎｏ）、実施形態１における図５（ｂ）のフローチャートで説明した１ＭＢ単位の予測画像の生成を実行する。
【００６１】
一方、４×４モードを選択する場合（Ｓ９０８：Ｙｅｓ）、予測画像の生成に際し、逆トランスフォームされた周辺画像をサブブロック単位で読出し（Ｓ９１２）、予測画像を生成する（Ｓ９１３）。また、逆量子化、逆トランスフォームといった入力画像データの加工が、サブブロックを単位にして実行される（Ｓ９１５）〜（Ｓ９１９）。
以上述べた実施形態２は、符号化装置と復号化装置とを備えた画像処理装置として構成しても良い。また、符号化装置単体を備えて外部から入力された画像データを符号化し、保存しておくものであってもよい。
【００６２】
実施形態２を画像処理装置として構成すれば、より小さいサイズのブロック画像を使用してより高い圧縮率を得ることができる。また、この際に演算量が増えることのデメリットに代えても良いほど高い圧縮率を得ることが可能な場合にだけブロック画像のサイズを小さくするよう切替えることができる。また、符号化において使用された画像ブロックの大きさと同じ大きさの画像ブロックを使って予測画像を生成することができる。このため、復号側で符号側が意図するとおりの予測画像を生成することができる。
【図面の簡単な説明】
【００６３】
【図１】一般的なイントラ予測を説明するための図である。
【図２】図１に示したイントラ予測において予測モードを選択する方法をより具体的に説明するための図である。
【図３】実施形態１の画像処理装置が備える符号化装置の概要を説明するための図である。
【図４】図３に示した符号化装置１の構成をより詳細に説明するための図である。
【図５】実施形態１の符号化装置の動作を説明するためのフローチャートである。
【図６】実施形態１のイントラ予測と比較するために示した従来のイントラ予測のフローチャートである。
【図７】実施形態１に適用される復号化装置を示した図である。
【図８】実施形態２の符号化装置に適用されるサブブロックを示したものである。
【図９】実施形態２の符号化装置の動作を説明するためのフローチャートである。
【符号の説明】
【００６４】
１  画像処理装置、１０１  メモリ、１０１ａ、１０１ｃ  フレームメモリ、１０２  ＣＰＵ、１０３  予測回路、１０４  イントラ予測制御装置、２０１  符号化制御部、２０２  減算器、２０３  整数トランスフォーム部、２０４  量子化部、２０５  エントロピー符号化部、２０６  逆量子化部、２０７  逆整数トランスフォーム部、２０８  加算器、２０９  デブロッキング・フィルタ、２１１  イントラ予測部、２１４  インター予測部、２１５  ベクトル検出部、２１６  選択器、５０１  エントロピー復号化部
【図１】
2007221420.tif 000003
【図２】
2007221420.tif 000004
【図３】
2007221420.tif 000005
【図４】
2007221420.tif 000006
【図５】
2007221420.tif 000007
【図６】
2007221420.tif 000008
【図７】
2007221420.tif 000009
【図８】
2007221420.tif 000010
【図９】
2007221420.tif 000011