(57)【要約】【課題】演算装置にかかる負荷を軽減し、より小型、簡易な構成によって高品質の動画像を提供できる符号化装置を提供する。【解決手段】  画像データの相関値をフレーム間で比較してインター予測画像を生成する動き推定部２１２及び動き補償部２１１、予測結果に基づいてインター予測画像を生成する予測画像生成部２１５、動き推定部２１２及び動き補償部２１１による相関値の比較開始後であって、かつ予測画像生成部２１５によるインター予測画像の生成開始以前に、イントラ予測画像の生成のための演算のモードを決定するイントラ予測部２１３、この予測結果に基づいてイントラ予測画像を生成する予測画像生成部２１５を設けて符号化装置を構成する。【選択図】図１
2007288473.tif 000002
【特許請求の範囲】
【請求項１】
画像データの相関値をフレーム間で比較してインター予測画像を生成するインター予測画像生成手段と、
画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較してイントラ予測画像を生成するイントラ予測画像生成手段と、
前記イントラ予測画像生成手段によるイントラ予測画像の生成のための演算のモードを決定するモード決定手段と、
を備え、
前記モード決定手段は、前記インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、イントラ予測画像の生成のための演算のモードを決定することを特徴とする符号化装置。
【請求項２】
符号化装置と、該符号化装置によって符号化された画像データを復号する復号化装置とを備えた画像処理装置であって、
前記符号化装置は、
画像データの相関値をフレーム間で比較してインター予測画像を生成するインター予測画像生成手段と、
画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較してイントラ予測画像を生成するイントラ予測画像生成手段と、
前記インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、前記イントラ予測画像生成手段によるイントラ予測画像の生成のための演算のモードを決定するモード決定手段と、を備え、
前記復号化装置は、
前記符号化装置によって符号化された画像データを復号する復号手段と、前記復号手段によって復号された画像データと加算される予測画像を生成する予測画像生成手段と、を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置に係り、特にＨ．２６４／ＡＶＣを用いて動画像データを符号化する符号化装置及び画像処理装置に関する。
【背景技術】
【０００２】
現在、携帯電話やＴＶ電話等の小型端末装置において、動画像を符号、復号化する技術が普及している。このような小型端末装置は、当然のことながら携帯するために可能な限り小型、軽量化されることが望ましい。また、装置の普及のためには装置の製造コストを低減して価格を下げる必要がある。
ところで、動画像を符号化する方式の一つに、Ｈ．２６４／ＡＶＣがある。Ｈ．２６４／ＡＶＣには、画像データの相関値をフレーム間で比較して予測画像を生成するインター予測画像生成処理と、相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較して予測画像を生成するイントラ予測画像生成処理とが行われる。Ｈ．２６４／ＡＶＣの処理では、生成されたインター予測画像、イントラ予測画像のいずれか高い圧縮率が得られるものを選択し、選択された画像と符号化の対象となるオリジナル画像との差分を符号化する。
【０００３】
ところで、イントラ予測は、１フレームを分割して得られる所定の数の画素で構成されるブロック画像ごとに行われる。ブロック画像は、１６×１６、８×８、４×４というように、同数の画素を縦、横方向配置して構成される。イントラ予測方式で画像データを符号化する場合、符号化の対象となるブロック画像において配置される画素の例えば縦、または横といった特定の配置方向を定め、この方向に沿って先に符号化された他のブロック画像に含まれる画素の画素値から順次画素値を減算する。
【０００４】
なお、上記した処理において、複数の配置方向のうち、配置方向に沿って減算の結果得られる予測誤差値の総和が最も小さい方向が、予測画像生成の際の減算の方向（予測モード）に設定される。各画素の予測誤差値の総和が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。
【０００５】
このようなイントラ予測は、従来の符号化技術に比べて演算量が大きくなり、処理時間が長くなる上に演算装置にかかる負荷をも増大させる。このため、イントラ予測画像の生成処理にかかる負荷を低減することを目的とした従来技術が従来から提案されている。
イントラ予測に関する従来技術としては、例えば、特許文献１が挙げられる。特許文献１は、このようなイントラ予測の処理において、演算に画像の特性を考慮する、あるいは演算に使用されるデータを間引く等の方法によって演算方向を決定するための処理にかかる負荷を軽減するものである。
【特許文献１】特開２００４−３０４７２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した特許文献１は、本来イントラ予測に使用されるべきデータを間引くことによってイントラ予測の精度を低下させるおそれがある。近年、小型端末装置には益々高画質な画像の提供が要求されていて、特許文献１に記載された技術は、処理速度の高速化のため、このような要求に逆行するものであるとも考えられる。
本発明は、以上の点に鑑みてなされたものであり、イントラ予測の精度を維持したまま処理を効率化することにより、より高速にあるいは小型、簡易な構成によって高品質の動画像を提供できる符号化装置、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するため、本発明の符号化装置は、画像データの相関値をフレーム間で比較してインター予測画像を生成するインター予測画像生成手段と、画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較してイントラ予測画像を生成するイントラ予測画像生成手段と、前記イントラ予測画像生成手段によるイントラ予測画像の生成のための演算のモードを決定するモード決定手段と、を備え、前記モード決定手段が、前記インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、イントラ予測画像の生成のための演算のモードを決定することを特徴とする。
【０００８】
このような発明によれば、画像データの相関値をフレーム間で比較して生成されるインター予測画像、画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較して生成されるイントラ予測画像を生成可能な構成において、インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、イントラ予測画像の生成のための演算のモードを決定することができる。
【０００９】
このため、処理を効率化し、より高速にあるいは小型、簡易な構成によって画像データを符号化することができる符号化装置を提供することができる。また、このような本発明は、処理効率を高めるにあたって処理対象となるデータを間引く等の方法を用いないので、イントラ予測の精度を維持し、高品質の動画像を提供することができる。
また、本発明の画像処理装置は、符号化装置と、該符号化装置によって符号化された画像データを復号する復号化装置とを備えた画像処理装置であって、前記符号化装置が、画像データの相関値をフレーム間で比較してインター予測画像を生成するインター予測画像生成手段と、画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較してイントラ予測画像を生成するイントラ予測画像生成手段と、前記インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、前記イントラ予測画像生成手段によるイントラ予測画像の生成のための演算のモードを決定するモード決定手段と、を備え、前記復号化装置は、前記符号化装置によって符号化された画像データを復号する復号手段と、前記復号手段によって復号された画像データと加算される予測画像を生成する予測画像生成手段と、を備えることを特徴とする。
【００１０】
このような発明によれば、符号化装置において、画像データの相関値をフレーム間で比較して生成されるインター予測画像、画像データの相関値を１フレーム分の画像データを分割して得られるブロック画像間で比較して生成されるイントラ予測画像を生成可能な構成において、インター予測画像生成手段による相関値の比較開始後であって、かつインター予測画像の生成開始以前に、イントラ予測画像の生成のための演算のモードを決定することができる。
【００１１】
そして、生成されたイントラ予測画像を使って対象となる画像データを符号化し、復号化装置側で復号することができる。
このため、処理を効率化し、より高速にあるいは小型、簡易な構成によって画像データを符号化し、復号化することができる画像処理装置を提供することができる。また、このような本発明は、処理効率を高めるにあたって処理対象となるデータを間引く等の方法を用いないので、イントラ予測の精度を維持し、高品質の動画像を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照して本発明に係る符号化装置、画像処理装置の実施の形態１を説明する。
図１は、本実施形態の符号化装置の構成を説明するための図である。符号化装置は、外部から入力された符号化の対象となる画像データ（入力画像データ）を１マクロブロックずつ順次入力する。そして、入力画像データと、この入力画像データを予測した予測画像データとの差分である予測誤差を符号化する符号化装置である。
【００１３】
符号化装置は、ソフトウェアとハードウェアとが共同して動作する構成であって、ソフトウェア処理する構成を図中にプロセッサ１、ハードウェア構成をアクセラレータ２と記す。
プロセッサ１は、予測画像から入力した画像データを減算する減算器２０２、減算値をアダマール変換あるいはＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）処理する直行変換部２０３、直行変換部２０３で処理されたデータを量子化する量子化部２０４、量子化された画像データを符号化する可逆符号化部２０５を備えている。
【００１４】
また、イントラ予測、インター予測では、より正確に予測画像を予測するため、復号された状態の画像データを使ってインター予測及びイントラ予測する。このため、アクセラレータ２は、いったん量子化された画像データを逆量子化する逆量子化部２０６、先に行われたアダマール変換やＤＣＴの処理と逆の処理する逆直行変換部２０７、逆直行変換部２０７によって処理されたデータに予測画像をたし合わせる加算器２０８を備えている。
【００１５】
アクセラレータ２は、加算器２０８で加算された画像データのブロックノイズの発生を抑制するデブロックフィルタ（Ｄｅｂｌｏｃｋｉｎｇ  Ｆｉｌｔｅｒ）部２０９を備えている。デブロックフィルタ部２０９は、直行変換のブロック境界のみを平滑化するものである。
また、アクセラレータ２は、加算器２０８において加算された画像データを蓄積するフレーム蓄積部２１０を有している。フレーム蓄積部２１０は、インター予測画像の生成（インター予測を含む）用のデータを蓄積するフレームメモリである。さらに本実施形態の符号化装置は、フレーム蓄積部２１０に保存されている画像データを使ってインター予測する動き補償部２１１及びインター予測処理に必要な動きベクトルの検出をする動き推定部２１２を備えている。動き補償部２１１は、動き推定部２１２によって検出された動きベクトルに基づいて入力された画像データとの絶対値差分和の最小値（コストとも記す）に関するデータを生成する。
【００１６】
また、本実施形態の符号化装置は、イントラ予測を実行するイントラ予測部２１３を備えている。本実施形態のイントラ予測部２１３は、入力画像データをマクロブロック単位で入力し、データを間引くことなく予測画像データの圧縮率を演算する。
なお、イントラ予測部２１３は、マクロブロック単位の演算の複数の種別（イントラ予測のモードと記す。現状ではイントラ予測のモードは８個ある。）のうち、最も高い圧縮率が得られるイントラ予測のモードを選択する。そして、選択されたイントラ予測のモードに関する情報を外部に出力する。
【００１７】
インター予測とは、画像データのフレーム間の相関に基づいて予測画像を得る処理である。フレーム間の相関は、動きベクトルの検出によって行われる。また、イントラ予測とは、入力画像データを、１フレーム分の画像データを分割して得られるブロック画像（マクロブロック）間の相関に基づいて予測画像を得る処理である。なお、インター予測、イントラ予測のいずれもが公知の技術であるので、ここではこれ以上の説明を省くものとする。
【００１８】
さらに、アクセラレータ２は、モード判定部２１４、予測画像生成部２１５を備えている。モード判定部２１４は、動き補償部２１１から出力されたコスト及び動きベクトル、イントラ予測部２１３から出力したイントラ予測モードを入力し、インター予測またはイントラ予測を選択する。インター予測またはイントラ予測の選択は、インター予測またはイントラ予測のうち符号化後の画像データの圧縮率がより高いもの、すなわち予測画像の入力画像に対する予測誤差がより少ないものを選択することによって行われる。
【００１９】
予測画像生成部２１５は、モード判定部２１４によって選択されたインター予測画像またはイントラ予測画像を生成する。なお、図示していないが、予測画像生成部２１５には動き補償部２１１に入力される画像データ、イントラ予測部２１３に入力される画像データが入力されている。
また、図１の構成において、イントラ予測部２１３は加算器２０８によって加算された画像データをデブロックフィルタ部２０９の直前で分岐して入力するものとした。このような構成においては、イントラ予測部２１３の内部または直前に少なくとも１マクロブロック分の画像データを保存するメモリが設けられる。また、本実施形態は、イントラ予測に入力画像データを使用することも考えられる。
【００２０】
このような本実施形態の符号化装置は、インター予測画像とイントラ予測画像の両方を生成し、いずれか一方が選択されて符号化に使用される。インター予測は、フレーム間で画像データの相関を比較するため、フレーム蓄積部２１０に１フレーム分の画像データが保存されるまで実行することができない。
一方、イントラ予測は、マクロブロック単位で入力画像データを処理するため、１回のイントラ予測がインター予測よりも短時間のうちに完了する。本発明は、この点に着目してなされたものであって、インター予測の処理の間にイントラ予測及びイントラ予測に基づくマクロブロック単位のイントラ予測画像生成をする。
【００２１】
このような本実施形態によれば、イントラ予測画像の生成をインター予測画像の処理待ちの間に実行することによって符号化装置の各機能を有効に利用することができる。各機能部を有効利用することは、より高速にあるいは小型、簡易な構成によって画像データを符号化できる符号化装置を提供することができる。
また、本実施形態は、イントラ予測に使用されるデータ数を低減する等の手法を用いないため、イントラ予測の精度を維持したまま処理を効率化することができる。したがって、処理効率を高めながら高品質の動画像を提供することができる。
【００２２】
図２は、図１に示した各構成と機能との関係を説明するための図である。アクセラレータ２は、入力画像データと、入力画像データの相関値をフレーム間で比較するＩｎｔｅｒ予測コスト計算部１０５、Ｉｎｔｅｒ予測コスト計算部１０５の予測結果に基づいてインター予測画像を生成するＩｎｔｅｒ予測画像生成部１０６を備えている。なお、相関値の比較は、動きベクトルの検出によって行われる。Ｉｎｔｅｒ予測コスト計算部１０５及びＩｎｔｅｒ予測画像生成部１０６は、本実施形態のインター予測画像生成手段として機能する。
【００２３】
また、アクセラレータ２は、Ｉｎｔｅｒ予測コスト計算部１０５による相関値の比較のための処理開始後であって、かつＩｎｔｅｒ予測画像生成部１０６によるインター予測画像の生成開始以前に、イントラ予測画像生成手段によるイントラ予測画像の生成のための演算のモードを決定するＩｎｔｒａ予測コスト計算部１０７、決定したイントラ予測モードによってイントラ予測画像を生成するＩｎｔｒａ予測画像生成部１０８を備えている。Ｉｎｔｒａ予測コスト計算部１０７は、本実施形態のモード決定手段として機能する。
【００２４】
図２に示したアクセラレータ２の構成のうち、プロセッサ１０１は上記したアクセラレータ２の機能を統括的に制御するためのプロセッサ１より小型のプロセッサである。プロセッサ１０１は、モード判定部２１４として機能するものであってもよい。また、ローカルバッファ１０３は、各機能が処理を実行する際のワークエリア等として利用するメモリである。アクセラレータ２とバスＢによって接続される外部のメモリ１０２は、アクセラレータが生成した予測画像を受け取るメモリである。
【００２５】
本実施形態では、図１に示した動き補償部２１１及び動き推定部２１２がＩｎｔｅｒ予測コスト計算部１０５に相当する。また、イントラ予測部２１３がＩｎｔｒａ予測コスト計算部１０７に相当する。さらに、予測画像生成部２１５がＩｎｔｒａ予測画像生成部１０８及びＩｎｔｅｒ予測画像生成部１０６に相当する。
次に、図３のフローチャートを用い、以上述べた本実施形態の符号化装置の動作を説明する。本実施形態の符号化装置は、プロセッサ１からアクセラレータ２に対し、インター予測、イントラ予測のいずれによって画像データを符号化すべきか予測するコマンドが発行されたことによって開始する。
【００２６】
アクセラレータ２は、コマンドを受け取った後、入力画像データ及び逆量子化された差分の画像データを入力する。そして、予測画像のモードを判定する並列処理Ａを実行する（ＳＡ）。並列処理Ａにあっては、動き補償部２１１によるインター予測（Ｓ３０１）、イントラ予測部２１３によるイントラ予測（Ｓ３０２）及び予測画像生成部２１５によるイントラ予測画像の生成（Ｓ３０３）が並列に実行される。
【００２７】
インター予測とイントラ予測及びイントラ予測画像の並列処理は、図１で述べたように、フレーム蓄積部２１１と、加算器２０８で加算された画像データを蓄積するメモリとを別個に設けることによって簡単に実現できる。また、イントラ予測及びイントラ予測画像の生成に入力画像データを使用することによっても可能になる。
モード判定部２１４は、ステップＳ３０１において予測されたインター予測画像を使った場合の予測誤差の最小値と、ステップＳ３０２において予測されたイントラ予測モードによって生成されたイントラ予測画像の絶対値差分和とを比較する。そして、符号化後の画像データの圧縮率がより高くなる方式としてインター予測、イントラ予測の一方を選択する。さらに、選択されたインター予測またはイントラ予測のモードを予測画像の生成に適用されるモードに決定する（Ｓ３０４）。
【００２８】
本実施形態では、モード判定部２１４がモードをインター予測に決定した場合（Ｓインター）、予測画像生成部２１５は、フレーム間の動きベクトル、処理に使用されたブロック画像のサイズ、参照されるフレーム画像の番号等のパラメータにしたがってインター予測画像を生成する（Ｓ３０５）。生成されたインター予測画像は、減算器２０２に転送されて入力画像データと減算される。
【００２９】
また、本実施形態では、インター予測画像と共にフレーム間の動きベクトル、予測のモード、参照されるフレーム画像の番号を含む情報をパラメータとして出力するものとする。この情報は、符号化された画像データを復号側で復号する際に必要な情報であって、符号化装置から出力される符号化された予測誤差のデータに付加される。
また、モード判定部２１４がモードをイントラ予測に決定した場合（Ｓイントラ）、予測画像生成部２１５は、ステップＳ３０２において決定されたイントラ予測のモードにしたがい、ステップＳ３０３において生成されたイントラ予測画像を減算器２０２に転送する（Ｓ３０６）。本実施形態では、イントラ予測画像と共にイントラ予測画像の生成に使用されたイントラ予測のモードを含むパラメータが出力される。パラメータは、符号化された画像データを復号側で復号する際に必要な情報であって、符号化装置から出力される符号化された予測誤差のデータに付加される。
【００３０】
以上述べた本実施形態は、インター予測画像をするために１フレーム分の画像データがフレーム蓄積部２１０に蓄積されるまでの間にイントラ予測及びイントラ予測画像の生成を完了することができる。このため、モード判定部２１５がモードをイントラ予測に決定した場合、改めてイントラ予測画像を生成することなく生成されているイントラ予測画像を減算器２０２に転送することができる。
【００３１】
また、モード判定部２１５がモードをインター予測に決定した場合、生成されたイントラ予測画像を廃棄して改めてインター予測画像を生成すればよい。このような場合にあっても、廃棄されるイントラ予測画像はインター予測の間に生成されたものである。したがって、イントラ予測画像生成のために符号化の処理時間が長くなること、あるいは処理効率の低下は起こらない。
【００３２】
なお、以上述べた本実施形態では、ステップＳ３０４においてモードが決定してからインター予測画像を生成しているが、本実施形態はこのような構成に限定されるものではない。すなわち、従来の通りモード決定の以前にインター予測画像を生成し、先に生成されたイントラ予測画像と比較して一方を符号化に使用した場合にも、本実施形態はイントラ予測画像を改めて生成する必要がない。したがって、本発明は、符号化装置の処理効率を高める効果を奏する。
【００３３】
図４は、以上述べた本実施形態の符号化装置の特徴と比較するために示した従来の構成の動作を示すフローチャートである。従来構成では、インター予測の後（Ｓ４０１）、予測結果に基づいてインター予測画像が生成される（Ｓ４０２）。続いて、イントラ予測を実行し（Ｓ４０３）、実行の結果イントラ予測のモードを決定する。そして、決定したモードにしたがってイントラ予測画像を生成する（Ｓ４０４）。
【００３４】
生成されたインター予測画像、イントラ予測画像は、モード判定部に入力される。そして、モード判定部がインター予測画像、イントラ予測画像のうちいずれか一方をモードに決定する（Ｓ４０５）。モード判定部は、選択したモードにしたがってインター予測画像またはイントラ予測画像を減算器に転送する（Ｓ４０６、Ｓ４０７）。符号化装置は、転送された予測画像を入力画像データと減算されるものとして得る（Ｓ４０８）。
【００３５】
このような従来例は、インター予測画像を生成した後に改めてイントラ予測画像を生成することが必要である。このような従来例に比べ、インター予測画像を生成する間にイントラ予測画像を生成する本実施形態の符号化装置は、予測画像を生成する処理にかかる時間や機能部の負荷を軽減することができる。
以上述べた本実施形態の符号化装置は、符号化装置単独で機器等に設けることが可能である。また、符号化装置と組み合わせて画像処理装置を構成することも可能である。図５に復号化装置の一例を示す。なお、図５に示した構成のうち、図１で説明した構成と同様の構成については同様の符号を付し、説明を一部略すものとする。
【００３６】
図示した復号化装置は、先に述べた本実施形態の符号化装置によって符号化された予測誤差データを復号する復号部５０１と、復号部５０１によって復号された画像データと加算される予測画像を生成するための逆量子化部２０６、逆直行返還部２０７、デブロックフィルタ部２０９、フレーム蓄積部２１０、予測画像生成部２１５、モード判定部２１４を備えている。
【００３７】
なお、復号化装置には、一般にインター予測、イントラ予測の結果が符号化されたデータと共に入力される。このため、独自にインター予測、イントラ予測をする必要がなく、符号化装置のようにインター予測の間にイントラ予測をする構成を要するものではない。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態の符号化装置の構成を説明するための図である。
【図２】図１に示した各構成と機能との関係を説明するための図である。
【図３】本発明の一実施形態の符号化装置の動作を説明するためのフローチャートである。
【図４】本発明の一実施形態の符号化装置の特徴と比較するために示した従来の構成の動作を示すフローチャートである。
【図５】本発明の一実施形態の復号化装置の構成を説明するための図である。
【符号の説明】
【００３９】
１，１０１  プロセッサ、２  アクセラレータ、１０２  メモリ、１０３  ローカルバッファ、１０５  Ｉｎｔｅｒ予測コスト計算部，１０６  Ｉｎｔｅｒ予測画像生成部，１０７  Ｉｎｔｒａ予測コスト計算部、１０８  Ｉｎｔｒａ予測画像生成部、２０１  符号化制御部、２０２  減算器、２０３  直行変換部、２０４  量子化部、２０５  可逆符号化部、２０６  可逆量子化部、２０７  逆直行変換部、２０８  加算器、２０９  デブロックフィルタ部、２１０  フレーム蓄積部、２１１  動き補償部、２１２  動き推定部、２１３  イントラ予測部、２１４  モード判定部、２１５  予測画像生成部、５０１  復号部
【図１】
2007288473.tif 000003
【図２】
2007288473.tif 000004
【図３】
2007288473.tif 000005
【図４】
2007288473.tif 000006
【図５】
2007288473.tif 000007