(57)【要約】【課題】符号化に関する適切なモードを決定する。【解決手段】画像をブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、符号化対象ブロックの符号化で利用されるモード及びモードに基づき未符号化ブロックの符号化で利用されるモードを仮決めするモード選択部と、符号化対象ブロックの仮決めされたモード及び未符号化ブロックの仮決めされたモードを用いて符号化対象ブロックのモードを決定し、決定されたモードを用いて未符号化ブロックの仮決めされたモードを修正するモード精査部と、決定された前記符号化対象ブロックのモードを用いて符号化を行う符号化部とを有する。【選択図】図２
2014096679.tif 000002
【特許請求の範囲】
【請求項１】
画像をブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、
符号化対象ブロックの符号化で利用されるモード及び該モードに基づき未符号化ブロックの符号化で利用されるモードを仮決めするモード選択部と、
前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いて前記符号化対象ブロックのモードを決定し、決定された該モードを用いて前記未符号化ブロックの仮決めされたモードを修正するモード精査部と、
決定された前記符号化対象ブロックのモードを用いて符号化を行う符号化部と
を有する画像符号化装置。
【請求項２】
前記モード精査部は、
前記符号化対象ブロックのモードを決定する際、前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いてＲＤ最適化を行い、前記未符号化ブロックの仮決めされたモードを修正する際、前記符号化対象ブロックの決定されたモードを用いてＲＤ最適化を行う請求項１記載の画像符号化装置。
【請求項３】
前記未符号化ブロックは、前記符号化対象ブロックに隣接し、未だ符号化されていないブロックである請求項１又は２記載の画像符号化装置。
【請求項４】
前記未符号化ブロックは、前記符号化対象ブロックの次に符号化されるブロックである請求項３記載の画像符号化装置。
【請求項５】
前記モードは、ＲＤ最適化に関連するパラメータであり、符号化済みブロックのパラメータとの差分を符号化されるパラメータである請求項１乃至４いずれか一項に記載の画像符号化装置。
【請求項６】
前記モードは、イントラ予測方向、動きベクトル、インター予測又はイントラ予測、周波数領域への変換方法、及びループフィルタのフィルタ係数のうち、少なくとも１つを含む請求項１乃至４いずれか一項に記載の画像符号化装置。
【請求項７】
画像をブロックに分割し、ブロック単位で符号化を行うためのコンピュータに、
符号化対象ブロックの符号化で利用されるモード及び該モードに基づき未符号化ブロックの符号化で利用されるモードを仮決めするモード選択ステップと、
前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いて前記符号化対象ブロックのモードを決定し、決定された該モードを用いて前記未符号化ブロックの仮決めされたモードを修正するモード精査ステップと、
決定された前記符号化対象ブロックのモードを用いて符号化を行う符号化ステップと
を実行させる画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４／ＡＶＣ（Advanced Video Coding）（例えば非特許文献１参照）や現在規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などの映像の圧縮符号化方式では、映像の各フレームをブロックと呼ばれる矩形領域に分割して符号化が行われる。符号化処理では、ブロックを単位として動き推定や、画像信号を周波数領域の信号に変換する処理などが行われる。
【０００３】
各ブロックでは、動きベクトル、画面内予測モード、インター予測又はイントラ予測などの符号化で利用される各種モードが決定され、これらのモードも符号化される。従来の符号化方式では、限られた情報量（ビットレート）に対して可能な限り高い画質を得るように、両者のバランスを最適にする処理が施される。例えば、発生する情報量をＲ、原画と局所的に復号された画像との誤差をＤとすると、ＲとＤとの線形和が最小になるようにＲＤ（Rate-Distortion）最適化が行われる。
【０００４】
このＲＤ最適化は、モード情報の選択にも用いられ、単に画質が良くなるだけでなく、モード情報のために発生する情報量も少なくなるように処理される。モード情報の多くは、既に符号化済みの隣接ブロックのモード情報との差分（予測）を符号化する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大久保榮監修，「改訂三版  Ｈ．２６４／ＡＶＣ  教科書」，インプレス  Ｒ＆Ｄ，２００９年１月１日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、符号化対象ブロックのモードが、既に符号化された周辺ブロックのモード情報に依存して選択される。よって、符号化対象ブロックのモードは、発生情報量を減らす観点から、隣接ブロックと類似することが多い。
【０００７】
しかしながら、符号化済みブロックのモードだけに依存して符号化対象ブロックのモードを決定する従来の手法では、画像全体を考慮すれば、必ずしも適切なモードが選択されているとは限らなかった。
【０００８】
そこで、本発明は、未符号化ブロックで仮決めしたモードを用いて符号化対象ブロックのモードを決定することで、適切なモードを決定することができる画像符号化装置及び画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様における画像符号化装置は、画像をブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、符号化対象ブロックの符号化で利用されるモード及び該モードに基づき未符号化ブロックの符号化で利用されるモードを仮決めするモード選択部と、前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いて前記符号化対象ブロックのモードを決定し、決定された該モードを用いて前記未符号化ブロックの仮決めされたモードを修正するモード精査部と、決定された前記符号化対象ブロックのモードを用いて符号化を行う符号化部とを有する。
【００１０】
また、前記モード精査部は、前記符号化対象ブロックのモードを決定する際、前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いてＲＤ最適化を行い、前記未符号化ブロックの仮決めされたモードを修正する際、前記符号化対象ブロックの決定されたモードを用いてＲＤ最適化を行ってもよい。
【００１１】
また、前記未符号化ブロックは、前記符号化対象ブロックに隣接し、未だ符号化されていないブロックであってもよい。
【００１２】
また、前記未符号化ブロックは、前記符号化対象ブロックの次に符号化されるブロックであってもよい。
【００１３】
また、前記モードは、ＲＤ最適化に関連するパラメータであり、符号化済みブロックのパラメータとの差分を符号化されるパラメータであってもよい。
【００１４】
また、前記モードは、イントラ予測方向、動きベクトル、インター予測又はイントラ予測、周波数領域への変換方法、及びループフィルタのフィルタ係数のうち、少なくとも１つを含んでもよい。
【００１５】
また、本発明の他の態様における画像符号化プログラムは、画像をブロックに分割し、ブロック単位で符号化を行うためのコンピュータに、符号化対象ブロックの符号化で利用されるモード及び該モードに基づき未符号化ブロックの符号化で利用されるモードを仮決めするモード選択ステップと、前記符号化対象ブロックの仮決めされたモード及び前記未符号化ブロックの仮決めされたモードを用いて前記符号化対象ブロックのモードを決定し、決定された該モードを用いて前記未符号化ブロックの仮決めされたモードを修正するモード精査ステップと、決定された前記符号化対象ブロックのモードを用いて符号化を行う符号化ステップとを実行させる。
【発明の効果】
【００１６】
本発明によれば、未符号化ブロックで仮決めしたモードを用いて符号化対象ブロックのモードを決定することで、適切なモードを決定することができる。
【図面の簡単な説明】
【００１７】
【図１】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図２】実施例１におけるモード制御部の構成の一例を示すブロック図。
【図３】実施例１におけるモード決定手順の一例を説明する図。
【図４】イントラ予測方向の一例を示す図。
【図５】実施例１における画像符号化処理の一例を示すフローチャート。
【図６】実施例２における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１８】
以下、未符号化ブロックで仮決めしたモードを用いて符号化対象ブロックのモードを決定することで、適切なモードを決定することができる各実施例について、添付図面を参照しながら詳細に説明する。未符号化ブロックとは、正式な符号化処理が行われていないブロックをいう。正式な符号化処理とは、モード決定後の符号化処理であり、発生情報量や画像誤差を調べるための事前の符号化処理を含まない。
【００１９】
［実施例１］
＜構成＞
図１は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図１に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。
【００２０】
前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、ブロック分割なども行う。
【００２１】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００２２】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００２３】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、変換された係数値を示す信号を量子化部１０３に出力する。なお、直交変換の種類が複数ある場合は、いずれの直交変換にするかの決定は、後述するモード制御により行われてもよい。
【００２４】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００２５】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００２６】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００２７】
復号画像生成部１０７は、イントラ予測部１１１で画面内予測された画像あるいはインター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部１０９に出力する。
【００２８】
ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタであり、いずれか又は両方を備えてもよい。
【００２９】
例えば、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、フィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。所定サイズは、例えば、直交変換サイズである。なお、フィルタ係数の決定は、後述するモード制御により行われてもよい。
【００３０】
復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。
【００３１】
イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部１０４に出力される。なお、最適な予測方法の決定は、後述するモード制御により行われてもよい。
【００３２】
インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトルとの差分値をビットストリームに含めるために、差分値がエントロピー符号化部１０４に出力される。なお、動きベクトルの決定は、後述するモード制御により行われてもよい。
【００３３】
動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。
【００３４】
動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００３５】
イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。
【００３６】
予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。なお、予測画像の選択は、後述するモード制御により行われてもよい。
【００３７】
なお、図１に示す画像符号化装置１０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。
【００３８】
＜モード制御部＞
実施例１で用いられるモードは、ＲＤ最適化で用いられるパラメータであり、符号化済みブロックのパラメータとの差分を符号化されるパラメータである。例えば、このモードは、イントラ予測方向、動きベクトル、インター予測又はイントラ予測、周波数領域への変換方法（例えばＤＣＴ又はＤＳＴ）、及びループフィルタのフィルタ係数のうち、少なくとも１つを含む。
【００３９】
以下で説明するモード制御部は、例えばイントラ予測部１１１、インター予測部１１２、又はループフィルタ部１０９などに組み込むことが可能である。
【００４０】
図２は、実施例１におけるモード制御部２０の構成の一例を示すブロック図である。以下では、モード決定に関する処理を主に説明し、モードを符号化するなどのその他の処理は公知の技術を用いればよい。
【００４１】
モード選択部２０１は、前処理部１００からブロック分割された符号化対象ブロックを取得する。モード選択部２０１は、符号化対象ブロックの符号化で利用されるモード及びこのモードに基づき未符号化ブロックの符号化で利用されるモードを仮決めする。
【００４２】
このとき、モード選択部２０１は、仮決めされたモードに伴う発生情報量Ｒを符号量計算部２０２から取得する。この発生情報量Ｒは、例えば仮決めされたモードと、符号化済みブロックのモードとの差分値などから計算される。また、モード選択部２０１は、仮決めされたモードにより符号化及び局所的な復号がされた画像と、原画像との差分を示す誤差Ｄを画像誤差計算部２０３から取得する。
【００４３】
モード選択部２０１は、符号化対象ブロックのモードについては、公知技術と同様にして、符号化済みの隣接ブロックのモードを用いてＲＤ最適化を行ってモードを仮決めする。モード選択部２０１は、以下の式のＥ１を最小化する符号化対象ブロックのモードを決定する。
Ｅ１＝Ｄ＋λ×Ｒ  ・・・式（１）
次に、モード選択部２０１は、仮決めしたモードを用いて、未符号化ブロックの情報と、符号化対象ブロックの情報とを用いてＲＤ最適化を行って、未符号化ブロックのモードを仮決めする。モード選択部２０１は、仮決めした符号化対象ブロックのモードと、仮決めした未符号化ブロックのモードとをモード精査部２０４に出力する。
【００４４】
モード精査部２０４は、仮決めされた符号化対象ブロック及び未符号化ブロックのモードをモード選択部２０１から取得する。また、モード精査部２０４は、符号化対象ブロックに対する発生符号量Ｒｉ及び未符号化ブロックに対する発生符号量Ｒｉ＋１を符号量計算部２０２から取得する。また、モード精査部２０４は、符号化対象ブロックに対する画像誤差Ｄｉ及び未符号化ブロックに対する画像誤差Ｄｉ＋１を画像誤差計算部２０３から取得する。
【００４５】
符号量計算部２０２は、モード選択部２０１により仮決めされたモードに伴う発生情報量を計算する。符号量計算部２０２は、仮決めされたモードでの係数値の情報量やモード自体の情報量（符号化済み隣接ブロックのモードとの差分値）を発生情報量に含める。
【００４６】
このとき、符号量計算部２０２は、ハフマン符号などの簡易的な符号化を行って発生情報量を求めてもよいし、後段で行われるエントロピー符号化後の発生情報量を求めてもよい。
【００４７】
符号量計算部２０２は、符号化対象ブロックの発生情報量Ｒｉと、未符号化ブロックの発生情報量Ｒｉ＋１とを計算し、計算結果をモード選択部２０１やモード精査部２０４に出力する。発生情報量Ｒｉ＋１は、Ｒｉが変わることで変更される可能性があるため、Ｒｉ＋１＝ｆ（Ｒｉ）の関係が成り立つ。
【００４８】
画像誤差計算部２０３は、モード選択部２０１により仮決めされたモードによって符号化及び局所的に復号された画像と、原画像との画像誤差を計算する。
【００４９】
このとき、画像誤差計算部２０３は、符号化対象ブロックの画像誤差Ｄｉと、未符号化ブロックの画像誤差Ｄｉ＋１とを計算し、計算結果をモード選択部２０１やモード精査部２０４に出力する。画像誤差Ｄｉ＋１は、Ｄｉが変わることで変更される可能性があるため、Ｄｉ＋１＝ｇ（Ｄｉ）の関係が成り立つ。
【００５０】
モード精査部２０４は、符号化対象ブロックの仮決めされたモード及び未符号化ブロックの仮決めされたモードを用いて、符号化対象ブロックのモードを最終的に決定する。また、モード精査部２０４は、符号化対象ブロックで決定されたモードを用いて、未符号化ブロックの仮決めされたモードを修正する。
【００５１】
モード精査部２０４は、上記の機能を有するためにモード決定部２４１と、モード修正部２４２とを含む。
【００５２】
具体的には、モード決定部２４１は、符号化対象ブロックのモードを最終決定する際、符号化対象ブロックの仮決めされたモード及び未符号化ブロックの仮決めされたモードを用いてＲＤ最適化を行う。モード決定部２４１は、以下の式のＥ２を最小化する符号化対象ブロックのモードを決定する。
Ｅ２＝（Ｄｉ＋Ｄｉ＋１）＋λ（Ｒｉ＋Ｒｉ＋１）  ・・・式（２）
また、モード修正部２４２は、式（２）により決定されたモードを用いてＲＤ最適化を行って、未符号化ブロックの仮決めされたモードを必要であれば修正する。
【００５３】
モード精査部２０４は、決定したモードを、符号化済みブロックのモードと差分を取り、差分値をエントロピー符号化部１０４に出力する。なお、モード精査部２０４は、決定したモードをエントロピー符号化部１０４に出力し、エントロピー符号化部１０４側で差分を取るようにしてもよい。
【００５４】
モード精査部２０４は、決定した符号化対象ブロックのモードを、後段の符号化部に出力し、後段の符号化部は、決定されたモードを用いて符号化する。後段の符号化部は、例えば、直交変換部１０２や量子化部１０３やエントロピー符号化部１０４である。
【００５５】
＜モード決定手順＞
次に、モード決定手順について説明する。図３は、実施例１におけるモード決定手順の一例を説明する図である。図３に示す例では、画像左上のブロック０から右に走査し、最も右のブロックを走査した場合は、一列下の最も左のブロックから右に走査し、この走査を繰り返すとする。また、図３に示す例では、未符号化ブロックとして、例えば次に符号化するブロックを用いる。
【００５６】
（１）ブロック０のモード決定とブロック１、２のモード仮決定
モード選択部２０１は、最初に走査されるブロック０（例えば画像の一番左上のブロック）は自ブロックのみの情報を用いてモードを決定する。モード選択部２０１は、ブロック０のモードを用いて式（１）によりＲＤ最適化を行って、ブロック１のモードを仮決定する。また、モード選択部２０１は、仮決定したブロック１のモードを用いて式（１）によりＲＤ最適化を行って、ブロック２のモードを仮決定する。
【００５７】
（２）ブロック１のモード決定とブロック２のモード修正
モード決定部２４１は、符号化対象ブロックのブロック１に対し、式（２）によりＲＤ最適化を行って、ブロック１のモードを決定する。モード修正部２４２は、決定されたブロック１のモードを用いて式（１）によりブロック２のモードを修正する。
【００５８】
（３）ブロック３のモード仮決定
モード選択部２０１は、ブロック２の修正されたモードを用いて式（１）によりＲＤ最適化を行って、ブロック３のモードを仮決定する。
【００５９】
（４）ブロック２のモード決定とブロック３のモード修正
モード決定部２４１は、符号化対象ブロックのブロック２に対し、式（２）によりＲＤ最適化を行って、ブロック２のモードを決定する。モード修正部２４２は、決定されたブロック２のモードを用いて式（１）によりブロック３のモードを修正する。
【００６０】
以下、同様の処理を行うことで、未符号化ブロックの情報を考慮しながら、符号化対象ブロックのモードを決定していくことができる。また、未符号化ブロックを符号化対象ブロックの次に符号化されるブロックとすることで、未符号化ブロックに対する処理を最小限に抑えることができる。
【００６１】
なお、モード精査の他の例として、モード精査部２０４は、符号化順で符号化対象ブロックと関連が高く、未符号化ブロックである右、左下、下、右下のブロックも考慮して、式（２）のパラメータを増加させることによりＲＤ最適化を行ってもよい。これにより、大域的に符号化対象ブロックのモードを選択することができる。
【００６２】
ただし、考慮する未符号化ブロックを増加させると、その分だけ符号化対象ブロックのモードの最終決定が遅れてしまうので、どの未符号化ブロックを加えるかは、システムが許容する遅延量を考慮して決定してもよい。
【００６３】
また、精査の回数は１回ではなく２回以上行ってもよい。また、ブロックのモード情報符号化に関係するブロックが左隣のブロックだけではない場合、上述した処理を、関係するブロック全てに拡張すればよい。
【００６４】
＜具体例＞
次に、モードの具体例として、ＨＥＶＣで検討されているイントラ予測の予測方向を例にして説明する。
【００６５】
図４は、イントラ予測方向の一例を示す図である。図４に示す例では、３３通りの予測モード（予測方向）に加え、平均値予測と、平面予測とが加えられる。
【００６６】
この場合、画面内左上のブロック（予測用のブロック）から予測モード決定が開始される。
【００６７】
左上のブロックに関しては、予測に利用する画素が無いので、階調の中間値（８ビットの場合１２８）が予測値となる。そのため、モード情報は存在しない。モード情報の符号化は不要である。
【００６８】
続いて、２つ目のブロックの予測は、左ブロックのみからの予測となる（図３に示す（１）ブロック１）。例えば、２番目のブロックの予測モードが、２番目のブロックの情報を利用して左からの水平９０度方向の予測モードになったとする（図３に示す（１）のブロック１の「仮」）。
【００６９】
続いて、３番目のブロックに関しても、２番目のブロックの情報を利用して予測が行われる。例えば、左斜め上２２．５度からの予測モードに仮決めされたとする（図３に示す（１）のブロック２の「仮」）。
【００７０】
ここで、モード精査部２０４は、２番目のブロックのモード情報を精査するために、３番目の仮予測モードを利用する。２番目のブロックの発生符号量をＲ２、歪（画像誤差）をＤ２、３番目のブロックの発生符号量をＲ３（仮決定した２番目のブロックのモード情報を利用する）、歪をＤ３とする。
【００７１】
モード精査部２０４は、式（２）によりＲＤ最適化Ｅ２＝（Ｄ２＋Ｄ３）＋λ（Ｒ２＋Ｒ３）を最小化することで、モード精査を行う。モード決定部２４１は、このＲＤ最適化により、２番目のブロックの予測モードを最終決定する（図３に示す（２）のブロック１の「決」）。
【００７２】
ここで、モード修正部２４２は、決定された２番目のブロックの予測モードを用いて、式（１）によりＲＤ最適化を行い、３番目のブロックの予測モードを必要であれば修正する。例えば、モード修正部２４２は、決定された２番目のブロックの予測モードを用いてＲＤ最適化を行っても、仮決めされたモードと同じモードが選択されれば、モード修正の必要はない。
【００７３】
また、モード修正部２４２は、決定された２番目のブロックの予測モードを用いてＲＤ最適化を行い、仮決めされた予測モードと異なる予測モードが選択されれば、新たに選択された予測モードを仮決めされた予測モードとして修正する（図３に示す（２）のブロック２の「修」）。
【００７４】
また、モード修正部２４２は、仮決めされた予測モードと、新たに選択された予測モードとが大きく異なる場合にのみ、予測モードを修正するようにしてもよい。モード修正部２４２は、予測モードが大きく異なるか否かについての閾値として、例えば予測方向で±５モード以内であれば異ならないとし、それ以外を異なると判定してもよい。
【００７５】
次に、エントロピー符号化部１０４は、２番目のブロックのモード情報が決定したら、左隣（１番目）のブロックのモード情報との差分を、２番目のブロックのモード情報として符号化する。
【００７６】
４番目以降のブロックについては、上述した処理と同様の処理を行うことで、予測モードの決定、並びにモード情報の符号化を行うことができる。なお、上記実施例では、未符号化ブロックは、モード決定時に用いられるだけであり、モード符号化時には公知の符号化技術を用いればよい。そのため、復号側では、例えば左隣のブロックとの差分信号からモード情報を復号することができる。
【００７７】
なお、上記実施例では、モードとしてイントラ予測モードを例にして説明するが、動きベクトルや、インター予測又はイントラ予測や、スキップブロックにするか否かや、ループフィルタのフィルタ係数などもモードとして適用可能である。
【００７８】
例えば、モードとしては、ＲＤ最適化に関連するパラメータであり、符号化済みブロックのパラメータとの差分を符号化されるパラメータが適用可能である。また、上記で説明したモードのいずれかであれば、図３を用いて上述したように処理を行えば、未符号化ブロックを用いてモードを決定することができるようになる。
【００７９】
例えば、動きベクトルの場合、動き補償されたブロックと原画像のブロックとの差分がＤであり、符号化済みブロックを用いて予測された動きベクトルと符号化対象ブロックの動きベクトルとの差分、及びＤから発生する発生情報量がＲである。
【００８０】
以上の構成を有することにより、実施例１における画像符号化装置１０は、未符号化ブロックで仮決めしたモードを用いて符号化対象ブロックのモードを決定することで、適切なモードを決定することができる。
【００８１】
＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図５は、実施例１における画像符号化処理の一例を示すフローチャートである。図５に示す処理は、符号化のモード符号化に関する処理を説明する。その他の処理は、一般的な画像符号化処理と同様である。
【００８２】
ステップＳ１０１で、モード選択部２０１は、符号化対象ブロックが符号化順で最初のブロックか否かを判定する。符号化対象ブロックは、単に対象ブロックとも称される。対象ブロックが最初のブロックであれば（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、対象ブロックが最初のブロックでなければ（ステップＳ１０１−ＮＯ）ステップＳ１０３に進む。
【００８３】
ステップＳ１０２で、モード選択部２０１は、対象ブロックの情報のみを用いてＲＤ最適化によりモードを決定する。
【００８４】
ステップＳ１０３で、モード選択部２０１は、符号化済みブロックの情報と、対象ブロックの情報とを利用してＲＤ最適化により対象ブロックのモードを仮決定する。
【００８５】
ステップＳ１０４で、対象ブロックの情報と、次ブロックの情報を利用してＲＤ最適化により次ブロックのモードを仮決定する。なお、対象ブロックが最後のブロックで次ブロックが存在しない場合、ステップＳ１０４の処理はスキップされる。
【００８６】
ステップＳ１０５で、モード精査部２０４は、対象ブロックと、次ブロックの両方のＲＤを用いてＲＤ最適化（式（２））により対象ブロックのモードを精査する。この精査処理により、対象ブロックのモードが最終決定されたり、次ブロックのモードが修正されたりする。
【００８７】
ステップＳ１０６で、エントロピー符号化部１０４は、精査されたモードを用いて符号化を行う。
【００８８】
ステップＳ１０７で、モード選択部２０１は、対象ブロックが最後のブロックであるか否かを判定する。対象ブロックが最後のブロックであれば（ステップＳ１０７−ＹＥＳ）この処理を終了し、対象ブロックが最後のブロックでなければ（ステップＳ１０７−ＮＯ）ステップＳ１０８に進む。
【００８９】
ステップＳ１０８で、モード選択部２０１は、対象ブロックを次ブロックに移動し、ステップＳ１０３の処理を開始する。
【００９０】
以上、実施例１によれば、ブロックのモードを決定する際、符号化対象ブロックだけでなく、未符号化ブロックも用いてＲＤ最適化が行われる。これにより、従来では、符号化済みのブロックに依存していたモードが、未符号化ブロックを含めて考慮されることで、より適切なモードが決定されるようになる。
【００９１】
また、モードの最適化を行う例として、遅延時間を考慮して、符号化対象ブロックに隣接した未符号化ブロックを用いる処理を説明したが、この処理に限られない。
【００９２】
例えば、画像内の全ブロックに対して１通りモードの仮決めを行った後、再度モードの精査を行うことが考えられる。この場合は、１画像分の遅延時間が生じるものの、１度決定されたモード情報を基に、再度符号化処理を行うことで符号量の配分をよりよくすることができる。なお、画像符号化装置１０により符号化されたビットストリームは、既存の符号化規格に従うビットストリームとなるので、画像符号化装置１０により符号化されたビットストリームは、既存の画像復号装置により復号可能である。
【００９３】
［実施例２］
図６は、実施例２における画像処理装置３０の構成の一例を示すブロック図である。図６に示す画像処理装置３０は、上述した実施例１で説明した画像符号化処理をソフトウェアで実装した装置の一例である。
【００９４】
図６に示すように、画像処理装置３０は、制御部３０１、主記憶部３０２、補助記憶部３０３、ドライブ装置３０４、ネットワークＩ／Ｆ部３０６、入力部３０７、表示部３０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００９５】
制御部３０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部３０１は、主記憶部３０２又は補助記憶部３０３に記憶された画像符号化処理のプログラムを実行する演算装置である。制御部３０１は、入力部３０７や記憶装置からデータを受け取り、演算、加工した上で、表示部３０８や記憶装置などに出力する。
【００９６】
また、制御部３０１は、画像符号化処理のプログラムを実行することで、実施例１で説明した処理を実現することができる。
【００９７】
主記憶部３０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部３０２は、制御部３０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００９８】
補助記憶部３０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００９９】
ドライブ装置３０４は、記録媒体３０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１００】
また、記録媒体３０５に、所定のプログラムを格納し、この記録媒体３０５に格納されたプログラムはドライブ装置３０４を介して画像処理装置３０にインストールされる。インストールされた所定のプログラムは、画像処理装置３０により実行可能となる。
【０１０１】
ネットワークＩ／Ｆ部３０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置３０とのインターフェースである。
【０１０２】
入力部３０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部３０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部３０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部３０１から入力される表示データに応じた表示が行われる。
【０１０３】
なお、図１に示す復号画像記憶部１１０は、例えば主記憶部３０２又は補助記憶部３０３により実現され、図１に示す復号画像記憶部１１０以外の構成は、例えば制御部３０１及びワークメモリとしての主記憶部３０２により実現されうる。
【０１０４】
画像処理装置３０で実行されるプログラムは、実施例１で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部３０１が補助記憶部３０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部３０２上にロードされ、１又は複数の各部が主記憶部３０２上に生成されるようになっている。
【０１０５】
このように、上述した実施例１で説明した画像符号化処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１で説明した処理を実現することができる。
【０１０６】
また、このプログラムを記録媒体３０５に記録し、このプログラムが記録された記録媒体３０５をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。なお、記録媒体３０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。
【０１０７】
なお、実施例２における画像処理装置３０は、上記の通り、画像符号化装置１０としての機能を有する。
【０１０８】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１０９】
１０  画像符号化装置
３０  画像処理装置
１０４  エントロピー符号化部
１１１  イントラ予測部
１１２  インター予測部
１０９  ループフィルタ部
２０１  モード選択部
２０２  符号量計算部
２０３  画像誤差計算部
２０４  モード精査部
２４１  モード決定部
２４２  モード修正部
【図１】
2014096679.tif 000003
【図２】
2014096679.tif 000004
【図３】
2014096679.tif 000005
【図４】
2014096679.tif 000006
【図５】
2014096679.tif 000007
【図６】
2014096679.tif 000008