(57)【要約】  画像が周波数領域に変換されて符号化されているＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する予測モード推定部２とを設け、Ｈ．２６４符号化部３が予測モード推定部２により推定された予測モードを用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化してＨ．２６４ストリームを生成する。
2009113276.tif 000002
【特許請求の範囲】
【請求項１】
画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、上記画像の周波数成分の信号を取得する周波数成分信号取得手段と、上記周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段と、上記画面内予測方向推定手段により推定された画面内予測の方向を用いて、上記周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成する符号化手段とを備えた画像符号化方式変換装置。
【請求項２】
画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、低周波成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項３】
画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、直流成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項４】
画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号の中に高周波成分の信号が含まれているか否かを判定し、高周波成分の信号が含まれていない場合には、直流成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項５】
画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号の中に高周波成分の信号が含まれているか否かを判定し、高周波成分の信号が含まれていない場合には、推定する画面内予測の方向を絞り込むことを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項６】
第１の符号化方式がＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項７】
第１の符号化方式がＭＰＥＧ−１方式、ＭＰＥＧ−２方式又はＭＰＥＧ−４方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項８】
周波数成分信号取得手段により取得された周波数成分の信号を記憶する周波数成分記憶手段と、画面内予測方向推定手段により推定された画面内予測の方向を記憶する画面内予測方向記憶手段と、上記周波数成分信号取得手段により取得された最新の周波数成分の信号と上記周波数成分記憶手段に記憶されている前回の周波数成分の信号とを比較して、上記画面内予測方向推定手段における画面内予測方向の推定処理の実施の必要性を判定し、上記画面内予測方向の推定処理を実施する必要があると判定すれば、上記画面内予測方向の推定処理を上記画面内予測方向推定手段に実施させる一方、上記画面内予測方向の推定処理を実施する必要がないと判定すれば、上記画面内予測方向記憶手段に記憶されている画面内予測の方向を符号化手段に出力させる推定処理判定手段とを設けたことを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項９】
推定処理判定手段は、周波数成分信号取得手段により取得された最新の周波数成分の信号及び周波数成分記憶手段に記憶されている前回の周波数成分の信号のうち、低周波成分の信号を用いて、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
【請求項１０】
推定処理判定手段は、周波数成分信号取得手段により取得された最新の周波数成分の信号及び周波数成分記憶手段に記憶されている前回の周波数成分の信号のうち、直流成分の信号を用いて、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
【請求項１１】
推定処理判定手段は、画面内予測方向の推定処理を実施する必要がないとする判定が規定回数連続している場合、上記画面内予測方向の推定処理を実施する必要がないと判定しても、上記画面内予測方向の推定処理を画面内予測方向推定手段に実施させることを特徴とする請求項８記載の画像符号化方式変換装置。
【請求項１２】
推定処理判定手段は、画面内予測方向記憶手段に記憶されている画面内予測の方向を考慮して、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
【請求項１３】
画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、画面内予測に利用する周波数成分を算出し、上記周波数成分から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
【請求項１４】
画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームを復号して、上記画像の画素信号と周波数成分の信号を取得する信号取得手段と、上記信号取得手段により取得された画素信号及び周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段と、上記画面内予測方向推定手段により推定された画面内予測の方向を用いて、上記信号取得手段により取得された画素信号を符号化して第２の符号化方式の符号化ストリームを生成する符号化手段とを備えた画像符号化方式変換装置。
【請求項１５】
画面内予測方向推定手段は、信号取得手段により取得された画素信号を上記信号取得手段により取得された周波数成分の信号と異なる第２の周波数成分の信号に変換し、上記第２の周波数成分の信号から画面内予測の方向を推定することを特徴とする請求項１４記載の画像符号化方式変換装置。
【請求項１６】
画面内予測方向推定手段は、第２の周波数成分の信号のうち、低周波成分の信号から画面内予測の方向を推定することを特徴とする請求項１５記載の画像符号化方式変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の符号化方式を変換する画像符号化方式変換装置に関するものである。
【背景技術】
【０００２】
近年、画像を圧縮して符号化する技術が広く用いられている。
画像符号化方式の代表的なものとしては、主にデジタルカメラなどで用いられるＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化するＭｏｔｉｏｎＪＰＥＧと呼ばれる方式がある。ＭｏｔｉｏｎＪＰＥＧ方式はＭＪＰＥＧ方式やＭ−ＪＰＥＧ方式と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）と呼ばれる方式もある。
また、携帯端末向けの地上デジタル放送、いわゆるワンセグ放送に採用されている方式であるＨ．２６４方式もある。
以上のように、画像符号化方式には様々な方式があり、一般に、異なる画像符号化方式には互換性がない。【０００３】
ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
しかし、例えば、市販されているＤＶＤプレーヤでは、ＭＰＥＧ−２方式以外の方式には対応することができず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難な場合がある。
一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に要する時間や、変換後の画像の品質が問題になる。【０００４】
例えば、以下の特許文献１に開示されている画像符号化方式変換装置では、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換する手法が開示されている。
即ち、この画像符号化方式変換装置では、ＪＰＥＧ方式とＭＰＥＧ−４方式の双方がＤＣＴ係数を圧縮に用いていることを利用し、直流（ＤＣ：Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）成分の変換とハフマンコードの変換によって、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換するようにしている。
しかし、Ｈ．２６４方式ではＤＣＴ係数が用いられないので、この画像符号化方式変換装置では、Ｈ．２６４方式の変換に適用することができない。【０００５】
また、Ｈ．２６４方式では画面内予測と呼ばれる技術が用いられているが、ＪＰＥＧ方式やＭＰＥＧ−２方式では画面内予測と呼ばれる技術は用いられない。
特に、Ｈ．２６４方式で採用されている画面内予測における予測モードの決定処理において、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＴＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）は非常に演算量が大きいとされている。【０００６】
そこで、非特許文献１，２では、変換前のＭＰＥＧ−２のＤＣＴ係数を利用し、Ｈ．２６４方式の画面内予測における予測モードを絞り込むことで、高速な変換を行う方法を開示している。
ただし、非特許文献１，２では、１６×１６予測において、予測モードを決定するようにしているが、全てのＤＣＴ係数を使用する場合があり、この場合には、非常に多くの演算量を要することになる。
なお、４×４予測においては、予測方向の絞込みを行うだけで、完全には予測方法を決定していない。【０００７】
非特許文献３では、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換し、変換した４×４ＤＣＴ係数から予測モードを決定する方法を開示している。
ただし、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換する演算量は非常に大きなものとなる。【０００８】
【特許文献１】特開２００４−１８６８１１号公報
【非特許文献１】「A fast Intra Mode Decision Algorithm for MPEG-2 to H.264 Video Transcoding」Consumer Electronics, 2006. ISCE '06. 2006 IEEE Tenth International Symposium on 2006 Page(s):1 - 5
【非特許文献２】「Fast Intra Prediction Mode Decision for MPEG-2 to H.264 Transcoding」Multimedia and Expo, 2007 IEEE International Conference on2-5 July 2007 Page(s):428 - 431
【非特許文献３】「Fast Intra Mode Decision Method for MPEG to H.264 Transcoding」Image Processing, 2006 IEEE International Conference on8-11 Oct. 2006 Page(s):833 - 836
【０００９】
従来の画像符号化方式変換装置は以上のように構成されているので、非特許文献１〜３では、Ｈ．２６４方式を画像符号化方式の変換対象に含めることができるが、画像符号化方式を変換する際の演算量が非常に大きくなるなどの課題があった。【００１０】
この発明は上記のような課題を解決するためになされたもので、少ない演算量で画像符号化方式を変換することができる画像符号化方式変換装置を得ることを目的とする。
【発明の開示】
【００１１】
この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するようにしたものである。
【００１２】
この発明によれば、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による画像符号化方式変換装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。
【図３】１６×１６予測モードにおける４つの予測モードを示す説明図である。
【図４】４×４予測モードにおける９つの予測モードを示す説明図である。
【図５】画像の符号化対象のブロックＣ0０〜Ｃ0３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。
【図６】画像の符号化対象のブロックＣ1０〜Ｃ1１５と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。
【図７】４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。
【図８】４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
【図９】４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
【図１０】４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
【図１１】この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。
【図１２】この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。
【図１３】この発明の実施の形態３による画像符号化方式変換装置を示す構成図である。
【図１４】静止画像と動画像の関係を示す説明図である。
【図１５】現在のフレームの符号化対象ブロックＡ0０〜Ａ0３と１フレーム前の同一位置の符号化対象ブロックＢ0０〜Ｂ0３を示す説明図である。
【図１６】この発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。
【図１７】この発明の実施の形態４による画像符号化方式変換装置を示す構成図である。
【図１８】この発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。
【図１９】現在のフレームの符号化対象ブロックＡ0０〜Ａ0３と、その周辺ブロックＲＡ０〜ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ0０〜Ｂ0３と、その周辺ブロックＲＢ０〜ＲＢ５とを示す説明図である。
【図２０】この発明の実施の形態６による画像符号化方式変換装置を示す構成図である。
【図２１】この発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。
【図２２】４×４予測モードのときの１フレーム前の符号化対象ブロックＢ1０〜Ｂ1１５とその周辺のブロックＲＢ０〜ＲＢ５と、現在のフレームの符号化対象ブロックＡ0０〜Ａ0３とその周辺のブロックＲＡ０〜ＲＡ５とを示す説明図である。
【図２３】画像の符号化対象ブロックＣ0０〜Ｃ0３と、その周辺のブロックＲ０〜Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。
【図２４】この発明の実施の形態８による画像符号化方式変換装置を示す構成図である。
【図２５】４×４予測モードにおける予測モードの選択及び絞込み処理を示すフローチャートである。
【図２６】４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
【図２７】４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
【図２８】４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。
【図２９】符号化対象の４×４ブロックＣ1ｎと、その周辺の画素ａ〜ｉを示す説明図である。
【発明を実施するための最良の形態】
【００１４】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ簡易復号部１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ簡易復号部１は周波数成分信号取得手段を構成している。【００１５】
予測モード推定部２はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２は画面内予測方向推定手段を構成している。
Ｈ．２６４符号化部３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２により推定された予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化して、Ｈ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部３は符号化手段を構成している。
図２はこの発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。【００１６】
次に動作について説明する。
この実施の形態１では、第１の符号化方式がＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式である例を説明する。
ただし、これは単なる一例に過ぎず、類似する他の方式であっても適用することができることは言うまでもない。例えば、第１の符号化方式がＭＰＥＧ−１方式、ＭＰＥＧ−２方式又はＭＰＥＧ−４方式であってもよい。
なお、Ｈ．２６４方式は時間方向の圧縮も可能であるが、この実施の形態１では、画面内圧縮方式のみを対象とする。【００１７】
最初に、ＪＰＥＧ方式及びＨ．２６４方式について簡単に説明する。
ＪＰＥＧ方式は、画像を８×８のブロックに分割して、各ブロックに対するＤＣＴ変換を実施し、ＤＣＴ変換を実施することにより得られるＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を可変長符号化する方式である。
一般に、ＤＣＴ係数を量子化する際、高周波成分に対する量子化係数を大きくして、高周波成分をカットすることにより、圧縮効率を高めている。【００１８】
Ｈ．２６４方式では、画像を１６×１６のブロック（マクロブロック）に分割し、マクロブロック毎に、１６×１６予測を行うか、４×４予測を行うかを選択する。
この予測は、既に符号化された隣接する画素から予測画像を作成し、符号化対象の画像と予測画像の差分を取ることを意味する。
即ち、Ｈ．２６４方式では、上記の予測を１６×１６ブロック領域（１６×１６予測モード）で行うか、４×４ブロック領域（４×４予測モード）で行うかを選択する。【００１９】
１６×１６予測モードには４つの予測モードがあり（図３を参照）、４×４予測モードには９つの予測モードがあり（図４を参照）、隣接するどの画素から予測を行うかを選択することができる。
この予測処理により、取られた差分に対して、整数精度で周波数領域への変換を実施し、その変換により得られる係数を量子化する。この適応的な予測処理を行うことにより、圧縮効率を高めている。
しかし、この予測モードの選択は、非常に演算量が多い処理である。
この実施の形態１では、ＪＰＥＧ方式のＤＣＴ係数を利用することで、予測モードの推定を高速に行う。【００２０】
以下、図１の画像符号化方式変換装置の処理内容を詳細に説明する。
ＪＰＥＧ簡易復号部１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式のＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する。
通常のＪＰＥＧ復号では、得られたＤＣＴ係数に対してＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）処理を実施して画素の値に復号するが、ＪＰＥＧ簡易復号部１ではＩＤＣＴ処理を実施せず、得られたＤＣＴ係数を予測モード推定部２に出力し、ヘッダ情報をＨ．２６４符号化部３に出力する。【００２１】
予測モード推定部２は、ＪＰＥＧ簡易復号部１からＤＣＴ係数を受けると、そのＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する。
以下、予測モード推定部２の処理内容を具体的に説明する。【００２２】
図５は画像の符号化対象のブロックＣ0０〜Ｃ0３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。なお、ブロックＣ0０〜Ｃ0３，Ｒ０〜Ｒ５は、いずれも８×８のブロックである。
１６×１６予測モードにおける予測モード０（垂直予測）が効率的である状況（Ｈ．２６４方式において、予測モード０を利用するのが適正である状況）は、ブロックＲ０の最下部の８画素とブロックＣ0０，Ｃ0２の画素が近く、ブロックＲ１の最下部の８画素とブロックＣ0１，Ｃ0３の画素が近い場合である。
また、１６×１６予測モードにおける予測モード１（水平予測）が効率的である状況（Ｈ．２６４方式において、予測モード１を利用するのが適正である状況）は、ブロックＲ２の最右端の８画素とブロックＣ0０，Ｃ0１の画素が近く、ブロックＲ３の最右端の８画素とブロックＣ0２，Ｃ0３の画素が近い場合である。【００２３】
１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況（Ｈ．２６４方式において、予測モード２を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素と、ブロックＲ４の右下１画素との平均値が、ブロックＣ0０〜Ｃ0３の全ての画素の平均値に近い場合である。
また、１６×１６予測モードにおける予測モード３（平面予測）が効率的である状況（Ｈ．２６４方式において、予測モード３を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の８画素と、ブロックＲ２，Ｒ３の最右端の８画素と、ブロックＲ４の右下の画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ0０〜Ｃ0３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ0０〜Ｃ0３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。【００２４】
そこで、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を下記の式（１）及び式（２）に示す評価関数に代入して、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出する（図２のステップＳＴ１）。
【数１】
2009113276.tif 000003
【００２５】
ただし、ＤＣＴ＿Ｃ0０i,j，ＤＣＴ＿Ｃ0１i,j，ＤＣＴ＿Ｃ0２i,j，ＤＣＴ＿Ｃ0３i,j，ＤＣＴ＿Ｒ０i,j，ＤＣＴ＿Ｒ１i,j，ＤＣＴ＿Ｒ２i,j，ＤＣＴ＿Ｒ３i,jは、それぞれブロックＣ0１，Ｃ0２，Ｃ0３，Ｃ0４，，Ｒ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
また、ｋは計算に用いる係数であり、ここでは、０≦ｋ≦７であるとする。因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定することを意味する。また、ｋ＝１又はｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。ここでは、ｋ＝１又はｋ＝２とすれば、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味するとしたが、例えば、ｋ＝３としても、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。
ｗ16×16_DC0，ｗ16×16_DC1，ｗ16×16_DC2，ｗ16×16_DC3，ｗi，ｗjは重みである。【００２６】
評価値Ｃｏｓｔ16×16_0は、ブロックＣ0０，Ｃ0２とブロックＲ０の水平方向の変化及びブロックＣ0１，Ｃ0３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
また、評価値Ｃｏｓｔ16×16_1は、ブロックＣ0０，Ｃ0１とブロックＲ２の垂直方向の変化及びブロックＣ0２，Ｃ0３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。【００２７】
予測モード推定部２は、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出すると、評価値Ｃｏｓｔ16×16_0と閾値ｔｈ16×16_0を比較するとともに（ステップＳＴ２）、評価値Ｃｏｓｔ16×16_1と閾値ｔｈ16×16_1を比較する（ステップＳＴ３，ＳＴ４）。
Ｃｏｓｔ16×16_0≦ｔｈ16×16_0                                  （３）
Ｃｏｓｔ16×16_1≦ｔｈ16×16_1                                  （４）【００２８】
予測モード推定部２は、式（３）又は式（４）の少なくとも一方が成立する場合、１６×１６ブロックの単位で充分に周辺画素に近いと判断し、１６×１６予測モードにおける何れかの予測モードを利用するものと決定する。
一方、式（３）と式（４）の双方が成立しない場合、Ｈ．２６４方式における予測モードとして、４×４予測モードにおける何れかの予測モードを利用するものと決定する（ステップＳＴ５）。【００２９】
予測モード推定部２は、式（３）のみが成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定する（ステップＳＴ６）。
また、式（４）のみが成立する場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ７）。
予測モード推定部２は、式（３）と式（４）の双方が成立する場合、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1の差分絶対値を取り、その差分絶対値と閾値ｔｈ16×16_2を比較する（ステップＳＴ８）。
｜Ｃｏｓｔ16×16_0−Ｃｏｓｔ16×16_1｜≧ｔｈ16×16_2
（５）【００３０】
予測モード推定部２は、式（５）が成立する場合、垂直方向又は水平方向のいずれかのみが有効である判断し、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1を比較する（ステップＳＴ９）。
Ｃｏｓｔ16×16_0＜Ｃｏｓｔ16×16_1                              （６）
予測モード推定部２は、式（６）が成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定し（ステップＳＴ１０）、式（６）が成立しない場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ１１）。【００３１】
予測モード推定部２は、式（５）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）又は１６×１６予測モードにおける予測モード３（平面予測）が有効であると判断する。
このうち、予測モード３（平面予測）は、ブロックＲ０，Ｒ１の最下部の画素の変化と、ブロックＲ２，Ｒ３の最右端の画素の変化とが、ブロックＣ0０〜Ｃ0４の画素の変化に近い場合に有効であると言える。【００３２】
そこで、予測モード推定部２は、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1の和を取り、その和と閾値ｔｈ16×16_3を比較する（ステップＳＴ１２）。
Ｃｏｓｔ16×16_3＝Ｃｏｓｔ16×16_0＋Ｃｏｓｔ16×16_1≦ｔｈ16×16_3
（７）
予測モード推定部２は、式（７）が成立する場合、１６×１６予測モードにおける予測モード３（平面予測）を利用するものと決定し（ステップＳＴ１４）、式（７）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）を利用するものと決定する（ステップＳＴ１３）。【００３３】
予測モード推定部２は、ステップＳＴ５において、４×４予測モードにおける何らかの予測モードを利用するものと決定すると、以下のようにして、４×４予測モードにおける予測モードを選択する。
図６は画像の符号化対象のブロックＣ1０〜Ｃ1１５と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。
ブロックＣ1０〜Ｃ1１５は、いずれも４×４のブロックであり、０〜１５の順序で符号化される。
ブロックＣ1０〜Ｃ1１５は、図５のブロックＣ0０〜Ｃ0３が４分割されたものであって、ブロックＣ0０はブロックＣ1０〜Ｃ1３、ブロックＣ0１はブロックＣ1４〜Ｃ1７、ブロックＣ0２はブロックＣ1８〜Ｃ1１１、ブロックＣ0３はブロックＣ1１２〜Ｃ1１５に分割されたものである。
なお、ブロックＲ０〜Ｒ５は、いずれも８×８のブロックであり、図４のブロックＲ０〜Ｒ５と同じである。【００３４】
予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出して、その垂直方向と水平方向の評価値の比を算出する。
予測モード推定部２は、評価値の比によって、大まかに、３つに予測モード（垂直方向、水平方向、斜め方向）に絞込み、絞り込んだ予測方向から予測モードを決定する。
この予測モードの絞込みにおいて、予測モード０，３，７を垂直方向、予測モード１，８を水平方向、予測モード２，４，５，６を斜め方向とする。この予測モードの分類は、予測画像を作成する画素の位置に基づくものである。【００３５】
具体的には、以下の通りである。
図７は４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。
図８、図９及び図１０は４×４予測モードにおける予測モードの選択処理を示すフローチャートである。【００３６】
まず、予測モード推定部２は、ブロックＣ1ｎ（０≦ｎ≦１５）の垂直方向の評価値Ｃｏｓｔ4×4_V,nと、水平方向の評価値Ｃｏｓｔ4×4_H,nとを算出する（図７のステップＳＴ２１）。評価値の算出方法はブロック毎に異なり、その算出方法は後述する。
予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出すると、垂直方向の評価値と水平方向の評価値の比ＲａｔｅＶＨ4×4,nを算出する（ステップＳＴ２２）。
【数２】
2009113276.tif 000004
【００３７】
予測モード推定部２は、評価値の比ＲａｔｅＶＨ4×4,nを算出すると、その評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_H,n，ｔｈ4×4_V,nを比較する（ステップＳＴ２３，ＳＴ２４）。
ＲａｔｅＶＨ4×4,n＜ｔｈ4×4_H,n                                    （９）
ｔｈ4×4_H,n≦ＲａｔｅＶＨ4×4,n＜ｔｈ4×4_V,n                   （１０）
ＲａｔｅＶＨ4×4,n≧ｔｈ4×4_V,n                                  （１１）【００３８】
予測モード推定部２は、式（９）が成立する場合、水平方向への予測が有効であるとして、予測モード１，８に絞込みを行う（ステップＳＴ２５）。
予測モード推定部２は、式（１０）が成立する場合、斜め方向への予測が有効であるとして、予測モード２，４，５，６に絞込みを行う（ステップＳＴ２６）。
予測モード推定部２は、式（１１）が成立する場合、垂直方向への予測が有効であるとして、予測モード０，３，７に絞込みを行う（ステップＳＴ２７）。【００３９】
予測モード推定部２は、予測モード１，８に絞込みを行うと、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_1_8,nを比較する（図８のステップＳＴ３１）。
ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_1_8,n                              （１２）
予測モード推定部２は、式（１２）が成立する場合、予測モード１を利用するものと決定し（ステップＳＴ３２）、式（１２）が成立しない場合、予測モード８を利用するものと決定する（ステップＳＴ３３）。【００４０】
予測モード推定部２は、予測モード２，４，５，６に絞込みを行うと、対象となっている４×４ブロックが含まれる８×８ブロックのＤＣＴ係数のＡＣ成分を評価する評価値Ｃｏｓｔ4×4_2,nを算出し（図９のステップＳＴ４１）、その評価値Ｃｏｓｔ4×4_2,nと閾値ｔｈ4×4_2,nを比較する（ステップＳＴ４２）。
【数３】
2009113276.tif 000005
【００４１】
予測モード推定部２は、式（１３）が成立する場合、予測モード２を利用するものと決定し（ステップＳＴ４３）、式（１３）が成立しない場合、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_4_5,n，ｔｈ4×4_4_6,nを比較する（ステップＳＴ４４，ＳＴ４５）。
ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_4_5,n                              （１４）
ｔｈ4×4_4_5,n＜ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_4_6,n            （１５）
ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_4_6,n                              （１６）【００４２】
予測モード推定部２は、式（１４）が成立する場合、予測モード５を利用するものと決定する（ステップＳＴ４６）。
予測モード推定部２は、式（１５）が成立する場合、予測モード４を利用するものと決定する（ステップＳＴ４７）。
予測モード推定部２は、式（１６）が成立する場合、予測モード６を利用するものと決定する（ステップＳＴ４８）。【００４３】
予測モード推定部２は、予測モード０，３，７に絞込みを行うと、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_0_7,n，ｔｈ4×4_3_7,nを比較する（図１０のステップＳＴ５１，ＳＴ５２）。
ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_0_7,n                              （１７）
ｔｈ4×4_0_7,n＜ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_3_7,n            （１８）
ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_3_7,n                              （１９）【００４４】
予測モード推定部２は、式（１７）が成立する場合、予測モード０を利用するものと決定する（ステップＳＴ５３）。
予測モード推定部２は、式（１８）が成立する場合、予測モード７を利用するものと決定する（ステップＳＴ５４）。
予測モード推定部２は、式（１９）が成立する場合、予測モード３を利用するものと決定する（ステップＳＴ５５）。【００４５】
この実施の形態１では、予測モード推定部２が完全に予測モードを決定するものについて示しているが、予測モードの絞込みのみを実施して、絞り込んだ予測モードについてＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。【００４６】
以下、図６に示す４×４の各ブロックの垂直方向の評価値Ｃｏｓｔ4×4_V,n，水平方向の評価値Ｃｏｓｔ4×4_H,nの算出方法について説明する。
基本的に、４×４の各ブロックが構成される元となる８×８ブロックと、それに隣接する８×８ブロックのＤＣＴ係数から算出される。
ｎ＝０（Ｃ1０）のときは、下記の式（２０）及び式（２１）に示すように、ブロックＣ1０が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ０，Ｒ２のＤＣＴ係数を用いて評価値を算出する。
【数４】
2009113276.tif 000006
【００４７】
ｎ＝１（Ｃ1１）のときは、下記の式（２２）及び式（２３）に示すように、ブロックＣ1１が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0０のＡＣ成分のみを考える。
【数５】
2009113276.tif 000007
【００４８】
ｎ＝２（Ｃ1２）のときは、下記の式（２４）及び式（２５）に示すように、ブロックＣ1２が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0０のＡＣ成分のみを考える。
【数６】
2009113276.tif 000008
【００４９】
ｎ＝３（Ｃ1３）のときは、下記の式（２６）及び式（２７）に示すように、ブロックＣ1３が含まれるＣ0０のＡＣ成分のみを用いて評価値を算出する。
【数７】
2009113276.tif 000009
【００５０】
ｎ＝４（Ｃ1４）のときは、下記の式（２８）及び式（２９）に示すように、ブロックＣ1４が含まれるＣ0１と、ブロックＣ0１に隣接するＣ0０と、ブロックＲ１のＤＣＴ係数を用いて評価値を算出する。
【数８】
2009113276.tif 000010
【００５１】
ｎ＝５（Ｃ1５）のときは、下記の式（３０）及び式（３１）に示すように、ブロックＣ1５が含まれるＣ0１と、ブロックＣ0１に隣接するブロックＲ１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0１のＡＣ成分のみを考える。
【数９】
2009113276.tif 000011
【００５２】
ｎ＝６（Ｃ1６）のときは、下記の式（３２）及び式（３３）に示すように、ブロックＣ1６が含まれるＣ0１と、ブロックＣ0１に隣接するブロックＣ0０のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0１のＡＣ成分のみを考える。
【数１０】
2009113276.tif 000012
【００５３】
ｎ＝７（Ｃ1７）のときは、下記の式（３４）及び式（３５）に示すように、ブロックＣ1７が含まれるＣ0１のＡＣ成分のみを用いて評価値を算出する。
【数１１】
2009113276.tif 000013
【００５４】
ｎ＝８（Ｃ1８）のときは、下記の式（３６）及び式（３７）に示すように、ブロックＣ1８が含まれるＣ0２と、ブロックＣ0２に隣接するＣ0０，Ｒ３のＤＣＴ係数を用いて評価値を算出する。
【数１２】
2009113276.tif 000014
【００５５】
ｎ＝９（Ｃ1９）のときは、下記の式（３８）及び式（３９）に示すように、ブロックＣ1９が含まれるＣ0２と、ブロックＣ0２に隣接するＣ0０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0２のＡＣ成分のみを考える。
【数１３】
2009113276.tif 000015
【００５６】
ｎ＝１０（Ｃ1１０）のときは、下記の式（４０）及び式（４１）に示すように、ブロックＣ1１０が含まれるＣ0２と、ブロックＣ0２に隣接するＲ３のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0２のＡＣ成分のみを考える。
【数１４】
2009113276.tif 000016
【００５７】
ｎ＝１１（Ｃ1１１）のときは、下記の式（４２）及び式（４３）に示すように、ブロックＣ1１１が含まれるＣ0２のＡＣ成分のみを用いて評価値を算出する。
【数１５】
2009113276.tif 000017
【００５８】
ｎ＝１２（Ｃ1１２）のときは、下記の式（４４）及び式（４５）に示すように、ブロックＣ1１２が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0１，Ｃ0２のＤＣＴ係数を用いて評価値を算出する。
【数１６】
2009113276.tif 000018
【００５９】
ｎ＝１３（Ｃ1１３）のときは、下記の式（４６）及び式（４７）に示すように、ブロックＣ1１３が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0３のＡＣ成分のみを考える。
【数１７】
2009113276.tif 000019
【００６０】
ｎ＝１４（Ｃ1１４）のときは、下記の式（４８）及び式（４９）に示すように、ブロックＣ1１４が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0３のＡＣ成分のみを考える。
【数１８】
2009113276.tif 000020
【００６１】
ｎ＝１５（Ｃ1１５）のときは、下記の式（５０）及び式（５１）に示すように、ブロックＣ1１５が含まれるＣ0３のＡＣ成分のみを用いて評価値を算出する。
【数１９】
2009113276.tif 000021
【００６２】
上記の式（２０）〜式（５１）は、式（１）及び式（２）の項の一部と同一部分があるため、式（１）及び式（２）を計算する時点で、その同一部分を保持するようにしてもよい。
上記のようにして、予測モードの決定処理を実施することで、８×８ブロックのＤＣＴ係数から予測モードを推定することができる。【００６３】
Ｈ．２６４符号化部３は、予測モード推定部２が予測モードを推定すると、その予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化することにより、Ｈ．２６４ストリームを生成する。
Ｈ．２６４ストリームの生成に際して、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数に対するＩＤＣＴ処理を実施して、そのＤＣＴ係数を画素信号に戻してから符号化を行うようにしてもよい。
また、非特許文献４に開示されているように、変換行列を用いて、ＤＣＴ係数を整数精度ＤＣＴに変換して符号化を行うようにしてもよい。
・非特許文献４
「Efficient MPEG-2 to H.264/AVC intra transcoding in transform-domain」
Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on
23-26 May 2005 Page(s):1234 - 1237 Vol. 2【００６４】
以上で明らかなように、この実施の形態１によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する予測モード推定部２とを設け、Ｈ．２６４符号化部３が予測モード推定部２により推定された予測モードを用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化してＨ．２６４ストリームを生成するように構成したので、少ない演算量で、ＪＰＧ方式からＨ．２６４方式に変換することができる効果を奏する。【００６５】
また、この実施の形態１では、式（１）、式（２）、式（２０）〜式（５１）において、多くの共通の項を有しているので、実際の計算に要する演算量が少なくなる特徴を有している。
なお、式（１）、式（２）、式（２０）〜式（５１）において、変数ｋを小さくすれば、即ち、ｋ＝０として、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定する場合や、ｋ＝１又はｋ＝２として（あるいは、ｋ＝３として）、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定する場合には、演算量を大幅に削減することができる。【００６６】
実施の形態２．
上記実施の形態１では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式における予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数の中に高周波成分のＤＣＴ係数が含まれているか否かを判定し、高周波成分のＤＣＴ係数が含まれていない場合には、推定する予測モードを絞り込むようにしてもよい。【００６７】
ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容のみを説明する。
なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。【００６８】
予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１と同様であるため説明を省略する。
以下、図５及び図６を参照しながら、４×４予測モードが採用された場合の処理内容を説明する。
図１１及び図１２はこの発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。【００６９】
まず、予測モード推定部２は、ブロックＣ0０に高周波成分が存在しているか否かを判定する。
予測モード推定部２は、下記の式（５２）が成立する場合、ブロックＣ0０に高周波成分が存在していると判定する（図１１のステップＳＴ６１）。
ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）＞ｔｈ2_high                        （５２）
ただし、ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）はＤＣＴ係数の最大値であり、ｔｈ2_highは閾値であり、４≦ｉ，ｊ≦７である。ここでは、４≦ｉ，ｊ≦７である例を示しているが、例えば、４≦ｉ，４≦ｊであってもよい。ｉ，ｊについては、以降の説明において全て同様である。
なお、高周波成分が存在しているか否かを判定は、他の方法を用いてもよい。【００７０】
予測モード推定部２は、ブロックＣ0０に高周波成分が存在している場合、上記実施の形態１と同様にして、予測モードを決定する（ステップＳＴ６２）。
一方、ブロックＣ0０に高周波成分が存在していない場合、下記の式（５３）〜式（５５）を計算して、評価値Ｃｏｓｔ2_4×4,0,0，Ｃｏｓｔ2_4×4,0,1，Ｃｏｓｔ2_4×4,0,2_4を算出する（ステップＳＴ６３）。
【数２０】
2009113276.tif 000022
【００７１】
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,0，Ｃｏｓｔ2_4×4,0,1，Ｃｏｓｔ2_4×4,0,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,0が最小である場合（ステップＳＴ６４）、ブロックＣ1０については予測モード０を利用するものと決定する（ステップＳＴ６５）。
また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,1が最小である場合（ステップＳＴ６６）、ブロックＣ1０については予測モード１を利用するものと決定する（ステップＳＴ６７）。【００７２】
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）と閾値ｔｈ2_DCを比較する（ステップＳＴ６８）。
ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）＞ｔｈ2_DC                            （５６）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（５６）が成立する場合、ブロックＣ1０については予測モード４を利用するものと決定する（ステップＳＴ６９）。
一方、式（５６）が成立しない場合、ブロックＣ1０については予測モード２を利用するものと決定する（ステップＳＴ７０）。【００７３】
予測モード推定部２は、ブロックＣ1０の予測モードを決定すると、高周波成分がないことを活かし、順次、予測モードを決定する。
即ち、ブロックＣ1１については予測モード１に決定し、ブロックＣ1２については予測モード０に決定し、ブロックＣ1３については、下記の式（５７）が成立するか否かを判定する（図１２のステップＳＴ８１）。
【数２１】
2009113276.tif 000023
【００７４】
予測モード推定部２は、式（５７）が成立する場合、ブロックＣ1３については予測モード２を利用するものと決定する（ステップＳＴ８２）。
予測モード推定部２は、式（５７）が成立しない場合、下記の式（５８）が成立するか否かを判定する（ステップＳＴ８３）。
【数２２】
2009113276.tif 000024
【００７５】
予測モード推定部２は、式（５８）が成立する場合、ブロックＣ1３については予測モード１を利用するものと決定する（ステップＳＴ８４）。
予測モード推定部２は、式（５８）が成立しない場合、ブロックＣ1３については予測モード０を利用するものと決定する（ステップＳＴ８５）。
以降、ブロックＣ0１，Ｃ0２，Ｃ0３についても同様の方法で、ブロックＣ1４〜Ｃ1１５の各ブロックの予測モードを決定する。【００７６】
予測モード推定部２は、ブロックＣ0１では、高周波成分の判定として、下記の式（５９）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）＞ｔｈ2_high                        （５９）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ0１に高周波成分が存在しない場合、ブロックＣ1４の予測モードを決定するために、下記の式（６０）〜式（６２）を計算して、評価値Ｃｏｓｔ2_4×4,1,0，Ｃｏｓｔ2_4×4,1,1，Ｃｏｓｔ2_4×4,1,2_4を算出する。
【数２３】
2009113276.tif 000025
【００７７】
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,0，Ｃｏｓｔ2_4×4,1,1，Ｃｏｓｔ2_4×4,1,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,0が最小である場合、ブロックＣ1４については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,1が最小である場合、ブロックＣ1４については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）と閾値ｔｈ2_DCを比較する。
ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）＞ｔｈ2_DC                            （６３）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（６３）が成立する場合、ブロックＣ1４については予測モード４を利用するものと決定する。
一方、式（６３）が成立しない場合、ブロックＣ1４については予測モード２を利用するものと決定する。【００７８】
予測モード推定部２は、ブロックＣ1５については予測モード１を利用するものと決定し、ブロックＣ1６については予測モード０を利用するものと決定する。
ブロックＣ1７については、下記の式（６４）が成立するか否かを判定する。
【数２４】
2009113276.tif 000026
【００７９】
予測モード推定部２は、式（６４）が成立する場合、ブロックＣ1７については予測モード２を利用するものと決定する。
一方、式（６４）が成立しない場合、下記の式（６５）が成立するか否かを判定する。
【数２５】
2009113276.tif 000027
予測モード推定部２は、式（６５）が成立する場合、ブロックＣ1７については予測モード１を利用するものと決定する。
一方、式（６５）が成立しない場合、ブロックＣ1７については予測モード０を利用するものと決定する。【００８０】
予測モード推定部２は、ブロックＣ0２では、高周波成分の判定として、下記の式（６６）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）＞ｔｈ2_high                        （６６）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ0２に高周波成分が存在しない場合、ブロックＣ1８の予測モードを決定するために、下記の式（６７）〜式（６９）を計算して、評価値Ｃｏｓｔ2_4×4,2,0，Ｃｏｓｔ2_4×4,2,1，Ｃｏｓｔ2_4×4,2,2_4を算出する。
【数２６】
2009113276.tif 000028
【００８１】
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,0，Ｃｏｓｔ2_4×4,2,1，Ｃｏｓｔ2_4×4,2,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,0が最小である場合、ブロックＣ1８については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,1が最小である場合、ブロックＣ1８については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）と閾値ｔｈ2_DCを比較する。
ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）＞ｔｈ2_DC                            （７０）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（７０）が成立する場合、ブロックＣ1８については予測モード４を利用するものと決定する。
一方、式（６９）が成立しない場合、ブロックＣ1８については予測モード２を利用するものと決定する。【００８２】
予測モード推定部２は、ブロックＣ1９については予測モード１を利用するものと決定し、ブロックＣ1１０については予測モード０を利用するものと決定する。
ブロックＣ1１１については、下記の式（７１）が成立するか否かを判定する。
【数２７】
2009113276.tif 000029
【００８３】
予測モード推定部２は、式（７１）が成立する場合、ブロックＣ1１１については予測モード２を利用するものと決定する。
一方、式（７１）が成立しない場合、下記の式（７２）が成立するか否かを判定する。
【数２８】
2009113276.tif 000030
予測モード推定部２は、式（７２）が成立する場合、ブロックＣ1１１については予測モード１を利用するものと決定する。
一方、式（７２）が成立しない場合、ブロックＣ1１１については予測モード０を利用するものと決定する。【００８４】
予測モード推定部２は、ブロックＣ0３では、高周波成分の判定として、下記の式（７３）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）＞ｔｈ2_high                        （７３）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ0３に高周波成分が存在しない場合、ブロックＣ1１２の予測モードを決定するために、下記の式（７４）〜式（７６）を計算して、評価値Ｃｏｓｔ2_4×4,3,0，Ｃｏｓｔ2_4×4,3,1，Ｃｏｓｔ2_4×4,3,2_4を算出する。
【数２９】
2009113276.tif 000031
【００８５】
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,0，Ｃｏｓｔ2_4×4,3,1，Ｃｏｓｔ2_4×4,3,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,0が最小である場合、ブロックＣ1１２については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,1が最小である場合、ブロックＣ1１２については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）と閾値ｔｈ2_DCを比較する。
ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）＞ｔｈ2_DC                            （７７）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（７７）が成立する場合、ブロックＣ1１２については予測モード４を利用するものと決定する。
一方、式（７７）が成立しない場合、ブロックＣ1１２については予測モード２を利用するものと決定する。【００８６】
予測モード推定部２は、ブロックＣ1１３については予測モード１を利用するものと決定し、ブロックＣ1１４については予測モード０を利用するものと決定する。
ブロックＣ1１５については、下記の式（７８）が成立するか否かを判定する。
【数３０】
2009113276.tif 000032
【００８７】
予測モード推定部２は、式（７８）が成立する場合、ブロックＣ1１５については予測モード２を利用するものと決定する。
一方、式（７８）が成立しない場合、下記の式（７９）が成立するか否かを判定する。
【数３１】
2009113276.tif 000033
予測モード推定部２は、式（７９）が成立する場合、ブロックＣ1１５については予測モード１を利用するものと決定する。
一方、式（７９）が成立しない場合、ブロックＣ1１５については予測モード０を利用するものと決定する。【００８８】
この実施の形態２によれば、高周波成分の存在を判定して、８×８ブロック内に高周波成分がない場合、ＤＣ成分の比較によって、３つの４×４ブロックの予測モードが決まり、残る１つのブロックについても、ＡＣ成分の和から簡単に決めることができる。
したがって、高周波成分がない場合に、非常に高速に４×４予測モードを決定して、Ｈ．２６４方式への変換を高速に行うことが可能になる。【００８９】
実施の形態３．
上記実施の形態１，２では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、動画像の場合、図１４に示すように、静止画像を時間軸方向に並べた形式で表されることが多く、時間的に近いフレームは一般に相関が高い（類似している）ことが多い。
そこで、この実施の形態３では、類似している画像が連続して符号化されている場合、Ｈ．２６４方式の予測モードの推定を行わず、１フレーム前の予測モードと同一の予測モードを使用し続けるようにしている。
具体的には、以下の通りである。【００９０】
図１３はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＤＣＴ係数記憶部１１はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１により最新のＤＣＴ係数（現在のフレームのＤＣＴ係数）が取得されると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。なお、ＤＣＴ係数記憶部１１は周波数成分記憶手段を構成している。
予測モード記憶部１２は予測モード推定部２により推定されたＨ．２６４方式の予測モードを記憶し、予測モード推定処理判定部１３から予測モードの出力指令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。なお、予測モード記憶部１２は画面内予測方向記憶手段を構成している。【００９１】
予測モード推定処理判定部１３はＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理（画面内予測方向の推定処理）の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる処理を実施する。なお、予測モード推定処理判定部１３は推定処理判定手段を構成している。
図１６はこの発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。【００９２】
次に動作について説明する。
ただし、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３を実装している点以外は、上記実施の形態１，２と同様であるため、ここでは、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３の動作のみを説明する。【００９３】
ＤＣＴ係数記憶部１１は、上記実施の形態１と同様にして、ＪＰＥＧ簡易復号部１がＤＣＴ係数を取得すると、そのＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１が現在のフレームのＤＣＴ係数を取得すると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。
予測モード記憶部１２は、上記実施の形態１と同様にして、予測モード推定部２がＨ．２６４方式の予測モードを推定すると、その予測モードを記憶する。【００９４】
予測モード推定処理判定部１３は、ＪＰＥＧ簡易復号部１から現在のフレームのＤＣＴ係数を受け、ＤＣＴ係数記憶部１１から１フレーム前のＤＣＴ係数を受けると、現在のフレームのＤＣＴ係数と１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定する。
予測モード推定処理判定部１３は、予測モード推定処理を実施する必要があると判定すると、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる。
一方、予測モード推定処理を実施する必要がないと判定すると、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる。
以下、予測モード推定処理判定部１３の処理内容を具体的に説明する。【００９５】
図１５は現在のフレームの符号化対象ブロックＡ0０〜Ａ0３と１フレーム前の同一位置の符号化対象ブロックＢ0０〜Ｂ0３を示す説明図である。ただし、ブロックＡ0０〜Ａ0３、Ｂ0０〜Ｂ0３は、いずれも８×８ブロックである。
符号化対象ブロックが、連続するフレームにおいて類似している場合は、１フレーム前と同一の予測モードを用いても、高効率の符号化が可能である。
一方、符号化対象ブロックが、連続するフレームにおいて相違している場合は、１フレーム前と同一の予測モードを用いると、符号化効率が悪化する可能性が高い。【００９６】
そこで、予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ９１）。
【数３２】
2009113276.tif 000034
【００９７】
ただし、ＤＣＴ＿Ａ0０i,j，ＤＣＴ＿Ａ0１i,j，ＤＣＴ＿Ａ0２i,j，ＤＣＴ＿Ａ0３i,j，ＤＣＴ＿Ｂ0０i,j，ＤＣＴ＿Ｂ0１i,j，ＤＣＴ＿Ｂ0２i,j，ＤＣＴ＿Ｂ0３i,jは、それぞれブロックＡ0０，Ａ0１，Ａ0２，Ａ0３，Ｂ0０，Ｂ0１，Ｂ0２，Ｂ0３におけるｉ行、ｊ列のＤＣＴ係数である。
また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
なお、ｗi,jは重みである。【００９８】
予測モード推定処理判定部１３は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈDiffを比較する（ステップＳＴ９２）。
Ｄｉｆｆ≦ｔｈDiff                                          （８１）
予測モード推定処理判定部１３は、式（８１）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ９３）。
予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。【００９９】
予測モード推定処理判定部１３は、式（８１）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ９４）。
予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１，２と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１，２と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。【０１００】
以上で明らかなように、この実施の形態３によれば、予測モード推定処理判定部１３がＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるように構成したので、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２における予測モードの推定処理が実施されるようになり、その結果、Ｈ．２６４方式への変換の高速化を図ることができる効果を奏する。【０１０１】
実施の形態４．
上記実施の形態３では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２が予測モードの推定処理を実施するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、規定回数連続して、予測モード推定部２が予測モードの推定処理を実施していない場合には、予測モードの推定処理を予測モード推定部２に実施させるようにしてもよい。
具体的には、以下の通りである。【０１０２】
図１７はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図１３と同一符号は同一または相当部分を示すので説明を省略する。
同一予測モードカウント部１４は予測モード推定処理判定部１５から予測モードの出力命令が予測モード記憶部１２に出力されるとカウント値Ｃｏｕｎｔをインクリメントし、予測モード推定処理判定部１５から予測モードの推定命令が予測モード推定部２に出力されるとカウント値Ｃｏｕｎｔを０リセットする。【０１０３】
予測モード推定処理判定部１５は図１３の予測モード推定処理判定部１３と同様に、ＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１５は同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈCountに到達すると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、その予測モード推定処理を予測モード推定部２に実施させるようにする。
なお、同一予測モードカウント部１４及び予測モード推定処理判定部１５から推定処理判定手段が構成されている。
図１８はこの発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。【０１０４】
次に動作について説明する。
上記実施の形態３では、符号化対象ブロックにおいて、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している限り、何回でも、前のフレームと同一の予測モードを使用し続けるようにしている。
しかしながら、例えば、日照変動などのように、フレーム間では類似していても、微小な変化が連続する場合には、同一の予測モードを使用し続けると、符号化効率が悪くなる可能性がある。
そこで、この実施の形態４では、微小な変化が連続するような場合には、同一の予測モードが使用され続けないようにするため、同一予測モードの連続使用数に制限を設けるようにしている。
以下、同一予測モードカウント部１４及び予測モード推定処理判定部１５の処理内容を具体的に説明する。【０１０５】
予測モード推定処理判定部１５は、図１３の予測モード推定処理判定部１３と同様に、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを上記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ１０１）。
予測モード推定処理判定部１５は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈDiffを比較する（ステップＳＴ１０２）。【０１０６】
予測モード推定処理判定部１５は、上記の式（８１）が成立しない場合（Ｄｉｆｆ＞ｔｈDiffの場合）、符号化対象ブロックが、連続するフレーム間において相違しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１〜３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１〜３と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。【０１０７】
予測モード推定処理判定部１５は、上記の式（８１）が成立する場合（Ｄｉｆｆ≦ｔｈDiffの場合）、符号化対象ブロックが、連続するフレーム間において類似しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔと閾値ｔｈCountを比較する（ステップＳＴ１０５）。
Ｃｏｕｎｔ≦ｔｈCount                                  （８２）【０１０８】
予測モード推定処理判定部１５は、式（８２）が成立する場合、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを“１”だけインクリメントして（ステップＳＴ１０６）、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１０７）。
予測モード記憶部１２は、予測モード推定処理判定部１５から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１５から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。【０１０９】
予測モード推定処理判定部１５は、式（８２）が成立しない場合、同一の予測モードの連続使用回数が規定回数（上限回数）に到達しているので、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１〜３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。【０１１０】
以上で明らかなように、この実施の形態４によれば、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈCountを上回ると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、予測モード推定処理判定部１５が予測モード推定処理を予測モード推定部２に実施させるように構成したので、微小な変化が連続するような場合でも、高効率な符号化を行うことができる効果を奏する。【０１１１】
実施の形態５．
上記実施の形態３，４では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定することにより、より高効率な符号化を行うことができるようにしてもよい。【０１１２】
この実施の形態５における画像符号化方式変換装置は、上記実施の形態３，４の画像符号化方式変換装置と基本的な構成は同一であるが、予測モード推定処理判定部１３，１５が、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び対象ブロックの周辺ブロックを比較して、予測モード推定処理の実施の必要性を判定するようにしている点で相違している。
この実施の形態５では、説明の便宜上、図１３の画像符号化方式変換装置の構成を参照して説明する。【０１１３】
図１９は現在のフレームの符号化対象ブロックＡ0０〜Ａ0３と、その周辺ブロックＲＡ０〜ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ0０〜Ｂ0３と、その周辺ブロックＲＢ０〜ＲＢ５とを示す説明図である。
ただし、ブロックＡ0０〜Ａ0３，ＲＡ０〜ＲＡ５，Ｂ0０〜Ｂ0３及びＲＢ０〜ＲＢ５は、いずれも８×８ブロックである。【０１１４】
予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８３）に示す評価関数に代入して、差分値Ｄｉｆｆneighborを算出する。
【数３３】
2009113276.tif 000035
【０１１５】
ただし、ＤＣＴ＿Ａ0０i,j，ＤＣＴ＿Ａ0１i,j，ＤＣＴ＿Ａ0２i,j，ＤＣＴ＿Ａ0３i,j，ＤＣＴ＿Ｂ0０i,j，ＤＣＴ＿Ｂ0１i,j，ＤＣＴ＿Ｂ0２i,j，ＤＣＴ＿Ｂ0３i,jは、それぞれブロックＡ0０，Ａ0１，Ａ0２，Ａ0３，Ｂ0０，Ｂ0１，Ｂ0２，Ｂ0３におけるｉ行、ｊ列のＤＣＴ係数である。
また、ＤＣＴ＿ＲＡ０i,j，ＤＣＴ＿ＲＡ１i,j，ＤＣＴ＿ＲＡ２i,j，ＤＣＴ＿ＲＡ３i,j，ＤＣＴ＿ＲＡ４i,j，ＤＣＴ＿ＲＡ５i,j，ＤＣＴ＿ＲＢ０i,j，ＤＣＴ＿ＲＢ１i,j，ＤＣＴ＿ＲＢ２i,j，ＤＣＴ＿ＲＢ３i,j，ＤＣＴ＿ＲＢ４i,j，ＤＣＴ＿ＲＢ５i,jは、それぞれブロックＲＡ０，ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４，ＲＡ５，ＲＢ０，ＲＢ１，ＲＢ２，ＲＢ３，ＲＢ４，ＲＢ５におけるｉ行、ｊ列のＤＣＴ係数である。【０１１６】
また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
なお、ｕi,j，ｖi,jは重みである。【０１１７】
予測モード推定処理判定部１３は、差分値Ｄｉｆｆneighborを算出すると、その差分値Ｄｉｆｆneighborと閾値ｔｈneighborを比較する。
Ｄｉｆｆneighbor≦ｔｈneighbor                          （８４）
予測モード推定処理判定部１３は、式（８４）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する。
予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。【０１１８】
予測モード推定処理判定部１３は、式（８４）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する。
予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１〜４と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。【０１１９】
この実施の形態５によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するようにしている。このため、現在のフレームと１フレーム前において、周辺ブロックの相違による予測モードの変化に対応することができるので、高効率な予測符号化が可能になる。【０１２０】
実施の形態６．
上記実施の形態５では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するものについて示したが、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して、予測モード推定処理の実施の必要性を判定するようにしてもよい。
具体的には、以下の通りである。【０１２１】
図２０はこの発明の実施の形態６による画像符号化方式変換装置を示す構成図であり、図において、図１３及び図１７と同一符号は同一または相当部分を示すので説明を省略する。
予測モード推定処理判定部１６は図１３の予測モード推定処理判定部１３又は図１７の予測モード推定処理判定部１５と同様に、予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１６は予測モード推定処理の実施の必要性を判定する際、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して判定を行う。なお、予測モード推定処理判定部１６は推定処理判定手段を構成している。
図２１はこの発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。【０１２２】
まず、予測モード推定処理判定部１６は、予測モード記憶部１２に記憶されている１フレーム前の予測モードが、１６×１６予測モードであるのか、４×４予測モードであるのかを判定する（ステップＳＴ１１１）。
予測モード推定処理判定部１６は、１フレーム前の予測モードが１６×１６予測モードである場合、差分値Ｄｉｆｆ16×16_nを算出し（ステップＳＴ１１２）、その差分値Ｄｉｆｆ16×16_nと閾値ｔｈ16×16_nを比較する（ステップＳＴ１１３）。差分値Ｄｉｆｆ16×16_nの算出方法は後述する。
Ｄｉｆｆ16×16_n≦ｔｈ16×16_n                          （８５）
ここで、ｎは１フレーム前の１６×１６予測モードであり、予測モード０〜３のいずれかである。【０１２３】
予測モード推定処理判定部１６は、式（８５）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
予測モード推定処理判定部１６は、式（８５）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１〜５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。【０１２４】
予測モード推定処理判定部１６は、１フレーム前の予測モードが４×４予測モードである場合、４×４予測モードに基づいて、μ０〜μ５，ｍ，差分値Ｄｉｆｆ4×4を算出し（ステップＳＴ１１４〜ＳＴ１１６）、その差分値Ｄｉｆｆ4×4と閾値ｔｈ4×4を比較する（ステップＳＴ１１７）。μ０〜μ５，ｍ，Ｄｉｆｆ4×4の算出方法は後述する。
Ｄｉｆｆ4×4≦ｔｈ4×4                                    （８６）【０１２５】
予測モード推定処理判定部１６は、式（８６）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
予測モード推定処理判定部１６は、式（８６）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１〜５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。【０１２６】
以下、差分値Ｄｉｆｆ16×16_nの算出方法について説明する。
予測モード推定処理判定部１６は、ｎ＝０のときは、下記の式（８７）に示すように、符号化対象ブロックＡ0０〜Ａ0３，Ｂ0０〜Ｂ0３と、ブロックＡ0０，Ａ0１及びブロックＢ0０，Ｂ0１に隣接するブロックＲＡ０，ＲＡ１及びＲＢ０，ＲＢ１のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_0を算出する。
【数３４】
2009113276.tif 000036
【０１２７】
ｎ＝１のときは、下記の式（８８）に示すように、符号化対象ブロックＡ0０〜Ａ0３，Ｂ0０〜Ｂ0３と、ブロックＡ0０，Ａ0２及びブロックＢ0０，Ｂ0２に隣接するブロックＲＡ２，ＲＡ３及びＲＢ２，ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_1を算出する。
【数３５】
2009113276.tif 000037
【０１２８】
ｎ＝２のときは、下記の式（８９）に示すように、符号化対象ブロックＡ0０〜Ａ0３，Ｂ0０〜Ｂ0３と、ブロックＡ0０〜Ａ0２及びブロックＢ0０〜Ｂ0２に隣接するＲＡ０〜ＲＡ３及びブロックＲＢ０〜ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_2を算出する。
【数３６】
2009113276.tif 000038
【０１２９】
ｎ＝３のときは、下記の式（９０）に示すように、符号化対象ブロックＡ0０〜Ａ0３，Ｂ0０〜Ｂ0３と、ブロックＡ0０〜Ａ0２及びブロックＢ0０〜Ｂ0２に隣接するブロックＲＡ０〜ＲＡ３及びＲＢ０〜ＲＢ３と、左上のブロックＲＢ４及びＲＡ４のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_3を算出する。
【数３７】
2009113276.tif 000039
【０１３０】
予測モード推定処理判定部１６は、式（８７）〜式（９０）によって差分値Ｄｉｆｆ16×16_nを算出すると、上述したように、その差分値Ｄｉｆｆ16×16_nと閾値ｔｈ16×16_nを比較して、予測モード推定処理の実施の必要性を判定する。【０１３１】
次に、差分値Ｄｉｆｆ4×4の算出方法について説明する。
予測モード推定処理判定部１６は、下記の式（９１）及び式（９２）に示すように、符号化対象ブロックＡ0０〜Ａ0３，Ｂ0０〜Ｂ0３と、ブロックＡ0０〜Ａ0２及びブロックＢ0０〜Ｂ0２の周辺のブロックＲＡ０〜ＲＡ５及びＲＢ０〜ＲＢ５のＤＣＴ係数を用いて差分値Ｄｉｆｆ4×4を算出する。
【数３８】
2009113276.tif 000040
【０１３２】
ただし、μ０〜μ５は、０≦μｉ≦１（０≦ｉ≦５）の実数値をとり、符号化対象ブロックの周辺ブロックＲＡ０〜ＲＡ５及びＲＢ０〜ＲＢ５のＤＣＴ係数の差分に対する重みである。
以下、μ０〜μ５の算出方法について説明する。
図２２は４×４予測モードのときの１フレーム前の符号化対象ブロックＢ1０〜Ｂ1１５とその周辺のブロックＲＢ０〜ＲＢ５と、現在のフレームの符号化対象ブロックＡ0０〜Ａ0３とその周辺のブロックＲＡ０〜ＲＡ５とを示す説明図である。
ブロックＢ1０〜Ｂ1１５は、図１９のブロックＢ0０〜Ｂ0３が４分割されたものであって、ブロックＢ0０はブロックＢ1０〜Ｂ1３、ブロックＢ0１はブロックＢ1４〜Ｂ1７、ブロックＢ0２はブロックＢ1８〜Ｂ1１１、ブロックＢ0３はブロックＢ1１２〜Ｂ1１５に分割されたものである。【０１３３】
μ０は、前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが０，２〜７、Ｂ1１の予測モードが０，２〜７、Ｂ1４の予測モードが４〜６の場合である。
μ０＝０を初期値として、Ｂ1０，Ｂ1１が上記予測モードをとっている場合、μ０にそれぞれ４／９が加算され、Ｂ1４が上記予測モードをとっている場合、μ０に１／９が加算される。【０１３４】
μ１は、前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われるのは、Ｂ1１の予測モードが３または７、Ｂ1４の予測モードが０，２〜７、Ｂ1５の予測モードが０，２〜７の場合である。
μ１＝０を初期値として、Ｂ1１，Ｂ1４，Ｂ1５が上記予測モードをとっている場合、μ１にそれぞれ１／３が加算される。【０１３５】
μ２は、前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが１，２，４〜６，８、Ｂ1２の予測モードが１，２，４〜６，８、Ｂ1８の予測モードが４〜６の場合である。
μ２＝０を初期値として、Ｂ1０，Ｂ1２が上記予測モードをとっている場合、μ２にそれぞれ４／９が加算され、Ｂ1８が上記予測モードをとっている場合、μ２に１／９が加算される。【０１３６】
μ３は、前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われるのは、Ｂ1８の予測モードが１，２，４〜６，８、Ｂ1１０の予測モードが１，２，４〜６，８の場合である。
μ３＝０を初期値として、Ｂ1８，Ｂ1１０が上記予測モードをとっている場合、μ３にそれぞれ１／２が加算される。【０１３７】
μ４は、前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが４〜６の場合であり、これを満たすとき、μ４＝１／９とされる。
μ５は、前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われるのは、Ｂ1５の予測モードが３または７の場合であり、これを満たすとき、μ５＝４／９とされる。【０１３８】
以上で明らかなように、この実施の形態６によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び周辺ブロックの比較を行うときに用いる周辺ブロックを、１フレーム前の予測モードから判断しているので、１フレーム前と同じ予測モードを用いた場合、符号化効率が大きく変化するか否かを推測することができるようになり、さらに、高効率な予測符号化が可能になる効果を奏する。【０１３９】
実施の形態７．
上記実施の形態１〜６では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式の予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数から新たに周波数特性（周波数成分）を算出し、その周波数特性から予測モードを推定するようにしてもよい。【０１４０】
この実施の形態７における画像符号化方式変換装置は、上記実施の形態１〜６のいずれかの画像符号化方式変換装置と基本的な構成は同一であり、ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容についてのみ説明する。
なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。【０１４１】
予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
以下、予測モード推定部２の処理内容を具体的に説明する。
図５は画像の符号化対象ブロックＣ0０〜Ｃ0３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。なお、ブロックＣ0０〜Ｃ0３，Ｒ０〜Ｒ５は、いずれも８×８のブロックである。【０１４２】
１６×１６予測モードにおける予測モード０（垂直方向）が効率的である状況は、ブロックＲ０の最下部の８画素とブロックＣ0０，Ｃ0２の画素の値が近く、ブロックＲ１の最下部の８画素とブロックＣ0１，Ｃ0３の画素の値が近い場合である。
また、１６×１６予測モードにおける予測モード１（水平方向）が効率的である状況は、ブロックＲ２の最右端の８画素とブロックＣ0０，Ｃ0１の画素の値が近く、ブロックＲ３の最右端の８画素とブロックＣ0２，Ｃ0３の画素の値が近い場合である。【０１４３】
１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素との平均値が、ブロックＣ0０〜Ｃ0３の全ての画素に近い場合である。
また、１６×１６予測モードにおける予測モード３（プレーン予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１５画素と、ブロックＲ２，Ｒ３の最右端の１５画素と、Ｒ４の右下の１画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ0０〜Ｃ0３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ0０〜Ｃ0３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。【０１４４】
そこで、予測モード推定部２は、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を、下記の式（９３）から式（９６）に示す関数に代入して、予測に用いられる画素であるＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを算出する。
【数３９】
2009113276.tif 000041
ただし、ＤＣＴ＿Ｒ０i,j，ＤＣＴ＿Ｒ１i,j，ＤＣＴ＿Ｒ２i,j，ＤＣＴ＿Ｒ３i,jは、それぞれブロックＲ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
また、ｄj,iは離散コサイン変換行列Ｄの要素、ｄTj,iは離散コサイン行列Ｄの転置行列ＤTの要素である。
ｗi，ｗjは重みである。【０１４５】
図２３は画像の符号化対象ブロックＣ0０〜Ｃ0３と、その周辺のブロックＲ０〜Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。なお、ブロックＣ0０〜Ｃ0３，Ｒ０〜Ｒ３は、いずれも８×８のブロックである。
Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍは、ブロックＲ０，Ｒ１の最下部の画素の垂直方向の周波数特性を示すものであり、Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔは、ブロックＲ２，Ｒ３の最右端の画素の水平方向の周波数特性を示すものである。【０１４６】
次に、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数と、上記のＲ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍ，Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを下記の式（９７）及び式（９８）に示す評価関数に代入して、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出する。
【数４０】
2009113276.tif 000042
【０１４７】
ただし、ｋは計算に用いる係数であり、０≦ｋ≦７であるとする。
因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数及び直流成分の周波数特性のみから予測モードを推定することを意味する。
また、ｋ＝１、または、ｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数及び低周波成分の周波数特性のみから予測モードを推定することを意味する。
また、ｋ＝７とすれば、高周波成分までのＤＣＴ係数及び高周波成分までの周波数特性から予測モードを推定することを意味する。
ｗ16×16_0j，ｗ16×16_1j，ｗ16×16_2j，ｗ16×16_3j，ｗ16×16_0i，ｗ16×16_1i，ｗ16×16_2i，ｗ16×16_3iは重みである。【０１４８】
評価値Ｃｏｓｔ16×16_0は、ブロックＣ0０，Ｃ0２とブロックＲ０の水平方向の変化及びブロックＣ0１，Ｃ0３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
また、評価値Ｃｏｓｔ16×16_1は、ブロックＣ0０，Ｃ0１とブロックＲ２の垂直方向の変化及びブロックＣ0２，Ｃ0３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。
以降の推定処理については、上記実施の形態１〜６と同様であるため、説明を省略する。【０１４９】
以上で明らかなように、この実施の形態７によれば、予測モード推定部２において周辺の８×８ブロックの周波数成分を用いるのではなく、予測に必要な箇所のみの周波数成分を用いて評価値を算出し、その評価値からＨ．２６４の予測モードを決定するように構成しているので、より精度が高い予測モードの推定を行うことができる効果を奏する。【０１５０】
実施の形態８．
上記実施の形態１〜７では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、４×４予測モードを推定する際に、８×８ブロック単位の周波数成分ではなく、４×４ブロック単位の周波数成分を用いて推定を行うようにしてもよい。
この実施の形態８では、４×４予測モードを推定する際に、ＪＰＥＧから復号される画素値に、４×４変換を施すことで算出可能な４×４ブロック単位の変換係数を用いるようにする。【０１５１】
図２４はこの発明の実施の形態８による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ復号部２１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号し、その復号結果として、その画像の画素値（画素信号）、その画像の周波数成分の信号であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ復号部２１は信号取得手段を構成している。【０１５２】
予測モード推定部２２はＪＰＥＧ復号部２１により取得された画素値及びＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２２は画面内予測方向推定手段を構成している。
Ｈ．２６４符号化部２３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２２により推定された予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部２１により取得された画素値を符号化してＨ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部２３は符号化手段を構成している。【０１５３】
次に動作について説明する。
ＪＰＥＧ復号部２１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号する。
ＪＰＥＧ復号部２１は、ＪＰＥＧデータの復号結果として、画像の画素値、画像の周波数成分であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する。
なお、画像の画素値は、ＪＰＥＧ復号部２１から予測モード推定部２２及びＨ．２６４符号化部２３に出力され、ＤＣＴ係数はＪＰＥＧ復号部２１から予測モード推定部２２に出力される。
また、ヘッダ情報は、ＪＰＥＧ復号部２１からＨ．２６４符号化部２３に出力される。【０１５４】
予測モード推定部２２は、ＪＰＥＧ復号部２１から画像の画素値及びＤＣＴ係数を受けると、その画素値及びＤＣＴ係数からＨ．２６４方式における予測モードを推定する。
即ち、予測モード推定部２２は、上記実施の形態１〜７におけるいずれかの予測モード推定部２と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１〜７のいずれかと同様であるため説明を省略する。【０１５５】
予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックの画素値Ｘを下記の式（９９）に代入して４×４変換係数Ｙを算出する。
【数４１】
2009113276.tif 000043
【０１５６】
４×４変換係数Ｙは、ＤＣＴ係数と同様に、ブロック内の周波数特性を示しており、予測モード推定部２２は、この４×４変換係数Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
具体的には以下の通りである。
図２５から図２７は４×４予測モードにおける予測モードの推定処理を示すフローチャートである。【０１５７】
まず、予測モード推定部２２は、４×４変換係数を下記の式（１０１）及び式（１０２）に代入して、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出する（図２５のステップＳＴ１２０）。
【数４２】
2009113276.tif 000044
ただし、ｙi,jは４×４ブロックにおける４×４変換係数のｉ，ｊ成分である。ｗi，ｗjは重みである。
ｋは計算に用いる係数であり、ここでは、１≦ｋ≦３であるとする。因みに、ｋ＝１とすれば、全ての４×４変換係数のうち、低周波成分の４×４変換係数のみから予測モードを推定することを意味する。
また、ｋ＝３とすれば、全ての４×４変換係数のうち、高周波成分の４×４変換係数の周波数特性から予測モードを推定することを意味する。【０１５８】
予測モード推定部２２は、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出すると、垂直方向の評価値Ｖａｌｕｅ4×4_Vと閾値ｔｈ4×4_Vを比較するとともに、水平方向の評価値Ｖａｌｕｅ4×4_Hと閾値ｔｈ4×4_Hを比較する（ステップＳＴ１２１）。
Ｖａｌｕｅ4×4_V＜ｔｈ4×4_V                                  （１０３）
Ｖａｌｕｅ4×4_H＜ｔｈ4×4_H                                  （１０４）【０１５９】
予測モード推定部２２は、式（１０３）及び式（１０４）が成立する場合、垂直方向と水平方向の周波数成分がともに小さいので、ＤＣ予測が有効であるとして、４×４予測モードの予測モード２を利用するものと決定する（ステップＳＴ１２２）。
予測モード推定部２２は、式（１０３）又は式（１０４）のいずれか一方でも成立しない場合、垂直方向の評価値Ｖａｌｕｅ4×4_Vと水平方向の評価値Ｖａｌｕｅ4×4_Hとの比ＲａｔｅＶＨ4×4を算出する（ステップＳＴ１２３）。
【数４３】
2009113276.tif 000045
【０１６０】
予測モード推定部２２は、評価値の比ＲａｔｅＶＨ4×4を算出すると、その評価値の比ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_0，ｔｈ4×4_1を比較する（ステップＳＴ１２４、ＳＴ１２６）。
ＲａｔｅＶＨ4×4＜ｔｈ4×4_1                                  （１０６）
ｔｈ4×4_1≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_0                      （１０７）
ｔｈ4×4_0≦ＲａｔｅＶＨ4×4                                  （１０８）【０１６１】
予測モード推定部２２は、式（１０６）が成立する場合、水平方向の予測が有効であるとして、４×４予測モードの予測モード１を利用するものと決定する（ステップＳＴ１２５）。
予測モード推定部２２は、式（１０８）が成立する場合、垂直方向の予測が有効であるとして、４×４予測モードの予測モード０を利用するものと決定する（ステップＳＴ１２７）。
予測モード推定部２２は、式（１０７）が成立する場合、垂直方向成分と水平方向成分を乗算してＳｉｇｎＶＨ4×4を算出する（ステップＳＴ１２８）。
ＳｉｇｎＶＨ4×4＝ｙ0,1・ｙ1,0                              （１０９）【０１６２】
ここで、図２８は４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。
画像内のエッジが左下から右上に向かっているとき、符号ＳｉｇｎＶＨ4×4は正になっており、画像内のエッジが左上から右下に向かっているとき、符号ＳｉｇｎＶＨ4×4は負になっている。【０１６３】
予測モード推定部２２は、ＳｉｇｎＶＨ4×4を算出すると、ＳｉｇｎＶＨ4×4の正負を判定する（ステップＳＴ１２９）。
ＳｉｇｎＶＨ4×4≧０                                          （１１０）
予測モード推定部２２は、式（１１０）が成立する場合、右上又は左下へ向かうエッジがあるとして、４×４予測モードを予測モード３，７，８に絞り込むようにする（ステップＳＴ１３１）。
一方、式（１１０）が成立しない場合、右下又は左上に向かうエッジがあるとして、４×４予測モードを予測モード４，５，６に絞り込むようにする（ステップＳＴ１３０）。【０１６４】
予測モード推定部２２は、４×４予測モードを予測モード３，７，８に絞り込むと、評価値ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_8，ｔｈ4×4_7を比較する（図２６のステップＳＴ１３２、ＳＴ１３４）。
ＲａｔｅＶＨ4×4＜ｔｈ4×4_8                                （１１１）
ｔｈ4×4_8≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_7                    （１１２）
ｔｈ4×4_7≦ＲａｔｅＶＨ4×4                                （１１３）【０１６５】
予測モード推定部２２は、式（１１１）が成立する場合、４×４予測モードの予測モード８を利用するものと決定する（ステップＳＴ１３３）。
予測モード推定部２２は、式（１１３）が成立する場合、４×４予測モードの予測モード７を利用するものと決定する（ステップＳＴ１３５）。
予測モード推定部２２は、式（１１２）が成立する場合、４×４予測モードの予測モード３を利用するものと決定する（ステップＳＴ１３６）。【０１６６】
予測モード推定部２２は、４×４予測モードを予測モード４，５，６に絞り込むと、評価値ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_5，ｔｈ4×4_6を比較する（図２７のステップＳＴ１３７、ＳＴ１３９）。
ＲａｔｅＶＨ4×4＜ｔｈ4×4_6                                （１１４）
ｔｈ4×4_6≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_5                    （１１５）
ｔｈ4×4_5≦ＲａｔｅＶＨ4×4                                （１１６）【０１６７】
予測モード推定部２２は、式（１１４）が成立する場合、４×４予測モードの予測モード６を利用するものと決定する（ステップＳＴ１３８）。
予測モード推定部２２は、式（１１６）が成立する場合、４×４予測モードの予測モード５を利用するものと決定する（ステップＳＴ１４０）。
予測モード推定部２２は、式（１１５）が成立する場合、４×４予測モードの予測モード４を利用するものと決定する（ステップＳＴ１４１）。【０１６８】
上記のようにして、予測モードの決定処理を実施することで、４×４ブロックの４×４変換係数から予測モードを推定することができる。
また、予測モード推定部２２で決定された予測モード以外に、隣り合う予測モードを含めて、３つの予測モードに絞り込み、ＳＡＤなどによってコストを計算するようにしてもよい。
ここで、隣り合うモードとは、図５の下側の図において、矢印の方向が近いもののことであり、例えば、予測モード７に決定されたときは、予測モード０，３が隣り合うモードとなる。【０１６９】
Ｈ．２６４符号化部２３は、予測モード推定部２２が予測モードを推定すると、その予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ復号部２１より取得された画素値を符号化してＨ．２６４ストリームを生成する。【０１７０】
以上で明らかなように、この実施の形態８によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータを復号して、画像の画素値及び画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ復号部２１と、ＪＰＥＧ復号部２１により取得された画素値及び画像の周波数成分の信号であるＤＣＴ係数からＨ．２６４方式における予測モードを推定する予測モード推定部２２とを設け、Ｈ．２６４符号化部２３が予測モード推定部２２により推定された予測モードを用いて、ＪＰＥＧ復号部２１により取得された画素値を符号化してＨ．２６４ストリームを生成するように構成したので、４×４予測モードの推定精度を高めることができる効果を奏する。
また、予測モード推定部２２において４×４変換係数を算出しているため、Ｈ．２６４符号化部２３における４×４変換の計算を省略することが可能であり、Ｈ．２６４への変換を高速に行うことができる効果を奏する。【０１７１】
実施の形態９．
上記実施の形態８では、４×４予測モードを推定する際に、４×４ブロック単位で予測モードの推定を実施するものについて示したが、予測に用いる画素値を含めた５×５ブロック単位で予測モードの推定を実施するようにしてもよい。
この実施の形態９では、４×４予測モードを推定する際に、４×４ブロックの画素値と予測に用いる画素値を含めた５×５ブロックの周波数成分から４×４予測モードを推定するようにする。
この実施の形態９における画像符号化方式変換装置は、上記実施の形態８と基本的な構成は同一であり、ＪＰＥＧ復号部２１及びＨ．２６４符号化部２３の処理内容は、上記実施の形態８と同様であるため、予測モード推定部２２の処理内容のみを説明する。【０１７２】
予測モード推定部２２は、上記実施の形態８と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１〜７のいずれかと同様であるため説明を省略する。【０１７３】
図２９は符号化対象の４×４ブロックＣ1ｎと、その周辺の画素ａ〜ｉを示す説明図である。
予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックと４×４ブロックの周辺の画素値ａ〜ｉを含めた５×５ブロックＸを下記の式（１１７）に代入して５×５ブロックの周波数成分Ｙを算出する。
【数４４】
2009113276.tif 000046
【０１７４】
予測モード推定部２２は、５×５ブロックの周波数成分Ｙを算出すると、その５×５ブロックの周波数成分Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
即ち、予測モード推定部２２は、４×４変換係数を下記の式（１２０）及び式（１２１）に代入して、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出する（図２５のステップＳＴ１２０）。
【数４５】
2009113276.tif 000047
ただし、ｙi,jは４×４ブロックにおける５×５ブロックの周波数成分のｉ，ｊ成分である。ｗi，ｗjは重みである。
ｋは計算に用いる係数であり、ここでは、１≦ｋ≦４であるとする。因みに、ｋ＝１とすれば、全ての５×５ブロックの周波数成分のうち、低周波成分のみから予測モードを推定することを意味する。
また、ｋ＝４とすれば、全ての５×５ブロックの周波数成分のうち、高周波成分の周波数特性から予測モードを推定することを意味する。【０１７５】
以降の推定処理については、上記実施の形態８と同様であるため説明を省略する。
以上で明らかなように、この実施の形態９によれば、予測モード推定部２２において、４×４ブロックと予測に用いられる周辺画素とで構成される５×５ブロックの周波数特性を用いて、Ｈ．２６４の予測モードを決定するように構成したので、より精度が高い予測モードの推定を行うことができる効果を奏する。
【産業上の利用可能性】
【０１７６】
以上のように、この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができ、画像を圧縮して符号化する画像符号化方式変換装置などに用いるのに適している。
【図１】
2009113276.tif 000048
【図２】
2009113276.tif 000049
【図３】
2009113276.tif 000050
【図４】
2009113276.tif 000051
【図５】
2009113276.tif 000052
【図６】
2009113276.tif 000053
【図７】
2009113276.tif 000054
【図８】
2009113276.tif 000055
【図９】
2009113276.tif 000056
【図１０】
2009113276.tif 000057
【図１１】
2009113276.tif 000058
【図１２】
2009113276.tif 000059
【図１３】
2009113276.tif 000060
【図１４】
2009113276.tif 000061
【図１５】
2009113276.tif 000062
【図１６】
2009113276.tif 000063
【図１７】
2009113276.tif 000064
【図１８】
2009113276.tif 000065
【図１９】
2009113276.tif 000066
【図２０】
2009113276.tif 000067
【図２１】
2009113276.tif 000068
【図２２】
2009113276.tif 000069
【図２３】
2009113276.tif 000070
【図２４】
2009113276.tif 000071
【図２５】
2009113276.tif 000072
【図２６】
2009113276.tif 000073
【図２７】
2009113276.tif 000074
【図２８】
2009113276.tif 000075
【図２９】
2009113276.tif 000076
【国際調査報告】
2009113276.tif 000077
2009113276.tif 000078
2009113276.tif 000079
2009113276.tif 000080
2009113276.tif 000081