(57)【要約】 【課題】  フレーム内予測において符号化効率の高い評価尺度を用いたモード選択を高速に処理可能とする装置、方法の提供。【解決手段】  予測信号生成器１０３から生成された予測信号と、動画像圧縮符号化装置に入力される動画像信号１２との差分情報から、コスト値を生成するコスト計算機１０４と、コスト値を基に少なくとも２つの予測モードを選択してコスト計算機１０６へ出力する予備選択器１０５と、予備選択器１０５から出力された予測モードについて差分情報を周波数変換し、新たなコスト値を生成するコスト計算機１０６と、前記周波数変換した後のコスト値を基に最適な予測モードを選択する予測モード選択器１０７とを備えている。【選択図】  図２
2006180195.tif 000002
【特許請求の範囲】
【請求項１】
動画像圧縮符号化装置に入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出する手段と、
前記第１の評価値を基に、複数の予測モードを予備選択する手段と、
前記予備選択された複数の予測モードの差分情報を基に、第２の評価値を算出する手段と、
前記第２の評価値を基に、前記予備選択された複数の予測モードから、１つの予測モードを選択する手段と、
を含むフレーム内予測器を備えている、ことを特徴とする動画像圧縮符号化装置。
【請求項２】
複数のブロックサイズが存在する場合に、動画像圧縮符号化装置に入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出する手段と、
前記第１の評価値を基に、複数の予測モードを予備選択する手段と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する手段と、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択する手段と、
前記第２の評価値から最適なブロックサイズを選択する手段と、
を備えたことを特徴とする動画像圧縮符号化装置。
【請求項３】
フレーム内予測器において、複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に、予測モード判別法を変化させて、予測モードを選択する手段と、
ブロックサイズを選択する手段と、
を備えた、ことを特徴とする動画像圧縮符号化装置。
【請求項４】
フレーム内予測器において、複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に、複数の予測モード判別法のうちいずれか１つを用いて予測モードを選択する手段と、
ブロックサイズを選択する手段と、
を備えたことを特徴とする動画像圧縮符号化装置。
【請求項５】
前記フレーム内予測器が、入力される動画像信号と、前記フレーム内予測器で生成した予測信号との差分情報を基に、第１の評価値を算出する手段と、
前記第１の評価値を基に、複数の予測モードを予備選択する手段と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する手段と、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択する手段と
を備え、
前記予備選択数がブロックサイズ毎に異なる、ことを特徴とする請求項３又は４記載の動画像圧縮符号化装置。
【請求項６】
前記フレーム内予測器が、入力される動画像信号と、前記フレーム内予測器で生成した予測信号との差分情報を基に、第１の評価値を算出する手段と、
前記第１の評価値を基に、複数の予測モードを予備選択する手段と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する手段と、
前記第２の評価値を基に前記予備選択された予測モードから１つの予測モードを選択する手段と、
を備え、
前記フレーム内予測器での予備選択数がブロックサイズごとに異なる、ことを特徴とする請求項３又は４に記載の動画像圧縮符号化装置。
【請求項７】
前記ブロックサイズを選択する手段は、ブロックサイズ毎に、複数の前記フレーム内予測器から出力される第２評価値に基づきブロックサイズを選択し、選択したブロックサイズとその評価値を、予測信号・予測モードメモリへ出力し、
前記予測信号・予測モードメモリは、ブロックサイズ毎に、前記フレーム内予測器から出力される予測信号と予測モードを格納し、
前記ブロックサイズを選択する手段から出力されるブロックサイズに対応する予測信号、予測モードをフレーム内予測の結果として、評価値およびブロックサイズとともに出力する、ことを特徴とする請求項５又は６に記載の動画像圧縮符号化装置。
【請求項８】
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する予測信号生成器と、
前記予測信号生成器で生成された予測信号と、入力される動画像信号との差分情報から、第１の評価値を生成する第１のコスト計算機と、前記第１の評価値を基に少なくとも２つの予測モードを選択して第２のコスト計算機へ出力する予備選択器と、前記予備選択器から出力された予測モードについて差分情報を周波数変換して第２の評価値を生成する第２のコスト計算機と、前記第２の評価値を基に、最適な予測モードを選択する予測モード選択器とを備えた予測モード判定器と、
前記予測モード判定器から出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する予測信号呼出回路と、
を含むフレーム内予測装置を備えている、ことを特徴とする動画像圧縮符号化装置。
【請求項９】
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する予測信号生成器と、
入力される動画像信号と前記予測信号生成器の出力の差分情報から第１の評価値を計算し出力する第１のコスト計算機と、前記第１の評価値から最適な予測モードを選択し予測モードとその差分情報を出力する予測モード選択器と、前記予測モードの差分情報を周波数変換し、第２の評価値を計算して、フレーム内予測器の結果として、予測モードと評価値を出力する第２のコスト計算機と、を備えた予測モード判定器と、
前記予測モード判定器から出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する予測信号呼出回路と、
を含むフレーム内予測装置を備えている、ことを特徴とする動画像圧縮符号化装置。
【請求項１０】
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する予測信号生成器と、
動画像信号と前記予測信号生成器の出力との差分情報を計算する差分計算機と、
前記差分計算機から出力される予測モードの差分情報に対して、周波数変換し評価値を計算して出力するコスト計算機と、前記評価値から最適な予測モードを選択し予測モードとその差分情報を出力する予測モード選択器とを備えた予測モード判定器と、
前記予測モード判定器から出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する予測信号呼出回路と、
を含むフレーム内予測装置を備えている、ことを特徴とする動画像圧縮符号化装置。
【請求項１１】
前記フレーム内予測装置の出力と、前記動画像信号から動きベクトルを検出し動き補償を行う手段の出力の一方を出力するスイッチと、
前記動画像信号と前記スイッチの出力の減算結果を直交変換し量子化した信号に対して逆量子化、逆直交変換した信号と前記スイッチの出力の加算結果が前記再構成信号として前記フレーム内予測装置に供給される、ことを特徴とする請求項８乃至１０のいずれか一に記載の動画像圧縮符号化装置。
【請求項１２】
入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に第１の評価値を算出するステップと、
前記第１の評価値を基に、複数の予測モードを予備選択するステップと、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出するステップと、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項１３】
複数のブロックサイズが存在する場合に、入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に第１の評価値を算出するステップと、
前記第１の評価値を基に、複数の予測モードを予備選択するステップと、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出するステップと
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択するステップと、
前記第２の評価値から、最適なブロックサイズを選択するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項１４】
フレーム内予測器において複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に予測モード判別法を変化させて、予測モードを選択するステップと、
ブロックサイズを選択するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項１５】
フレーム内予測器において複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に、複数の予測モード判別法のうちいずれか１つを用いて予測モードを選択するステップと、
ブロックサイズを選択するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項１６】
前記フレーム内予測器の処理ステップとして、
入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出するステップと、
前記第１の評価値を基に、複数の予測モードを予備選択するステップと、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出するステップと、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択するステップと、
を含み、
前記予備選択数がブロックサイズ毎に異なる、ことを特徴とする請求項１４又は１５記載の動画像圧縮符号化方法。
【請求項１７】
前記フレーム内予測器の処理ステップとして、
入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出するステップと、
前記第１の評価値を基に、複数の予測モードを予備選択するステップと、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出するステップと、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択するステップと、
を含み、フレーム内予測方式の予備選択数がブロックサイズごとに異なることを特徴とする請求項１４又は１５に記載の動画像圧縮符号化方法。
【請求項１８】
前記ブロックサイズを選択するステップは、
ブロックサイズ毎に、複数の前記フレーム内予測器から出力される第２評価値に基づきブロックサイズを選択し、選択したブロックサイズとその評価値を、予測信号・予測モードメモリへ出力するステップと、
前記予測信号・予測モードメモリは、ブロックサイズ毎に、前記フレーム内予測器から出力される予測信号と予測モードを格納するステップと、
前記ブロックサイズを選択するステップで選択されるブロックサイズに対応する予測信号、予測モードをフレーム内予測の結果として、評価値およびブロックサイズとともに出力するステップと、
を含む、ことを特徴とする請求項１６又は１７に記載の動画像圧縮符号化方法。
【請求項１９】
動画像圧縮符号化におけるフレーム内予測として、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納するステップと、
前記生成された予測信号と、入力される動画像信号との差分情報から、第１の評価値を生成するステップと、
前記第１の評価値を基に少なくとも２つの予測モードを選択して出力するステップと、
前記出力された予測モードについて差分情報を周波数変換して第２の評価値を生成するステップと、
前記第２の評価値を基に、最適な予測モードを選択するステップと、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項２０】
動画像圧縮符号化におけるフレーム内予測として、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納するステップと、
入力される動画像信号と前記予測信号生成器の出力の差分情報から第１の評価値を計算し出力するステップと、
前記第１の評価値から最適な予測モードを選択し予測モードとその差分情報を出力するステップと、
前記予測モードの差分情報を周波数変換し、第２の評価値を計算して、フレーム内予測器の結果として、予測モードと評価値を出力するステップと、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項２１】
動画像圧縮符号化におけるフレーム内予測として、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納するステップと、
動画像信号と前記予測信号生成器の出力との差分情報を計算するステップと、
前記予測モードの差分情報に対して、周波数変換し評価値を計算して出力するステップと、
前記評価値から最適な予測モードを選択し予測モードとその差分情報を出力するステップと、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力するステップと、
を含む、ことを特徴とする動画像圧縮符号化方法。
【請求項２２】
動画像圧縮符号化装置を構成するコンピュータに、
入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に評価値を算出する処理と、
前記第１の評価値を基に、複数の予測モードを予備選択する処理と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する処理と、
前記第２の評価値を基に、前記予備選択された予測モードから、１つの予測モードを選択する処理と、
を実行させるプログラム。
【請求項２３】
動画像圧縮符号化装置を構成するコンピュータに、
複数のブロックサイズが存在する場合に、入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出する処理と、
前記第１の評価値を基に、複数の予測モードを予備選択する処理と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する処理と、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択する処理と、
前記第２の評価値から、最適なブロックサイズを選択する処理と、
を実行させるプログラム。
【請求項２４】
動画像圧縮符号化装置を構成するコンピュータに、
フレーム内予測器で複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に予測モード判別法を変化させて、予測モードを選択する処理と、
ブロックサイズを選択する処理と、
を実行させるプログラム。
【請求項２５】
動画像圧縮符号化装置を構成するコンピュータに、
フレーム内予測器で複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に、複数の予測モード判別法のうちいずれか１つを用いて予測モードを選択する処理と、
ブロックサイズを選択する処理と、
を実行させるプログラム。
【請求項２６】
請求項２４又は２５に記載のプログラムにおいて、前記動画像圧縮符号化装置を構成するコンピュータに、前記フレーム内予測器の処理として、
入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出する処理と、
前記第１の評価値を基に、複数の予測モードを予備選択する処理と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する処理と、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択し、前記予備選択数がブロックサイズ毎に異なる、処理と、
を実行させるプログラム。
【請求項２７】
請求項２４又は２５に記載のプログラムにおいて、前記動画像圧縮符号化装置を構成するコンピュータに、
入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に、第１の評価値を算出する処理であって、前記フレーム内予測器の予備選択数がブロックサイズごとに異なる処理と、
前記第１の評価値を基に、複数の予測モードを予備選択する処理と、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出する処理と、
前記第２の評価値を基に前記予備選択された予測モードから１つの予測モードを選択する処理と、
を実行させるプログラム。
【請求項２８】
動画像圧縮符号化装置を構成するコンピュータに、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する処理と、
前記生成された予測信号と、入力される動画像信号との差分情報から、第１の評価値を生成する処理と、
前記第１の評価値を基に少なくとも２つの予測モードを選択して出力する処理と、
前記出力された予測モードについて差分情報を周波数変換して第２の評価値を生成する処理と、
前記第２の評価値を基に、最適な予測モードを選択する処理と、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する処理と、
をフレーム内予測として実行させるプログラム。
【請求項２９】
動画像圧縮符号化装置を構成するコンピュータに、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する処理と、
入力される動画像信号と前記予測信号生成器の出力の差分情報から第１の評価値を計算し出力する処理と、
前記第１の評価値から最適な予測モードを選択し予測モードとその差分情報を出力する処理と、
前記予測モードの差分情報を周波数変換し、第２の評価値を計算して、フレーム内予測器の結果として、予測モードと評価値を出力する処理と、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する処理と、
をフレーム内予測として実行させるプログラム。
【請求項３０】
動画像圧縮符号化装置を構成するコンピュータに、
フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号を入力とし予測信号を生成出力し、前記予測信号を予測信号メモリに格納する処理と、
動画像信号と前記予測信号生成器の出力との差分情報を計算する処理と、
前記予測モードの差分情報に対して、周波数変換し評価値を計算して出力する処理と、
前記評価値から最適な予測モードを選択し予測モードとその差分情報を出力する処理と、
前記出力された予測モードに対応する予測信号を、前記予測信号メモリから読み込み、フレーム内予測の結果として出力する処理と、
をフレーム内予測として実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像圧縮符号化技術に関し、特に、フレーム内予測のモードを複数種類の評価値で選択して符号化する動画像圧縮符号化方法と装置並びにプログラムに関する。
【背景技術】
【０００２】
H.264/MPEG-4 Part 10(ISO/IEC 14496-10)（「H.264」という)（非特許文献１）において、フレーム内予測は輝度成分について、4x4ブロックと16x16ブロックが存在し、それぞれ９種類、４種類の予測モードがある。また、色差成分についても、8x8ブロックについて４種類の予測モードが存在する。
【０００３】
フレーム内予測の予測モードを選択する評価尺度として、H.264の標準化作業を行っているJVT（Joint Vide Team）の会合での寄書JVT-I049d0.doc（非特許文献２）では、
(a)動画像圧縮符号化システムに入力される動画像信号と、予測信号生成システムから出力される予測信号との差分情報のコスト値を生成するSAD(Sum of Absolute Difference)、および、
(b)すべてのモードに対して、前記差分情報をアダマール変換（Hadamard Transform）してコスト値を生成するSATD(Sum of Absolute Transformed Difference)
が提案されている。
【０００４】
JVTでの標準化活動の一環として開発されているH.264の参照ソフト(Joint Model: 以下、「JM」という)において、フレーム内予測モードの選択に、SADおよびSATDが採用されているが、予測モード選択時のコスト値はすべてSADもしくはSATDのいずれか一方で求められている。
【０００５】
なお、従来より、予測方式とブロックサイズを選択する技術が知られている（例えば特許文献１、２）。特許文献１には、各ブロックサイズのブロックについてそれぞれ異なる複数の予測方法による予測誤差が求められ、各予測誤差を第１の評価手段で評価することで当該ブロックに適した予測方法と予測誤差が適応的に選択され、第１の評価手段で得られた各ブロックサイズについての予測誤差を第２の評価手段で評価することで符号化に最適のブロックサイズが動画像の各部位ごとに適応的に選択される動画像予測符号化方式が開示されている。また特許文献２には、ブロックの大きさ情報及び予測方式の種類を受信側に伝送し、ＤＣＴ演算結果を基に平坦部、変化の激しい部分を検出し、それぞれに応じてブロックサイズを大きくしたり小さくしたりし、画面の平坦部、変化の激しい部分に対して最適なブロックサイズを選択できるようにした動画像予測符号化方式が開示されている。さらに特許文献３には、画面の局部的な性質にあわせて予測方法を適応的に切替るため、全体として伝送効率を向上した動画像予測符号化方式が開示されている。さらに特許文献４には、画像データブロック毎に近似面を求め、近似面を特定する情報と、該近似面とブロックの差分値を符号化する第１の符号化手段と、ブロック毎に複数の予測方式から予測方式を選択し、選択した方式により符号化を行う第２の符号化手段と、ブロック毎に第１の符号化手段と第２の符号化手段の一方を選択する手段を備えた構成が開示されている。
【０００６】
しかしながら、特許文献１乃至３等に記載の技術では、フレーム内予測方式の評価尺度としてSADのみが用いられている。このため、SATDでフレーム内予測を行う場合と比べると符号化効率が著しく悪くなってしまう。
【０００７】
【特許文献１】特許第２６０８９０９号公報
【特許文献２】特許第２７０２１３９号公報
【特許文献３】特許第２７１６７０３号公報
【特許文献４】特開平９−９２６５号公報
【非特許文献１】H.264/MPEG-4 Part 10(ISO/IEC 14496-10)  インターネット＜ＵＲＬ：http://www.itu.int/rec/recommendation.asp?type=item&|ang=e&parent=T-REC-H.264-200305-I>
【非特許文献２】JVT-I049d0.doc   インターネット＜ftp://standards.polycom.com/2003_09_SanDiego/＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記した従来の動画像圧縮符号化方式は、下記記載の問題点を有している。
【０００９】
第１の問題点は、フレーム内予測方式について、入力信号と予測信号の差分情報(SAD)だけでモード選択を行うと、符号化効率が良くない、ということである。
【００１０】
その理由は、動画像圧縮符号化方式で符号化されたデータは、入力信号と予測信号の差分情報に対して周波数変換がされているので、該差分情報だけでは、符号化効率を評価する尺度として精度が悪いためである。
【００１１】
第２の問題点は、符号化効率を上げるために、差分情報に対して周波数変換を行いコスト計算を行うSATDの場合、最適なモードを選択するための処理量が極めて多い、ということである。
【００１２】
その理由は、フレーム内予測には複数の予測モードが複数のブロックサイズごとに存在するため、最適な予測モードを選択する場合、すべてのモードに対して前記差分情報を周波数変換した値を算出する必要があるためである。
【００１３】
したがって、本発明の目的は、フレーム内予測器の符号化効率を向上できる動画像圧縮符号化装置と方法並びにプログラムを提供することにある。
【００１４】
本発明の他の目的は、高速に処理ができるフレーム内予測器をもつ動画像圧縮符号化装置と方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
前記目的を達成する本発明は、概略、以下の構成とされる。
【００１６】
本発明の第１のアスペクトに係る動画像圧縮符号化装置は、フレーム内予測器が、予測モードを複数段探索するものであり、より具体的には、動画像圧縮符号化装置に入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に第１の評価値を算出する手段と、前記第１の評価値を基に、複数の予測モードを予備選択する手段と、前記予備選択された複数の予測モードの差分情報を基に第２の評価値を算出する手段と、前記第２の評価値を基に、前記予備選択された複数の予測モードから、１つの予測モードを選択する手段と、を備える。
【００１７】
あるいは、本発明の別のアスペクトに係る動画像圧縮符号化装置は、複数のブロックサイズが存在する場合に、動画像圧縮符号化装置に入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に第１の評価値を算出する手段と、前記第１の評価値を基に、複数の予測モードを予備選択する手段と、前記予備選択されたモードの差分情報を基に、第２の評価値を算出する手段と、前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択する手段と、前記第２の評価値から、最適なブロックサイズを選択する手段と、備える。
【００１８】
本発明の別のアスペクトに係る動画像圧縮符号化方法は、入力される動画像信号とフレーム内予測器で生成された予測信号との差分情報を基に第１の評価値を算出するステップと、
前記第１の評価値を基に、複数の予測モードを予備選択するステップと、
前記予備選択されたモードの差分情報を基に、第２の評価値を算出するステップと、
前記第２の評価値を基に、前記予備選択された予測モードから１つの予測モードを選択するステップと、
を含む。
【００１９】
本発明の別のアスペクトに係るコンピュータプログラムは、動画像圧縮符号化装置を構成するコンピュータに、入力される動画像信号と、フレーム内予測器で生成された予測信号との差分情報を基に評価値を算出する処理と、前記第１の評価値を基に、複数の予測モードを予備選択する処理と、前記予備選択されたモードの差分情報を基に、第２の評価値を算出する処理と、前記第２の評価値を基に、前記予備選択された予測モードから、１つの予測モードを選択する処理と、を実行させるプログラムよりなる。
【発明の効果】
【００２０】
本発明によれば、モード選択をする際に、差分情報(SAD)のみでモードを選択する方法と比べて、符号化効率を大幅に向上させることができ、高速化を実現することができる。
【００２１】
本発明によれば、フレーム内予測器でモードを選択する際に、すべてのモードに対して差分情報を周波数変換する必要がないため、処理量を大幅に削減できると共に、性能的には、SATDに近い高性能を提供することができる。
【発明を実施するための最良の形態】
【００２２】
上記した本発明についてさらに詳細に説述すべく添付図面を参照して以下に説明する。
【００２３】
本発明の一実施の形態に係るフレーム内予測装置は、フレーム内予測を行うブロックを符号化する前に符号化が終了している隣接ブロックの画像信号の一部である再構成信号（１３）を入力とし予測信号を生成する予測信号生成器（１０３）と、予測信号生成器（１０３）で生成された予測信号と、動画像圧縮符号化装置に入力される動画像信号との差分情報から、コスト値を生成するコスト計算機（１０４）と、フレーム内予測器のすべてのモードから差分情報のコスト値を基に少なくとも２つの予測モード（例えばコスト値の小さい上位２つ以上のモード）を選択してコスト計算機（１０６）へ出力する予備選択器（１０５）と、予備選択器（１０５）から出力された予測モードについて、差分情報を周波数変換し、新たなコスト値を生成するコスト計算機（１０６）と、前記周波数変換した後のコスト値を基に最適な予測モードを選択する予測モード選択器（１０７）とを備えた予測モード判定器（１０８）と、予測モード判定器（１０８）から出力された予測モード（１１５）に対応する予測信号を、予測信号メモリ（１０２）から読み込み、フレーム内予測の結果として出力する。
【００２４】
本発明の実施の形態において、複数のフレーム内予測器を備え、複数のブロックサイズが存在する場合に、前記フレーム内予測器でブロックサイズ毎に、予測モード判別法を変化させて、予測モードを選択し、さらに、ブロックサイズを選択する手段を備えた構成としてもよい。あるいは、フレーム内予測器でブロックサイズ毎に、複数の予測モード判別法のうちいずれか１つを用いて予測モードを選択し、ブロックサイズを選択する手段を備えた構成としてもよい。以下、実施例に即して説明する。
【実施例】
【００２５】
図１は、本発明の一実施例の構成を示す図である。図１を参照すると、動画像信号１２はフレーム内予測器１と動きベクトル検出器２に入力される。動きベクトル検出器２で検出された動きベクトルと、フレームメモリ１０の情報に基づき、動き補償を行う動き補償器３を備え、スイッチ１１は、フレーム内予測器１と、動き補償器３の出力とを切り替える。減算器１５で動画像信号１２からスイッチ１１の出力を減算した結果は、DIT器４でDIT(Discrete Integer Transform)変換され、量子化器５にて量子化され可変長符号器６にて可変長符号される。量子化器５の出力は逆量子化器７で逆量子化され逆DIT器８で逆DIT変換される。逆DIT器８の出力とスイッチ１１の出力とは加算器１６で加算され、加算結果が再構成信号１３としてフレーム内予測器１とループ内フィルタ器９に供給され、ループ内フィルタ器９の出力はフレームメモリ１０に格納される。
【００２６】
図２は、図１のフレーム内予測器１の詳細な構成を示す図である。フレーム内予測器１は、予測信号生成器１０３と、予測モード判定器１０８と、予測信号呼出装置１０９とを備えている。
【００２７】
予測信号生成器１０３は、再構成信号を入力とする複数のフィルタ１０１と、複数のフィルタ１０１からの予測信号１１０をそれぞれ入力する複数の予測信号メモリ１０２を備えている。
【００２８】
予測モード判定器１０８は、コスト計算機１０４と、予備選択器１０５と、コスト計算機１０６と、予測モード選択器１０７を備えている。
【００２９】
まず、予測信号生成器１０３の動作について説明する。図２において、フィルタ１０１は、再構成信号１３に対して、それぞれ、フレーム内予測器に存在する複数種類の予測モードに基づいたフィルタ処理を行い、生成された予測信号１１０を予測信号メモリ１０２に格納する。
【００３０】
フレーム内予測の予測については、非特許文献１に記載の通り、当該ブロックの左に隣接するブロックにおける右端に位置する４もしくは１６個の画素、当該ブロックの上や右上に隣接するブロックにおける下端の画素に位置する４もしくは１６個の画素、および当該ブロックの左上に隣接するブロックの右下の端の１個の画素を用いて予測を行う。
【００３１】
フレーム内予測において、
・左に隣接するブロックの右端の画素を、当該ブロックの同じ高さの画素の予測信号とする予測モード、
・上に隣接するブロックの下端の画素を、当該ブロックの同じ列の画素の予測信号とする予測モード、
・予測で用いる画素の平均値を当該ブロックすべての予測信号とする予測モード、
・当該ブロックの位置に基づいて予測で用いる複数の画素値をフィルタ処理して予測信号を生成する予測モード、
等が用いられる。
【００３２】
予測信号メモリ１０２は、フィルタ１０１より出力された予測信号１１０を蓄積するための装置であり、予測信号１１０を予測モード判定器１０８のコスト計算機１０４、および、予測信号呼出装置１０９へ出力する。
【００３３】
再構成信号１３は、フレーム内予測を行う該当ブロックを符号化する前に、符号化が終了している隣接ブロックの画像信号の一部である。
【００３４】
予測信号１１０は、再構成信号１３に対して、予測モードにより異なるフィルタ１０１を用いて生成された信号、もしくは、再構成信号１３と同じ値の信号である。
【００３５】
次に、予測モード判定器１０８の動作について説明する。
【００３６】
コスト計算機１０４は、予測信号１１０および動画像信号１２の差分情報１１２を計算し、予備選択器１０５に、コスト値１１１を出力する。コスト計算機１０４は、例えば差分情報（block difference）１１２として、
Diff(i,j)=Original(i,j)-Prediction(i,j)    …(1)
を算出する。ただし、Prediction(i,j)は予測信号１１０、Original(i,j)は動画像信号１２である。
【００３７】
そして、コスト計算機１０４は、差分データDiff(i,j)の絶対値の和であるSAD(Sum of Absolute Difference)（次式（２）参照）をコスト値として出力する。
【００３８】
SAD=Σi,j｜Diff(i,j)｜                      …(2)
【００３９】
予備選択器１０５は、コスト値１１１の差分情報の少ない予測モードから少なくとも２つの予測モードを選択し、選択モード１１３をコスト計算機１０６へ出力する。
【００４０】
コスト計算機１０６は、予備選択器１０５から出力された、選択モード１１３に対応する差分情報１１２に対して、周波数変換をしたコスト値１１４を計算し、予測モード選択器１０７へ出力する。コスト計算機１０６は、差分データDiff(i,j)を、例えばアダマール変換（Hadamard Transform）等により周波数変換して得られるDiffT(i,j)の絶対値の和であるSATD(Sum of Absolute Transformed Difference)（次式（３）参照）を当該ブロックのコスト値１１４として算出する。
【００４１】
SATD=（Σi,j｜DiffT(i,j)｜）/2                …(3)
【００４２】
予測モード選択器１０７は、コスト計算機１０６によって出力されたコスト値１１４から最適な予測モード１１５を選択し、予測モード１１５とそのコスト値１１４を、フレーム内予測の結果として、出力する。
【００４３】
動画像信号１２は、動画像圧縮符号化装置１４の入力画像信号である。
【００４４】
予測信号呼出装置１０９は、予測モード判定器１０８から出力された予測モード１１５に対応する予測信号を、予測信号メモリ１０２から読み込み、フレーム内予測の結果として出力する。もしくは、予測信号呼出装置１０９は、図１のスイッチ１１で、フレーム内予測が選ばれた場合に、予測モード判定器１０８から出力された予測モード１１５に対応する予測信号を、予測信号メモリ１０２から読み込んで、フレーム内予測の結果として出力する。
【００４５】
本実施例は、２段探索について説明したが、
・２段目の探索で複数のモードを選択し、DiffT(i,j)を図１の量子化器５によって量子化した値から、コスト値を求める、もしくは、
・DiffT(i,j)を図１の量子化器５によって量子化した値を、図１の可変長符号器６によって符号化した値からコスト値を求める、
という手段により、３段以上に拡張することが出来る。
【００４６】
次に、本発明の第２の実施例について、図３を参照して、詳細に説明する。図３は、フレーム内予測器１について、N個のブロックサイズが存在する場合にブロックサイズを選択する部分の構成を示している。図３を参照すると、ブロックサイズ選択部は、N個のブロックサイズに対応したフレーム内予測器２０１１〜２０１Ｎと、ブロックサイズ判定器２０２と、予測信号・予測モードメモリ２０３と、を備えて構成されている。
【００４７】
ブロックサイズ判定器２０２は、ブロックサイズ毎に、フレーム内予測器２０１１〜２０１Ｎから出力されるコスト値２０６の最も少ないブロックサイズ２０７を選択し、ブロックサイズ２０７とそのコスト値２０６を、予測信号・予測モードメモリ２０３へ出力する。
【００４８】
予測信号・予測モードメモリ２０３は、ブロックサイズ毎に、フレーム内予測器２０１１〜２０１Ｎから出力される予測信号２０４と予測モード２０５を格納し、ブロックサイズ判定器２０２から出力されるブロックサイズ２０７に対応する予測信号２０４、予測モード２０５をフレーム内予測の結果として、コスト値２０６およびブロックサイズ２０７とともに出力する。フレーム内予測器２０１１〜２０１Ｎの各々は、図２に示した構成（予測信号生成器１０３と予測モード判定器１０８と予測信号呼出装置１０９）よりなり、動作も同一であるため、説明を省略する。
【００４９】
次に、本発明の第３の実施例について、図４および図５を参照して詳細に説明する。図４は、フレーム内予測器１に、複数のブロックサイズが存在する場合に、ブロックサイズを選択する部分の構成を示している。本実施例では、ブロックサイズが３種類、予測モード判別法が３種類存在する場合について説明する。
【００５０】
ブロックサイズ選択部は、ブロックサイズ毎に、予測モードの判別法が異なるフレーム内予測器３０１、３０２、３０３と、ブロックサイズ判定器３０４と、予測信号・予測モードメモリ３０５を備えて構成されている。フレーム内予測器３０１、３０２、３０３の構成および動作について説明する。
【００５１】
フレーム内予測器３０１、３０２および３０３は、各々ブロックサイズ毎に、予測モード判定器が異なるフレーム内予測器（図２、図５および図６参照）を用いる。
【００５２】
図５に示すように、予測モード判定器４０７は、コスト計算機４０４と、予測モード選択器４０５と、コスト計算機４０６とを備えて構成されている。予測信号生成器４０３は、図２と同一である。
【００５３】
コスト計算機４０４は、動画像圧縮符号化装置１４に入力される動画像信号１２と、予測信号生成器４０３との差分情報４１１から、コスト値４１０を計算し(例えば上式（２）のSAD)、予測モード選択器４０５に出力する。
【００５４】
予測モード選択器４０５は、コスト値４１０から最適な予測モード４１２を選択し、コスト計算機４０６へ予測モード４１２とその差分情報を出力する。
【００５５】
コスト計算機４０６は、予測モード４１２の差分情報４１１を周波数変換し、コスト値４１３を計算して、フレーム内予測器の結果として、予測モード４１２とコスト値４１３（例えば上式（３）のSATD）を出力する。
【００５６】
また、図６に示す構成において、予測モード判定器４２７は、差分計算機４２４と、コスト計算機４２５と、予測モード選択器４２６とを備えて構成されている。
【００５７】
差分計算機４２４は、動画像圧縮符号化装置１４に入力される動画像信号１２と予測信号生成器４２３の出力(予測信号)との差分情報４３０を計算し（例えば上式（１）参照）、コスト計算機４２５に出力する。
【００５８】
コスト計算機４２５は、すべての予測モードの差分情報４３０（Diff（i,j））に対して周波数変換して（例えばアダマール変換して得られるDiffT（i,j））、コスト値４３１を計算し（例えば上式（３）のSATD）、予測モード選択器４２６に出力する。
【００５９】
予測モード選択器４２６は、コスト計算機４２５から出力されたコスト値４３１を基に最適な予測モード４３２を選択し、フレーム内予測器の結果として、最適な予測モード４３２とそのコスト値４３１を出力する。上記以外の構成および動作は、前記実施例２と同じであることから、その説明を省略する。
【００６０】
次に、本発明の第４の実施例について、図７を参照して説明する。図７は、フレーム内予測方式に複数のブロックサイズが存在する場合に、ブロックサイズを選択する部分の構成を示している。以下では、M=３個の予測モード判別法が存在し、かつブロックサイズが２種類存在する場合について説明する。
【００６１】
ブロックサイズ選択部分は、フレーム内予測器５０１、５０２、ブロックサイズ判定器５０３、および予測信号・予測モードメモリ５０４を備えて構成される。
【００６２】
フレーム内予測器５０１、５０２の構成を説明する。フレーム内予測器５０１および５０２は、図２もしくは図５、図６に示した構成のうちいずれかを用いることができる。上記以外の構成および動作は、前記第３の実施例と同じであるので説明を省略する。
【００６３】
次に、本発明の第５の実施例について、図８を参照して説明する。図８は、フレーム内予測方式に複数のブロックサイズが存在する場合に、ブロックサイズを選択する部分の構成を示している。本実施例では、予測モード選択数が２種類存在する場合について説明する。ブロックサイズ選択部分はブロックサイズ毎に予測モードの予備選択数が異なるフレーム内予測器６０１、６０２、ブロックサイズ判定器６０３、および予測信号・予測モードメモリ６０４を備えて構成されている。
【００６４】
フレーム内予測器６０１および６０２の構成について説明する。フレーム内予測器６０１、６０２は、図２又は図９のフレーム内予測器１を用いる。
【００６５】
図２と図９の構成の相違点は、予備選択器１０５および予備選択器６２５で選択される予測モードの予備選択数が相違している。これ以外の構成および動作は第２の実施例と同じである。
【００６６】
次に本発明の第６の実施例について、図１０を参照して説明する。図１０は、フレーム内予測器に複数のブロックサイズが存在する場合に、ブロックサイズを選択する部分の構成を示している。本実施例では、ブロックサイズが４種類存在する場合で、予測モード判別法が３種類存在し、そのうち、予備選択をする予測モード判別法において予備選択数が２種類存在する構成について説明する。ブロックサイズ選択部は、ブロックサイズ毎に、予測モードの予備選択数もしくは予測モード判別法が異なるフレーム内予測器７０１、７０２、７０３、７０４と、ブロックサイズ判定器７０５と、予測信号・予測モードメモリ７０６を備えて構成される。
【００６７】
フレーム内予測器７０１、７０２、７０３および７０４の構成について説明する。ブロックサイズの異なるフレーム内予測器７０１、７０２、７０３、７０４のうち２つは、図２と図９から構成される。図２と図９の違いは、予備選択数が異なることである。その他のブロックサイズのフレーム内予測器は、図５と図６から構成される。もしくは、その他のブロックサイズのフレーム内予測器は、図２、図５、図６、もしくは図８のいずれかのフレーム内予測器から構成される。上記以外の構成、および動作は、前記第３の実施例もしくは第４の実施例と同じため説明を省略する。
【００６８】
本実施例によれば、モード選択をする際に、差分情報(SAD)のみでモードを選択する方法と比べて符号化効率を大幅に向上させることができることである。
【００６９】
本実施例によれば、フレーム内予測器でモードを選択する際に、すべてのモードに対して差分情報を周波数変換する必要がないため、処理量を大幅に削減できると共に、性能的にはSATDに近い高性能を提供することができることである。
【００７０】
図１１および図１２は、輝度成分について、フレーム内予測器のブロックサイズが4x4と、16x16の２種類存在し、
4x4に９種類の予測モードが存在し、
16x16に４種類の予測モードが存在する場合における、本発明の作用効果を示すデータである。
【００７１】
図１１は、符号化効率に関するデータ（横軸；ビット量、縦軸：ＳＮＲ（信号対雑音比））を示しており、図１２は、すべてのモードに対して差分情報を周波数変換してモード選択した演算量(SATD)に対する、横軸の各方法（SATD、実施例５、２、SAD）の演算量の削減率（縦軸）を示している。
【００７２】
各データは、実施例２と５、差分情報のみでモード選択をする方法(SAD)、すべてのモードに対して差分情報の周波数変換をしてモード選択をする方法(SATD)を示している。
【００７３】
本発明のうち、実施例２は、4x4ブロック、16x16ブロック共に予備選択数を２としており、実施例５に関しては4x4ブロックに対して、４つの予備選択をし、16x16ブロックに対しては２つの予備選択を行った。
【００７４】
図１１より、実施例２、５は、同じビット量のストリームにおいて、SADに比べて高いSN比が得られており、符号化効率を向上させていることが分かる。実施例５については、SATDと同等の符号化効率が得られている。
【００７５】
実施例２については、SATDと比べてほぼ同等の符号化効率が得られる。
【００７６】
また、図１２より、実施例２、５は、SATDに比べて高速化されていることが分かる。実施例５では20%程度、実施例２は35%程度の高速化が可能である。
【００７７】
以上本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００７８】
【図１】本発明の一実施例の全体の装置構成を示す図である。
【図２】本発明の第１の実施例の構成を示す図である。
【図３】本発明の第２の実施例の構成を示す図である。
【図４】本発明の第３の実施例の構成を示す図である。
【図５】本発明の第３の実施例の構成の一部を示す図である。
【図６】本発明の第３の実施例の構成の一部を示す図である。
【図７】本発明の第４の実施例の構成を示す図である。
【図８】本発明の第５の実施例の構成を示す図である。
【図９】本発明の第５の実施例の構成を示す図である。
【図１０】本発明の第６の実施例の構成を示す図である。
【図１１】本発明の作用効果の一例を示す図である。
【図１２】本発明の作用効果の他の例を示す図である。
【符号の説明】
【００７９】
１    フレーム内予測器
２    動きベクトル検出器
３    動き補償器
４    DIT(Discrete Integer Transform)器
５    量子化器
６    可変長符号器
７    逆量子化器
８    逆DIT器
９    ループ内フィルタ器
１０  フレームメモリ
１１  スイッチ
１２  動画像信号（動画像圧縮符号化装置に入力される動画像信号）
１３  再構成信号
１４  動画像圧縮符号化装置
１５  減算器
１６  加算器
１０１  フィルタ
１０２  予測信号メモリ
１０３  予測信号生成器
１０４  コスト計算機
１０５  予備選択器
１０６  コスト計算機
１０７  予測モード選択器
１０８  予測モード判定器
１０９  予測信号呼出装置
１１０  予測信号
１１１  コスト値
１１２  差分情報
１１３  選択モード
１１４  コスト値
１１５  予測モード
２０１  フレーム内予測器
２０２  ブロックサイズ判定器
２０３  予測信号・予測モードメモリ
２０４  予測信号
２０５  予測モード
２０６  コスト値
２０７  ブロックサイズ
３０１  フレーム内予測器
３０２  フレーム内予測器
３０３  フレーム内予測器
３０４  ブロックサイズ判定器
３０５  予測信号・予測モードメモリ
３０６  予測信号/予測モード
３０７  コスト値
３０８  コスト値/ブロックサイズ
３０９  予測信号/予測モード/コスト値/ブロックサイズ
４０１  フィルタ
４０２  予測信号メモリ
４０３  予測信号生成器
４０４  コスト計算機
４０５  予測モード選択器
４０６  コスト計算機
４０７  予測モード判定器
４０８  予測信号呼出装置
４０９  予測信号
４１０  コスト値
４１１  差分情報
４１２  予測モード
４１３  コスト値
４２１  フィルタ
４２２  予測信号メモリ
４２３  予測信号生成器
４２４  差分計算機
４２５  コスト計算機
４２６  予測モード選択器
４２７  予測モード判定器
４２８  予測信号呼出装置
４２９  予測信号
４３０  差分情報
４３１  コスト値
４３２  予測モード
５０１  フレーム内予測器
５０２  フレーム内予測器
５０３  ブロックサイズ判定器
５０４  予測信号・予測モードメモリ
５０５  予測信号/予測モード
５０６  コスト値
５０７  コスト値/ブロックサイズ
５０８  予測信号/予測モード/コスト値/ブロックサイズ
６０１  フレーム内予測器
６０２  フレーム内予測器
６０３  ブロックサイズ判定器
６０４  予測信号・予測モードメモリ
６０５  予測信号/予測モード
６０６  コスト値
６０７  コスト値/ブロックサイズ
６０８  予測信号/予測モード/コスト値/ブロックサイズ
６２１  フィルタ
６２２  予測信号メモリ
６２３  予測信号生成器
６２４  コスト計算機
６２５  予備選択器
６２６  コスト計算機
６２７  予測モード選択器
６２８  予測モード判定器
６２９  予測信号呼出装置
６３０  予測信号
６３１  コスト値
６３２  差分情報
６３３  選択モード
６３４  コスト値
６３５  予測モード
７０１  フレーム内予測器
７０２  フレーム内予測器
７０３  フレーム内予測器
７０４  フレーム内予測器
７０５  ブロックサイズ判定器
７０６  予測信号・予測モードメモリ
７０７  予測信号/予測モード
７０８  コスト値
７０９  コスト値/ブロックサイズ
７１０  予測信号/予測モード/コスト値/ブロックサイズ
【図１】
2006180195.tif 000003
【図２】
2006180195.tif 000004
【図３】
2006180195.tif 000005
【図４】
2006180195.tif 000006
【図５】
2006180195.tif 000007
【図６】
2006180195.tif 000008
【図７】
2006180195.tif 000009
【図８】
2006180195.tif 000010
【図９】
2006180195.tif 000011
【図１０】
2006180195.tif 000012
【図１１】
2006180195.tif 000013
【図１２】
2006180195.tif 000014