(57)【要約】【課題】  フレーム間符号化とフレーム内符号化を切り替えながら符号化を行う際、計算負荷を抑制しながら、精度良い符号化モードの判定を実現すること。【解決手段】  輝度の合計などの空間統計量が所定の条件を満たす場合、不安定性検出部２０４による処理によらず、空間統計量閾値処理部４０１により符号化モードを決定する。それ以外の場合、空間統計量に基づいてモード判定の安定性を不安定性検出部２０４で検出し、安定したモード判定が行えると判定された場合には空間統計量に基づいて符号化モードを決定する。一方、不安定性検出部２０４によってモード判定が不安定であると判定された場合には、周波数統計量算出部２０５、２０６で算出した周波数統計量に基づいて符号化モードを決定する。また、イントラインタ境界線算出部７０１により、不安定性検出部２０４の判定条件をフレーム毎に更新する。【選択図】  図１
2006165796.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、
原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、
前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、
前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出手段と、
前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出手段と、
前記第１及び第２の空間統計量算出手段が算出した空間統計量が所定の条件を満たすかどうかを判定する判定手段と、
前記判定手段によって前記所定の条件を満たすと判定された原画像信号については、前記第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記判定手段によって前記所定の条件を満たさないと判定された原画像信号については、前記第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段と、
前記モード判定手段の判定結果に応じて、前記原画像信号の次フレームの信号に対して用いる前記所定の条件を変更する条件更新手段とを有することを特徴とする符号化モード判定装置。
【請求項２】
前記条件更新手段が、１フレーム中のフレーム内符号化が選択されたマクロブロックの数とフレーム間符号化が選択されたマクロブロックの数に応じて前記所定の条件を変更することを特徴とする請求項１記載の符号化モード判定装置。
【請求項３】
前記条件更新手段が、フレーム間符号化が選択されたマクロブロックの数が多いほど、前記判定手段によって前記所定の条件を満たすと判定されにくくなるように前記所定の条件を変更することを特徴とする請求項２記載の符号化モード判定装置。
【請求項４】
前記所定の条件が、前記第１の空間統計量算出手段により算出された空間統計量と、定数との積からなり、前記条件更新手段が、前記定数の値を変更することを特徴とする請求項２又は請求項３に記載の符号化モード判定装置。
【請求項５】
前記条件更新手段が、前記定数を、前記第１及び第２の空間統計量算出手段が算出した空間統計量の値を縦軸及び横軸とする２次元グラフ上で、前記フレーム間符号化が選択されたマクロブロックと、前記フレーム内符号化が選択されたマクロブロックとを近似的に二分する、前記２次元グラフの原点を通る直線の傾きとして求めることを特徴とする請求項４記載の符号化モード判定装置。
【請求項６】
さらに、前記第２の空間統計量算出手段が算出する空間統計量の値が所定の条件を満たした際、前記所定の条件を初期条件に戻すリフレッシュ手段を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の記載の符号化モード判定装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の符号化モード判定装置を用いた動画像符号化装置。
【請求項８】
フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、
原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、
前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、
前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出工程と、
前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出工程と、
前記第１及び第２の空間統計量算出工程が算出した空間統計量が所定の条件を満たすかどうかを判定する判定工程と、
前記判定工程によって前記所定の条件を満たすと判定された原画像信号については、前記第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記判定工程によって前記所定の条件を満たさないと判定された原画像信号については、前記第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程と、
前記モード判定工程の判定結果に応じて、前記原画像信号の次フレームの信号に対して用いる前記所定の条件を変更する条件更新工程を有することを特徴とする符号化モード判定方法。
【請求項９】
請求項８記載の符号化モード判定方法をコンピュータに実行させるプログラム。
【請求項１０】
請求項９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を圧縮符号化する動画像符号化装置に好適に用いることのできる符号化モード判定装置及び方法に関する。
【背景技術】
【０００２】
動画像は情報量が多いため、記録・伝送するにあたり、情報を圧縮する技術が必要になる。動画像圧縮技術の代表例として“ＩＴＵ勧告Ｈ．２６１  オーディオビジュアル・サービス用ビデオ符号化”などのハイブリッド符号化方式が挙げられ、これらの方式はフレーム間冗長情報を削減する（以下、インタ符号化）ことにより高圧縮を達成している。しかし、常にフレーム間冗長情報を削減する事が最適な圧縮を促すものでなく、フレーム間の冗長情報を削減するより、フレーム内の冗長情報を削減（以下、イントラ符号化）した方が、高圧縮につながる場合がある。そのため、インタ符号化とイントラ符号化のどちらを用いた方がよいかを判定する符号化モード判定には、高精度であることが望まれている。
【０００３】
図８は、従来の動画像符号化装置の構成例を示すブロック図である。
動画像入力部１００には、時間方向に連続する複数フレームで構成されるデジタル動画像が入力される。動画像入力部１００から入力された動画像は小さな矩形領域Bij（例えば８ｘ８画素，１６ｘ１６画素など）に分割され、カラー動画像の場合はマクロブロック(MＢij)と呼ばれる矩形領域単位で符号化を行う（マクロブロックは一つ以上の矩形領域で構成される（Mbij≧Bij））。
【０００４】
以下では、入力動画像がカラー画像である事を想定し、マクロブロック単位で処理を行う。動きベクトル検出部１０９では、画像入力部１００からの現フレームの画像データと、フレームメモリ１０８に記憶された前フレームの局所復号化画像を参照して、マクロブロック単位で動きベクトル検出を行う。この際、符号化対象ブロックの周囲±１５画素の範囲で、ブロックマッチングを行い、各輝度の予測誤差の平均絶対値が最小のブロックを予測ブロックとして、動きベクトルを検出する。
【０００５】
フレームメモリ１０８には、予測画像保持部１１１の画像情報と、減算部１０１、セレクタ１（１１６）、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６を経た差分信号の局所復号化情報とを加算部１０７で加算した再生フレーム（参照フレーム）を蓄積する領域がある。動き補償部１１０は、動きベクトル検出部１０９により検出された動きベクトルを用いて、フレームメモリ１０８に蓄積された参照フレームから予測ブロックを検出し、予測画像保持部１１１に出力する。予測画像保持部１１１は、蓄積している予測画像を減算部１０１とセレクタ２（１１７）に出力する。セレクタ２（１１７）は、符号化モード判定部１０２から送られるモード判定情報に基づき、予測画像保持部１１１の画像データを加算部１０７へ送る。
【０００６】
減算部１０１は、動画像入力部１００から入力される符号化対象ブロックと、予測画像保持部１１１からの予測画像ブロックから予測誤差を算出し、セレクタ１（１１６）へ予測誤差を送る。セレクタ１（１１６）では、符号化モード判定部１０２の制御により、減算部１０１から出力された予測誤差か、動画像入力部１００から減算部１０１を通らずに供給される原画像のいずれかを、符号化単位であるマクロブロック単位で直交変換部１０３に出力する。直交変換部１０３では、ＤＣＴ変換によって直交変換が行われる。量子化部１０４では、レート制御部１１２（後述）から出力される量子化制御信号に基づき、スカラー量子化が行われ、量子化後の値を可変長符号化部１１３と逆量子化部１０５に出力する。可変長符号化部１１３では、量子化部１０４で量子化された値を可変長符号化し、バッファ１１４へ出力する。バッファ１１４では、バッファ内の符号量などの情報をレート制御部１１２へ出力するとともに、符号データを符号出力部１１５へ出力する。
【０００７】
レート制御部１１２では、バッファ１１４から出力される符号量などの情報に基づき、量子化部１０４に量子化制御信号を送る。逆量子化部１０５では、量子化部１０４で量子化された値を逆量子化し、逆量子化された値を逆直交変換部１０６へ出力する。逆直交変換部１０６では、直交化された予測誤差信号を逆直交化し、加算部１０７に出力する。加算部１０７は、逆直交変換部１０６の出力と、予測画像保持部１１１の出力を加算し符号化対象ブロックを再生し、フレームメモリ１０８に出力する
【０００８】
上述のように、符号化モード判定部１０２の判定精度は符号化結果の画質に影響を及ぼす。そこで、図９に符号化モード判定部１０２の構成例を示し、その具体的な処理についてさらに説明する。符号化モード判定部１０２には、フレーム単位で、フレーム内符号化とフレーム間符号化の選択を行う処理部と、マクロブロック単位でフレーム内符号化とフレーム間符号化の選択（以下、イントラインタ判定）を行う処理部が存在するが、フレーム単位の選択はIPPIPP....（Ｉ＝フレーム内符号化、Ｐ＝フレーム間符号化）という固定パターンで繰り返すものとして、フレーム単位の判定を行う処理部は図９では省略している。従って、図９にはマクロブロック単位の符号化方法選択に関する構成が示されている。
【０００９】
統計量第一算出部１５０と統計量第二算出部１５１はそれぞれ、原画像と差分画像に関する、輝度もしくは周波数空間上の統計量をマクロブロック単位で算出し、算出結果は統計量比較部１５２にて比較される。符号化モードセレクタ１５３は、統計量比較部１５２での比較結果に基づき、イントラ符号化、インタ符号化のいずれかを選択して、選択された符号化モードをセレクタ１（１１６）及びセレクタ２（１１７）へ送信する。セレクタ１（１１６）は、符号化モード判定部１０２から判定結果が通知されるまで原画像と差分画像を保持し、通知された符号化モードに応じ、イントラ符号化では原画像を、インタ符号化では差分画像を直交変換部１０３へ出力する。
【００１０】
図１０はこのような符号化モード判定部１０２のより具体的な処理の流れの例を示すフローチャートである。
符号化モード判定が開始されると（ステップＳ１０００）、符号化対象のマクロブロックをイントラ符号化した時の発生符号量とインタ符号化した時の発生符号量を予測するために、統計量第一算出部１５０では、原画像のマクロブロックIMbに関する空間統計量Istatを、統計量第二算出部１５１では予測誤差のマクロブロックPMbに関する統計量Pstatを算出し（ステップＳ１００１）する。統計量比較部１５２ではIstatとPstatの大小を比較する（ステップＳ１００２）。
【００１１】
Pstatと”PMbの発生符号量”、Istatと”Imbの発生符号量”は比例関係であると仮定すると、Pstat＜Istatの場合には仮定より予測誤差の方が発生符号量は少ないことになり、符号化モードセレクタ１５３では、インタ符号化が選択され（ステップＳ１００３）、逆にIstatの方が小さい場合、符号化モードセレクタ１５３では、イントラ符号化が選択される（ステップＳ１００４）。インタ符号化、イントラ符号化いずれかが選択されるとモード判定は終了する（ステップＳ１００５）。
【００１２】
IMbとPMbを実際に符号化し、発生した符号量Icode,PcodeをそれぞれIstat,Pstatとし、発生符号量の小さい方を選択すると、符号量の観点から最適なモード判定となるが、実際に符号化すると処理能力を大きく費やすことになるため、簡単な近似式で発生符号量を予測する事が多い。
【００１３】
例えば、ISOで標準化されているMPEG2 Test Model 5では、IstatとPstatを輝度の分散や絶対和として発生符号量を見積もり、モード判定を行っている。また、特許文献１には、IMbとRMbを直交変換し、周波数空間上の係数の統計量をIstat,Pstatとして符号量を予測することが記載されている。
【００１４】
【特許文献１】特開２０００−３４１６９７号公報（段落００３３）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、輝度の分散や絶対和などでモード判定する場合、計算コスト（計算負荷もしくは計算に必要な能力資源）は少ないが、シーンチェンジのように極端な輝度の変化がなければ正確なモード判定は困難である。また、周波数空間上の係数の統計量でモード判定する場合、精度良くモード判定できるが、計算コストが上昇する。
【００１６】
本発明はこのような従来技術の課題を解決し、計算コストを抑えながら良好な判定精度を得ることが可能な符号化モード判定装置及び方法を実現することにある。
【課題を解決するための手段】
【００１７】
上述の目的は、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出手段と、差分信号の周波数統計量を算出する第２の周波数統計量算出手段と、第１及び第２の空間統計量算出手段が算出した空間統計量が所定の条件を満たすかどうかを判定する判定手段と、判定手段によって所定の条件を満たすと判定された原画像信号については、第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、判定手段によって所定の条件を満たさないと判定された原画像信号については、第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段と、モード判定手段の判定結果に応じて、原画像信号の次フレームの信号に対して用いる所定の条件を変更する条件更新手段とを有することを特徴とする符号化モード判定装置によって達成される。
【００１８】
また、上述の目的は、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出工程と、差分信号の周波数統計量を算出する第２の周波数統計量算出工程と、第１及び第２の空間統計量算出工程が算出した空間統計量が所定の条件を満たすかどうかを判定する判定工程と、判定工程によって所定の条件を満たすと判定された原画像信号については、第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、判定工程によって所定の条件を満たさないと判定された原画像信号については、第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程と、モード判定工程の判定結果に応じて、原画像信号の次フレームの信号に対して用いる所定の条件を変更する条件更新工程を有することを特徴とする符号化モード判定方法によっても達成される。
【００１９】
さらに、上述の目的は、本発明の符号化モード判定方法をコンピュータに実行させるプログラム及びこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。
【発明の効果】
【００２０】
このような構成により、本発明によれば、計算コストを抑えながら良好な判定精度を得ることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本発明の第１の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。
【００２２】
また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。
【００２３】
図１は、本実施形態における符号化モード判定部の構成例を示すブロック図である。
符号化モード判定部は、原画像をマクロブロック毎に入力する原画像入力部２０９、差分画像をマクロブロック毎に入力する差分画像入力部２１０、原画像のマクロブロックの輝度絶対和を算出する空間統計量第一算出部２０１、差分画像のマクロブロックの輝度絶対和を算出する空間統計量第二算出部２０２、絶対和の比較を行う空間統計量比較部２０３、モード判定が不安定になるマクロブロックを判定する不安定性検出部２０４、原画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第一算出部２０５、差分画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第二算出部２０６、係数の統計量を比較する周波数統計量比較部２０７、空間統計量比較部２０３と周波数統計量比較部２０７の結果から最終的にイントラ符号化、インタ符号化のいずれかを選択する符号化モードセレクタ２０８、符号化モードセレクタ２０８の結果に基づき、イントラインタ判定されたマクロブロックを二分する直線の傾きを算出するイントラインタ境界算出部７０１、イントラインタ境界算出部７０１で算出された傾きの値を蓄積する境界線蓄積部７０２、選択した符号化方式をセレクタ１（１１６）、及びセレクタ２（１１７）に出力するデータ出力部２１１とを備える。
【００２４】
次に、このような構成を有する符号化モード判定部の動作を、図２のフローチャートに基づき説明する。図２に示す符号化モード判定処理は、各フレーム毎に行われ、モード判定処理の開始前にはモード判定処理で用いる不安定領域の大きさや傾きを決定する係数をＡ＝１、Ｂ＝０、Ｃ＝１にするなどの初期化処理が行われているものとする。
【００２５】
まず、空間統計量第一算出部２０１では、原画像入力部２０９から入力されたマクロブロック単位の原画像データから、輝度の絶対和SMAEintraを算出する。同様に、空間統計量第二算出部２０２では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データから、輝度の絶対和SMAEinterを算出する（ステップＳ６００５）。
【００２６】
不安定性検出部２０４では、空間統計量算出部２０１、２０２の出力の差の絶対値ABS(SMAEinter-CｘSMAEintra)と、AｘSMAEintra+B（Ａ、Ｂ、Ｃは境界線蓄積部７０２に蓄積された値であり、正の実数）を求め、その値を比較する（ステップＳ６００６）。そして、大小関係に応じて以下の処理を行う。
１．ABS(SMAEinter-CｘSMAEintra)＞＝AｘSMAEintra+B（ステップＳ６００６、Ｎｏ）の場合
この場合、不安定性検出部２０４は、モード判定が安定する（符号化対象のマクロブロックが、低精度なモード判定方法でも精度の良いモード判定ができるマクロブロック）と予測し、空間統計量比較部２０３を起動し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６、周波数統計量比較部２０７を停止させる。
【００２７】
次に、起動された空間統計量比較部２０３は、SMAEinterとSMAEintraを比較し、SMAEinter＜SMAEintraの場合（ステップＳ６００７，Ｙｅｓ）、ＦＬＡＧ＝０を、SMAEintra≦SMAEinterの場合（ステップＳ６００７，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。
【００２８】
２．ABS(SMAEinter-CｘSMAEintra)＜AｘSMAEintra+B（ステップＳ６００６，Ｙｅｓ）の場合
この場合、不安定性検出部２０４は、モード判定が不安定になる（符号化対象のマクロブロックが、高精度なモード判定方法でないと精度の良いモード判定ができないマクロブロック）と予測し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６及び周波数統計量比較部２０７を起動させ、空間統計量比較部２０３を停止させる。
【００２９】
周波数統計量第一算出部２０５では、原画像入力部２０９から入力されたマクロブロック単位の画像データの輝度を直交変換し、その係数の絶対和TMAEintraを算出し、周波数統計量第二算出部２０６では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データの輝度を直交変換し、その係数の絶対和TMAEinterを算出する（ステップＳ６００８）。
【００３０】
周波数統計量比較部２０７では、TMAEinterとTMAEintraを比較し、TMAEinter＜TMAEintraの場合（ステップＳ６００９，Ｙｅｓ）、ＦＬＡＧ＝０を、TMAEinter≧TMAEintraの場合（ステップＳ６００９，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。
【００３１】
符号化モードセレクタ２０８では、空間統計量比較部２０３、周波数統計量比較部２０７のいずれかから出力されるＦＬＡＧの値により、符号化方法を以下（ステップＳ６０１０）のように決定する。なお空間統計量比較部２０３と周波数統計量比較部２０７は不安定性検出部２０４に制御されているため、同時に起動されない。
１．ＦＬＡＧ＝１の時  イントラ符号化と決定し、原画像入力部２０９からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
２．ＦＬＡＧ＝０の時  インタ符号化と決定し、差分画像入力部２１０からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
また、決定した符号化方式はセレクタ２（１１７）へも通知する。
【００３２】
以上の符号化モード判定処理を１フレーム分のマクロブロックに対して行う（ステップＳ６０１１）１フレーム分の符号化モード判定処理が終了したら、ステップＳ６０１２において、不安定領域の傾きＣを以下のように更新する。符号化モード判定処理を行ったフレームにおいて、イントラインタ判定されたマクロブロックの分布に関して、横軸をイントラマクロブロックの輝度の絶対和、縦軸をインターマクロブロックの輝度の絶対和で表したグラフ上で近似的に二分する直線を求め（図３）、その傾きでＣを更新する。具体的には、図４に示したように、イントラ符号化されたマクロブロックの集合の重心と、インタ符号化されたマクロブロックの集合の重心を算出し、各重心を端点とする線分の中点と原点を通る直線の傾き更新後の傾きＣとする（ステップＳ６０１２）。
【００３３】
新しいＣは、境界線蓄積部７０２に蓄積され、次フレームの符号化モード判定処理において用いられる。このようなＣの更新により、あるフレームでインタ符号化が多く行われた場合には次のフレームにおいて周波数統計量を考慮した高精度な符号化モード判定が行われる可能性が高くなる。従って、特に画像情報が時間方向に滑らかに変化する時（フレーム間の相関が大きい場合）には、高精細な符号化モード判定を行うように制御することができる。
【００３４】
以上説明したように、本実施形態では、高精度なモード判定方法でなければ精度の良いモード判定ができないマクロブロック群と、低精度モード判定方法でも精度の良いモード判定ができるマクロブロック群を分離し、それぞれのモード判定方法で判定しているため、高精度なモード判定方法だけでモード判定した時よりも高速に判定処理が可能で、低精度モード判定方法だけでモード判定した時よりも高精度な判定処理が可能になるという効果がある。換言すれば、計算コストを抑制しながら、効率の良い符号化方式の判定を行うことが可能である。
【００３５】
また、本実施形態においては、過去のフレームにおける符号化モード判定結果を現在のフレームにおける符号化モード判定に反映させることで、特に画像情報が時間方向に滑らかに変化する時、高速高精細に符号化モード判定することができる。
【００３６】
なお、本実施形態では、空間統計量として輝度の絶対和を用いたが、輝度の分散や平均値などの統計量を用いてもよい。同様に、周波数統計量として、直交変換の係数の絶対和を用いたが、係数の分散や平均値を用いたり、係数を任意の順番にスキャンして求めた差分の分散を用いたりしてもよい。
【００３７】
＜第２の実施形態＞
次に、第２の実施形態に係る動画像符号化装置について説明する。本発明の第２の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。
【００３８】
また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。
【００３９】
図５は、本実施形態における符号化モード判定部の構成例を示すブロック図であり、図１に示した第１の実施形態に係る符号化モード判定部と同じ構成には同じ参照数字を付した。図１と図５との比較から明らかなように、本実施形態では、第１の実施形態の構成に加え、差分信号の空間統計量に基づき、リフレッシュ信号を生成するリフレッシュ信号生成部８０１を付加したことを特徴とする。他の構成については第１の実施形態と共通であるため、説明を省略する。
【００４０】
次に、このような構成を有する符号化モード判定部の動作を、図６のフローチャートに基づき説明する。図６のフローチャートにおいても、第１の実施形態で説明した図２のフローチャートと同一処理を行うステップについては同じ参照数字を付した。図６と図２とを比較すると明らかなように、本実施形態では、ステップＳ６０１０における符号化モード決定後の傾き更新処理のみが第１の実施形態と異なるため、ステップＳ６０１０以降の処理についてのみ説明する。
【００４１】
１フレーム分のマクロブロックについて符号化モードを決定した後、ステップＳ７０１２において、そのフレーム内に含まれるマクロブロックのうち、SMAEinterの値が予め定めた閾値Ｔｈ５を超えるものがあったか（つまり、SMAEinter＞Th5のマクロブロックがあったか）、或いは所定数以上あったかを判定する（ステップＳ７０１２）。この判定は、例えばステップＳ６００５とステップＳ６００６の間でSMAEinterとTh5の比較を行い、SMAEinter＞Th5のマクロブロックの数をカウントしておき、ステップＳ７０１２でこのカウント値を参照するようにすることで実現できる。
【００４２】
１）SMAEinter＞Th5のマクロブロックが無いか、所定数未満であった場合
この場合には、シーンチェンジなどの大幅なフレーム間での変化は無かったものと考えられるので、ステップＳ６０１２において、第１の実施形態で説明したように、イントラインタ判定されたマクロブロックの分布を、横軸イントラマクロブロックの輝度の絶対和、縦軸インターマクロブロックの輝度の絶対和で表したグラフ上で、イントラ符号化されたマクロブロックの集合の重心と、インタ符号化されたマクロブロックの集合の重心を算出し、各重心を端点とする線分の中点と原点を通る直線の傾きでＡを更新する。
【００４３】
２）SMAEinter＞Th5のマクロブロックがあるか、所定数以上であった場合
シーンチェンジなど、フレーム間で大きく画像情報が変化したと見なし、ステップＳ７０１３において傾きＣを１に初期化する。
【００４４】
本実施形態では、過去のフレームにおける符号化モード判定結果を現在のフレームにおける符号化モード判定に反映させることで、特に画像情報が時間方向に滑らかに変化する時、高速高精細に符号化モード判定することができる。さらに、シーンチェンジがあった場合など、画像情報が時間方向に対して滑らかに変化していない場合には、不安定領域の傾きを初期値に戻すことで、過去のフレームにおける符号化モードの判定結果を反映させないように制御し、画像情報の変化に応じて符号化モード判定処理の精度を適切に維持することができる。
【００４５】
＜第３の実施形態＞
図７は、上述の第１又は第２の実施形態に係る動画像符号化装置を例えばパーソナルコンピュータ等の汎用情報処理装置で実現する場合の構成例を示すブロック図である。
【００４６】
図において、動画像符号化装置としての情報処理装置は、装置全体の制御を司るＣＰＵ３０１と、ブートプログラム及びＢＩＯＳ等を記憶するＲＯＭ３０２と、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３を有している。ハードディスク装置等の外部記憶装置３０４は、ＯＳ、画像圧縮処理に係るアプリケーションプログラム（ＭＰＥＧアプリケーション）等を格納する。画像入力部３０５は、例えばＵＳＢ、ＩＥＥＥ１３９４などの汎用インタフェースを介して接続されたイメージスキャナ等であるが、画像データが既に記憶媒体に記憶されている場合には、その記憶媒体をアクセスする装置（例えばメモリカードリーダや、光ディスクドライブなど）であってもよいし、画像データがネットワーク上のサーバに存在する場合にはネットワークインタフェースであってもよい。動画像符号化装置はさらに、キーボード（ＫＢ）やポインティングデバイス（ＰＤ）等の入力デバイス３０６、ビデオＲＡＭを搭載すると共にそのビデオＲＡＭへの描画処理及びビデオＲＡＭからデータを読出しビデオ信号として出力する表示制御部３０７、表示制御部３０７よりのビデオ信号に基づき表示する表示装置３０８を有する。
【００４７】
上記構成において、電源を投入すると、ＣＰＵ３０１はＲＯＭ３０２に格納されたブートプログラムに従って外部記憶装置３０４よりＯＳをＲＡＭ３０３にロードし、しかる後、上述の実施形態で説明した符号化モード判定処理を含む画像圧縮符号化プログラムをロード、実行することで、画像入力部３０５より入力した画像データの圧縮符号化データを生成し、外部記憶装置３０４に格納することになる。なお、最終的に生成された圧縮符号化画像データの出力先は外部記憶装置３０４ではなく、ネットワークを介して出力しても構わないし、その出力先は問わない。
【００４８】
＜他の実施形態＞
上述の実施形態においては、符号化モード判定部によって決定した符号化モードをセレクタ１が受信し、直交変換部へ出力するデータを選択していたが、セレクタ１の機能を符号化モード判定部に持たせても良い。この場合、画像入力部１００と差分器１０１からの画像データを直接符号化モードセレクタ２０８に入力する経路を追加し、符号化モードセレクタ２０８にバッファを設けて判定処理が終了するまで画像データを記憶しておき、判定結果に応じて原画像データもしくは差分画像データを直交変換部１０３へ出力するようにすればよい。なお、セレクタ２に対して判定結果を通知する点については変更の必要はない。
【００４９】
また、本実施形態の目的は、上述の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００５２】
尚、第１及び第２の実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カメラ、ディスプレイ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カムコーダ、遠隔監視装置等）に適用してもよい。
【図面の簡単な説明】
【００５３】
【図１】第１の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。
【図２】図１の符号化モード判定部の動作を説明するフローチャートである。
【図３】イントラインタ境界線導出の方法
【図４】イントラインタ境界線導出結果の図
【図５】第２の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。
【図６】図５の符号化モード判定部の動作を説明するフローチャートである。
【図７】第３の実施形態に係る動画像符号化装置の構成例を示すブロック図である。
【図８】従来の動画像符号化装置の構成例を示すブロック図である。
【図９】図８の符号化モード判定部の構成例を示すブロック図である。
【図１０】従来のモード判定部の動作を説明するフローチャートである。
【図１】
2006165796.tif 000003
【図２】
2006165796.tif 000004
【図５】
2006165796.tif 000005
【図６】
2006165796.tif 000006
【図７】
2006165796.tif 000007
【図８】
2006165796.tif 000008
【図９】
2006165796.tif 000009
【図１０】
2006165796.tif 000010
【図３】
2006165796.tif 000011
【図４】
2006165796.tif 000012