(57)【要約】【課題】インタレース画像信号の符号化において、適切な直交変換モードを選択して符号化し、符号化効率を向上させること。【解決手段】入力端子１０から入力されたマクロブロックは、フレーム内直交変換ブロックに分割され、直交変換される。また同時に入力されたマクロブロックはフィールド内直交変換ブロックに分割され、直交変換される。次に各モード毎に、直交変換された係数データのうち所定の係数データを選択して絶対値化する。そして、これらの絶対値の中から最大値を検出し、各モードにおける代表値とする。モード判定手段１７は、各モードの代表値を重み付け比較し、小さい方のモードを選択してモード判定結果を出力する。【選択図】  図１
2004153573.tif 000002
【特許請求の範囲】
【請求項１】
インターレース画像信号を分割した複数の画素ブロックそれぞれの動きを検出する動き検出装置であって、
前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成手段と、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換手段と、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出手段と、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成手段と、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換手段と、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出手段と、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定手段とを備えた動き検出装置。
【請求項２】
前記所定の係数データは、特定の垂直高城成分を示す係数である請求項１記載の動き検出装置。
【請求項３】
前記フレーム代表値ｘおよび前記フィールド代表値ｙは、それぞれの直交変換における、前記抽出された所定の係数データの絶対値のうちの最大値を選択したものである請求項１記載の動き検出装置。
【請求項４】
前記動きの有無を判定するとは、（１）フレーム代表値ｘおよびフィールド代表値ｙを直接比較する、もしくは、（２）両方または一方の代表値を所定の関数またはテーブル値で変換した値を比較して、フレーム代表値ｘの方が小さいときに動きなしと判定し、フィールド代表値ｙの方が小さいときに動きありと判定することである請求項３記載の動き検出装置。
【請求項５】
前記動きの有無を判定するとは、前記フレーム代表値ｘが所定の閾値以下の時、たとえ前記フレーム代表値ｘが前記フィールド代表値ｙよりも値が大きくても動きなしと判定することである請求項４記載の動き検出装置。
【請求項６】
前記各直交変換は、前記抽出すべき前記所定の係数データのみを演算する請求項１記載の動き検出装置。
【請求項７】
インタレース画像信号を複数の画素ブロックに分割し、前記画素ブロック毎に符号化する際、前記画素ブロック毎に画像符号化用フレーム直交変換または画像符号化用フィールド直交変換を切り換える制御を行う適応直交変換モード判定装置であって、
前記画素ブロックの動きの有無を判定する動き判定手段と、
（１）前記画素ブロックが動きありと判定された場合、その画素ブロックに画像符号化用フィールド直交変換を行うように制御し、（２）前記画素ブロックが動きなしと判定された場合、その画素ブロックに画像符号化用フレーム直交変換を施すように制御する制御手段とを備え、
前記動き判定手段には、請求項１〜６のいずれかに記載の動き検出装置が用いられている適応直交変換モード判定装置。
【請求項８】
インターレース画像信号を分割した複数の画素ブロックそれぞれの動きを検出する動き検出方法であって、
前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成ステップと、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換ステップと、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出ステップと、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成ステップと、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換ステップと、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出ステップと、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定ステップとを備えた動き検出方法。
【請求項９】
インタレース画像信号を複数の画素ブロックに分割し、前記画素ブロック毎に符号化する際、前記画素ブロック毎に画像符号化用フレーム直交変換または画像符号化用フィールド直交変換を切り換える制御を行う適応直交変換モード判定方法であって、
前記画素ブロックの動きの有無を判定する動き判定ステップと、
（１）前記画素ブロックが動きありと判定された場合、その画素ブロックに画像符号化用フィールド直交変換を行うように制御し、（２）前記画素ブロックが動きなしと判定された場合、その画素ブロックに画像符号化用フレーム直交変換を施すように制御する制御ステップとを備え、
前記動き判定ステップには、請求項８記載の動き検出方法が用いられている適応直交変換モード判定方法。
【請求項１０】
請求項１記載の動き検出装置の、前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成手段と、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換手段と、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出手段と、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成手段と、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換手段と、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出手段と、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定手段としてコンピュータを機能させるためのプログラム。
【請求項１１】
請求項１０記載のプログラムを担持した媒体であって、コンピュータにより処理可能な媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インタレース画像信号の動きを判定する動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオ機器等の画像信号のデジタル信号処理では、限られた伝送レートでの記録／再生を行うため、高能率符号化の技術開発が盛んに行われている。この高能率符号化とは、画像信号の持つ冗長度を利用して、データ量を圧縮する技術である。高能率符号化方法としては、画像フレーム内を例えば８×８画素のブロック（以下、直交変換ブロック）に分割し、直交変換ブロック単位で直交変換を行い圧縮する方法等が用いられることが多い。直交変換により算出された係数データは、所定の量子化幅で量子化され、統計的に定められた可変長符号化を施され、圧縮効率を向上して記録されることになる。
【０００３】
通常、画像信号は冗長性を持っているので、直交変換後の係数データは、低域成分に大きな値が出現し高域成分ほど小さな値となりやすい。また、人間の視覚特性上、高域成分に発生する圧縮歪みは目立ちにくいため、高域成分ほど大きな量子化幅で量子化する。よって、量子化後の係数データは高域ほどゼロとなりやすい。この特徴を利用して、可変長符号化は、量子化後の係数データを低域から高域へ所定のスキャン順に並べ替えたデータ列に対し、ゼロの続く数とその直後に現れた非ゼロの係数の値との組み合わせを、統計的に求められた所定の符号に可変長符号化する。上述したように、高域ほどゼロの続く数が多くなりやすいので、割り当てる符号が削減でき、効率の良い符号化を行うことができる。
【０００４】
しかしインタレース画像信号において、撮像された物体が動いている場合や、パニング等のようにカメラを動かして物体を撮像した場合には、画像フレームを構成する２つのフィールドの時間差があるため、フィールド間で近接する画素の相関が弱くなる。このような動きのあるブロックでは、２つのフィールドを合わせてフレーム化した状態で直交変換を行う（以下フレーム内直交変換と呼ぶ）と、大きな高域成分が出現し、符号化効率が悪くなってしまう。つまり大きな高域係数は量子化後もゼロとならずに符号化されるため、発生符号量が多くなるからである。
【０００５】
このような場合には、フィールド別にブロック化して直交変換を行う（以下フィールド内直交変換と呼ぶ）方が、大きな高域成分が出現しないので符号化効率がよい。これは、フィールド内の相関の方がフィールド間の相関よりも強いことによる。また、動きのある部分はフレーム内直交変換を用いて符号化すると、量子化歪みの発生により動きを忠実に再現できなくなる恐れがあるため、フィールド内直交変換を用いる方が良い。
【０００６】
従って、フレーム化されたブロックに対して直交変換を施すモード（フレーム内直交変換）とフィールド別に分離されたブロックに対して直交変換を施すモード（フィールド内直交変換）とを各ブロック毎に切り替えながら符号化を行う。すなわち静止部分ではフレーム内直交変換を行い、動きのある部分ではフィールド内直交変換を行うようにすることが望ましい。また直交変換モードの切り替えは、各直交変換ブロック単位に行う場合や、複数の直交変換ブロックを集めたマクロブロック単位に行う場合などがある。
【０００７】
さて、上記のような直交変換モードの切り替えを行う場合、画像フレームの静止部分と動きのある部分とを的確に検出し、適切な直交変換モードを選択するモード判定方法を用いる必要がある（例えば、特許文献１、及び特許文献２参照。）。
【０００８】
従来のモード判定方法としては、フレーム化された直交変換ブロックまたはマクロブロックに対して、上下に近接した画素間（ライン間）の差分絶対値総和を計算し、所定の閾値と比較することによりモード判定を行うものがある。差分絶対値総和が閾値より小さい場合はフレーム内直交変換を、大きい場合はフィールド内直交変換を行う。すなわち、動きのある部分では上下に位置する画素間の差分が大きくなりやすく、設定した閾値より大きくなるので、動きを検出することができるという方法である。
【０００９】
また、他の従来のモード判定方法としては、各モード別に直交変換、量子化、可変長符号化を施し、発生符号量が小さい方のモードを採用し、そのモードで発生した符号を採用する方法がある。
【００１０】
このように、インターレース画像において、フレーム化されたブロックに対して直交変換を施すモード（フレーム内直交変換）とフィールド別に分離されたブロックに対して直交変換を施すモード（フィールド内直交変換）とを各ブロック毎に切り替えながら符号化を行う際などには、インターレース画像の各ブロックの動きを検出する必要がある。
【００１１】
【特許文献１】
特開平７−８７４４８号公報
【特許文献２】
特開平１０−１３６３６７号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、このようにインターレース画像の各ブロックの動きを検出する際には、以下のような課題がある。
【００１３】
第１の従来の方法では、例えば静止部分であっても複雑な絵柄であったり、ノイズ量が多い場合は、ライン間の差分が大きくなり、差分絶対値総和が大きくなりやすい。従って、所定の閾値より大きくなることが多くなり、静止部分であっても動きがあるかのような判定をしてしまう。
【００１４】
しかし、静止部分では、フレーム内直交変換を行う方が符号化効率がよい。なぜなら、画素間の相関は、フレーム内の方がフィールド分離したときよりも強いからである。このような誤検出が起こる理由は、差分絶対値総和と閾値との比較という手法が、フレーム内で直交変換を行う場合とフィールド内で直交変換を行う場合とでどちらが効率がよいかを分析するものではなく、相関が一定以上弱くなったとき必ずフィールドモードを選ぶというものであるためである。
【００１５】
また、直交変換モード判定をマクロブロックに適用する場合は、マクロブロック内の部分的な動きを検出しにくい。つまり、マクロブロック内のある直交変換ブロックのみに動きがある場合、このブロックの差分絶対値は比較的大きいが、他の直交変換ブロックにおける差分絶対値は非常に小さいので、全体の差分絶対値総和は平均化され、動きのないブロックであるかのような判定をしてしまう。
【００１６】
従って、第１の従来の方法によってインターレース画像のブロックの動きを検出する際には、絵柄によっては適切な検出ができないという課題がある。
【００１７】
第２の従来の方法では、例えばハードウェアで実現した場合、直交変換、量子化、可変長符号化のための回路を各モード別に２組用いる必要があるため、回路規模の増大を招く。
【００１８】
また回路規模を増大せずに行う場合は、回路の動作周波数が２倍以上必要であり、電力消費量が増大してしまう。ソフトウェアで実現する場合でも演算量が非常に多くなってしまう。また、発生符号量のみでモード判定を行うので、動きの要素を含んでいない。従って、マクロブロック内の部分的な動きを考慮せずフレーム内直交変換を行ってしまう可能性がある。
【００１９】
すなわち、第２の従来の方法によってインターレース画像のブロックの動きを検出する際には、回路規模の増大を招き、また、回路規模を増大させずに行う場合には、電力消費量が増大するという課題がある。
【００２０】
本発明は、上記課題を考慮し、画像の複雑さやノイズ量の影響を受けにくく、インターレース画像の動きに応じて適切な動きの検出が可能な動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムを提供することを目的とするものである。
【００２１】
また、本発明は、簡単な回路構成で実現可能な動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムを提供することを目的とするものである。
【００２２】
【課題を解決するための手段】
上述した課題を解決するために、第１の本発明は、インターレース画像信号を分割した複数の画素ブロックそれぞれの動きを検出する動き検出装置であって、前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成手段（図１の１１）と、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換手段（図１の１３）と、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出手段（図１の１５）と、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成手段（図１の１２）と、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換手段（図１の１４）と、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出手段（図１の１６）と、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定手段（図１の１７）とを備えた動き検出装置である。
【００２３】
また、第２の本発明は、前記所定の係数データは、特定の垂直高城成分を示す係数である第１の本発明の動き検出装置である。
【００２４】
また、第３の本発明は、前記フレーム代表値ｘおよび前記フィールド代表値ｙは、それぞれの直交変換における、前記抽出された所定の係数データの絶対値のうちの最大値を選択したものである第１の本発明の動き検出装置である。
【００２５】
また、第４の本発明は、前記動きの有無を判定するとは、（１）フレーム代表値ｘおよびフィールド代表値ｙを直接比較する、もしくは、（２）両方または一方の代表値を所定の関数またはテーブル値で変換した値を比較して、フレーム代表値ｘの方が小さいときに動きなしと判定し、フィールド代表値ｙの方が小さいときに動きありと判定することである第３の本発明の動き検出装置である。
【００２６】
また、第５の本発明は、前記動きの有無を判定するとは、前記フレーム代表値ｘが所定の閾値以下の時、たとえ前記フレーム代表値ｘが前記フィールド代表値ｙよりも値が大きくても動きなしと判定することである第４の本発明の動き検出装置である。
【００２７】
また、第６の本発明は、前記各直交変換は、前記抽出すべき前記所定の係数データのみを演算する第１の本発明の動き検出装置である。
【００２８】
また、第７の本発明は、インタレース画像信号を複数の画素ブロックに分割し、前記画素ブロック毎に符号化する際、前記画素ブロック毎に画像符号化用フレーム直交変換または画像符号化用フィールド直交変換を切り換える制御を行う適応直交変換モード判定装置であって、
前記画素ブロックの動きの有無を判定する動き判定手段と、
（１）前記画素ブロックが動きありと判定された場合、その画素ブロックに画像符号化用フィールド直交変換を行うように制御し、（２）前記画素ブロックが動きなしと判定された場合、その画素ブロックに画像符号化用フレーム直交変換を施すように制御する制御手段（図１の１８）とを備え、
前記動き判定手段には、第１〜６の本発明のいずれかの動き検出装置が用いられている適応直交変換モード判定装置である。
【００２９】
また、第８の本発明は、インターレース画像信号を分割した複数の画素ブロックそれぞれの動きを検出する動き検出方法であって、
前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成ステップと、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換ステップと、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出ステップと、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成ステップと、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換ステップと、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出ステップと、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定ステップとを備えた動き検出方法である。
【００３０】
また、第９の本発明は、インタレース画像信号を複数の画素ブロックに分割し、前記画素ブロック毎に符号化する際、前記画素ブロック毎に画像符号化用フレーム直交変換または画像符号化用フィールド直交変換を切り換える制御を行う適応直交変換モード判定方法であって、
前記画素ブロックの動きの有無を判定する動き判定ステップと、
（１）前記画素ブロックが動きありと判定された場合、その画素ブロックに画像符号化用フィールド直交変換を行うように制御し、（２）前記画素ブロックが動きなしと判定された場合、その画素ブロックに画像符号化用フレーム直交変換を施すように制御する制御ステップとを備え、
前記動き判定ステップには、第８の本発明の動き検出方法が用いられている適応直交変換モード判定方法である。
【００３１】
また、第１０の本発明は、第１の本発明の動き検出装置の、前記画素ブロックをｎ個（ｎ≧１）のフレーム内直交変換ブロックに分割するフレーム内直交変換ブロック生成手段（図１の１１）と、
分割された前記フレーム内直交変換ブロックそれぞれに動き検出用直交変換を行う第１の直交変換手段（図１の１３）と、
前記各直交変換ブロックからｍ個（ｍ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフレーム代表値ｘとする第１の代表値検出手段（図１の１５）と、
前記画素ブロックを所定のｋ個（ｋ≧１）のフィールド内直交変換ブロックに分割するフィールド内直交変換ブロック生成手段（図１の１２）と、
分割された前記フィールド内直交変換ブロックそれぞれに動き検出用直交変換を行う第２の直交変換手段（図１の１４）と、
前記各直交変換ブロックからｓ個（ｓ≧１）の所定の係数データを抽出し、抽出された前記係数データのうちから１個を選択してフィールド代表値ｙとする第２の代表値検出手段（図１の１６）と、
前記フレーム代表値ｘと前記フィールド代表値ｙとを比較することによって前記画素ブロックの動きの有無を判定するモード判定手段（図１の１７）としてコンピュータを機能させるためのプログラムである。
【００３２】
また、第１１の本発明は、第１０の本発明のプログラムを担持した媒体であって、コンピュータにより処理可能な媒体である。
【００３３】
本発明によれば、例えば画像の複雑さやノイズの重畳度による悪影響を受けにくく、画像の動きに応じて適切な動きの検出の判定を行うことができる。また、非常に簡単な構成で実現可能であり、回路規模や消費電力の増大を抑えることが可能な動きの検出の判定を行うことが出来る。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００３５】
（実施の形態１）
以下、本発明の実施の形態１である適応直交変換モード判定方法を適用した画像符号化装置について説明する。図１は本実施形態における画像符号化装置の構成図である。
【００３６】
図１において、１０は入力端子であり、１１はフレーム内直交変換ブロック生成手段であり、１２はフィールド内直交変換ブロック生成手段であり、１３は第１の直交変換器であり、１４は第２の直交変換器であり、１５は第１の代表値検出手段であり、１６は第２の代表値検出手段であり、１７はモード判定手段であり、１８は選択器であり、１９は第３の直交変換器であり、２０は出力端子である。
【００３７】
なお、本実施の形態の第１の直交変換器１３は本発明の第１の直交変換手段の例であり、本実施の形態の第２の直交変換器１４は本発明の第２の直交変換手段の例であり、本実施の形態の選択器１８は本発明の制御手段の例である。
【００３８】
このように構成された画像符号化装置について、以下に動作を示す。
【００３９】
まず、インタレース画像信号が所定の画素ブロックに分割され、入力端子１０から入力される。
【００４０】
ここで、画素ブロックとは、フレーム内直交変換（フレーム化されたブロックに対して直交変換を施す）かフィールド内直交変換（フィールド別に分離されたブロックに対して直交変換を施す）かどちらの直交変換モードで直交変換を行うかを判定される単位であって、１個の直交変換ブロックである場合や、複数の直交変換ブロックを集めたマクロブロックである場合等がある。
【００４１】
この画素ブロックは、フレーム内直交変換ブロック生成手段１１とフィールド内直交変換ブロック生成手段１２へと入力される。
【００４２】
次に、フレーム内直交変換ブロック生成手段１１は、入力された画素ブロックをフレーム化された状態で分割し、フレーム内直交変換ブロックを生成する。また同様に、フィールド内直交変換ブロック生成手段１２は、入力された画素ブロックをフィールド分離して分割し、フィールド内直交変換ブロックを生成する。
【００４３】
図２に各直交変換ブロックのブロック化の様子を示す。まず、図２（ａ）は直交変換モードの判定を適用する画素ブロックであるマクロブロックを示している。この場合、マクロブロックは１６×１６画素で構成されていて、４個の直交変換ブロックに分割するものとしている。また、入力端子１０からは、インタレース画像信号がマクロブロックに分割されて入力されるので、マクロブロックは、２つのフィールドが合成されている。従って、図２（ａ）、（ｂ）、（ｃ）において、白の画素が偶数フィールド、斜線で塗られた画素が奇数フィールドであるとする。
【００４４】
このマクロブロックに対してフレーム内直交変換を行う場合、図２（ｂ）に示すようなフレーム内直交変換ブロック化を行い、直交変換する。すなわち、上述したフレーム構成のマクロブロックをフィールド合成された状態で直交変換単位である８×８画素の直交変換ブロックに分割する。
【００４５】
一方、フィールド内直交変換を行う場合、図２（ｃ）に示すようなフィールド内直交変換ブロック化を行い、直交変換する。すなわち、上述のマクロブロックをフィールド分離し、各フィールド毎に直交変換単位である８×８画素の直交変換ブロックに分割する。
【００４６】
次に、第１の直交変換器１３は、フレーム内直交変換ブロック生成手段１１から出力されたフレーム内直交変換ブロックを直交変換し、係数データを出力する。そして、第１の代表値検出手段１５は係数データのうち所定の係数データのみを抽出し、絶対値化する。所定の係数データは、あらかじめ決めておいた特定の周波数成分を示す係数データである。
【００４７】
図３に所定の係数データの一例を示す。図３は直交変換によって生成された係数データの模式図であって、８×８画素の直交変換ブロックに対して直交変換を行ったときに生成される６４個の係数データを示している。図３において、左上の係数データほど低域を示しており、右下の係数ほど高域を示す。また、最も左上の係数データは直流成分（ＤＣ）を示している。また図３において、Ａと記された係数データは、垂直高域成分を示す係数データであり、これを所定の係数データとして選ぶ。
【００４８】
従って、第１の代表値検出手段１５は、マクロブロック内に存在する４個のフレーム内直交変換ブロック毎にＡの位置の係数データを抽出し、それぞれ絶対値化する。そして各絶対値のうちの最大値を検出し、フレームモード代表値ｘとして出力する。
【００４９】
同様に、第２の直交変換器１３は、フィールド内直交変換ブロック生成手段１２から出力されたフィールド内直交変換ブロックを直交変換し、係数データを出力する。そして、第２の代表値検出手段１６は係数データのうち所定の係数データのみを抽出し、絶対値化する。このときの所定の係数データも、図３に示したＡの位置の係数データである。
【００５０】
従って、第２の代表値検出手段１６は、マクロブロック内に存在する４個のフィールド内直交変換ブロック毎にＡの位置の係数データを抽出し、それぞれ絶対値化する。そして、各絶対値のうちの最大値を検出し、フィールドモード代表値ｙとして出力する。
【００５１】
次にモード判定手段１７は、生成されたフレームモード代表値ｘとフィールドモード代表値ｙとを重み付け比較する。まず、簡単のために重みを１とした場合の比較を説明する。この場合、フレームモード代表値ｘとフィールドモード代表値ｙとをそのまま比較し、小さい方のモードを選択し、判定結果とする。例えば、代表値ｙが代表値ｘより小さかったら、フィールドモードを選択する。
【００５２】
この判定動作の概念図を図４に示す。図４において、ｘ−ｙ平面上にｙ＝ｘなる関数で表される境界線によってフレームモード判定エリアとフィールドモード判定エリアが分別されている。そしてモード判定手段１７は、各マクロブロックにおける代表値（ｘ，ｙ）の点をプロットし、プロットされたエリアのモードを判定結果として選ぶように動作する。
【００５３】
例えば、図４に示されているＳ点は、あるマクロブロックの代表値（ｘ，ｙ）をプロットした点である。この場合、フィールド判定エリアに属するのでフィールドモードと判定される。
【００５４】
動きのある部分を含むマクロブロックの代表値（ｘ，ｙ）の点はｘ−ｙ平面上のｘ軸付近に偏って出現する。また逆に動きのある部分を含まないマクロブロックの代表値（ｘ，ｙ）の点は、ｙ軸付近に偏って出現する。従って、動きのある部分と無い部分とを分類することができる。このようにマクロブロックの代表値（ｘ、ｙ）を比較することにより、マクロブロックの動きを検出することが出来る。
【００５５】
このようにモード判定手段１７によって判定されたモード情報は選択器１８に与えられる。また選択器１８には、このモード判定を適用されるべき上述のフレーム内直交変換ブロックデータ及びフィールド内直交変換ブロックデータが入力されている。そして、モード判定手段１７からのモード情報によりどちらか一方の直交変換ブロックデータが選択される。すなわち、モード判定手段１７は、フレーム代表値ｘとフィールド代表値ｙとを比較することによってマクロブロックの動きの有無を判定することが出来る。
【００５６】
選択器１８から出力される直交変換ブロックデータを第３の直交変換器１９が直交変換する。そして直交変換された係数データは出力端子２０から出力される。
【００５７】
さて、上述の所定の係数データの決め方の説明では、各直交変換ブロックのＡと記した１個の垂直高域係数のみを選んだが、更に選ぶ係数を増やせばもっと精度良くモード判定できる。
【００５８】
図５は所定の係数データの決め方を説明するための図である。以下、図５を参照して説明する。すなわち、図５はフレーム内直交変換ブロックの例を示すものである。
【００５９】
まず、フレーム内直交変換における係数Ａは、垂直高域成分を示す係数データであるので、物体が動くことによって、フィールド間の相関が弱くなるときに大きな値となる。つまり、図５（ａ）に記すように、フレーム内直交変換ブロックが縞模様となるからである。この場合はフィールド分離した方が相関が強くなり、フィールドモード直交変換を行うと係数Ａは小さくなる。従って、フィールドモードを選択することができる。
【００６０】
しかし、物体のエッジの種類、動き方、速度などによって、ブロック内に含まれる模様はいろいろなパターンがある。例えば図５（ｂ）で示すような縞模様となったとき、フレーム内直交変換を行っても係数Ａは大きくなりにくいので、誤ったモード判定をしてしまう可能性がある。しかし、実際は係数Ａの隣の係数が大きくなっている。よって、所定の係数として係数Ａに加えてその隣の係数も選択するようにすれば、より正確なモード判定を行うことができる。
【００６１】
図６はこのように選択した係数データを示す図であり、上述のように係数Ａとその隣の係数Ｂが、所定の係数データとして選択されていることを示す。また実際、図５（ｂ）のような模様は、細いエッジが速く動いた場合などによく発生する。このように、画像として発生しやすいパターンに基づいて、特定の複数の係数データを選べば、より正確なモード判定が可能となる。
【００６２】
次に、重み付け比較について更に説明する。上述では、重みが１、つまり重みの無い状態での比較を示したが、重み付け比較を行うことで、より符号化効率を向上させるモード判定を行うことができる。重み付けとは、上述した境界線の引き方を変えることであって、フレームとフィールドのモード判定エリアの範囲に偏りを持たせることと同じである。
【００６３】
図７は、ある境界線を設定してエリア分けした図である。この場合は、各代表値（ｘ、ｙ）が似たような値の場合、フレーム判定に入りやすい設定にしたものである。なお、重みの付け方、すなわち境界線の設定方法は任意に決めることができる。適当な関数で表しても良いし、テーブル値によって表しても良い。また、関数は線形であっても非線形であっても良い。
【００６４】
このようにモード判定エリアに重み付けを行って判定することは、例えば代表値ｘをその関数またはテーブルに代入し、値を変換したものと代表値ｙとを比較し、小さい方のモードを選ぶことと等しい。また、例えば代表値ｙをその関数またはテーブルに代入し、値を変換したものと代表値ｘとを比較し、小さい方のモードを選ぶことと等しい。また、例えば代表値ｘと代表値ｙとをそれぞれの関数またはテーブルに代入し、値を変換したものどうしを比較し、小さい方のモードを選ぶことと等しい。
【００６５】
物体の動き量が大きいときや物体が静止しているときには、各代表値の差が大きくなりやすく、上述のように各軸に偏って出現しやすいので、的確にモード判定されやすい。しかし、もともとの物体が複雑であったりノイズが重畳されているような場合は、大きく動いている場合を除いて、各代表値の差が小さくなるのでどちらのモードが選択されるか分からない。
【００６６】
この場合は、できるだけフレームに入るようにする方が良い。なぜなら、もともと動き量がそれほど大きくないので、フィールド別よりもフレーム化した方が相関が強い場合が多いからである。よって、代表値の差があまり大きくない場合にはフレーム内直交変換が選ばれるように重みを付けて比較することによって、さらに適切なモード判定を行うことができる。
【００６７】
以上の説明のように、本発明の実施の形態１では動きの指標となる垂直高域係数をあらかじめ求め、小さくなる方の直交変換モードを選択するようにしている。また、マクロブロック内の４個の直交変換ブロックのそれぞれの垂直高域係数を比較し、最大値を求め、そのモードの代表値とすることで、マクロブロック内の動きのある部分を適切に検出することができる。また、各モード毎に求められた代表値を比較することによってモード判定を行うので、ノイズの影響を受けにくい。画像に重畳されるホワイトノイズは各ノイズ粒子間に相関がないので、どちらのモードで直交変換を行っても特徴的な係数分布をしないと考えられる。そのため、どちらのモードでもノイズによる大きな垂直高域係数が出現しやすくなるが、もともとの画像の動きの特徴が隠されてしまうほど大きくはない。従って、各代表値を相対比較することによって、ノイズの悪影響によるモード判定ミスを低減することができる。さらに重み付け比較により動きのない部分でのノイズによる判定誤りを低減することができる。
【００６８】
よって、本発明の実施の形態１によれば、画像の動きによって符号化効率が悪化しないように適切な直交変換モード判定を行うことができる。さらに、画像の複雑度やノイズの重畳度による悪影響を受けにくい直交変換モード判定を行うことができる。
【００６９】
（実施の形態２）
以下、本発明の実施の形態２である適応直交変換モード判定方法を適用した画像符号化装置について動作説明する。本実施の形態における画像符号化装置は第１の実施の形態における画像符号化装置の構成図と同じである。但し、モード判定手段１７の動作が異なる。以下、モード判定手段の動作について説明する。なお、同一機能を有する他の構成要素の説明は省略する。
【００７０】
モード判定手段１７には、第１の代表値検出手段１５から出力されるフレームモード代表値ｘおよび第２の代表値検出手段１６から出力されるフィールドモード代表値ｙが入力されている。モード判定手段１７は、実施の形態１で説明したように各代表値（ｘ，ｙ）を重み付け比較して小さい方のモードを選択するものであるが、なおかつフレームモード代表値ｘとあらかじめ設定した閾値Ｔとを比較して、フレームモード代表値ｘが閾値Ｔより小さいときに、必ずフレームモードを選択するようにモード判定を行うものである。
【００７１】
図８に、このモード判定方法の概念図を示す。図８では、代表値（ｘ，ｙ）を判定するｘ−ｙ平面上において、重み付けを定義する所定の境界線によってフレーム判定エリアとフィールド判定エリアとが分かれているが、特にフレームモード代表値ｘがある閾値Ｔより小さいエリアは全てフレーム判定エリアとなるようにしている。
【００７２】
画像信号において、特に平坦な静止部分では、フレーム内直交変換およびフィールド内直交変換を行っても、どちらも高域成分に大きな値が発生しにくい。従って、値の小さな代表値同士を比較することになる。この場合の代表値の差は非常に小さく、類似した画像を含むブロック同士であってもモード判定結果が頻繁に変わってしまうことが起こり得る。
【００７３】
つまり、近接したブロックや近接フレームでの同じ位置のブロックでモード判定が切り替わると、圧縮歪みの出現形態が変わるので、歪みが目立つことになる。また、フレームモード代表値ｘが小さいときはほとんどが静止部分であるので、フレーム内直交変換を行う方が、画素間の相関が強くなり符号化効率が上がる。
【００７４】
従って上述のように、閾値を設けた判定を行うことによって、フレームモード代表値ｘが小さいときは必ずフレームモードが判定されるようになり、符号化効率が向上する。
【００７５】
以上のように、本発明の実施の形態２によれば、画像の静止部分での誤検出を低減し、より正確な直交変換モード判定を行うことが出来る。
【００７６】
（実施の形態３）
以下、本発明の実施の形態３である適応直交変換モード判定方法を適用した画像符号化装置について動作説明する。本実施の形態における画像符号化装置は第１の実施の形態における画像符号化装置の構成図と同じである。但し、第１の直交変換器１３と第２の直交変換器１４の動作内容が異なる。以下、各直交変換器１３，１４の動作について説明する。なお、同一機能を有する他の構成要素の説明は省略する。
【００７７】
第１の直交変換器１３および第２の直交変換器１４は、実際に符号化に用いる第３の直交変換器１９と同じ直交変換を行うものであるから、第３の直交変換器１９と同一な構成であっても良い。しかし、第１の直交変換器１３および第２の直交変換器１４によって算出された係数データのうち、所定の係数データ以外はモード判定に使用されない。
【００７８】
従って、実施の形態１で説明したように、所定の係数データとして１個または数個だけを選んで判定を行うときは、それらの係数だけを算出する構成とする。これによって、第１の直交変換器１３および第２の直交変換器１４は、第３の直交変換器１９に比べて格段に簡単な構成となる。そして、第１の代表値検出手段１５と第２の代表値検出手段１６は、生成される係数データのみを用いてそれぞれ最大値検出し、代表値を決定する。
【００７９】
さらに、第１の直交変換器１３および第２の直交変換器１４は、実際に直交変換されたときどちらのモードを行った方が有利であるかをあらかじめ計算し、分析するためのものである。そして、第１の直交変換器１３および第２の直交変換器１４の演算結果はモード判定のためだけに使用され、実際に符号化されるデータとはならない。
【００８０】
従って、第１の直交変換器１３および第２の直交変換器１４は、実際に符号化に用いる第３の直交変換器１９における直交変換演算式よりも簡略化された直交変換式を用いて演算するように構成する。
【００８１】
一般に符号化に用いる直交変換は非常に高精度な演算が要求される。これは、演算誤差によって歪みが生まれることを防止するためである。このような直交変換器を回路で実現すると非常に大規模になってしまう。高精度な直交変換式は、ブロック化された画素データに対してコサイン関数で表された所定の変換係数を乗じて、加算するという行列演算である。そして、この変換係数は小数で表されるものである。通常は演算精度を確保するため大規模な乗算器を用いた演算を行うことになる。
【００８２】
しかし、第１の直交変換器１３および第２の直交変換器１４で用いる簡略化された直交変換式では、各変換係数を特殊な小数に近似して用いる。この特殊な小数とは、１／（２ｎ）で表される小数およびそれらの加算の組み合わせで算出可能な小数である。この近似変換係数を適用すると、上述した乗算がビットシフトおよび加算で実現できるため、大規模な乗算器が不要となる。また、ソフトウェアで行う場合には、演算量が減る。なお、用いる近似変換係数の精度は任意に決めることができる。
【００８３】
このように簡略化された直交変換式を用いた場合、演算後の係数データは一定の誤差を含むが、先にも述べたように画像の特徴に応じて代表値（ｘ，ｙ）の分布に偏りがあるため、高精度な演算式を用いた場合とほぼ同等なモード判定を行うことができる。
【００８４】
以上のように、本発明の実施の形態３によれば、モード判定に用いる直交変換器の構成を簡略化することができるので、非常に小規模な回路構成で、実施の形態１または２で説明した正確な適応直交変換モード判定を行うことができる。
【００８５】
なお、上記の全ての実施形態の説明において、マクロブロック単位でモード判定を行う場合を示したが、各直交変換ブロック毎にモード判定を行う場合も同様である。例えば、８×８画素のフレーム化された直交変換ブロックに対して、フレーム内直交変換を行うときはそのままの構造で直交変換を行い、フィールド内直交変換を行うときはフィールド分離された２組の８×４画素ブロック毎に直交変換を行うような場合がある。このときも、フレームモード代表値ｘは１つのブロックから得られる所定の係数データのうちの最大値とすれば良く、フィールドモード代表値ｙは２つのブロックから得られる所定の係数データのうちの最大値とすればよい。
【００８６】
なお、上記の全ての実施形態の説明では、特定の垂直高域係数を用いたが、これのみに限定されるものではなく、どの係数を用いるか、および何個用いるか等は任意に設定可能である。
【００８７】
なお、上記の全ての実施形態の説明では、入力端子１０に画像信号が入力される場合を説明したが、たとえば動き補償予測を併用した場合には、差分信号が入力される場合もある。この場合も、差分信号のマクロブロックに対して本発明を適用することが可能である。
【００８８】
なお、上記の全ての実施形態の説明では、本発明を適用した画像符号化装置の構成の一例を示したが、同一の作用を有する構成であれば、他の構成であっても構わない。また、ハードウェアに関して説明したが、ソフトウェアに本発明を適用することも可能である。
【００８９】
なお、本実施の形態では、適応直交変換モード判定方法を適用した画像符号化装置について説明したが、これに限らず、インターレース画像から静止画を作成する際にも本発明の動き検出装置や動き検出方法を用いることが出来る。
【００９０】
すなわち、ビデオカメラで撮影された画像信号は通常インターレース信号であるが、ビデオカメラで撮影されたインターレース信号から静止画を作成する機能を有するビデオカメラがある。このようなビデオカメラにおいて、静止画を作成する際、上記各実施の形態で説明したように、各ブロック単位について動きの有無を検出する。そして、動いていると判定されたブロックについては、疑似フレーム処理を行って静止画を作成し、動いていないと判定されたブロックについてはそのまま静止画を作成する。ここで、疑似フレーム処理とは、インターレース画像で、フィールド画像を補間することによってフレーム画像を生成する処理を意味する。
【００９１】
インターレース画像の動きのある部分をそのままフレームとして静止画を作成した場合、静止画がぶれたものになってしまう。そこで、動きのあると判定された部分に疑似フレーム処理を施すことにより、静止画のぶれを押さえることが出来るようになる。
【００９２】
このように、本発明の動き検出装置は、画像符号化装置のみならず、ビデオカメラなどの、インターレース画像から静止画を作成する装置にも適用することが出来る。
【００９３】
なお、本発明の動き検出装置や動き検出方法は、上述したように画像符号化装置やインターレース画像から静止画を作成する装置のみならず、量子化する際やその他の用途で、インターレース画像の動きの有無に応じて何らかの設定を変える必要のあるものにも適用することが出来る。
【００９４】
なお、本発明に係るプログラムは、上述した本発明の動き検出装置の全部又は一部の手段（又は、装置、素子、回路、部等）の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【００９５】
本発明に係るプログラムは、上述した本発明の適応直交変換モード判定装置の全部又は一部の手段（又は、装置、素子、回路、部等）の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【００９６】
本発明に係る媒体は、上述した本発明の動き検出装置の全部又は一部の手段の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。
【００９７】
本発明に係る媒体は、上述した本発明の適応直交変換モード判定装置の全部又は一部の手段の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。
【００９８】
尚、本発明の上記「一部の手段（又は、装置、素子、回路、部等）」、本発明の上記「一部のステップ（又は、工程、動作、作用等）」とは、それらの複数の手段又はステップの内の、幾つかの手段又はステップを意味し、あるいは、一つの手段又はステップの内の、一部の機能又は一部の動作を意味するものである。
【００９９】
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【０１００】
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【０１０１】
又、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
【０１０２】
又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【０１０３】
又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【０１０４】
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【０１０５】
【発明の効果】
以上説明したところから明らかなように、本発明は、画像信号の動きの有無を適切に検出することが出来る動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムを提供することが出来る。
【０１０６】
また、本発明は、画像信号の動きの有無を判定する際、画像信号の複雑度やノイズの重畳度による判定ミスが生じにくい動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムを提供することが出来る。
【０１０７】
また、本発明は、画像符号化に用いる直交変換器よりも非常に簡単な構成で実現可能であるため、小規模な回路構成または演算量で画像信号の動きの有無を判定する動き検出装置、動き検出方法、適応直交変換モード判定装置、適応直交変換モード判定方法、媒体、及びプログラムを提供することが出来る。
【図面の簡単な説明】
【図１】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の構成図である。
【図２】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の各モードの直交変換ブロックの生成方法を示す概念図である。
（ａ）マクロブロックの構成を示す図である。
（ｂ）フレーム内直交変換ブロックの構成を示す図である。
（ｃ）フィールド内直交変換ブロックの構成を示す図である。
【図３】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の所定の係数データの一例を示す概念図である。
【図４】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の重み１の場合のモード判定を説明する概念図である。
【図５】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の特定画像パターンを示す概念図である。
（ａ）第１の特定画像パターンを示す図である。
（ｂ）第２の特定画像パターンを示す図である。
【図６】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の所定の係数データの第２の例を示す概念図である。
【図７】本発明の実施の形態１における適応直交変換モード判定方法を適用した画像符号化装置の重み付け比較によるモード判定を説明する概念図である。
【図８】本発明の実施の形態２における適応直交変換モード判定方法を適用した画像符号化装置の境界線の一例を説明する概念図である。
【符号の説明】
１０  入力端子
１１  フレーム内直交変換ブロック生成手段
１２  フィールド内直交変換ブロック生成手段
１３  第１の直交変換器
１４  第２の直交変換器
１５  第１の代表値検出手段
１６  第２の代表値検出手段
１７  モード判定手段
１８  選択器
１９  第３の直交変換器
２０  出力端子
【図１】
2004153573.tif 000003
【図２】
2004153573.tif 000004
【図３】
2004153573.tif 000005
【図４】
2004153573.tif 000006
【図５】
2004153573.tif 000007
【図６】
2004153573.tif 000008
【図７】
2004153573.tif 000009
【図８】
2004153573.tif 000010