(57)【要約】【課題】  処理負荷を低減しつつ簡単な構成で動画像を圧縮符号化する。【解決手段】  フレーム間（インター）符号化を行う場合の予測動き情報には、整数画素位置、１／２画素位置、１／４画素位置の精度がある。そのため、複数の参照フレームの中から整数画素位置の精度の予測動き情報ＶＩｐを先ず求める（Ｓ１０６０）。そして、その際に参照した１つの参照フレームから、他の画素位置精度の予測動き情報ＶＨｐ、ＶＱｐを求め（ステップＳ１０６２、Ｓ１０６４）、求められたＶＩｐ、ＶＨｐ，ＶＱｐの中から１つを選択する（Ｓ１０８０）。【選択図】  図１
2006093881.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置であって、
前記フレーム間符号化手段は、
現フレーム以外の複数の参照フレームを記憶する記憶手段と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に参照した参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記第１の算出手段は、
前記記憶手段に記憶された複数の参照フレームそれぞれにおける前記着目ブロック用の整数画素位置の予測動き情報を算出し、各整数画素位置の予測動き情報の中の着目ブロックに近似する１つを算出結果として出力することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記予測動き情報には複数の領域分割パターンが存在することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
フレーム間符号化工程、フレーム内符号化工程を備え、動画像データを符号化する画像符号化方法であって、
前記フレーム間符号化工程は、
所定の記憶手段に、現フレーム以外の複数の参照フレームを格納する格納工程と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出工程と、
該第１の算出工程で算出された整数画素位置の精度の予測動き情報を得る際に参照した参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出工程と、
前記第１、第２の算出工程で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化工程と
を備えることを特徴とする画像符号化方法。
【請求項５】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置として機能するコンピュータプログラムであって、
前記フレーム間符号化手段は、
所定の記憶手段に、現フレーム以外の複数の参照フレームを格納する格納手段と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に参照した参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段
として機能することを特徴とするコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【請求項７】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置であって、
前記フレーム間符号化手段は、
現フレーム以外の複数の参照フレームを記憶する記憶手段と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に、評価の高かった所定数の参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項８】
フレーム間符号化工程、フレーム内符号化工程を備え、動画像データを符号化する画像符号化方法であって、
前記フレーム間符号化工程は、
所定の記憶手段に、現フレーム以外の複数の参照フレームを格納する格納工程と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出工程と、
該第１の算出工程で算出された整数画素位置の精度の予測動き情報を得る際に、評価の高かった所定数の参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出工程と、
前記第１、第２の算出工程で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化工程と
を備えることを特徴とする画像符号化方法。
【請求項９】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置として機能するコンピュータプログラムであって、
前記フレーム間符号化手段は、
所定の記憶手段に、現フレーム以外の複数の参照フレームを格納する格納手段と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に、評価の高かった所定数の参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段と
して機能することを特徴とするコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【請求項１１】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置であって、
前記フレーム間符号化手段は、
現フレーム以外の参照フレームを記憶する記憶手段と、
現フレーム内の着目ブロックに対応する予測動き情報を、前記記憶手段に記憶された参照フレームから算出するの算出手段とを備え、
前記予測動き情報を算出する算出手段は、
複数の分割パターンをもつ所定領域の領域分割手段と、
現分割領域内での着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記領域分割手段で分割された複数の分割パターンから算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に算出した分割パターンから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項１２】
前記第１の算出手段は、
前記領域分割手段に分割された複数の分割パターンのそれぞれにおける前記着目ブロック用の整数画素位置の予測動き情報を算出し、各整数画素位置の予測動き情報の中の注目ブロックに近似する１つを算出結果として出力することを特徴とする請求項１１に記載の画像符号化装置。
【請求項１３】
フレーム間符号化工程、フレーム内符号化工程を備え、動画像データを符号化する画像符号化方法であって、
前記フレーム間符号化工程は、
所定の記憶手段に、現フレーム以外の参照フレームを格納する格納工程と、
現フレーム内の着目ブロックに対応する予測動き情報を、前記記憶手段に記憶された参照フレームから算出する算出工程とを備え、
前記予測動き情報を算出する算出工程は、
所定の領域分割手段で、複数の分割パターンを生成する生成工程と、
現分割領域内での着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記領域分割手段で分割された複数の分割パターンから算出する第１の算出工程と、
該第１の算出工程で算出された整数画素位置の精度の予測動き情報を得る際に算出した分割パターンから、他の画素位置精度の予測動き情報を算出する第２の算出工程と、
前記第１、第２の算出工程で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化工程と
を備えることを特徴とする画像符号化方法。
【請求項１４】
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置として機能するコンピュータプログラムであって、
前記フレーム間符号化手段は、
所定の記憶手段に、現フレーム以外の参照フレームを格納する格納手段と、
現フレーム内の着目ブロックに対応する予測動き情報を、前記記憶手段に記憶された参照フレームの中から算出する算出手段とを備え、
前記予測動き情報を算出する手段は、
所定の領域分割手段で、複数の分割パターンを生成する生成手段と、
現分割領域内での着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記領域分割手段で分割された複数の分割パターンから算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に算出した分割パターンから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段
として機能することを特徴とするコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮符号化する技術に関するものである。
【背景技術】
【０００２】
近年の映像情報に対する高画質化のニーズは高まりつつあり、放送メディアでは従来の７２０×４８０画素のＳＤ（標準画質）から、１９２０×１０８０画素のＨＤ（高画質）に移行しつつある状況になっている。
【０００３】
この画質に対する要求の高まりに呼応して、高画質化の為の処理を行う為には、これまで以上に膨大なデジタルデータを処理する必要がある。そのため、データ圧縮処理において高能率符号化アルゴリズムの開発が望まれている。これらのニーズに対して、ＩＴＵ−Ｔ  ＳＧ１６やＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１の活動により、フレーム間の画像データの相関を利用したフレーム間予測を用いた符号化圧縮方式の標準化作業が進められている。
【０００４】
この中で、現状最も高能率符号化を実現しているといわれる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）がある。このアルゴリズムの中で、新たに導入された技術のひとつとして、フレーム間予測符号化に用いる参照画像を、複数のフレームの中から選択する技術がある。時間的に離れた場所のフレームでも符号化効率の向上が見込まれるのならそのフレームを参照画像に採用するというものである。
【０００５】
また、複数のフレームの中から参照画像フレームを選択する場合、どのフレームを参照したかの情報を多重化させるという技術もある（特許文献１）。
【０００６】
さらに、どのフレームを参照しているかの情報に対して、フレーム間予測符号化技術を適用し、更なる高能率符号化を実現する技術も知られている（特許文献２）。
【特許文献１】特開平１０−２２４７９５号公報（第３頁の表１、第４頁の表１、第６頁の図１）
【特許文献２】特開２００３−１８９３１３号公報（第１４頁、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述したように複数のフレームの中から符号化効率のよい参照画像フレームを選択するには、参照候補となる複数のフレーム全部に対して、フレーム間予測をする必要があり、フレーム間予測に消費される処理量は、参照可能なフレームの枚数に比例して増大する。
【０００８】
さらに、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）では、予測符号化の精度向上を目論見、符号化画素に対して１／４画素の補間データを生成し、予測符号化の動き量を１／４画素精度まで検出できる技術も盛り込まれている。ここで、１／４画素データを補間する処理においても処理負荷は増大する。また、補間データを生成することにより、参照フレーム画素の増大も引き起こすので、動き検出に関わる処理自体も増大する。
【０００９】
また、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）では、予測符号化の精度向上を目論見、予測符号化を行う画素ブロックのパーティションを複数用意し、細かい画素単位の動き量を検出できる技術も導入されている。ここで、画素ブロックが細かくなれば、予測符号化のブロック数は増大し、処理付加の増大を引き起こす。
【００１０】
以上２つの予測符号化の精度向上技術に対する処理付加の増大は、前述の参照フレーム枚数が増えるほど、より大きな処理負荷となってくる。
【００１１】
同符号化アルゴリズムを用いて、高画質画像データをよりコンパクトに記録するニーズの高いビデオカメラシステムにおいては、処理負荷の増大は直接、モバイル機器を駆動するバッテリー消費量の増大に結びつき、撮影時間の長期化に大きな障害となる。
【００１２】
本発明はかかる問題点に鑑みなされたものであり、処理負荷を低減しつつ簡単な構成で動画像を圧縮符号化する技術を提供しようとするものである。
【課題を解決するための手段】
【００１３】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
フレーム間符号化手段、フレーム内符号化手段を備え、動画像データを符号化する画像符号化装置であって、
前記フレーム間符号化手段は、
現フレーム以外の複数の参照フレームを記憶する記憶手段と、
現フレーム内の着目ブロックに対応する整数画素位置の精度での予測動き情報を、前記記憶手段に記憶された複数の参照フレームの中から算出する第１の算出手段と、
該第１の算出手段で算出された整数画素位置の精度の予測動き情報を得る際に参照した参照フレームから、他の画素位置精度の予測動き情報を算出する第２の算出手段と、
前記第１、第２の算出手段で得られた各予測動き情報を評価し、１つの予測動き情報を決定し、決定された予測動き情報と現フレームの着目ブロックとの差分を求め、符号化する符号化手段とを備える。
【発明の効果】
【００１４】
本発明によれば、整数画素位置における予測動き情報を得た後、その結果に基づいて限られた範囲で他の画素位置精度の予測動き情報を算出することで、処理負荷を低減しつつ簡単な構成で動画像を圧縮符号化することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１６】
始めに、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）の符号化技術に関して、図３〜図５を用いて詳しく説明する。
【００１７】
図３は複数参照フレームに関する概念を示し、図４はインター予測符号化ブロックの種々のパーティションを示している。図５は予測符号化方式で動き情報を探索する方法を示している。
【００１８】
まず、複数の参照フレームについて説明する。Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）では、最大５枚の参照フレームを保持できる。図３は、符号化対象フレーム（現フレーム）２００を、複数の参照フレーム１００〜１０４のいずれかの画像値とその場所の差（動き情報）で予測している様子を示している。
【００１９】
例えば、現フレームの予測符号化ブロック２１０の画素データは、複数の参照フレームの中から最も相関の強い参照フレーム画素１００のブロック１２０から予測している。また、現フレームの予測符号化ブロック２１１は、相関の強い参照フレーム１０１のブロック１２１から予測している。
【００２０】
逆にいえば、予測符号化ブロック２１０の動き情報を検出するのために、選択可能な全ての参照フレーム１００〜１０４に対して、動き情報を検出することが必要となる。これは、先に説明した参照可能なフレーム枚数に比例して処理が増大することを示している。
【００２１】
さらに、図４（ａ）に示す現フレームの予測符号化ブロック２１０は種々のパーティションが選べ、図４（ｂ）の最大１６×１６画素のマクロブロック３１０から、最小８×８画素のマクロブロック３４０〜３４３までの４種類の中から予測符号化ブロックを選ぶことが可能である。また、最小８×８画素の各マクロブロックに関しては、図４（ｃ）に示すように、より細かいサブマクロブロックパーティションが選べ、最小４×４画素のサブマクロブロック４４０〜４４３までの４種類の中から予測符号化ブロックを選ぶことが可能である。つまり、予測符号化ブロックは、全部で３（サブマクロブロックパーティションの対象とならないマクロブロックパーティション数）＋４（サブマクロブロックパーティションの対象となるマクロブロック数）×４（サブマクロブロックパーティション数）＝１９種類のパーティションの中から選ぶことになる。
【００２２】
このようにすることにより、より細かい画像単位で動き情報を分離することができ、動き情報の精度の向上を実現している。
【００２３】
しかしながら、現フレームの所定の画素領域（１６×１６画素）に対して、１９種類のパーティションにより作られる全ての予測符号化ブロックの動き情報を評価する必要があり、パーティションの種類に応じた予測符号化ブロック数に比例して処理が増大することは避けられない。
【００２４】
また、図５において、前記予測符号化ブロックにおける動き情報の検出方法について説明する。
【００２５】
図５（ａ）において、まず、予測符号化ブロック２１０に対して、既に符号化した隣接ブロックの動き情報の位置だけずらした画素近傍の参照フレーム画素に関して画素データの相関を調べ、相関が最も強い画素位置１３４を探索する。探索された画素位置と予測符号化ブロックの画素位置の差を、動き情報１３２として算出する。前記動き記情報は、整数画素ピッチでずらして求められた整数画素精度の動き情報ＶＩとなる。
【００２６】
さらに細かい精度の動き情報探索範囲は、図５（ａ）における参照フレームの枠１４０内で画素をオフセットさせて調べることになる。そのためには参照画像の半画素ピッチのデータが必要になるので、整数画素１３２に対して、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）の規格書に定められた６タップのＦＩＲフィルタを水平・垂直方向にかけ、図５（ｂ）に示す整数画素間の半画素ピッチの画素データ１４２を生成する。
【００２７】
さらに、前記生成された整数画素間の半画素ピッチの画素データに対して、６タップのＦＩＲフィルタを水平・垂直方向にかけ、図４（ｃ）に示すように残りの半画素ピッチの画素データ１４４を生成し、全ての半画素ピッチの画像データを生成する。
【００２８】
次に、得られた半画素ピッチの画像データと予測符号化ブロックの相関を、探索範囲１４０だけオフセットさせて調べ、最も強い相関をもつ画素位置を探索し、前記半画素ピッチの参照フレームの画素位置と現行フレームの画素位置から半画素精度の動き情報ＶＨ（２４０）を算出する。
【００２９】
最後に、図４（ｄ）に示すように、１／４画素精度の情報を生成するため、前記半画素ピッチの画素データを画素位置で比例配分して生成される１／４画素ピッチの画像データ１５２を生成する。
【００３０】
得られた１／４画素ピッチの画像データと予測符号化ブロックの相関を、探索範囲１５０だけオフセットさせて調べ、最も強い相関をもつ画素位置を探索し、前記１／４画素ピッチの参照フレームの画素位置と現行フレームの画素位置から１／４画素精度の動き情報ＶＱ（２５０）を生成することができる。
【００３１】
このようにすれば、より細かい精度で動き情報を算出し、予測符号化誤差を少なくして、符号化効率を上げることができる。
【００３２】
反面、整数画素以上の細かい精度の動き情報を算出するには、参照フレームの各画素に対して所定の処理を施し画素データを生成する必要があり、その処理負荷は増大する。また、生成された画素データに対して処理負荷の重い動き検出処理を繰り返すので、動き検出処理の負荷増大を、さらにもたらす。
【００３３】
以上述べてきた動き情報の検出処理に関して、その手順を図６（ａ）のフローチャートにまとめる。
【００３４】
まず、動き検出動作が開始（ステップＳ１００）されると、図４に示すパーティションの種類の数ｎ（１９種類）を設定する（ステップＳ２００）。
【００３５】
ここで、各パーティションの種類を特定するためにパーティションインデックスｉ＝０を設定し（ステップＳ２５０）、パーティションインデックスｉとパーティションの種類の数ｎを比較する（ステップＳ３００）。パーティションインデックスｉ＜ｎであると判定した場合には、該当するパーティションインデックスｉで生成される予測符号化ブロック（マクロブロック、あるいは、サブマクロブロック）の数（ｍ）を設定する（ステップＳ４００）。
【００３６】
図４（ｂ）のパーティション３１０ならｍ＝１、パーティション３２０、３２１、或いは、パーティション３３０と３３１ならｍ＝２、パーティション３４０乃至３４３で、それぞれが図４（ｃ）に示す符号４４０〜４４３で示されるパーティションであればｍ＝１６ということになる。
【００３７】
ここで、予測符号化ブロックインデックスｊ＝０を設定し（ステップＳ４５０）、予測符号化ブロックインデックスｊと予測符号化ブロック数ｍを比較する（ステップＳ５００）。予測符号化ブロックインデックスｊ＜ｍであると判定した場合には、インデックスｉ，ｊに対して動き情報Ｖｉｊを算出する（ステップＳ６００）。この算出が完了すると、インデックスｊを“１”だけインクリメントし（ステップＳ６９８）、ステップＳ５００に戻る。この結果、パーティションの全部の種類において、全ての予測符号化ブロックの動き情報Ｖｉｊを算出することになる。
【００３８】
また、予測符号化ブロックインデックス比較ステップ（ステップＳ５００）において、ｊ＜ｍでない、すなわち、ｊ＝ｍと判断すると、パーティションインデックスｉをインクリメントして（ステップＳ６９９）、次のパーティションインデックスに対する処理を行うためステップＳ３００に戻る。
【００３９】
ここで、パーティションインデックス比較ステップ（Ｓ３００）において、ｉ＜ｎでない、つまり、ｉ＝ｎであると判断した場合には、全パーティションについての動き情報Ｖｉｊを算出が完了したことになるので、動き情報Ｖｉｊを評価する（ステップＳ７００）。評価は、動き情報Ｖｉｊを算出した時の参照フレームとの相関が強いパーティションの種類（ｉ）を選ぶことになる。
【００４０】
動き情報Ｖｉｊが適宜選択されたら、選択されたパーティションにおける動き情報に基づいて、全ての予測符号化ブロック（ｊ＝０〜ｍ−１）の参照関係を管理する参照リストを作成する（ステップＳ８００）。
【００４１】
以上の処理を現行フレームの全ての画素に適応したら、動き検出動作は終了する（Ｓ９００）。
【００４２】
次に、前記動き情報Ｖｉｊの算出処理について、図６（ｂ）を用いて説明する。
【００４３】
まず、動き情報の算出処理が開始されると（ステップＳ６１０）、予測符号化ブロックの参照が可能な参照フレーム数（ｌ）を検出する（ステップＳ６２０）。Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）の規格によれば、最大で、ｌ＝５である。
【００４４】
次に、参照フレームインデックスｋ＝０を設定し（ステップＳ６２５）、参照フレームインデックスｋと参照フレーム数ｌを比較する（Ｓ６３０）。参照フレームインデックスｋ＜ｌと判断したら、図５（ａ）に示すように整数画素精度の動き情報ＶＩｋを算出する（Ｓ６５０）。さらに、図５（ｂ）〜図５（ｃ）に示すように、参照フレームの中間画素データを生成しながら、半画素精度の動き情報ＶＨｋを算出する（ステップＳ６５２）。最終的には、図５（ｄ）に示すように、その半分の中間画素データを生成しながら、１／４画素精度の動き情報ＶＱｋを算出する（ステップＳ６５４）。前記算出されたＶＩｋ、ＶＨｋ、ＶＱｋを評価し、最も相関の強いものを選択して各参照フレームｋの動き情報Ｖｋと設定する（Ｓ６６０）。
【００４５】
以上の各参照フレームの動き情報Ｖｋが算出されたら、参照フレームインデックスｋを“１”だけインクリメントして（Ｓ６６９）、次の参照フレームを選択し、ステップＳＳ６３０以降の処理を繰り返す。つまり、前記参照フレームの全フレームに対して、各精度の動き情報を検出する処理を施すことになる。
【００４６】
ここで、ステップＳ６３０にてｋ＜ｌでない、すなわち、ｋ＝ｌと判断した場合、全参照フレームについての動き情報Ｖｋの算出が完了したことになるから、各参照フレーム毎の動き情報Ｖｋを評価し、最も相関の強いものを選択して（ステップＳ６７０）、予測符号化ブロックの動き情報Ｖｉｊとする（ステップＳ６９０）。
【００４７】
このように、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）では、動き検出の精度を向上させるために、最も適した予測符号化ブロック生成するパーティションを選択し、最も適した参照フレームを選択する処理を必要とし、その結果求められた高い精度の動き情報で予測符号化効率を向上させていることになる。
【００４８】
しかし、この高い精度の動き検出の追求には、全てのパーティションと全ての参照フレームに対して、１／４画素精度の動き検出をする必要があり、処理負荷は膨大なものとなるのは避けられない。
【００４９】
本実施形態では、かかる問題を解決するものである。以下、各実施形態を説明する。
【００５０】
＜第１の実施形態＞
以下、第１の実施形態を、図２の画像符号化装置の全体ブロック図を用いて説明する。なお、実施形態では、デジタルビデオカメラに適用するものとして説明するが、以下の説明から明らかになるように、外部端子より入力する映像データ、或いは、映像画像ファイル（例えば無圧縮ファイル）に基づいて圧縮符号化したファイルを作成する、パーソナルコンピュータのアプリケーションプログラムにも適用できるものである。
【００５１】
図中、１０は映像データを入力する画像入力部、１２は後述する予測画像情報を減算する減算器、１４は画像の差分データに対して４×４の整数直交変換をする直交変換部、１６は整数直交変換された変換係数に対して所定の量子化スケールで量子化を施す量子化部、１８は量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮するエントロピー符号化部である。
【００５２】
３０は量子化された変換係数に対して所定の逆量子化処理を施す逆量子化部、３２は逆量子化された変換係数を元の画像データ空間に戻す逆整数直交変換をする逆直交変換部、３４は画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する加算部である。
【００５３】
３６は現フレーム中の既符号化済みとなった画像データを格納するフレームメモリであり、フレーム内予測符号化を行う際の参照データを格納するためのものである。注目ブロックを符号化する際の、隣接するブロックの画像を蓄積できれば良いので、１フレーム分の容量は不要である。
【００５４】
３８はフレームメモリ３６に保持された画像データを所定のブロック単位に分割し、画像入力部１０より入力している注目ブロックの周辺の分割ブロックから予測データを生成するイントラ用予測データ生成部である。
【００５５】
５０は加算部３４により復元された画像データに対して所定のブロック単位の境界データにおける不連続性を補正するデブロッキングフィルタ部、５２はブロック境界補正処理が行われた復元画像データを後述する予測画像情報の参照画像として利用するために保持するフレームメモリである。実施形態では、ＭＰＥＧ４に適用した例を説明しているので、このフレームメモリ５２は５フレーム分の画像データを記憶する容量を有する
５４は入力された現在の画像データを所定のブロック単位に分割し、各ブロックにおいて前記参照フレームと相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する動き検出部である。５６は、動き検出部５４からの情報に基づき、フレームメモリ５２内の参照フレーム（５フレーム）中から、現フレーム中の注目ブロックのデータの予測画像情報を生成し、出力する動き補償部である。
【００５６】
４０は予測情報を選択するスイッチ部である。所定タイミングに応じて、入力端子４０ａ、４０ｂのいずれか一方を選択するためのスイッチである。入力端子４０ａを選択した場合には、イントラ（フレーム内）予測符号化を行うことになり、入力端子４０ｂを選択した場合にはインター（フレーム間）予測符号化を行うことになる。
【００５７】
まず、本実施形態の装置の全体の符号化処理に関して説明する。
【００５８】
画像入力部１０から入力された映像情報の画像データは、減算器１２で予測画像情報を減算し、予測画像情報との差分データを生成する。前記差分データは、変換部１４で整数直交変換が施され、一般の画像空間からエネルギー集中を高めた変換係数の空間に直交変換する。変換された差分データの変換係数は量子化部１６で所定のステップ幅で直交変換成分に応じて量子化される。量子化された変換係数データはエントロピー符号化部１８で圧縮符号化される。さらに、エントロピー符号化部１８では、後述するインター符号化で参照されたフレーム番号の識別子もまた、多重化されて圧縮符号化される。
【００５９】
次に、予測画像情報の処理について説明する。予測画像情報は、入力時の現画像内のデータで生成するイントラ予測符号化方式と、入力時の現画像以外のフレーム画像データから生成するインター符号化方式がある。
【００６０】
まず、現入力画像内で処理が閉じているイントラ符号化予測方式について説明する。
【００６１】
前記量子化された変換係数に対して、逆量子化部３０で変換係数を復元する。復元された変換係数は、逆整数直交変換部３２で元の画像データ空間に戻され、予測画像情報との差分データとして復元される。前記復元差分データに対して、後述する予測画像情報を加算器３４で加算することにより、現フレームの注目ブロックより以前に符号化されたブロックの復元画像データが得られる。但し、この時点の復元画像データは後述する予測情報の誤差や前記量子化処理における量子化誤差によって、入力画像データよりも僅かに劣化している画像となっている。
【００６２】
この復元画像データをフレームメモリ３６に一旦取り込む。フレーム画像に取り込まれた復元画像データに対して、イントラ予測符号化部３８で、所定のブロック単位に分割し、各ブロック内の復元画像データを、前記ブロックの周辺画素値から予測する。前記予測値を予測画像情報として算出し、スイッチ４０に送られる。
【００６３】
スイッチ４０では図示しないコントローラによって、予測画像情報の予測方法に応じて、スイッチを切り替える。前述してきたイントラ予測符号化方式の場合、スイッチは４０ａに接続され、予測画像情報はイントラ予測方式による算出方法で得られたデータが送出される。
【００６４】
このイントラ方式の予測画像情報は、前記減算器１２や加算器３４に送られ、画像データと予測画像差分データとの変換に使われる。
【００６５】
次に、現入力画像とは別の参照フレーム画像を用いて予測画像情報を生成するインター符号化予測方式について説明する。
【００６６】
イントラ予測符号化方式と、加算器３４までは同じなので説明を省略する。
【００６７】
加算器３４で得られた復元画像データは、後述するブロック単位の境界におけるデータの不連続性を排除するために、デブロッキングフィルタ部５０に送られる。デブロッキングフィルタ部５０では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。先に述べたように、復元される画像データは入力画像よりも劣化した画像となっており、特に各処理において所定のブロック単位で処理される画像データは、ブロック境界でデータの不連続性が生じやすくブロック歪として画像認識されてしまう。そこで、デブロッキングフィルタによりブロック歪を低減させる効果がある。ただし、前記デブロッキングフィルタはオプションであり、復元される画像データの劣化が十分に少ないと判断されるときは、この処理をスキップすることが好ましい。
【００６８】
境界処理された前記復元画像データは、フレームメモリ５２に一旦取り込む。また、前記フレームメモリは複数枚（実施形態では５フレーム）の復元画像データを保持することが可能となっている。
【００６９】
一方、動き検出部５４では、入力画像を所定のブロック単位に分割し、前記複数の参照フレームとの相関の強い位置を探索する。最も相関が強いと判断された位置と現行処理中のブロック位置の差分データを動き情報として、動き補償部５６とエントロピー符号化部１８に情報を送出する。また、同時に動き情報の生成に使った参照フレームの識別情報もまた、動き補償部５６とエントロピー符号化部１８に送出する。
【００７０】
動き補償部５６では、前記参照フレーム識別情報に応じた参照フレームの復元画像データをフレームメモリ５２から呼出し、前記復元画像データと前記動き情報から、現行画面の予測画像情報を予測する。
【００７１】
このように、インター予測符号化では、現行画像とは別のフレームの参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。
【００７２】
生成されたインター方式の予測符号化は、スイッチ４０で４０ｂに接続され、前記減算器１２や加算器３４に送られ、画像データと予測画像差分データとの変換に使われる。
【００７３】
以上のように入力画像データは、圧縮符号化されるのであるが、この中で、処理が比較的重いとされている動き検出部５４であり、本実施形態における特徴となる部分でもある。
【００７４】
そこで、第１の実施形態となる動き情報の算出処理について、図１のフローチャートを用いて説明する。同図は、予測符号化ブロックの動き情報の算出方法（図６（ａ）のＳ６００、すなわち、図６（ｂ）に代わるものである）に適用したものであるので、その部分だけを説明する。
【００７５】
まず、動き情報の算出動作が開始されると（ステップＳ１０１０）、予測符号化ブロックの参照が可能な参照フレーム数（ｌ）を検出する（ステップＳ１０２０）。
【００７６】
次に、参照フレームインデックスｋ＝０を設定し（ステップＳ１０２５）、参照フレームインデックスｋと参照フレーム数ｌを比較する（ステップＳ１０３０）。参照フレームインデックスｋ＜ｌであると判断したら、図５（ａ）に示すように、整数画素精度の動き情報ＶＩｋを算出する（ステップＳ１０５０）。そして、参照フレームインデックスｋを“１”だけインクリメントして（ステップＳ１０５９）、参照フレームインデックスの繰り返しステップ（ステップＳ１０３０）に戻る。
【００７７】
ステップＳ１０３０の判断で、ｋ＜ｌでない、すなわち、ｋ＝ｌと判断した場合には全参照フレームでの動き情報ＶＩｋが算出されたことになるので、処理はステップＳ１０６２に進み、各フレームにおけるＶＬｋの中から最も評価の高いＶＩｐを選択する。
【００７８】
なお、ＶＩｋの評価に関して、本実施形態では相関の強い度合いで判断するものとするが、動き情報と差分データを符号化した符号量を評価基準にしてもいい。これは、最終的な符号化効率を優先した動き情報の選択となる。また、前述以外にも、差分データ量等の符号化処理の途中で算出される値を評価基準にしてもよい。
【００７９】
次いで、処理はステップＳ１０６４に進み、上記ステップＳ１０６２で決定したフレームのＶＩｐに基づいて、図５（ｂ）〜図５（ｃ）に示すように、参照フレームの中間画素データを生成しながら、半画素精度の動き情報ＶＨｐを算出す。そして、最終的には、図５（ｄ）に示すように、その半分の中間画素データを生成しながら、１／４画素精度の動き情報ＶＱｐを算出する（ステップＳ１０７０）。
【００８０】
そして、得られたＶＩｐ、Ｖｈｐ、ＶＱｐを評価し、その中の最も評価値の高いものをＶｉｊとして選択し出力し、予測符号化ブロックの動き情報に代入する（ステップＳＳ１０８０）。
【００８１】
以上の処理が終了すると、予測符号化ブロックの動き情報の算出動作も終了する（Ｓ１０９０）。
【００８２】
以上の如く、最も評価の高いＶＩｐを求め、その後で、求められたＶＩｐで示される画像領域について、負荷の大きいＶＨｐ、ＶＱｐを求めることで、処理にかかる演算量を減らすことが可能になる。従来は、現フレーム以外の５つのフレームそれぞれ毎にＶＨｐ、ＶＱｐを求めていたのに対し、本実施形態では現フレームの注目ブロックを符号化する際にＶＨｐ、ＶＱｐを求めるのは１回で済む。
【００８３】
このように、本実施形態によれば、全部の参照フレームに関する動き情報は、整数画素精度の動き情報ＶＩのみの算出処理だけなので、繰り返し処理の処理負荷が大幅に軽減される。さらに、前記整数画素精度の動き情報ＶＩを評価することで、特定の参照フレームを選択し、選択された参照フレームのみに整数画素より細かい精度の動き情報ＶＨ、ＶＱを算出しているので、動き情報の精度を確保しつつ、対象外の参照フレームのＶＨ，ＶＱ処理を省略し、処理負荷もまた大幅に軽減されている。
【００８４】
また、処理負荷の軽減は、消費電力の削減も導き、バッテリー駆動のモバイル機器であるビデオカメラシステムの長時間撮影も実現できる。
【００８５】
＜第２の実施形態＞
上記第１の実施形態では、動き情報ＶＩｐを求める元になったフレームから、ＶＨｐ、ＶＱｐを求めた。
【００８６】
本第２の実施形態では、更に、高い精度の動き情報の検出を行う例を説明する。
【００８７】
装置構成は第１の実施形態と同じであるものとし、図７のフローチャートに従って説明する。
【００８８】
まず、動き情報の算出処理が開始されると（ステップＳ１１１０）、予測符号化ブロックの参照が可能な参照フレーム数（ｌ）を検出する（ステップＳ１１２０）。
【００８９】
次に、参照フレームインデックスｋ＝０を設定し（ステップＳ１１２５）、参照フレームインデックスｋと参照フレーム数ｌを比較する（ステップＳ１１３０）。参照フレームインデックスｋ＜ｌであると判断した場合には、図５（ａ）に示すように、参照フレームインデックスｋで示されるフレームを参照して、整数画素精度の動き情報ＶＩｋを算出する（ステップＳ１１５０）。そして、参照フレームインデックスｋをインクリメントして（ステップＳ１１５９）、ステップＳ１１３０に戻り、上記処理を繰り返す。
【００９０】
ステップＳ１１３０で、ｋ＜ｌでない、すなわち、ｋ＝ｌであると判断した場合には、ステップＳ１１６０に進み、複数参照フレームから算出された整数精度の夫々の動き情報ＶＩｋを評価し、参照フレームとの相関が強いものから所定枚数ｌ’（ｌ’＜ｌ）の参照フレームを選ぶ（ステップＳ１１６０）。例えば、最大５枚の参照フレームから、相関が強い３枚の参照フレームを選ぶことになる。このとき、相関が最大の動き情報をＶＩｐとして決定する。
【００９１】
次に、複数選ばれた参照フレーム（選択されたフレーム数はｌ’）に関して、選ばれた参照フレームインデックスｋ’＝０を設定し（ステップＳ１１６５）、選ばれた参照フレームインデックスｋ’と選ばれた参照フレーム数ｌ’を比較する（ステップＳ１１７０）。選ばれた参照フレームインデックスｋ’＜ｌ’の状態なら、図５（ｂ）〜図５（ｃ）に示すように、前記整数画素精度の動き情報の近傍で半画素精度の動き情報ＶＨｋ’を算出する（ステップＳ１１７２）。そして、選ばれた参照フレームインデックスｋ’をインクリメントして（ステップＳ１１７９）、ステップＳ１１７０以降の処理を繰り返す。
【００９２】
ステップＳ１１７０にて、ｋ’＝ｌ’と判断されると、複数の選ばれた参照フレームから算出された半画素精度の動き情報ＶＨｋ’を評価し、参照フレームとの相関が強い参照フレームを選択（ｋ’＝ｐ）する（ステップＳ１１８０）。
【００９３】
そして、選択された参照フレームｐにおいて、さらに、図５（ｄ）に示すようにその半分の中間画素データを生成しながら、１／４画素精度の動き情報ＶＱｐを算出し（ステップＳ１１８２）する。
【００９４】
算出されたＶＩｐ、ＶＨｐ、ＶＱｐを評価し、その中で最も相関の強いものを選択して（ステップＳ１１９０）、予測符号化ブロックの動き情報とする（ステップＳ１２００）。
【００９５】
以上の処理が終了すると、予測符号化ブロックの動き情報の算出動作も終了する（ステップＳ１２１０）。
【００９６】
以上説明したように、本第２の実施形態によれば、整数画素精度の動き情報ＶＩｐの算出は全参照フレームで行い、その中の上位所定数の参照フレームで半画素精度の動き情報ＶＨｐの算出を行う。そして、ＶＨｐは補間によって生成した画素を参照するものであるから、ＶＨｐを得たフレームを対象にしてＶＱｐを算出すれば十分である。
【００９７】
この結果、第１の実施形態と比較して、多少の演算量は増えるものの、精度の高い動き情報を得ることが可能になる。
【００９８】
＜第３の実施形態＞
次に第３の実施形態を説明する。装置構成は第１の実施形態と同じとし、ここでも図８のフローチャートに従って説明する。
【００９９】
本第３の実施形態における特徴とする点は、予測符号化ブロックの処理も絡めてより処理負荷の低減ることにある。
【０１００】
図８において、まず、動き検出処理が開始（ステップＳ２１００）されると、図４に示すパーティションの種類ｎ（１９種類）を設定する（ステップＳ２２００）。
【０１０１】
ここで、パーティションインデックスｉ＝０を設定し（ステップＳ２２５０）、パーティションインデックスｉとパーティションの種類の数ｎを比較する（ステップＳ２３００）。パーティションインデックスｉ＜ｎであると判断した場合には、前記パーティションで生成される予測符号化ブロックの数（ｍ）を設定する（ステップＳ２４００）。
【０１０２】
ここで、予測符号化ブロックインデックスｊ＝０を設定し（ステップＳ２４５０）、予測符号化ブロックインデックスｊとｍを比較する（ステップＳ２５００）。予測符号化ブロックインデックスｊ＜ｍであると判断した場合には、予測符号化ブロックの参照が可能な参照フレーム数（ｌ）を検出する（ステップＳ２６２０）。
【０１０３】
次に、参照フレームインデックスｋ＝０を設定し（ステップＳ２６２５）、参照フレームインデックスｋと参照フレーム数ｌを比較する（ステップＳ２６３０）。参照フレームインデックスｋ＜ｌである場合には、図５（ａ）に示すように整数画素精度の動き情報ＶＩｉｊｋを算出する（ステップＳ２６５０）。そして、参照フレームインデックスｋをインクリメントして（ステップＳ２６５９）、ステップＳ２６３０に戻る。
【０１０４】
参照フレームインデックスの比較を行うステップＳ２６３０において、参照フレームインデックスｋ＜ｌではない、すなわち、ｋ＝ｌと判断した場合には、各参照フレームから算出された整数画素精度の動き情報ＶＩｉｊｋを評価し、最も相関の強いものを選択して（ステップＳ２６６０）、予測符号化ブロックインデックスｊをインクリメントして（ステップＳ２６９８）、ステップＳ２５００に戻る。
【０１０５】
予測符号化ブロックインデックスの比較を行うステップＳ２５００において、ｊ＝ｍでであると判断した場合には、パーティションインデックスｉをインクリメントして（ステップＳ２６９９）、パーティションインデックスの繰り返しステップＳ２３００に戻る。
【０１０６】
以上の処理を繰り返し、パーティションインデックスを比較するステップＳ２３００において、ｉ＝ｎであると判断した場合、選択可能な各フレームの予測符号化ブロックの全てに関する整数精度の動き情報ＶＩｉｊｐを算出したことになる。
【０１０７】
この場合、処理はステップＳ２７００に進み、整数精度の動き情報ＶＩｉｊｐを評価する（ステップＳ２７００）。評価は、参照フレームとの相関が強いパーティションの種類（ｉ＝ｑ）を選ぶことになる。
【０１０８】
前述で最も相関の強い参照フレーム（ｐ）とパーティション（ｑ）に対して、さらに、図５（ｂ）〜図４（ｃ）に示すように、参照フレームの中間画素データを生成しながら、半画素精度の動き情報ＶＨＩｑｊｐを算出する（ステップＳ２７６２）。最終的には、図５（ｄ）に示すように、更に中間画素データを生成しながら、１／４画素精度の動き情報ＶＱｑｊｐを算出する（ステップＳ２７６４）。そして、前記算出されたＶＩｑｊｐ、ＶＨｑｊｐ、ＶＱｑｊｐを評価し、最も相関の強いものを選択して（ステップＳ２８００）、予測符号化ブロックの動き情報として参照リストを作成する（ステップＳ２９００）。
【０１０９】
以上の処理を現フレームの全ての画素に適応したら、動き検出動作は終了する（ステップＳ３０００）。
【０１１０】
以上説明したように本第３の実施形態によれば、複数のパターンの予測符号化ブロックから適宜予測符号化ブロックを選択するときも、整数画素精度の動き情報ＶＩのみの算出処理しかしていないので、繰り返し処理の処理負荷が大幅に軽減される。さらに、前記整数画素精度の動き情報ＶＩを評価することで、特定の参照フレームおよび予測符号化ブロックを選択し、選択された参照フレームのみに整数画素より細かい精度の動き情報ＶＨ、ＶＱを算出しているので、動き情報の精度を確保しつつ、対象外の参照フレームのＶＨ，ＶＱ処理を省略し、処理負荷もまた大幅に軽減されている。
【０１１１】
処理負荷の軽減は、消費電力の削減も導き、バッテリー駆動のモバイル機器であるビデオカメラシステムの長時間撮影も実現できる。
【０１１２】
なお、上記説明では、複数の領域分割パターンと複数の参照フレームから動き情報を算出する符号化方法で説明したが、複数の領域分割に対してだけ整数画素精度の動き情報を算出し、算出された特定された領域分割パータンにのみ、１／２画素精度、１／４画素精度の動き情報を複数の参照フレームで算出しても、処理負荷を軽減する本発明の効果がえられるので、本発明の他の実施形態となる。
【０１１３】
さらに、複数の領域分割パターンと選択の余地のない参照フレーム（例えば単一の参照フレームしか持たないような場合）から動き情報を算出する符号化方法でも、複数の領域分割に対してだけ整数画素精度の動き情報を算出し、算出された特定された領域分割パータンにのみ、１／２画素精度、１／４画素精度の動き情報を複数の参照フレームで算出しても、処理負荷を軽減する本発明の効果がえられるので、本発明の他の実施形態となる。
【０１１４】
また、上記説明から明らかなように、本発明は図示したフローチャートに従ったコンピュータプログラムでも実現できるのは明らかである。また、通常コンピュータプログラムは、それを記憶したＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体をコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能になるわけであるから、当然、そのようなコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【図面の簡単な説明】
【０１１５】
【図１】第１の実施形態における動き情報算出処理を示すフローチャートである。
【図２】実施形態における符号化装置のブロック構成図である。
【図３】複数参照フレームからの動き情報を算出する際の概念図である。
【図４】予測符号化ブロックの分割パターンを示す図である。
【図５】整数画素精度、半画素、１／４画素の各精度の動き情報算出の概念図である。
【図６】動き検出処理を示すフローチャートである。
【図７】第２の実施形態における動き情報算出処理を示すフローチャートである。
【図８】第３の実施形態における動き情報算出処理を示すフローチャートである。
【図１】
2006093881.tif 000003
【図２】
2006093881.tif 000004
【図３】
2006093881.tif 000005
【図４】
2006093881.tif 000006
【図５】
2006093881.tif 000007
【図６】
2006093881.tif 000008
【図７】
2006093881.tif 000009
【図８】
2006093881.tif 000010