(57)【要約】【課題】本発明の目的は、画質を実質的に保持しながら動き探索処理量を削減し、参照フレーム番号の変更ができる画像符号化装置及び画像符号化方法を提供することである。【解決手段】符号化フレームの近接参照フレームと他の参照フレームとの間での相関の有無を判定する。相関がある場合には近接参照フレームの相関情報を符号化フレームにも引き継ぐ。相関が無い場合には、近接参照フレームの参照フレーム優先度を他の参照フレームとの比較であげる。そして、優先度の高い参照フレームに符号長の短い参照フレーム番号を割り当て、データ量を現ずると共に、優先度の高い参照フレームのみを動き探索の対象とすることで、処理量を低減する。【選択図】図２
2008153907.tif 000002
【特許請求の範囲】
【請求項１】
一連のフレームからなる動画像情報を符号化する画像符号化装置であって、
近接参照フレームで優先度の高い参照フレームを符号化フレームにおいても参照優先度の高いフレームとして参照フレーム優先度判定を行う参照フレーム優先度決定部を含むことを特徴とする画像符号化装置。
【請求項２】
一連のフレームからなる動画像情報を符号化する画像符号化装置であって、
符号化フレームの近接参照フレームと他の参照フレームとの間の相関を判定するフレーム間相関判定部と、
前記相関があれば前記近接参照フレームで優先度の高い参照フレームを前記符号化フレームにおいても参照優先度の高いフレームとし、前記相関がなければ前記近接参照フレームの優先度を高める参照フレーム優先度判定を行う参照フレーム優先度決定部と、
前記参照フレーム優先度判定を参酌して参照フレーム番号を決定する参照フレーム番号変更部を含むことを特徴とする画像符号化装置。
【請求項３】
請求項１または２のいずれか一項に記載の画像符号化装置を含むことを特徴とする情報端末。
【請求項４】
一連のフレームからなるプログレッシブ方式の動画像情報を符号化する画像符号化方法であって、
符号化フレームに表示順で最も近い符号化済みの参照フレームを近接参照フレームと決定する近接参照フレーム決定ステップと、
前記近接参照フレームと他の参照フレームの相関関係を判定するフレーム間相関判定ステップと、
前記フレーム間相関判定ステップの結果を参酌して参照フレーム優先度順位の決定を行う参照フレーム優先度決定ステップと、
前記参照フレーム優先度決定ステップの結果に基づき参照フレーム番号の決定を行う参照フレーム番号決定ステップと、
符号化部が前記参照フレーム番号を用いて動画像情報の符号化を行う符号化ステップを含むことを特徴とする画像符号化方法。
【請求項５】
請求項４記載の画像符号化方法であって、
前記フレーム間相関判定ステップでは符号化済みフレームの符号化情報に基づいてフレーム間の相関を判定することを特徴とする画像符号化方法。
【請求項６】
請求項５記載の画像符号化方法であって、
前記符号化情報は予測画像と原画像の絶対差分和の平均値、イントラ予測モードが選択された符号化ブロック数、動きベクトル情報のいずれか１または組み合わせであることを特徴とする画像符号化方法。
【請求項７】
一連のトップフィールドとボトムフィールドとからなるフレームによるインターレス方式の動画像情報を符号化する画像符号化方法であって、
符号化フィールドの近接参照フィールドを決定する近接参照フィールド決定ステップと、
前記近接参照フィールドと他の参照フィールドの相関関係を判定するフィールド間相関判定ステップと、
前記フィールド間相関判定ステップの結果を参酌して参照フィールド優先度順位の決定を行う参照フィールド優先度決定ステップと、
前記参照フィールド優先度決定ステップの結果に基づき参照フィールド番号の決定を行う参照フィールド番号決定ステップと、
符号化部が前記参照フレーム番号を用いて動画像情報の符号化を行う符号化ステップを含むことを特徴とする画像符号化方法。
【請求項８】
請求項７記載の画像符号化方法であって、
前記近接参照フィールド決定ステップでは前記符号化フィールドがボトムフィールドに属する場合同一フレームのトップフィールドを近接参照フレームとすることを特徴とする画像符号化方法。
【請求項９】
請求項７記載の画像符号化方法であって、
前記フィールド間相関判定ステップでは符号化済みフィールドの符号化情報に基づいてフィールド間の相関を判定することを特徴とする画像符号化方法。
【請求項１０】
請求項９記載の画像符号化方法であって、
前記符号化情報は予測画像と原画像の絶対差分和の平均値、イントラ予測モードが選択された符号化ブロック数、動きベクトル情報のいずれか１または組み合わせであることを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを効率的に符号化する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
現在、テレビ電話サービスやワンセグ放送といった動画像サービスが携帯電話機で一般化している。これらのサービスを提供する上で基本となる動画像の符号化・復号化技術が非特許文献１（ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４（以下「Ｈ．２６４仕様」と記す））である。このＨ．２６４仕様は過去・現在において用いられているＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ  ２）やＨ．２６１等の問題点を改善するとともに、従来用いられた手法も踏襲している。すなわちＨ．２６４仕様で踏襲された手法はマクロブロック（ＭＢ）によるフレーム構成及びＧＯＰ（グループ・オブ・ピクチャ）単位での動画データの取り扱いであり、改善された点は符号化ブロックサイズの可変化、複数参照フレーム及び参照番号の導入、異種可変長スライスの導入、インターレス画像の取り扱い、などである。
【０００３】
ここでマクロブロックによる画像の取り扱いとは、１６×１６画素の正方形の符号化ブロック（マクロブロック）で１画面を分割して、マクロブロックごとに予測を行うことをいう。たとえば１画面が７２０×５７６画素で構成されている場合には４５×３６マクロブロック（１６２０マクロブロック）単位で、１画面が３５２×２４０画素で構成されている場合には２２×１５マクロブロック（３３０マクロブロック）単位で１画面の取り扱いがなされる。
【０００４】
ＧＯＰとは、動画像を取り扱う際の単位である。一つのＧＯＰ中には１以上のＩフレームと複数のＰフレーム、Ｂフレームより構成される。
【０００５】
Ｉフレーム（イントラフレーム）はフレーム間予測を行わずに生成される画像である。したがって、Ｉフレームには参照フレーム及び参照フレーム番号との問題は生じない。これに対し、Ｐフレームは前方向フレーム間予測を、Ｂフレームは双方向フレーム間予測をそれぞれ行うため、参照フレーム番号を付与する必要がある。
【０００６】
Ｈ．２６４仕様では符号化ブロックごとに符号化効率の高い参照フレームを選択して符号化することが可能である。このため、Ｈ．２６４仕様では、符号化ブロックごとにどのフレームを参照したかを識別する可変長の番号（参照フレーム番号）を付加して符号化がなされる。参照フレーム番号の付け方は、プログレッシブ画像とインターレス画像で相違する。またＰフレーム、Ｂフレームでも相違する。
【０００７】
表示順で前方向の参照フレームから予測を行う片方向予測フレーム（Ｐフレーム）の場合には、復号順序で符号化フレームに最も近いフレームに最も小さい参照フレーム番号を割り当て、復号順序で符号化フレーム番号から遠いフレームに対して大きな参照フレーム番号を割り当てる。図１２は従来の片方向予測の参照フレーム番号を付与する際の規則を表す模式図である。
【０００８】
双方向予測フレーム（Ｂフレーム）の場合、前方向予測（Ｌ０予測）、後方向予測（Ｌ１予測）で別々に参照フレーム番号を割り当てる。Ｌ０予測の場合には、まず、表示順序で符号化フレームの前方のフレームに対して、符号化フレームに近いフレームから昇順に参照フレーム番号を割り当て、その後表示順序で符号化フレームの後方のフレームに対して、符号化フレームに近いフレームから昇順に参照フレーム番号を割り当てる。一方、Ｌ１予測の場合には、表示順で後方向のフレームに対して当該符号化フレームに近い順番に昇順に参照フレーム番号を割り当てる。後方向の割り当て後、表示順で前方向のフレームに対して当該符号化フレームに近いものから昇順に参照フレーム番号を割り当てる。図１３はこの従来の双方向予測フレームの参照番号付加の方法を表す模式図である。
【０００９】
ＭＰＥＧ２ではフレームが画像符号化の単位となっていた。これに対して、Ｈ．２６４仕様ではスライスを単位として符号化を行っており、ひとつのフレーム中に異種・異長のスライスが混在することも認められている。ここでスライスとは、１６ライン（マクロブロックの縦のビット数と同じ）帯のマクロブロックの集合体である。ＭＰＥＧ２ではスライスはフレームの大きさで定められた固定長であった（７２０×５７６の場合は１スライスに４５マクロブロック（＝７２０/１６）が含まれる）。しかし、Ｈ．２６４仕様ではフレームの縦横のサイズにとらわれることなく可変長にすることができる。また、ＭＰＥＧ２では同一フレーム中では必ず同種のスライスを用いなければならなかったが、Ｈ．２６４仕様では複数種類のスライスをひとつのフレームに混在させることを認めている。
【００１０】
これらに加え、Ｈ．２６４仕様では、インターレス（飛越走査）画像と、プログレッシブ画像の双方に対応するように仕様が定められている。これは、パソコンなどでの使用だけでなく、テレビなどでの使用を最初から想定しているためである。
【００１１】
インターレス画像の場合には図１５に示すように一枚の画像は２枚のフィールドによって構成される。そしてこの２枚のフィールドは奇数番目の走査か、偶数番目の走査かによって、トップフィールドもしくはボトムフィールドのいずれかに属している。このいずれのフィールドに属するかを識別するためのフラグをパリティという。
【００１２】
Ｈ．２６４仕様上では、インターレス画像の符号化時には、同じパリティを優先し、トップフィールドとボトムフィールドを交互に参照フレームを割り当てる。たとえば、図１５に示すように、符号化フィールド２１０２の参照フレームの参照フィールド番号は、表示順で最も近い異なるパリティ（トップフィールド）の参照フィールド２１０１でなく、表示順で最も近い同じパリティ（ボトムフィールド）の参照フィールド２１０４となる。
【００１３】
ここで付与される参照フレーム番号であるが、Ｈ．２６４仕様では、可変長で割り当てられる。したがって、参照フレーム番号が小さいほど少ないビット量で符号化できる。これにより、頻繁に参照される参照フレームに対しては小さい参照番号を割り当てることで、符号量を削減できる。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  “Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ，”  Ｍａｒｃｈ  ２００５
【発明の開示】
【発明が解決しようとする課題】
【００１４】
このＨ．２６４仕様における画像符号化装置の一般的な構成を図１１に示す。
【００１５】
この従来の画像符号化装置は、原画像メモリ１０１、減算器１０２、直交変換部１０３、量子化部１０４、符号化部１０５、バッファ１０６、逆量子化部１０７、逆直交変換部１０８、加算器１０９、フレームメモリ１１０、動き検出・動き補償部１１１、量子化制御部１１２、アクティビティ演算部１１３、イントラ予測部１１４、参照フレーム番号変更部１１５より構成される。
【００１６】
原画像メモリ１０１は、動画像を記憶するメモリである。このメモリに記憶される画像は記憶形式の変換等が行われていないデータである。
【００１７】
減算器１０２は、符号化フレームの原画像データとフレームメモリ１１０に記録された過去に符号化されたデータとの差分（差分データ）を抽出する。
【００１８】
直交変換部１０３は、減算器１０２により抽出された差分データを空間周波数領域に変換する。
【００１９】
量子化部１０４は、直交変換部１０３で直交変換されたデータを量子化し、高周波項を落とし圧縮を行う。この量子化されたデータは符号化部１０５が符号化処理を行い、バッファ１０６を経由して出力される。そして、この量子化部１０４及び符号化部１０５を制御し、目標符号量及び符号化画質の品質を決定するのが量子化制御部１１２である。
【００２０】
逆量子化部１０７は量子化部１０４で量子化されたデータを逆量子化する。逆直交変換部１０８は逆量子化部１０７で逆量子化されたデータを逆変換する。
【００２１】
加算器１０９は、逆直交変換部１０８で逆直交変換されたデータとフレームメモリ１１０に格納されている過去のフレームデータを加算して復号画像データを生成する。この加算生成された復号画像データは改めてフレームメモリ１１０に格納される。
【００２２】
動き検出・動き補償部１１１は、原画像メモリ１０１に格納された原画像データとフレームメモリ１１０に格納された復号画像データの近似部分を検出する。その後、動き検出・動き補償部１１１はその検出された動きによって生成された動きベクトルに基づき、フレームメモリから原画像データに最も近い復号画像データを読み出して予測画像を生成する。
【００２３】
アクティビティ演算部１１３は原画像をある領域にブロック分割し、そのブロックの特徴量を決定するアクティビティ演算を行う。
【００２４】
イントラ予測部１１４は、符号化ブロックの同一フレーム内の周囲のブロックの画素から予測画像を生成する。なお、イントラ予測モードとは、時間の異なるフレーム間の予測（インター予測）がうまく適用できない（フレーム間予測を使わない）画像に対して選択される符号化モードである。イントラ予測モードの具体的な処理は、同一フレーム内の上や左などに隣接するマクロブロックの隣接画素から補間によって予測画像を生成し、その予測画像との差分を符号化する、というものである。イントラ予測モードは動きの激しい画像や、シーンチェンジなどにおいて多く選択される。
【００２５】
なお、予測画像を作成する際に、イントラ予測部１１４を用いるか、動き検出・動き補償画像を用いるかは符号化ブロックごとに切り替えがなされ、２種の符号化ブロックが混在して一枚のフレームが生成される。
【００２６】
参照フレーム番号変更部１１５は規格に基づいて割り当てられた参照フレーム番号を変更する。この参照フレーム番号の変更処理について図１４を用いて説明する。
【００２７】
図１４は参照フレーム付け替え処理手順についてのフローチャートである。
【００２８】
まずフレームを構成する符号化ブロックごとに、動き検出・動き補償部１１１が参照フレームすべてに対して動き探索を行う（図１４ステップＳ５０１、ステップＳ５０２）。一般的にはこの動き探索は全探索法などが用いられる。この際、動き探索回数ｎは参照フレームの枚数と参照フレーム内での探索対象の符号化ブロックの数で決定される。
【００２９】
次に各参照フレームの参照されている符号化ブロック数をカウントし、頻繁に参照されているフレーム、すなわち参照されている符号化ブロック数の多い参照フレームに対して高い優先度を付ける（図１４ステップＳ５０３）。最後に優先度の高いフレームから昇順に参照フレーム番号でビット数の少ない番号を付けて参照フレーム番号を変更する（図１４ステップＳ５０４）。「優先度の高いフレームから昇順に」割り振る理由は、参照フレーム番号は可変長の値であり、使用頻度の高いものに対して小さい値を割り振ることで、よりデータ量を圧縮することができるためである。
【００３０】
しかし、参照されるフレームを頻繁に検知すると参照番号を付け替える参照フレーム番号変更処理によるオーバヘッドが生じる可能性がある。すなわち図１４に示した方法では、入力画像サイズが大きい場合や参照フレーム数が多い場合には、処理量の多い動き探索処理の回数が増加し、リアルタイム処理が困難となる。
【００３１】
本発明の目的は、画質を実質的に保持しながら動き探索処理量を削減し、参照フレーム番号の変更ができる画像符号化装置及び画像符号化方法を提供することである。
【００３２】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付の図面から明らかになるであろう。
【課題を解決するための手段】
【００３３】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００３４】
本発明にかかわる画像符号化装置は、一連のフレームからなる動画像情報を符号化するものであって、近接参照フレームで優先度の高い参照フレームを符号化フレームにおいても参照優先度の高いフレームとして参照フレーム優先度判定を行う参照フレーム優先度決定部を含むことを特徴とする。
【００３５】
より具体的には、この画像符号化装置は、符号化フレームの近接参照フレームと他の参照フレームとの間の相関を判定するフレーム間相関判定部と相関があれば近接参照フレームで優先度の高い参照フレームを符号化フレームにおいても参照優先度の高いフレームとし、相関がなければ近接参照フレームの優先度を高める参照フレーム優先度判定を行う参照フレーム優先度決定部と、参照フレーム優先度判定を参酌して参照フレーム番号を決定する参照フレーム番号変更部を含むことを特徴とする。
【００３６】
そして、これらの画像符号化装置を含む情報端末をも射程に入れる。
【００３７】
また、本発明にかかわるプログレッシブ方式の動画像情報を符号化する画像符号化方法は、符号化フレームに表示順で最も近い符号化済みの参照フレームを近接参照フレームと決定する近接参照フレーム決定ステップと、近接参照フレームと他の参照フレームの相関関係を判定するフレーム間相関判定ステップと、フレーム間相関判定ステップの結果を参酌して参照フレーム優先度順位の決定を行う参照フレーム優先度決定ステップと、参照フレーム優先度決定ステップの結果に基づき参照フレーム番号の決定を行う参照フレーム番号決定ステップを含むことを特徴とする。
【００３８】
このとき、フレーム間相関判定ステップでは符号化済みフレームの符号化情報に基づいてフレーム間の相関を判定しても良い。また、この符号化情報は予測画像と原画像の絶対差分和の平均値、イントラ予測モードが選択された符号化ブロック数、動きベクトル情報のいずれか１または組み合わせであってもよい。
【００３９】
また、本発明にかかわる一連のトップフィールドとボトムフィールドとからなるフレームによるインターレス方式の動画像情報を符号化する画像符号化方法は、符号化フィールドの近接参照フィールドを決定する近接参照フィールド決定ステップと、近接参照フィールドと他の参照フィールドの相関関係を判定するフィールド間相関判定ステップと、フィールド間相関判定ステップの結果を参酌して参照フィールド優先度順位の決定を行う参照フィールド優先度決定ステップと、参照フィールド優先度決定ステップの結果に基づき参照フィールド番号の決定を行う参照フィールド番号決定ステップを含んでもよい。
【００４０】
更にこの画像符号化方法は、近接参照フィールド決定ステップで符号化フィールドがボトムフィールドに属する場合同一フレームのトップフィールドを近接参照フレームとしてもよい。
【００４１】
また、前記フィールド間相関判定ステップでは符号化済みフィールドの符号化情報に基づいてフィールド間の相関を判定してもよい。この符号化情報は予測画像と原画像の絶対差分和の平均値、イントラ予測モードが選択された符号化ブロック数、動きベクトル情報のいずれか１または組み合わせであってもよい。
【発明の効果】
【００４２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００４３】
本発明により、Ｈ．２６４仕様をはじめとする複数の参照フレームから符号化ブロックごとに１つの参照フレームを選択して符号化する動画像符号化方法において、参照フレーム番号の割り当て変更時に画質を実質的に保持しつつ、符号化処理量を低減することができる。これによりリアルタイムな動画処理を可能にするとともに、消費電力の低減にもつながる。
【発明を実施するための最良の形態】
【００４４】
以下、この発明の実施の形態について図面を参照して詳しく説明する。
【００４５】
なお、プログレッシブ画像でフレーム単位の処理を実施の形態１、インターレス画像でフレーム単位での処理を実施の形態２、プログレッシブ画像でスライス単位の処理を実施の形態３、インターレス画像でスライス単位の処理を実施の形態４として説明する。
【００４６】
（実施の形態１）
本発明を適用したプログレッシブ画像をフレーム単位で処理する場合の符号化の実施例について説明する。
【００４７】
図１は、本発明における画像符号化装置の好適な例の構成を表すブロック図である。
【００４８】
本実施の形態における画像符号化装置は、図1に示すように、原画像メモリ１０１、減算器１０２、直交変換部１０３、量子化部１０４、符号化部１０５、バッファ１０６、逆量子化部１０７、逆直交変換部１０８、加算器１０９、フレームメモリ１１０、動き検出・動き補償部１１１、量子化制御部１１２、アクティビティ演算部１１３、イントラ予測部１１４を含む点では従来の画像符号化装置と同様である。本発明における画像符号化装置では更に、フレーム間相関判定部６０１、参照フレーム優先度決定部６０２、テーブル格納メモリ６０３、参照フレーム番号変更部６１５を含む。なお、フレーム間相関判定部６０１、参照フレーム優先度決定部６０２、テーブル格納メモリ６０３、参照フレーム番号変更部６１５以外の構成要素は従来の画像符号化装置と実質的に同じである。したがって、それらの説明は省略する。
【００４９】
フレーム間相関判定部６０１は、フレーム内の各符号化ブロックが他のフレームとどのような相関関係にあるかを判定する。フレーム間相関判定部６０１には、減算器１０２の出力が入力される。その目的は、原画像と過去に符号化されたデータの差分により相関を判定するためである。
【００５０】
参照フレーム優先度決定部６０２は、フレーム間相関判定部６０１により明らかにされたフレーム内の各符号化ブロックの相関を参照し、該フレームが参照するフレームの優先順位を決定する。
【００５１】
テーブル格納メモリ６０３は、参照フレーム優先度決定部６０２によって作成される図４のテーブルを蓄えるためのメモリである。
【００５２】
参照フレーム番号変更部６１５は、参照フレーム優先度決定部６０２によって決定されたフレームの優先順位に基づいて符号化の際使用する参照フレームの決定及びそれに割り当てる参照フレーム番号の変更を行う。
【００５３】
次に本実施例の動作について図を用いて説明する。
【００５４】
図２はフレーム間相関判定部６０１内における符号化処理の流れを示すフローチャートである。図３はフレーム間相関判定部６０１よりの信号を受け取った後の、参照フレーム優先度決定部６０２での処理の流れを示すフローチャートである。図４は参照フレーム優先度決定部６０２が設定するテーブルの例示である。図５は参照フレーム番号変更部６１５における参照フレーム番号変更処理の流れを示したフローチャートである。
【００５５】
最初にフレーム間相関判定部６０１内の処理について説明する。
【００５６】
まず、フレーム間相関判定部６０１は符号化フレームに表示順で最も近い符号化済みの参照フレームを近接参照フレームとして決定する（ステップＳ７００）。この近接参照フレームに対して、符号化ブロックごとに原画像メモリ１０１で記憶された原画像とフレームメモリ１１０に記憶された予測画像との絶対差分和（予測誤差）を減算器１０２が導出する。これを参照してフレーム間相関判定部６０１が予測誤差平均値の判定を行う。ここで「最も近い符号化済みの参照フレーム」とは図１２の参照フレームすべてが符号化済みであれば、フレーム２０２が相当する。また「予測誤差」とは、原画像メモリ１０１に格納されている原画像をブロック化した原画像ブロックと、イントラ予測部１１４または動き検出・動き情報部１１１にて符号化ブロックごとに生成されフレームメモリ１１０に格納された予測画像の予測ブロックの絶対差分和である。この予測誤差は符号化ブロックごとに算出される。すなわち「予測誤差」とは標本化、量子化を経た後の画像の再現性を表す指標であり、予測誤差が小さい場合は予測の精度が高いといえる。一般的には予測精度の高いシーン（＝予測誤差の大きいブロックが少ない）ではフレーム間の相関が高い傾向にあり、予測精度の低いシーン（＝予測誤差の大きいブロックが多い）では、直前の参照フレームと他の参照フレームとの間のフレーム間の相関値が低いと判断できる。この予測誤差をフレーム内のすべての符号化ブロックについて加算し、フレーム内の符号化ブロック数で割った平均値（予測誤差平均値）を算出する（ステップＳ７０１）。
【００５７】
また図２では、近接参照フレームのイントラ予測モードが選択された（＝フレーム間予測を行わない）符号化ブロックの数をカウントする（ステップＳ７０２）。あわせて、近接参照フレームの「動きベクトル情報」を取得する（ステップＳ７０３）。ここで「動きベクトル情報」とは、近接参照フレームの各符号化ブロックの動きベクトルの向きと大きさの変化を表すヒストグラムである。
【００５８】
その後、ステップＳ７０１からステップＳ７０３で集めた情報を元にして、近接参照フレームとその他の参照フレームとの相関を判定する相関判定ステップの処理を行う（ステップＳ７０４）。この際、相関の判断をどのようなものにするかは設計者に委ねられるであろう。以下相関判定処理の例を示す。
【００５９】
たとえば、ステップＳ７０１で導出された予測誤差平均が、今までに符号化されたフレームの予測誤差平均値のａ倍（ａ＞１）を越えていれば近接参照フレームと他の参照フレームとの相関がないと判断する。
【００６０】
また、当該近接参照フレーム中にイントラ予測部１１４によって生成された符号化ブロックが当該近接参照フレーム中の全符号化ブロックで一定数以上含まれていれば近接参照フレームと他の参照フレームとの相関がないと判断する。
【００６１】
さらに別の例としては、イントラ予測モード数のほかに、動きベクトル情報で近接参照フレームとその他の参照フレームとの相関を判定してもよい。たとえば近接参照フレームの動きベクトルの変化の向きの分布または変化の大きさの分布が一定のばらつき量を超えている場合には、変化に規則性がなく、近接参照フレームとその他の参照フレームとの間の相関は低いと判定することも一策であろう。
【００６２】
これらの判断方法のひとつを選択して近接参照フレームと他の参照フレームとの相関の有無を判断してもよいし、また複数を選択し組み合わせて相関の有無を判断してもよい。採用しなかった情報についてはその収集自体（ステップＳ７０１−７０３の該当する処理）を行わなくとも良い。また閾値をどの程度にするかについても設計事項である。さらにはここに記載した以外のほかの条件を含めて相関判定を行っても良い。
【００６３】
上記の判定手段により判定した結果、近接参照フレームとその他の参照フレームとの相関が低いと判断した場合にはフレーム間相関判定フラグを０に、相関が高いと判断した場合にはフレーム間相関判定フラグを１に設定する（ステップＳ７０５、ステップＳ７０６）。
【００６４】
そして、この近接参照フレームとその他の参照フレームとの相関の判定結果を参照フレーム優先度決定部６０２に対し出力する（ステップＳ７０７）。
【００６５】
次に、図３及び図４を用いてフレーム間相関判定部６０１よりの信号を受け取った後の参照フレーム優先度決定部６０２の動作を説明する。
【００６６】
最初に当該符号化フレームのためにテーブルをテーブル格納メモリ６０３に作成する（ステップＳ７１１）。これは参照優先度を判定するためのテーブルであり、近接参照フレームも含む各フレームに対する暫定的なフレーム番号、優先度カウント数、最終的な優先度を決定し一時的に保持するための優先順位の項目が存在する。
【００６７】
なお、この際のテーブルの優先度カウント数の初期値は設計事項である。たとえば、すべての参照フレームに対して初期値を０としても良い。また、一般的に時間的に近い画像ほど相関性が高いことが言えるため、符号化フレームに近い参照フレームから順に、５０、４０、３０・・・というように遠近によって優先度カウント数の初期値の強弱を付けても良い。
【００６８】
次に、参照フレーム優先度決定部６０２はフレーム間相関判定部６０１から送られた判定結果を解釈する（ステップＳ７１２）。相関があると判断された場合、相関がないと判断された場合で以降の処理が異なる。
【００６９】
判定結果が０（相関が低い）の場合には（ステップＳ７１２：Ｎｏ）、近接参照フレームの優先度を上げる（ステップＳ７１５）。これは近接参照フレームとその他の参照フレームとの相関が低いと、符号化フレームとその他の参照フレームとの相関も低いと判断するためである。この優先度を上げる方法としてはテーブル格納メモリ６０３に作成した符号化フレームのためのテーブルの近接参照フレームの優先度カウント数のみに値を割り振り、ほかの参照フレームの優先度カウント数を０とすることなどが考えられる。
【００７０】
一方、判定結果が１（相関が高い）の場合には（ステップＳ７１２：Ｙｅｓ）、近接参照フレームが参照している各参照フレームの符号化ブロック数をカウントする（ステップＳ７１３）。すなわち、近接参照フレームのマクロブロックを符号化する際にどの参照フレームを何回参照したかの情報を別途記録しておき、これをステップＳ７１３で抽出するものである。そして、このステップＳ７１３でのカウント数をステップＳ７１１で作成したテーブルの適切な優先度カウント数の項目に加算し、ステップＳ７１１で作成した図４のテーブルを更新する（ステップＳ７１４）。このようにして、近接参照フレームの優先度の高い参照フレームを符号化フレームにおいても優先度の高いフレームとして参照フレームの引継ぎ、優先順位付けを行っていく。ここで優先度のカウント数が等しい参照フレームが存在する場合は、規格に基づいて最初に割り当てられる参照フレーム番号が小さい参照フレームに対して、優先度を高くして優先順位を決定する。なお、ここで作成されたテーブルは即座に破棄されない。後のフレームを符号化する際に、その符号化フレームのステップＳ７１３の処理で用いるためである。テーブル格納メモリ６０３の容量が足りなくなったときには、時間的（符号化順ではない）に最も遠い参照フレームのデータを１フレーム分ずつ削除していく。
【００７１】
その後、この符号化フレームについての参照フレームに関する情報（参照フレーム符号化情報）を記したテーブルを参照フレーム番号変更部６１５に引き継ぐ（ステップＳ７１６）。
【００７２】
さらに図５を用いて参照フレーム番号変更部６１５の処理を説明する。
【００７３】
まず、参照フレーム番号変更部６１５はフレーム間相関判定部６０１にて行われる近接参照フレーム符号化情報を取得する（ステップＳ７２１）。ここで「符号化情報」とは、前述した予測誤差平均値、イントラ予測モードが選択された符号化ブロックの個数、動きベクトルのヒストグラム、参照フレームの統計情報などである。
【００７４】
次に、参照フレーム優先度決定部６０２での処理により参照フレームの優先度が決定される（ステップＳ７２２）。具体的には、ステップＳ７１４やステップＳ７１５でカウントされた中でカウント値の大きいものを優先度の高い参照フレームと推定する。
【００７５】
その後、優先度の最も高い参照フレームに対して最も参照フレーム番号が小さくなるように参照フレーム番号を割り当てる（ステップＳ７２３）。すなわち、フレーム番号は可変長のデータであり、小さなフレーム番号ほどデータ量が小さくなる。そして繰り返し参照されるフレームに小さなフレーム番号をつけることで符号化データの圧縮度が高まるためである。
【００７６】
最後に、ステップＳ７２２で決定された優先度の高い参照フレームのみ動き検出・動き補償部１１１による動き検索を行う対象とし、優先度の低い参照フレームの動き検出などを行わないようにする（ステップＳ７２４）。ここで優先度の高い参照フレームと優先度の低い参照フレーム（動き検出の対象とならないフレーム）の判定は設計事項である。たとえば、機械的に優先度の高いもの５つを動き検索の対象とし、残りのものを検出処理の対象から外してもよいし、カウント数の閾値を設定しこの閾値を越えたか否かで判断してもよい。また、メモリに格納できるフレーム数で決定してもよい。そしてこれを優先度の高い参照フレームそれぞれにたいして繰り返す（ステップＳ７２５）。
【００７７】
以上のように１）参照回数の多いフレームに対して符号長の小さなフレーム番号を割り当てることでデータ量を小さくすること、２）優先度に応じて動き検索を行うフレームを限定し処理量を減少させること、で画像符号化装置のリアルタイム処理を可能にする。
【００７８】
（実施の形態２）
次に本発明を適用したインターレス（飛び越し走査）画像の符号化の実施例について説明する。
【００７９】
図６は本実施の形態の画像符号化装置の構成を示すブロック図である。すなわち、図1と図６の対比からも明らかな通り、「フレーム間相関判定部６０１」「参照フレーム優先度決定部６０２」「参照フレーム番号変更部６１５」は「フィールド間相関判定部８０１」「参照フィールド優先度決定部８０２」「参照フィールド番号変更部８１５」に置き換えられる。これはプログレッシブ方式とインターレス方式との相違に基づくものである。すなわち、プログレッシブ方式では１画面（フレーム）全体を書き換えていたのに対し、インターレス方式では「ちらつき」防止の観点からフレームを走査線単位で奇数列と偶数列にわけ、それぞれ「トップフィールド」「ボトムフィールド」として交互に取り扱う点が相違する。これに伴い、画像データの取り扱い単位も実施の形態１の「フレーム」単位から「フィールド」単位で取り扱われることとなる（図１５参照）。
【００８０】
フィールド間相関判定部８０１はフィールド内の各符号化ブロックが他のフィールドとどのような相関関係にあるかを判定する。フィールド間相関判定部８０１には、減算器１０２の出力が入力される点はフレーム間相関判定部６０１と同様である。また、その目的が、原画像と過去に符号化されたデータの差分により相関を判定するためである。
【００８１】
参照フィールド優先度決定部８０２は、フィールド間相関判定部８０１により明らかにされたフィールド内の各符号化ブロックの相関を参照し、該フィールドが参照する参照フィールドの優先順位を決定する。
【００８２】
参照フィールド番号変更部８１５は、参照フィールド優先度決定部８０２によって決定されたフレームの優先順位に従って参照するフィールドの決定や参照フィールド番号の付け直しを行う。
【００８３】
次に実施の形態１と同様に各モジュールの処理ごとに図を用いて説明する。
【００８４】
図７はフィールド符号化時の参照フィールド番号の変更処理中におけるフィールド間相関判定部８０１内での処理についてのフローチャートである。図８はフィールド間相関判定部８０１よりの信号を受け取った後の、参照フィールド優先度決定部８０２での処理の流れを示すフローチャートである。そして図９は参照フィールド番号変更部８１５における参照フレーム番号変更処理の流れを示したフローチャートである。
【００８５】
最初にフィールド間相関判定部８０１内の処理について図７を用いて説明する。
【００８６】
本実施の形態では、最初に符号化の対象となるフィールド（符号化対象フィールド）がトップフィールド及びボトムフィールドのいずれのフィールドに属するものかで、以後の処理や、符号化時の参照フィールド番号の決定方法が変わる点に特徴がある（図１５参照）。したがって、まず、符号化対象フィールドがトップフィールドに属するか、ボトムフィールドに属するかを判定する（ステップＳ１１０１）。
【００８７】
符号化対象フィールドがトップフィールドに属する場合には（ステップＳ１１０１：ＴＯＰ）、トップフィールドで最も近い符号化済み参照フィールドを近接参照フィールドとする。すなわち図１５に従えば、符号化対象フィールドがフィールド２１０１である場合には近接参照フィールドはフィールド２１０３となる。そして近接参照フィールドの予測誤差平均値、イントラ予測モード選択回数の割合（選択回数）、動きベクトル情報、参照フィールド情報を取得する（ステップＳ１１０２）。
【００８８】
一方、符号化対象フィールドがボトムフィールドに属する場合には（ステップＳ１１０１：ＢＯＴＴＯＭ）、近接参照フィールドは同じ符号化フレームのトップフィールドに属するフィールドが選択される（ステップＳ１１０３）。図１５に従うと符号化対象フィールドがフィールド２１０２である場合には、同一フレームのトップフィールドに存在するフィールド２１０１が参照近接フィールドとして選択される。従来のように近接参照フィールドを同一フィールドから抽出すると、動きの大きい画像を取り扱う場合には参照フィールドと符号化フィールドとの相関が低くなるのに対し、本実施例のようにボトムフィールドの符号化の際に同じ符号化フレームのトップフィールドを参照したほうが、より正確な参照フレーム情報を取得できるからである。このボトムフィールドにおける近接参照フレームの取り扱いが本実施の形態の要部となる。
【００８９】
参照フィールドを確定すると、確定した近接参照フィールドの予測誤差平均値、イントラ予測モード選択回数の割合（選択回数）、動きベクトル情報を取得する（ステップＳ１１０４−１１０６）。なお詳細については、取り扱いの対象がフレーム単位からフィールド単位になったことを除けば、実施の形態１と同様である。
【００９０】
その予測誤差平均値等の情報をフィールド間相関判定部８０１が集計した後、フィールド間相関判定部８０１は近接参照フィールドと他の参照フィールドとの相関を判定する（ステップＳ１１０７）。この相関の有無の判定についても、実施の形態１のプログレッシブ画像同様に予測誤差平均値、イントラ予測モード選択回数の割合（選択回数）、動きベクトル情報の一部または全部を参酌して行ってもよい。
【００９１】
近接参照フィールドと、その他の参照フィールドとの相関をフィールド間相関判定部８０１が判定し、相関があると判断した際には（ステップＳ１１０７：Ｙｅｓ）相関判定フラグを１に（ステップＳ１１０８）、相関がないと判断した際には（ステップＳ１１０７：Ｙｅｓ）相関判定フラグを０にセットする（ステップＳ１１０９）。そしてフィールド間相関判定部８０１は参照フィールド優先度決定部８０２に対して、セットした相関判定フラグの値を送信する（ステップＳ１１１０）。
【００９２】
次に参照フィールド優先度決定部８０２の処理について、図８に従い説明する。
【００９３】
フィールド間相関判定部８０１から送られた相関判定フラグを受信するとまず符号化対象フィールドに対して図４相当のテーブルを作成する（ステップＳ１１２１）。ここでこのテーブルは、取り扱う単位がフレームからフィールドに変更されて以外は実質的な差異はない。
【００９４】
そして、近接参照フィールドと他の参照フィールドとに相関があると判断した場合、すなわち相関判定フラグが１の場合（ステップＳ１１２２：Ｙｅｓ）、近接参照フィールドの各参照フィールドに対する符号化ブロック数をカウントし（ステップＳ１１２３）、各参照フィールドの優先度カウンタを加算する（ステップＳ１１２４）。一方相関がないと判断した場合（ステップＳ１１２２：Ｎｏ）、近接参照フィールドの優先度を上げる（ステップＳ１１２５）。その後、この符号化フィールドの参照フィールドに関する情報（参照フィールド符号化情報）を記したテーブルを参照フィールド番号変更部８１５に引き継ぐ（ステップＳ１１２６）。これらの処理についても、取り扱い対象が相違するだけで、実質的処理の内容は実施の形態１と同様である。
【００９５】
最後に参照フィールド番号変更部８１５の処理を図９に基づき説明する。
【００９６】
参照フィールド番号変更部８１５が参照フィールド符号化情報を引き継ぐと（ステップＳ１１３１）、参照フィールドの優先度を決定する（ステップＳ１１３２）。その参照フィールドの優先度に基づき可変長の参照フィールド番号が最適化して割り当てられる（ステップＳ１１３３）。その後優先度の高い参照フィールドについてのみ動き探索を繰り返し（ステップＳ１１３４、ステップＳ１１３５）、符号化を終了する。
【００９７】
以上に見るとおり、プログレッシブ画像だけでなくインターレス画像においても本発明は適用可能なことが分かる。
【００９８】
（実施の形態３）
次にプログレッシブ画像のフレーム中に異なるスライスを含む場合の本発明の適用について説明する。
【００９９】
スライス単位での参照フレーム番号変更処理は、最初に符号化スライスが属するフレーム（符号化フレーム）に表示順で最も近い参照フレーム（近接参照フレーム）とその他の参照フレームとの相関関係を判定する。
【０１００】
近接参照フレームとその他の参照フレームとの相関判定には符号化スライスと同じ位置にある近接参照フレームの符号化ブロックの符号化情報を取得して判定する。
【０１０１】
たとえば、符号化フレームのスライスが、図１０に示すとおりＡ、Ｂ、Ｃの３つのスライスに分かれており、スライスＡを符号化する場合を想定する。符号化スライスＡと同じ位置にある近接参照フレーム内の符号化ブロックの予測誤差平均値、イントラ予測が選択された符号化ブロック数、動きベクトルのヒストグラムを算出し、実施の形態１で記したフレーム符号化時と同様の方法により近接参照フレームとその他の参照フレームとの相関を判定する。
【０１０２】
フレーム間の相関が低いと判断した際には、フレーム間相関判定部６０１は参照フレーム優先度決定部６０２へ近接参照フレームとその他の参照フレームとの相関を示すフラグ０を出力し、相関が高いと判断した際にはフラグ１を出力する。
【０１０３】
参照フレーム優先度決定部６０２にて、前記相関フラグが０の場合には、近接参照フレームの優先度を上げ、その他の参照フレームの優先度を下げる。一方、前記相関フラグが１の場合には近接参照フレームが参照している各参照フレームに対する符号化ブロック数をカウントする。次に、前記計測した符号化ブロック数に基づき、優先度カウンタを加算する。このようにして、各参照フレームの優先度のカウント数の高い参照フレームから順に、参照フレーム番号を昇順に割り当てる。
【０１０４】
なお、フレーム内に複数のスライスが存在し、すでに符号化済みのスライス情報を取得できる場合、その符号化済みスライスの符号化ブロック情報を流用してもよい。たとえば、図１０に示すスライスＢが符号化スライスである場合に、スライスＡの符号化がすでに終了していれば、スライスＡの符号化情報を取得してもよい。具体的には、スライスＡにて行われる参照フレーム番号変更処理において、スライスＡにて行われる参照フレーム番号変更処理において、スライスＡが参照している参照フレーム情報を取得し、スライスＡが参照している各参照フレームに対する符号化ブロック数を計測する。次に、フレーム符号化と同様に前記計測された符号化ブロック数に基づき優先度カウンタを加算する。そして、各参照フレームの優先度のカウント数の高い参照フレームを優先度の高い参照フレームとして、スライスＢの参照フレームの優先順位付けを行っていく。また、たとえばスライスＡの参照フレーム番号の変更が行われたかの情報を取得し、スライスＡの参照フレーム番号の変更が行われていないときにはスライスＢも参照フレーム番号の変更を行わないようにすることもできる。
【０１０５】
（実施の形態４）
次に、フィールド内に複数のスライスが存在し、各スライス単位で参照フレーム番号を変更する場合の処理についても述べる。
【０１０６】
最初に、符号化スライスが属するフィールド（符号化フィールド）に表示順で最も近い参照フィールド（近接参照フィールド）とその他の参照フィールドとの相関を判定する。符号化フィールドがトップフィールドの場合、表示順で最も近い参照フィールド（近接参照フィールド）と、その他の参照フィールドとの相関を判定する。符号化フィールドがトップフィールドの場合、近接参照フィールドは表示順で最も近い符号化済み参照フレームのトップフィールドとなる。一方符号化フレームがボトムフィールドの場合、符号化フィールドと同じフレームのトップフィールドが近接参照フィールドとなる点では実施の形態２と同様である。
【０１０７】
近接参照フィールドとその他の参照フィールドとの相関判定は、符号化スライスと同位置にある近接参照フィールドの符号化ブロックの符号化情報を取得して判定する。ここでの符号化情報は、符号化スライスと同じ位置にある符号化ブロックの予測誤差平均値、イントラ予測が選択されたブロック数、動きベクトルのヒストグラム等である。
【０１０８】
近接参照フィールドとその他の参照フィールドとの相関が低いと判断した場合には、フレーム間相関判定部６０１は参照フレーム優先度決定部６０２へ近接参照フィールドとその他の参照フィールドとの相関を示すフラグ０を出力し、相関が高いと判定した場合はフラグ１を出力する。
【０１０９】
次に、参照フレーム優先度決定部６０２にて、優先度を判定する。前記フラグが０の場合には近接参照フィールドの優先度を上げて、その他の参照フィールドの優先度を下げる一方で、前記フラグが１の場合には近接参照フィールドが参照している各参照フィールドに対する符号化ブロック数を計測する。
【０１１０】
その後、フィールド符号化時と同様に前記計測された符号化ブロック数に基づき、優先度カウンタを加算する。このようにして、各参照フィールドの優先順位づけを行っていく。最後に優先度の高い参照フィールドから順に、参照フレーム番号を昇順に割り当てる。フィールド内に複数のスライスが存在し、すでに符号化済みのスライスが存在する場合、フレーム符号化時と同様に、その符号化済みスライスの符号化ブロック情報を用いて、参照フレーム番号を変更することもできる。
【０１１１】
（各実施の形態の効果）
以上のように、すべての参照フレームまたは参照フィールドに対して動き探索を行わずに、頻繁に参照されるフレームまたはフィールドのみに動き探索処理を適用することで、動き探索にかかる処理量を削減することができる。また、頻繁に参照される参照フレームまたは参照フィールドのみメモリに格納し、頻度が劣ると思われる参照フレーム等はフレームメモリに格納せずに符号化するために、参照画像を格納するメモリ量を削減することが可能となる。
【０１１２】
上述した各実施の形態ではハードウェアによる処理を想定していたが、ソフトウェアにより処理を行ってもよい。この際のプログラムの頒布方法としてはインターネットなどのダウンロード、雑誌添付の光ディスク、光磁気ディスクなど記録媒体による頒布などにより行える。
【０１１３】
また、この符号化方式を各種情報端末に用いることも可能である。具体的にはデジタルビデオカメラ、動画像の撮影可能な携帯電話機やスティルカメラなどが上げられる。
【０１１４】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【産業上の利用可能性】
【０１１５】
本発明はＨ．２６４仕様を想定して説明したが複数の参照フレームを参照対象とする符号化方式であれば広く用いることができる。また、マクロブロックのサイズは１６×１６を想定して説明していたが、必ずしもそれにこだわるものではない。３２×３２や８×８といった任意の大きさのブロックを用いても適用可能である。
【図面の簡単な説明】
【０１１６】
【図１】本発明のプログレッシブ方式の画像符号化装置の構成を示すブロック図である。
【図２】プログレッシブ方式の動画像符号化処理中での本発明のフレーム間相関判定部の処理を表すフローチャートである。
【図３】プログレッシブ方式の動画像符号化処理中での本発明の参照フレーム優先度決定部の処理を表すフローチャートである。
【図４】参照フレームの優先順位付けのため作成されるテーブルの一例である。
【図５】プログレッシブ方式の動画像符号化処理中での本発明の参照フレーム番号変更部の処理を表すフローチャートである。
【図６】本発明にかかわるインターレス方式の画像符号化装置の構成を示すブロック図である。
【図７】インターレス方式の動画像符号化処理中での本発明のフィールド間相関判定部の処理を表すフローチャートである。
【図８】インターレス方式の動画像符号化処理中での本発明の参照フィールド優先度決定部の処理を表すフローチャートである。
【図９】インターレス方式の動画像符号化処理中での本発明の参照フィールド番号変更部の処理を表すフローチャートである。
【図１０】フレームをスライス分割した一例を示す図である。
【図１１】従来の画像符号化装置の構成を示すブロック図である。
【図１２】片方向予測フレーム符号化時の参照フレーム番号の割り当て方を示した図である。
【図１３】双方向予測フレーム符号化時の参照フレーム番号の割り当て方を示した図である。
【図１４】従来の参照フレーム番号変更処理の流れを表すフローチャートである。
【図１５】インターレス方式のフレームとフィールドの関係を示した図である。
【符号の説明】
【０１１７】
１０１…原画像メモリ、１０２…減算器、１０３…直交変換部、１０４…量子化部、１０５…符号化部、１０６…バッファ、１０７…逆量子化部、１０８…逆直交変換部、１０９…加算器、１１０…フレームメモリ、１１１…動き検出・動き補償部、１１２…量子化制御部、１１３…アクティビティ演算部、１１４…イントラ予測部、１１５…参照フレーム番号変更部、６０１…フレーム間相関判定部、６０２…参照フレーム優先度決定部、６０３…テーブル格納メモリ、６１５…参照フレーム番号変更部、８０１…フィールド間相関判定部、８０２…参照フィールド優先度決定部、８１５…参照フィールド番号変更部。
【図１】
2008153907.tif 000003
【図２】
2008153907.tif 000004
【図３】
2008153907.tif 000005
【図４】
2008153907.tif 000006
【図５】
2008153907.tif 000007
【図６】
2008153907.tif 000008
【図７】
2008153907.tif 000009
【図８】
2008153907.tif 000010
【図９】
2008153907.tif 000011
【図１０】
2008153907.tif 000012
【図１１】
2008153907.tif 000013
【図１２】
2008153907.tif 000014
【図１３】
2008153907.tif 000015
【図１４】
2008153907.tif 000016
【図１５】
2008153907.tif 000017