(57)【要約】【課題】復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供する。【解決手段】符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値と、符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値との大小関係を比較することにより（Ｓ４０１）、インター符号量予測値がイントラ符号量予測値に対して相対的に大きくなったと判断した時点で（Ｓ４０１でＹＥＳ）、参照画像を、同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える（Ｓ４０２）。【選択図】図２
2010232734.tif 000002
【特許請求の範囲】
【請求項１】
フィールド構造を有する動画像を予測符号化する画像符号化装置であって、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部と
を備える画像符号化装置。
【請求項２】
前記参照画像選択部は、前記インター符号量予測値を前記イントラ符号量予測値で除した値が所定の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項１記載の画像符号化装置。
【請求項３】
さらに、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の２フィールドを、参照画像候補として記憶している参照画像メモリを備え、
前記参照画像選択部は、前記符号化対象フィールドをＰピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、それぞれが前記参照画像候補に含まれている、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項１記載の画像符号化装置。
【請求項４】
さらに、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の２フィールドと、前記符号化対象フィールドに対して、再生時間順で直後の２フィールドとを、参照画像候補として記憶している参照画像メモリを備え、
前記参照画像選択部は、前記符号化対象フィールドをＢピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像候補に含まれている、前記直前の２フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドと、前記直後の２フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドとを参照画像として選択する
請求項１記載の画像符号化装置。
【請求項５】
前記インター符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の画素との輝度値の差分絶対値和の１フィールド内での総和を、前記インター符号量予測値として算出する
請求項１記載の画像符号化装置。
【請求項６】
前記イントラ符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素の輝度平均値と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の各画素の輝度値との差分絶対値和の１フィールド内での総和を、前記イントラ符号量予測値として算出する
請求項１記載の画像符号化装置。
【請求項７】
前記参照画像選択部は、（ｉ）同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第１の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、（ｉｉ）前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第１の判定閾値よりも小さい第２の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える
請求項２記載の画像符号化装置。
【請求項８】
前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項１記載の画像符号化装置。
【請求項９】
フィールド構造を有する動画像を予測符号化する画像符号化方法であって、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出し、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出し、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化する
画像符号化方法。
【請求項１０】
フィールド構造を有する動画像を予測符号化するコンピュータ実行可能なプログラムであって、
コンピュータに、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出させ、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出させ、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えさせ、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化させる
プログラム。
【請求項１１】
光を結像する光学系と、
前記光学系で結像された光を受け、画像信号に変換するセンサーと、
前記画像信号を動画像として受ける請求項１〜８のいずれか１項に記載の画像符号化装置と
を備える撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の圧縮符号化におけるインターレース符号化時の参照ピクチャ決定方法に関するものであって、特に、イントラ符号量予測値とインター符号量予測値とに応じた参照ピクチャ選択方法を提供し、メモリへのデータアクセス量を削減するものである。
【背景技術】
【０００２】
一般に動画像の符号化においては、時間的及び空間的に信号の冗長性を削減することによって、情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、符号化対象ピクチャに対して前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、「ピクチャ」とは１画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インターレース画像ではフレーム又はフィールドを意味する。ここで、「インターレース画像」とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像であり、二つのフィールドは空間的には行単位に交互に位置をとる。
【０００３】
図１１にはインターレース画像を示している。２つのフィールドで行単位に交互に位置する画像行のうち、上に位置するものを集めたものをトップフィールドと呼び、下に位置するものを集めたものをボトムフィールドと呼ぶ。
【０００４】
ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６４において、参照画像を持たず、符号化対象画像と同一ピクチャ内の画像を用いて画面内予測符号化を行うことによって得られる画像をＩピクチャと呼ぶ。また、前方又は後方の１枚のピクチャのみを参照して画面間予測符号化を行うことによって得られる画像をＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことによって得られる画像をＢピクチャと呼ぶ。Ｈ．２６４は従来のＭＰＥＧ（Moving Picture Experts Group）−２と比較して、より多くの予測方法が用意され、符号化精度が向上されているが、予測に必要とする計算が増加し、かつ、予測に必要とされる参照画像のメモリもより多く必要となる。
【０００５】
現在のデジタルスチルカメラに代表される小型携帯機器は、小型、省電力、低コストが求められており、前記の計算量の増加、必要メモリの増加、及びメモリへのデータアクセス量の増加を抑える必要がある。
【０００６】
これに対して、参照画像の枚数を減少させる取り組みが提案されている。特許文献１では、動きの大小を検出し、動きが大きい場合には時間の近いピクチャを優先し、動きが小さい場合には同一パリティのピクチャを優先するというルールを用いて、参照画像を３枚に減らしても圧縮効率を落とさないことを示している。
【０００７】
図１２は、上記特許文献１に係る画像符号化装置の一例を示すブロック図である。図１２に示すように、画像符号化装置２００は、入力画像メモリ２０１、直交変換部２０２、量子化部２０３、可変長符号化部２０４、逆量子化部２０５、逆直交変換部２０６、参照画像メモリ２０７、動き検出／補償部２０８を備える。
【０００８】
画像符号化装置２００に入力された映像信号は、入力画像メモリ２０１に格納される。動き検出／補償部２０８は、参照画像メモリ２０７に格納されている３枚の参照ピクチャに対して動きベクトルを求め、動きベクトルの大小を判定し、映像信号と最も相関の高い参照ピクチャと、マクロブロックの位置とを探索して求める。最も相関の高い参照画像と入力された映像信号とのマクロブロック間での差分が計算され、差分信号が直交変換部２０２、量子化部２０３へ出力される。量子化された差分信号は可変長符号化部２０４において可変長符号化され、符号化データとして画像符号化装置２００の外部に出力される。また、符号化データは、逆量子化部２０５、逆直交変換部２０６へ入力され、差分信号として戻される。その差分信号が、参照画像メモリ２０７に格納された参照ピクチャのうちいずれかの時間的に過去の参照ピクチャに加算され、参照画像メモリ２０７に記憶されている参照画像が更新される。
【０００９】
さらに、特許文献２に開示されている方法においては、３枚の参照画像を２枚へ削減する提案がなされている。
【００１０】
この方法においては、特許文献１に記載の方法に加え、動きの大小を示す映像信号特徴量情報を用いて、符号化対象ピクチャを次の３つに分類し、それぞれ参照画像選択を行っている。
【００１１】
つまり、（１）フレームを構成するフィールドの相関が強い画像の場合は、逆相フィールドを参照画像として選択し、（２）フレームを構成するフィールドの相関が弱く、動きが大きい画像の場合は、最も距離の近い参照可能ピクチャを参照画像として選択し、（３）動きが小さい画像は同相フィールドでかつ、最も距離の近い参照可能ピクチャを参照画像として選択する。これにより、画質劣化を伴わず、参照画像の枚数を２枚に削減している。
【００１２】
なお、動きの大きさとして、１画面内の各マクロブロックの動きベクトル平均値を用いても良い。
【特許文献１】特開２００６−０９４４５４号公報
【特許文献２】特開２００８−０１１１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の方法には以下に示す問題点がある。
従来の方法では、動きが小さい場合には、同相フィールドを参照し、動きが大きい場合には時間的に最も近い参照可能なフィールド、すなわち、逆相フィールドを参照することで、画質劣化を伴うことなく、参照画像枚数を削減している。すなわち、動きの大小で参照フィールドの切替えを行っている。
【００１４】
しかしながら、従来の方法では、動き探索範囲（参照フィールド）と動きの大小との間の相関性については規定されていない。このため、動きの大小で参照フィールドを切替える方法では、動きの判定閾値の設定によっては、現在の参照フィールドで動き探索が十分できているのにもかかわらず、同相フィールドから逆相フィールドに参照フィールドを切替えたり、反対に、動き探索が十分できていないにもかかわらず、逆相フィールドから同相フィールドに参照フィールドを切替えたりする。このことによって、参照フィールドを誤ったタイミングで切替えたり、本来、参照フィールドを切替えるべきタイミングで切替えなかったりするため、復号結果にノイズが発生する可能性があるという課題がある。
【００１５】
図１３は、従来の課題を説明するための図である。図１３（ａ）に示すような風景を撮像することを想定する。図１３（ａ）の風景は下方向に木が並び、複雑な画像となっている。反対に上方向は空が広がり、単純な画像となっている。このような風景に対して、カメラを動かし、（１）、（２）、（３）、（４）、（５）の順で動画を撮像したものとする。ここで、（１）、（３）、（５）はトップフィールド、（２）、（４）はボトムフィールドであるとする。また、動きの大きさにより、参照フィールドとして同相フィールドが常に選択されているものとする。つまり、符号化対象フィールドが（３）の場合、フィールド（３）とフィールド（１）との差分が符号化され、符号化対象フィールドが（４）の場合、フィールド（４）とフィールド（２）との差分が符号化され、符号化対象フィールドが（５）の場合、フィールド（５）とフィールド（３）との差分が符号化される。
【００１６】
図１３（ｂ）は、フィールド（３）〜（５）の復号結果を示している。フィールド（４）、（５）は単純な画像にもかかわらず、複雑な画像のフィールド（２）、（３）をそれぞれ参照画像として符号化が行われる。このため、フィールド（４）、（５）の復号結果には、フィールド（２）、（３）の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
【００１７】
本願は、このような課題を解決するためになされたものであり、復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は、従来の課題を解決するためになされたものであり、本発明に係る画像符号化装置は、フィールド構造を有する動画像を予測符号化する画像符号化装置であって、予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部とを備える。
【００１９】
この構成によると、符号化対象画像にとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。
【００２０】
また、符号化対象フィールドに時間的に最も近い参照可能なフィールドは、再生時間順で直前の１枚と、直後の１枚とである。このため、参照画像を最大２枚とすることができる。参照画像を２枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量とを減少させることが可能となる。
【００２１】
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
【００２２】
好ましくは、前記参照画像選択部は、（ｉ）同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第１の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、（ｉｉ）前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第１の判定閾値よりも小さい第２の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える。
【００２３】
このように参照画像の切替えのために、２つの判定閾値を用いることにより、判定閾値に幅を持たせることができる。よって、インター符号量予測値をイントラ符号量予測値で除した値の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
【００２４】
好ましくは、前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える。
【００２５】
このように、インター符号量予測値及びイントラ符号量予測値を時間方向に平滑化することにより、インター符号量予測値及びイントラ符号量予測値が急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
【００２６】
なお、本発明は、このような特徴的な処理部を備える画像符号化装置として実現することができるだけでなく、画像符号化装置に含まれる特徴的な処理部をステップとする画像符号化方法として実現することができる。また、画像符号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００２７】
本方法によって、符号化対象フィールドにとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。また、参照画像を最大２枚とすることができるため、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態について、図面を参照しながら説明する。なお、本発明では、インターレース画像のフィールドをピクチャとし、各ピクチャを符号化する。
【００２９】
（実施の形態１）
＜画像符号化装置の構成＞
図１は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
【００３０】
画像符号化装置１００は、入力画像を符号化し符号化データを出力する装置であり、減算器１０１と、直交変換部１０２と、量子化部１０３と、可変長符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、加算器１０７と、参照画像メモリ１０８と、参照画像選択部１０９と、動き検出／補償部１１０と、イントラ予測部１１１と、イントラ／インター判定部１１２と、セレクタ１１３とを含む。
【００３１】
減算器１０１は、外部より入力された入力画像と、動き検出／補償部１１０より出力された参照画像との差分を計算し、差分データを出力する。
【００３２】
直交変換部１０２は、差分データを直交変換する。
量子化部１０３は、直交変換されたデータを量子化する。
【００３３】
可変長符号化部１０４は、量子化されたデータを可変長符号化し、可変長符号化されたデータを符号化データとして外部へ出力する。
【００３４】
逆量子化部１０５は、量子化部１０３により出力された量子化データを逆量子化する。
逆直交変換部１０６は、量子化部１０３で逆量子化されたデータを逆直交変換する。
【００３５】
加算器１０７は、逆直交変換部１０６で逆直交変換されたデータと、セレクタ１１３から出力された予測画像とを加算し、加算結果を再構成画像として、参照画像メモリ１０８に保持する。
【００３６】
参照画像メモリ１０８は、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、符号化対象フィールドに対して再生時間順で直前の２フィールドと、符号化対象フィールドに対して、再生時間順で直後の２フィールドとを、参照画像候補として、保持しておく。
【００３７】
参照画像選択部１０９は、動き検出／補償部１１０から出力されるインター符号量予測値１１５と、イントラ予測部１１１から出力されるイントラ符号量予測値１１４と、現在処理中の符号化対象マクロブロックがトップフィールドに属するのかボトムフィールドに属するのかを示すフィールド種類情報１１６とをもとに、参照画像メモリ１０８から適切な参照画像を選択し、動き検出／補償部１１０へ出力する。ここで、イントラ符号量予測値１１４は、イントラ予測を行なった際に予測される符号量を示し、インター符号量予測値１１５とは、インター予測を行なった際に予測される符号量を示す。イントラ符号量予測値１１４及びインター符号量予測値１１５の詳細については後述する。
【００３８】
動き検出／補償部１１０は、インター符号量予測値を算出するＳＡＤ算出部１１０ａを有し、参照画像選択部１０９から出力された参照画像と、入力画像の符号化対象マクロブロックのデータとから、動き検出を行い、その後、動き補償を行い、動き補償の結果の画像をセレクタ１１３へ出力するとともにインター符号量予測値１１５をイントラ／インター判定部１１２と参照画像選択部１０９へ出力する。
【００３９】
イントラ予測部１１１は、イントラ符号量予測値を算出するＡＣＴ算出部１１１ａを有し、入力画像の画面内予測を行った結果の画像をセレクタ１１３へ出力するとともに、イントラ符号量予測値１１４を参照画像選択部１０９へ出力する。
【００４０】
イントラ／インター判定部１１２は、イントラ符号量予測値１１４とインター符号量予測値１１５とを元に、符号化対象フィールドに対してイントラ予測を行なうかインター予測を行なうかを決定し、決定した予測モードをセレクタ１１３へ出力する。
【００４１】
セレクタ１１３は、決定された予測モードに従い、予測画像を減算器１０１へ出力する。
【００４２】
＜イントラ符号量予測値とインター符号量予測値＞
次に、イントラ符号量予測値とインター符号量予測値とについて具体的に説明する。
【００４３】
本実施の形態では、イントラ符号量予測値として、符号化対象マクロブロック内の画素の輝度平均値と符号化対象マクロブロック内の各画素の輝度値との差分絶対値和の１フィールド内での総和（以下「ＡＣＴ」と記述する。）を計算する。なお、イントラ符号量予測値の計算方法はこれに限定されるものではなく、符号化対象マクロブロック内の輝度平均値を用いる代わりに、符号化対象マクロブロックの左横に位置する複数の画素の輝度値を用いても良いし、符号化対象マクロブロックの上側に位置する複数の画素の輝度値を用いても良い。つまり、イントラ予測の予測モードに応じた差分演算を行なうようにしても良い。
【００４４】
また、インター符号量予測値として、符号化対象マクロブロック内の画素と、符号化対象マクロブロックに対応する参照画像のマクロブロック内の画素との輝度値の差分絶対値和の１フィールド内での総和（以下「ＳＡＤ」と記述する。）を計算する。なお、参照画像としては、１つ前のピクチャの符号化時に用いられた参照画像が用いられるものとしても良い。また、上記対応する参照画像のマクロブロックとして、符号化対象マクロブロックと同一位置のマクロブロックを用いても良いし、符号化対象マクロブロックの動きを加味することにより異なる位置のマクロブロックを用いても良い。符号化対象マクロブロックと同一位置のマクロブロックを用いる場合には、上記ＳＡＤは、符号化対象画像と参照画像との輝度値の差分絶対値和となる。
【００４５】
＜参照画像選択処理＞
図２は、参照画像選択部１０９による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。また、参照画像の選択処理の前に、ＳＡＤ算出部１１０ａでＳＡＤが、ＡＣＴ算出部１１１ａでＡＣＴが、それぞれ計算されている。
【００４６】
参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒなる関係、つまり（ＳＡＤ／ＡＣＴ）≧Ｔｈｒなる関係を満たすか否かを判断する（Ｓ４０１）。ここで、判定閾値Ｔｈｒは、０＜Ｔｈｒ≦１を満たす小さな数である。
【００４７】
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ）ならば（Ｓ４０１でＹＥＳ）、現在の参照画像（同相の参照画像）では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部１０９は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する（Ｓ４０２）。つまり、参照画像が同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えられる。Ｓ４０２の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
【００４８】
反対に、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ）ならば（Ｓ４０１でＮＯ）、現在の参照画像（同相の参照画像）において十分に動き予測が当たっている、つまり、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部１０９は、「同相フィールド」を参照画像として選択する（Ｓ４０３）。つまり、参照画像は同相のフィールドのままであり、参照画像の切替えは行われない。Ｓ４０３の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
【００４９】
ここで、図３に示すような風景を撮像した動画における参照画像の選択について説明する。図３の風景は、図１３（ａ）に示した風景と同じであるため、その詳細な説明はここでは繰り返さない。このような風景に対して、Ａ地点を静止して撮像し、その後Ｂ地点まで左にパンした後、さらに静止、その後空を経由してＡ地点に戻る動画を撮像したと想定する。そのときの、ＳＡＤとＡＣＴの変化を図４（ａ）及び図４（ｂ）にそれぞれ示す。
【００５０】
図４（ａ）を参照して、ＡＣＴについては、Ａ地点からＢ地点へ移動するまで複雑な画像を撮像しているので、対象マクロブロックの平均輝度に対して、対象マクロブロック内の各画素値がばらつく。このため、高い値で維持されている。その後空に移動すると低周波な画像となるためＡＣＴが小さくなり、Ａ地点に戻るところで、再度値が大きくなる。
【００５１】
図４（ｂ）を参照して、ＳＡＤについては、Ａ地点で静止している間は、予測画像が当たっていると考えられるため、小さな値から始まる。次にＢ地点に早い速度で移動していくと予測画像があたりにくくなり、大きな値へと急激に変化する。Ｂ地点に静止すると、また、予測が当たるため小さな値に変化する。次に空に移動すると、木々を抜けるまで大きな値となるが、空に入ったところで、低周波な画像となり、予測がはずれにくくなるため小さな値となる。さらに、Ａ地点に戻るところで木々を撮像するため、一旦、値が上昇し、静止すると、小さな値となる。
【００５２】
このように変化するＳＡＤとＡＣＴとに対してＳＡＤ／ＡＣＴを計算すると図４（ｃ）のように変化する。これに対して判定閾値Ｔｈｒを設け、ＳＡＤ／ＡＣＴ≧Ｔｈｒとなる時刻部分のみに着目すると、当該時刻に撮像された画像は動いているシーンに当たることがわかる。
【００５３】
このように、Ｂ地点からＡ地点に向かう際に空のシーンにおいてはＳＡＤも小さくなるが、ＡＣＴも小さくなるため、ＳＡＤ／ＡＣＴで見るとＴｈｒ以上となり、正しく動いているシーンを判定している。
【００５４】
一方、従来の方法で動き判定に１画面内の各マクロブロックの動きベクトル平均値を採用していると、前述のＢ地点からＡ地点に向かう際に空のシーンにおいては、単純な画像のため、各マクロブロックの動きベクトル値が小さく出ることになり、動きが小さいシーンとして判定される。このため、参照画像が逆相フィールドから同相フィールドへ切替えられることになり、復号結果にノイズが発生する場合がある。
【００５５】
上記の選択結果を、符号化対象フィールドがＰピクチャの場合とＢピクチャの場合とについて、図５Ａ〜図５Ｄを用いてそれぞれ説明する。
【００５６】
図５Ａ〜図５Ｄのそれぞれに示すように、画像５０１、画像５０２、画像５０３、画像５０４の順に画像が撮像されたものとする。また、各画像は、トップフィールドとボトムフィールドを含むものとする。例えば、画像５０１は、トップフィールド５０１Ｔとボトムフィールド５０１Ｂとを含む。また、図示されるように各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャに分類されるものとする。例えば、トップフィールド５０１ＴはＩピクチャであり、ボトムフィールド５０１ＢはＰピクチャである。
【００５７】
図５Ａは、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒを満たし、符号化対象フィールドがＰピクチャ（ボトムフィールド５０４Ｂ）である場合を示している。このとき、ボトムフィールド５０４Ｂに対して時間的に直前の２枚の画像（ボトムフィールド５０１Ｂ及びトップフィールド５０４Ｔ）が参照画像の候補とされる。なお、本実施の形態では、Ｂピクチャは参照画像の候補とはならないものとする。ボトムフィールド５０４Ｂに対して、時間的に最も近い参照画像の候補は、符号化対象フィールドに対して逆相に当たるトップフィールド５０４Ｔである。このため、トップフィールド５０４Ｔが参照画像として選択される。
【００５８】
図５Ｂは、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒを満たし、符号化対象フィールドがＢピクチャ（ボトムフィールド５０２Ｂ）である場合を示している。このとき、ボトムフィールド５０２Ｂに対して時間的に直前の２枚の画像（トップフィールド５０１Ｔ及びボトムフィールド５０１Ｂ）と、時間的に直後の２枚の画像（トップフィールド５０４Ｔ及びボトムフィールド５０４Ｂ）とが参照画像の候補とされる。ボトムフィールド５０２Ｂに対して、時間的に最も近い参照画像の候補は、時間的に前方のボトムフィールド５０１Ｂ（符号化対象フィールドと同相のフィールド）と、時間的に後方のトップフィールド５０４Ｔ（符号化対象フィールドに対して逆相のフィールド）とである。このため、ボトムフィールド５０１Ｂとトップフィールド５０４Ｔとが参照画像として選択される。一方、符号化対象フィールドがトップフィールドの場合、前方で時間的に最も近い参照可能なフィールドの画像、すなわち、逆相のフィールドが参照画像として選択され、後方については時間的に最も近い参照可能なフィールドの画像、すなわち、同相のフィールドが参照画像として選択される。
【００５９】
図５Ｃは、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒと満たし、符号化対象フィールドがＰピクチャ（ボトムフィールド５０４Ｂ）である場合を示している。このとき、ボトムフィールド５０４Ｂに対して時間的に直前の２枚の画像（ボトムフィールド５０１Ｂ及びトップフィールド５０４Ｔ）が参照画像の候補とされる。ボトムフィールド５０４Ｂと同相の参照画像の候補は、ボトムフィールド５０１Ｂである。このため、ボトムフィールド５０１Ｂが参照画像として選択される。
【００６０】
図５Ｄは、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒと満たし、符号化対象フィールドがＢピクチャ（ボトムフィールド５０２Ｂ）である場合を示している。このとき、ボトムフィールド５０２Ｂに対して時間的に直前の２枚の画像（トップフィールド５０１Ｔ及びボトムフィールド５０１Ｂ）と、時間的に直後の２枚の画像（トップフィールド５０４Ｔ及びボトムフィールド５０４Ｂ）とが参照画像の候補とされる。ボトムフィールド５０２Ｂと同相のフィールドは、時間的に前方のボトムフィールド５０１Ｂと、時間的に後方のボトムフィールド５０４Ｂとである。このため、ボトムフィールド５０１Ｂとボトムフィールド５０４Ｂとが参照画像として選択される。
【００６１】
なお、従来のように動きだけから参照画像を求める方法では、動きの大きさと符号量との関係性を考慮していない。このため、図１３（ａ）に示すように、動きの大きさに対する判定閾値の決め方によっては、常に同相フィールドが参照画像として選択される場合がある。この場合、上述したように、フィールド（４）、（５）の復号結果には、フィールド（２）、（３）の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
【００６２】
しかし、本実施の形態に示す方法によると、図６（ａ）に示すように、符号量の大きさに基づいて参照画像を決定している。このため、複雑な画像から単純な画像への変化時に参照画像が同相フィールドから符号化対象フィールドに時間的に最も近いフィールドへ切替えられる。つまり、符号化対象フィールドがフィールド（３）の場合、同相であるフィールド（１）が参照画像として選択されるが、単純な画像であるフィールド（４）及び（５）が符号化対象フィールドである場合には、それぞれ、逆相のフィールド（３）及び（４）が参照画像として選択される。
【００６３】
図６（ｂ）は、フィールド（３）〜（５）の復号結果を示しているが、フィールド（５）は、フィールド（４）を参照画像としているため、フィールド（４）の復号結果では残像が含まれずに、従来と比較してノイズの発生が抑えられる。
【００６４】
以上説明したように、本実施の形態に係る画像符号化装置によると、符号化対象画像にとって適切なタイミングで、同相フィールドと、符号化対象フィールドに時間的に最も近いフィールドとの間で参照画像を切替えることができ、切替え時のノイズを減少させることができる。また、参照画像を２枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
【００６５】
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
【００６６】
（実施の形態２）
実施の形態１では、ＳＡＤとＡＣＴを用いたシーン判定方法が妥当であることを示した。しかし、現実に自然画像を撮像し、ＳＡＤ／ＡＣＴを計算すると、図４（ｃ）に示したような滑らかなグラフにならず、図７（ａ）に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図７（ａ）では、説明の都合上、グラフ上の９箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
【００６７】
このように、自然画像の符号化を考えた場合には、実施の形態１のように、ＳＡＤ／ＡＣＴに対して１つの判定閾値Ｔｈｒを用いて、参照画像の切替えを行なったのでは、ＳＡＤ／ＡＣＴが判定閾値Ｔｈｒ付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
【００６８】
そこで、実施の形態２では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態２に係る画像符号化装置の構成は、実施の形態１と同様であるため、異なる点についてのみ説明する。
【００６９】
実施の形態２では、図７（ｂ）に示すように、ＳＡＤ／ＡＣＴの判定閾値にヒステリシスを設ける。つまり、参照画像として、時間的に最も近い参照可能なフィールドを選択することを判定するための判定閾値を判定閾値Ｔｈｒ＿Ｈとし、参照画像として、同相フィールドを選択するための判定閾値を判定閾値Ｔｈｒ＿Ｌとする。なお、Ｔｈｒ＿Ｈ＞Ｔｈｒ＿Ｌ、０＜Ｔｈｒ＿Ｈ≦１、及び０＜Ｔｈｒ＿Ｌ≦１という３つの関係を満たすものとする。
【００７０】
図８は、ヒステリシスを設けた判定閾値に基づく、参照画像選択部１０９による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。
【００７１】
参照画像選択部１０９は、現在の参照画像が同相のフィールドであるか否かを判断する（Ｓ４２１）。現在の参照画像が同相のフィールドであると判断した場合には（Ｓ４２１でＹＥＳ）、参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｈなる関係、つまり（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｈなる関係を満たすか否かを判断する（Ｓ４２２）。
【００７２】
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｈ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｈ）ならば（Ｓ４２２でＹＥＳ）、現在の参照画像（同相の参照画像）では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部１０９は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する（Ｓ４２３）。
【００７３】
（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｈ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｈ）ならば（Ｓ４２２でＮＯ）、参照画像は同相フィールドのままであり、参照画像の切替えは行なわれない。
【００７４】
現在の参照画像が同相のフィールドではないと判断した場合、つまり、時間的に最も近い参照可能なフィールドを参照画像としている場合には（Ｓ４２１でＮＯ）、参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｌなる関係、つまり（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｌなる関係を満たすか否かを判断する（Ｓ４２４）。
【００７５】
（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｌ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｌ）ならば（Ｓ４２４でＹＥＳ）、現在の参照画像（時間的に最も近い参照可能なフィールド）では、動き予測が当たっていない、すなわち、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部１０９は、「同相フィールド」を参照画像として選択する（Ｓ４２５）。
【００７６】
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｌ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｌ）ならば、参照画像は時間的に最も近い参照可能なフィールドのままであり、参照画像の切替えは行なわれない。
【００７７】
このように参照画像の切替えのために、判定閾値に幅を設けることで、図７（ａ）のグラフにおいて丸で囲った部分の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
【００７８】
（実施の形態３）
実施の形態２でも説明したように、自然画像を撮像すると、図４のような滑らかなグラフにならず、図７（ａ）に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図７（ａ）では、グラフ上の９箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
【００７９】
このように、自然画像の符号化を考えた場合には、実施の形態１のように、ＳＡＤ／ＡＣＴに対して１つの判定閾値Ｔｈｒを用いて、参照画像の切替えを行なったのでは、ＳＡＤ／ＡＣＴが判定閾値Ｔｈｒ付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
【００８０】
そこで、実施の形態３では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態３に係る画像符号化装置の構成は、実施の形態１と同様であるため、異なる点についてのみ説明する。
【００８１】
実施の形態３では、得られたＳＡＤ及びＡＣＴのグラフをそれぞれ時間方向に平滑化することによりＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥを計算し、ＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥに基づいて参照画像の選択を行う。
【００８２】
図９は本発明の実施の形態３における、ＳＡＤ＿ＡＶＥ、ＡＣＴ＿ＡＶＥの算出方法を説明するための図である。
【００８３】
つまり、符号化対象フィールドの直前ＮフィールドのＳＡＤ及びＡＣＴをそれぞれ加算平均したものをＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥとする。
【００８４】
実施の形態３においては、参照画像選択部１０９がＳＡＤ／ＡＣＴを計算するに当たり、ＳＡＤの代わりにＳＡＤ＿ＡＶＥを求め、ＡＣＴの代わりにＡＣＴ＿ＡＶＥを求め、ＳＡＤ／ＡＣＴの代わりにＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥを求める。
【００８５】
その後、図２に示したフローチャートに従い、参照画像選択部１０９が、ＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥ≧Ｔｈｒを満たすか否かを判断し、実施の形態１と同様に参照画像の選択を行う。
【００８６】
以上説明したように、本実施の形態によると、平滑化されたＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥを用いて参照画像の選択が行われる。ＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥは、平滑化されることにより、パルスノイズのように値が急激に変化しなくなる。このため、ＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥの値も急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
【００８７】
なお、加算平均するフィールド数Ｎは、大きければ大きいほど、参照画像が頻繁に切替わるのを防ぐことが可能であるが、大きすぎると必要な参照画像の切替えが遅れることになるので、Ｎ＝４程度が適切である。
【００８８】
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態は、実施の形態１〜３で説明した画像符号化装置１００を利用した、デジタルスチルカメラやネットワークカメラ等の撮像システム（映像システム）に関するものである。
【００８９】
図１０は、実施の形態４に係る撮像システムの構成を示すブロック図である。
撮像システムは、光学系１００１と、センサー１００２と、Ａ／Ｄ（Analog to Digital）変換回路１００３と、画像処理回路（画像処理部）１００４と、記録系／転送系１００５と、再生系１００６と、タイミング制御回路１００７と、システム制御回路１００８とを含む。画像処理回路１００４は、例えば、実施の形態１に示した画像符号化装置１００を含む。
【００９０】
この撮像システムでは、光学系１００１を通って入射した画像光は、センサー１００２上に結像され、センサー１００２により光電変換される。光電変換によって得られたアナログ信号は、Ａ／Ｄ変換回路１００３によりデジタル値に変換された後、画像処理回路１００４に入力される。画像処理回路１００４は、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及びＨ．２６４等の画像圧縮／伸張処理、画像圧縮されたストリームの制御等を行なう。なお、Ｈ．２６４等の画像圧縮は、画像符号化装置１００を用いて行なわれる。
【００９１】
画像処理回路１００４において画像処理された信号は、記録系／転送系１００５においてメディアへの記録又はインターネット等を介して伝送が行われる。記録又は転送された信号は再生系１００６により再生される。センサー１００２は、タイミング制御回路１００７により制御され、光学系１００１、記録系／転送系１００５、再生系１００６及びタイミング制御回路１００７は、各々、システム制御回路１００８により制御される。
【００９２】
なお、図１０に示した撮像システムでは、光学系１００１からの画像光をセンサー１００２で光電変換してＡ／Ｄ変換回路１００３に入力するカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ（Audio/Visual）機器のアナログ映像入力を直接にＡ／Ｄ変換回路１００３に入力しても良い。
【００９３】
以上、本発明の実施の形態に係る画像符号化装置及び撮像システムについて説明したが、本発明は、これらの実施の形態に限定されるものではない。
【００９４】
例えば、上述の実施の形態では、イントラ符号量予測値としてＡＣＴを用い、インター符号量予測値としてＳＡＤを用いたが、イントラ符号化時の符号量を予測可能な値、又はインター符号化時の符号量を予測可能な値であれば、他の算出方法により算出される値であっても良い。
【００９５】
また、上述の実施の形態では、インター符号量予測値をイントラ符号量予測値で除した値を閾値処理することにより参照画像の切替えの判定を行ったが、インター符号量予測値とイントラ符号量予測値の差を閾値処理することにより、参照画像の切替えの判定を行うようにしても良い。
【００９６】
なお、画像符号化装置１００は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００９８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
【００９９】
また、画像符号化装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭ又はハードディスクドライブには、画像符号化装置が実行する処理のコンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像符号化装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１００】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１０１】
本発明に係る画像符号化装置及び撮像システムは、参照画像へのアクセスを減少させ、探索に費やす計算量を減少させることができ、かつ、画像劣化の小さい符号化を実現することができるため、デジタルカメラ、監視カメラ及びネットワークカメラなどに有用である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態１における画像符号化装置の構成を示すブロック図
【図２】参照画像選択部による参照画像の選択処理のフローチャート
【図３】本発明の実施の形態１における被写体と撮像状況を示す図
【図４】図３の被写体におけるＳＡＤとＡＣＴの変化を示す図
【図５Ａ】符号化対象フィールドがＰピクチャの場合の参照画像の選択結果を示す図
【図５Ｂ】符号化対象フィールドがＢピクチャの場合の参照画像の選択結果を示す図
【図５Ｃ】符号化対象フィールドがＰピクチャの場合の参照画像の選択結果を示す図
【図５Ｄ】符号化対象フィールドがＢピクチャの場合の参照画像の選択結果を示す図
【図６】画像符号化装置により符号化された動画像の再生結果を示す図
【図７】本発明の実施の形態２における判定閾値の設定方法について説明するための図
【図８】参照画像選択部による参照画像の選択処理のフローチャート
【図９】本発明の実施の形態３における、ＳＡＤ＿ＡＶＥ、ＡＣＴ＿ＡＶＥの算出方法を説明するための図
【図１０】本発明の実施の形態４に係る撮像システムの構成を示すブロック図
【図１１】インターレース画像におけるトップフィールド、ボトムフィールドを示す図
【図１２】従来の画像符号化装置の一例を示すブロック図
【図１３】従来の課題を説明するための図
【符号の説明】
【０１０３】
１００、２００  画像符号化装置
１０１  減算器
１０２、２０２  直交変換部
１０３、２０３  量子化部
１０４、２０４  可変長符号化部
１０５、２０５  逆量子化部
１０６、２０６  逆直交変換部
１０７  加算器
１０８、２０７  参照画像メモリ
１０９  参照画像選択部
１１０、２０８  動き検出／補償部
１１０ａ  ＳＡＤ算出部
１１１  イントラ予測部
１１１ａ  ＡＣＴ算出部
１１２  イントラ／インター判定部
１１３  セレクタ
１１４  イントラ符号量予測値
１１５  インター符号量予測値
１１６  フィールド種類情報
２０１  入力画像メモリ
１００１  光学系
１００２  センサー
１００３  Ａ／Ｄ変換回路
１００４  画像処理回路
１００５  記録系／転送系
１００６  再生系
１００７  タイミング制御回路
１００８  システム制御回路
【図１】
2010232734.tif 000003
【図２】
2010232734.tif 000004
【図３】
2010232734.tif 000005
【図４】
2010232734.tif 000006
【図５Ａ】
2010232734.tif 000007
【図５Ｂ】
2010232734.tif 000008
【図５Ｃ】
2010232734.tif 000009
【図５Ｄ】
2010232734.tif 000010
【図６】
2010232734.tif 000011
【図７】
2010232734.tif 000012
【図８】
2010232734.tif 000013
【図９】
2010232734.tif 000014
【図１０】
2010232734.tif 000015
【図１１】
2010232734.tif 000016
【図１２】
2010232734.tif 000017
【図１３】
2010232734.tif 000018