(57)【要約】【課題】サーチ再生において、ＩＤＲフレーム以外のフレームについても少なくとも一部が、ＩＤＲフレームに基づいて復号が可能であり、画面が更新可能でサーチ画の品質向上が可能となるような符号化技術を提供する。【解決手段】画像符号化装置であって、符号化処理対象のフレーム毎に少なくとも隣接するフレーム間で設定位置が互いに異なる領域を設定し、符号化処理対象のフレーム内の符号化処理対象ブロックが該フレームに対して設定された領域内に属するか否かを判定し、領域内に属すると判定された場合に、フレーム間動き補償手段が、該符号化処理対象ブロックについて、フレーム単独で復号可能であり、かつ、符号化処理対象のフレームよりも時間的に前で最も近くに位置するフレームを参照して予測画像を生成する。【選択図】図２
2009081727.tif 000002
【特許請求の範囲】
【請求項１】
符号化処理対象のフレーム以外の他のフレーム内のブロックを参照して、符号化処理対象ブロックの第１の予測画像を生成するフレーム間動き補償手段と、
前記第１の予測画像を用いて予測符号化を行う符号化手段と
を有する、複数のブロックからなるフレームで構成される動画像データの予測符号化を行う画像符号化装置であって、
前記符号化処理対象のフレーム毎に、少なくとも隣接するフレーム間で設定位置が互いに異なる領域を設定する設定手段と、
前記符号化処理対象のフレーム内の符号化処理対象ブロックが、該フレームに対して設定された前記領域内に属するか否かを判定する判定手段と、
を備え、
前記判定手段により前記符号化処理対象ブロックが前記設定された領域内に属すると判定された場合に、前記フレーム間動き補償手段は、該符号化処理対象ブロックについて、フレーム単独で復号可能であり、かつ、前記符号化処理対象のフレームよりも時間的に前で最も近くに位置するフレームを参照して前記第１の予測画像を生成することを特徴とする画像符号化装置。
【請求項２】
前記符号化処理対象のフレーム内のブロックを参照して、前記符号化処理対象ブロックの第２の予測画像を生成するフレーム内予測手段と、
前記判定手段により前記符号化処理対象ブロックが前記設定された領域内に属すると判定された場合に、前記第１の予測画像及び前記第２の予測画像のいずれかを選択する選択手段と
をさらに備え、
前記符号化手段は、前記選択手段により選択された予測画像を用いて予測符号化を行うことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記選択手段は、前記第１の予測画像と前記符号化処理対象のブロックとの予測誤差と、第１の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記選択手段は、前記第２の予測画像と前記符号化処理対象のブロックとの予測誤差を符号化した場合の符号量と、第２の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記選択手段は、前記第１の予測画像と前記符号化処理対象のブロックとの第１の予測誤差を符号化した場合の第１の符号量と、前記第２の予測画像と前記符号化処理対象のブロックとの第２の予測誤差を符号化した場合の第２の符号量との比率と、第３の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項６】
符号化処理対象のフレーム以外の他のフレーム内のブロックを参照して、符号化処理対象ブロックの第１の予測画像を生成するフレーム間動き補償手段と、
前記第１の予測画像を用いて予測符号化を行う符号化手段と
を有する、複数のブロックからなるフレームで構成される動画像データの予測符号化を行う画像符号化装置の制御方法であって
前記符号化処理対象のフレーム毎に、少なくとも隣接するフレーム間で設定位置が互いに異なる領域を設定する設定工程と、
前記符号化処理対象のフレーム内の符号化処理対象ブロックが、該フレームに対して設定された前記領域内に属するか否かを判定する判定工程と
を備え、
前記判定工程において前記符号化処理対象ブロックが前記設定された領域内に属すると判定された場合に、前記フレーム間動き補償手段が、該符号化処理対象ブロックについて、フレーム単独で復号可能であり、かつ、前記符号化処理対象のフレームよりも時間的に前で最も近くに位置するフレームを参照して前記第１の予測画像を生成することを特徴とする画像符号化装置の制御方法。
【請求項７】
前記画像符号化装置は、前記符号化処理対象のフレーム内のブロックを参照して、符号化処理対象ブロックの第２の予測画像を生成するフレーム内予測手段をさらに備え、
前記制御方法は、前記判定工程において前記符号化処理対象ブロックが前記設定された領域内に属すると判定された場合に、前記第１の予測画像及び第２の予測画像のいずれかを選択する選択工程をさらに備え、
前記符号化手段は、前記選択工程において選択された予測画像を用いて予測符号化を行うことを特徴とする請求項６に記載の画像符号化装置の制御方法。
【請求項８】
前記選択工程では、前記第１の予測画像と前記符号化処理対象のブロックとの予測誤差と、第１の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項７に記載の画像符号化装置の制御方法。
【請求項９】
前記選択工程では、前記第２の予測画像と前記符号化処理対象のブロックとの予測誤差を符号化した場合の符号量と、第２の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項７に記載の画像符号化装置の制御方法。
【請求項１０】
前記選択工程では、前記第１の予測画像と前記符号化処理対象のブロックとの第１の予測誤差を符号化した場合の第１の符号量と、前記第２の予測画像と前記符号化処理対象のブロックとの第２の予測誤差を符号化した場合の第２の符号量との比率と、第３の閾値との比較に基づいて、前記選択を行うことを特徴とする請求項７に記載の画像符号化装置の制御方法。
【請求項１１】
符号化処理対象のフレーム以外の他のフレーム内のブロックを参照して、符号化処理対象ブロックの第１の予測画像を生成するフレーム間動き補償手段と、前記第１の予測画像を用いて予測符号化を行う符号化手段とを有する、複数のブロックからなるフレームで構成される動画像データの予測符号化を行う画像符号化装置に、請求項６乃至１０のいずれか１項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及びその制御方法、プログラムに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラにおいて、テープや光ディスク、フラッシュメモリ等の記録媒体に画像データをフレーム間符号化して記録するものが普及している。画像データをフレーム間符号化する方法として、従来、ＭＰＥＧ−２やＭＰＥＧ−４が用いられているが、近年はＭＰＥＧ−２やＭＰＥＧ−４よりも符号化効率が良いとされるＨ．２６４／ＡＶＣを用いて記録再生するものがある。
【０００３】
ＭＰＥＧ−２やＭＰＥＧ−４、Ｈ．２６４／ＡＶＣといった符号化方式は、１フレームの複数画素をいくつかのブロックにまとめて符号化を行なう。図５（ｃ）に示すように、水平、垂直の画素を８ｘ８画素単位（ＤＣＴブロックと呼ぶ）にまとめ、このＤＣＴブロックを複数個まとめてマクロブロックを形成する。図５（ｂ）の場合、輝度信号はＤＣＴブロック４個、２つの色差信号は１個づつで合計６個からなる。さらに図５（a）に示すように、マクロブロックを複数個まとめてスライスを形成する。ＭＰＥＧ−２は上記のフレーム、スライス、マクロブロック、ＤＣＴブロックの単位で、符号化を行なう。図４ａ及び図４ｂはＭＰＥＧ−２とＨ．２６４／ＡＶＣの符号化について説明する図である。
【０００４】
まず、図４ａはＭＰＥＧ−２において、時間軸ｔに対して各画像フレームがどういう符号化をされるかを説明する図である。横軸は時間軸であり、例えば、画像Ｋ０は時刻ｔ０におけるフレーム画像を表している。
【０００５】
時刻ｔ０における画像Ｋ０はイントラ符号化（フレーム内符号化）される（Iフレーム（Ｋ０'））。そして次に時刻ｔ３における画像Ｋ３が、フレーム内符号化された画像Ｋ０'を局所復号した画像を参照画像としてインター符号化（フレーム間符号化）される（Pフレーム(Ｋ３')）。
【０００６】
次に、時刻ｔ１における画像Ｋ１が、フレーム内符号化された画像Ｋ０'を局所復号した画像とフレーム間符号化された画像Ｋ３'を局所復号した画像とを参照画像としてフレーム間符号化される（Ｂフレーム(Ｋ１')）。次に、時刻ｔ２における画像Ｋ２がフレーム内符号化された画像Ｋ０'を局所復号した画像とフレーム間符号化された画像Ｋ３'を局所復号した画像とを参照画像としてフレーム間符号化される（Ｂフレーム(Ｋ２')）。
【０００７】
上記のようにして、フレーム画像Ｋ６、Ｋ９、Ｋ１２はＰフレームとして過去にある直前のＩフレーム或いはＰフレームを参照して予測符号化される。即ち、片方向予測(Ｋ６'、Ｋ９'、Ｋ１２')となる。また、フレーム画像Ｋ４、Ｋ５、Ｋ７、Ｋ８、Ｋ１０、Ｋ１１、Ｋ１３、Ｋ１４は、時間的に過去と未来にある（直前、直後の）Ｉフレーム或いはＰフレームから予測符号化される。即ち、双方向予測（Ｋ４'、Ｋ５'、Ｋ７'、Ｋ８'、Ｋ１０'、Ｋ１１'、Ｋ１３'、Ｋ１４'）となる。
【０００８】
また、図４ａに示すようにＭＰＥＧ−２では、ＧＯＰ（Group of Picｔure）として、フレーム内符号化されたフレームを少なくとも１枚含むようにして画像Ｋ−２から画像Ｋ１２までをひとまとめにして扱う。符号化されたＧＯＰの先頭はＩフレームになる。
【０００９】
Ｈ．２６４／ＡＶＣにおいては図４ｂに示すように、各スライスの単位でフレーム間符号化、フレーム内符号化が行なわれる。時刻ｔｎ０における画像Ｆ（ｎ０）のスライスｓ−１は双予測符号化で符号化される（Ｂスライス）。ＭＰＥＧ−２のＢフレームは、そのフレームの直前及び直後のＩないしはＰフレームで符号化されたフレームを参照フレームとするが、Ｂスライスは図４ｂに示すように、参照するフレームを過去、未来のフレームのどこからとってもよい。
【００１０】
図４ｂの画像Ｆ（ｎ０）のＢスライスｓ−１は、２種類のマクロブロックが混在している。即ち、１つは、過去の時刻ｔｑとｔｑ−２の画像Ｆ（ｑ）とＦ（ｑ−２）とを参照画像とするマクロブロックであり、もう一つは、過去の時刻ｔｑ−１と未来の時刻ｔｓの画像Ｆ（ｑ−１）と画像Ｆ（ｓ）とを参照画像とするマクロブロックである。また、時刻ｔｎ０における画像Ｆ（ｎ０）のＩスライスｓ−２にも、２種類のマクロブロックが混在する。１つは、過去の時刻ｔｑ−３の画像Ｆ（ｑ−３）を参照画像として予測符号化されるマクロブロックであり、もう１つは、未来の時刻ｔｓ＋１の画像Ｆ（ｓ＋１）を参照画像として予測符号化されるマクロブロックである。
【００１１】
生成された符号化データを媒体に記録するシステムでは、途中から再生された場合の再生を保証すべく、ＩＤＲ（Instantaneous Decoding Refresh）フレームが挿入される。ＩＤＲフレームとはフレーム単独で復号可能なフレームであって、かつ、他のスライスはＩＤＲフレームを越えるフレームのスライスを参照することはできない。
【００１２】
つまり図４ｂに示すＩＤＲ−０とＩＤＲ−１との間にある各スライスは、ＩＤＲ−０よりも過去のスライスを参照してはならないし、ＩＤＲ−１よりも未来のスライスも参照してはならない。また、ＩＤＲ−０よりも過去のスライスからＩＤＲ−０とＩＤＲ−１の間にあるスライスが参照されることもないし、ＩＤＲ−１よりも未来のスライスからＩＤＲ−０とＩＤＲ−１との間にあるスライスが参照されることもない。
【００１３】
記録媒体に記録された符号化データをサーチして画像表示をしようとする場合、単独で再生が保証されるＩフレーム（Ｈ．２６４／ＡＶＣならＩＤＲフレーム）を記録媒体から読み出して復号し、再生表示することが行なわれる。しかし、Ｉフレームを再生表示すると、時間的に間隔が空いたフレームを表示するため、サーチ速度によっては画面がなかなか更新されず、違和感のあるサーチ画像となってしまう。
【００１４】
係る問題を解決するため、ＭＰＥＧ−２の場合は、ＧＯＰの最初から３枚のＩフレームないしはＰフレームを媒体から取得して復号し、表示する技術が提案されている（特許文献１を参照）。
【００１５】
また、単独再生可能なサーチ用データを、数段階の固定サーチ倍率について用意し、テープ状媒体にサーチ倍率毎のトレース位置に記録しておき、サーチ時には該サーチ用データを再生する技術が提案されている（特許文献２を参照）。
【特許文献１】特開平１０−３２２６６１号公報
【特許文献２】特開２００２−３３９９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記の特許文献１の提案技術では、最初のＩフレームから数枚のＰフレームを再生するので、最初だけ少し動いて暫く停止し、また少し動くというようになり、サーチ画像としての違和感が依然として残る。
【００１７】
また、上記特許文献２の提案技術では、サーチ倍率に応じたサーチ用データを得ることはできるが、特殊再生用のデータを用意しなければならず、記録容量が増大する。さらに、テープ状媒体を想定した技術であって、ディスク状媒体等には向いていない。
【００１８】
さらに、Ｈ．２６４／ＡＶＣのような符号化においては、上記で説明したように、Ｐフレームがなく、サーチ画像をＩＤＲフレームに頼らざるを得ない。
【００１９】
そこで、本発明は、サーチ再生において、ＩＤＲフレーム以外のフレームについても少なくとも一部が、ＩＤＲフレームに基づいて復号が可能であり、画面が更新可能でサーチ画の品質向上が可能となるような符号化技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するための本発明は、
符号化処理対象のフレーム以外の他のフレーム内のブロックを参照して、符号化処理対象ブロックの第１の予測画像を生成するフレーム間動き補償手段と、
前記第１の予測画像を用いて予測符号化を行う符号化手段と
を有する、複数のブロックからなるフレームで構成される動画像データの予測符号化を行う画像符号化装置であって、
前記符号化処理対象のフレーム毎に、少なくとも隣接するフレーム間で設定位置が互いに異なる領域を設定する設定手段と、
前記符号化処理対象のフレーム内の符号化処理対象ブロックが、該フレームに対して設定された前記領域内に属するか否かを判定する判定手段と、
を備え、
前記判定手段により前記符号化処理対象ブロックが前記設定された領域内に属すると判定された場合に、前記フレーム間動き補償手段は、該符号化処理対象ブロックについて、フレーム単独で復号可能であり、かつ、前記符号化処理対象のフレームよりも時間的に前で最も近くに位置するフレームを参照して前記第１の予測画像を生成することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、サーチ再生において、ＩＤＲフレーム以外のフレームについても少なくとも一部が、ＩＤＲフレームに基づいて復号が可能であり、画面が更新可能でサーチ画の品質向上が可能となる符号化技術を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、添付する図面を参照して発明の実施形態を説明する。
【００２３】
［第１の実施形態］
本発明の第１の実施形態に係るＨ.２６４／ＡＶＣに対応した画像符号化装置について図１、図２を用いて説明する。
【００２４】
図１において、画像符号化装置は、不図示の撮像素子からの画像データを入力する入力端子１０１、動画像データとしてのカメラ信号処理回路１０２、画像データをＨ．２６４／ＡＶＣに基づく方式で符号化する画像符号化回路１０３を備える。さらに、図１の画像符号化装置は、画像データのストリーム生成回路１０４、記録用データをバッファするバッファ回路１０５、誤り訂正回路１０６、記録用のデータに変調する記録回路１０７、記録媒体１０８、上記各ブロックを制御する制御回路１０９を備える。
【００２５】
記録開始時、不図示の撮像素子からの動画像データが入力端子１０１から入力され、カメラ信号処理回路１０２で輝度、色信号処理されて画像符号化回路１０３に送出される。
【００２６】
図４ｂに示すように、記録開始時をｔｐとすると、その時のフレームＦ（ｐ）をＩＤＲ−０として符号化するように制御回路１０９は画像符号化回路１０３を制御する。
【００２７】
図２は画像符号化回路１０３を詳述する図である。画像符号化回路１０３において、入力端子２０１は、カメラ信号処理回路１０２で処理された動画像データの入力を受け付ける。ブロック化回路２０２では、各フレーム画像のスライスブロック、マクロブロック、ＤＣＴブロック化を行なう。また、画像符号化回路１０３は更に、加算器２０３、ＤＣＴ回路２０４、ＤＣＴされた画像データを量子化する量子化回路２０５、量子化された画像データを可変長符号化する可変長符号化回路２０６、出力端子２０７、逆量子化回路２０８を備える。更に、逆ＤＣＴ回路２０９、加算器２１０、局所復号した画像データをバッファするフレームバッファ２１１、フレーム内予測回路２１２、フレーム間動き補償回路２１３、スイッチ回路２１４を備える。
【００２８】
また、画像符号化回路１０３が備えるフレームカウント回路２１５は、フレーム毎にカウントアップし、特殊再生用枠位置発生回路２１６は、フレーム毎に特殊再生を考慮した領域（枠）を設定する。更に、位置判定回路２１７は、ブロック化回路２０２から出力される画像データが特殊再生用枠位置発生回路２１６で設定された領域内に属するかどうかを判定する。符号化選択回路２１８は、フレーム内予測回路２１２からの出力と、フレーム間動き補償回路２１３からの出力とのいずれかを選択する。入出力端子２１９は、制御回路１０９から信号の入出力が行われる。
【００２９】
制御回路１０９は記録開始時、フレームカウント回路２１５を初期化して値０を設定するとともに、特殊再生用枠位置発生回路２１６を初期化する。カメラ信号処理回路１０２で信号処理された画像データは入力端子２０１からフレーム単位で入力され、ブロック化回路２０２で、図５（a）、（ｂ）、（ｃ）に示すように、ＤＣＴブロック化およびマクロブロック化、スライスブロック化される。
【００３０】
ブロック化回路２０２でブロック化された画像データは、加算器２０３に供給される。ここで、制御回路１０９は、フレームＦ（ｐ）をＩＤＲとして符号化するので、符号化選択回路２１８を制御して、スイッチ回路２１４の端子ｂを選択させる。
【００３１】
フレーム内予測回路２１２は、図５（a）に示すようにスライスＳＬ−１内のマクロブロックＭＢ−１のように、フレーム内予測対象となるブロックが存在しないような場合は０データを加算器２０３に送出する。一方、フレーム内予測を行なった場合は、生成した予測画像を加算器２０３に送出する。
【００３２】
加算器２０３はブロック化回路２０２から供給されるブロック化された画像データからスイッチ回路２１４を介して供給されるデータを減算し、ＤＣＴ回路２０４に減算結果を予測誤差として送出する。ＤＣＴ回路２０４は、加算器２０３から供給される予測誤差にＤＣＴ（Discrete Cosine Transform）処理を施し、量子化回路２０５に送出する。量子化回路２０５はＤＣＴ回路２０４での処理結果を量子化し、可変長符号化回路２０６と逆量子化回路２０８に送出する。
【００３３】
可変長符号化回路２０６は量子化データを、ハフマン符号等を用いて可変長符号化し、出力端子２０７に出力する。。なお、可変長符号化回路２０６は、２値データの算術符号化を行う算術符号化回路であっても良い。逆量子化回路２０８は、量子化回路２０５から送出されたデータを逆量子化し、逆ＤＣＴ回路２０９に送出する。
【００３４】
逆ＤＣＴ回路２０９は逆量子化回路２０８で逆量子化されたデータに逆ＤＣＴを施して、加算器２１０に供給する。加算器２１０は逆ＤＣＴされたデータとスイッチ回路２１４から供給される予測画像とを加算し、局所復号データとしてフレームバッファ２１１に記憶する。
【００３５】
上記処理を繰り返してフレームＦ（ｐ）のＩＤＲへの符号化が終わり、時刻ｔｐ+１でフレームＦ(ｐ＋１)の処理に入ると、制御回路１０９はフレームカウント回路２１５のカウント値を＋１する。
【００３６】
フレームＦ(ｐ＋１)以降の処理においては、ブロック化回路２０２でブロック化された画像データは、フレーム内予測回路２１２、または、フレーム間動き補償回路２１３で予測画像が生成される。符号化処理対象のブロックは、Ｐスライス或いはＢスライスの場合、フレームバッファ２１１に記憶されている局所復号された、符号化対象フレーム以外の他のフレームの画像データと動き検出を行ない、予測誤差が最小となるブロックを探索する。符号化処理対象のブロックは、Ｉスライスの場合、フレーム内予測回路２１２で、該ブロックの左、左斜め上、上、右斜め上に位置する参照ブロックから予測した場合に予測誤差が最小となる予測方向を探す。
【００３７】
制御回路１０９はフレーム内予測回路２１２、フレーム間動き補償回路２１３から、例えば、予測誤差が最小となる符号化方法を選択し、符号化選択回路２１８を制御し、予測画像を加算器２０３に送出する。
【００３８】
加算器２０３はブロック化回路２０２から供給されるブロック化された画像データとスイッチ回路２１４から供給される予測画像とから予測誤差を計算し、ＤＣＴ回路２０４に送出する。ＤＣＴ回路２０４は加算器２０３から供給される予測誤差にＤＣＴ処理を施し、量子化回路２０５に送出する。量子化回路２０５はＤＣＴ回路２０４でＤＣＴされたデータを量子化し、可変長符号化回路２０６と逆量子化回路２０８に送出する。
【００３９】
可変長符号化回路２０６は量子化されたデータを、ハフマン符号等を用いて可変長符号化し、出力端子２０７に出力する。逆量子化回路２０８は、量子化回路２０５から送出された量子化されたデータを逆量子化し、逆ＤＣＴ回路２０９に送出する。逆ＤＣＴ回路２０９は逆量子化回路２０８で逆量子化されたデータに逆ＤＣＴを施して、加算器２１０に供給する。加算器２１０は逆ＤＣＴされたデータとスイッチ回路２１４から供給される予測画像とを加算し、局所復号データとしてフレームバッファ２１１に記憶する。
【００４０】
ここで、フレームカウント回路２１５は制御回路１０９から、各フレーム毎の処理が終了するとカウントアップするよう制御される。特殊再生用枠位置発生回路２１６は、フレームカウント回路２１５からのカウント値に応じて、特殊再生用の領域を設定する。この設定は、図６のフローチャートにおけるステップＳ６０１の処理に対応する。図６は、発明の実施形態に対応する処理の一例を示すフローチャートである。当該フローチャートに対応する処理は、制御回路１０９による制御に従い画像符号化回路１０３内で実行される。
【００４１】
ここで設定される領域は、図３に示すように、フレーム上のアドレス（a、b、c、・・・・）と水平、垂直方向のサイズ（h、v）により設定される。図３は１フレームを水平方向のスライスで分割した例を示す図である。特殊再生用枠位置発生回路２１６は、少なくとも隣接するフレーム間で、設定位置が互いに異なるようにフレーム上のアドレスを発生させて領域を設定する。
【００４２】
例えば、フレームカウント回路２１５のカウント値が２である時、特殊再生用枠位置発生回路２１６は、アドレスｂとサイズ（h、v）を発生する。特殊再生用枠位置発生回路２１６からの該領域の設定情報は位置判定回路２１７に設定される。
【００４３】
位置判定回路２１７は、ブロック化回路２０２から出力される符号化処理対象ブロックが、特殊再生用枠位置発生回路２１６で設定された領域内に属するか否かを判定する（ステップＳ６０２）。該判定は、符号化処理対象ブロックのアドレスが、アドレスとサイズ（h,v）で特定される領域内に属するか否かに基づいて行うことができる。もし、領域内に属すると判定した場合は（ステップＳ６０２において「ＹＥＳ」）、制御回路１０９に通知する。
【００４４】
制御回路１０９は、位置判定回路２１７からの当該通知に基づき、フレーム間動き補償回路２１３で符号化処理対象ブロックが参照すべきフレームをＩＤＲフレームに設定する（ステップＳ６０３）。なお、図４ｂの場合を例に採れば、ＩＤＲ−０フレームが設定される。ここで参照フレームとして設定されるＩＤＲフレームは、フレーム単独で復号可能であり、かつ、符号化処理対象ブロックが属する符号化処理対象のフレームよりも時間的に前で最も近くに位置するフレームに相当する。
【００４５】
この設定に応じてフレーム間動き補償回路２１３は、ステップＳ６０４で符号化処理対象ブロックの参照フレームをＩＤＲフレームとして前方予測により予測画像（第１の予測画像）を生成する。また、フレーム内予測回路２１２は、ステップＳ６０５で、符号化処理対象ブロックのフレーム内予測を行い予測画像（第２の予測画像）を生成する。
【００４６】
制御回路１０９は、ステップＳ６０６からステップＳ６０９において、フレーム間動き補償回路２１３及びフレーム内予測回路２１２の予測結果に基づいて符号化選択回路２１８を制御する。
【００４７】
以下、ステップＳ６０６における判定処理を具体的に説明する。例えば、フレーム間動き補償回路２１３による第１の予測誤差と所定の第１の閾値εとを比較して、該第１の閾値ε以内である場合はフレーム間動き補償回路２１３からの予測画像を用いる。一方、第１の閾値εを越える場合には、フレーム内予測回路２１２からの予測画像を用いる。
【００４８】
また、フレーム内予測回路２１２による第２の予測誤差を符号化した場合の第２の符号量Ｑ２と、所定の第２の閾値αとを比較して、該第２の閾値α以内である場合はフレーム間動き補償回路２１３からの予測画像を用いてもよい。その一方で、該第２の閾値αを越える場合には、フレーム内予測回路２１２からの予測画像を選択するようにしてもよい。
【００４９】
あるいは、フレーム内予測回路２１２による第２の予測誤差を符号化した場合の第２の符号量Ｑ２と、フレーム間動き補償回路２１３による第１の予測誤差を符号化した場合の第１の符号量Ｑ１との比率に基づいて選択しても良い。例えば、Ｑ２／Ｑ１が所定の第３の閾値βを超えればフレーム間動き補償回路２１３からの予測画像を用いてもよい。一方、第３の閾値βより小さい場合には、フレーム内予測回路２１２からの予測画像を選択するようにしてもよい。
【００５０】
以上において、フレーム内予測回路２１２からの予測画像が選択される場合には（ステップＳ６０７において「ＮＯ」）、ステップＳ６０９において、スイッチ回路２１４の端子ｂが選択される。また、フレーム間動き補償回路２１３からの予測画像が選択される場合には（ステップＳ６０７において「ＹＥＳ」）、ステップＳ６０８において、スイッチ回路２１４の端子ｂが選択される。この選択結果に応じて、加算器２０３に、予測画像が供給される。
【００５１】
加算器２０３では、ブロック化回路２０２から供給される符号化処理対象ブロックの画像データとスイッチ回路２１４から供給される予測画像とから予測誤差を計算し、ＤＣＴ回路２０４に送出する。ＤＣＴ回路２０４は加算器２０３から供給される予測誤差にＤＣＴを施し、量子化回路２０５に送出する。量子化回路２０５はＤＣＴ回路２０４でＤＣＴされたデータを量子化し、可変長符号化回路２０６と逆量子化回路２０８に送出する。逆量子化回路２０８以降の処理は上記で説明したのと同様なので省略する。
【００５２】
可変長符号化回路２０６は量子化されたデータを、ハフマン符号等を用いて可変長符号化し、出力端子２０７に出力する。出力端子２０７から出力された可変長符号化データは、図１のストリーム生成回路１０４に出力され、再生のための付加データを付加され、バッファ回路１０５に送出される。
【００５３】
バッファ回路１０５は画像データのストリーム生成速度と、記録媒体への書き込み速度の違いを吸収するバッファである。記録の準備ができると、バッファ回路に記憶されたストリームは誤り訂正回路１０６に送出され、記録用の誤り訂正符号を付加され、記録回路１０７に送出される。記録回路１０７では、記録用の変調を施し、記録媒体１０８に符号化された画像データを記録する。
【００５４】
１フレーム分の符号化処理が終わると、制御回路１０９はフレームカウント回路２１５をカウントアップし、特殊再生用枠位置発生回路２１６に＋１カウントアップされた値を供給する。特殊再生用枠位置発生回路２１６はフレームカウント回路２１５から供給されたカウント値に従って、次の特殊再生用枠位置のアドレスとサイズを発生して、位置判定回路２１７に設定する。
【００５５】
次のフレームの符号化が行われる場合、位置判定回路２１７で特殊再生用枠位置と判定されたブロックは、上述のように参照画像をＩＤＲフレームとしてフレーム間予測符号化するか、あるいはフレーム内符号化し、可変長符号化する。そして、次のＩＤＲ符号化をするフレーム（時刻ｔｒのフレームＦ(ｒ)）まで処理が終わると、フレームカウント回路２１５をリセットし、上記の処理を繰り返す。
【００５６】
ここで、制御回路１０９はＩＤＲフレームを所定の間隔（例えば１５フレーム間隔）で符号化するようにしてもよい。あるいは、入力されてくる画像データに応じて（例えば、直前フレームとの相関が小さい場合に）ＩＤＲフレームとして符号化してもよい。
【００５７】
以上のように、本発明によれば、フレーム毎に特定位置に属するブロックについては、ＩＤＲフレームを参照した前方予測、或いは、フレーム内予測により、符号化処理を行う。これにより、サーチ再生ではＩＤＲフレームを復号した後、どのフレームを再生しても、必ず復号できるブロックが存在し、画面が更新可能となり、サーチ画の品質を上げることができる。また。どのフレームにも復号できる符号化ブロックが存在するので、可変速再生も可能になる。
【００５８】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００５９】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００６０】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００６１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【００６２】
【図１】発明の実施形態に対応する画像符号化装置の構成の一例を示す図である。
【図２】発明の実施形態に対応する画像符号化回路の構成の一例を示す図である。
【図３】発明の実施形態に対応するフレームにおける領域の設定例を示す図である。
【図４ａ】ＭＰＥＧ２における画像符号化の参照関係を説明するための図である。
【図４ｂ】Ｈ２６４／ＡＶＣにおける画像符号化の参照関係を説明するための図である。
【図５】符号化処理対象の画像データの構成を説明するための図である。
【図６】発明の実施形態に対応する処理の一例を示すフローチャートである。
【符号の説明】
【００６３】
１０１  入力端子
１０２  カメラ信号処理回路
１０３  画像符号化回路
１０４  ストリーム生成回路
１０５  バッファ回路
１０６  誤り訂正回路
１０７  記録回路
１０８  記録媒体
１０９  制御回路
【図１】
2009081727.tif 000003
【図２】
2009081727.tif 000004
【図３】
2009081727.tif 000005
【図４ａ】
2009081727.tif 000006
【図４ｂ】
2009081727.tif 000007
【図５】
2009081727.tif 000008
【図６】
2009081727.tif 000009