(57)【特許請求の範囲】
【請求項１】
複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成される参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を逆再生する逆再生方法であって、
ａ）一の周期において複数の前記他のブロック内の前記特定領域を時間軸に沿って復号化する工程と、
ｂ）前記ａ）の工程で復号化された前記特定領域に基づいて前記参照フレームを展開し、当該参照フレームに基づいて、前記一の周期において複数の前記他のブロックに後続する前記キーフレームを復号化する工程と、
ｃ）前記ｂ）の工程で復号化されたキーフレームに基づいて、前記一の周期に後続する周期における複数の前記他のブロックの画像を時間軸とは逆に復号化し再生する工程と、
ｄ）前記ｂ）の工程で復号化された前記キーフレームを再生する工程と、
ｅ）前記ａ）〜ｄ）の工程を時間軸とは逆に前記周期毎に繰り返し実行する工程と
を備える動画像の逆再生方法。
【請求項２】
複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り再生する早送り再生方法であって、
ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、
ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、
ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程と
を備える動画像の早送り再生方法。
【請求項３】
複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り検索する早送り検索方法であって、
前記動画像を早送り再生する工程と、
前記早送り再生の途中で動画像を一時停止して表示する工程と
を備え、
前記早送り再生する工程は、
ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、
ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、
ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程と
を備える動画像の早送り検索方法。
【請求項４】
請求項３に記載の動画像の早送り検索方法であって、
前記途中で動画像を一時停止して表示する工程は、前記キーフレーム及び前記他のブロックの画像を蓄積し、一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生することを特徴とする動画像の早送り検索方法。
【請求項５】
請求項１ないし請求項４のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化された動画像の早送り再生方法、逆再生方法及び早送り検索方法及びそれに関連する技術に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、「キーフレーム」と称す）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。
【０００４】
図１１を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。
【０００５】
図１１に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００６】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００７】
このようなビットストリームの復号化処理の例を図１２を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００８】
このようなＭＰＥＧ方式に代表される動画圧縮方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【０００９】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上動画像のように再生する方式もある。
【００１０】
【発明が解決しようとする課題】
｛第１の課題｝
ところで、動画を再生する場合、録画した通りに通常の速度で再生する場合のほかに、検索のために早送り再生や逆再生を行うことがある。上述のＭＰＥＧ方式等の動画圧縮方式では、再生のために直前までのフレーム情報が必要となるため、逐次、時間順にフレームを伸長しなければならない。このため、逆再生のようにフレームを圧縮時とは時間軸に対して逆方向に再生する場合も、一旦時間軸通りにデータを伸長する必要がある。その結果、再生のために大量のメモリを必要とし、再生を開始するのに時間がかかってしまい、動画はぎこちなくなる。
【００１１】
また、早送り再生のようにフレームを間引きを行いながら再生する場合においても、同様に一旦時間軸通りに再生する必要がある。このため単位時間あたりに伸長を行うデータ量は通常の再生に比べて画像を間引きする分多くなる。現実として、ＭＰＥＧ方式の動画像を早送り再生する場合、基準フレームを紙芝居のように再生しており、スムーズな動画は得られていない。
【００１２】
これに対して、ＭｏｔｉｏｎＪＰＥＧ方式等の静止画像の圧縮方式の場合は、フレーム間引きのような不連続な再生に対して高い自由度を持っている。しかしながら動画圧縮方式に比べて圧縮率が低いという問題がある。
【００１３】
このような問題に鑑みてこの発明が解決しようとするところは、高い圧縮率を実現しつつ、逆再生、早送り再生といった特殊再生においてスムーズな動画を得る動画像の圧縮符号化された動画像の早送り再生方法、逆再生方法及びそれに関連する技術を提供する点にある。
【００１４】
｛第２の課題｝
ところで、動画の中から目的の画面を検索する場合、早送り再生を行うことにより検索が行われる。動画圧縮方式であるＭＰＥＧでは、画面相関をとらない画像のみを再生し早送りを実現するが、一般的なＭＰＥＧ再生装置では早送り再生を行う場合、画面相関を取っていない基準フレームだけを再生するため紙芝居のようになってしまう。このため検索の目的の画面が基準フレームにないとき、見落としてしまうことになる。
【００１５】
フレーム単位で画像を間引きした場合、数フレームしか移らなかった対象物は画面に再生されないこととなる。セキュリティ用途では侵入者がいたことを検索するために、その侵入者が数フレームしか移らなかった場合、侵入者を発見できないため、検索として使用することはできない。
【００１６】
そこで、この発明が解決しようとするところは、高い圧縮率を実現しつつ、早送り再生時の動画検索において、検索の対象物を比較的正確に識別することの可能な動画像の早送り検索方法及びそれに関連する技術を提供する点にもある。
【００１７】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成される参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を逆再生する逆再生方法であって、ａ）一の周期において複数の前記他のブロック内の前記特定領域を時間軸に沿って復号化する工程と、ｂ）前記ａ）の工程で復号化された前記特定領域に基づいて前記参照フレームを展開し、当該参照フレームに基づいて、前記一の周期において複数の前記他のブロックに後続する前記キーフレームを復号化する工程と、ｃ）前記ｂ）の工程で復号化されたキーフレームに基づいて、前記一の周期に後続する周期における複数の前記他のブロックの画像を時間軸とは逆に復号化し再生する工程と、ｄ）前記ｂ）の工程で復号化された前記キーフレームを再生する工程と、ｅ）前記ａ）〜ｄ）の工程を時間軸とは逆に前記周期毎に繰り返し実行する工程とを備える。
【００１８】
請求項２に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り再生する早送り再生方法であって、ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程とを備える。
【００１９】
請求項３に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り検索する早送り検索方法であって、前記動画像を早送り再生する工程と、前記早送り再生の途中で動画像を一時停止して表示する工程とを備え、前記早送り再生する工程は、ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程とを備える。
【００２０】
請求項４に記載の発明は、請求項３に記載の動画像の早送り検索方法であって、前記途中で動画像を一時停止して表示する工程は、前記キーフレーム及び前記他のブロックの画像を蓄積し、一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生する。
【００２１】
請求項５に記載の発明は、請求項１ないし請求項４のいずれかに記載の各工程をコンピュータに実現させるプログラムである。
【００２２】
【発明の実施の形態】
＜圧縮伸長装置の基本構成＞
まず、この発明の一の実施の形態に使用する圧縮伸長装置の基本的構成について説明する。この圧縮伸長装置は、図１の如く、画像データを伸長するための演算器Ｕ１と、演算結果を画像に出力するビデオデコーダＵ２と、再生するフレームの順序を制御する中央演算処理装置（ＣＰＵ：コンピュータ）Ｕ３と、動画を保持する記憶装置Ｕ４とからなる。
【００２３】
中央演算処理装置Ｕ３は、記憶装置Ｕ４に格納された圧縮画像データを管理し、また逆再生、早送り再生及び早送り検索といった特殊再生に応じた再生を行うための圧縮画像データの処理順序を決定し、またその圧縮画像データを伸長する演算器Ｕ１の動作モードを決定する。
【００２４】
中央演算処理装置Ｕ３の動作手順は、記憶装置Ｕ４内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、以下の各方法を実行するようになっている。
【００２５】
＜圧縮符号化方法＞
上記の圧縮伸長装置を使用した圧縮符号化方法を詳説する。図２は、この圧縮符号化方法を説明するための模式図、図３は、この圧縮符号化方法を実現するためのフローチャートである。
【００２６】
この実施の形態の圧縮符号化方法は、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図２のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行うことが可能となる。
【００２７】
この圧縮符号化方法では、図２の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が所定の符号化器（図示せず）に入力される（図３中のステップＳＴ１）。尚、図３中のキーブロックメモリ２には、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ＝Group of Block：後に詳述する）から構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号化器のキーブロックメモリ１１に圧縮伝送された後、復号化されて格納されることになる。
【００２８】
そして、この圧縮符号化方法で使用される符号化器は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっており、図２においては、入力フレームｆ１がキーフレームとなっている。
【００２９】
図３中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図２においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間符号化処理を実行する。
【００３０】
このステップＳＴ３の処理手順を図４に示している。図４に示すように、ステップＳＴ４でキーブロックメモリ２に格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。
【００３１】
次いで、図４中のステップＳＴ５で、差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３２】
他方、図４中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３３】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３４】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図４の処理）の実行後、図３中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数は、図３中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図３に示したキーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号化器で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３５】
次に、図２に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器に入力される。そうすると、図３中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図２において、フレームｆ２はキーフレームでは無い。したがって、図３においてはステップＳＴ９に処理が移行する。
【００３６】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（以下「ＧＯＢ」と称す）に分割される。
【００３７】
ここで、ＧＯＢは、１フレームの画像において、例えば１６分割または３２分割という具合に、「２」のべき乗の個数で垂直方向に分割するための分割単位としての特定領域を意味している。
【００３８】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（「キーＧＯＢ」と称す）が指定される。
【００３９】
ここで、図６（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図２に示すように、時間軸に沿って配列されることになる。
【００４０】
再びフレームｆ２の説明に戻る。この時点で、図３中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２に蓄積される。
【００４１】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図５はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図５に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図３に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４２】
次に、図２において、上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２にフレーム１枚分蓄積され、図２に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００４３】
このように、上記ステップＳＴ３でキーブロックメモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００４４】
またキーブロックメモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００４５】
＜通常再生時の復号化方法＞
次に、通常再生時の復号化方法を詳説する。図７は、この復号化方法を説明するための模式図、図８は、この復号化方法を実現するためのフローチャートである。
【００４６】
まず、上記の圧縮符号化方法で符号化した圧縮画像データが、ビットストリームとなって復号化器に入力される（図８中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器から所定の復号化器（図示せず）に、図７に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図８中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図４のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図７中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ１１（図８）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ１０（図８）に格納される。
【００４７】
また、図７において、キーフレームｆ１の圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図３中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図２参照）が合成される。この合成された参照フレームＡは、復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図６（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００４８】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図８に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００４９】
図９は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図９に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。
【００５０】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５１】
他方、当該ブロックがキーＧＯＢに属する場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００５２】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５３】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００５４】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００５５】
次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００５６】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図８に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００５７】
以上のキーＧＯＢ再量子化工程を図６に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図７に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。
【００５８】
次に、上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００５９】
このようにして、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６０】
＜逆再生の復号化方法＞
逆再生の復号化方法について説明する。まず中央演算処理装置Ｕ３は、図１の如く、動作モードを決定するために、該当する圧縮画像データが直前に再生したのと同じＧＯＰに存在するか否かを判定する。ここで、異なるＧＯＰである場合は、キーフレームとキーＧＯＢのデータを記憶装置Ｕ４内から検索し、演算器Ｕ１に対してキーフレームとキーＧＯＢのデータを伸長するよう指示する。
【００６１】
このようにして、中央演算処理装置Ｕ３が、伸長する圧縮データが格納される記憶装置のポインタと伸長する動作モードを演算器Ｕ１に対して指示することで、演算器Ｕ１が圧縮画像データの伸長を開始する。演算器Ｕ１は、伸長した画像データをビデオデコーダＵ２に出力し画像が再生される。
【００６２】
図１０は、上記した圧縮符号化方法で圧縮された画像データのデータフォーマットを例示したものである。この画像データでは、先頭に参照フレーム（参照フレームＩ）Ｉが格納され、続いてキーフレームＫ１が格納され、さらにその後にキーＧＯＢが含まれるフレームＡ１〜Ａ８が格納される。その後、キーフレームＫ２，Ｋ３…と、キーＧＯＢが含まれるフレームＢ１〜Ｂ８，Ｃ１〜Ｃ８…とが繰り返し格納される。
【００６３】
参照フレーム（Ｉピクチャ）Ｉは画面全体がイントラ（フレーム内）符号化された圧縮画像データである。
【００６４】
キーフレームＫ１…は画面全体がＩピクチャまたはキーフレームと相関圧縮された圧縮画像データである。
【００６５】
キーＧＯＢが含まれた各フレーム（Ｐピクチャ）Ａ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…では、画面を複数のＧＯＢに分割し、そのうちの一つをイントラ符号化されたキーＧＯＢとする一方、その他をキーフレームと相関圧縮された圧縮画像データとする。
【００６６】
キーフレームＫ２，Ｋ３…は、各キーＧＯＢが含まれたフレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…の中のキーＧＯＢを集めて一画面にしたもの圧縮画像データである。尚、以下の説明では、同一のキーフレームと相関圧縮された圧縮画像データをＧＯＰと称することとする。
【００６７】
逆再生の処理手順を、次の表１に示す。
【００６８】
【表１】
0004736233.tif 000002
【００６９】
表１中の＃印の欄は処理番号であり、この処理番号の順に動作が実行される。また、表１中の符号Ａ１Ｇ‐Ａ８Ｇ及び符号Ｂ１Ｇ‐Ｂ８Ｇは、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８に含まれるキーＧＯＢを意味している。
【００７０】
まず処理番号＃１において、フレームＢ１‐Ｂ８のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ，Ｂ１Ｇ‐Ｂ８Ｇ）を展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき、画像再生は行わない。
【００７１】
次に、処理番号＃２において、処理番号＃１で展開したフレームＢ１‐Ｂ８のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ，Ｂ１Ｇ‐Ｂ８Ｇ）を用いて、キーフレームＫ３を展開する。このとき画像再生は行わない。
【００７２】
続いて、処理番号＃３において、フレームＣ８‐Ｃ１を所定の表示装置側に転送し、当該画像を再生する。このときキーブロックメモリ１１は更新しないでおく。その後、処理番号＃４においてキーフレームＫ３を再生する。
【００７３】
処理番号＃５では、フレームＡ１〜Ａ８内のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ）を展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき画像再生は行わない。そして、処理番号＃６において、処理番号＃５で展開されたフレームＡ１〜Ａ８内のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ）を使用して、キーフレームＫ２を展開する。このとき画像再生は行わない。
【００７４】
そして、処理番号＃７において、フレームＢ８‐Ｂ１を所定の表示装置に転送し、この画像を再生する。このときキーブロックメモリ１１を更新しないでおく。続いて、キーフレームＫ２を再生する。
【００７５】
次に、処理番号＃９において、参照フレーム（Ｉピクチャ）ＩをキーＧＯＢに展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき画像再生は行わない。そして、処理番号１０おいて、処理番号９で展開された参照フレーム（Ｉピクチャ）ＩをキーＧＯＢを用いて、キーフレームＫ１を展開する。このとき画像再生は行わない。続く処理番号＃１１において、フレームＡ８‐Ａ１を表示装置に転送し、かかる画像を再生する。このときキーブロックメモリ１１を更新しないでおく。
【００７６】
しかる後、キーフレームＫ１を再生（処理番号＃１２）した後、さらに、キーブロックメモリ１１内に展開された参照フレームＩの画像を再生する（処理番号＃１３）。
【００７７】
このように、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…内にキーＧＯＢを含ませているので、このキーＧＯＢを使用することで、最初から全ての動画像を時間軸に沿って展開しなければならないＭＰＥＧ等の従来の圧縮画像に比べて、容易に逆再生の復号化を行うことができる。したがって、大量のメモリを必要とせず、効率よく逆再生の復号化を行うことができ、スムーズな逆再生画像を表示できる。
【００７８】
また、従来のＪＰＥＧ等の静止画像を擬似的に動画像表示させる場合に比べて、上記した圧縮符号化方法で圧縮符号化することで、高い圧縮率を実現することができる。
【００７９】
＜早送り再生の復号化方法＞
次に、早送り再生の処理手順について説明する。例として、３倍再生の早送りを例として挙げ、最初のキーＧＯＢを含むフレームＡ１を再生した後に、特殊再生としての早送りを開始する場合について説明する。尚、早送り再生する画像データのデータフォーマットは、図１０に示した通りである。
【００８０】
早送り再生の処理手順を、次の表２に示す。
【００８１】
【表２】
0004736233.tif 000003
【００８２】
まず、処理番号＃２１において、参照フレーム（Ｉピクチャ）ＩをキーＧＯＢに展開し、この展開されたデータをキーブロックメモリ１１に格納した後、キーブロックメモリ１１内に展開された参照フレームＩの画像を再生する。
【００８３】
次に、処理番号＃２２において、キーフレームＫ１を展開する。このとき画像再生は行わないでおく。
【００８４】
続いて、処理番号＃２３でフレームＡ１を表示装置に転送し、当該フレームＡ１の画像を再生する。
【００８５】
そして、処理番号＃２４で、フレームＡ２，Ａ３のキーＧＯＢ（Ａ２Ｇ，Ａ３Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、続く処理番号＃２５では、フレームＡ４を表示装置に転送して当該画像を再生する。
【００８６】
また、処理番号＃２６において、フレームＡ６，Ａ７のキーＧＯＢ（Ａ６Ｇ，Ａ７Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃２７では、フレームＡ８を表示装置に転送して、当該画像を再生する。
【００８７】
さらに、処理番号＃２８で、キーフレームＫ２を展開する。このとき画像再生は行わないでおく。また、処理番号＃２９において、フレームＢ１のキーＧＯＢ（Ｂ１Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、フレームＢ２を表示装置に転送し、当該画像を再生する（処理番号＃３０）。
【００８８】
そして、フレームＢ３，Ｂ４のキーＧＯＢ（Ｂ３Ｇ，Ｂ４Ｇ）を更新する（処理番号＃３１）。このとき、画像の再生は行わないでおく。一方、次の処理番号＃３２では、フレームＢ５を表示装置に転送し、当該画像を再生する。
【００８９】
続いて、処理番号＃３３では、フレームＢ６，Ｂ７のキーＧＯＢ（Ｂ６Ｇ，Ｂ７Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃３４では、フレームＢ８を表示装置に転送し、当該画像を再生する。
【００９０】
処理番号＃３５では、キーフレームＫ３を展開する。このとき画像再生は行わないでおく。一方、処理番号＃３６では、フレームＣ１を表示装置に転送し、当該画像を再生する。
【００９１】
また、処理番号＃３７では、フレームＣ２，Ｃ３のキーＧＯＢ（Ｃ２Ｇ，Ｃ３Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃３８において、フレームＣ４を表示装置に転送し、当該画像を再生する。
【００９２】
さらに処理番号＃３９において、フレームＣ５，Ｃ６のキーＧＯＢ（Ｃ５Ｇ，Ｃ６Ｇ）領域を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃４０で、フレームＣ７を転送し画像を再生する。
【００９３】
このように、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…内にキーＧＯＢを含ませ、さらに、フレーム内のデータを展開するのみで再生する必要のないキーフレームＫ１，Ｋ２，Ｋ３と、フレーム内の特定部分データ（キーＧＯＢ）のみ展開する必要があって再生しないフレームＡ２，Ａ３，Ａ６，Ａ７，Ｂ１，Ｂ３，Ｂ４，Ｂ６，Ｂ７，Ｃ２，Ｃ３，Ｃ５，Ｃ６と、フレーム内の特定部分データ（キーＧＯＢ）を展開し且つ再生する必要のあるフレームＡ１，Ａ４，Ａ８，Ｂ２，Ｂ５，Ｂ８，Ｃ１，Ｃ４，Ｃ７と、フレーム内のデータを全て展開して再生するフレームＩとを隅分け、キーＧＯＢを適宜しようして早送り再生を行っているので、最初から全ての動画像を時間軸に沿って展開しなければならないＭＰＥＧ等の従来の圧縮画像に比べて、容易に早送り再生の復号化を行うことができる。したがって、大量のメモリを必要とせず、効率よく動画像の早送り再生を行うことができ、スムーズな早送り再生画像を表示できる。
【００９４】
＜早送り検索の復号化方法＞
上記した圧縮符号化方法では、画面内が複数のＧＯＢに分割されており、各フレーム内に、画面相関をとらないイントラ符号化したキーＧＯＢが必ず存在する。したがって、動画像の撮像時に検索対象が画面内に映るようにカメラ配置されていた場合、記録された複数のフレームにおいて、イントラ符号化されたキーＧＯＢのみを再生することで、高速な早送り検索を行うことができる。
【００９５】
ただし、早送り検索のための画面（以下「サーチ画面」と称す）は、一画面中に異なる時間に撮影された画像が表示されるため、画面に不連続な線が入った状態で再生される。このため、このまま再生を停止させた場合には、検索の対象物であるかどうかを識別することが難しい。
【００９６】
そこで、この検索結果を表示させる画面としては、複数の時間に撮影された画面をそれぞれ分割し、再合成された画面を検索結果の画面とする。即ち、画面に表示されている部分画面の元の画面を順次再生することで、検索の対象物を識別することが可能になる。
【００９７】
図１の如く、中央演算処理装置Ｕ３は、伸長する圧縮データが格納される記憶装置Ｕ４のポインタと伸長する動作モードとを、演算器Ｕ１に対して指示する。これにより、演算器Ｕ１が圧縮画像データの伸長を開始する。演算器Ｕ１は、伸長した画像データをビデオデコーダＵ２に出力し、画像が再生される。
【００９８】
キーＧＯＢの再生において、中央演算処理装置Ｕ３は記憶装置Ｕ４に格納された圧縮データからキーＧＯＢを集め、画面を再構成する。再構成する際に、中央演算処理装置Ｕ３は元画面のＩＤを保持しており、再生中の画面がどの画面から再構成されたものかがわかるようになっている。
【００９９】
中央演算処理装置Ｕ３は、再構成されたデータを演算器Ｕ１に処理をさせ、再生させる。
【０１００】
以下に、イントラ符号化されたＧＯＢを再生することにより早送り検索を行う処理動作を詳述する。
【０１０１】
図７の通り、画面の各フレームｆ１〜ｆ５は複数のＧＯＢに分割されており、画面相関をとらないイントラ符号化したキーＧＯＢが各フレームｆ１〜ｆ５内にに必ず存在する。このキーＧＯＢのデータを複数のフレームｆ１〜ｆ５から抜き出し、画面を再構成して再生する。即ち、キーフレームのみをサーチ画面として早送り検索を行う。
【０１０２】
これにより、検索対象が画面全体に映るようにカメラが設置されていた場合、高速な検索を行うことができる。
【０１０３】
次に、早送り検索（キーＧＯＢの再生）の途中で一時停止する場合の動作を説明する。この場合、中央演算処理装置Ｕ３が、一時停止するときに、再生されている画像から保持している元画像の情報を判定する。そして、中央演算処理装置Ｕ３は、判定した画像を順番に演算器Ｕ１に処理をさせ、画像を再生する。
【０１０４】
ところで、上述の通り、サーチ画面の再生画像は、複数の時間に撮影されたものを再構成したものであるため、移動している撮像対象物が複数のＧＯＢに分割されていた場合、サーチ画面内において当該撮像対象物がキーＧＯＢ単位で分離してしまい、そのまま一時停止をしても何が撮影されているが確認できない。
【０１０５】
このため、画面を構成した元画面の情報を蓄えておき、一時停止をされた時は元画面を順番に再生していくことで、撮像対象物が何であるかを容易に認識できるようになる。
【０１０６】
【発明の効果】
請求項１及び請求項５に記載の発明によれば、フレーム内符号化とフレーム間の差分を用いた符号化とが各フレーム内に混在している場合に、複数の他のブロック内の特定領域を時間軸に沿って復号化し、その特定領域に基づいて参照フレームを展開し、当該参照フレームに基づいて後続キーフレームを復号化し、そのキーフレームに基づいて、後続周期における複数の他のブロックの画像を時間軸とは逆に復号化し再生した後、先に復号化されたキーフレームを再生するようにしているので、フレーム間符号化により高い圧縮率を実現しつつ、逆再生においては、フレーム内符号化された特定領域を用いてスムーズな動画を得ることが可能である。
【０１０７】
請求項２、請求項３及び請求項５に記載の発明によれば、フレーム内符号化とフレーム間の差分を用いた符号化とが各フレーム内に混在している場合に、複数の他のブロックの特定領域を抽出しつつ、キーフレームに基づいて、一部の他のブロックのみを復号化し再生し、抽出された特定領域に基づいて参照フレームを展開し、参照フレームに基づいてキーフレームを復号化するので、フレーム間符号化により高い圧縮率を実現しつつ、早送り再生または早送り検索においては、フレーム内符号化された特定領域を用いてスムーズな動画を得ることが可能である。
【０１０８】
請求項４及び請求項５に記載の発明によれば、キーフレーム及び前記他のブロックの画像を蓄積してるので、早送り検索の途中で一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生することで、特定領域毎に画像が分断されるといった事態を防止できる。したがって、高い圧縮率を実現しつつも、早送り検索において、検索の対象物を比較的正確に識別することが可能となる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態で使用される圧縮伸長装置の基本的構成を示すブロック図である。
【図２】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】４つのブロック領域に分割された各フレームを示す説明図である。
【図７】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図８】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図９】再量子化処理を説明するためのフローチャートである。
【図１０】圧縮符号化された動画像のデータフォーマットを示す図である。
【図１１】従来の符号化方法を説明するためのフローチャートである。
【図１２】従来の符号化方法を説明するためのフローチャートである。
【符号の説明】
１，１０  キーフレームメモリ
２，１１  キーブロックメモリ
ｆ１  キーフレーム
ｆ２〜ｆ５  フレーム
【図１】
0004736233.tif 000004
【図２】
0004736233.tif 000005
【図３】
0004736233.tif 000006
【図４】
0004736233.tif 000007
【図５】
0004736233.tif 000008
【図６】
0004736233.tif 000009
【図７】
0004736233.tif 000010
【図８】
0004736233.tif 000011
【図９】
0004736233.tif 000012
【図１０】
0004736233.tif 000013
【図１１】
0004736233.tif 000014
【図１２】
0004736233.tif 000015