(57)【特許請求の範囲】
【請求項１】
所定の複数枚の画面を１つの画像グループとし、該１つの画像グループを構成する各々画面のディジタル画像データについて符号化を行なう画像信号圧縮符号化装置において、該装置は、
前記画面の画像データは、複数のマクロブロックに分割されて構成され、
入力した画面順より遅く符号化を行なう画面の画像データを蓄積する第１の記憶手段と、
再生画像データを交互に蓄積して、これから符号化しようとする画面より過去の画面の再生画像データと、または未来の画面の再生画像データとが蓄積される第２および第３の記憶手段と、
該第２または第３の記憶手段のいずれかより過去と未来の再生画像データとを受け、該受けた過去と未来の再生画像データを平均化する平均化手段と、
前記第２および第３の記憶手段のいずれかよりの過去の再生画像データと、前記平均化手段からの平均化データと、選択信号とを受け、該選択信号にもとづきそれら入力したデータのいずれかを選択して出力する選択手段と、
第１の入力端子から前記これから符号化しようとする画面の画像データを入力し、第２の入力端子から前記選択手段からの画像データを入力し、それら入力したデータの引き算を行なう減算手段と、
前記これから符号化しようとする画面の画像データまたは該減算手段により引き算の行なわれたデータを符号化する符号化手段と、
手操作に応動して動画モードまたは静止画モードを示す指定信号を出力するボタン回路手段と、
該指定信号にもとづいて、前記第１、２、３の記憶手段、平均化手段、選択手段、減算手段および符号化手段を制御する制御手段とを有し、
該制御手段は、前記符号化により第１ピクチャのデータを生成するときは、前記これから符号化しようとする画面のデータを前記符号化手段に入力させ、また、フレーム間順方向予測符号化により第２ピクチャを生成するときは、前記減算手段の第１の入力端子に前記これから符号化しようとする画面のデータを入力させ、前記過去のデータを選択する選択信号を前記選択手段に供給して前記第２または第３の記憶手段のいずれかより過去のデータを該減算手段の第２の入力端子に入力させ、該入力したデータの引き算を行なわせて、その結果のデータを前記符号化手段に入力させ、また、双方向予測符号化により第３ピクチャを生成するときは、前記減算手段の第１の入力端子に前記これから符号化しようとする画面のデータを前記第１の記憶手段から入力させ、前記平均化データを選択する選択信号を前記選択手段に供給して前記平均化手段からの平均化データを該減算手段の第２の入力端子に入力させ、該入力したデータの引き算を行なわせて、その結果のデータを前記符号化手段に入力させ、
該制御手段はさらに、入力する前記複数の画面の順序が所定枚数の第３ピクチャ、少なくとも１枚の第１ピクチャ、所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャである場合、前記指定信号が動画モードを指定しているときは、少なくとも１枚の第１ピクチャ、第１ピクチャの前の所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャ、第２ピクチャの前の所定枚数の第３ピクチャの順に符号化データを出力させ、静止画モードを指定したときは、前記動画モードのときの少なくとも１枚の第２ピクチャを第１ピクチャに変えて出力させ、
前記制御手段はさらに、前記ボタン回路手段が出力する前記指定信号に応じて、該指定信号が静止画モードを示すときに、該指定信号を受けたときより後方の前記画像グループを静止画モードのときの画像グループとし、該画像グループが静止画モードである情報および前記第２ピクチャを第１ピクチャに変えたことを示す情報を得て、これらの情報を前記符号化手段に含まれる多重化手段に出力し、
該多重化手段は、前記制御手段からのこれらの情報を所定の出力データ形式の所定の位置に多重化させることを特徴とする画像信号圧縮符号化装置。
【請求項２】
請求項１に記載の画像信号圧縮符号化装置において、
前記符号化手段は、前記減算手段により引き算されたマクロブロックのデータを複数のブロックに分割して各ブロックのデータについて２次元直交変換する直交変換手段と、
該直交変換手段により直交変換されたデータを正規化する可変長正規化手段と、
該可変長正規化手段により正規化されたデータを符号化する可変長符号化手段とを含み、
前記多重化手段は、さらに、前記可変長符号化手段により符号化されたデータを前記所定の出力データ形式の所定の位置に多重化することを特徴とする画像信号圧縮符号化装置。
【請求項３】
請求項２に記載の画像信号圧縮符号化装置において、該装置はさらに、
前記正規化手段からの正規化されたデータを逆正規化する逆正規化手段と、
該逆正規化手段により逆正規化されたデータを２次元直交逆変換する直交逆変換手段と、
第３の入力端子から該直交逆変換手段からの逆正規化されたデータを入力し、第４の入力端子から前記第２または第３の記憶手段のいずれかより過去のデータまたは前記平均化手段から平均化データを入力し、それら入力したデータの加算を行ない、該加算データを前記第２または第３の記憶手段に送る加算手段とを含むことを特徴とする画像信号圧縮符号化装置。
【請求項４】
請求項１に記載の画像信号圧縮符号化装置からディジタル画像データとその制御データを含む信号を受け、該信号の復号を行なう画像信号伸長再生装置において、該装置は、
所定の複数枚の画面を含む１つの画像グループのうち、少なくとも１画面にはフレーム内符号化方式が、また、少なくとも１画面にはフレーム間順方向予測符号化方式が、また所定枚数の画面には双方向予測符号化方式がそれぞれ適用され、
前記ディジタル画像データとその制御データを含む信号を受け、該受けた信号から該画像データと該制御データを分離して出力する多重分離手段と、
該多重分離手段から入力された画像データを逆符号化する逆符号化手段と、
画像データを交互に蓄積して、これから復号しようとする画面よりも過去の再生画面の画像データと、該過去のデータよりもさらに過去の再生画面の画像データとが蓄積される第１および第２の記憶手段と、
該第１または第２の記憶手段のいずれかより前記過去のデータと該過去のデータよりもさらに過去のデータとを受け、該受けた過去とさらに過去のデータを平均化する平均化手段と、
前記第１または第２の記憶手段のいずれかよりの過去のデータと、前記平均化手段からの平均化データと、選択信号とを受け、該選択信号にもとづきそれら入力したデータのいずれかを選択して出力する第１の選択手段と、
第１の入力端子から前記逆符号化手段からのこれから復号しようとする画面のデータを入力し、第２の入力端子から該第１の選択手段からのデータを入力し、該入力したデータの加算を行なう加算手段と、
前記多重分離手段から制御データを受け、該制御データにもとづいて前記多重分離手段、逆符号化手段、第１および第２の記憶手段、ならびに前記平均化手段、第１の選択手段、加算手段を制御する制御手段とを有し、
該制御手段は、前記逆符号化して第１ピクチャを再生するときは、前記逆符号化手段により復号された画面データを前記第１および第２の記憶手段のいずれかに出力させ、また、逆フレーム間順方向予測符号化して第２ピクチャを再生するときは、前記加算手段の第１の入力端子に前記逆符号化手段により復号された画面データを入力させ、前記過去のデータを選択する選択信号を前記第１の選択手段に供給して前記第１および第２の記憶手段のいずれかより過去のデータを該加算手段の第２の入力端子に入力させ、該入力したデータの足し算を行なわせて、その結果のデータを該第１および第２の記憶手段のいずれかに出力させ、また、逆双方向予測符号化により第３ピクチャを再生するときは、前記加算手段の第１の入力端子に前記逆符号化手段により復号された画面データを入力させ、前記平均化データを選択する選択信号を前記第１の選択手段に供給して前記平均化手段からの平均化データを該加算手段の第２の入力端子に入力させ、該入力したデータの足し算を行なわせて、その結果のデータを出力させ、
該制御手段はさらに、前記多重分離手段からの制御データの中に含まれている静止画モードを示す情報および第２ピクチャを第１ピクチャに変えたことを示す情報を受けたときは、該情報にもとづいて前記第１または第２の記憶手段のいずれかより第１ピクチャを再生画面のデータとして出力させることを特徴とする画像信号伸長再生装置。
【請求項５】
請求項４に記載の画像信号伸長再生装置において、
前記逆符号化手段は、前記多重分離手段から入力された画像データを復号する復号手段と、
該復号手段により復号されたデータを逆正規化する逆正規化手段と、
該逆正規化手段により逆正規化されたデータを２次元直交逆変換する直交逆変換手段とを含むことを特徴とする画像信号伸長再生装置。
【請求項６】
請求項４に記載の画像信号伸長再生装置において、該装置はさらに、
前記第１の記憶手段からの再生画像データと、前記第２の記憶手段からの再生画像データと、前記逆符号化手段からの再生画像データと、選択信号とを受け、該選択信号にもとづきそれら入力したデータのいずれかを選択して出力する第２の選択手段と、
該第２の選択手段から再生画像データを受け、該受けた再生画像データを対応するアナログ映像信号に変換し、該変換したアナログ映像信号を出力端子に出力する信号変換手段を含むことを特徴とする画像信号伸長再生装置。
【請求項７】
請求項６に記載の画像信号伸長再生装置において、前記信号変換手段の出力端子は、利用装置が接続可能であり、前記アナログ映像信号を該利用装置へ出力することを特徴とする画像信号伸長再生装置。
【請求項８】
請求項７に記載の画像信号伸長再生装置において、前記利用装置は、前記アナログ映像信号の静止画像の映像をモニタするモニタ装置またはプリントするプリンタであることを特徴とする画像信号伸長再生装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像信号圧縮符号化装置および伸長再生装置に関し、とくにたとえば順次入力する動画像の各々画面に画面単位に各種の符号化方式を所定の順序で適用することのできる画像信号圧縮符号化装置およびこのように符号化されたデータを復号する伸長再生装置に関するものである。
【０００２】
【従来の技術】
本格的な音声・データ・画像（映像）を統合的に扱うマルチメディア時代を迎えるにあたり、ISO(International Organization for Standardization、 国際標準化機構）は、マルチメディアの中核技術である様々な情報圧縮技術について標準化を行なっている。近年、ISO では、CD-ROM（コンパクトディスクを使った読み出し専用メモリ）などの蓄積メディアを対象に蓄積用動画符号化方式としてMPEG(Moving Picture Eperts Group)1を標準化した。
【０００３】
このようなMPEG1 対応の圧縮符号化装置は、それに入力する動画像の所定の１画面に対しては、フレーム内符号化方式を適用してＩピクチャ(Intra-Picture）を生成し、また、このＩピクチャとは異なる入力の所定の１画面に対しては、フレーム間順方向予測符号化方式を適用してＰピクチャ(Predictive-Picture)を生成し、また、ＩピクチャおよびＰピクチャとは異なる入力の所定の２画面の対しては双方向予測符号化方式を適用してＢピクチャ(Bidirectionally Predictive-Picture)を生成し、これら生成した符号化データをたとえば図9bのGOP1に示すような順序で繰り返し出力している。このような順序で出力される符号化（圧縮）データは、たとえばCD-ROMに入力され、それに蓄積される。
【０００４】
また、CD-ROMに蓄積された符号化データの映像をモニタで再生する場合、MPEG1 対応の伸長再生装置が用いられる。この装置は、CD-ROMからの符号化データを復号するとともに、この復号データをモニタに表示するに適合した信号に変換する。ＰおよびＢピクチャがたとえば図９に示すような一定の比率でＩピクチャと混在する動画像の映像をモニタに表示した場合、その映像の動画像の動きや解像度などには、特に違和感はない。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述のような、MPEG1 対応の圧縮符号化装置からのＩ、Ｐ、Ｂピクチャの符号化データをその対応する伸長再生装置でそれぞれ復号し、その復号データに基づく静止画像の映像を、たとえばモニタ装置でモニタし、あるいはプリンタでプリントした場合に、その映像には解像度の劣化が目立つ、つまりその圧縮伸長に基づく歪が目立つという問題点があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、動画像の画面ごとに符号化方式を適用する際、歪の少ない静止画像を得ることのできる画像信号圧縮符号化装置およびこの装置により符号化されたデータを復号する伸長再生装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、所定の複数枚の画面を１つの画像グループとし、この１つの画像グループを構成する各々画面のディジタル画像データについて符号化を行なう画像信号圧縮符号化装置において、前記画面の画像データは、複数のマクロブロックに分割されて構成され、入力した画面順より遅く符号化を行なう画面の画像データを蓄積する第１の記憶手段と、これから符号化しようとする画面より過去の画面の再生画像データまたは未来の画面の再生画像データを蓄積する第２および第３の記憶手段と、第２または第３の記憶手段のいずれかより過去と未来の再生画像データとを受け、この受けた過去と未来の再生画像データを平均化する平均化手段と、第２および第３の記憶手段のいずれかよりの過去の再生画像データと、平均化手段からの平均化データと、選択信号とを受け、この選択信号にもとづきそれら入力したデータのいずれかを選択して出力する選択手段と、第１の入力端子からこれから符号化しようとする画面の画像データを入力し、第２の入力端子から選択手段からの画像データを入力し、それら入力したデータの引き算を行なう減算手段と、これから符号化しようとする画面の画像データまたは減算手段により引き算の行なわれたデータを符号化する符号化手段と、手操作に応動して動画モードと静止画モードを示す指定信号を出力するボタン回路手段と、この指定信号にもとづいて第１、２、３の記憶手段、平均化手段、選択手段、減算手段および符号化手段を制御する制御手段とを有し、この制御手段は、符号化により第１ピクチャのデータを生成するときは、これから符号化しようとする画面のデータを符号化手段に入力させ、また、フレーム間順方向予測符号化により第２ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを入力させ、過去のデータを選択する選択信号を選択手段に供給して第２または第３の記憶手段のいずれかより過去のデータを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせて、その結果のデータを符号化手段に入力させ、また、双方向予測符号化により第３ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを第１の記憶手段から入力させ、平均化データを選択する選択信号を選択手段に供給して平均化手段からの平均化データを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせて、その結果のデータを符号化手段に入力させ、この制御手段はさらに、入力する複数の画面の順序が所定枚数の第３ピクチャ、少なくとも１枚の第１ピクチャ、所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャである場合、指定信号が動画モードを指定しているときは、少なくとも１枚の第１ピクチャ、第１ピクチャの前の所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャ、第２ピクチャの前の所定枚数の第３ピクチャの順に符号化データを出力させ、静止画モードを指定したときは、動画モードのときの少なくとも１枚の第２ピクチャを第１ピクチャに変えて出力させることを特徴とする。
【０００８】
また、この画像信号圧縮符号化装置は、符号化手段は、減算手段により引き算されたマクロブロックのデータを複数のブロックに分割して各ブロックのデータについて２次元直交変換する直交変換手段と、直交変換手段により直交変換されたデータを正規化する正規化手段と、正規化手段により正規化されたデータを符号化する可変長符号化手段と、可変長符号化手段により符号化されたデータを所定の出力データ形式の所定の位置に多重化する多重化手段とを含み、制御手段は、指定信号により静止画モードの指定を受けたときは、この指定信号を受けたときより後方の画像グループを静止画モードのときの画像グループとし、この画像グループが静止画モードである情報および第２ピクチャを第１ピクチャに変えたことを示す情報を多重化手段に供給して出力データ形式の所定の位置に多重化させることを特徴とする。
【０００９】
本発明は上述の課題を解決するために、所定の複数枚の画面を１つの画像グループとし、この１つの画像グループを構成する各々画面ごとに圧縮符号化されたディジタル画像データとその制御データを含む信号を受け、この信号の復号を行なう画像信号伸長再生装置において、１つの画像グループを構成する各々画面の少なくとも１画面にはフレーム内符号化方式が、また、少なくとも１画面にはフレーム間順方向予測符号化方式が、また、所定枚数の画面には双方向予測符号化方式がそれぞれ適用され、ディジタル画像データとその制御データを含む信号を受け、この受けた信号から画像データと制御データを分離して出力する多重分離手段と、多重分離手段から入力された画像データを逆符号化する逆符号化手段と、これから復号しようとする画面よりも過去の再生画面の画像データまたはこの過去のデータよりもさらに過去の再生画面の画像データを蓄積する第１および第２の記憶手段と、第１または第２の記憶手段のいずれかより過去のデータとこの過去のデータよりもさらに過去のデータとを受け、この受けた過去とさらに過去のデータを平均化する平均化手段と、第１または第２の記憶手段のいずれかよりの過去のデータと、平均化手段からの平均化データと、選択信号とを受け、この選択信号にもとづきそれら入力したデータのいずれかを選択して出力する第１の選択手段と、第１の入力端子から逆符号化手段からのこれから復号しようとする画面のデータを入力し、第２の入力端子から第１の選択手段からのデータを入力し、この入力したデータの加算を行なう加算手段と、多重分離手段から制御データを受け、この制御データにもとづいて多重分離手段、逆符号化手段、第１および第２の記憶手段、ならびに平均化手段、第１の選択手段、加算手段を制御する制御手段とを有し、この制御手段は、逆符号化して第１ピクチャを再生するときは、逆符号化手段により復号された画面データを第１および第２の記憶手段のいずれかに出力させ、また、逆フレーム間順方向予測符号化して第２ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、過去のデータを選択する選択信号を第１の選択手段に供給して第１および第２の記憶手段のいずれかより過去のデータを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを第１および第２の記憶手段のいずれかに出力させ、また、逆双方向予測符号化により第３ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、平均化データを選択する選択信号を第１の選択手段に供給して平均化手段からの平均化データを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを出力させ、この制御手段はさらに、多重分離手段からの制御データの中に含まれている静止画モードを示す情報および１つの画像グループの中の複数の画面のうち再生画面を特定した情報を受けたときは、この情報にもとづいて第１または第２の記憶手段のいずれかより特定された再生画面のデータを出力させることを特徴とする。
【００１０】
【作用】
本発明によれば、画像信号圧縮符号化装置の制御手段は、符号化により第１ピクチャのデータを生成するときは、これから符号化しようとする画面のデータを符号化手段に入力させ、また、フレーム間順方向予測符号化により第２ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを入力させ、過去のデータを選択する選択信号を選択手段に供給して第２または第３の記憶手段のいずれかより過去のデータを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせて、その結果のデータを符号化手段に入力させ、また、双方向予測符号化により第３ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを第１の記憶手段から入力させ、平均化データを選択する選択信号を選択手段に供給して平均化手段からの平均化データを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせ、その結果のデータを符号化手段に入力させることができる。したがって、この制御手段は、入力する複数の画面の順序が所定枚数の第３ピクチャ、少なくとも１枚の第１ピクチャ、所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャである場合、指定信号が動画モードを指定しているときは、少なくとも１枚の第１ピクチャ、第１ピクチャの前の所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャ、第２ピクチャの前の所定枚数の第３ピクチャの順に符号化データを出力させ、静止画モードを指定したときは、動画モードのときの少なくとも１枚の第２ピクチャを第１ピクチャに変えて出力させることができる。
【００１１】
また、この画像信号圧縮符号化装置によれば、この制御手段はさらに、指定信号により静止画モードの指定を受けたときは、この指定信号を受けたときより後方の画像グループを静止画モードのときの画像グループとし、この画像グループが静止画モードである情報および第２ピクチャを第１ピクチャに変えたことを示す情報を多重化手段に供給して出力データ形式の所定の位置に多重化させることができる。
【００１２】
本発明によれば、画像信号伸長再生装置の制御手段は、逆符号化して第１ピクチャを再生するときは、逆符号化手段により復号された画面データを第１および第２の記憶手段のいずれかに出力させ、また、逆フレーム間順方向予測符号化して第２ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、過去のデータを選択する選択信号を第１の選択手段に供給して第１および第２の記憶手段のいずれかより過去のデータを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを第１および第２の記憶手段のいずれかに出力させ、また、逆双方向予測符号化により第３ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、平均化データを選択する選択信号を第１の選択手段に供給して平均化手段からの平均化データを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを出力させることができる。したがって、この制御手段はさらに、多重分離手段からの制御データの中に含まれている静止画モードを示す情報および１つの画像グループの中の複数の画面のうち再生画面を特定した情報を受けたときは、この情報にもとづいて第１または第２の記憶手段のいずれかより特定された再生画面のデータを出力させることができる。
【００１３】
【実施例】
次に添付図面を参照して本発明による画像信号圧縮符号化装置および伸長再生装置の実施例を詳細に説明する。
【００１４】
図３を参照すると、これら実施例の装置は、たとえばMPEG1 対応の動画像データ処理システムに適用され、カメラ３から順次送られてくる動画像の各々画面に対し静止画像を再生するに適した圧縮符号化方式を適用して符号化を行ない、この圧縮画像データを記録再生装置４に出力する符号化装置１と、記録再生装置４により再生された圧縮画像データを受けてこれを復号し、この復号データに基づくNTSC方式の映像信号を再生し、その再生した静止画像の映像信号をモニタ装置５およびプリンタ６に出力する伸長再生装置２である。
【００１５】
図３に示す符号化装置１は、本実施例では特にプリントアウトボタン回路244 を有し、このボタン回路244 のボタンを押下すると、符号化装置１はカメラ３から順次送られてくる動画像の各々画面に今まで動画像を対象に適用していた符号化方式の順序を静止画像を対象にした符号化方式の順序に切り換えて出力する。この切り換えられた符号化方式の順序による圧縮画像データは、記録再生装置４を介して伸長再生装置２に送られ、伸長再生装置２は記録再生装置４から送られてきた圧縮画像データを復号しモニタ装置５およびプリンタ６に送る。この場合モニタ装置５には、動画像のときと比べ解像度の良い映像、すなわち静止画像の映像が表示され、またプリンタ６からも解像度の良い静止画像の映像がプリントアウトされる。
【００１６】
図３に示すように、符号化装置１は、たとえばNTSC方式の映像信号を出力するビデオカメラ３と、この装置１からの圧縮画像データを記録し再生するたとえばCD-ROMの記録再生装置４と接続されている。この記録再生装置４はまた、伸長再生装置２と接続され、この伸長再生装置２は、これから出力されるNTSC方式の再生映像信号の映像を表示およびプリントするモニタ装置５およびビデオプリンタ６と接続されている。このモニタ装置５はまた、ビデオカメラ３とも接続されている。なお、図３に示す記録再生装置４を介さずに符号化装置１と伸長再生装置２を直接接続する構成でもよい。
【００１７】
さらに詳細には、カメラ３と符号化装置１は、４つの信号線102、104、106、108 で接続されている。信号線102 によりカメラ３の輝度信号Ｙの出力端子YOUTと符号化装置１の輝度信号Ｙの入力端子YIN とが接続され、カメラ３からのアナログ輝度信号Ｙが符号化装置１に供給される。また、信号線104 によりカメラ３の色差信号R-Y の出力端子CrOUT と符号化装置１の色差信号R-Y の入力端子CrINとが接続され、カメラ３からのアナログ色差信号Crが符号化装置１に供給され、信号線106 によりカメラ３の色差信号B-Y の出力端子CbOUT と符号化装置１の色差信号B-Y の入力端子CbINとが接続され、カメラ３からのアナログ色差信号Cbが符号化装置１に供給される。さらに、信号線108 によりカメラ３の同期信号SYの出力端子SYOUT と符号化装置１の同期信号SYの入力端子SYINとが接続され、カメラ３からたとえば、水平同期信号、垂直同期信号、カラーサブキャリア信号などの同期信号が符号化装置１に供給される。カメラ３はさらに、NTSC方式の映像信号を出力する出力端子VSOUT を有し、この端子は信号線110 を介してモニタ装置５の第１の映像信号入力端子VSIN-1と接続され、カメラ３からNTSC方式の映像信号がモニタ装置５に供給される。
【００１８】
符号化装置１と記録再生装置４は、信号線112 で接続されている。この信号線112 により符号化装置１の圧縮画像データ出力端子DOUTと記録再生装置４の圧縮画像データ入力端子DIN とが接続され、符号化装置１からCD-ROMに適合したフォーマットの信号が記録再生装置４に供給される。記録再生装置４と伸長再生装置２は、信号線114 で接続されている。この信号線114 により記録再生装置４の圧縮画像データ出力端子DOUTと伸長再生装置２の圧縮画像データ入力端子DIN とが接続され、記録再生装置４から再生したCD-ROMに適合したフォーマットの信号が伸長再生装置２に供給される。伸長再生装置２は、記録再生装置４からの圧縮画像データを復号し、さらにこの復号データからNTSC方式の映像信号を生成し、この生成した映像信号をその映像信号出力端子VSOUT から出力する。この端子とモニタ装置５の第２の映像信号入力端子VSIN-2およびプリンタ６の映像信号入力端子VSINは信号線116 により接続され、伸長再生装置２からNTSC方式の再生映像信号がモニタ装置５およびプリンタ６に供給される。圧縮符号化装置１および伸長再生装置２の詳細が図１および２の機能ブロック図に示されている。
【００１９】
図１を参照すると、符号化装置１はアナログ・ディジタル(A/D) 変換回路202、前処理回路204、第１フレームメモリ206、第１スイッチ回路208、第２フレームメモリ210、第２スイッチ回路212、減算回路214、 DCT回路216、量子化回路218、可変長符号化回路220、多重化回路222、逆量子化回路226、逆 DCT回路228、加算回路230、第３スイッチ回路232、第１予測回路234、第２予測回路236、平均化回路238、第４スイッチ回路240、制御回路242 およびプリントアウトボタン回路244 から構成されている。このうち逆量子化回路226、逆 DCT回路228、加算回路230、第３スイッチ回路232、第１予測回路234、第２予測回路236、平均化回路238 、および第４スイッチ回路240 は、局部復号器を構成している。
【００２０】
A/D 変換回路202 は、図４に示すように、Ｙ用A/D 変換回路202a、Cr用A/D 変換回路202bおよびCb用A/D 変換回路202cから構成される。Ｙ用A/D 変換回路202aの入力は装置入力のYIN 端子と信号線102 で接続され、その入力102 にはカメラ３から１フィールド当たり有効走査線数が本実施例では240 本のアナログ輝度信号Ｙが入力される。A/D 変換回路202aは、この入力したアナログ輝度信号Ｙを対応するディジタルデータに変換して出力する変換回路である。このアナログ輝度信号Ｙは制御回路242 から制御線308 を介してサンプリング信号を受け、本実施例では１走査線当たり画素数が720 ドット、１画素当たり８ビットでディジタル化される。
【００２１】
Cr用A/D 変換回路202bの入力は装置入力のCrIN端子と信号線104 で接続され、その入力104 にはカメラ３から１フィールド当たり有効走査線数が本実施例では240 本のアナログ色差信号Crが入力される。A/D 変換回路202bはこの入力したアナログ色差信号Crを対応するディジタルデータに変換して出力する変換回路である。このアナログ色差信号Crは、制御回路242 から制御線308 を介してサンプリング信号を受け、本実施例では１走査線当たり画素数が360 ドット、１画素当たり８ビットでディジタル化される。
【００２２】
Cb用A/D 変換回路202cの入力は装置入力のCbIN端子と信号線106 で接続され、その入力106 にはカメラ３から１フィールド当たり有効走査線数が本実施例では240 本のアナログ色差信号Cbが入力される。A/D 変換回路202cは、上述のA/D 変換回路202bとは扱う信号の種類は異なるが、構成および動作は同じであり、説明を省略する。A/D 変換回路202aの出力302 は、図５に示す前処理回路204 のＹ用フレームメモリ204aの入力と、A/D 変換回路202bの出力304 は、同図に示す前処理回路204 のCr用フレームメモリ204bの入力と、A/D 変換回路202cの出力306 ははまた、同図に示す前処理回路204 のCb用フレームメモリ204cの入力とそれぞれ接続されている。なお、色差信号Cbは、Cb=B( ブルー）-Y( 輝度信号）であり、また色差信号Crは、Cr=R( レッド）-Y( 輝度信号）である。
【００２３】
前処理回路204 は、本実施例では、A/D 変換回路202 からフィールド周期で順次送られてくる第１および第２フィールドの画面から１つの画面を生成し、それをフレーム周期で出力する信号処理回路である。この信号処理回路から出力される１フレームのパラメータは、本実施例ではMPEG1 で用いられるSIF(Source Input Format、ソース入力フォーマット) と同じものであリ、そのSIF パラメータを図６に示す。また、この信号処理回路で行なわれる処理の概念図を図７、８に示す。なお、この例では前処理回路204 は、NTSC方式の映像信号をNTSC用のSIF に変換しているが、たとえばPAL 方式の映像信号を受けてPAL 用のSIF に変換するのでよい。また、それ以外の構成のフォーマットに変換するのでよい。上記NTSC信号の走査線数は、525 本であり、その有効走査線は480 本である。また、上記PAL 信号の走査線数は、625 本であり、その有効走査線は576 本である。
【００２４】
具体的には、図５を参照すると、Ｙ用フレームメモリ204aは、たとえばダイナミックRAM(DRAM) からなる記憶回路であり、本実施例では、A/D 変換回路202aから順次送られてくる第１、第２フィールドの２フィールド分、つまり１フレーム分のＹデータをそれに順次蓄積する。Cr用フレームメモリ204bおよびCb用フレームメモリ204cも同様にDRAMからなる記憶回路を有し、A/D 変換回路202bおよび202cから送られてくる１フレーム分のCrおよびCbデータをそれぞれのDRAMに順次蓄積する。これらデータのメモリへの書き込みおよびメモリからの読み出しは、制御回路242 から制御線310 を介して送られてくる書込みおよび読出し制御信号などにより行なわれる。メモリ204aから読み出されたＹデータは、Ｙ用信号処理回路204dの入力に、メモリ204bから読み出されたCrデータは、Cr用信号処理回路204eの入力に、メモリ204cから読み出されたCbデータは、Cb用信号処理回路204fの入力にそれぞれ送られる。
【００２５】
Ｙ用信号処理回路204dは、メモリ204aに蓄積されている第１フィールドと第２フィールドを合わせた１フレーム分のＹデータを用いて、本実施例では走査線数が240 本、１走査線当たりの画素数が352 ドットからなる１フレームのＹデータを生成する信号処理回路である。つまりこの回路は、たとえば順次入力する１走査線上の720 ドットの画素を適当な間隔で間引いて352 ドットにするのでよい。またCr用信号処理回路204eおよびCb用信号処理回路204fは、メモリ204bおよび204cに蓄積されている第１フィールドと第２フィールドを合わせた１フレーム分のCrおよびCbデータを用いて、本実施例では走査線数が120 本、１走査線当たりの画素数が176 ドットからなる１フレームのCrおよびCbデータを生成する信号処理回路である。つまりこの回路は、たとえばまず、順次入力する１走査線上の360 ドットの画素を適当に間引いて352 ドットとし、次にこの間引いた２つの走査線走査線から１本の走査線を生成するのでよい。上記データ処理は、制御回路242 から制御線310 を介して送られてくる制御信号により行なわれる。処理回路204dの出力312 、処理回路204eの出力314 および処理回路204fの出力316 は、第１フレームメモリ206 のそれぞれ対応する入力に接続されている。
【００２６】
ところで、本実施例における各画面の画像データは、Ｉピクチャを除くと前後の画面データをもとにつくるため１画面だけでは完結した情報にない。また、蓄積メディアによる再生には、早送り、巻き戻しなどのトリック・モードが要求される。このことから、本実施例では、MPEG1 と同じように、何枚かの画面データを一まとめにしたGOP(Group of Pictures)を単位とした構造（図10参照) をとっている。1GOP内の画面数(N) は、15枚程度までならば何枚でもよいが、本実施例では動画像の場合は1GOP内に９枚、静止画像の場合は１つのGOP 内に３枚と、もう１つのGOP 内に６枚による、合計９枚とした。以上の条件から、後述する図１に示す第１フレームメモリ206 は、９フレームの記憶容量とした。
【００２７】
詳細には第１フレームメモリ206 は、たとえばDRAMからなる記憶回路を有し、それは上述したように本実施例では９フレーム分のＹデータ、CrデータおよびCbデータをそれぞれ蓄積する容量を有する。Ｙデータのフレームメモリは、この例では１番から９番フレームメモリにて構成され、前処理回路204 から順次送られてくるフレーム単位のＹデータを１番から９番フレームメモリへの順に繰り返し蓄積する。CrおよびCbデータのフレームメモリもまた、Ｙデータのフレームメモリと同じように構成され、その蓄積方法もＹデータと同じでよい。これらデータのメモリへの書き込みは、制御回路242 から制御線320 を介して送られてくる書込み制御信号により行なう。また、第１フレームメモリ206 からのデータの読み出しはたとえば書き込みタイミングより１フレーム遅れたタイミングでよく、本実施例ではＹデータ、Cbデータ、Crデータの順に、しかも１番から９番フレームメモリへの順に繰り返す方法でよい。これらデータの読み出しは制御回路242 から制御線320 を介して送られてくる読出し制御信号により行なう。このような順序で読み出されたデータは、出力318 から出力される。フレームメモリ206 の出力318 は、第１スイッチ回路208 および第２スイッチ回路212 のそれぞれ対応する入力に接続されている。
【００２８】
第１スイッチ回路208 は、制御回路242 からの制御信号322 の制御のもとに、入力318 をその出力319 に接続(ON)したり、その間を切ったり(OFF) する選択回路である。この場合、本実施例では、この装置１がＢピクチャを生成するときには、このスイッチ244 をONとし、ＩまたはＰピクチャを生成するときにはOFF とする。さらにこの動作を図９を用いて説明すると、第１スイッチ回路208 は、図9bに示すＢピクチャを生成するために対象となっている入力画面B0、B1やB3、B4など連続している２フレームのデータをフレームメモリ206 から読み出すときにはONとなり、それ以外のＩピクチャを生成するために対象となっている入力画面I2など、またＰピクチャを生成するために対象となっている入力画面P5などがフレームメモリ206 から読み出されるときにはOFF となる。この出力319 は第２フレームメモリ210 の入力に接続されている。したがって後述する第２フレームメモリ210 には、Ｂピクチャを生成するための２フレーム分の画像データが蓄積される。
【００２９】
ところで、ＩまたはＰピクチャの現れる周期(M) は、動画像の動きによって最適値があるが、図９を参照するとわかるように、本実施例では動画像の場合も静止画像の場合も３とした。つまり、その間にＢピクチャが２画面入る。したがって、後述する第２フレームメモリ210 は、２フレーム分の記憶容量とした。またこのＭの値は、適当に選んでよい。
【００３０】
詳細には第２フレームメモリ210 は、たとえばDRAMからなる記憶回路を有し、それは上述したように本実施例では２フレーム分のＹデータ、CrデータおよびCbデータをそれぞれ蓄積する容量を有する。Ｙデータのフレームメモリは、この例では１番から２番フレームメモリで構成され、第１スイッチ回路208 から順次送られてくる２フレーム分のＹデータを、１番から２番フレームメモリへの順に繰り返して蓄積する。CrおよびCbデータのフレームメモリもＹデータのフレームメモリと同じように構成され、また蓄積方法もＹデータと同じでよい。これらデータのメモリへの書き込みは、制御回路242 から制御線326 を介して送られてくる書込み制御信号により行なう。
【００３１】
また、第２フレームメモリ210 からのデータの読み出しは、Ｂピクチャの符号化が行なわれるときに読み出される。初めのＢピクチャ、たとえば、図9bのB0がフレームメモリ210 の１番のメモリから、次のB1が２番のメモリから読み出される。これらメモリからのデータの読み出しは、制御回路242 から制御線326 を介して送られてくる読出し制御信号により行なう。フレームメモリ210 の出力324 は、第２のスイッチ回路212 の対応する入力に接続されている。
【００３２】
第２スイッチ回路212 は、制御回路242 からの制御信号331 の制御のもとに、２つの入力318 および324 を選択的にその出力330 に接続する選択回路である。この場合、本実施例では入力318 は、ＩまたはＰピクチャを生成するときに選択され、入力324 は、Ｂピクチャを生成するときに選択される。その出力330 は、減算回路214 の入力に接続されている。
【００３３】
ところで、本実施例では、ある画素の信号値を別の画像（MPEG1 と同様に過去または未来）の前記ある画素と同じ位置の画素の信号値と差分をとる、つまり後述する減算回路214 により引き算する予測符号化が用いられている。また、このような予測符号化には、二つの予測メモリ、つまり本実施例では第１予測回路234 および第２予測回路236 に蓄積されているデータを用いないでＩピクチャを生成するに適用するフレーム内予測符号化と、第１予測回路234 または第２予測回路236 に蓄積されているデータを用いてＰピクチャを生成するに適用する順方向フレーム間予測符号化と、順方向フレーム間予測と逆方向フレーム間予測符号化の両者の平均、つまり第１予測回路234 および第２予測回路236 からのデータを平均化回路238 で平均し、その平均したデータを用いてＢピクチャを生成するに適用する内挿的（双方向）フレーム間予測符号化とが用いられている。なおＰピクチャには、画面内の後述するマクロブロック単位の部分ではフレーム内予測符号化を含む場合がある。また、Ｂピクチャには、マクロブロック単位の部分ではフレーム内予測符号化、順方向フレーム間予測符号化、逆方向フレーム間予測符号化を含む場合がある。
【００３４】
具体的には、減算回路214 は、Ｉピクチャを生成する場合、すなわちフレーム内符号化を行なう場合には、本実施例ではフレームメモリ206 からＩピクチャ生成用として送られてくる１画面（たとえば図9bに示すI2) のデータ値330 から後述する第４のスイッチ回路240 から送られてくるデータ値「０」を引き算する演算回路である。なお、この画素データ値「０」は、上述した二つの予測メモリを用いないものである。その場合、その出力336 からはフレームメモリ206 からのデータがそのまま出力される。なお、この場合、この減算回路214 は、データ値「０」との引き算を行なわずに入力したデータ330 を直接出力336 に出力してもよい。
【００３５】
またＰピクチャを生成する場合、すなわちフレーム間順方向符号化を行なう場合は、本実施例ではフレームメモリ206 からＰピクチャ生成用として送られてくる１画面（たとえば図9bに示すP5) のデータ値330 から第１予測回路234 または第２予測回路236 から第４のスイッチ回路240 を介して送られてくる所定のフレーム数後方（本実施例では３フレーム後方の図9bに示すI2) のデータ値332 を引き算する演算回路である。この引き算は、同じ画素位置同士で行なう。この引き算された結果のデータはその出力336 から出力される。
【００３６】
また、Ｂピクチャを生成する場合、すなわち双方向予測符号化を行なう場合には、本実施例ではフレームメモリ210 からＢピクチャ生成用として送られてくる１画面（たとえば図9bに示すB3) のデータ値330 から第４のスイッチ240 を介して送られてくる所定のフレーム数前方（２フレーム前方の図9bに示すP5) と後方（１フレーム後方の図9bに示すI2) の平均、つまり平均化回路238 からのデータ値332 を引き算する演算回路である。これも同じ画素位置同士で引き算が行なわれる。引き算された結果のデータは、その出力336 から出力される。上記引き算は、制御回路242 からの制御信号334 の制御のもとに行なわれる。
【００３７】
また、上記引き算は、詳細にはMPEG1 と同様に、図11a に示す１画面のマクロブロック(16X16画素）単位に行なわれる。また、このマクロブロック(MB:Macroblock) は、図11b に示すように、8X8 画素のブロックに細分されており、後述するDCT （ディスクリートコサイン変換）による空間的情報圧縮は、このブロック単位に行なわれる。DCT の演算の対象となるのは、輝度信号Ｙブロック４個(Y1、Y2、Y3、Y4) と、色差信号Crブロック１個と、色差信号Cbブロック１個である。減算回路214 の出力336 はDCT 回路216 の入力に接続されている。
【００３８】
DCT 回路216 は、上記マクロブロックを構成する全部で６個のブロックの画素データを一時蓄積する記憶回路（図示せず）を有し、制御回路242 からの制御信号338 の制御のもとに、減算回路214 から順次送られてくるマクロブロックの画素データをそれに蓄積する。DCT 回路216 はまた、制御回路242 からの制御信号338 の制御のもとに、この記憶回路に蓄積したマクロブロック内の各々ブロックの画素データを読み出し、その画素データに本実施例では、２次元直交変換としてDCT を行う機能部である。これによって空間領域の画像データは、周波数領域のデータすなわち変換係数に変換され、その出力340 から量子化回路218 に出力される。この変換係数の送出の順は、 この例ではY1、Y2、Y3、Y4、Cb、Cr である。
【００３９】
量子化回路218 は、制御回路242 からの制御信号342 の制御のもとに、ブロックごとのこの変換係数を直流成分、低周波成分から高周波成分の順に量子化ステップにより除算する正規化を行ない、これをその出力344 から可変長符号化回路220 および局部復号器を構成する逆量子化回路226 に出力する回路である。
【００４０】
可変長符号化回路220 は、制御回路242 からの制御信号346 の制御のもとに、この正規化された変換係数をランレングスおよびハフマン符号化し、結果のデータをその出力348 に出力する機能部である。こうして画像データに対して適応的DCT が行なわれる。この出力348 は多重化回路222 の入力に接続されている。
【００４１】
多重化回路222 は、固定ビット長例えば８ビットのレジスタを有し、可変長符号化回路220 から送られてくる可変長の符号化データをそれにビット詰めし、８ビットの固定長データにする機能を有している。この多重化回路222 は、画像の特性に応じたビット配分に基づいて、つまり画像データである直流成分および交流成分のデータにて構成されるそれぞれブロックにおける総データ量が所定のデータ量を越えた場合にそれ以降のデータを打ち切り、ブロックごとの符号量を所定の範囲内に制御する符号量制御機能も有している。この多重化回路222 は、制御回路242 からの制御信号354 の制御のもとに、この固定長化された画像データを、この例では図12に示すMPEG1 と同じビデオビットストリーム構造の所定の位置に多重化する機能部である。図12に略称で示した内容を図13〜16に示す。
【００４２】
この多重化回路222 はまた、制御信号354 の制御のもとに、制御回路242 から信号線356 を介して送られてくる各種属性信号、たとえばアスペクト比やピクチャ・タイプなどを示す固定長の符号値、あるいはマクロブロック・アドレスやマクロブロック・タイプなどの可変長の符号値を同図に示す所定の位置に多重化する機能部である。またこの多重化回路222 は、制御信号354 の制御のもとに、第１予測回路234 および第２予測回路236 から信号線350 および352 を通して送られてくる動きベクトル値を示す符号を同図に示す所定の位置に多重化する。
【００４３】
本実施例ではとくに、この多重化回路222 は、ボタン回路244 のボタン押下により制御回路242 から信号線356 を介して送られてくるＩピクチャを示す符号を同図に示すピクチャ層のPCT(Picture Coding Type)の領域に多重する。この多重化回路222 はさらに、ボタン回路244 のボタン押下により制御回路242 から信号線356 を介して送られてくる後述する６番目のＩピクチャの静止画像を自動的にプリントアウトする情報あるいはその静止画像の映像をモニタにて再生する情報など、つまり静止画モード情報を同図に示すGOP 層のUD(User Data) の領域に多重する。なお、上記２つの多重位置は、予めこのシステムで決めておけばよく適当な位置ならどこでもよい。
【００４４】
この多重化回路222 は、上記多重化したデータを本実施例ではさらにCD-ROMに適合するフレームフォーマットの所定の領域に多重化し、その多重化の行なわれたフレームフォーマットの信号を出力112 に出力する機能部である。このフレームフォーマットの信号112 は、圧縮画像データ出力端子DOUTを介して記録再生部４に送られ、それに記憶される。
【００４５】
一方、逆量子化回路226 は、量子化回路218 から信号線344 を通して送られてくる正規化データに量子化回路218 にて量子化した際の量子化係数と同じ係数を乗算して逆量子化し、その出力364 から出力する回路である。この演算は、制御回路242 から制御線366 を介して送られてくる信号にもとづき行なわれる。出力364 は逆 DCT回路228 の入力に接続されている。
【００４６】
逆 DCT回路228 は逆量子化回路226 から送られる逆量子化されたデータを２次元直交逆変換し、その逆変換したデータを受けて複数のブロックが合成されてマクロブロックの画像データを得、それをその出力368 から出力する変換逆回路である。この変換は、制御回路242 から制御線370 を介して送られてくる信号にもとづき行なわれる。この逆 DCT回路228 にて逆変換されたデータは加算回路230 に送られる。
【００４７】
加算回路230 は、制御回路242 からの制御信号374 の制御のもとに、逆 DCT回路228 にて逆変換された画素データとその画素データに対応し第４スイッチ240 から信号線332 を介して送られてくる画素データとを加算し、その出力372 から出力する演算回路である。この加算データは、信号線372 を介して第３スイッチ232 の対応する入力に送られる。
【００４８】
第３スイッチ回路232 は、制御回路242 からの制御信号374 の制御のもとに、その入力372 をその２つの出力376 および378 に選択的に接続する選択回路である。この場合、出力376 および378 は、本実施例では、交互に選択される。その出力376 は第１予測回路234 の入力に、また、その出力378 は第２予測回路236 の入力にそれぞれ接続されている。
【００４９】
第１予測回路234 および第２予測回路236 は、それぞれ記憶回路および動き補償回路（いずれも図示せず）を有する。各々の記憶回路は、たとえばDRAMからなり、未来から予測（逆方向予測）するための１フレームの画像データまたは過去から予測（順方向予測）するための１フレームの画像データが加算回路230 から第３スイッチ回路232 を介して供給されそれに記憶される。
【００５０】
また各々の動き補償回路は、これから符号化しようとして信号線330 に入力したマクロブロックに最も類似しているマクロブロックを各々記憶回路から本実施例では水平および垂直方向に±15画素範囲内でずらして求め、この求めた最も類似したマクロブロックのデータをそれぞれの出力384 および386 に出力する回路である。この各々動き補償回路は、入力マクロブロックと類似マクロブロックの２つのマクロブロックの位置関係から動きベクトルを求める演算回路を有し、求めた動きベクトル値をそれぞれの出力350 および352 に出力する。なお、この場合、動きベクトルを求めるには、全探索、あるいは木探索のいずれでもよい。これら全ての制御は、それぞれの制御入力382 および388 から入力する制御回路242 からの制御信号にもとづいて行なう。
【００５１】
平均化回路238 は、たとえば第１予測回路234 から順方向予測のためのデータをその入力384 に入力し、また並行して同時に第２予測回路236 から逆方向予測のためのデータをその入力386 に入力し、それら入力したデータ値をたとえば足し、その足した値を２で割って平均化（内挿）し、その平均化したデータを出力390 に出力する演算回路である。
【００５２】
第４スイッチ回路240 は、制御回路242 からの制御信号394 の制御のもとに、４つの入力384、386、390 および392 を選択的にその出力332 に接続する選択回路である。この場合、入力384 または386 は、Ｐピクチャを生成する場合に選択され、入力390 は、Ｂピクチャを生成する場合に選択され、入力392 は、Ｉピクチャを生成する場合に選択される。入力392 は、信号線392 で接地され、これはつまりデータ値「０」を構成する。その出力332 は減算回路214 の対応する入力に接続されている。
【００５３】
前にも少し触れたように符号化装置１は、とくにボタン回路244 を有し、このボタン回路244 は、たとえば操作者がカメラ３から出力される動画像の映像をモニタ装置５で見て、その中に必要な静止画像の映像が映し出された時に押圧するスイッチである。このボタン回路246 のボタン（図示せず）が押圧された場合には、たとえば低レベル「０」が、押圧されていない場合は、高レベル「１」がその出力396 から出力される。この出力396 は制御回路242 の対応する入力に接続されている。
【００５４】
制御回路242 は、上述の各部を制御および管理する制御機能部であり、処理システムにて有利に構成される。この制御回路242 の入力108 は、信号線108 を介してこの装置１の同期信号の入力端子SYINと接続され、この入力108 から入力する各種同期信号から上記の各部に必要な制御信号を生成し、その生成した制御信号をその制御出力から上記各部に供給する。
【００５５】
本発明はとくに制御回路242 がボタン回路244 から送られてくる信号が「１」つまり動画モードであることを検出したときは、制御回路242 は、たとえばカメラ３から順次送られてくる図9bのGOP1に示す各画面が本実施例では図9cのGOP1に示すような符号化の順序になるように各部を制御し、またボタン回路244 から送られてくる信号が「０」つまり静止画モードであることを検出したときは、図9bのGOP2に示す各画面が本実施例では図9cのGOP2に示すような符号化の順序になるように各部を制御する。より詳細にはこの制御回路242 は、「０」を検出するとまず、たとえば操作者がプリントしたい映像が「０」を検出したときのGOP の次のGOP の前から６番目の画面であることを認識し、この認識のもとに各部を制御する。またこの制御回路242 はさらに、動画モードのときの1GOP（M=3、N=9 で構成）を第１のGOP(M=3、N=3 で構成) と第２のGOP(M=3、N=6 で構成) に細分し、この細分にもとづく制御を各部に対して行なう。なお、上記６番目の画面は、第２のGOP における前から３番目の画面である。具体的にはこの制御回路242 は、上記認識および細分に基づき動画のときの前から６番目のＰピクチャをＩピクチャにするように上記各部を制御する。
【００５６】
制御回路242 はまた、ボタン回路244 からの信号が「０」であることを検出すると、上記６番目の画像のピクチャ・タイプが本実施例ではＰピクチャからＩピクチャに変わったことを示す符号を生成し、それをその出力356 に出力する。制御回路242 は、この「０」の検出で、このボタン回路244 のボタン押下による情報、たとえば上記６番目のＩピクチャの静止画像の映像を自動的にプリントアウトする情報あるいはその映像をモニタに再生する情報などを生成し、それをその出力356 に出力する。なお、本実施例では前から６番目のＰピクチャを自動的にＩピクチャにするようにしたが、９番目のＰピクチャを自動的にＩピクチャにするようにし、９番目のＩピクチャの静止画像の映像を自動的にプリントアウトするようにしてもよい。また、この装置１にさらに手動ボタンを設けて、上記６番目または９番目のＰピクチャを手動でＩピクチャにできるようにしてよい。
【００５７】
動作を説明する。符号化装置１のボタン回路244 のボタンが押圧されていない状態、つまり操作者により動画モードが選択されている状態において、カメラ３からNTSC方式のアナログ輝度信号Ｙ、アナログ色差信号CrおよびCbがこの装置１に供給されたとする。この装置１のA/D 変換回路202 はまず、カメラ３から送られてきたアナログ輝度信号Ｙ、アナログ色差信号CrおよびCbのそれぞれを対応するディジタルの輝度信号データＹ、色差信号データCrおよびCbに変換して前処理回路204 に送る。この場合、このA/D 変換回路202 は、アナログ輝度信号Ｙに対しては有効走査線240 本（１フィールド当たり）を対象に１走査線当たり720 ドットでディジタル化し、また、アナログ色差信号CrおよびCbに対しては、それぞれ輝度信号と同じ有効走査線240 本を対象に、１走査線当たり360 ドットでディジタル化する。前処理回路204 は、A/D 変換回路202 からフィールド単位に上記ドットおよび走査線構成の信号を順次受け、この順次受けた第１および第２フィールドのデータからNTSC用のSIF パラメータにて構成されたデータを得、得たSIF データをフレーム（画面）単位に順次第１フレームメモリ206 に出力する。このメモリ206 にフレーム単位で順次入力する様子が図9bに示され、その各々画面には、これから適用しようとする符号化方式のピクチャ・タイプが記載されている。
【００５８】
メモリ206 の１番目のフレームメモリには図9bに示すGOP1のB0データが、２番目にはGOP1のB1データが、３番目にはGOP1のI2データが、４番目にはGOP1のB3データが順次書き込まれ、また第１スイッチ回路208 を介して第２フレームメモリ210 の１番目のフレームメモリにはメモリ206 の１番目のフレームメモリから読み出されたB0データが、また２番目のフレームメモリにはメモリ206 の２番目のフレームメモリから読み出されたB1データがそれぞれ書き込まれ、そしてメモリ206 の５番目のフレームメモリにGOP1のB4データを書き込もうとした時に操作者によりボタン回路244 のボタンが押圧（図9aを参照）されたとする。つまり操作者により上記時点で静止画モードが選択されたとする。この場合、ボタンが押圧されたタイミングがGOP1期間内であるからGOP1内の各画面に対しては動画モードにて適用している符号化順序で符号化し、次のGOP2内の各画面に対しては静止画モードにて適用している符号化順序で符号化する。図9bに示すように、本実施例では動画モードのときは前から６番目がP5であるのに対し、静止画モードのときはそこがI5になる点で異なっている。
【００５９】
制御回路242 はまず、メモリ206 の３番目のフレームメモリから最初の符号化の対象であるGOP1のI2データをマクロブロック単位に読み出し、それを第２スイッチ回路212 を介し減算回路214 の一方の入力330 に入力させ、またこれに並行してその他方の入力332 にデータ値「０」を入力させる。減算回路214 は、それら入力したデータ値の引き算を行ない、その引き算した結果のデータをDCT 回路216 に送る。つまり、この引き算した結果の画像データは、DCT 回路216 以降の回路でフレーム内符号化される。
【００６０】
DCT 回路216 は減算回路214 からマクロブロック単位に送られてくるデータを複数のブロックに分割し、２次元直交変換して量子化回路218 に送る。量子化回路218 は、直交変換された変換係数を正規化して可変長符号化回路220 および逆量子化回路226 に送る。可変長符号化回路220 は送られてきた正規化された変換係数をハフマン符号化して多重化回路222 に送る。多重化回路222 は可変長のハフマン符号化データを固定長化し、また、ブロックごとの符号量を所定の符号量にし、そのデータを図12に示す所定の位置に多重化する。多重化回路222 はまた、制御回路242 から送られてくる各種属性信号も図12に示す所定の位置に多重化する。多重化回路222 はさらに、このように多重化したデータをCD-ROMに適合したフレームフォーマットの所定の位置に多重化する。このCD-ROMに適合したフレームフォーマットの信号はこの装置１の出力端子DOUTから出力され、記録再生部４に送られ記憶される。つまり、この装置１からGOP1のI2データ（図9c）が記録再生部４に出力され、記録再生部４にGOP1のI2データ（図9d）が記録される。
【００６１】
一方、逆量子化回路226 は、量子化回路218 から送られてきた正規化された変換係数に量子化係数を乗算して逆量子化データを得、それを逆DCT 回路228 に送る。逆DCT 回路228 は逆量子化されたデータを２次元直交逆変換し、複数のブロックを合成してマクロブロックの画像データを得、マクロブロック単位に画像データを加算回路230 に送る。加算回路230 は、逆 DCT回路228 にて逆変換されたデータ値と第４スイッチ回路240 からのデータ値「０」を加算し、その加算したデータを第３スイッチ232 を介して第１予測回路234 に送る。第１予測回路234 は、加算回路230 から順次送られてくる加算データ、すなわち１画面分のI2データを記憶する。なお、この場合、第２予測回路236 にはすでに、GOP1の前のGOP0のP8データが記憶されている。
【００６２】
GOP1のI2データの処理が終わると次に、制御回路242 は、メモリ210 の１番目のフレームメモリから次の符号化の対象であるGOP1のB0データをマクロブロック単位に読み出し、それを第２スイッチ回路212 を介し減算回路214 の一方の入力330 に入力させ、また、これに並行してその他方の入力332 に第４スイッチ回路240 を介して平均化回路238 からのデータを入力させる。減算回路214 は、それら入力したデータ値の引き算を行ない、その引き算した結果のデータをDCT 回路216 に送る。この場合、この平均化回路238 からは、第１予測回路234 に記憶されていたGOP1のI2のデータと第２予測回路236 に記憶されていたGOP0のP8のデータを平均化したデータがそれに供給される。つまり、Ｂピクチャを生成するために減算回路214 により内挿的フレーム間予測符号化が行なわれたことになる。またこの引き算において、動き補償したデータを用いたときは、第１予測回路234 および（または）第２予測回路236 からそのときの動きベクトル値を示すデータが多重化回路222 に供給され多重化される。
【００６３】
減算回路214 からのデータはDCT 回路216 から多重化回路222 までの回路によって前述したように処理され、この装置１からは、GOP1のB0データが記録再生部４に出力され、記録再生部４にはGOP1のB0データが記録される。この場合、逆量子化回路226 から加算回路230 までの回路は動作しないでよい。したがって、第１予測回路234 にはGOP1のI2データが、第２予測回路236 にはGOP0のP8データが記憶されたままになっている。
【００６４】
GOP1のB0データの処理が終わると次に、制御回路242 は、メモリ210 の２番目のフレームメモリから次の符号化の対象であるGOP1のB1データを読み出して、それを第２スイッチ回路212 を介し減算回路214 の一方の入力330 に入力させ、またこれに並行してその他方の入力332 に第４スイッチ回路240 を介して平均化回路238 からのデータを入力させる。減算回路214 は、それら入力したデータ値の引き算を行なう。減算回路214 からのデータはDCT 回路216 から多重化回路222 までの回路により前述したように処理され、この装置１からはGOP1のB1データが記録再生部４に出力されて、記録再生部４にはGOP1のB1データが記録される。
【００６５】
引き続き制御回路242 は、第１フレームメモリ206 の５番目のフレームメモリにGOP1のB4データを、６番目にGOP1のP5データを、７番目にGOP1のB6データを、８番目にGOP1のB7データを、９番目にGOP1のP8データを順次書き込み、また、第１スイッチ回路208 を介して第２フレームメモリ210 の１番目のフレームメモリにメモリ206 の４番目のフレームメモリから読み出したB3データを、２番目にメモリ206 の５番目のフレームメモリから読み出したB4データをそれぞれ書き込んでいる。
【００６６】
まず、制御回路242 は、メモリ206 の６番目のフレームメモリから、次の符号化の対象であるGOP1のP5データをマクロブロック単位に読み出し、それを第２スイッチ回路212 を介して減算回路214 の一方の入力330 に入力させ、またこれに並行してその他方の入力332 に第４スイッチ回路240 を介して第１予測回路234 からのデータを入力させる。この場合、第１予測回路234 にはGOP1のI2データが記憶されている。減算回路214 はそれら入力したデータ値の引き算を行ない、その引き算した結果の画像データをDCT 回路216 に送る。つまりＰピクチャを生成するために減算回路214 により順方向フレーム間予測符号化が行なわれたことになる。またこの引き算において、動き補償したデータを用いたときには、第１予測回路234 からそのときの動きベクトル値を示すデータが多重化回路222 に供給され多重化される。
【００６７】
減算回路214 からのデータはDCT 回路216 から多重化回路222 までの回路により前述したように処理され、この装置１からは、GOP1のP5データが記録再生部４に出力され、記録再生部４にGOP1のP5データが記録される。また量子化回路218 からのデータは、逆量子化回路226 から逆DCT 回路228 までの回路により前述したように処理されて加算回路230 に送られる。加算回路230 は、逆 DCT回路228 にて逆変換されたデータ値と第４スイッチ回路240 を介して第１予測回路234 から送られるデータ値を加算し、その加算したデータを第３スイッチ232 を介して第２予測回路236 に送る。これにより、第２予測回路236 にはGOP1のP5データが記憶される。なお、第１予測回路234 にはGOP1のI2データが記憶されたままになっている。以上の方法でこれ以降のB3、B4、P8、B6、B7に対しても順次符号化し、それら符号化したデータを記録再生部４に送る。
【００６８】
引き続きGOP2領域に入ってもGOP2のI5（図9c）までは動画モードのときと同じように順次符号化される。これ以降のGOP2のB3とB4はGOP2のI2とI5から作り、GOP2のP8はGOP2のI5とP8から作り、GOP2のB6とB7はGOP2のI5とP8から作る。一方制御回路242 は、ボタン回路244 のボタン押圧により「０」を検出しているので、６番目のピクチャ・タイプをＰピクチャからＩピクチャにするためにＩピクチャを示す符号を作成し多重化回路222 に送る。また、制御回路242 は、この「０」の検出で６番目のＩピクチャの静止画像を自動的にプリントアウトする情報あるいはモニタに再生する情報などを作成し多重化回路222 に送る。この多重化回路222 は、Ｉピクチャを示す符号をI5と対応するピクチャ層のPCT(Picture Coding Type)領域に多重化し、プリントアウトする情報あるいはモニタに再生する情報などをGOP 層のUD(User Data) 領域に多重化し、上記作られた画像データもそれぞれ所定の領域に多重化して記録再生部４に送る。
【００６９】
このような圧縮符号化装置１によれば、その制御回路242 がボタン回路244 から静止画モードを示す指定信号を受けたとき、そのときより後方の画像グループを静止画モードの画像グループとし、その画像グループの中のＰピクチャを解像度の高いＩピクチャに変えて出力することができる。またこの制御回路242 は、この高解像度のＩピクチャを効果的に再生するために、その画像グループが静止画モードである情報、およびＰピクチャをＩピクチャに変えたことを示す情報を多重化回路222 に供給して出力データ形式の所定の位置に多重化することができる。
【００７０】
図２には本発明による伸長再生装置の一実施例が示されている。この伸長再生装置は、図１の装置により符号化された画像データを伸長再生するものである。図２を参照すると、伸長再生装置２は、多重分離回路402、復号回路404、逆量子化回路406、逆 DCT回路408、加算回路410、第１スイッチ回路412、第１予測回路414、第２予測回路416、平均化回路418、第２スイッチ回路420、第３スイッチ回路422、後処理回路424、ディジタル・アナログ(D/A) 変換回路426、制御回路428 から構成されている。
【００７１】
図２に示す多重分離回路402 の入力114 は、この装置２の入力端子DIN と接続されている。この多重分離回路402 は、符号化装置１、または記録再生装置４から入力端子DIN を介して送られてくるCD-ROMに適合したフレームフォーマットの信号を受け、この受けた信号に多重化されている画像データと制御データとを分離し、その分離した画像データを出力504 に、また、制御データを出力506 にそれぞれ出力する多重分離機能部である。この分離は、後述する制御回路428 から制御線508 を介して送られてくる制御信号にもとづき行なわれる。この回路の出力504 は復号回路404 の入力に、また出力506 は、制御回路428 の入力にそれぞれ接続されている。この制御回路428 は、制御データ506 を受けて装置全体の制御を行なう。
【００７２】
復号回路404 は、制御回路428 から制御線512 を介して送られてくる制御信号のもとに、多重分離回路402 から送られてくる符号化データを符号化データ毎にハフマン復号し、そのハフマン復号したデータをその出力510 に出力する回路である。出力510 は逆量子化回路406 の入力に接続されている。
【００７３】
逆量子化回路406 は、復号回路404 から信号線510 を通して送られてくる復号データ（正規化データ）に制御入力516 から入力する量子化係数を乗算して逆量子化し、その逆量子化されたデータをその出力514 から出力する回路である。この演算は制御回路428 から制御線516 を介して送られてくる信号にもとづき行なわれる。逆量子化データ514 は逆 DCT回路408 に供給される。
【００７４】
逆 DCT回路408 は、逆量子化回路406 から供給される逆量子化データを２次元直交逆変換し、その逆変換したデータをその出力518 から出力する変換逆回路である。この変換は、制御回路428 から制御線520 を介して送られてくる信号にもとづき行なわれる。この逆 DCT回路408 にて逆変換されたデータは加算回路410 に送られる。
【００７５】
加算回路410 は、その入力518 にＩピクチャのデータが入力した場合、すなわちフレーム内符号化の行なわれたデータが入力した場合には、本実施例ではその入力したデータ値518 に後述する第２のスイッチ回路420 から送られてくるデータ値「０」を加算し、その結果のデータをその出力524 に出力する演算回路である。この場合、出力524 からは、入力518 に入力した画素データ518 がそのまま出力される。なお、この場合、データ値「０」を加算せずに入力したデータ518 を直接出力524 に出力してもよい。加算回路410 はまた、Ｐピクチャのデータが入力した場合、すなわちフレーム間順方向符号化の行なわれたデータが入力した場合は、本実施例ではその入力したデータ値518 に、第１予測回路414 または第２予測回路416 から第２のスイッチ回路420 を介して送られてくるＩまたはＰピクチャのデータ値522 を加算し、その結果のデータをその出力524 に出力する演算回路である。加算回路410 はまた、Ｂピクチャのデータが入力した場合、すなわち双方向予測符号化の行なわれたデータが入力した場合は、本実施例ではその入力したデータ値518 に平均化回路418 から第２のスイッチ回路420 を介して送られてくる平均化（内挿）データ522 を加算し、その結果のデータをその出力524 に出力する演算回路である。上記加算は、制御回路428 からの制御信号526 のもとに行なわれる。加算回路410 の出力524 は、第１スイッチ回路412 および第３スイッチ回路422 のそれぞれ対応する入力に接続されている。
【００７６】
第１スイッチ回路412 は、制御回路428 からの制御信号525 の制御のもとに、その入力524 に入力する加算回路410 からのＩまたはＰピクチャデータを、その出力528 または534 に選択的に接続する選択回路である。この場合、出力528 および534 は、本実施例では、交互に選択される。その出力528 は、第１予測回路414 の入力に、また、その出力534 は、第２予測回路416 の入力にそれぞれ接続されている。
【００７７】
第１予測回路414 はたとえばDRAMからなる記憶回路を有し、第１スイッチ412 から送られてくるＩまたはＰピクチャの１フレームのデータをこれに蓄積する。この第１予測回路414 は、その入力532 から入力する動きベクトル値に基づく画像データを上記記憶回路から読み出して予測ブロックとし、その予測ブロックのデータをその出力530 から出力する回路である。この予測ブロックデータは、平均化回路418 、および第２スイッチ回路420 を介して加算回路410 送られる。この第１予測回路414 はまた、上記記憶回路に蓄積した画像データを読み出し、それを最終的な再生画像ブロックとしてその出力530 から後述する第３スイッチ回路422 に出力する回路である。これらの制御は、制御回路428 から制御線532 を介して送られてくる制御信号にもとづき行なわれる。この第１予測回路414 の出力530 は、平均化回路418、第２スイッチ回路420 および第３スイッチ回路422 のそれぞれ対応する入力に接続されている。
【００７８】
第２予測回路416 は、第１予測回路414 と基本的に同じ構成であり、説明を省略する。その出力536 は平均化回路418、第２スイッチ回路420 および第３スイッチ回路422 のそれぞれ対応する入力に接続され、またその制御入力538 は、制御回路428 の対応する出力に接続されている。
【００７９】
平均化回路418 は、第１予測回路414 および第２予測回路416 から送られてくる対応するデータを平均化（内挿）し、その平均化したデータをその出力540 から出力する演算回路である。これらの制御は、制御回路428 から制御線543 を介して送られてくる制御信号にもとづき行なわれる。
【００８０】
第２スイッチ回路420 は、制御回路428 からの制御信号544 の制御のもとに、４つの入力530、536、540 および542 を選択的にその出力522 に接続する選択回路である。この場合、基本的に、入力530 または536 はＰピクチャを生成するために選択され、入力540 はＢピクチャを生成するために選択され、入力542 はＩピクチャを生成するために選択される。その出力522 は、加算回路410 の対応する入力に接続されている。
【００８１】
第３スイッチ回路422 は、制御回路428 からの制御信号548 の制御のもとに、３つの入力524、530 および536 を選択的にその出力546 に接続する選択回路である。この場合、基本的に、入力530 または536 はＩまたはＰピクチャの再生データを後述する後処理回路424 に送る場合に選択され、入力524 はＢピクチャの再生データを後処理回路424 の送る場合に選択される。その出力546 は、後処理回路424 の対応する入力に接続されている。
【００８２】
後処理回路424 は、図２に示すように９フレームメモリ424aおよび信号処理回路424bを有し、メモリ424aは本実施例では1GOP内の９枚の画面の再生データを蓄積する容量を有する。メモリ424aは、その入力546 から入力した再生データを順次蓄積する。この場合の再生データは、SIF フォーマットをなしている。９フレームメモリ424aは１番から９番フレームメモリにて構成される。また、信号処理回路424bは、メモリ424aに蓄積したSIF フォーマットの信号を受けて、この受けた信号から前述した前処理回路204 の入力302、304、306 に入力したのと同じフォーマットのデータを得る回路である。これにより、その出力552 からは前処理回路204 の入力302 に入力したのと同じフォーマットのＹデータが、その出力554 からは、前処理回路204 の入力304 に入力したのと同じフォーマットのCrデータが、その出力556 からは、前処理回路204 の入力306 に入力したのと同じフォーマットのCbデータがそれぞれ出力される。これらの処理は、制御回路428 から制御線558 を介して送られてくる信号にもとづき行なわれる。なお、９フレームメモリ424aを介さずに、第１予測回路414 および第２予測回路416 に蓄積されているデータを信号処理回路424bへ直接送る回路構成でもよい。
【００８３】
D/A 変換回路426 は、その入力552 からＹデータ、その入力554 からCrデータおよびその入力556 からCbデータをそれぞれ受け、それらを対応するアナログ値にて表される映像信号に変換し、さらにそれら変換したアナログ信号からNTSC方式の映像信号を生成し、生成した信号をその出力116 に出力する信号変換回路である。このDA変換に必要なサンプリングパルスなどを含む制御信号は、制御回路428 から制御線562 を介して供給される。
【００８４】
制御回路428 は、本装置全体の制御および管理する制御機能部であり、処理システムが有利に適用される。この制御回路428 は、その制御入力506 からマクロブロック・タイプ(MBTYPE)を示す信号など様々な信号を受け、この受けた信号をもとにして各種制御信号を生成し、これら生成した制御信号を上記各部に供給する。これにより各部は制御される。本発明ではとくに、この制御回路428 は、到来するGOP 層のUDを監視しており、これに情報がなければ、その1GOPは動画モードであると判定し、また、これにプリントアウト情報あるいはモニタ再生情報などがあればその1GOPは静止画モードであると判定する。静止画モードと判定すると、引き続きこの制御回路428 は、本実施例では、静止画モードのGOP の前から６番目のピクチャ・タイプがＩピクチャであるかをピクチャ層のPCT で監視し、そのPCT がＩピクチャを示していれば、その６番目のＩピクチャのデータに基づくNTSC方式の映像信号を本装置の出力から出力させる。なお、この制御回路428 に接続される手動による静止画像選択ボタン回路（図示せず）を設け、これにより９フレームメモリ424aの９つのメモリに蓄積されているデータのいずれか、ならびに第１予測回路414 および第２予測回路416 に蓄積されているデータのいずれかを選択し、それにもとづく静止画像の映像信号を本装置から出力するのでよい。
【００８５】
以上のような伸長再生装置であれば、図１によって圧縮符号化された画像データを伸長再生することができる。その動作について説明する。
【００８６】
記録再生装置４から図9dに示す順序でデータが伸長再生装置２に入力したとする。したがってGOP1のI2データが一番初めに入力される。この装置２の多重分離回路402 はまず、記録再生装置４から送られてくる信号から画像データと制御データと分け、画像データを復号回路404 に、制御データを制御回路428 に送る。制御回路428 は、この制御データに基づいて各部を制御する。制御回路428 はまた、この制御データの中のGOP 層のUDを監視し、そこには特にユーザ情報がないことを知り、このGOP は動画モードであることを知る。
【００８７】
一方、復号回路404 は、多重分離回路402 から送られてくるGOP1のI2の符号化データを符号化データ毎にハフマン復号して復号データを逆量子化回路406 に送る。逆量子化回路406 は、復号データに量子化係数を乗算して逆量子化し、その逆量子化データを逆 DCT回路408 に送る。逆 DCT回路408 は逆量子化データを２次元直交逆変換し、その逆変換したデータを加算回路410 に送る。加算回路410 は、逆変換したデータ値と第２スイッチ回路420 からのデータ値「０」とを加算し、その加算したデータをこの場合、第１予測回路414 に出力する。これにより第１予測回路414 には、GOP1のI2データが蓄積される。なお、この場合、第２予測回路416 にはすでに、GOP0のP8データが記憶されている。
【００８８】
GOP1のI2データの処理が終わると次に、復号回路404 には、多重分離回路402 からGOP1のB0の符号化データが供給される。多重分離回路402 からのB0データは復号回路404 から逆 DCT回路408 までの回路により前述したように処理され、逆変換したデータが加算回路410 に送られる。加算回路410 は、逆 DCT回路408 にて逆変換されたデータ値と第２スイッチ回路420 を介して平均化回路418 から送られるデータ値を加算し、その加算したデータを第３スイッチ回路422 を介して後処理回路424 に送る。これにより、後処理回路424 の１番目のフレームメモリにはGOP1のB0データが記憶される。この場合、B0データは、Ｂピクチャであるから第１予測回路414 および第２予測回路416 には記憶されない。
【００８９】
GOP1のB0データの処理が終わると次に、復号回路404 には、多重分離回路402 からGOP1のB1の符号化データが供給される。B1も上記B0と同じＢピクチャであるから多重分離回路402 からのB1データをB0を処理したのと同じ回路を用いて前述したような処理を行なう。これにより、後処理回路424 の２番目のフレームメモリにはGOP1のB1データが記憶される。この場合、B1データもＢピクチャであるから第１予測回路414 および第２予測回路416 には記憶されない。
【００９０】
GOP1のB1データの処理が終わると次に、復号回路404 には、多重分離回路402 からGOP1のP5の符号化データが供給される。多重分離回路402 からのP5データは復号回路404 から逆 DCT回路408 までの回路により前述したように処理され、逆変換したデータが加算回路410 に送られる。加算回路410 は、逆 DCT回路408 にて逆変換されたデータ値と第２スイッチ回路420 を介して第１予測回路414 から送られるデータ値を加算し、その加算したデータをこの場合、第２予測回路416 に出力する。これにより第２予測回路416 には、GOP1のP5データが蓄積される。なお、この場合、第１予測回路414 には、GOP0のI2データが記憶されたままになっている。以上の方法でこれ以降のB3、B4、P8、B6、B7に対しても順次復号し、それら復号した再生データをB3、B4、P5、B6、B7、P8 の順に後処理回路424 に送る。これらのデータは後処理回路424 の４番目のフレームメモリから９番目のフレームメモリの順に記憶される。
【００９１】
制御回路428 は、引き続き到来するGOP 層のUDを監視しており、これにプリントアウト情報あるいはモニタ再生情報などがあるのを確認すると、このGOP は静止画モードであると判定する。本装置２は静止画モードであるGOP2領域に入っても動画モードのときと同様に順次復号し、それら復号した再生データをB0、B1、I2、B3、B4、I5、B6、B7、P8の順に後処理回路424 に送る。これらのデータは、後処理回路424 の１番目のフレームメモリから９番目のフレームメモリの順に記憶される。続いてこの制御回路428 は、６番目のピクチャ・タイプをピクチャ層のPCT で監視ており、Ｉピクチャであることを確認すると、後処理回路424 の６番目のフレームメモリからI5データを読み出してD/A 変換回路426 に送る。このD/A 変換回路426 は、このI5データに基づくNTSC方式の映像信号をモニタ装置５およびプリンタ６に送る。これによりモニタ装置５にはI5データに基づく静止画像の映像が表示され、またプリンタ６からはその静止画がプリントアウトされる。
【００９２】
このような伸長再生装置よれば、その制御回路428 が多重分離回路402 からの制御データの中に含まれている静止画モードを示す情報および１つの画像グループの中の複数の画面のうち再生画面を特定した情報を受けたときに、この情報にもとづいて第１予測回路414 、または第２予測回路416 のいずれかより、または後処理回路424 のフレームメモリのいずれかより、特定した再生画面のデータ、つまり高解像度の再生画面のデータを出力させることができる。
【００９３】
【発明の効果】
このように本発明によれば、画像信号圧縮符号化装置の制御手段は、符号化により第１ピクチャのデータを生成するときは、これから符号化しようとする画面のデータを符号化手段に入力させ、またフレーム間順方向予測符号化により第２ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを入力させ、過去のデータを選択する選択信号を選択手段に供給して第２または第３の記憶手段のいずれかより過去のデータを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせて、その結果のデータを符号化手段に入力させ、また双方向予測符号化により第３ピクチャを生成するときは、減算手段の第１の入力端子にこれから符号化しようとする画面のデータを第１の記憶手段から入力させ、平均化データを選択する選択信号を選択手段に供給して平均化手段からの平均化データを減算手段の第２の入力端子に入力させ、この入力したデータの引き算を行なわせ、その結果のデータを符号化手段に入力させることができる。したがって、この制御手段は、入力する複数の画面の順序が所定枚数の第３ピクチャ、少なくとも１枚の第１ピクチャ、所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャである場合、指定信号が動画モードを指定しているときは、少なくとも１枚の第１ピクチャ、第１ピクチャの前の所定枚数の第３ピクチャ、少なくとも１枚の第２ピクチャ、第２ピクチャの前の所定枚数の第３ピクチャの順に符号化データを出力させ、静止画モードを指定したときは、動画モードのときの少なくとも１枚の第２ピクチャを効果的に解像度の高い第１ピクチャに変えて出力させることができる。
【００９４】
また、この画像信号圧縮符号化装置によれば、この制御手段はさらに、指定信号により静止画モードの指定を受けたときは、この指定信号を受けたときより後方の画像グループを静止画モードのときの画像グループとし、この画像グループが静止画モードである情報および第２ピクチャを第１ピクチャに変えたことを示す情報を多重化手段に供給して出力データ形式の所定の位置に効果的に多重化させることができる。
【００９５】
本発明によれば、画像信号伸長再生装置の制御手段は、逆符号化して第１ピクチャを再生するときは、逆符号化手段により復号された画面データを第１および第２の記憶手段のいずれかに出力させ、また、逆フレーム間順方向予測符号化して第２ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、過去のデータを選択する選択信号を第１の選択手段に供給して第１および第２の記憶手段のいずれかより過去のデータを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを第１および第２の記憶手段のいずれかに出力させ、また、逆双方向予測符号化により第３ピクチャを再生するときは、加算手段の第１の入力端子に逆符号化手段により復号された画面データを入力させ、平均化データを選択する選択信号を第１の選択手段に供給して平均化手段からの平均化データを加算手段の第２の入力端子に入力させ、この入力したデータの足し算を行なわせて、その結果のデータを出力させることができる。したがって、この制御手段はさらに、多重分離手段からの制御データの中に含まれている静止画モードを示す情報および１つの画像グループの中の複数の画面のうち再生画面を特定した情報を受けたときは、この情報にもとづいて第１または第２の記憶手段のいずれかより特定された再生画面のデータ、つまり高解像度の再生画面のデータを効果的に出力させることができる。
【図面の簡単な説明】
【図１】本発明による圧縮符号化装置の一実施例の具体的構成を示す機能ブロック図である。
【図２】本発明による伸長再生装置の一実施例の具体的構成を示す機能ブロック図である。
【図３】本発明による圧縮符号化装置および伸長再生装置の一実施例の接続関係を示すブロック図である。
【図４】図１に示す実施例のアナログ・ディジタル(A/D) 変換回路の具体的構成を示す機能ブロック図である。
【図５】図１に示す実施例の前処理回路の具体的構成を示す機能ブロック図である。
【図６】  SIF のパラメータを示す図である。
【図７】図１に示す実施例の前処理回路の輝度信号Ｙの処理例を示す概念図である。
【図８】図１に示す実施例の前処理回路の色差信号CrおよびCbの処理例を示す概念図である。
【図９】各装置の画面の処理およびその画面の並びの例を示す図である。
【図１０】図１に示す実施例のGOP の構造を示す図である。
【図１１】図１に示す実施例の画像データの階層構成を示す図である。
【図１２】図１に示す実施例の出力データの階層構成を示す図である。
【図１３】図12に示す略称の内容の一部を示す図である。
【図１４】図12に示す略称の内容の一部を示す図である。
【図１５】図12に示す略称の内容の一部を示す図である。
【図１６】図12に示す略称の内容の一部を示す図である。
【符号の説明】
1   圧縮符号化装置
2   伸長再生装置
3   ビデオカメラ
4   記録再生装置
5   モニタ装置
6   ビデオプリンタ
202 アナログ・ディジタル(A/D) 変換回路
204 前処理回路
206 第１フレームメモリ
208、412 第１スイッチ回路
210 第２フレームメモリ
212、420 第２スイッチ回路
214 減算回路
216 DCT 回路
218 量子化回路
220 可変長符号化回路
222 多重化回路
226、406 逆量子化回路
228、408 逆 DCT回路
230、410 加算回路
232、422 第３スイッチ回路
234、414 第１予測回路
246、416 第２予測回路
238、418 平均化回路
240 第４スイッチ回路
242、428 制御回路
244 プリントアウトボタン回路
402 多重分離回路
404 復号回路
424 後処理回路
426 ディジタル・アナログ(D/A) 変換回路
【図１】
0003713067.tif 000002
【図２】
0003713067.tif 000003
【図３】
0003713067.tif 000004
【図４】
0003713067.tif 000005
【図５】
0003713067.tif 000006
【図６】
0003713067.tif 000007
【図７】
0003713067.tif 000008
【図８】
0003713067.tif 000009
【図９】
0003713067.tif 000010
【図１０】
0003713067.tif 000011
【図１１】
0003713067.tif 000012
【図１２】
0003713067.tif 000013
【図１３】
0003713067.tif 000014
【図１４】
0003713067.tif 000015
【図１５】
0003713067.tif 000016
【図１６】
0003713067.tif 000017