(57)【要約】【課題】  画像をセグメントに分解し、各セグメントを単位として動きベクトルを求め符号化する動画像動き補償予測符号化方式において、圧縮率を高めても視覚的に違和感のない動画像が得られるとともに、符号化効率の高い符号化・復号化方式の実現。【解決手段】  入力画像を、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去又は減衰させた基本画像と、前記入力画像と前記基本画像との差分である模様画像とに分解する手段を備え、前記基本画像を使って符号化・復号化することを本方式の主要構成とし、視覚的に重要なオブジェクトの境界を劣化させないようにしたこと、  また符号化と復号化で、同一の符号化済み基本画像を、同一の方法でセグメント分解して、同一のセグメントを得ることにより、セグメントの形状情報を伝送しない符号化方式としたこと【選択図】      図１
2005236723.tif 000002
【特許請求の範囲】
【請求項１】
画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化装置において、
符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解手段と、
前記画像分解手段で得られた前記基本画像を、符号化対象の入力基本画像として符号化する基本画像符号化部とを備え、
前記基本画像符号化部は、
前記基本画像符号化部で得られた前記基本画像の符号データを、局部復号化した既に符号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解手段と、
前記分解されたセグメントを、前記画像分解手段で得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定手段と、
前記セグメント及び前記動きベクトルから、入力基本画像の予測画像を生成する予測基本画像生成手段と
を有することを特徴とする動画像符号化装置。
【請求項２】
画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化方法において、
符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解ステップと、
前記画像分解ステップで得られた前記基本画像を、符号化対象の入力基本画像として符号化する基本画像符号化ステップとを備え、
前記基本画像符号化ステップは、
前記基本画像符号化ステップで得られた前記基本画像の符号データを、局部復号化した既に符号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解ステップと、
前記分解されたセグメントを、前記画像分解ステップで得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定ステップと、
前記セグメント及び前記動きベクトルから、入力基本画像の予測画像を生成する予測基本画像生成ステップと
を有し、順次機能させるものであることを特徴とする動画像符号化方法。
【請求項３】
請求項１記載の動画像符号化装置により符号化された符号データの復号化を行う動画像復号化装置において、
復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別手段と、
前記符号データ判別手段で得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化部とを備え、
前記基本画像復号化部は、
前記符号データ判別手段で得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化手段と、
前記基本画像復号化部で得られた既に復号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解手段と、
前記復号基本画像セグメント分解手段で得られた前記セグメントと、前記動きベクトル復号化手段で得られた前記動きベクトルから、復号化対象基本画像の予測画像を生成する予測基本画像生成手段と、
を有することを特徴とする動画像復号化装置。
【請求項４】
請求項１記載の動画像符号化方法により符号化された符号データの復号化を行う動画像復号化方法において、
復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別ステップと、
前記符号データ判別ステップで得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化ステップとを備え、
前記基本画像復号化ステップは、
前記符号データ判別ステップで得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化ステップと、
前記基本画像復号化ステップ部で得られた、既に復号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解ステップと、
前記復号基本画像セグメント分解ステップで得られた前記セグメントと、前記動きベクトル復号化ステップで得られた前記動きベクトルから、復号化対象基本画像の予測画像を生成する予測基本画像生成ステップと、
を有し、順次機能させるものであることを特徴とする動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム相関を利用した動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法に関するものである。
【背景技術】
【０００２】
近年、デジタル化された画像・音声信号に対し高能率予測符号化による圧縮を行い、その圧縮された情報を用いて、衛星波、地上波、電話回線などの伝送路により情報を配信するサービスが実用化されている。このようなサービスにおいて、動画像信号・音声信号の高能率予測符号化方式として国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２が用いられている。
【０００３】
ＭＰＥＧ−２は、画像信号の隣接画素間の相関（空間方向の相関）、及び、フレームもしくはフィールドの相関（時間方向の相関）を利用して、画像信号の情報量を圧縮する符号化方式である。空間方向の圧縮は、離散コサイン変換、量子化、可変長コーディングによって達成される。時間方向の圧縮は、動き補償予測と呼ばれる処理を介して達成され、その場合に、画像フレーム間での画像要素の並進運動を記述するために動きベクトルが使用される（例えば、特許文献1参照。）。
【０００４】
また、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ  １４４９６−２：”Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ−  Ｐａｒｔ２：Ｖｉｓｕａｌ”）に代表されるオブジェクトベース符号化方式は、フレーム又はフィールドを単位として符号化するのではなく、画像を前景や背景などの画像領域（以下、オブジェクトという。）に分割し、分割したオブジェクト単位に符号化するものである（例えば、特許文献２参照。）。
【０００５】
図１２は、画像をオブジェクト単位に分割する処理の一例を示す図である。図１２（ａ）は、画像をオブジェクト単位に分割する前の画像を示し、前記した画像５１０は人間、木、葉、空、山、地面を表すオブジェクト５０２〜５０７より構成されている。図１２（ｂ）は画像をオブジェクト単位に分割した後のそれぞれのオブジェクトを示す図で、画像５１０は人間のオブジェクト５０７、木のオブジェクト５０３、葉のオブジェクト５０２、空のオブジェクト５０５、山のオブジェクト５０６、地面のオブジェクト５０４に分割され、それぞれ個別に符号化処理される。
【０００６】
前記したオブジェクトは、オブジェクトの絵柄を表すテクスチャ画像とオブジェクトの形状を表すオブジェクト形状情報とから構成される。また前記したオブジェクトベース符号化方式は、形状符号化によりこのオブジェクト形状情報を符号化し、オブジェクトごとにテクスチャ画像を符号化するものである。オブジェクト形状情報は、画素がそのオブジェクトに含まれるか否かを示す２値ビットパターン画像、又はオブジェクト形状の輪郭情報で表される。
【特許文献１】特開２００２−１４２２２４号公報（第２〜３頁、第３図）
【特許文献２】特開２００２−２２３４４０号公報（第２頁、第６図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＭＰＥＧ−２、ＭＰＥＧ−４のようなフレーム間相関を利用した符号化方式では、相関の基となるイントラ画像を符号化し、次に符号化するフレームを矩形ブロックに分け、ブロックごとに既に符号化されているフレーム（イントラ画像を含む）から動きベクトルを求め、動き補償予測符号化を行う。
【０００８】
符号化効率を高めるためには、求めた動きベクトルに対応するブロックとの差分情報をできるだけ小さくすることが必要なため、ブロックの探索範囲を広げたり、１/２画素や１/４画素単位での探索を行ったりする。しかし、ブロックに高周波数成分が多かったりオブジェクトの境界を含んでいる場合には、差分情報を減らすことは難しく、圧縮率を上げていくとブロック境界にブロックノイズが生じる。このブロックノイズを抑制するため、デブロックフィルタをブロック境界に適応的に用いることもあるが、画像は全体的にぼけたものとなる。
【０００９】
このようにＭＰＥＧ−２、ＭＰＥＧ−４のようなブロックを用いた符号化方式では、圧縮率を高めると、高周波数成分を多く含むブロックは視覚的に違和感を覚える画像となることが多い。
【００１０】
一方、オブジェクトベース符号化方式は、テクスチャ符号化とオブジェクト形状符号化とを別に行う必要がある。フレーム相関を利用する場合は、これから符号化しようとするフレームをオブジェクトに分解し、そのオブジェクト毎に、既に符号化されているフレームのなかで最も類似した領域を探索し、ここからオブジェクトが移動したとして動きベクトルを求める。これは、フレームをブロック分割して、そのブロックごとに動き検出をする方式の延長線上にあり、ブロックをオブジェクトのような任意形状にして符号化するものといえる。
【００１１】
ブロックを任意形状のオブジェクトにするメリットとしては、分解したオブジェクトは矩形ブロックではなくオブジェクトそのものであるため、動き検出が正確にできる、また通常オブジェクトはブロックより大きくなり動きベクトルの総数が少なくなるなどがあげられる。しかし、新たに形状情報を符号化する必要がある。従って、オブジェクトベース符号化による圧縮率は、オブジェクトの形状情報をどれだけ小さくできるかに依存している。しかし、自然画像では、前景と背景でのフォーカスのずれ、ノイズなどにより、オブジェクトを正確に捉えることは難しく、さらに捉えた形状は複雑になり、形状情報を小さくすることは難しい。
【００１２】
このため、形状情報を有するオブジェクトベース符号化方式では、圧縮率を上げると画質を維持できない、もしくは、圧縮率を上げて違和感のない動画像の符号データを作成することが困難であるという問題があった。
【００１３】
そこで本発明は、上記問題を解決して、圧縮率を高めても視覚的に違和感のない、すなわち視覚的に目立つ劣化を感じさせない動画像の符号化を可能とし、しかも符号化効率の高い動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成する手段として、下記の構成からなる本発明の動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法を提供する。ここで、本発明におけるオブジェクトとセグメントとの違いについて説明する。一般にオブジェクトとセグメントは同一視されることが多いが、本発明においては異なるものとして扱う。オブジェクトとは画像、動画像において人間が識別できる領域、例えば、山、空、人間、顔、目などの領域とし、セグメントは任意の領域を表すものとし、オブジェクトは１つ以上のセグメントから構成されるものとする。
【００１５】
画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化装置において、符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解手段（イントラ画像分解手段１０３およびインター画像分解手段１０８）と、前記画像分解手段で得られた前記基本画像を、符号化対象の入力基本画像として符号化する基本画像符号化部（イントラ基本画像符号化手段１０４およびインター基本画像符号化部１２０）とを備え、前記基本画像符号化部は、前記基本画像符号化部で得られた前記基本画像の符号データを、局部復号化した既に符号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解手段（復号基本画像セグメント分解手段１０７）と、前記分解されたセグメントを、前記画像分解手段で得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定手段（動き推定手段１０９）と、前記セグメント及び前記動きベクトルから、入力基本画像の予測画像を生成する予測基本画像生成手段（インター予測基本画像生成手段１１０）とを有することを特徴とする動画像符号化装置
【００１６】
画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化方法において、符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解ステップ（イントラ画像分解ステップＳＴ５０３およびインター画像分解ステップＳＴ５０８）と、前記画像分解ステップで得られた前記基本画像を、符号化対象の入力基本画像として符号化する基本画像符号化ステップ（イントラ基本画像符号化ステップＳＴ５０４およびインター基本画像符号化ステップＳＴ５３０）とを備え、前記基本画像符号化ステップは、前記基本画像符号化ステップで得られた前記基本画像の符号データを、局部復号化した既に符号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解手ステップ（復号基本画像セグメント分解ステップＳＴ５０９）と、前記分解されたセグメントを、前記画像分解ステップで得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定ステップ（動き推定ステップＳＴ５１０）と、前記セグメント及び前記動きベクトルから、入力基本画像の予測画像を生成する予測基本画像生成ステップ（予測基本画像生成ステップＳＴ５１３）とを有し、順次機能させるものであることを特徴とする動画像符号化方法
【００１７】
前記動画像符号化装置により符号化された符号データの復号化を行う動画像復号化装置において、復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別手段（符号データ判別手段２０２）と、前記符号データ判別手段で得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化部（イントラ基本画像復号化手段２０３、インター基本画像復号化部２２０）とを備え、前記基本画像復号化部は、前記符号データ判別手段で得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化手段（インター動きベクトル復号化手段２０６）と、前記基本画像復号化部で得られた既に復号化済みの基本画像を、セグメントに分解する復号基本画像セグメント分解手段（復号基本画像セグメント分解手段２０５）と、前記復号基本画像セグメント分解手段で得られた前記セグメントと、前記動きベクトル復号化手段で得られた前記動きベクトルから、復号化対象基本画像の予測画像を生成する予測基本画像生成手段（インター予測基本画像生成手段２０７）と、を有することを特徴とする動画像復号化装置
【００１８】
前記動画像符号化方法により符号化された符号データの復号化を行う動画像復号化方法において、復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別ステップ（イントラ基本画像復号化ステップＳＴ６０３、動きベクトル復号化ステップＳＴ６０７、及び差分データ復号化ステップＳＴ６１０の各一部機能）と、前記符号データ判別ステップで得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化ステップ（イントラ基本画像復号化ステップＳＴ６０３、インター基本画像復号化ステップＳＴ６２０）とを備え、前記基本画像復号化ステップは、前記符号データ判別ステップで得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化ステップ（動きベクトル復号化ステップＳＴ６０７）と、前記基本画像復号化ステップ部で得られた、既に復号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解ステップ（復号基本画像セグメント分解ステップＳＴ６０８）と、前記復号基本画像セグメント分解ステップで得られた前記セグメントと、前記動きベクトル復号化ステップで得られた前記動きベクトルから、復号化対象基本画像の予測画像を生成する予測基本画像生成ステップ（予測基本画像生成ステップＳＴ６０９）と、を有し、順次機能させるものであることを特徴とする動画像復号化方法
【発明の効果】
【００１９】
本発明によれば、入力画像を、画像を構成するオブジェクト内部の高周波成分を除去した基本画像と、前記入力画像と前記基本画像との差分情報である模様画像とに分解する画像分解手段を備え、前記基本画像を使って符号化復号化することを本方式の主要構成としたこと、また既に符号化済みの基本画像を復号化してセグメント分解する構成により符号化と復号化で同一のセグメントを得られるようにして、形状情報を伝送しない符号化方式としたことにより、符号化効率の高い符号化復号化方式が実現できるとともに、圧縮率を上げても視覚的に違和感のない動画像が得られる効果がある。
【発明を実施するための最良の形態】
【００２０】
本発明は、以下に示す特徴を有する動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法より構成されている。
【００２１】
本発明の動画像符号化装置は、画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化装置において、符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解手段と、前記画像分解手段で得られた前記基本画像を、符号化対象の入力基本画像として、符号化する基本画像符号化部を備え、前記基本画像符号化部は、イントラ符号化するイントラ基本画像符号化部、及びインター符号化するインター基本画像符号化部から構成されるとともに、前記インター基本画像符号化部は、前記基本画像符号化部で得られた前記基本画像の符号データを復号化する基本画像復号化手段と、前記基本画像復号化手段で得られた既に符号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解手段と、前記復号基本画像セグメント分解手段で得られた前記分解されたセグメントを、前記画像分解手段で得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定手段と、前記セグメント及び前記動きベクトルから、符号化対象入力基本画像の予測画像を生成する予測基本画像生成手段と、前記画像分解手段で得られた前記符号化対象の入力基本画像と、前記予測基本画像生成手段で得られた予測基本画像の差分をとることにより、差分画像を生成するとともに、前記差分画像及び前記動き推定手段で得られた動きベクトルから、インター基本画像の符号データを生成する差分画像生成符号化手段とを有することを特徴とする動画像符号化装置である。
【００２２】
本発明の動画像復号化装置は、前記動画像符号化装置により符号化された符号データの復号化を行う動画像復号化装置において、復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別手段と、前記符号データ判別手段で得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化部とを有し、前記基本画像復号化部は、イントラ基本画像を復号化するイントラ基本画像復号化部、及びインター基本画像を復号化するインター基本画像復号化部から構成されるとともに、前記インター基本画像復号化部は、前記符号データ判別手段で得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化手段と、前記基本画像復号化部で得られた既に復号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解手段と、前記動きベクトル復号化手段で得られた前記動きベクトルと、前記復号基本画像セグメント分解手段で得られた前記セグメントから、復号化対象基本画像の予測画像を生成する予測基本画像生成手段と、前記符号データ判別手段で得られた前記復号化対象基本画像の入力符号データより差分画像を復号化する差分データ復号化手段と、前記差分データ復号化手段で得られた差分画像と、予測基本画像生成手段で得られた予測基本画像とを加算することにより、復号化対象のインター基本画像を生成する復号基本画像生成手段とを有することを特徴とする動画像復号化装置である。
【００２３】
本発明の動画像符号化方法は、画像をセグメントに分解し、分解した各セグメントを単位として動きベクトルを求め、動き補償予測符号化を行う動画像符号化方法において、符号化対象の画像を入力し、その入力画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像を得る画像分解ステップと、前記画像分解ステップで得られた前記基本画像を、符号化対象の入力基本画像として符号化する基本画像符号化ステップとを備え、前記基本画像符号化ステップは、イントラ符号化するイントラ基本画像符号化ステップ、及びインター符号化するインター基本画像符号化ステップから構成されるとともに、前記インター基本画像符号化ステップ部は、前記基本画像符号化部で得られた前記基本画像の符号データを復号化する基本画像復号化ステップと、前記基本画像復号化ステップで得られた、既に符号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解ステップと、前記復号基本画像セグメント分解ステップで得られた前記分解されたセグメントを、前記画像分解ステップで得られた前記符号化対象の入力基本画像と比較して、セグメントごとに動きベクトルを求める動き推定ステップと、前記セグメント及び前記動きベクトルから、符号化対象入力基本画像の予測画像を生成する予測基本画像生成ステップと、前記画像分解ステップで得られた前記符号化対象の入力基本画像と、前記予測基本画像生成手段で得られた予測基本画像の差分をとることにより、差分画像を生成するとともに、前記差分画像及び前記動き推定手段で得られた動きベクトルから、インター基本画像の符号データを生成する差分画像生成符号化ステップとを順次行うよう機能させるものであることを特徴とする動画像符号化方法である。
【００２４】
本発明の動画像復号化方法は、前記動画像符号化方法により符号化された符号データの復号化を行う動画像復号化方法において、復号化対象の符号データを入力し、画像を構成するオブジェクトのエッジを保存しながらオブジェクト内部の高周波成分を除去または減衰させた基本画像の符号データを得る符号データ判別ステップと、前記符号データ判別ステップで得られた前記基本画像の符号データを、復号化対象基本画像の入力符号データとして復号化する基本画像復号化ステップとを有し、前記基本画像復号化ステップは、イントラ基本画像を復号化するイントラ基本画像復号化ステップ、及びインター基本画像を復号化するインター基本画像復号化ステップから構成されるとともに、前記インター基本画像復号化ステップは、前記符号データ判別ステップで得られた前記復号化対象基本画像の入力符号データから、各セグメントの動きベクトルを復号化する動きベクトル復号化ステップ、前記基本画像復号化ステップで得られた、既に復号化済みの基本画像をセグメントに分解する復号基本画像セグメント分解ステップと、前記動きベクトル復号化ステップで得られた前記動きベクトルと、前記復号基本画像セグメント分解ステップで得られた前記セグメントから、復号化対象基本画像の予測画像を生成する予測基本画像生成ステップと、前記符号データ判別ステップで得られた前記復号化対象基本画像の入力符号データより差分画像を復号化する差分データ復号化ステップと、前記差分データ復号化ステップで得られた差分画像と、前記予測基本画像生成ステップで得られた予測基本画像とを加算することにより、復号化対象のインター基本画像を生成する復号基本画像生成ステップとを順次行うよう機能させるものであることを特徴とする動画像復号化方法である。
【００２５】
以下、本発明実施の最良の形態につき、好ましい実施例により、図１〜図１１を参照して説明する。図１は本発明の動画像符号化装置の第１実施例を示すブロック構成図、図２は本発明の各実施例に係る基本画像、模様画像を説明する図、図３は本発明の動画像符号化方法の第１実施例を示すフローチャート、図４は本発明の動画像復号化装置の第１実施例を示すブロック構成図、図５は本発明の動画像復号化方法の第１実施例を示すフローチャート、図６は本発明の第１実施例における動画像符号化装置と動画像復号化装置が、伝送系を介して接続された状態を示すブロック構成図である。そして図７は本発明の動画像符号化装置の第２実施例を示すブロック構成図、図８は本発明の動画像符号化方法の第２実施例を示すフローチャート、図９は本発明の動画像復号化装置の第２実施例を示すブロック構成図、図１０は本発明の動画像復号化方法の第２実施例を示すフローチャート、図１１は本発明の第２実施例における動画像符号化装置と動画像復号化装置が、伝送系を介して接続された状態を示すブロック構成図である。
以下、下記の順番で、本発明を詳細に説明する。
（１）本発明の第１実施例である動画像符号化装置
（２）本発明の第１実施例である動画像符号化方法
（３）本発明の第１実施例である動画像復号化装置
（４）本発明の第１実施例である動画像復号化方法
（５）本発明の第１実施例である動画像符号化復号化装置及び方法
（６）本発明の第２実施例である動画像符号化装置
（７）本発明の第２実施例である動画像符号化方法
（８）本発明の第２実施例である動画像復号化装置
（９）本発明の第２実施例である動画像復号化方法
（１０）本発明の第２実施例である動画像符号化復号化装置及び方法
【実施例１】
【００２６】
（１）本発明の第１実施例である動画像符号化装置
【００２７】
本発明の動画像符号化装置の第１実施例である符号化装置１００は、図１に示すように、動画像入力手段１０１、イントラ・インター画像選択手段１０２ 、イントラ画像分解手段１０３、イントラ基本画像符号化手段１０４ 、インター画像分解手段１０８、インター基本画像符号化部１２０、符号データ出力手段１１３より構成され、さらに前記インター基本画像符号化部１２０は、イントラ基本画像復号化手段１０５ 、復号基本画像記憶手段１０６ 、復号基本画像セグメント分解手段１０７ 、動き推定手段１０９ 、インター予測基本画像生成手段１１０ 、差分画像生成符号化手段１１１、インター基本画像復号化手段１１２を備えている。前記した構成を有する符号化装置１００の符号化動作に従って以下説明する。
【００２８】
図１に示すように、動画像入力手段１０１は、入力された動画像を、符号化する順序に従ってフレーム毎の動画像として、イントラ・インター画像選択手段１０２に出力する。
【００２９】
イントラ・インター画像選択手段１０２は、入力されたフレーム毎の画像を、それぞれイントラ画像分解手段１０３側またはインター画像分解手段１０８側に選択出力する。
【００３０】
イントラ画像分解手段１０３は、入力された画像を、オブジェクト内部の高周波数成分を取り除いた基本画像と、入力画像と基本画像の差分情報である模様画像とに分解するもので、本実施例では基本画像だけをイントラ画像符号化手段１０４に出力する。
【００３１】
前記した基本画像は、画像構成要素のエッジを保存しながら高周波数成分を除去または減衰させたもので、オブジェクト内部の高周波数成分が除去されているため、アニメーションのような絵に近づく特徴を持つが、オブジェクトの境界は保存されているので、全体的にくっきりした絵となり、視覚的に見やすいものとなる。また後述の動きベクトルの検出（動き推定手段１０９）も正確にできるようになる。
【００３２】
前記したオブジェクト内部の高周波数成分を取り除く方法としては、メディアンフィルタ、重み付きメディアンフィルタなどがある。メディアンフィルタとは処理対象の画素を中心に任意の窓幅の画素を入力とし、入力された画素のレベルをあらわす数値を昇順、もしくは降順に並び替え、その中央にあたるレベルの数値を出力するものである。これによりオブジェクトの境界であるエッジを保存しながら、オブジェクト内部の高周波数成分を取り除くことができる。また、重み付きメディアンフィルタも同様の機能を持っているが、重み付きメディアンフィルタは、前述したメディアンフィルタに比べ、オブジェクトの境界をより保存できる。
【００３３】
図２は、前記した基本画像、模様画像の概念を示す図である。同図（ａ）は、イントラ画像分解手段１０３の入力側に供給されるフレーム画像の一例を示すものであり、人間のオブジェクト６０７、木のオブジェクト６０３、葉のオブジェクト６０２、空のオブジェクト６０５、山のオブジェクト６０６、地面のオブジェクト６０４から構成されている入力画像６１０を、同図（ｂ）の基本画像６２０、同図（ｃ）の模様画像６３０分解する。すなわち、基本画像６２０は、入力画像６１０よりオブジェクト内部の高周波成分を取り除いたもので、人間のオブジェクトの輪郭６０７ａ、木のオブジェクトの輪郭６０３ａ、葉のオブジェクトの輪郭６０２ａ、空のオブジェクトの輪郭６０５ａ、山のオブジェクトの輪郭６０６ａ、地面のオブジェクトの輪郭６０４ａから構成されている。また模様画像６３０は、入力画像６１０の人間のオブジェクト内部の高周波成分６０７ｂ、木のオブジェクト内部の高周波成分６０３ｂ、葉のオブジェクト内部の高周波成分６０２ｂ、空のオブジェクト内部の高周波成分６０５ｂ、山のオブジェクト内部の高周波成分６０６ｂ、地面のオブジェクト内部の高周波成分６０４ｂから構成されている。すなわち模様画像６３０は、入力画像６１０と基本画像６２０の差分画像となっている。
【００３４】
前記した図２の（ａ）に示す人間のオブジェクト６０７を例にすると、オブジェクト６０７を境界６０７１と、境界６０７１で囲まれた内部６０７２と分けた場合、この境界６０７１がノイズが重畳するなどによって劣化すると、その内部６０７２にノイズがない場合でも格段に劣化したように感じられる。同様にオブジェクト６０７以外のオブジェクト６０２〜６０６についても同様である。
【００３５】
一般に動画像において、オブジェクトの境界が劣化すると、他の部分（例えば、オブジェクトの内部の模様）が劣化した場合よりも、非常に劣化したと感じる。これは以下の理由による。人が物を見る時、まず輪郭に注目し、輪郭の持つ線とか角など要素の組み合わせにより形状を認識し、記憶の中からそれが何であるか見ようとする。このため人間の視覚特性は、輪郭を構成する連続するエッジに対しては非常に敏感であるが、高周波数成分により構成されるオブジェクトの内部の模様には比較的鈍感である。
【００３６】
例えば、ＭＰＥＧ−２で符号化する場合、圧縮率を高めていくとブロックノイズが発生するが、その画像がＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）としては良い値を示していても、視覚的には非常に劣化したものと感じる。これは、ブロックノイズがブロックの輪郭という連続するエッジを持つため、人間の目にとって敏感に情報を得る部分であるからである。しかし、オブジェクト内部の高周波数成分を劣化させ、模様を減らすことで圧縮率を高めていくと、元の動画像と比較しなければ、違和感を覚えないことも多い。
【００３７】
つまり、人間にとってより重要な視覚情報は連続するエッジで、これはオブジェクトの境界に相当する。基本画像とはオブジェクトの境界を保存した画像であり、基本画像のみの動画像を用意しても、重要な視覚情報は保存されており、元の動画像と比較しない限り違和感のない動画像となる。
【００３８】
さて図１に戻って、イントラ基本画像符号化手段１０４は、入力されたイントラ基本画像を符号化し、イントラ基本画像の符号データとして、符号データ出力手段１１３に出力するとともに、イントラ基本画像復号化手段１０５に出力する。１０３から供給される基本画像は前述したように、オブジェクト内部の高周波数成分が除去されているため、ＪＰＥＧやＪＰＥＧ２０００のような静止画符号化方式を用いても符号化効率は高くなるという特徴を持つ。
【００３９】
次にインター基本画像の符号化装置について、インター基本画像符号化部１２０の構成に従って述べる。
【００４０】
イントラ基本画像復号化手段１０５は、入力された符号データを復号化してイントラ復号基本画像として、復号基本画像記憶手段１０６に出力する。
【００４１】
復号基本画像記憶手段１０６は、この入力されたイントラ復号基本画像を記憶する。また別の機能として、後述するようにインター基本画像復号化手段１１２により復号化されたインター復号基本画像を記憶する機能も持つ。すなわち、イントラで符号化されているか、インターで符号化されているかに応じて、イントラ基本画像復号化手段１０５およびインター基本画像復号化手段１１２からの復号基本画像を記憶し、セグメント分解の対象画像として、復号基本画像セグメント分解手段１０７に出力する。
【００４２】
復号基本画像セグメント分解手段１０７は、入力された復号基本画像をセグメントに分割するセグメント分解を行い、その分解されたセグメントを動き推定手段１０９に出力する。
【００４３】
１０７で行なうセグメント分解は、オブジェクト内部の高周波数成分を取り除いた基本画像に対して行っているため、高周波数成分の模様によるセグメントが発生しないこととなり、入力画像の場合と比較すると、面積の大きなセグメントが生成できる。したがって、セグメントの数が少なくなるので、動きベクトル数も少なくなり符号化効率が上がる。
【００４４】
また、セグメント分解の対象画像は、復号基本画像であり、次に符号化される画像（符号化対象の画像）ではない。このため符号化装置と復号化装置は、同一の基本画像をセグメント分解の対象とすることができる。イントラ画像分解手段１０３およびインター基本画像分解手段１０８で得られる基本画像は、符号化装置の動画像入力手段１０１で得られる画像からしか作れないもので、後述する復号化装置（例えば図４）でこれらと同じ基本画像を得ようとすると可逆符号化が必要となるが、符号化効率の点からそれは難しい。復号化装置で得られる画像は符号データなので、符号化装置でも同じ符号データを復号化して用いれば、復号化装置と同条件となり、誤差は発生しない。
【００４５】
ここで、前記したセグメント分解の一例として、平均値によりセグメント分解する方法を以下に示す。画像を４ｘ４のブロックごとに分け、おのおののブロックに対してブロック内の画素のレベル平均値を求める。そして隣り合うブロックの平均値が設定した閾値以内なら、これらのブロックを結合拡大することでひとつのセグメントを構成する。これを順次繰り返すことでセグメント分解を行う。
【００４６】
インター画像分解手段１０８は、入力されたインター画像を、オブジェクト内部の高周波数成分を取り除いた基本画像と、入力画像と基本画像の差分情報である模様画像とに分解し、基本画像を動き推定手段１０９および差分情報符号化手段１１１に出力する。
【００４７】
動き推定手段１０９は、復号基本画像セグメント分解手段１０７で得られた各セグメントをインター画像分解手段１０８で得られた基本画像と比較して動きベクトルを求め、これらを符号化して、インター予測基本画像生成手段１１０に出力する。
【００４８】
ＭＰＥＧ−２やＭＰＥＧ−４では次に符号化する画像（符号化対象画像）をブロックに分け、ブロックごとに既に符号化したフレーム(復号画像)からもっとも差分情報の少ないブロックの動きベクトルを求めていたのに対し、前述した動き推定手段１０９はでは、一度符号化した画像（復号画像）をセグメント分解し、そのセグメントごとに、次に符号化する画像（符号化対象画像）のどの領域がセグメントと最も類似しているかの位置を求め、その最も差分情報の少ない領域への動きベクトルを求めている。
【００４９】
前記インター予測基本画像生成手段１１０は、各セグメントおよび動きベクトルから、符号化対象画像の予測基本画像を生成し、差分画像生成符号化手段１１１に出力する。
【００５０】
この予測基本画像は、復号基本画像（１０６に記憶してあるイントラまたはインター復号基本画像）を基準に、各セグメントを動きベクトルにしたがって平行移動やアフィン変換などをして生成する。このときの動きベクトルは、可逆符号化でない限り、動き推定手段１０９で符号化した動きベクトルを復号化して用いる。また生成された予測基本画像は、セグメント間の抜け、セグメントの重なりが生ずるが、これらはそれぞれ補間、平均値などの手段で、予測基本画像を修正すればよい。
【００５１】
差分画像生成符号化手段１１１は、符号化対象のインター画像分解手段１０８で得られたインター基本画像を、前記インター予測基本画像生成手段１１０で生成された予測基本画像と比較して、差分画像（予測誤差）を生成し、その差分画像を符号化して差分データとし、符号化された動きベクトルとともに、インター基本画像の符号データとして符号データ出力手段１１３およびインター基本画像復号化手段１１２に出力する。
【００５２】
インター基本画像復号化手段１１２は、前記１１１出力のインター基本画像の符号データを復号化し、インター復号基本画像として、復号基本画像記憶手段１０６に出力する。
このインター基本画像の復号化は、差分画像生成符号化手段１１１で符号化された差分データを復号化し、この差分画像をインター予測基本画像生成手段１１０で生成された予測基本画像に加算して行う。
【００５３】
復号基本画像記憶手段１０６は、前記インター基本画像復号化手段１１２により復号されたインター復号基本画像、および前述（イントラの信号系統）のイントラ復号基本画像を記憶し、復号基本画像セグメント分解手段１０７に出力する。
【００５４】
そして動画像符号化装置の最終出力段である符号データ出力手段１１３は、イントラ基本画像符号化手段１０４により符号化されたイントラ基本画像の符号データおよびインター基本画像符号化部１２０で得られたインター基本画像の符号データを、所定のフォーマットに従ってストリームとしての符号データを作成して出力するものである。
【００５５】
（２）本発明の第１実施例である動画像符号化方法
【００５６】
次に、第１実施例の動画像符号化方法について、図３のフローチャートに基づき説明する。
【００５７】
まず、動画像から符号化するフレームの画像を取り出す（ステップＳＴ５０１）。取り出された画像は、所定のシーケンスに従って、イントラ画像として符号化するか、インター画像として符号化するかを選択し、イントラ画像として符号化する場合にはステップＳＴ５０３へ、インター画像として符号化する場合にはステップＳＴ５０８へ進む（ステップＳＴ５０２）。
【００５８】
イントラ画像として符号化する場合、そのイントラ画像をイントラ基本画像とイントラ模様画像に分解する（ステップＳＴ５０３）。分解したイントラ基本画像を符号化する（ステップＳＴ５０４）。符号化されたイントラ基本画像の符号データを復号化する（ステップＳＴ５０５）。復号化されたイントラ基本画像を復号基本画像メモリに記憶する（ステップＳＴ５０６）。
【００５９】
ステップＳＴ５０２で、インター画像として符号化する場合、インター画像をインター基本画像とインター模様画像に分解する（ステップＳＴ５０８）。復号基本画像メモリに記憶されている画像を取り出し、セグメント分解する（ステップＳＴ５０９）。得られたセグメントと、ステップＳＴ５０８で分解されたインター基本画像とを比較し、動きベクトルを求める（ステップＳＴ５１０）。推定した動きベクトルを符号化する（ステップＳＴ５１１）。符号化した動きベクトルを復号化する（ステップＳＴ５１２）。ただし、ステップＳＴ５１０で推定し求めた動きベクトルと、ステップＳＴ５１２で復号化した動きベクトルが、必ず一致する場合、ステップＳＴ５１２は必要ない。復号された動きベクトルと、ステップＳＴ５０９で得られたセグメントから、予測基本画像を生成する（ステップＳＴ５１３）。ステップＳＴ５０８で分解されたインター基本画像とステップＳＴ５１３で生成された予測基本画像とを比較し、差分画像を得て、それを符号化する（ステップＳＴ５１４）。符号化された差分データを復号化する（ステップＳＴ５１５）。ステップＳＴ５１３で生成された予測基本画像にステップＳＴ５１５で復号化された差分画像を加算する（ステップＳＴ５１６）。ステップＳＴ５１６で得られた基本画像を復号基本画像メモリに記憶する（ステップＳＴ５１７）。
【００６０】
また図３のフローチャートでは、前記インター画像の処理フローのうち、ステップＳＴ５０８〜ステップＳＴ５１７、並びに前記イントラ画像の処理フローのステップＳＴ５０５とステップＳＴ５０６は、インター基本画像の符号化に必要なステップとして、インター基本画像符号化ステップＳＴ５３０を構成している。
【００６１】
ステップＳＴ５０４で生成されたイントラ基本画像の符号データおよびステップＳＴ５１４、ＳＴ５１１で生成されたインター基本画像の符号データを所定のフォーマットに従って出力する（ステップＳＴ５２０）。そして、すべての画像を処理した場合、処理を終了する。そうでない場合にはステップＳＴ５０１へ戻る（ステップＳＴ５２１）。
【００６２】
（３）本発明の第１実施例である動画像復号化装置
【００６３】
本発明の動画像復号化装置の第１実施例である復号化装置２００は、図４に示すように、符号データ入力手段２０１、符号データ判別手段２０２、イントラ基本画像復号化手段２０３、インター基本画像復号化部２２０、画像出力手段２０９より構成され、さらに前記インター基本画像復号化部２２０は、復号基本画像セグメント分解手段２０５、インター動きベクトル復号化手段２０６、インター予測基本画像生成手段２０７、差分データ復号化合成手段２０８、復号基本画像記憶手段２０４を備えている。
前記した構成を有する復号化装置２００の復号化動作に従って以下説明する。
【００６４】
符号データ入力手段２０１は、入力された符号データを、フレーム毎の符号データとして、符号データ判別手段２０２に出力する。
【００６５】
符号データ判別手段２０２は、入力された符号データが、イントラ基本画像を符号化したものか、インター基本画像を符号化したものか、イントラ模様画像を符号化したものか、インター模様画像を符号化したものかを判別し、適切なところに出力する。本実施例では、符号データがイントラ基本画像の場合、イントラ基本画像復号化手段２０３に出力し、インター基本画像の場合、インター動きベクトル復号化部２２０に出力する。
【００６６】
イントラ基本画像復号化手段２０３は、入力された符号データよりイントラ基本画像を復号化し、画像出力手段２０９および復号基本画像記憶手段２０４に出力する。
【００６７】
次にインター基本画像の復号化装置について、インター基本画像復号化部２２０の構成にしたがって述べる。
【００６８】
復号基本画像記憶手段２０４は、入力されたイントラ復号基本画像を記憶し、復号基本画像セグメント分解手段２０５に出力する。また別の機能として、符号化装置の復号基本画像記憶手段１０６同様、差分データ復号化合成手段２０８出力の復号化されたインター復号基本画像を記憶出力する機能も持つ。
【００６９】
復号基本画像セグメント分解手段２０５は、入力された復号基本画像をセグメントに分割するセグメント分解を行い、その分解されたセグメントをインター予測基本画像生成手段２０７に出力する。
【００７０】
復号基本画像セグメント分解手段２０５は、符号データを生成した符号化装置と同一の方法でセグメント分解を行う。また符号化で述べたように、符号データを復号化した復号基本画像は、符号化・復号化で同一である。したがって、符号化と復号化で同一の画像に対して同一の方法でセグメント分解を行うことになり、符号化とまったく同じセグメントが得られるという特徴を持つ。このためセグメントの形状情報を伝送する必要がない。
【００７１】
インター動きベクトル復号化手段２０６は、入力したインター基本画像符号データの動きベクトルを復号化して、インター予測基本画像生成手段２０７に出力する。
【００７２】
インター予測基本画像生成手段２０７は、入力されたセグメントと前記動きベクトルを用いて復号化対象画像の予測基本画像を生成し、この予測基本画像を差分データ復号化合成手段２０８に出力する。
【００７３】
差分データ復号化合成手段２０８は、符号データ判別手段２０２出力の差分データを復号化し、得られた差分画像を前記予測基本画像に加算して、元のインター基本画像を合成する。この復号化されたインター基本画像は、復号基本画像記憶手段２０４に出力され、記憶されるとともに、画像出力手段２０９に出力される。
【００７４】
画像出力手段２０９は、入力されたイントラ基本画像およびインター基本画像を、時間軸上の順序に従って所定のタイミングで動画像として出力する。
【００７５】
（４）本発明の第１実施例である動画像復号化方法
【００７６】
次に、第１実施例の動画像復号化方法について、図５のフローチャートに基づき説明する。
【００７７】
まず、符号データを入力し、フレームごとのデータに切り分ける（ステップＳＴ６０１）。
フレームごとの符号データに対して、その符号データがイントラ画像を符号化したものか、インター画像を符号化したものかを判別し、イントラ画像を符号化したものであればステップＳＴ６０３へ、インター画像を符号化したものであればステップＳＴ６０７へ進む（ステップＳＴ６０２）。
【００７８】
イントラ画像を符号化したものである場合、イントラ基本画像の符号データを復号化し、イントラ基本画像を得る（ステップＳＴ６０３）。復号化したイントラ基本画像を復号基本画像メモリに記憶し（ステップＳＴ６０４）、出力する（ステップＳＴ６０５）。
【００７９】
ステップＳＴ６０２で、判別した符号データがインター画像を符号化したものである場合、符号データから動きベクトルを復号する（ステップＳＴ６０７）。復号基本画像メモリにある基本画像を符号化と同じ方法でセグメント分解する（ステップＳＴ６０８）。セグメント分解されたセグメントに対して、動きベクトルを用いて、次フレームの復号化対象画像の予測基本画像を生成する（ステップＳＴ６０９）。ただし、ここで次フレームとは時間軸上で未来に属するものを指すのではなく、復号化する順序における次を指している。インター基本画像の符号データから差分画像を復号化する（ステップＳＴ６１０）。復号された差分画像を前記予測基本画像と加算合成することによって、最終的なインター基本画像を生成する（ステップＳＴ６１１）。合成したインター基本画像を復号基本画像メモリに記憶し（ステップＳＴ６１２）、出力する（ステップＳＴ６１３）。
【００８０】
また図５のフローチャートでは、前記インター画像の処理フローのうち、ステップＳＴ６０７〜ステップＳＴ６１２、並びに前記イントラ画像の処理フローのステップＳＴ６０４は、インター基本画像の復号化に必要なステップとして、インター基本画像復号化ステップＳＴ５３０を構成している。
【００８１】
入力した符号データにおいて、すべてのフレームを処理した場合、処理を終了し、そうでない場合はステップＳＴ６０１へ戻る（ステップＳＴ６０６）。
【００８２】
（５）本発明の第１実施例である動画像符号化復号化装置及び方法
【００８３】
次に本発明の第１実施例における符号化装置及び方法と復号化装置及び方法を接続して行われる符号化復号化動作について説明する。図６は、本発明の動画像符号化復号化装置の第１実施例における符号化装置と復号化装置の接続を示すブロック構成図であり、符号化装置１００、伝送系５００、復号化装置２００を備えている。符号化装置１００により符号化された符号データは、通信媒体また記録媒体などによる伝送系５００を介して、復号化装置２００に送られ復号化される。また前記した説明は、装置を方法と読み代えることにより、本発明の動画像符号化復号化方法に適用可能である。
【００８４】
以上述べたように、本発明の第１実施例の符号化装置では、入力された動画像は基本画像と模様画像に分解され、基本画像だけ符号化される。また本方式の構成による符号化方式では、セグメントの形状情報は伝送されない。このため本発明の符号化装置によって符号化された動画像は、本発明の復号化装置によって復号化されることにより、符号化効率の高い圧縮が実現できるとともに、圧縮率を上げても違和感のない動画像が得られる。
【実施例２】
【００８５】
（６）本発明の第２実施例である動画像符号化装置
【００８６】
本発明の動画像符号化装置の第２実施例である符号化装置３００は、図７に示すように、動画像入力手段１０１、イントラ・インター画像選択手段１０２ 、イントラ画像分解手段１０３、イントラ基本画像符号化手段１０４ 、イントラ模様画像符号化手段３０１、インター画像分解手段１０８、インター基本画像符号化部１２０ 、インター模様画像符号化手段３０２、符号データ出力手段１１３より構成され、さらに前記インター基本画像符号化部１２０は、イントラ基本画像復号化手段１０５ 、復号基本画像記憶手段１０６ 、復号基本画像セグメント分解手段１０７ 、動き推定手段１０９ 、インター予測基本画像生成手段１１０ 、差分画像生成符号化手段１１１、インター基本画像復号化手段１１２ を備えている。
【００８７】
第２実施例における符号化装置３００は、第１実施例における符号化装置１００に、イントラ模様画像符号化手段３０１、インター模様画像符号化手段 ３０２を加えた構成となっている。ここでは、説明の簡略化のため、第１実施例と異なる部分について説明する。それ以外のものは、第１実施例と同様に動作するものである。
【００８８】
イントラ画像分解手段１０３は、入力されたイントラ画像に対して、オブジェクト内部の高周波数成分を取り除いた基本画像と、模様画像とに分解して、基本画像はイントラ基本画像符号化手段１０４に、模様画像はイントラ模様画像符号化手段３０１に出力する。イントラ模様画像は、入力されたイントラ画像とイントラ基本画像の差分をとることにより生成できる。この時のイントラ基本画像には、復号化されたイントラ復号基本画像を使うことが望ましい。
【００８９】
イントラ模様画像符号化手段３０１は、入力された模様画像を符号化して、符号データ出力手段１１３に出力する。
【００９０】
インター画像分解手段１０８は、入力されたインター画像に対して、オブジェクト内部の高周波数成分を取り除いた基本画像と、模様画像とに分解して、基本画像はインター動き推定手段１０９および差分画像生成符号化手段１１１に、模様画像はインター模様画像符号化手段３０２に出力する。インター模様画像は、入力されたインター画像とインター基本画像の差分をとることにより生成できる。この時のインター基本画像には、復号化されたインター復号基本画像を使うことが望ましい。
【００９１】
インター模様画像符号化手段３０２は、入力された模様画像を符号化して、符号データ出力手段１１３に出力する。
【００９２】
符号データ出力手段１１３は、イントラ基本画像符号化手段１０４で得られたイントラ基本画像の符号データ、イントラ模様画像符号化手段３０１で得られた模様画像の符号データ、インター基本画像符号化部１２０で得られたインター基本画像の符号データおよびインター模様画像符号化手段３０２で得られたインター模様画像の符号データを、所定のフォーマットに従ってストリームとしての符号データを作成・出力するものである。
【００９３】
（７）本発明の第２実施例である動画像符号化方法
【００９４】
次に、第２実施例の動画像符号化方法について、図８のフローチャートに基づき、第１実施例と異なる部分について説明する。
【００９５】
図３のフローチャートと比べ、変更点は、ステップＳＴ５０４の次にステップＳＴ７０１が、ステップＳＴ５０８の次にステップＳＴ７０２が加えられたこと、またステップＳＴ５２０の内容修正である。
【００９６】
ステップＳＴ５０４終了後、ステップＳＴ５０３で得られたイントラ模様画像を符号化する（ステップＳＴ７０１）。
ステップＳＴ５０８終了後、ステップＳＴ５０８で得られたインター模様画像を符号化する（ステップＳＴ７０２）。
ステップＳＴ５０４、ステップＳＴ７０１で生成されたイントラ画像の符号データおよびステップＳＴ５１１、ＳＴ５１４、ＳＴ７０２で生成されたインター画像の符号データを所定のフォーマットに従って出力する（ステップＳＴ５２０）。
【００９７】
（８）本発明の第２実施例である動画像復号化装置
【００９８】
本発明の動画像復号化装置の第２実施例である復号化装置４００は、図９に示すように、符号データ入力手段２０１、符号データ判別手段２０２、イントラ基本画像復号化手段２０３、インター基本画像復号化部２２０、イントラ模様画像復号化手段４０１、インター模様画像復号化手段４０２、画像出力手段２０９より構成され、さらに前記インター基本画像復号化部２２０は、復号基本画像記憶手段２０４、復号基本画像セグメント分解手段２０５、インター動きベクトル復号化手段２０６、インター予測基本画像生成手段２０７、差分データ復号化合成手段２０８を備えている。
【００９９】
第２実施例における復号化装置４００は、第１実施例における復号化装置２００に、イントラ模様画像復号化合成手段４０１、インター模様画像復号化合成手段４０２を加えた構成となっている。ここでは、説明の簡略化のため、第１実施例と異なる部分について説明する。それ以外のものは、第１実施例と同様に動作するものである。
【０１００】
符号データ判別手段２０２は、入力された符号データを判別し、イントラ基本画像の符号データをイントラ基本画像復号化手段２０３、イントラ模様画像の符号データをイントラ模様画像復号化合成手段４０１、インター基本画像の符号データをインター基本画像復号化部２２０、またインター模様画像の符号データをインター模様画像復号化合成手段４０２に出力する。
【０１０１】
イントラ模様画像復号化合成手段４０１は、入力された符号データからイントラ模様画像を復号化し、イントラ基本画像復号化手段２０３で得られたイントラ基本画像と合成し、イントラ画像を生成して、画像出力手段２０９に出力する。
【０１０２】
インター模様画像復号化合成手段４０２は、入力された符号データからインター模様画像を復号化し、差分データ復号化合成手段２０８で得られたインター基本画像と合成し、インター画像を生成して、画像出力手段２０９に出力する。
【０１０３】
（９）本発明の第２実施例である動画像復号化方法
【０１０４】
次に、第２実施例の動画像復号化方法について、図１０のフローチャートに基づき、第１実施例と異なる部分について説明する。
【０１０５】
図７のフローチャートと比べ、変更点は、ステップＳＴ６０４の次にステップＳＴ８０１を加え、ステップＳＴ６０５をステップＳＴ８０２に置き換え、ステップＳＴ６１２の次にステップＳＴ８０３を加え、ステップＳＴ６１３をステップＳＴ８０４に置き換えたことである。
【０１０６】
ステップＳＴ６０４終了後、イントラ模様画像の符号データからイントラ模様画像を復号化し、そのイントラ模様画像とステップＳＴ６０３で得たイントラ基本画像とを合成してイントラ画像を生成する（ステップＳＴ８０１）。合成したイントラ画像を出力する（ステップＳＴ８０２）。
ステップＳＴ６１２終了後、インター模様画像の符号データからインター模様画像を復号化し、そのインター模様画像とステップＳＴ６１１で得たインター基本画像とを合成してインター画像を生成する（ステップＳＴ８０３）。合成したインター画像を出力する（ステップＳＴ８０４）。
【０１０７】
（１０）本発明の第２実施例である動画像符号化復号化装置及び方法
【０１０８】
次に本発明の第２実施例における符号化装置及び方法と復号化装置及び方法を接続して行われる符号化復号化動作について説明する。図１１は、本発明の動画像符号化復号化装置の第２実施例におけるブロック構成図であり、符号化装置３００、伝送系５００、復号化装置４００を備えている。符号化装置３００により符号化された符号データは、通信媒体また記録媒体などによる伝送系５００を介して、復号化装置４００に送られ復号化される。また前記した説明は、装置を方法と読み代えることにより、本発明の動画像符号化復号化方法に適用可能である。
【０１０９】
以上述べたように、第１実施例が基本画像だけを扱うのに対して、第２実施例は基本画像に模様画像を付け加えた元の入力画像を対象としている。模様画像は入力画像と基本画像との差分であり、基本画像への付加情報である。したがって第２実施例は、第１実施例の特徴を持つほか、模様画像のデータ量をかえて画像の精細度を調整することにより、符号データ量をかえたり、作成時の処理速度や、ネットワーク上の伝送帯域に応じて配信したりすることも可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の動画像符号化装置の第１実施例を示すブロック構成図である。
【図２】本発明の各実施例に係る基本画像、模様画像を説明する図である。
【図３】本発明の動画像符号化方法の第１実施例を示すフローチャートである。
【図４】本発明の動画像復号化装置の第１実施例を示すブロック構成図である。
【図５】本発明の動画像復号化方法の第１実施例を示すフローチャートである。
【図６】本発明の第１実施例における動画像符号化装置と動画像復号化装置が、伝送系を介して接続された状態を示すブロック構成図である。
【図７】本発明の動画像符号化装置の第２実施例を示すブロック構成図である。
【図８】本発明の動画像符号化方法の第２実施例を示すフローチャートである。
【図９】本発明の動画像復号化装置の第２実施例を示すブロック構成図である。
【図１０】本発明の動画像復号化方法の第２実施例を示すフローチャートである。
【図１１】本発明の第２実施例における動画像符号化装置と動画像復号化装置が、伝送系を介して接続された状態を示すブロック構成図である。
【図１２】背景技術のオブジェクトベース符号化復号化装置における画像のオブジェクトを示す説明図である。
【符号の説明】
【０１１１】
１００  符号化装置
１０１  動画像入力手段
１０２  イントラ・インター画像選択手段
１０３  イントラ画像分解手段
１０４  イントラ基本画像符号化手段
１０５  イントラ基本画像復号化手段
１０６  復号基本画像記憶手段
１０７  復号基本画像セグメント分解手段
１０８  インター画像分解手段
１０９  動き推定手段
１１０  インター予測基本画像生成手段
１１１  差分画像生成符号化手段
１１２  インター基本画像復号化手段
１１３  符号データ出力手段
１２０  インター基本画像符号化部
２００  復号化装置
２０１  符号データ入力手段
２０２  符号データ判別手段
２０３  イントラ基本画像復号化手段
２０４  復号基本画像記憶手段
２０５  復号基本画像セグメント分解手段
２０６  インター動きベクトル復号化手段
２０７  インター予測基本画像生成手段
２０８  差分データ復号化合成手段
２０９  画像出力手段
２２０  インター基本画像復号化部
３００  符号化装置
３０１  イントラ模様画像符号化手段
３０２  インター模様画像符号化手段
４００  復号化装置
４０１  イントラ模様画像復号化合成手段
４０２  インター模様画像復号化合成手段
５００  伝送系
５０２  葉のオブジェクト
５０３  木のオブジェクト
５０４  地面のオブジェクト
５０５  空のオブジェクト
５０６  山のオブジェクト
５０７  人間のオブジェクト
５１０  画像
６０２  葉のオブジェクト
６０３  木のオブジェクト
６０４  地面のオブジェクト
６０５  空のオブジェクト
６０６  山のオブジェクト
６０７  人間のオブジェクト
６０７１  人間のオブジェクト
６０７２  人間のオブジェクト
６０２ａ  葉のオブジェクトの輪郭
６０３ａ  木のオブジェクトの輪郭
６０４ａ  地面のオブジェクトの輪郭
６０５ａ  空のオブジェクトの輪郭
６０６ａ  山のオブジェクトの輪郭
６０７ａ  人間のオブジェクトの輪郭
６０２ｂ  葉のオブジェクト内部の高周波成分
６０３ｂ  木のオブジェクト内部の高周波成分
６０４ｂ  地面のオブジェクト内部の高周波成分
６０５ｂ  空のオブジェクト内部の高周波成分
６０６ｂ  山のオブジェクト内部の高周波成分
６０７ｂ  人間のオブジェクト内部の高周波成分
６１０  入力画像
６２０  基本画像
６３０  模様画像
【図１】
2005236723.tif 000003
【図２】
2005236723.tif 000004
【図３】
2005236723.tif 000005
【図４】
2005236723.tif 000006
【図５】
2005236723.tif 000007
【図６】
2005236723.tif 000008
【図７】
2005236723.tif 000009
【図８】
2005236723.tif 000010
【図９】
2005236723.tif 000011
【図１０】
2005236723.tif 000012
【図１１】
2005236723.tif 000013
【図１２】
2005236723.tif 000014