(57)【特許請求の範囲】
【請求項１】
符号化ストリームに多重化された画像の解析に必要な情報を含む複数のマクロブロックそれぞれに対する付加情報が符号化された付加情報符号化データおよび前記付加情報符号化データと分離して多重化された前記複数のマクロブロックそれぞれのテクスチャ符号化データを分離する多重分離部と、
前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号部と、
前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析部と
を備え、
前記付加情報は、画面内予測付加情報を含み、
前記画面内予測付加情報は、
マクロブロックごとの画面内予測コストと画面内予測モードの情報を含み、
前記画像解析部は、
マクロブロックの前記画面内予測コストが閾値以下であれば、当該マクロブロックを前記画面内予測モードの予測方向のマクロブロックの属する同一クラスタに分類し、前記画面内予測コストが前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
画像解析装置。
【請求項２】
前記付加情報は、画面間予測付加情報を含み、
前記画面間予測付加情報は、
マクロブロックごとの画面間予測コストと動きベクトルの情報を含み、
前記画像解析部は、
マクロブロックの前記画面間予測コストが閾値以下であれば、当該マクロブロックを前記動きベクトルが指す参照画素が属するクラスタと同一クラスタに分類し、前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
請求項１に記載の画像解析装置。
【請求項３】
前記画面内予測付加情報に含まれる画面内予測モードの情報は、
マクロブロックタイプ情報を含み、
前記画像解析部は、
前記マクロブロックタイプ情報に基づいて、当該マクロブロックがより細分化された小ブロックで符号化されているとき、クラスタに分類済みのマクロブロックに接した当該マクロブロックの前記小ブロックの画面内予測モードの予測方向に基づいて参照画素数が最も多いクラスタと同一クラスタに分類する
請求項２に記載の画像解析装置。
【請求項４】
前記付加情報符号化データは、
マクロブロックごとのマクロブロック符号量と量子化ステップの情報を含み、
前記画像解析部は、マクロブロックの前記マクロブロック符号量と前記量子化ステップとにより算出されるコストが閾値以下であれば、当該マクロブロックが画面内予測符号化されている場合、算出された前記コストを前記画面内予測コストとして用いて当該マクロブロックを前記画面内予測モードの予測方向のマクロブロックが属するクラスタと同一クラスタに分類し、当該マクロブロックが画面間予測符号化されている場合、算出された前記コストを前記画面間予測コストとして用いて前記動きベクトルが指す参照画素が属するクラスタと同一クラスタに分類し、前記コストが前記閾値以下でなければ当該マクロブロックが画面内予測符号化されている場合には算出された前記コストを前記画面内予測コストとして用い、当該マクロブロックが画面間予測符号化されている場合には算出された前記コストを前記画面間予測コストとして用いて当該マクロブロックを新規のクラスタとして分類する
請求項２または請求項３に記載の画像解析装置。
【請求項５】
符号化ストリームに多重化された画像の解析に必要な情報を含む複数のマクロブロックそれぞれに対する付加情報が符号化された付加情報符号化データおよび前記付加情報符号化データと分離して多重化された前記複数のマクロブロックそれぞれのテクスチャ符号化データを分離する多重分離ステップと、
前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号ステップと、前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析ステップと
を有し、
前記付加情報は、画面内予測付加情報を含み、
前記画面内予測付加情報は、
マクロブロックごとの画面内予測コストと画面内予測モードの情報を含み、
前記画像解析ステップは、
マクロブロックの前記画面内予測コストが閾値以下であれば、当該マクロブロックを前記画面内予測モードの予測方向のマクロブロックの属する同一クラスタに分類し、前記画面内予測コストが前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
画像解析方法。
【請求項６】
前記付加情報は、画面間予測付加情報を含み、
前記画面間予測付加情報は、
マクロブロックごとの画面間予測コストと動きベクトルの情報を含み、
前記画像解析ステップは、
マクロブロックの前記画面間予測コストが閾値以下であれば、当該マクロブロックを前記動きベクトルが指す参照画素が属するクラスタと同一クラスタに分類し、前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
請求項５に記載の画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を符号化する画像符号化装置と、符号化データから画像解析を行う画像解析装置に関するものである。
【背景技術】
【０００２】
近年、動画像を圧縮して符号化する技術が広く用いられている。動画像の符号化方式としては、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙ（登録商標）  Ｄｉｓｋに採用されているＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）／ＩＴＵ−Ｔ  Ｈ．２６４方式などがある（例えば非特許文献１）。
【０００３】
また、画像データから画像の特性や動きなどを解析する技術が用いられている。例えば、画像内からオブジェクト部分を抽出し、オブジェクトの動きを追跡する等である。
【０００４】
例えば非特許文献１に示される符号化方式を用いて、画像符号化装置が符号化を行うことにより、動画像のデータ量を圧縮することが可能となるが、画像解析を行うには、画像復号装置にて符号化データを画像データに復号してから解析を行う必要がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の画像解析装置は、画像復号装置にて符号化データを画像データに復号してから解析を行うため、符号化データの復号処理に多くの計算量が必要になるという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、画像符号化装置が符号化を行う際に、画像を符号化したテクスチャ符号化データと、画像データの補助的なパラメータを含めた付加情報を符号化した付加情報符号化データとを多重化した符号化データを出力し、画像解析装置が符号化データから付加情報符号化データを分離して復号し付加情報を解析することで、テクスチャ符号化データを復号することなく画像解析を行い、符号化データの復号処理に係る計算量を低減することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像符号化装置は、入力画像から生成された圧縮画像を符号化してテクスチャ符号化データを生成するテクスチャ符号化部と、前記入力画像の解析に必要な情報を含む付加情報を符号化して付加情報符号化データを生成する付加情報符号化部と、前記テクスチャ符号化データおよび前記付加情報符号化データを多重化して符号化ストリームを出力する多重化部とを備えたものである。
【０００９】
また、この発明に係る画像解析装置は、符号化ストリームに多重化された画像の解析に必要な情報を含む付加情報が符号化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離部と、前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号部と、前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、画像を符号化する際に、画像符号化装置がテクスチャを符号化するテクスチャ符号化部と、そのテクスチャを符号化する際の付加情報を符号化する付加情報符号化部と、テクスチャ符号化データと付加情報符号化データを多重化して符号化ストリームとする多重化部を備え、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できるように構成したので、付加情報のみで画像解析できる符号化ストリームを生成することができる。
【００１１】
また、この発明によれば、画像解析装置が画像を解析する際に、符号化ストリームに多重化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離部と、付加情報符号化データを復号し、付加情報を生成する付加情報復号部と、付加情報をもとに画像解析を行う画像解析部を備え、画像解析に必要な情報が含まれた付加情報から画像解析できるように構成したので、符号化ストリームから付加情報符号化データを分離して付加情報を復号して画像解析することで、テクスチャ符号化データの復号処理を不要として計算量を低減させることができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。
【図２】この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。
【図３】この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。
【図４】この発明の実施の形態１に係る符号化ストリームの一例を示すものである。
【図５】この発明の実施の形態２に係る画像解析装置の一例を示す構成図である。
【図６】この発明の実施の形態２に係る画像解析装置の画像解析部における画面内予測モードに基づくクラスタリング処理の一例を示すフローチャートである。
【図７】この発明の実施の形態２に係る画像解析装置の画像解析部における画面内予測モードに基づくクラスタリング処理の一例を示す説明図である。
【図８】この発明の実施の形態２に係る画像解析装置の画像解析部におけるマクロブロックと異なるサイズのブロックの画面内予測モードに基づくクラスタリング処理の一例を示す説明図である。
【図９】この発明の実施の形態２に係る画像解析装置の画像解析部における画面間予測付加情報に基づくクラスタリング処理の一例を示すフローチャートである。
【図１０】この発明の実施の形態２に係る画像解析装置の画像解析部における画面間予測付加情報に基づくクラスタリング処理の一例を示す説明図である。
【図１１】この発明の実施の形態３に係る画像解析装置の一例を示す構成図である。
【図１２】この発明の実施の形態３に係る画像解析装置の伸長部の一例を示す構成図である。
【発明を実施するための形態】
【００１３】
以下に、本発明にかかる画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１４】
実施の形態１．
この発明の実施の形態１では、画像を符号化する際に、テクスチャを符号化したテクスチャ符号化データとそのテクスチャを符号化する際に使用した付加情報を符号化する付加情報符号化データを多重化し、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できる符号化ストリームを生成するように構成したので、画像解析装置に符号化ストリームから付加情報符号化データを分離して画像解析させることを可能とする画像符号化装置を説明する。
【００１５】
図１は、この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。図において、圧縮部１１は、入力画像から予測画像を減じて圧縮画像を生成する。伸長部１２は、圧縮部１１が生成した圧縮画像に予測画像を加えて復号画像を生成する。画像蓄積部（ピクチャバッファ）１３は、メモリ等の蓄積手段として、伸長部１２が生成した復号画像を蓄積する。画面内予測部１４は、入力画像と伸長部１２が生成した復号画像とから画面内予測画像を生成し、画面内予測付加情報を出力する。画面間予測部１５は、入力画像と画像蓄積部（ピクチャバッファ）１３に蓄積された復号画像とから画面間予測画像を生成し、画面間予測付加情報を出力する。選択部１６は、予測モードに基づいて画面内予測部１４が生成した画面内予測画像または画面間予測部１５が生成した画面間予測画像を選択して予測画像とする。テクスチャ符号化部１７は、圧縮部１１が生成した圧縮画像を符号化してテクスチャ符号化データを生成する。付加情報符号化部１８は、予測モードおよび画面内予測部１４が出力した画面内予測付加情報および画面間予測部１５が出力した画面間予測付加情報を含む付加情報を符号化して付加情報符号化データを生成する。多重化部１９は、テクスチャ符号化部１７が生成したテクスチャ符号化データおよび付加情報符号化部１８が生成した付加情報符号化データを多重化して符号化ストリーム（符号化データ）を出力する。なお、画面内予測部１４、画面間予測部１５、選択部１６をまとめて予測画像生成部（予測画像生成手段）とみなしてもよい。テクスチャ符号化部１７は、圧縮画像に対し、例えばハフマン符号化や算術符号化などのエントロピー符号化するものとする。
【００１６】
図２は、この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。この圧縮部１１は、減算部１１１、直交変換部１１２、量子化部１１３から圧縮手段を構成する。図において、減算部１１１は、入力画像から選択部１６が選択した予測画像、すなわち画面内予測部１４が生成した画面内予測画像または画面間予測部１５が生成した画面間予測画像を減算して差分画像を生成する。直交変換部１１２は、差分画像を直交変換し、直交変換係数を出力する。量子化部１１３は、直交変換係数を量子化し、圧縮画像を生成する。
【００１７】
図３は、この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。この伸長部１２は、逆量子化部１２１、逆直交変換部１２２、加算部１２３から伸長手段を構成し、圧縮部１１の順変換処理に対する逆変換処理を行う。図において、逆量子化部１２１は、圧縮部１１が圧縮した圧縮画像を逆量子化し、直交変換係数を出力する。逆直交変換部１２２は、逆量子化された直交変換係数を逆直交変換し、差分画像を出力する。加算部１２３は、逆直交変換した差分画像に予測画像を加算して復号画像を生成する。
【００１８】
ここで、伸長部１２が逆直交変換した差分画像に加算する予測画像は、圧縮部１１の減算部１１１が入力画像から減算した予測画像と同一の画像である。また、変形例として、圧縮部１１の直交変換部１１２、量子化部１１３、伸長部１２の逆量子化部１２１、逆直交変換部１２２において順変換および逆変換の対応する処理部は、省略して構成してもよい。例えば、直交変換部１１２と逆直交変換部１２２がない構成、量子化部１１３、逆量子化部１２１がない構成を採用してもよい。さらに、直交変換部１１２、量子化部１１３、逆量子化部１２１、逆直交変換部１２２のすべてがなく、減算部１１１のみの圧縮部１１および加算部１２３のみの伸長部１２とした構成を採用してもよく、可逆となる場合は、実質的に伸長部１２を省略し、入力画像を画像蓄積部１３に直接入力して蓄積させても等価となる。
【００１９】
図４は、この発明の実施の形態１に係る符号化ストリームの一例を示すものである。図において、ヘッダ情報は、例えばＨ．２６４符号化におけるＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：シーケンスレベルの符号化情報）やＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：ピクチャレベルの符号化情報）を示す。
【００２０】
Ｈ．２６４符号化では、１６×１６のマクロブロック単位で予測情報と量子化係数が符号化多重される。この発明の実施の形態１では、予測情報を付加情報の一部として扱い、例えば１６×１６のマクロブロック単位で付加情報を符号化した付加情報符号化データと１６×１６のマクロブロック単位で圧縮画像を符号化したテクスチャ符号化データとを分離して符号化し、多重化するものとする。
【００２１】
付加情報には、復号に必須となる情報であるマクロブロックタイプ、量子化ステップ、画面内予測モード、参照画像情報、動きベクトルと、復号には必ずしも必要とされない、例えば画面内予測コスト、画面間予測コスト、マクロブロック符号量などのデータを含ませておく。ここで、より効率よく伝送や蓄積ができるように符号化を適用するものとする。なお、復号には必ずしも必要とされないデータで、ここに挙げていない画像解析に使用できる他のデータを付加情報に含めてもよい。例えば、直交変換係数のＤＣ成分や、ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を付加情報として符号化してもよい。なお、付加情報のうち、例えば復号に必須となる情報と復号には必ずしも必要とされない情報は、付加情報符号化部１８内部で個別に符号化して、多重化して付加情報符号化データを生成してもよい。
【００２２】
また、付加情報符号化データに本来の復号には必要とされない画面内予測コスト、画面間予測コスト、マクロブロック符号量が符号化されている場合について説明したが、復号には必ずしも必要としない情報は付加情報に含ませず、復号に必須となる情報のみを付加情報として符号化しても構わない。
【００２３】
なお、この実施の形態１では、テクスチャ符号化部が量子化係数を符号化してテクスチャ符号化データを出力する場合を説明したが、規格に則した符号化を行い、付加情報符号化データと多重化するようにして一般的な画像復号装置で復号できるように構成してもよい。また、図２および図３の構成に関する変形例として説明したように変形させて符号化ストリームを生成してもよい。
【００２４】
以上のように、この実施の形態１に係る画像符号化装置によれば、圧縮部が出力した圧縮画像を符号化しテクスチャ符号化データを出力するテクスチャ符号化部と、符号化を行う際に出力される画面内予測付加情報と画面間予測付加情報、マクロブロックの符号量等の付加情報を符号化し、付加情報符号化データを出力する付加情報符号化部と、テクスチャ符号化データと付加情報符号化データを多重化する多重化部とを備えたので、画像を符号化する際に、テクスチャを符号化したテクスチャ符号化データとそのテクスチャを符号化する際に使用した付加情報を符号化する付加情報符号化データを多重化し、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できる符号化ストリームを生成することができる。また、この符号化ストリームを受け取った画像解析装置が付加情報符号化データを分離して復号した付加情報から画像解析することで、テクスチャ符号化データを復号する演算量を低減させることができる。
【００２５】
実施の形態２．
この発明の実施の形態２では、この発明の実施の形態１の画像符号化装置が符号化した符号化ストリームに多重された付加情報符号化データを復号し、復号した付加情報を用いて画像解析を行う画像解析装置を説明する。
【００２６】
図５は、この発明の実施の形態２に係る画像解析装置の一例を示す構成図である。図において、多重分離部２１ａは、符号化ストリーム（符号化データ）に多重化された付加情報符号化データおよびテクスチャ符号化データを分離し、付加情報符号化データを出力する。付加情報復号部２２は、多重分離部２１ａから出力された付加情報符号化データを復号し、付加情報を生成する。画像解析部２３は、付加情報復号部２２が生成した付加情報に含まれた画面内予測付加情報および画面間予測付加情報をもとに画像解析を行い、画像解析結果を生成する。この画像解析装置で得られた画像解析結果は、さらに他の画像解析装置が行う画像解析の補助データとして使用されてもよい。
【００２７】
なお、符号化ストリームに多重された付加情報符号化データが、例えば復号に必須となる情報と復号には必ずしも必要とされない情報が個別に符号化されている場合もある。このとき、付加情報復号部２２は、多重分離部２１ａによって符号化ストリームから分離された付加情報符号化データに対して、さらに復号に必須となる情報と復号には必ずしも必要とされない情報の符号化データに分離して個別に復号するなど対応することになるが、画像符号化装置と画像解析装置で取り決めておけばよい。
【００２８】
次に、画像解析部２３の動作について説明する。
【００２９】
図６は、この発明の実施の形態２に係る画像解析装置の画像解析部における画面内予測モードに基づくクラスタリング処理の一例を示すフローチャートである。ここでは、画面内予測モード及び画面内予測コストを用いてクラスタリング処理するものとする。
【００３０】
画像解析部２３は、各マクロブロックにおいて、画面内予測付加情報のうち画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下であるか否かを判定する（ステップＳＴ２１）。
【００３１】
画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下の場合（Ｙｅｓ）は、現在のマクロブロックを画面内予測モードの予測方向のクラスタと同じクラスタに設定する（ステップＳＴ２２）。一方、画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下でない場合（Ｎｏ）は、現在のマクロブロックを画面内予測モードの予測方向のクラスタと異なる新規クラスタに設定する（ステップＳＴ２３）。
【００３２】
最終マクロブロックの処理が完了するまで、ステップＳＴ２１からステップＳＴ２３を繰り返す（ステップＳＴ２４）。
【００３３】
図７は、この発明の実施の形態２に係る画像解析装置の画像解析部における画面内予測モードに基づくクラスタリング処理の一例を示す説明図である。ここでは、マクロブロックごとの１６×１６画面内予測モード（ｍｏｄｅ）と画面内予測コスト（ｃｏｓｔ）によるクラスタリング処理による画像解析の一例について、図６のフローチャートに基づいて説明する。図示された各正方形が１６×１６マクロブロックを表しており、その内部に記載した画面内予測モードと画面内予測コストは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。
【００３４】
画面内予測モードは、モード０がマクロブロックの上部に隣接する画素から予測画素を算出する垂直方向予測、モード１がマクロブロック左部に隣接する画素から予測画素を算出する水平方向予測、モード２が周辺画素の平均値から予測画素を算出するＤＣ予測、モード３が周辺画素から予測画素を算出するＰｌａｎｅ予測である。
【００３５】
ここでは、左上を基準に、上段から水平方向に走査し、下方の中段、下段を同様に走査してマクロブロックをクラスタリングするものとして説明する。マクロブロックのクラスタは、左下がりの斜線で示したクラスタ１、右下がりの斜線で示したクラスタ２、斜線を付けていないクラスタ３で分類を示すものとする。なお、閾値ＴＨ＿ＩＮＴＲＡは、例えば３０とする。
【００３６】
イントラ予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下であった場合、モード０では上部に隣接するマクロブロックと同じクラスタに、モード１では左部に隣接するマクロブロックと同じクラスタに、モード２及びモード３は上部と左部のマクロブロックのクラスタが同一の場合、上部と左部のマクロブロックと同じクラスタに、上部と左部のマクロブロックのクラスタが異なる場合は、新しいクラスタに設定する。
【００３７】
まず、上段の左から１番目のマクロブロックは、画面内予測モードおよび画面内予測コストによらず、最初のクラスタ１に設定される。次に、２番目のマクロブロックは、画面内予測コスト値１０は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ１に設定される。さらに、３番目、４番目のマクロブロックも、同様に画面内予測コスト値２３、１４は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ１に設定される。
【００３８】
次に、中段の左から１番目のマクロブロックは、画面内予測コスト値２２は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード０の予測方向である上のクラスタと同じクラスタ１に設定する。次に、２番目のマクロブロックは、画面内予測コスト値７０は閾値ＴＨ＿ＩＮＴＲＡ以下でないため、新しいクラスタ２に設定される。３番目、４番目のマクロブロックは、画面内予測コスト値２１、１９は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ２に設定される。
【００３９】
また、下段の左から１番目のマクロブロックは、画面内予測コスト値６３は閾値ＴＨ＿ＩＮＴＲＡ以下でないため、新しいクラスタ３に設定される。次に、２番目のマクロブロックは、画面内予測コスト値２９は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ３に設定される。３番目のマクロブロックは、画面内予測コスト値２１は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード０の予測方向である上のクラスタと同じクラスタ２に設定される。４番目のマクロブロックは、画面内予測コスト値２７は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード３であり、上部と左部のマクロブロックが同一のクラスタ２であるため、同じクラスタ２に設定される。
【００４０】
図８は、この発明の実施の形態２に係る画像解析装置の画像解析部におけるマクロブロックと異なるサイズのブロックの画面内予測モードに基づくクラスタリング処理の一例を示す説明図である。ここでは、画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下で、４×４画面内予測モードが使用されている場合のクラスタの選択の一例を説明する。図において、左図は、４×４画面内予測モードは画素の参照方向とモード番号の対応を表している。右図は、１６×１６マクロブロック（大ブロック）が、例えば縦横各４つの１６個の４×４ブロック（小ブロック）に分割される場合であり、上端、左端の各４×４ブロック内に画面内予測モードを示している。ブロック境界の矢印は、左図に示した予測モードに対応した画素の参照方向を示している。モード２は１６×１６画面内予測と同様に周辺画素の平均値から予測画素を算出するＤＣ予測であり、この発明の実施の形態２においてはモード４と同じ参照方向とみなすものとする。図中の４×４画面内予測モードは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。このような符号化されたブロックのサイズは、復号に必須の情報として付加情報に含まれたマクロブロックタイプ情報に示されている。
【００４１】
ここで、１６×１６マクロブロックは、例えば上端、左端の７つの４×４ブロックの予測モードの方向で、多くの４×４ブロックから参照される画素が存在するクラスタと同じクラスタに設定する。この例では、上部に隣接するマクロブロックの画素からの予測が多いため、該当マクロブロックは上部のマクロブロックが属するクラスタと同じクラスタに設定するものとする。
【００４２】
図９は、この発明の実施の形態２に係る画像解析装置の画像解析部における画面間予測付加情報に基づくクラスタリング処理の一例を示すフローチャートである。ここでは、参照画像情報、動きベクトル及び画面間予測コストを用いてクラスタリング処理するものとする。
【００４３】
画像解析部２３は、各マクロブロックにおいて、画面間予測付加情報のうち画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下であるか否かを判定する（ステップＳＴ２５）。
【００４４】
画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下の場合（ステップＳＴ２５でＹｅｓ）は、現在のマクロブロックを動きベクトルが指し示す、参照画素のクラスタと同じクラスタに設定する（ステップＳＴ２６）。一方、画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下でない場合（Ｎｏ）は、現在のマクロブロックを動きベクトルが指し示す、参照画素のクラスタと異なる新規クラスタに設定する（ステップＳＴ２７）。
【００４５】
最終マクロブロックの処理が完了するまで、ステップＳＴ２５からステップＳＴ２７を繰り返す（ステップＳＴ２８）。
【００４６】
図１０は、この発明の実施の形態２に係る画像解析装置の画像解析部における画面間予測付加情報に基づくクラスタリング処理の一例を示す説明図である。ここでは、マクロブロックごとの参照画像情報、動きベクトル、画面間予測コスト（Ｃｏｓｔ）によるクラスタリング処理による画像解析の一例について、図９のフローチャートに基づいて説明する。ここで、参照画像情報は、現在解析しているマクロブロックが過去に解析済みのどの画像を参照するかを示す情報である。なお、破線の矢印は、解析中の画像のマクロブロックの動きベクトルが参照画素のどのマクロブロック中の画素を参照するかを示すマクロブロックレベルの情報であり、実際の動きベクトルが参照する正確な画素位置を示すものではないが、ここでは動きベクトルを指すものとして説明する。図示された各正方形が１６×１６マクロブロックを表しており、解析中の画像の内部に記載した画面間予測コストは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。
【００４７】
ここでは、左上を基準に、上段から水平方向に走査し、下方の中段、下段を同様に走査してマクロブロックをクラスタリングするものとして説明する。マクロブロックのクラスタは、左下がりの斜線で示したクラスタ１、右下がりの斜線で示したクラスタ２、斜線を付けていないクラスタ３、急勾配の左下がりの斜線で示したクラスタ４で分類を示すものとする。なお、閾値ＴＨ＿ＩＮＴＥＲは、例えば３０とする。
【００４８】
まず、上段の左から１番目のマクロブロックは、画面間予測コスト値３０が閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画素のクラスタと同じクラスタ１に設定する。２番目、３番目、４番目のマクロブロックも同様に、画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下であるため、動きベクトルが指す参照画素のクラスタと同じクラスタ１に設定する。
【００４９】
次に、中段の左から１番目のマクロブロックは、画面間予測コスト値２２は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画素のクラスタと同じクラスタ１に設定する。次に、２番目のマクロブロックは、画面間予測コスト値１０は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画素のクラスタと同じクラスタ２に設定する。３番目、４番目のマクロブロックも同様に、画面内予測コスト値２１、１９は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画素のクラスタと同じクラスタ２に設定する。
【００５０】
また、下段の左から１番目のマクロブロックは、画面内予測コスト値６３は閾値ＴＨ＿ＩＮＴＥＲ以下でないため、新しいクラスタ３に設定される。次に、２番目のマクロブロックは、画面内予測コスト値６７は閾値ＴＨ＿ＩＮＴＥＲ以下でないため、新しいクラスタ４に設定する。３番目、４番目のマクロブロックは、画面内予測コスト値２１、２７は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画素のクラスタと同じクラスタ２に設定する。
【００５１】
これまで説明したような画像のマクロブロックに対するクラスタリングなどの画像解析処理を行って、画像解析装置の画像解析部２３は画像解析結果を出力する。
【００５２】
なお、この実施の形態２では、画面内予測コスト及び画面間予測コストを用いて画像解析を行う場合について説明したが、例えばマクロブロック符号量と量子化ステップを用いて画像解析を行うように構成してもよい。
【００５３】
例えば、マクロブロック符号量に量子化ステップを乗算した値を、符号化されている方式に従って画面内予測コストまたは画面間予測コストとみなし、予測コストを閾値と比較し、閾値以下であれば、画面内予測モードの方向や動きベクトルの指すクラスタと同一クラスタに設定し、閾値以下でなければ新クラスタに設定するようにしてもよい。なお、このとき、例えばマクロブロック符号量に量子化ステップを乗算した値に、さらに符号化されている方式に基づく異なる調整係数を乗算して調整した予測コストを共通の閾値と比較してもよいし、またマクロブロック符号量に量子化ステップを乗算した値として算出する共通の算式による予測コストを符号化されている方式に基づく異なる閾値と比較するようにしてもよい。
【００５４】
以上のように、この実施の形態２に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離された付加情報符号化データを復号し付加情報を出力する付加情報復号部と、付加情報を用いて画像解析を行う画像解析部とを備えるように構成したので、テクスチャ符号化データから画像を復号することなく画像解析を行うことができるため、画像解析のための計算量を低減することができる。
【００５５】
実施の形態３．
先に説明したこの発明の実施の形態２では、符号化ストリームに多重された付加情報符号化データを復号し、復号した付加情報を用いて画像解析を行う画像解析装置を説明した。この発明の実施の形態３では、この発明の実施の形態２で行った画像解析だけでなく、さらに多重されていたテクスチャ符号化データを復号して復号画像を得る画像解析装置を説明する。
【００５６】
図１１は、この発明の実施の形態３に係る画像解析装置の一例を示す構成図である。図中、図５と同一符号で示した構成部は、同一または相当部分を示すので説明を省略する。図において、多重分離部２１ｂは、符号化ストリームに多重化された付加情報符号化データおよびテクスチャ符号化データを分離し、付加情報符号化データおよびテクスチャ符号化データを出力する。テクスチャ復号部３４は、多重分離部２１ｂが分離したテクスチャ符号化データを復号して圧縮画像を生成する。伸長部３５は、テクスチャ復号部３４が生成した圧縮画像に予測画像を加えて復号画像を生成する。画像蓄積部（ピクチャバッファ）３６は、メモリ等の蓄積手段として、伸長部３５が生成した復号画像を蓄積する。画面内予測部３７は、付加情報復号部２２が生成した付加情報に含まれた画面内予測付加情報に基づいて伸長部３５が生成した復号画像から画面内予測画像を生成する。画面間予測部３８は、付加情報復号部２２が生成した付加情報に含まれた画面間予測付加情報に基づいて画像蓄積部（ピクチャバッファ）３６に蓄積された復号画像とから画面内予測画像を生成する。選択部３９は、付加情報復号部２２が生成した付加情報に含まれた予測モードに基づいて画面内予測部３７が生成した画面内予測画像または画面間予測部３８が生成した画面間予測画像を選択して予測画像とする。なお、符号化ストリームを生成した画像符号化装置に入力された入力画像のピクチャ順に、画像蓄積部（ピクチャバッファ）３６が蓄積した復号画像を出力させ、ディスプレイなどの表示部（図示せず）で再生させてもよい。テクスチャ復号部３４は、画像符号化装置が適用した符号化方式に対応する復号方式、例えばハフマン復号や算術復号などのエントロピー復号を行うものとする。また、画面内予測部３７、画面間予測部３８、選択部３９をまとめて予測画像生成部（予測画像生成手段）とみなしてもよい。
【００５７】
図１２は、この発明の実施の形態３に係る画像解析装置の伸長部の一例を示す構成図である。この画像解析装置の伸長部３５は、図３に示したこの発明の実施の形態１に係る画像符号化装置の伸長部１２に対応し、同一名称の構成部と同様に動作するので説明を省略する。また、この発明の実施の形態１に係る画像符号化装置の圧縮部１１、伸長部１２に対して説明した変形例で構成されるとき、この画像解析装置の伸長部３５も変形させた伸長部１２の構成に合わせるものとする。
【００５８】
この発明の実施の形態３に係る画像解析装置は、発明の実施の形態１に係る画像符号化装置が符号化した符号化ストリームから分離した付加情報符号化データに基づいて画像解析するこの発明の実施の形態２に係る画像解析装置を画像解析手段として備えた画像復号装置として構成してもよい。
【００５９】
以上のように、この実施の形態３に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離された付加情報符号化データを復号し付加情報を出力する付加情報復号部と、付加情報を用いて画像解析を行う画像解析部とを備えるように構成したので、テクスチャ符号化データから画像を復号することなく画像解析を行うことができるため、画像解析のための計算量を低減することができる。
【００６０】
また、本実施の形態３に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離されたテクスチャ符号化データを復号するテクスチャ復号部３４とを備えるように構成したので、画像解析を行った復号画像を取得することができる。
【産業上の利用可能性】
【００６１】
以上のように、本発明にかかる画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法は、画像符号化装置が符号化を行う際に、画像を符号化したテクスチャ符号化データと、画像解析に必要な情報を含む付加情報を符号化した付加情報符号化データとを多重化した符号化データとして出力する。そして、画像解析装置が符号化データから付加情報符号化データを分離して復号し、付加情報をもとに画像解析することで、テクスチャ符号化データの復号処理に係る計算量を低減することができる。
【符号の説明】
【００６２】
１１  圧縮部、１２  伸長部、１３  画像蓄積部（ピクチャバッファ）、１４  画像内予測部、１５  画像間予測部、１６  選択部（スイッチ）、１７  テクスチャ符号化部、１８  付加情報符号化部、１９  多重化部、２１ａ、２１ｂ  多重分離部、２２  付加情報復号部、２３  画像解析部、３４  テクスチャ復号部、３５  伸長部、３６  画像蓄積部（ピクチャバッファ）、３７  画像内予測部、３８  画像間予測部、３９  選択部（スイッチ）、１１１  減算部、１１２  直交変換部、１１３  量子化部、１２１  逆量子化部、１２２  逆直交変換部、１２３  加算部、３５１  逆量子化部、３５２  逆直交変換部、３５３  加算部。
【図１】
0005885886.tif 000002
【図２】
0005885886.tif 000003
【図３】
0005885886.tif 000004
【図４】
0005885886.tif 000005
【図５】
0005885886.tif 000006
【図６】
0005885886.tif 000007
【図７】
0005885886.tif 000008
【図８】
0005885886.tif 000009
【図９】
0005885886.tif 000010
【図１０】
0005885886.tif 000011
【図１１】
0005885886.tif 000012
【図１２】
0005885886.tif 000013