(57)【特許請求の範囲】
【請求項１】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに動きベクトルが含まれるとともに、マクロブロックタイプと量子化ステップと参照画像情報とのうちの少なくともいずれかが含まれる複数の符号化情報を抽出するエントロピー復号部と、
前記エントロピー復号部により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出部と、
前記領域抽出部により抽出された前記動き領域を構成するマクロブロックに対応する符号化情報を取得し、取得した符号化情報の前記動きベクトルと前記マクロブロックタイプと前記量子化ステップと前記参照画像情報とのうちの少なくともいずれかを画素値に変換する画素値変換部とを有する情報処理装置。
【請求項２】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出するエントロピー復号部と、
前記エントロピー復号部により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出部と、
前記領域抽出部により、それぞれがｉ個（ｉは１以上の整数）のマクロブロックで構成されるｊ個（ｊは２以上の整数）の動き領域が抽出された場合に、前記ｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する画素値変換部とを有する情報処理装置。
【請求項３】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出するエントロピー復号部と、
前記エントロピー復号部により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出部と、
前記領域抽出部により、ｉ個（ｉは１以上の整数）のマクロブロックで構成される動き領域が抽出された場合に、過去に前記領域抽出部により抽出された、それぞれがｉ個のマクロブロックで構成される（ｊ―１）個（ｊは２以上の整数）の動き領域を取得し、取得した（ｊ―１）個の動き領域と、前記領域抽出部により抽出された前記動き領域とを合わせたｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する画素値変換部とを有する情報処理装置。
【請求項４】
前記領域抽出部は、
前記複数の符号化情報に含まれる複数の動きベクトルをマクロブロックの順序に従って配置し、前記複数の動きベクトルの位置に基づいて前記動き領域を抽出する請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記領域抽出部は、
前記複数の動きベクトルのうち近接する位置に配置されている２以上の動きベクトルを統合し、統合後の動きベクトルの位置に基づいて前記動き領域を抽出する請求項４に記載の情報処理装置。
【請求項６】
前記画素値変換部は、
前記領域抽出部により抽出された前記動き領域がｎ個（ｎは２以上の整数）のマクロブロックで構成される場合に、
前記ｎ個のマクロブロックに対応するｎ個の符号化情報をｍ個（ｍは１以上の整数であって、ｎの約数）の符号化情報に集約する演算を行い、集約後のｍ個の符号化情報の前記動きベクトルと前記マクロブロックタイプと前記量子化ステップと前記参照画像情報とのうちの少なくともいずれかをそれぞれ画素値に変換する請求項１に記載の情報処理装置。
【請求項７】
コンピュータが、複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに動きベクトルが含まれるとともに、マクロブロックタイプと量子化ステップと参照画像情報とのうちの少なくともいずれかが含まれる複数の符号化情報を抽出し、
前記コンピュータが、前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出し、
前記コンピュータが、抽出された前記動き領域を構成するマクロブロックに対応する符号化情報を取得し、取得した符号化情報の前記動きベクトルと前記マクロブロックタイプと前記量子化ステップと前記参照画像情報とのうちの少なくともいずれかを画素値に変換する情報処理方法。
【請求項８】
コンピュータが、複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出し、
前記コンピュータが、前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出し、
それぞれがｉ個（ｉは１以上の整数）のマクロブロックで構成されるｊ個（ｊは２以上の整数）の動き領域が抽出された場合に、前記コンピュータが、前記ｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する情報処理方法。
【請求項９】
コンピュータが、複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出し、
前記コンピュータが、前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出し、
ｉ個（ｉは１以上の整数）のマクロブロックで構成される動き領域が抽出された場合に、前記コンピュータが、過去に抽出された、それぞれがｉ個のマクロブロックで構成される（ｊ―１）個（ｊは２以上の整数）の動き領域を取得し、取得した（ｊ―１）個の動き領域と、抽出された前記動き領域とを合わせたｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する情報処理方法。
【請求項１０】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに動きベクトルが含まれるとともに、マクロブロックタイプと量子化ステップと参照画像情報とのうちの少なくともいずれかが含まれる複数の符号化情報を抽出するエントロピー復号処理と、
前記エントロピー復号処理により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出処理と、
前記領域抽出処理により抽出された前記動き領域を構成するマクロブロックに対応する符号化情報を取得し、取得した符号化情報の前記動きベクトルと前記マクロブロックタイプと前記量子化ステップと前記参照画像情報とのうちの少なくともいずれかを画素値に変換する画素値変換処理とをコンピュータに実行させる情報処理プログラム。
【請求項１１】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出するエントロピー復号処理と、
前記エントロピー復号処理により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出処理と、
前記領域抽出処理により、それぞれがｉ個（ｉは１以上の整数）のマクロブロックで構成されるｊ個（ｊは２以上の整数）の動き領域が抽出された場合に、前記ｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する画素値変換処理とをコンピュータに実行させる情報処理プログラム。
【請求項１２】
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出するエントロピー復号処理と、
前記エントロピー復号処理により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出処理と、
前記領域抽出処理により、ｉ個（ｉは１以上の整数）のマクロブロックで構成される動き領域が抽出された場合に、過去に前記領域抽出処理により抽出された、それぞれがｉ個のマクロブロックで構成される（ｊ―１）個（ｊは２以上の整数）の動き領域を取得し、取得した（ｊ―１）個の動き領域と、前記領域抽出処理により抽出された前記動き領域とを合わせたｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行い、集約後のｉ個の符号化情報をそれぞれ画素値に変換する画素値変換処理とをコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報内で動きのある動き領域を抽出する技術に関する。
【背景技術】
【０００２】
カメラで撮影した画像情報の転送負荷の軽減やデータ量の縮小を目的に、動画像を符号化して圧縮し、画像符号化情報を生成する技術が広く使われている。
しかし、画像符号化情報を画像解析する際には復号処理によって符号化する前の画像情報に戻すことが必要である。
特許文献１には、動画像に含まれる人や車などの動物体を検出する解析手法を有する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１６８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の画像処理装置は、画像符号化情報から画像情報を復号し、復号により得られた画像情報を解析して動物体を検出する。
このように、特許文献１の画像処理装置は、画像情報を復号するため、計算負荷が高いという課題がある。【０００５】
本発明は、上記の課題を解決することを主な目的としており、画像情報内で動きのある動き領域を抽出する際の計算負荷を低減することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置は、
複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、前記画像符号化情報から、前記複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出するエントロピー復号部と、
前記エントロピー復号部により抽出された前記複数の符号化情報に含まれる複数の動きベクトルに基づいて、前記画像情報内の動きのある領域を動き領域として抽出する領域抽出部とを有する。
【発明の効果】
【０００７】
本発明によれば、画像情報を復号することなく、符号化情報に含まれる動きベクトルに基づいて動き領域を抽出するため、動き領域を抽出する際の計算負荷を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る情報処理装置の機能構成例を示す図。
【図２】実施の形態１に係る画素値変換部の内部構成例を示す図。
【図３】実施の形態１に係る符号化情報の例を示す図。
【図４】実施の形態１に係る領域抽出部の動作の概要を示す図。
【図５】実施の形態１に係る領域抽出部の動作の概要を示す図。
【図６】実施の形態１に係る領域抽出部の動作例を示すフローチャート図。
【図７】実施の形態１に係る画素値変換部の動作の概要を示す図。
【図８】実施の形態１に係る画素値変換部の動作例を示すフローチャート図。
【図９】実施の形態１に係る符号化情報演算部の動作の概要を示す図。
【図１０】実施の形態１に係る符号化情報演算部の動作の概要を示す図。
【図１１】実施の形態１に係る符号化情報画像化部の動作の概要を示す図。
【図１２】実施の形態１に係る符号化情報画像化部の動作の概要を示す図。
【図１３】実施の形態１に係る符号化情報画像化部の動作の概要を示す図。
【図１４】実施の形態１に係る情報処理装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【０００９】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る情報処理装置１００の機能構成例を示す。
図１に示すように、情報処理装置１００は、エントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３で構成される。
また、画素値変換部１０３は、図２に示すように、領域決定部１０３１、符号化情報演算部１０３２及び符号化情報画像化部１０３３で構成される。
なお、後述する情報処理装置１００の動作は、情報処理方法及び情報処理プログラムの例に相当する。
【００１０】
情報処理装置１００には、図１４に示すように、プロセッサ９０１、記憶装置９０２、受信装置９０３及び送信装置９０４というハードウェアが含まれる。
記憶装置９０２には、エントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３の機能を実現するプログラムが記憶されている。
そして、プロセッサ９０１がこれらプログラムを実行して、後述するエントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３の動作を行う。
図１４では、プロセッサ９０１がエントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３の機能を実現するプログラムを実行している状態を模式的に表している。
受信装置９０３は、画像符号化情報を受信する。
送信装置９０４は、画素値情報を、図示していない画像認識装置に送信する。
【００１１】
＊＊＊動作の説明＊＊＊
次に、図１に示すエントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３の動作を説明する。
【００１２】
エントロピー復号部１０１は、図１４に示す受信装置９０３を介して画像符号化情報を受信し、画像符号化情報に対してエントロピー復号を行い、画像符号化情報から符号化情報を抽出する。
画像符号化情報は、複数のマクロブロックで構成される画像情報がエントロピー符号化されて得られた情報である。
エントロピー復号部１０１は、エントロピー復号により、画像符号化情報から、複数のマクロブロックに対応して設けられた複数の符号化情報を抽出する。
符号化情報のそれぞれには、少なくとも動きベクトル、マクロブロックタイプ、量子化ステップ、参照画像情報が含まれる。
なお、エントロピー復号部１０１の動作は、エントロピー復号処理に相当する。
【００１３】
領域抽出部１０２は、エントロピー復号部１０１により抽出された複数の符号化情報に含まれる複数の動きベクトルをマクロブロックの順序に従って配置し、複数の動きベクトルの位置に基づいて、画像情報内の動きのある領域を動き領域として抽出する。
動き領域は、画像情報において動物体が描画される領域である。
領域抽出部１０２は、より具体的には、複数の動きベクトルのうち近接する位置に配置されている２以上の動きベクトルを統合し、統合後の動きベクトルの位置に基づいて動き領域を抽出する。
なお、領域抽出部１０２の動作は、領域抽出処理に相当する。
【００１４】
画素値変換部１０３は、領域抽出部１０２により抽出された動き領域を構成するマクロブロックに対応する符号化情報を取得し、取得した符号化情報の動きベクトル、マクロブロックタイプ、量子化ステップ、参照画像情報とのうちの少なくともいずれかを画素値に変換する。
そして、画素値変換部１０３は、符号化情報から変換された画素値を画素ごとに示す画素値情報を、図１４に示す送信装置９０４を介して、画像認識装置に送信する。
なお、画素値変換部１０３による符号化情報の画素値への変換を、符号化情報の画像化ともいう。
前述したように、画素値変換部１０３は、図２に示す領域決定部１０３１、符号化情報演算部１０３２及び符号化情報画像化部１０３３で構成されるが、領域決定部１０３１、符号化情報演算部１０３２及び符号化情報画像化部１０３３の詳細は後述する。
【００１５】
図３は、エントロピー復号部１０１により画像符号化情報に対してエントロピー復号が行われて得られる情報を示す。
エントロピー復号により、画像符号化情報から、ヘッダ情報、符号化情報及び符号化テクスチャ情報が得られる。
ヘッダ情報、符号化情報及び符号化テクスチャ情報は、画像情報を構成するマクロブロックごとに設けられている。
ヘッダ情報は、例えば、Ｈ．２６４符号化におけるＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：シーケンスレベルの符号化情報）やＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：ピクチャレベルの符号化情報）を示す。
符号化情報には、マクロブロックタイプ、量子化ステップ、画面内予測モード、参照画像情報、動きベクトル、画面内予測コスト、画面間予測コスト及びマクロブロック符号量というパラメータが含まれる。
本実施の形態では、マクロブロックタイプ、量子化ステップ、動きベクトル、参照画像情報を画素値の変換に利用可能である。
符号化テクスチャ情報は、符号化されている画像情報である。
符号化テクスチャ情報に対する復号処理によりマクロブロック単位で画像情報が得られる。
従来技術では、符号化テクスチャ情報に対する復号処理により画像情報を得て、画像情報を解析することで、画像情報内の動き領域を抽出する。
本実施の形態では、符号化テクスチャ情報に対する復号処理を行わずに、領域抽出部１０２が、符号化情報に含まれる動きベクトルを解析し、画像情報内の動き領域を抽出する。
【００１６】
次に、領域抽出部１０２の動作例を説明する。
【００１７】
領域抽出部１０２は、複数のマクロブロックに対応する複数の符号化情報に含まれる複数の動きベクトルをマクロブロックの順序に従って配置する。
そして、領域抽出部１０２は、マクロブロックの順序に従って配置された複数の動きベクトルの位置に基づいて動き領域を抽出する。
動き領域は動きベクトルの有無、動きベクトル同士の距離によって決定される。
領域抽出部１０２は、近接する位置に配置されている２以上の動きベクトルを統合する。
つまり、領域抽出部１０２は、相互間の距離が閾値ＴＨ＿ＤＩＳＴ以下の２以上の動きベクトルを包含する領域を候補領域として指定する。
そして、領域抽出部１０２は、面積が閾値ＴＨ＿ＲＡＮＧＥ以上の候補領域を動き領域として抽出する。
一方、領域抽出部１０２は、閾値ＴＨ＿ＲＡＮＧＥ未満の面積の候補領域はノイズとみなして破棄する。
【００１８】
図４及び図５は、領域抽出部１０２の動作の概要を示す。
【００１９】
領域抽出部１０２は、画像情報の１フレーム分の符号化情報を取得する。
図４の（ａ）では、各列が１つのマクロブックの符号化情報のパラメータを表している。
すなわち、動きベクトルＭＶ１、マクロブロックタイプＭＢＴ１、量子化ステップＳＴ１、参照画像情報ＩＮＦ１が、マクロブロックＭＢ１の符号化情報のパラメータである。
同様に、動きベクトルＭＶ２、マクロブロックタイプＭＢＴ２、量子化ステップＳＴ２、参照画像情報ＩＮＦ２が、マクロブロックＭＢ２の符号化情報のパラメータである。
マクロブロックＭＢ３以降についても同様である。
次に、図４の（ｂ）に示すように、領域抽出部１０２は、動きベクトルを、マクロブロックの順に配置する。
更に、図５の（ａ）に示すように、領域抽出部１０２は、相互間の距離が閾値ＴＨ＿ＤＩＳＴ以下の動きベクトルを１つの候補領域にまとめる。
そして、図５の（ｂ）に示すように、領域抽出部１０２は、面積が閾値ＴＨ＿ＲＡＮＧＥ以上の候補領域を動き領域として抽出する。
【００２０】
図６は、領域抽出部１０２の動作例を示すフローチャート図である。
【００２１】
領域抽出部１０２は、まず、エントロピー復号部１０１によって抽出された１フレーム分の符号化情報の動きベクトルをマクロブロックの順に配置する（ＳＴ１１）。
すなわち、領域抽出部１０２は、１フレーム分の動きベクトルを、画像情報が復号された場合の動きベクトルの配置と同様に配置する。
【００２２】
次に、領域抽出部１０２は、配置された全ての動きベクトルを調査済みか否かを判定する（ＳＴ１２）。
未調査の動きベクトルが存在する場合（ＳＴ１２でＮＯ）は、領域抽出部１０２は、調査対象の動きベクトルを選択する（ＳＴ１３）。
次に、領域抽出部１０２は、ＳＴ１３で選択した動きベクトルと、当該動きベクトルの近傍の動きベクトルとの距離が閾値ＴＨ＿ＤＩＳＴ以下であるかを判定する（ＳＴ１４）。
ＳＴ１３で選択した動きベクトルと近傍の動きベクトルとの距離が閾値ＴＨ＿ＤＩＳＴ以下である場合（ＳＴ１４でＹＥＳ）は、領域抽出部１０２は、ＳＴ１３で選択した動きベクトルと近傍の動きベクトルを包含する領域を候補領域に指定し、候補領域を領域格納バッファに格納する。
なお、領域格納バッファは、図１４に示す記憶装置９０２に構成される。
次に、領域抽出部１０２は、領域格納バッファに格納されている候補領域のうち、相互に重なっている２以上の候補領域を１つの候補領域にまとめる（ＳＴ１６）。
【００２３】
一方、ＳＴ１２において、全ての動き領域の調査が完了している場合（ＳＴ１２でＹＥＳ）は、領域抽出部１０２は、領域格納バッファ内の候補領域のうち、面積が閾値ＴＨ＿ＲＡＮＧＥ未満の候補領域を破棄する（ＳＴ１７）。
換言すれば、領域抽出部１０２は、面積が閾値ＴＨ＿ＲＡＮＧＥ以上の候補領域を動き領域として抽出する。
次に、領域抽出部１０２は、抽出した動き領域に対応する符号化情報を符号化情報バッファに格納する（ＳＴ１８）。
すなわち、領域抽出部１０２は、ＳＴ１７で抽出した動き領域を構成するマクロブロックに対応する符号化情報を符号化情報バッファに格納する。
符号化情報バッファは、図１４に示す記憶装置９０２に構成される。
【００２４】
次に、画素値変換部１０３を説明する。
図７は、画素値変換部１０３の動作の概要を示す。
【００２５】
画素値変換部１０３は、領域抽出部１０２により抽出された動き領域を構成するマクロブロックの符号化情報を符号化情報バッファから取得する。
そして、画素値変換部１０３は、各マクロブロックの符号化情報を画素値に変換する。
画素値変換部１０３は、例えば、動きベクトルのＸ方向のノルムとＹ方向のノルムと、マクロブロックタイプとをＲＧＢ空間の画素値に変換する。
そして、画素値変換部１０３は、変換された画素値をマクロブロックの配置順に従って画素に格納し、画素ごとに画素値が示される画素値情報を生成し、生成した画素値情報を画像認識装置に出力する。
【００２６】
次に、画素値変換部１０３の構成要素である、領域決定部１０３１、符号化情報演算部１０３２及び符号化情報画像化部１０３３を説明する。
【００２７】
領域決定部１０３１は、符号化情報の画像化に使用する動き領域の個数を決定する。
【００２８】
符号化情報演算部１０３２は、領域決定部１０３１により決定された単数もしくは複数の動き領域の符号化情報に対して演算処理を行うか否かを決定する。
符号化情報演算部１０３２は、符号化情報に対して演算処理を行う場合は、例えば、以下のような演算処理を行う。
符号化情報演算部１０３２は、１つの動き領域が使用される場合は、符号化情報のマクロブロックの列ごとの平均値を算出する。
また、符号化情報演算部１０３２は、複数の動き領域が使用される場合は、符号化情報の動き領域間の平均値を算出する。
また、符号化情報演算部１０３２は、複数の動き領域が使用される場合は、異なるフレームの画像符号化情報から抽出された動き領域を使用してもよい。
なお、符号化情報演算部１０３２は、符号化情報に対して演算処理を行わなくてもよい。
【００２９】
符号化情報画像化部１０３３は、符号化情報を画素値に変換する。
つまり、符号化情報画像化部１０３３は、領域決定部１０３１及び符号化情報演算部１０３２で処理された符号化情報の配置を決定し、符号化情報を画素値に変換する。
また、符号化情報画像化部１０３３は、画素値への変換の際に、画素値情報の送信先の画像認識装置の特性に応じて符号化情報を正規化してもよい。
符号化情報演算部１０３２は、例えば、動きベクトルとマクロブロックタイプを正規化してもよい。
なお、画素値の形式はカラー、グレースケール、ハイダイナミックレンジなどでもよく、特定の形式に限定されない。
【００３０】
図８は、本実施の形態に係る画素値変換部１０３の動作例を示すフローチャート図である。
図８のフローは、図６のＳＴ１８により動き領域に対応する符号化情報が符号化情報バッファに格納された後に行われる。
【００３１】
まず、領域決定部１０３１が、符号化情報の画像化に使用する動き領域を決定する（ＳＴ２１）。
次に、符号化情報演算部１０３２が、ＳＴ２１で決定された動き領域に対して演算処理を行うか否かを判定する（ＳＴ２２）。
ＳＴ２２において演算処理を行うと判定した場合は、符号化情報演算部１０３２は、符号化情報を用いて演算処理を行う（ＳＴ２３）。
なお、演算処理の例は、図９及び図１０を参照して後述する。
ＳＴ２３の演算処理が行われた後は、ＳＴ２４が行われる。
一方、ＳＴ２２において演算処理を行わないと判定した場合は、ＳＴ２４が行われる。
【００３２】
ＳＴ２４において、符号化情報画像化部１０３３が、符号化情報の画素値を算出するか否かを判定する。
符号化情報の画素値を算出する場合は、符号化情報画像化部１０３３は、符号化情報の画素値を算出する（ＳＴ２５）。
なお、画素値の算出処理の例は、図１１、図１２及び図１３を参照して後述する。
次に、符号化情報画像化部１０３３は、ＳＴ２５で算出した符号化情報の画素値が示される画素値情報を生成し、画素値情報を画像認識装置に送信する（ＳＴ２６）。
【００３３】
図９及び図１０は、図８のＳＴ２３で行われる、符号化情報演算部１０３２による演算処理の例を示す。
【００３４】
図９は、１つの動き領域が使用される場合に、符号化情報演算部１０３２が、符号化情報のマクロブロックの列ごとの平均値を算出して、情報量を低減する手順を示す。
つまり、図９の例では、符号化情報演算部１０３２は、（４×４）のマクロブロックに対応する１６個の符号化情報を、４個の符号化情報に集約する演算を行っている。
そして、図９の集約演算の後、符号化情報画像化部１０３３が、集約後の４個の符号化情報をそれぞれ画素値に変換する。
また、図１０は、複数の動き領域が使用される場合に、同じ位置にあるマクロブロックで符号化情報の平均値を算出して、情報量を低減する手順を示す。
つまり、図１０の例では、符号化情報演算部１０３２は、２個の動き領域がそれぞれ（４×４）のマクロブロックで構成される場合に、｛２×（４×４）｝の符号化情報を、（４×４）個の符号化情報に集約する演算を行っている。
そして、図１０の集約演算の後、符号化情報画像化部１０３３が、集約後の１６個の符号化情報をそれぞれ画素値に変換する。
【００３５】
なお、図９では、符号化情報演算部１０３２は、マクロブロックの列ごとに平均値を算出して符号化情報を集約しているが、別の演算方法によって符号化情報を集約してもよい。
例えば、符号化情報演算部１０３２は、符号化情報の最大値（又は最小値又は中央値）により符号化情報を集約してもよい。
つまり、符号化情報演算部１０３２は、領域抽出部１０２により抽出された動き領域を構成するｎ個（ｎは２以上の整数）のマクロブロックに対応するｎ個の符号化情報をｍ個（ｍは１以上の整数であって、ｎの約数）の符号化情報に集約する演算であれば、どのような演算を行ってもよい。
【００３６】
同様に、図１０では、符号化情報演算部１０３２は、同じ位置にあるマクロブロックの符号化情報の平均値を算出して符号化情報を集約しているが、別の演算方法によって符号化情報を集約してもよい。
例えば、符号化情報演算部１０３２は、符号化情報の最大値（又は最小値又は中央値）により符号化情報を集約してもよい。
つまり、符号化情報演算部１０３２は、領域抽出部１０２により、それぞれがｉ個（ｉは１以上の整数）のマクロブロックで構成されるｊ個（ｊは２以上の整数）の動き領域が抽出された場合に、ｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算であれば、どのような演算を行ってもよい。
また、図１０では、符号化情報演算部１０３２は、１つのフレームから抽出されたｊ個（図１０ではｊ＝２）の動き領域について、（ｉ×ｊ）個（図１０では、（ｉ×ｊ）＝（１６×２））の符号化情報をｉ個（図１０では、ｉ＝１６）の符号化情報に集約する例を示している。
これに対し、符号化情報演算部１０３２は、過去に領域抽出部１０２により抽出された、（ｊ―１）個の動き領域を取得してもよい。
つまり、符号化情報演算部１０３２は、図４のフローの対象となっているフレームとは異なる、過去のフレームから抽出された（ｊ―１）個の動き領域を取得してもよい。
なお、（ｊ―１）個の動き領域は、それぞれがｉ個のマクロブロックで構成されるものとする。
そして、符号化情報演算部１０３２は、取得した（ｊ―１）個の動き領域と、領域抽出部１０２により抽出された動き領域（図４のフローにより抽出された動き領域）とを合わせたｊ個の動き領域に含まれる（ｉ×ｊ）個のマクロブロックに対応する（ｉ×ｊ）個の符号化情報をｉ個の符号化情報に集約する演算を行うようにしてもよい。
具体的には、符号化情報演算部１０３２は、図１０と同様に、同じ位置にあるマクロブロックの符号化情報の平均値を算出して符号化情報を集約する。
そして、符号化情報画像化部１０３３は、この場合も、集約後のｉ個の符号化情報をそれぞれ画素値に変換する。
【００３７】
図１１、図１２及び図１３は、図８のＳＴ２５で行われる、符号化情報画像化部１０３３による画素値の算出処理の例を示す。
【００３８】
図１１では、符号化情報画像化部１０３３が、（４×４）のマクロブロックに対応する１６個の符号化情報の各々のマクロブロックタイプと動きベクトルのＸ方向のノルムとＹ方向のノルムをＲＧＢ空間の画素値に変換する例を示している。
符号化情報画像化部１０３３は、画素値情報の送信先の画像認識装置に応じて、符号化情報に含まれる値のうち、画素値に変換する値を決定する。
例１では、符号化情報画像化部１０３３は、動きベクトルのＸ方向のノルムをＲの画素値に変換し、動きベクトルのＹ方向のノルムをＧの画素値に変換し、マクロブロックタイプをＢの画素値に変換している。
例２では、符号化情報画像化部１０３３は、符号化情報には含まれていない固定値をＲの画素値に変換し、動きベクトルのＹ方向のノルムをＧの画素値に変換し、動きベクトルのＸ方向のノルムをＢの画素値に変換している。
例３では、符号化情報画像化部１０３３は、マクロブロックタイプをＲＧＢの全ての画素値に変換している。
また、符号化情報画像化部１０３３は、画素値情報の送信先の画像認識装置に応じて、画素値への変換方法を決定する。
例４では、符号化情報画像化部１０３３は、０〜２５５の間でマクロブロックタイプを正規化し、正規化後のマクロブロックタイプをＲの画素値に変換し、動きベクトルのＸ方向のノルムをＧとＢの画素値に変換している。
例５では、符号化情報画像化部１０３３は、動きベクトルのＸ方向のノルムとＹ方向のノルムとの加算値をＲとＧの画素値に変換し、マクロブロックタイプをＢの画素値に変換している。
なお、符号化情報画像化部１０３３は、任意の計算式を用いて、符号化情報から画素値を計算することができる。
【００３９】
また、図１２に示すように、マクロブロックタイプ、動きベクトル以外に、量子化ステップ値、参照画像情報の最前フレームの番号、最後フレームの番号を画素値に変換するようにしてもよい。
また、変換先の色空間の種類は任意である。
つまり、符号化情報画像化部１０３３は、符号化情報を、ＲＧＢ空間の画素値以外に、ＹＵＶ空間の画素値又はＨＳＶ空間の画素値に変換可能である。
【００４０】
また、図１３に示すように、符号化情報画像化部１０３３は、符号化情報の数（例：マクロブロックタイプの数、動きベクトルの数）に合わせて変換先の画素数を調整してもよい（図１３の例１）。
また、符号化情報画像化部１０３３は、例えば、マクロブロックタイプの個数と動きベクトルの個数が異なる場合は、個数が少ないパラメータを複製して、マクロブロックタイプの個数と動きベクトルの個数を合わせてもよい（図１３の例２）。
【００４１】
＊＊＊実施の形態の効果の説明＊＊＊
このように、実施の形態１によれば、画像情報を復号することなく、符号化情報に含まれる動きベクトルに基づいて動き領域を抽出するため、動き領域を抽出する際の計算負荷を低減することができる。
【００４２】
また、本実施の形態に係る情報処理装置１００は、画像符号化情報から符号化情報を取得するエントロピー復号部１０１を有しており、エントロピー復号以外の復号処理を行わないため復号処理に係る計算負荷を低減できる。
また、領域抽出部１０２では符号化情報のみを利用することから画像情報と比較して少ない情報量だけで大まかに動物体が存在する領域を確定できる。
また、画素値変換部１０３によって、画像認識装置に適した、動き領域を通知する画像を生成可能である。
更に、画素値変換部１０３によって符号化情報を画像化することにより、画像認識装置が復号された画像情報を処理する場合と比較して、画像認識装置での計算負荷を低減することができる。
音声情報や文字情報と比較して画像情報を処理する場合の計算負荷は高く、また、復号した画像情報のサイズの増加に比例して画像認識装置での計算負荷が高くなるが、本実施の形態によれば、画像認識装置は、画像情報そのものではなく、符号化情報の画素値情報を処理するため、画像認識装置での計算負荷を低減することができる。
【００４３】
＊＊＊ハードウェア構成の説明＊＊＊
最後に、情報処理装置１００のハードウェア構成の補足説明を行う。
情報処理装置１００はコンピュータである。
図１４に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等である。
図１４に示す記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
図１４に示す受信装置９０３及び送信装置９０４は、それぞれ、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
【００４４】
また、記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、エントロピー復号部１０１、領域抽出部１０２及び画素値変換部１０３（以下、これらをまとめて「部」という）の機能を実現するプログラムを実行する。
図１４では、１つのプロセッサが図示されているが、情報処理装置１００が複数のプロセッサを備えていてもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。
また、「部」の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
【００４５】
また、「部」を「プロセッシングサーキットリー」又は「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「プロセッシングサーキットリー」又は「回路」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ  Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
【符号の説明】
【００４６】
１００  情報処理装置、１０１  エントロピー復号部、１０２  領域抽出部、１０３  画素値変換部、１０３１  領域決定部、１０３２  符号化情報演算部、１０３３  符号化情報画像化部。
【要約】
エントロピー復号部（１０１）と、複数のマクロブロックで構成される画像情報が符号化されて得られた画像符号化情報に対してエントロピー復号を行い、画像符号化情報から、複数のマクロブロックに対応して設けられた、それぞれに少なくとも動きベクトルが含まれる複数の符号化情報を抽出する。領域抽出部（１０２）は、エントロピー復号部（１０１）により抽出された複数の符号化情報に含まれる複数の動きベクトルに基づいて、画像情報内の動きのある領域を動き領域として抽出する。【図１】
0005944078.tif 000002
【図２】
0005944078.tif 000003
【図３】
0005944078.tif 000004
【図４】
0005944078.tif 000005
【図５】
0005944078.tif 000006
【図６】
0005944078.tif 000007
【図７】
0005944078.tif 000008
【図８】
0005944078.tif 000009
【図９】
0005944078.tif 000010
【図１０】
0005944078.tif 000011
【図１１】
0005944078.tif 000012
【図１２】
0005944078.tif 000013
【図１３】
0005944078.tif 000014
【図１４】
0005944078.tif 000015