(57)【要約】【課題】  動きベクトルを用いることなく、動画像を圧縮することができる動画像圧縮装置および動画像圧縮プログラム、並びに、動きベクトルを用いずに圧縮された動画像が符号化された符号化画像を復号することができる符号化画像復号装置および符号化画像復号プログラムを提供する。【解決手段】  動画像圧縮装置１は、入力された動画像を、複数のフレーム画像またはフィールド画像を所定時間分合わせた立体としてみなした際に、当該動画像内に映っている被写体の移動量に基づいて、当該立体を分割してから圧縮するものであって、移動量検出手段３と、３次元ブロック分割手段５と、直交変換手段７と、領域探索手段９と、量子化手段１１と、符号化手段１３とを備えた。【選択図】      図１
2006180053.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像を、複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなし、当該動画像内に映っている被写体の移動量に基づいて、当該直方体を分割してから圧縮する動画像圧縮装置であって、
前記時間軸方向において、当該フレーム画像内またはフィールド画像内の所定のブロックそれぞれの画素値に基づいて、前記被写体の移動量を検出する移動量検出手段と、
前記直方体を蓄積すると共に、前記移動量検出手段で検出された移動量に基づいて、前記直方体を任意の大きさに分割した分割多面体とすると共に、前記直方体を分割したプロセスを示す分割情報を出力する分割手段と、
この分割手段で分割された分割多面体に含まれるフレーム画像またはフィールド画像である部分画像の各画素における画素値をデジタル化し、このデジタル化した数値を直交変換したデジタル符号とする直交変換手段と、
この直交変換手段で直交変換されたデジタル符号において、前記被写体の移動方向に従って検出される有意な値のある領域を探索する領域探索手段と、
この領域探索手段で探索された領域の値を量子化する量子化手段と、
を備えることを特徴とする動画像圧縮装置。
【請求項２】
前記直交変換手段は、前記直交変換を、前記フレーム画像または前記フィールド画像の水平方向、前記フレーム画像または前記フィールド画像の垂直方向、前記フレーム画像または前記フィールド画像が連続している時間軸方向に行う際に、それぞれの方向に対して、変換手法を選択する変換手法選択手段を有していることを特徴とする請求項１に記載の動画像圧縮装置。
【請求項３】
入力された動画像を、複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなし、当該動画像内に映っている被写体の移動量に基づいて、当該直方体を分割してから圧縮するために、コンピュータを、
前記時間軸方向において、当該フレーム画像内またはフィールド画像内の所定のブロックそれぞれの画素値に基づいて、前記被写体の移動量を検出する移動量検出手段、
前記直方体が蓄積された蓄積手段から当該直方体を読み出すと共に、前記移動量検出手段で検出された移動量に基づいて、前記直方体を任意の大きさに分割した分割多面体とすると共に、前記直方体を分割したプロセスを示す分割情報を出力する分割手段、
この分割手段で分割された分割多面体に含まれるフレーム画像またはフィールド画像である部分画像の各画素における画素値をデジタル化し、このデジタル化した数値を直交変換したデジタル符号とする直交変換手段、
この直交変換手段で直交変換されたデジタル符号において、前記被写体の移動方向に従って検出される有意な値のある領域を探索する領域探索手段、
この領域探索手段で探索された領域の値を量子化する量子化手段、
として機能させることを特徴とする動画像圧縮プログラム。
【請求項４】
動画像が複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなされた際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体が分割されてから圧縮され、符号化された符号化画像を復号する符号化画像復号装置であって、
前記符号化画像を復号した量子化値とする復号手段と、
この復号手段で復号された量子化値を、逆量子化した領域の値とする逆量子化手段と、
この逆量子化手段で逆量子化された領域の値から、デジタル符号からなる画像の領域を復元する領域復元手段と、
この領域復元手段で復元されたデジタル符号からなる画像の領域を逆直交変換し、前記フレーム画像または前記フィールド画像の一部である部分画像の各画素における画素値にする逆直交変換手段と、
この逆直交変換手段で逆直交変換された部分画像が所定時間分合わさった分割多面体を、前記直方体を分割したプロセスを示す分割情報に基づいて統合し、前記動画像にする分割多面体統合手段と、
を備えることを特徴とする符号化画像復号装置。
【請求項５】
動画像が複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなされた際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体が分割されてから圧縮され、符号化された符号化画像を復号するために、コンピュータを、
前記符号化画像を復号した量子化値とする復号手段、
この復号手段で復号された量子化値を、逆量子化した領域の値とする逆量子化手段、
この逆量子化手段で逆量子化された領域の値からデジタル符号からなる画像の領域を復元する領域復元手段、
この領域復元手段で復元されたデジタル符号からなる画像の領域を逆直交変換し、前記フレーム画像または前記フィールド画像の一部である部分画像の各画素における画素値にする逆直交変換手段、
この逆直交変換手段で逆直交変換された部分画像が所定時間分合わさった分割多面体を、前記直方体を分割したプロセスを示す分割情報に基づいて統合し、前記動画像にする分割多面体統合手段、
として機能させることを特徴とする符号化画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の圧縮を行う動画像圧縮装置および動画像圧縮プログラム、並びに、圧縮後、符号化した符号化画像を復号する符号化画像復号装置および符号化画像復号プログラムに関する。
【背景技術】
【０００２】
一般に、動画像の圧縮方式として、ＭＰＥＧ−２、ＭＰＥＧ−４等が実用化されており、これら以外に多数の圧縮方式が存在している（例えば、特許文献１，２，３）。これらの圧縮方式は、動き補正と変換符号（ＤＣＴ［Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換］等）とを基礎技術としており、圧縮率が低い場合、大きな画質劣化が生じることなく、優れたものと言える。
【０００３】
【特許文献１】特許第３２３１６１８号公報（段落００２１〜００２４、図２）
【特許文献２】特許第３４０１７６１号公報（段落００２１〜００２４、図２〜図４）
【非特許文献１】特許第３１３１３０５号公報（段落００１５〜００１９、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの従来の圧縮方式は、圧縮率が高い場合、動き補正に用いる動きベクトルの影響によって、大きな画質劣化が生じてしまうという問題がある。動きベクトルは、画像内に映っている被写体の動きを示すもので、ビットレートの高低（圧縮率に反比例）に拘わらず発生する。そして、この動きベクトルを伝送するのに伝送帯域が使用されると、低ビットレートの場合（圧縮率が高い場合）、変換符号であるＤＣＴ係数の伝送帯域が制限されてしまい、画質劣化の大きな原因となる。
【０００５】
そこで、本発明では、前記した問題を解決し、動きベクトルを用いることなく、動画像を圧縮することができる動画像圧縮装置および動画像圧縮プログラム、並びに、動きベクトルを用いずに圧縮された動画像が符号化された符号化画像を復号することができる符号化画像復号装置および符号化画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、請求項１記載の動画像圧縮装置は、入力された動画像を、複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなした際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体を分割してから圧縮する動画像圧縮装置であって、移動量検出手段と、分割手段と、直交変換手段と、領域探索手段と、量子化手段と、を備える構成とした。
【０００７】
かかる構成によれば、動画像圧縮装置は、移動量検出手段によって、フレーム画像またはフィールド画像間における被写体の移動量を、当該フレーム画像または当該フィールド画像が連続している時間軸方向において、画像内を所定のブロックに分割した際に、ブロックマッチング法、または、勾配法に基づいて検出する。すなわち、一定の画素値を有した一定の領域（ブロック）を何らかの被写体と捉えて、当該被写体がフレーム画像またはフィルード画像ごとに、画像上でどの位置にあるのかを測定することで、移動量を検出している。
【０００８】
続いて、動画像圧縮装置は、分割手段によって、直方体を蓄積すると共に、移動量検出手段で検出された移動量に基づき、直方体を任意の大きさに分割した分割多面体とすると共に、直方体を分割した仕方を示す分割情報を出力する。ここで、直方体とは、動画像を構成するフレーム画像またはフィールド画像を、所定時間分、つまり、数フレーム分合わせたものである。また、分割多面体とは、任意の大きさの小立体（塊）であり、動画像を構成する複数のフレーム画像またはフィールド画像から、水平方向にＭ画素、垂直方向にＮ画素、時間軸方向にＬフレームまたはフィールドを切り取ったもの（分割したもの）である。この分割多面体は、例えば、立方体、直方体の形状となる。例えば、被写体が右方向や左方向に移動するような一定の動きをする場合、当該被写体を含む横長の分割多面体になる。なお、被写体が複雑な動きをして、当該被写体が映っているフレーム画像またはフィールド画像を合わせた際に、複雑な形状になる場合には、この複雑な形状を取り囲む単純な立体（直方体）で取り囲み、被写体が映っていない部分を０で埋め尽くして分割多面体としている。さらに、分割情報は、分割多面体ごとに、当該分割多面体の頂点の座標と、この頂点の座標からのＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（時間軸方向）における距離とによって表される。
【０００９】
そして、動画像圧縮装置は、直交変換手段によって、分割手段で分割された分割多面体に含まれるフレーム画像またはフィールド画像である部分画像の各画素における画素値をデジタル化し、このデジタル化した数値を直交変換したデジタル符号（変換データ）とする。つまり、分割多面体に含まれている、フレーム画像またはフィールド画像それぞれにおいて、当該画像の一部である部分画像、すなわち、主に被写体のみが含まれている画像の画素値を直交変換して、デジタル符号とする。直交変換は、例えば、ＤＣＴ、ウェーブレット変換、フーリエ変換等が挙げられる。
【００１０】
そして、動画像圧縮装置は、領域探索手段によって、直交変換手段で直交変換されたデジタル符号（変換データ）において、有意な値（数値）のある領域を探索する。被写体の移動方向（動き方）によって、有意な値のある領域（箇所）は異なり、例えば、被写体が水平方向（左側から右側）に移動している場合、直方体の１つの側面側に、有意な値のある領域が集中する。そして、動画像圧縮装置は、量子化手段によって、領域探索手段で探索された領域の値を量子化する。つまり、情報量が少なくなるように、ある値で除算する。なお、有意な値とは、一定以下の数値であり、この数値を任意の値に設定することができる。
【００１１】
この動画像圧縮装置では、動画像を直方体として捉え、この直方体を同一の動きを有する小さな直方体（分割多面体）に分割し、この分割多面体ごとに変換を行って、有意な値を残して、この有意な値および当該有意な値が検出された座標と、分割情報とを伝送している。このため、ＭＰＥＧ−２等のＤＣＴと動き補正で用いられる動きベクトルとを伝送する必要がなく、動画像を圧縮して伝送することができるものとなる。
【００１２】
請求項２記載の動画像圧縮装置は、請求項１に記載の動画像圧縮装置において、前記直交変換手段が、前記直交変換を、前記フレーム画像または前記フィールド画像の水平方向、前記フレーム画像または前記フィールド画像の垂直方向、前記フレーム画像または前記フィールド画像が合わされている時間軸方向に行う際に、それぞれの方向に対して、変換手法を選択する変換手法選択手段を有していることを特徴とする。
【００１３】
かかる構成によれば、動画像圧縮装置は、変換手法選択手段によって、フレーム画像またはフィールド画像の水平方向、垂直方向および時間軸方向に対して、同一の変換手法、異なる変換手法を用いることを選択する。つまり、直交変換手段による変換は、表示面に対して水平方向、垂直方向、フレームまたはフィールド方向（時間軸方向）に３回行う必要があり、変換手法選択手段によって、例えば、すべての方向に対して、ＤＣＴにすることを選択してもよいし、水平方向および垂直方向に対しウェーブレット変換を用いて、フレームまたはフィールド方向に対し、ＤＣＴを用いることを選択してもよい。
【００１４】
請求項３記載の動画像圧縮プログラムは、入力された動画像を、複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなした際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体を分割してから圧縮するために、コンピュータを、移動量検出手段、分割手段、直交変換手段、領域探索手段、量子化手段、として機能させる構成とした。
【００１５】
かかる構成によれば、動画像圧縮プログラムは、移動量検出手段によって、フレーム画像またはフィールド画像間における被写体の移動量を検出し、分割手段によって、直方体が蓄積された蓄積手段から当該直方体を読み出すと共に、直方体を任意の大きさに分割した分割多面体とする。そして、動画像圧縮プログラムは、直交変換手段によって、分割手段で分割された分割多面体に含まれるフレーム画像またはフィールド画像である部分画像の各画素における画素値をデジタル化し、このデジタル化した数値を直交変換したデジタル符号（変換データ）とする。そして、動画像圧縮プログラムは、領域探索手段によって、直交変換手段で直交変換されたデジタル符号（変換データ）において、有意な値（数値）のある領域を探索し、量子化手段によって、領域探索手段で探索された領域の値を量子化する。
【００１６】
請求項４記載の符号化画像復号装置は、動画像が複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなされた際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体が分割されてから圧縮され、符号化された符号化画像を復号する符号化画像復号装置であって、復号手段と、領域復元手段と、逆直交変換手段と、分割多面体統合手段と、を備える構成とした。
【００１７】
かかる構成によれば、符号化画像復号装置は、復号手段によって、符号化画像を復号した量子化値とし、逆量子化手段によって、復号手段で復号された量子化値を逆量子化し、領域の値にする。そして、符号化画像復号装置は、領域復元手段によって、逆量子化手段で逆量子化された領域の値からデジタル符号からなる画像の領域を復元する。つまり、フレーム画像またはフィールド画像の一部である部分画像を復元する。
【００１８】
そして、符号化画像復号装置は、逆直交変換手段によって、領域復元手段で復元されたデジタル符号からなる画像の領域を逆直交変換し、フレーム画像またはフィールド画像の一部である部分画像の各画素における画素値にし、分割多面体統合手段によって、逆直交変換手段で逆直交変換された部分画像が所定時間分合わさった分割多面体を、直方体を分割した仕方を示す分割情報に基づいて統合し、動画像にする。つまり、分割多面体を繋ぎ合わせることで、複数のフレーム画像または複数のフィールド画像を所定時間分合わせた「直方体」（３次元ブロック）を再現し、この「直方体」を時間軸に沿って再生すれば、動画像となる。
【００１９】
請求項５記載の符号化画像復号プログラムは、動画像が複数のフレーム画像またはフィールド画像の連続する時間軸方向に所定時間分合わせた直方体としてみなされた際に、当該動画像内に映っている被写体の移動量に基づいて、当該直方体が分割されてから圧縮され、符号化された符号化画像を復号するために、コンピュータを、復号手段、逆量子化手段、領域復元手段、逆直交変換手段、分割多面体統合手段、として機能させる構成とした。
【００２０】
かかる構成によれば、符号化画像復号プログラムは、復号手段によって、符号化画像を復号した量子化値とし、逆量子化手段によって、復号手段で復号された量子化値を逆量子化し、領域の値にする。そして、符号化画像復号プログラムは、領域復元手段によって、逆量子化手段で逆量子化された領域の値からデジタル符号からなる画像の領域を復元し、逆直交変換手段によって、領域復元手段で復元されたデジタル符号からなる画像の領域を逆直交変換し、フレーム画像またはフィールド画像の一部である部分画像の各画素における画素値にし、分割多面体統合手段によって、逆直交変換手段で逆直交変換された部分画像が所定時間分合わさった分割多面体を、直方体を分割した仕方を示す分割情報に基づいて統合し、動画像にする。
【発明の効果】
【００２１】
請求項１，３記載の発明によれば、動画像をフレーム画像またはフィールド画像が連続する直方体として捉え、この直方体を同一の動きを有する小さな分割多面体に分割し、この分割多面体ごとに直交変換を行って、有意な値を残して、この有意な値および当該有意な値が検出された座標と、分割情報とを伝送しているので、動きベクトルを伝送する必要がなく、動画像を圧縮して伝送することができる。この結果、動きベクトルを伝送しない分、送信する情報量を大幅に減らすことができ、しかも、受信する側で動画像の画質劣化を抑制することができる。
【００２２】
請求項２記載の発明によれば、表示面に対して水平方向、垂直方向、フレームまたはフィールド方向（時間軸方向）に行う直交変換手段による変換は、例えば、すべての方向に対して、ＤＣＴにすることもできるし、水平方向および垂直方向に対しウェーブレット変換を用いて、フレームまたはフィールド方向に対し、ＤＣＴを用いることもできる。このため、取り扱う動画像に対応した最適な変換手法を選択することができる。
【００２３】
請求項４，５記載の発明によれば、動画像をフレーム画像またはフィールド画像が連続する直方体とみなして扱い、この直方体を分割した分割多面体を繋ぎ合わせることで、複数のフレーム画像または複数のフィールド画像を所定時間分合わせた直方体を再現でき、この直方体を時間軸に沿って再生すれば、動画像となるので、動きベクトルを用いずに符号化された符号化画像を復号することができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
まず、動画像圧縮装置の構成、処理の概略および動作を説明し、次に、符号化画像復号装置の構成および動作を説明する。
【００２５】
〈動画像圧縮装置の構成〉
図１は、動画像圧縮装置のブロック図である。この図１に示すように、動画像圧縮装置１は、動画像を動きベクトルを用いることなく、圧縮して符号化するもので、移動量検出手段３と、３次元ブロック分割手段（分割手段）５と、直交変換手段７と、領域探索手段９と、量子化手段１１と、符号化手段１３とを備えている。
【００２６】
移動量検出手段３は、入力された動画像に映っている被写体の移動量を、フレーム画像またはフィールド画像が連続している時間軸方向において、ブロックマッチング法、または、勾配法を用いて、当該フレーム画像または当該フィールド画像内の所定のブロックそれぞれの画素値に基づいて検出するものである。この移動量検出手段３は、複数のフレーム画像間または複数のフィールド画像間における被写体の移動量、つまり、移動した方向と画素数とを検出するものである。例えば、５つのフレーム画像間において、被写体「車」が横方向（表示面において水平方向）に１０画素分移動した場合、この移動量検出手段３は、被写体「車」の５フレーム画像間における移動量を「ｘ方向に１０画素」と検出する。
【００２７】
なお、この実施形態では、移動量検出手段３は、被写体が止まっている場合、移動量を「０」として検出し、被写体が一定方向に動いている場合、移動量を「○○方向に××画素」として検出し、被写体が移動方向を変えながら動いている場合、移動量「△フレームから□フレームまでは○○方向に××画素、◎フレームから●フレームまでは■■方向に▽▽画素」として検出する。
【００２８】
３次元ブロック分割手段５は、移動量検出手段３で検出された被写体の移動量に基づいて、複数のフレーム画像またはフィールド画像を所定時間分合わせた直方体（３次元ブロック）としてみなして、この直方体を任意の大きさである分割多面体（小直方体）に分割すると共に、分割した仕方を示す分割情報を出力するもので、３次元ブロック蓄積手段５ａを備えている。
【００２９】
３次元ブロック蓄積手段５ａは、フレームメモリ等によって構成されており、入力された動画像を、複数のフレーム画像またはフィールド画像が時間方向に連続して所定枚数合わせた直方体とみなして、当該直方体を蓄積するものである。なお、この実施形態では、３次元ブロック蓄積手段５ａに蓄積される１つの直方体は、最大で１２８枚のフレーム画像を合わせたものとしている。
【００３０】
分割多面体は、被写体を囲む所定の面積（表示面に対して）を持っていると共に、直方体（３次元ブロック）をなすフレーム画像またはフィールド画像の中で、当該被写体が映っているフレーム画像またはフィールド画像の連続している枚数分を切り出したものである。なお、この実施の形態では、分割多面体は、立方体または直方体の形状をしている。また、分割多面体は４面体、５面体、７面体、８面体・・・とすることも可能である。
【００３１】
例えば、１２８枚のフレーム画像の中で、１枚目から６０枚目のフレーム画像に映っていた被写体が６１枚目から映っていなかった場合、例として、手前から遠方に投げたボールの被写体が映っている場合（時間経過に伴って被写体の表示面積が小さくなって、直方体をなすフレーム画像中の途中で見えなくなってしまう場合）、分割多面体は、１枚目のフレーム画像の中で当該ボールを囲む面積（１０画素×１０ライン）を有していると共に、１枚目のフレーム画像から６０枚目のフレーム画像までを合わせた細長い直方体になる。
【００３２】
ここで、図８〜図１０を参照して、分割多面体の形状について説明する。図８は、連続した３枚のフレーム画像中に、人物の被写体が映っている場合、当該人物を含む分割多面体に分割する際の概略について説明した図である。図８（ａ）に示すように、１番始めのフレーム画像に映っている人物が、２番目のフレーム画像では大きくなり、３番目のフレーム画像では、再び元の大きさに戻ったような場合であり、図８（ｂ）のように、直方体が形成される。この場合、分割多面体は、図８（ｃ）のように、横置きした樽のような形状になる。つまり、この場合、分割多面体は、１番目のフレーム画像と３番目のフレーム画像とを上面または底面とし、樽の周方向を側面とした３面体であると言える。
【００３３】
また、図９は、連続した３枚のフレーム画像中に、ヘリコプタの被写体が映っている場合、当該ヘリコプタを含む分割多面体に分割する際の概略について説明した図である。図９（ａ）に示すように、１番始めのフレーム画像に映っているヘリコプタが、２番目のフレーム画像では上方に移動し（上昇し）、３番目のフレーム画像では、さらに上方に移動しヘリコプタの上部が映らなくなった場合であり、図９（ｂ）のように、直方体が形成される。この場合、分割多面体は、図９（ｃ）に示すように、直方体ではなく、先細りの６面体になる。
【００３４】
さらに、図１０は、フレーム画像を、当該フレーム画像の連続する時間軸方向に所定時間分合わせた直方体中に、形状が大小の円である被写体が映っている場合、当該大小の円を含むを分割多面体に分割する際の概略について説明した図である。この図１０（ａ）では、ｘを水平軸、ｙを垂直軸、ｔを時間軸として、連続する複数のフレーム画像である動画像、つまり、当初の直方体をｆ（ｘ，ｙ，ｔ）とし、この直方体における動きベクトルをＶ（ｘ，ｙ，ｔ）とする。そして、この動きベクトルＶ（ｘ，ｙ，ｔ）が同一な３次元立体に切り分ければ、分割多面体（任意の３次元立体）に分割することが可能となる。つまり、図１０（ｂ）に示すように、大きな円である被写体が映っているフレーム画像を合わせた円柱状の分割多面体と、小さな円である被写体が映っているフレーム画像を会わせた円錐状の分割多面体と、これらの分割多面体が抜き取られた残りの分割多面体とに、直方体が分割される。
【００３５】
また、分割多面体となる３次元立体の形状は、動きベクトルＶ（ｘ，ｙ，ｔ）の長さ、方向によって求められ、位置は動きベクトルＶ（ｘ，ｙ，ｔ）の始点によって求められる。
【００３６】
また、被写体の動きが複雑な場合（例えば、左右の一定方向に移動せず、且つ、遠近方向に移動して、フレーム画像またはフィールド画像ごとに被写体の大きさが変化する場合）では、動きベクトルＶ（ｘ，ｙ，ｔ）が示す３次元立体が複雑な形状になる。この場合、分割多面体は、図１０（ｃ）に示すように、この複雑な形状を取り囲む単純な立体、例えば、直方体（垂直方向の長さがｎで、水平方向の長さがｍで、時間軸方向の長さがｌであり、重心（中心座標）を備えた直方体、）で形成され、この複雑な形状を取り囲み、複雑な形状以外の部分を“０”で埋め尽くすようにして形成される（この図では、“０”は図示していない）。
【００３７】
分割情報は、どの直方体を分割したのかを識別する識別子と、分割多面体の頂点の座標（画素の位置）と、この座標からＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）およびＺ軸方向（時間軸方向）の長さ（画素数、ライン数、フレーム画像またはフィールド画像の枚数［フレーム数またはフィールド数］）と、重心座標とを含むものである。この分割情報は、分割多面体が４面体、５面体、６面体（立方体、直方体を含む）、７面体、８面体といったように面が増加した場合には、頂点の座標数が増加すると共に、この座標からの長さの数が増加する。
これら分割多面体と分割情報とが、３次元ブロック分割手段５から直交変換手段７に出力される。
【００３８】
直交変換手段７は、３次元ブロック分割手段５で分割された分割多面体に含まれているフレーム画像またはフィールド画像である部分画像における各画素の画素値をデジタル化し、このデジタル化した数値を直交変換すると共に、この直交変換したデジタル符号と、３次元ブロック分割手段５から出力された分割情報とを領域探索手段９に出力するもので、変換手法選択手段７ａを備えている。
【００３９】
なお、直交変換手段７では、部分画像をデジタル化する際に、当該部分画像中の１つの画素に１つの数値を割り当てるのではなく、同一方向に動く被写体を包含する所定数の画素を含んだブロックを画素ブロックとして、１つの画素ブロックに１つの数値を割り当てるようにしている。
【００４０】
直交変換としては、ＤＣＴ、ウェーブレット変換、フーリエ変換等が挙げられる。ＤＣＴは、画素値を変換する変換係数にコサイン関数を用いたものである。ウェーブレット変換は、基本ウェーブレットと呼称される時間的、周波数的に、限定した範囲に存在する関数を時間軸上で数倍する操作や、時間的にある値横にずらす操作を繰り返し行って、画素値の変換を行うものである。フーリエ変換は、画素値を周波数成分に変換するものである。
この直交変換手段７は、分割多面体ごとに、直交変換を、当該分割多面体の水平方向、垂直方向および時間軸方向（フレーム画像またはフィールド画像が合わせられている方向）に３回行っている。
【００４１】
直交変換したデジタル符号は、各分割多面体に含まれているフレーム画像またはフィールド画像である部分画像の画素値がデジタル化され、このデジタル化された任意の数値を、周波数空間上における所定の数値に置換したものである。
【００４２】
変換手法選択手段７ａは、分割多面体ごとに、当該分割多面体の水平方向、垂直方向および時間軸方向に直交変換を行う際に、方向ごとに変換手法を選択可能にするものである。この変換手法選択手段７ａは、当該装置１の使用者が予め図示を省略した操作手段により入力した操作信号に従って、各方向における直交変換の変換手法を選択するか、或いは、予め図示を省略したメモリに記憶された直交変換の変換手法を選択して採用するものである。
【００４３】
この変換手法選択手段７ａにより、例えば、水平方向および垂直方向の直交変換にウェーブレット変換を選択し、時間軸方向の直交変換にＤＣＴを選択することが可能になる。或いは、水平方向の直交変換にフーリエ変換を選択し、垂直方向の直交変換にＤＣＴを選択し、時間軸方向の直交変換にウェーブレット変換を選択することも可能である。
【００４４】
領域探索手段９は、直交変換手段７で直交変換されたデジタル符号において、有意な値のある領域を探索すると共に、この探索した有意な値と直交変換手段７から出力された分割情報とを量子化手段１１に出力するものである。
【００４５】
有意な値のある領域とは、デジタル符号が０でない所定の数値が出現している領域（場所）を指している。この領域探索手段９は、分割多面体の中で、デジタル符号が０でない所定の数値である領域を探索するものである。また、この有意な値が出現する領域には、一定の法則（吹抜敬彦著「ＴＶ画像の多次元信号処理」  日刊工業新聞社  Ｐ２７参照）が存在する。この一定の法則とは、動画像において、移動する物体（被写体）の移動方向と周波数スペクトルの存在する平面とには関係があるとして、この関係を定義したものである。
【００４６】
元々、分割多面体は、動画像をフレーム画像またはフィールド画像を所定時間合わせた直方体としてみなした際に、当該直方体を動画像に映っている被写体を基準に分割したものであり、分割多面体に含まれている部分画像は、１つの被写体が一定の動きを有する動画像領域と言える。そうすると、この動画像領域は、先の法則により、周波数空間上において、１つの平面上にのみ有意な値が出現する。すなわち、この領域探索手段９は、分割多面体の中で有意な値を探索し、結果として、有意な値が一様に存在する１つの平面を探索するものである。
【００４７】
量子化手段１１は、領域探索手段９で探索したデジタル符号の所定の数値を、ある値（Ｑ値）で除算することで、除算した余りを切り捨てて、除算した商を量子化値とすると共に、この量子化値および有意な値が存在した位置（何枚目の部分画像であるかということと、この部分画像における行または列）と、領域探索手段９から出力された分割情報とを符号化手段１３に出力するものである。なお、この量子化手段１１では、ある値（Ｑ値）を大きくすればするほど、切り捨てられるデジタル符号が多くなり、量子化が粗くなることになる。
【００４８】
ここで、図２から図４を参照して、３次元ブロック分割手段５、直交変換手段７、領域探索手段９および量子化手段１１において、動画像を処理する概略を説明する（適宜、図１参照）。
図２は３次元ブロック分割手段５および直交変換手段７での処理の概略を説明した図であり、図３は直交変換手段７、領域探索手段９および量子化手段１１での処理の概略を説明した図であり、図４は直交変換手段７で直交変換した際にデジタル符号が出現する領域について説明した図である。
【００４９】
図２（ａ）に示すように、入力された動画像には、地平面を走行する「車」と、地平面から直立する「樹木」と、地平面から遙か上空に位置する「雲」とが映っており、動画像圧縮装置１は、この動画像を、１２８画素×１２８ライン×１２８フレームの直方体（立方体）とみなして、３次元ブロック分割手段５によって、図２（ｂ）に示すように、被写体「車」の分割多面体、被写体「樹木」の分割多面体および被写体「雲」の分割多面体に分割する。これより、被写体「車」の分割多面体を例として、当該被写体「車」の分割多面体に含まれている１枚目の部分画像（＃１）と、２枚目の部分画像（＃２）と、３枚目の部分画像（＃３）と、４枚目の部分画像（＃４）とをピックアップして説明を続ける。
【００５０】
図２（ｃ）に示すように、動画像圧縮装置１は、直交変換手段７によって、１枚目の部分画像（♯１）から４枚目の部分画像（♯４）までのそれぞれの部分画像の各画素の画素値（画素ブロック）をデジタル化すると、１枚目の部分画像（♯１）において、４行５列の数値群（デジタル化した数値）となる。
【００５１】
そして、図３（ａ）に示すように、動画像圧縮装置１は、直交変換手段７によって、デジタル化した数値を直交変換してデジタル符号とすると、１枚目の部分画像（♯１）においては、第一列目のみに“８０”、“６９”、“５１”、“４９”の数値となり、２枚目の部分画像（♯２）においては、第二列目のみに“２０”、“１０”、“５”、“６”の数値となり、３枚目の部分画像（♯３）においては、第三列目のみに“７”、“６”、“２”、“１”の数値となり、４枚目の部分画像（♯４）においては、第四列目のみに“１”、“２”、“１”、“１”の数値となる。
【００５２】
そして、図３（ｂ）に示すように、動画像圧縮装置１は、領域探索手段９によって、１枚目の部分画像（♯１）から、有意な値を探索し、その結果、第一列目の“８０”、“６９”、“５１”、“４９”を得て、２枚目の部分画像（♯２）から、有意な値を探索し、その結果、第二列目の“２０”、“１０”、“５”、“６”を得て、３枚目の部分画像（♯３）から、有意な値を探索し、その結果、第三列目の“７”、“６”、“２”、“１”を得て、４枚目の部分画像（♯４）から、有意な値を探索し、その結果、第四列目の“１”、“２”、“１”、“１”を得る。なお、動画像圧縮装置１では、領域探索手段９で領域を探索する際に、予め４行４列の量子化マトリックスを定義しておいて、この量子化マトリックスを埋めるように、部分画像それぞれからデジタル符号を探索するようにしてもよい。
【００５３】
そして、図３（ｃ）に示すように、動画像圧縮装置１は、量子化手段１１によって、探索した領域の値それぞれを、ある値（一定の数値、Ｑ値、ここでは、５）で除算して、この除算した商、つまり、１枚目の部分画像（♯１）から“１６”、“１３”、“１０”、“９”を、２枚目の部分画像（♯２）から“４”、“２”、“１”、“１”を、３枚目の部分画像（♯３）から“１”、“１”、“０”、“０”を、４枚目の部分画像（♯４）から“０”、“０”、“０”、“０”を得て、これらを量子化値とする。なお、動画像圧縮装置１では、領域探索手段９で領域を探索する際に量子化マトリックスを定義しておいた場合、この量子化マトリックスと量子化手段１１による一定の数値による除算とを組み合わせて用いてもよい。
【００５４】
そして、図３（ｄ）に示すように、動画像圧縮装置１は、量子化手段１１によって、得られた量子化値、“１６”、“１３”、“１０”、“９”、“４”、“２”、“１”、“１”、“１”、“１”および図３（ａ）においてデータ（有意な値）の存在する位置を符号化手段１３に出力（伝送）する。なお、これらの量子化値を符号化せずにそのまま伝送する場合、量子化値は伝送ビットレートに基づいて変化させて（減少させて）、求められる伝送ビットレート以内に収める必要がある。
【００５５】
また、例えば、被写体「車」が水平方向に一定の動きをしている場合、被写体「車」の分割多面体を直交変換手段７によって直交変換した結果、図４（ａ）に示すように、各部分画像におけるデジタル符号の中で、ハッチングした場所に有意な値（動画像のスペクトル）が存在する（現れる）。
【００５６】
また、図４（ｂ−１）および（ｂ−２）に示すように、被写体が横方向に一定の動きをしている場合、分割多面体において、ハッチングした場所（分割多面体の一方の側面）に、有意な値（動画像のスペクトル）が現れる。なお、有意な値が現れる場所は、図４（ｂ−１）と図４（ｂ−２）とのどちらかに単純には決定することはできず、直交変換手段７によって変換する値や、領域探索手段９によって、探索する領域（座標の取り方）による。
【００５７】
さらに、図４（ｃ−１）および（ｃ−２）に示すように、被写体が縦方向に一定の動きをしている場合、分割多面体において、ハッチングした場所（分割多面体の前面の上端辺から後面の下端辺に亘る面、または、分割多面体の前面の下端辺から後面の上端辺に亘る面）に有意な値（動画像のスペクトル）が現れる。なお、有意な値が現れる場所は、図４（ｃ−１）と図４（ｃ−２）とのどちらかに単純には決定することはできず、直交変換手段７によって変換する値や、領域探索手段９によって、探索する領域（座標の取り方）による。
【００５８】
さらにまた、図４（ｄ）に示すように、被写体が動かない場合、分割多面体において、ハッチングした場所（分割多面体の前面）に有意な値（動画像のスペクトル）が現れる。
【００５９】
図１に戻って、動画像圧縮装置１の構成の説明を続ける。
符号化手段１３は、量子化手段１１から出力（伝送）された量子化値を符号化すると共に、この符号化した符号と、量子化手段１１から出力された有意な値の存在する位置および分割情報とを外部に出力するものである。この実施形態では、符号化手段１３による量子化値の符号化は、ＭＰＥＧ−２におけるハフマン符号＋ＶＬＣか、Ｈ．２６４におけるＣＡＶＡＣ等の変調符号を採用しており、分割多面体ごとに符号化をしている。
【００６０】
この動画像圧縮装置１によれば、動画像を直方体として捉え、移動量検出手段３によって、動画像に映っている被写体の移動量を検出することで、３次元ブロック分割手段５によって、当該直方体を同一の動きを有する小さな分割多面体に分割している。そして、直交変換手段７によって、分割多面体ごとに直交変換を行って、領域探索手段９によって有意な値を探索し、この有意な値を量子化手段１１によって量子化値とし、この量子化値を符号化手段１３によって符号化した符号とし、この符号、有意な値が検出された位置および分割情報を伝送している。このため、動きベクトルを伝送する必要がなく、動画像を圧縮して伝送することができる。この結果、動きベクトルを伝送しない分、送信する情報量を大幅に減らすことができ、しかも、受信する側で動画像の画質劣化を抑制することができる。
【００６１】
また、この動画像圧縮装置１によれば、表示面に対して水平方向、垂直方向、フレームまたはフィールド方向（時間軸方向）に行う直交変換手段７による直交変換は、変換手法選択手段７ａによって、変換手法を選択することができる。例えば、すべての方向に対して、ＤＣＴにすることもできるし、水平方向および垂直方向に対しウェーブレット変換を用いて、フレームまたはフィールド方向に対し、ＤＣＴを用いることもできる。
【００６２】
〈動画像圧縮装置の動作〉
次に、図５に示すフローチャートを参照して、動画像圧縮装置１の動作を説明する（適宜、図１参照）
まず、動画像圧縮装置１は、移動量検出手段３および３次元ブロック分割手段５に動画像を入力する（ステップＳ１）。続いて、動画像圧縮装置１は、移動量検出手段３によって、動画像に映っている被写体の移動量を検出し（ステップＳ２）、検出した移動量に基づいて、３次元ブロック分割手段５によって、動画像を、フレーム画像またはフィールド画像を所定時間合わせた直方体にみなして蓄積している３次元ブロック蓄積手段５ａから読み出して、当該直方体を分割多面体に分割する（ステップＳ３）。
【００６３】
そして、動画像圧縮装置１は、直交変換手段７によって、分割多面体に含まれている部分画像における画素ブロックの画素値をデジタル化し、このデジタル化した数値を直交変換したデジタル符号と分割情報とを出力する（ステップＳ４）。そして、動画像圧縮装置１は、領域探索手段９によって、デジタル符号の中で有意な値が存在している領域を探索し、探索した結果（有意な値および有意な値が存在した位置）と分割情報とを出力する（ステップＳ５）。
【００６４】
そして、動画像圧縮装置１は、量子化手段１１によって、領域の値（有意な値）を量子化し、量子化した量子化値と有意な値が存在した位置と分割情報とを出力する（ステップＳ６）。その後、動画像圧縮装置１は、符号化手段１３によって、量子化値を符号化後、符号化した符号（符号化画像）と有意な値が存在した位置と分割情報とを外部に出力する（ステップＳ７）。
【００６５】
〈符号化画像復号装置の構成〉
次に、図６に示すブロック図を参照して、符号化画像復号装置の構成を説明する。この図６に示すように、符号化画像復号装置２１は、動きベクトルを用いずに動画像が圧縮された後、符号化された符号化画像を復号し、伸長するもので、復号手段２３と、逆量子化手段２５と、領域復元手段２７と、逆直交変換手段２９と、分割多面体統合手段３１とを備えている。
【００６６】
復号手段２３は、符号化画像、周波数スペクトル上で有意な値が存在した位置および分割情報を入力し、符号化画像を復号して量子化値とし、この量子化値、有意な値が存在した位置および分割情報を逆量子化手段２５に出力するものである。この復号手段２３における復号方法は、動画像圧縮装置１の符号化手段１３における符号化方法と対応するものである。
【００６７】
逆量子化手段２５は、復号手段２３から出力された量子化値、有意な値が存在した位置および分割情報を入力し、量子化値を逆量子化して有意な値を得て、この有意な値、有意な値が存在した位置および分割情報を領域復元手段２７に出力するものである。
【００６８】
領域復元手段２７は、逆量子化手段２５から出力された有意な値、周波数スペクトル上で有意な値が存在した位置および分割情報を入力し、有意な値および周波数スペクトル上で有意な値が存在した位置に基づいて、デジタル符号からなる画像の領域、すなわち、直交変換された部分画像を復元すると共に、この直交変換された部分画像および分割情報を逆直交変換手段２９に出力するものである。
【００６９】
逆直交変換手段２９は、領域復元手段２７から出力された、直交変換された部分画像および分割情報を入力し、直交変換された部分画像を逆直交変換し、デジタル化された数値からなる部分画像にする。そして、逆直交変換手段２９は、デジタル化された数値からなる部分画像を所定時間分合わせた分割多面体を得て、この分割多面体および分割情報を分割多面体統合手段３１に出力する。
【００７０】
分割多面体統合手段３１は、逆直交変換手段２９から出力された分割多面体および分割情報を入力し、分割情報に基づいて、分割多面体を統合して直方体（フレーム画像またはフィールド画像が所定時間（所定枚数）分合わせたもの）を再構築し、時間軸に沿って外部（例えば、表示装置）に出力することで、動画像を再現するものである。
【００７１】
この符号化画像復号装置２１によれば、分割多面体統合手段３１によって、逆直交変換手段２９で得られた分割多面体を繋ぎ合わせることで、複数のフレーム画像または複数のフィールド画像を所定時間分合わせた直方体を再現でき、この直方体を時間軸方向（フレーム画像またはフィールド画像が制作された順番）に沿って再生すれば、動画像となるので、動きベクトルを用いずに符号化された符号化画像を復号することができる。
【００７２】
〈符号化画像復号装置の動作〉
次に、図７に示すフローチャートを参照して、符号化画像復号装置２１の動作を説明する（適宜、図６参照）。
まず、符号化画像復号装置２１は、復号手段２３によって、符号化画像、有意な値が存在した位置および分割情報を入力して、符号化画像のみを復号し（ステップＳ１１）、量子化値を得て、逆量子化手段２５によって、この量子化値を逆量子化する（ステップＳ１２）。
【００７３】
続いて、符号化画像復号装置２１は、領域復元手段２７によって、逆量子化手段２５で逆量子化された領域の値（有意な値）から、デジタル符号からなる画像の領域（部分画像）を復元し（ステップＳ１３）、逆直交変換手段２９によって、デジタル符号からなる部分画像を逆直交変換して、デジタル化された数値からなる部分画像とする（ステップＳ１４）。
【００７４】
さらに、符号化画像復号装置２１は、逆直交変換手段２９によって、デジタル化された数値からなる部分画像をアナログ化して、このアナログ化した部分画像を所定時間分合わせた分割多面体を得る。そして、符号化画像復号装置２１は、分割多面体統合手段３１によって、分割情報に基づいて、分割多面体を統合して、直方体を得て、この直方体を動画像として外部に出力する（ステップＳ１５）。
【００７５】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、動画像圧縮装置１および符号化画像復号装置２１として説明したが、各装置のそれぞれの構成の処理をコンピュータ言語によって記述した動画像圧縮プログラムおよび符号化画像復号プログラムとみなすことも可能である。これらの場合、動画像圧縮装置１および符号化画像復号装置２１と同様の効果を得ることができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態に係る動画像圧縮装置のブロック図である。
【図２】図１に示した３次元ブロック分割手段および直交変換手段における処理の概略を説明した図である。
【図３】図１に示した直交変換手段、領域探索手段および量子化手段における処理の概略を説明した図である。
【図４】図１に示した直交変換手段によって、直交変換した場合に、有意な値（動画像のスペクトル）が現れる場所を説明した図である。
【図５】図１に示した動画像圧縮装置の動作を説明したフローチャートである。
【図６】本発明の実施形態に係る符号化画像復号装置のブロック図である。
【図７】図６に示した符号化画像復号装置の動作を説明したフローチャートである。
【図８】分割多面体について説明した図である（被写体が大きさが変化する場合）。
【図９】分割多面体について説明した図である（被写体が移動して欠ける場合）。
【図１０】分割多面体について説明した図である（被写体の形状が円の場合）。
【符号の説明】
【００７７】
１      動画像圧縮装置
３      移動量検出手段
５      ３次元ブロック分割手段（分割手段）
５ａ    ３次元ブロック蓄積手段
７      直交変換手段
７ａ    変換手法選択手段
９      領域探索手段
１１    量子化手段
１３    符号化手段
２１    符号化画像復号装置
２３    復号手段
２５    逆量子化手段
２７    領域復元手段
２９    逆直交変換手段
３１    分割多面体統合手段
【図１】
2006180053.tif 000003
【図２】
2006180053.tif 000004
【図３】
2006180053.tif 000005
【図４】
2006180053.tif 000006
【図５】
2006180053.tif 000007
【図６】
2006180053.tif 000008
【図７】
2006180053.tif 000009
【図８】
2006180053.tif 000010
【図９】
2006180053.tif 000011
【図１０】
2006180053.tif 000012