(57)【特許請求の範囲】
【請求項１】
映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定するマクロブロック判定方法であって、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する過程と、
前記第１の閾値以上であるのか否かの判断により、前記第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する過程と、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、前記第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する過程と、
前記第２の閾値以下であるのか否かの判断により、前記第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する過程とを備えることを、
特徴とする映像符号化におけるマクロブロック判定方法。
【請求項２】
映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定する機能を持つ映像符号化装置において、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する手段と、
前記第１の閾値以上であるのか否かの判断により、前記第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する手段と、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、前記第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する手段と、
前記第２の閾値以下であるのか否かの判断により、前記第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する手段とを備えることを、
特徴とする映像符号化装置。
【請求項３】
映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定するマクロブロック判定方法の実現に用いられる映像符号化プログラムであって、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する処理と、
前記第１の閾値以上であるのか否かの判断により、前記第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する処理と、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、前記第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する処理と、
前記第２の閾値以下であるのか否かの判断により、前記第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する処理とをコンピュータに実行させるための映像符号化プログラム。
【請求項４】
映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定するマクロブロック判定方法の実現に用いられる映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する処理と、
前記第１の閾値以上であるのか否かの判断により、前記第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する処理と、
判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、前記第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する処理と、
前記第２の閾値以下であるのか否かの判断により、前記第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する処理とをコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像符号化の符号化制御において発生符号量を大幅に抑制することができるようにする映像符号化におけるマクロブロック判定方法と、そのマクロブロック判定方法を実装する映像符号化装置と、そのマクロブロック判定方法の実現に用いられる映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【０００２】
低ビットレートにおける映像符号化においては、画素ごとに割り当てられる符号量が少ないために、可能な限り発生符号量を抑制することが望ましく、これを実現するための技術の構築が叫ばれている。
【０００３】
【従来の技術】
映像符号化の国際標準であるＭＰＥＧ−４において、ＮotＣoded方式は、Ｐ−ＶＯＰ（前方予測符号化されたＶＯＰ，ＶＯＰ：Video Object Plane）内の符号化対象マクロブロックが前フレームの同位置にあるマクロブロックと比較してほとんど画像変化がない場合に、符号化情報無しという１ビットの情報を示すだけで符号化が可能となる方式であり、画像変化のない符号化対象マクロブロックに対して発生符号量を大幅に抑制できる方式である。
【０００４】
従来、符号化対象マクロブロックに対してＮotＣoded方式を適用するのか否かを判定するＮotＣoded判定について、ＭＰＥＧ−４で規定されている検証モデルver.16(VM16)の符号化制御では、下記の判定方法を用いていた。
【０００５】
すなわち、従来では、図６に示すように、
条件１：インターマクロブロックである
条件２：符号化対象マクロブロックの動きベクトルが［０，０］である
条件３：符号化対象マクロブロック内の６つのブロック（４つの輝度ブロック、２つの色差ブロック）がすべて無効ブロックである
という条件を満たす場合には、ＮotＣoded方式を適用するという判定方法に従って、ＮotＣoded方式を適用するのか否かを判定するようにしていた。
【０００６】
ここで、図６中に示す１０１は条件１の判定を行う第１の条件判定手段、１０２は条件２の判定を行う第２の条件判定手段、１０３は条件３の判定を行う第３の条件判定手段である。
【０００７】
なお、無効ブロックとは、量子化の結果、すべての変換係数が０になるブロックをいう。また、ＭＰＥＧ−４については、下記の文献に詳しく紹介されている。
〔文献１〕 "ＭＰＥＧ−４のすべて",pp.37-116,三木弼一著，工業調査会。
〔文献２〕 "ISO/IEC JTC1/SC29/WG11:MPEG-4 Video Verification Model version16.0",Shigeru Fukunaga 他,pp.228-233,March,2000。
【０００８】
【発明が解決しようとする課題】
従来技術に従うＮotＣoded判定は、上述したような手順を踏むために、以下に述べる点で問題があった。
【０００９】
すなわち、符号化対象マクロブロックが、前フレームの同位置にあるマクロブロックと比較して、見た目には画像変化がないが、ノイズのために少しでもＤＣＴ係数が発生したときにあって、更に、符号化対象マクロブロックが視覚効果として画像変化を検知しにくいとされている、▲１▼符号化対象マクロブロック内のすべての画素の輝度値が非常に高い場合や、▲２▼符号化対象マクロブロック内のすべての画素の輝度値が非常に低い場合に、ＮotＣoded方式が適用されずに通常の符号化を行っていたため、結果として無駄な符号量が発生している、という問題があった。
【００１０】
本発明はかかる事情に鑑みてなされたものであって、映像符号化の符号化制御において発生符号量を大幅に抑制することができるようにする新たな映像符号化技術の提供を目的とする。
【００１１】
【課題を解決するための手段】
この目的を達成するために、本発明の映像符号化におけるマクロブロック判定方法は、映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定する処理を行うために、（イ）判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する第１の過程と、（ロ）第１の過程による第１の閾値以上であるのか否かの判断により、第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する第２の過程と、（ハ）判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する第３の過程と、（ニ）第３の過程による第２の閾値以下であるのか否かの判断により、第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する第４の過程とを備えるように構成する。
【００１２】
以上の各処理過程はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００１６】
そして、この本発明に係るマクロブロック判定方法を実現する本発明の映像符号化装置は、映像符号化におけるインターマクロブロックに対してＮotＣoded方式を適用するのか否かを判定する機能を実現するために、（イ）判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、高輝度値であるのか否かを判定するための規定の第１の閾値以上であるのか否かを判断する第１の判断手段と、（ロ）第１の判断手段による第１の閾値以上であるのか否かの判断により、第１の閾値以上であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する第２の判定手段と、（ハ）判定対象となるマクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に、第１の閾値よりも小さな値を示すものとして設定された閾値であって、低輝度値であるのか否かを判定するための規定の第２の閾値以下であるのか否かを判断する第２の判断手段と、（ニ）第２の判断手段による第２の閾値以下であるのか否かの判断により、第２の閾値以下であると判断された場合に、判定対象となるマクロブロックに対してＮotＣoded方式の適用を判定する第２の判定手段とを備えるように構成する。
【００１７】
このように構成される本発明では、視覚特性として画像変化を検知しにくいとされている符号化対象マクロブロックに対して、積極的にＮotＣoded方式を適用することによって発生符号量を抑制し、フレーム全体の画質向上を実現するという構成を採る。
【００２０】
具体的には、本発明では、従来のＮotＣoded判定において、上述の“条件１”を満たす符号化対象マクロブロックに対して、その符号化対象マクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とが、共に規定の閾値（後述する第３の閾値）以上であった場合、あるいは、共に規定の閾値（後述する第４の閾値）以下であった場合には、視覚効果として画像変化を検知しにくいマクロブロックであるとみなして、その符号化対象マクロブロックに対して強制的にＮotＣoded方式を適用するように処理する。
【００２１】
本発明では、マクロブロック内の画素の輝度値でＮotＣoded判定を行う点で、従来の技術とは大きく異なる。
【００２３】
このようにして、本発明では、ＭＰＥＧ−４などによって映像を符号化するときにあって、符号化対象マクロブロックのすべての画素の輝度値によるＮotＣoded判定を行うことによって、視覚特性として画像変化のないマクロブロックの符号化を省略できることで、視覚特性を見込んだ符号化制御が可能となる。
【００２４】
このようにして、本発明によれば、ＮotＣoded方式を積極的に適用することによって、発生符号量を抑制することが可能となり、符号化が困難な他のマクロブロックにより多くの符号量を割り当てることが可能となる。
【００２５】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２６】
図１に、本発明を具備するＭＰＥＧ４符号器の装置構成を図示する。
【００２７】
図中、１０はＤＣＴ・量子化処理部、２０は逆量子化・ＩＤＣＴ処理部、３０はフレームメモリ格納部、４０は動き補償処理部、５０はＮotＣoded判定部である。
【００２８】
このように構成される本発明を具備するＭＰＥＧ４符号器では、図２の処理フローに示すように、インターマクロブロックについて、ステップ１で、ＤＣＴ・量子化処理部１０によるインターマクロブロック符号化処理を行う。
【００２９】
この符号化処理によって生成された符号化データは、ステップ２で、逆量子化・ＩＤＣＴ処理部２０による逆量子化処理、ＩＤＣＴ処理が行われ、ステップ３で、フレームメモリ格納部３０によりフレームメモリに格納され、ステップ４で、動き補償処理部４０による動き補償処理が行われて、次フレーム以降の処理に再利用される。
【００３０】
そして、ステップ５で、ＮotＣoded判定部５０によるＮotＣoded判定が行われて、ＮotＣoded方式を適用すると判定される場合には、ステップ６に進んで、ＮotＣoded方式が適用され、ＮotＣoded方式を適用しないと判定される場合には、ステップ７に進んで、通常の符号化が行われる。
【００３１】
図３ないし図５に、このＮotＣoded判定部５０が本発明を実現するために備える構成の詳細を図示する。
【００３２】
図中、２０１は第１の条件判定手段、２０２は第２の条件判定手段、２０３は無効ブロック個数判定手段、２０４はＮotＣoded方式適用手段、２０５は通常符号化手段、２０７は輝度値判定手段、２０８は非零ＤＣＴ係数個数判定手段である。
【００３３】
第１の条件判定手段２０１は、図６に示した従来のＮotＣoded判定で用いられている第１の条件判定手段１０１と同様の条件判定処理を行うものであって、入力されたＰ−ＶＯＰの符号化対象マクロブロックがインターマクロブロックであるのか否かを判定する。
【００３４】
輝度値判定手段２０７は、第１の条件判定手段２０１でインターマクロブロックと判定された符号化対象マクロブロック内のすべての画素の輝度値と、前フレームの同位置にあるマクロブロック内のすべての画素の輝度値とを算出し、それぞれのすべての画素の輝度値を第３の閾値、第４の閾値によって判定する。
【００３５】
この輝度値判定手段２０７の行う判定処理の詳細を図４に図示する。ここで、図中、４０１は低輝度値判定手段、４０２は高輝度値判定手段、４０４はＮotＣoded方式適用手段である。
【００３６】
この図４に示すように、輝度値判定手段２０７は、算出した両方のすべての画素の輝度値が低輝度値判定手段４０１によって第４の閾値以下であったと判定した場合、あるいは、算出した両方のすべての画素の輝度値が高輝度値判定手段４０２によって第３の閾値以上であったと判定した場合には、画像変化を検知しにくいマクロブロックとみなして、符号化対象マクロブロックに対してＮotＣoded方式を適用すべく、ＮotＣoded方式適用手段４０４へ処理を受け渡し、ＮotＣoded判定を終了する。それ以外については、第２の条件判定手段２０２へ処理を受け渡す。
【００３７】
第２の条件判定手段２０２は、図６に示した従来のＮotＣoded判定で用いられている第２の条件判定手段１０２と同様の条件判定処理を行うものであって、受け渡された符号化対象マクロブロックの動きベクトルが「（ｘ，ｙ）＝＝（０，０）」であるのか否かを判定する。
【００３８】
この判定処理により、動きベクトルが「（ｘ，ｙ）＝＝（０，０）」であった場合には、ＮotＣoded方式を適用できる可能性があることを判断して、非零ＤＣＴ係数個数判定手段２０８へ処理を受け渡す。それ以外については、判定を終了して通常符号化部２０５へ処理を受け渡す。
【００３９】
非零ＤＣＴ係数個数判定手段２０８は、符号化対象マクロブロック内の６つのブロック（４つの輝度ブロック、２つの色差ブロック）に対して、無効ブロックであるのか否かを判定する。
【００４０】
この非零ＤＣＴ係数個数判定手段２０８の行う判定処理の詳細を図５に図示する。ここで、図中、３０１は非零ＤＣＴ係数判定手段、３０２は計算済ブロック監視手段である。
【００４１】
この図５に示すように、非零ＤＣＴ係数個数判定手段２０８は、第２の条件判定手段２０２より受け渡された符号化対象マクロブロックに対して、非零ＤＣＴ係数判定手段３０１によって、６つのブロックのそれぞれに対し、非零ＤＣＴ係数の個数が第１の閾値以下であった場合、あるいは、ＤＣＴ係数の直流成分値が０であった場合には、そのブロックを無効ブロックと判定し、それ以外のブロックは有効ブロックと判定する。そして、計算済ブロック監視手段３０２によって、６つのブロックの無効ブロック判定が終了したと判断した場合は、無効ブロック個数判定手段２０３へ処理を受け渡す。
【００４２】
無効ブロック個数判定手段２０３は、非零ＤＣＴ係数個数判定手段２０８より受け渡された符号化対象マクロブロックに対して、無効ブロックの個数が第２の閾値以上であった場合には、画像変化がないマクロブロックとみなして、符号化対象マクロブロックに対してＮotＣoded方式を適用すべく、ＮotＣoded方式適用手段２０４へ処理を受け渡し、ＮotＣoded判定を終了する。それ以外については、判定を終了して通常符号化手段２０５へ処理を受け渡す。
【００４３】
ＮotＣoded判定部５０がこのような判定処理を行うことで、本発明によれば、画像変化のないマクロブロックに対し、ＮotＣoded方式を効果的に適用することが可能となる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、視覚特性により画像変化を検知しにくいマクロブロックの発生符号量を抑制できることになり、符号化が困難な他のマクロブロックにより多くの符号量を割り当てることができることで、フレーム全体の画質向上が実現できる、という効果が得られる。
【図面の簡単な説明】
【図１】本発明を具備するＭＰＥＧ４符号器の装置構成図である。
【図２】本発明を具備するＭＰＥＧ４符号器の符号化処理の処理フローである。
【図３】ＮotＣoded判定部の詳細な構成図である。
【図４】ＮotＣoded判定部の詳細な構成図である。
【図５】ＮotＣoded判定部の詳細な構成図である。
【図６】従来のＮotＣoded判定処理の説明図である。
【符号の説明】
１０  ＤＣＴ・量子化処理部
２０  逆量子化・ＩＤＣＴ処理部
３０  フレームメモリ格納部
４０  動き補償処理部
５０  ＮotＣoded判定部
【図１】
0004037679.tif 000002
【図２】
0004037679.tif 000003
【図３】
0004037679.tif 000004
【図４】
0004037679.tif 000005
【図５】
0004037679.tif 000006
【図６】
0004037679.tif 000007