(57)【要約】第１の符号化方法で符号化された画像データを第２の符号化方法に従って再符号化を行う際、ブロック歪みの削減とメモリの削減を同時に満たす画像再符号方法を提供する。画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号ステップと、前記復号ステップで復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化ステップと、を備える画像再符号化方法であって、前記符号化ステップは、前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出ステップと、前記境界部分検出ステップで検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキングステップと、を備える。
2008090793.tif 000002
【特許請求の範囲】
【請求項１】
画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号ステップと、
前記復号ステップで復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化ステップと、
を備える画像再符号化方法であって、
前記符号化ステップは、
前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出ステップと、
前記境界部分検出ステップで検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキングステップと、
を備えることを特徴とする画像再符号化方法。
【請求項２】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記デブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項１に記載の画像再符号化方法。
【請求項３】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高めるステップを更に備えること特徴とする請求項１に記載の画像再符号化方法。
【請求項４】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高めるステップを更に備えること特徴とする請求項１に記載の画像再符号化方法。
【請求項５】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記デブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項２乃至４の何れか１項に記載の画像再符号化方法。
【請求項６】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項２乃至４の何れか１項に記載の画像再符号化方法。
【請求項７】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップとを更に備えることを特徴とする請求項２乃至４の何れか１項に記載の画像再符号化方法。
【請求項８】
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップと、アクティビティが閾値より小さい場合、前記デブロッキングフィルタ強度を高めるステップとを更に備えることを特徴とする請求項２に記載の画像再符号化方法。
【請求項９】
前記画像データがＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップと、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップとを更に備えることを特徴とする請求項２に記載の画像再符号化方法。
【請求項１０】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に前記第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を備えることを特徴とする画像再符号化方法。
【請求項１１】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１２】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１３】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１４】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１５】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１６】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップと、
を備えることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１７】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１８】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１９】
画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号手段と、
前記復号手段で復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化手段と、
を備える画像再符号化装置であって、
前記符号化手段は、
前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出手段と、
前記境界部分検出手段で検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキング手段と、
を備えることを特徴とする画像再符号化装置。
【請求項２０】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記デブロッキングフィルタ強度を高める手段を更に備えることを特徴とする請求項１９に記載の画像再符号化装置。
【請求項２１】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高める手段を更に備えること特徴とする請求項１９に記載の画像再符号化装置。
【請求項２２】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高める手段を更に備えること特徴とする請求項１９に記載の画像再符号化装置。
【請求項２３】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記デブロッキングフィルタ強度を高める手段を更に備えることを特徴とする請求項２０乃至２２の何れか１項に記載の画像再符号化装置。
【請求項２４】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高める手段を更に備えることを特徴とする請求項２０乃至２２の何れか１項に記載の画像再符号化装置。
【請求項２５】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高める手段と、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高める手段とを更に備えることを特徴とする請求項２０乃至２２の何れか１項に記載の画像再符号化装置。
【請求項２６】
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段と、アクティビティが閾値より小さい場合、前記デブロッキングフィルタ強度を高める手段とを更に備えることを特徴とする請求項２０に記載の画像再符号化装置。
【請求項２７】
前記画像データがＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段と、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記デブロッキングフィルタ強度を高める手段と、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高める手段とを更に備えることを特徴とする請求項２０に記載の画像再符号化装置。
【請求項２８】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリング手段と、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に前記第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化する手段と、を備えることを特徴とする画像再符号化装置。
【請求項２９】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３０】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３１】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３２】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３３】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３４】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高める手段と、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高める手段と、
を備えることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３５】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段を備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３６】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段を持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高める手段を更に備えることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３７】
画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号ステップと、
前記復号ステップで復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化ステップと、
を備える画像再符号化方法をコンピュータに行わせるための画像再符号化プログラムであって、
前記符号化ステップは、
前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出ステップと、
前記境界部分検出ステップで検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキングステップと、
を備えることを特徴とする画像再符号化方法をコンピュータに行わせるための画像再符号化プログラム。
【請求項３８】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記デブロッキングフィルタ強度を高めるステップを画像再符号化方法が更に備えることを特徴とする請求項３７に記載の画像再符号化プログラム。
【請求項３９】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高めるステップを画像再符号化方法が更に備えること特徴とする請求項３７に記載の画像再符号化プログラム。
【請求項４０】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど、前記デブロッキングフィルタ強度を高めるステップを画像再符号化方法が更に備えること特徴とする請求項３７に記載の画像再符号化プログラム。
【請求項４１】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記デブロッキングフィルタ強度を高めるステップを画像符号化方法が更に備えることを特徴とする請求項３８乃至４０の何れか１項に記載の画像再符号化プログラム。
【請求項４２】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップを画像再符号化方法が更に備えることを特徴とする請求項３８乃至４０の何れか１項に記載の画像再符号化プログラム。
【請求項４３】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ＤＣＴタイプがフレームタイプである場合、前記第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップとを画像符号化方法が更に備えることを特徴とする請求項３８乃至４０の何れか１項に記載の画像再符号化プログラム。
【請求項４４】
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップと、アクティビティが閾値より小さい場合、前記デブロッキングフィルタ強度を高めるステップとを更に備えることを特徴とする請求項３８に記載の画像再符号化プログラム。
【請求項４５】
前記画像データがＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、
前記第２の符号化方法は、前記画像データから前記第１の符号化方法のブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップと、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、前記アクティビティ情報が閾値より小さい場合において、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法のブロックの水平境界部分に対し前記デブロッキングフィルタ強度を高めるステップとを更に備えることを特徴とする請求項３８に記載の画像再符号化プログラム。
【請求項４６】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法をコンピュータに行わせるための画像再符号化プログラムであって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に前記第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を画像再符号化方法が備えることを特徴とする画像再符号化プログラム。
【請求項４７】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項４８】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項４９】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項５０】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項５１】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４７に記載の画像再符号化方法。
【請求項５２】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップと、
を画像再符号化方法が備えることを特徴とする請求項４７に記載の画像再符号化プログラム。
【請求項５３】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４７に記載の画像再符号化プログラム。
【請求項５４】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項４７に記載の画像再符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある符号化方法により符号化された画像データを別のパラメータや別の符号化方法により再符号化する画像再符号化方法、画像再符号化装置及び画像再符号化プログラムに関する。
【背景技術】
【０００２】
画像再符号化方法、画像再符号化装置及び画像再符号化プログラムは、例えば、画像データの圧縮率を更に高めるために利用されている。【０００３】
特許文献１には、復号化部において、ソース符号化ストリームをデコードして復号化ビデオデータを生成すると共に、符号化ストリーム中に重畳されている過去の符号化パラメータを抽出し、再符号化部において、復号化ビデオデータと過去の符号化パラメータを受け取り、過去の符号化パラメータを使用して符号化処理を行う画像再符号化装置が開示されている。【０００４】
特許文献２には、遅延回路と減算器とから求められた注目画素と隣接する参照画素とのレベル差を非線形回路に入力し、非線形処理回路が、レベル差が予め定められた範囲にある場合に、ブロック歪みがあると判断してブロック歪量を出力するブロック歪除去装置が開示されている。【０００５】
特許文献３には、ビットストリーム中に含まれていた付加情報の内のブロック量子化幅情報をブロック量子化幅値検出部で検出し、検出されたブロック量子化幅情報が、予め定められた値よりも大きな値を示す領域内に含まれている単位のブロックの境界部分、及び、前記した各領域毎に個別に設定されているブロック量子化幅値が、隣接する領域に設定されているブロック量子化幅値との間で大きな差値を示すブロック量子化幅を有する領域内に含まれている単位のブロックの境界部分についてフィルタリングが行なわれるように、制御信号発生部で発生させた制御信号を可変通過帯域低域通過濾波器に与えて、ブロック量子化幅値の大きさの差と適応的に高域成分を減少させるような信号処理を行なわせる復号化装置が開示されている。
【特許文献１】国際公開第２０００／０４８４０２号パンフレット
【特許文献２】特開平８−３１７３８９号公報
【特許文献３】特開平８−１４９４７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記の特許文献１の従来装置では、復号化装置で第１のＭＰＥＧ−２符号化画像データを復号した画像データと符号化パラメータとを同期させ、符号化装置に入力し、その符号化パラメータを利用して画像データを符号化することにより多重符号化による画質劣化を抑制しているが、第１のＭＰＥＧ−２符号化画像データのブロック歪を検出し、ブロック歪を軽減させることは出来ない。【０００７】
また、上記の特許文献２、及び３記載の従来装置は、単に、ブロック歪を除去するのみであり、復号時に発生したブロック歪を符号化装置にて軽減させることができない。【０００８】
更に、復号化装置と符号化装置間に上記の特許文献２、及び３記載の従来装置を接続した場合には、記憶装置（メモリ）が少なくとも１マクロブロックライン（ＭＰＥＧ−２におけるマクロブロックを画面の水平方向に並べたもの。例えば、１６ラインメモリ）以上必要となり、第１のＭＰＥＧ−２符号化画像データのブロック歪を軽減させるトランスコードを実現させるためには、トランスコード全体の処理時間の増加と、記憶装置（メモリ）の追加による回路規模の増大という課題がある。【０００９】
従来装置のブロック図の１例に関し図６を用いて説明する。第１の符号化方法で符号化された画像データＳ１は復号回路部１でベースバンド画像データＳ３に復号され、復号時に分離した符号化パラメータ情報Ｓ４と共にデブロッキングフィルタ部２２に入力される。デブロッキングフィルタ部２２は少なくとも符号化ブロックが画像データの水平ラインに並べられるサイズの画像メモリ２３を持ち、符号化ブロックの水平・垂直境界のブロック歪を軽減させ、ベースバンド画像データＳ７を出力する。次に符号化回路部２により第２の符号化方法で符号化し、画像データＳ２を出力する。【００１０】
本発明は上記の点に鑑みなされたものであり、第１の符号化方法で符号化された画像データを第２の符号化方法に従って再符号化を行う際、ブロック歪みの削減とメモリの削減を同時に満たす画像再符号方法、画像再符号化装置及び画像再符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点によれば、画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号ステップと、前記復号ステップで復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化ステップと、を備える画像再符号化方法であって、前記符号化ステップは、前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出ステップと、前記境界部分検出ステップで検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキングステップと、を備えることを特徴とする画像再符号化方法が提供される。【００１２】
本発明の第２の観点によれば、画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に前記第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を備えることを特徴とする画像再符号化方法が提供される。【００１３】
本発明の第３の観点によれば、画像データであって、第１の符号化方法によりブロック毎に符号化されたものを復号する復号ステップと、前記復号ステップで復号された前記画像データを第２の符号化方法によりブロック毎に符号化する符号化ステップと、を備える画像再符号化方法をコンピュータに行わせるための画像符号化プログラムであって、前記符号化ステップは、前記第１の符号化方法により符号化された画像データを利用して前記第１の符号化方法により符号化された画像データのブロック境界部分を検出する境界部分検出ステップと、前記境界部分検出ステップで検出された前記ブロック境界部分に対し、デブロッキングフィルタ処理を施すデブロッキングステップと、を備えることを特徴とする画像再符号化方法をコンピュータに行わせるための画像符号化プログラムが提供される。
【発明の効果】
【００１４】
本発明の第１の効果は、第１の符号化方法に対応した復号化方法で復号した符号化パラメータ情報を第２の符号化方法に伝送することにより、第１の符号化方法に対応した復号化方法を行う復号装置と第２の符号化方法を行う符号化装置との間にブロック歪低減手段を設ける必要が無くなる。従って、回路規模を増加させることなく、画質劣化を抑制する画像再圧縮装置を提供することができる。【００１５】
その理由は、第２の符号化方法に配置されているデブロッキングフィルタ部に第１の符号化で発生しているブロック歪情報によりブロック歪除去フィルタ係数を加えることにより第１の符号化方法で発生したブロック歪の低減を行うことである。【００１６】
本発明の第２の効果は、第１の復号化方法に符号化ブロック内のブロック歪除去方法を備え、第１の符号化パラメータ情報からブロック歪の発生条件とブロック境界の差分情報からデブロッキングフィルタ係数情報を出力し、第２の符号化手段で第１の符号化手段で発生した符号化ブロック間のブロック歪と第２の符号化手段で発生するブロック歪を低減させることができ、符号化パラメータ情報を全て伝送しないため、回路規模が小さく画質劣化を抑制する画像再圧縮装置を提供することができる。【００１７】
その理由は、第１の符号化パラメータ情報を伝送する配線が削減され、第２の符号化方法に配置されているデブロッキングフィルタ部に第１符号化でデブロッキングフィルタ係数情報によりブロック歪除去フィルタ係数を修正することにより第１の符号化方法で発生したブロック歪の低減を行うことである。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】符号化フレームパラメータ情報の１例である。
【図３】符号化マクロブロックパラメータ情報の１例である。
【図４】本発明の第２の実施の形態のブロック図である。
【図５】符号化ブロックと直交変換ブロックとの関係の１例である。
【図６】従来装置の１例のブロック図である。
【符号の説明】
【００１９】
１  復号回路部
２  符号化回路部
３  符号化情報生成部
４  イントラ予測部
５  動き検出部
６  画像メモリ部
７  動き補償部
８  選択部
９  演算部
１０  直交変換／量子化部
１１  可変長符号部
１２  逆量子化／逆変換部
１３  演算部
１４  デブロッキングフィルタ部
１５  復号化情報解析部
１６  可変長復号部
１７  逆量子化／逆変換部
１８  演算部
１９  動き補償部
２０  画像メモリ部
２１  デブロッキングフィルタ部
２２  デブロッキングフィルタ部
２３  画像メモリ部
Ｓ１  第１の符号化方法で符号化された画像データ
Ｓ２  第２の符号化方法で符号化された画像データ
Ｓ３  復号後のベースバンド画像データ
Ｓ４  第１の符号化パラメータ情報
Ｓ５  復号時に符号化ブロック内のブロック歪が軽減されたベースバンド画像データ
Ｓ６  デブロッキングフィルタ係数情報
Ｓ７  復号後第１の符号化によるブロック歪が軽減されたベースバンド画像データ
【発明を実施するための最良の形態】
【００２０】
ＭＰＥＧ−２符号化パラメータ情報を入力しブロック歪が発生する条件と判定した場合、Ｈ．２６４符号化装置内のループフィルタを利用しブロック歪を軽減させる。【００２１】
また、ＭＰＥＧ−２復号化時に符号化パラメータを利用してブロック歪を検出し、マクロブロック内のブロック歪に関してＭＰＥＧ−２復号化時にブロック歪除去フィルタにより軽減させ、復号化後の画像データとブロック歪除去フィルタ強度を、Ｈ．２６４符号化装置へ入力しＨ．２６４符号化装置ではブロック歪除去フィルタ強度情報からマクロブロック間のブロック歪除去のためのパラメータを変更する。【００２２】
上記目的を達成するため、本発明の画像再符号化装置は、予め定めた複数の画素からなるブロック単位で画素データを第１の符号化方法により圧縮符号化して得られた画像データを復号し、復号化情報解析手段により復号時に圧縮画像データから第１の符号化方法の符号化パラメータ情報を抽出し復号画像データと同期して出力する。更に復号画像データを予め定めた複数の画素からなるブロックに分割し圧縮符号化を行う第２の符号化方法で符号化する際、第２の符号化方法には予めブロック歪を低減させる目的のデブロッキングフィルタを持ち、第１の符号化パラメータ情報からブロック境界部にブロック歪が発生するパタンと、ブロック境界の画素の差分値からデブロッキングフィルタ強度を決定しブロック歪を低減させることを特徴とする。【００２３】
このような構成にすれば、第１の符号化方法の復号手段と、第２の符号化方法の符号手段との間に、第１の符号化方法により発生したブロック歪を低減させるブロック歪低減手段を加えず、第１の符号化方法により発生したブロック歪を低減させることが出来る。【００２４】
また、本発明は、第１の符号化方法が予め定めた複数の画素からなる変換ブロックと符号化ブロックを有し、符号化ブロック内に複数の変換ブロックが存在する場合、符号化データを符号化ブロック単位で復号する際、符号化ブロック内の変換ブロック境界のブロック歪を低減し、ブロック歪低減に用いたデブロッキング係数情報を復号画像データと同期して出力する。更に復号画像データを予め定めた複数の画素からなるブロックに分割し圧縮符号化を行う第２の符号化方法で符号化する際、第２の符号化方法には予めブロック歪を低減させる目的のデブロッキングフィルタを持ち、第１の符号化方法により発生した符号化ブロック境界部のブロック歪を第２の符号化方法のブロック歪の低減を目的に準備されているデブロッキングフィルタ部に第１のデブロッキング係数情報を入力することで、合わせてブロック歪を低減させることを特徴とする。【００２５】
このような構成にすれば、第１の符号化方法の復号手段と、第２の符号化方法の符号手段との間に、第１の符号化方法により発生したブロック歪を低減させるブロック歪低減手段を加えず、第１の符号化方法により発生したブロック歪を低減させることが出来、合わせて第１の符号方法の復号手段と第２の符号化方法の復号手段との間の符号化パラメータ情報の削減が出来る。【００２６】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。【００２７】
本実施形態では、第１の圧縮符号化方法をＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２）規格として述べるが、ＩＳＯ／ＩＥＣ１０９１８−１（ＪＰＥＧ）規格であっても、ＩＳＯ／ＩＥＣ１１１７２−２（ＭＰＥＧ−１）規格であっても良い。また、第２の圧縮符号化方法をＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４／ＡＶＣ、Ｈ．２６４）規格として述べるが、ＩＳＯ／ＩＥＣ１４４９６−２（ＭＰＥＧ−４／Ｖｉｓｕａｌ）規格であっても良い。【００２８】
図１は本発明の実施形態における画像再符号化装置の構成を示すものであり、復号回路部１と、符号化回路部２を備えている。符号化回路部２は、符号化情報生成部３と、イントラ予測部４と、動き検出部５と、画像メモリ部６と、動き補償部７と、選択部８と、デブロッキングフィルタ部１４と、加算器１３と、減算器９と直交変換／量子化部１０と、逆量子化／逆変換部１２と、可変長符号化部１１を備える。【００２９】
復号回路部１では、第１の符号化方法（以降ＭＰＥＧ−２とする。）で符号化されている画像データＳ１を復号し、復号後のベースバンド画像データＳ３を出力するとともに、第１の符号化パラメータ情報Ｓ４を出力する。符号化パラメータ情報Ｓ４には様々な書式や情報が考えられるが、本実施の形態に即した１例を図２および図３に示す。図２に示すパラメータ情報は１フレーム毎に出力される情報で、図３に示すパラメータ情報は１マクロブロック毎に出力される情報であり、これらの情報は１連の情報として連続して伝送されても良いし別ファイルとして伝送されても良い。【００３０】
次に符号化回路部２では第２の符号化方法（以降Ｈ．２６４とする）で画像データを符号化したデータＳ２を出力するが、符号化パラメータ情報Ｓ４を用いた符号化処理を行うため、詳細動作に関し説明する。【００３１】
ベースバンド画像データＳ３はイントラ予測部４と、動き検出部５と、減算器９に分配される。イントラ予測部４に入力されたデータは、選択部８と、加算器１３を通してデブロッキングフィルタ部１４に入力される。デブロッキングフィルタ部１４は、第１の符号化方法でブロック境界部であった画像データに対しデブロッキング処理を施す。デブロッキングフィルタ部１４の出力は再度イントラ予測部４に入力される。【００３２】
ここで、第１の符号化方法によるブロック境界部の検出方法は、画像データから直接検出する方法であってもよいし、符号化パラメータ情報Ｓ４を用いる方法であっても良い。一例として、ＭＰＥＧ−２符号化方法の場合には、ＤＣＴのブロックサイズが８×８であるため、現在の画素番号を８で除算して得られた剰余が０であれば境界であり、その他の値であれば境界ではない。【００３３】
イントラ予測部４ではデブロッキング処理された画像データを規格で定められた画面内符号化方法のうち符号化効率の良い方法を選択しイントラ予測処理を施し選択部８に入力する。また、動き検出部５に入力された画像データＳ３は画像メモリ部６に予め記録された参照画像データとの間で動き検出処理が施される。動き検出された画像データＳ３は、動き補償部７で動き補償処理を施され選択部８に入力される。選択部８は、イントラ予測のデータと動き予測のデータとのうちのどちらかのデータを選択する。選択された信号は、減算器９に入力される。ベースバンド画像データＳ３と選択部８から出力された信号との差分情報は、直交変換／量子化部１０に入力され直交変換および量子化が施される。直交変換／量子化部１０からの出力は可変長符号部１１を介して第２の符号データＳ２として出力される。【００３４】
また、直交変換および量子化されたデータは逆量子化／逆変換部１２で逆量子化および逆変換が施される。逆量子化／逆変換部１２の出力データは、加算器１３で、予測画像データと加算処理をされる。この結果得られる部分的な圧縮伸張画像データは、デブロッキングフィルタ部１４に入力される。デブロッキングフィルタ部１４では、部分的な圧縮伸張画像データが第２の符号化方法によりブロック歪が軽減される。デブロッキングフィルタ部１４の出力信号は、参照画像データとして画像メモリ部６に記憶される。【００３５】
符号化パラメータ情報Ｓ４は符号化情報生成部３に入力される。符号化情報生成部３は、入力された符号化パラメータ情報Ｓ４およびイントラ予測および動き予測のデータからデブロッキングフィルタ強度や量子化スケールを決定し、符号化回路部２の制御を行う。【００３６】
従来Ｈ．２６４ではデブロッキングフィルタ強度の決定は量子化パラメータに応じてデブロッキングフィルタのＯｎ／Ｏｆｆや強度が変更され、時にはそれにオフセットを加えて強度を変更することが可能である。これらフィルタ処理のオフセット値は符号化パラメータとして符号化データに加えられるが、本発明ではそれに加えて、ＭＰＥＧ−２方式で符号化された時のブロック境界に対し本デブロッキング処理を行うことでＭＰＥＧ−２符号化によるブロック歪を軽減させている。【００３７】
ＭＰＥＧ−２符号化方式のブロック歪を軽減させるためのデブロッキングフィルタ強度の決定は、符号化パラメータ情報Ｓ４に含まれるピクチャタイプ情報（Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｔｙｐｅ）や、マクロブロックタイプ情報（Ｍａｃｒｏｂｌｏｃｋ  Ｔｙｐｅ  Ｉｎｔｒａ）や、量子化スケール（Ｑ  Ｓｃａｌｅ）やＤＣＴタイプ情報（ＤＣＴ  Ｔｙｐｅ）を用いる。【００３８】
例えば、ピクチャタイプ情報がイントラピクチャもしくはマクロブロックタイプ情報がイントラタイプの場合にデブロッキングフィルタをＯｎにする。【００３９】
また、ＭＰＥＧ−２の量子化スケールに応じてデブロッキングフィルタ強度を変更する方法などがある。量子化が粗い場合に、量子化が細かい場合に比べて、デブロッキングフィルタの強度を強くする。【００４０】
更に、ＤＣＴタイプ情報を利用してＤＣＴタイプがフレームＤＣＴである場合には水平方向および垂直方向のデブロッキングフィルタをＯｎにし、フィールドＤＣＴである場合には水平方向のデブロッキングフィルタのみＯｎにすることもできる。【００４１】
これらのパラメータ情報の組み合わせによりデブロッキングフィルタ強度の変更やＯｎ／Ｏｆｆといった動作を行うことにより更にＭＰＥＧ−２のブロック歪の軽減効果を得ることが可能になる。【００４２】
更に、画像の複雑度を示すアクティビティ値を指標にしてデブロッキングフィルタのＯｎ／Ｏｆｆを決定することも考えられる。画像のアクティブティ値として、隣り合う画素の差を加算した値や、各画素とブロック内画素の平均値の差分の２乗和を算出して得た分散値、等のうちで、どの値が算出される構成様態のものであってもよい。【００４３】
画像のアクティビティ値を指標とする場合のデブロッキングフィルタＯｎ／Ｏｆｆの条件に関する１例を示す。隣接するブロックにおけるブロック内画素の平均値をＭ１、Ｍ２とし、前記ブロック内画素の平均値の差分をΔ１、それぞれのブロックのアクティビティ値をＡ１、Ａ２、及びブロック境界の画素値をｎｉ、ｐｉ（ｉは０からｎまでの数でｎは符号化ブロックの１辺の画素数）とし、ブロック境界の画素値の差分値をΔｄｉとし、前記ブロック境界の画素毎の差分値の平均値をΔｄとした場合、以下の式の条件によりデブロッキングフィルタのＯｎ／Ｏｆｆを決定する。
Δ１＝｜Ｍ１−Ｍ２｜
Δｄｉ＝｜ｎｉ−ｐｉ｜
Δｄ＝Σ（Δｄｉ）／ｎ【００４４】
アクティビティ値Ａ１、Ａ２の閾値をＴＨと設定し、少なくともＡ１、Ａ２のどちらか１方が閾値ＴＨより小さく、ΔｄがΔ１より大きい場合にデブロッキングフィルタをＯｎにする。【００４５】
なお、デブロッキングフィルタ部１４では、本発明による第１の符号化方法に対応したデブロッキングフィルタ処理と、Ｈ．２６４などの規格に従った第２の符号化方法によるデブロッキングフィルタ処理とを重畳的にかける。すなわち、例えば、本発明による第１の符号化方法に対応したデブロッキングフィルタ処理を行った後に、Ｈ．２６４などの規格に従った第２の符号化方法によるデブロッキングフィルタ処理をかけたり、これとは逆の順序によりこの２種類のデブロッキングフィルタ処理を行う。【００４６】
以上、１連の動作によりＭＰＥＧ−２符号化により発生したブロック歪をＨ．２６４符号化の際に低減でき、本発明により従来の問題点は解決できる。【００４７】
図４は本発明の他の一実施形態における画像再符号化装置の構成を示すものであり大きく分けて復号回路部１と符号化回路部２を備える。復号回路部１はＭＰＥＧ−２符号化画像データＳ１を復号化するために、復号化情報解析部１５と、可変長復号部１６と、逆量子化／逆変換部１７と、加算部１８と、動き補償部１９と、画像メモリ部２０と、デブロッキングフィルタ部２１とを備える。符号化回路部２は復号回路部１５の出力をＨ．２６４符号化画像データＳ２に符号化するために、符号化情報生成部３と、イントラ予測部４と、動き検出部５と、画像メモリ部６と、動き補償部７と、選択部８と、減算器９と、直交変換／量子化部１０と、可変長符号部１１と、逆量子化／逆変換部１２と、加算器１３と、デブロッキングフィルタ部１４とを備える。【００４８】
まず、復号回路部１の動作に関し図面を利用して説明する。復号化情報解析部１５は、ＭＰＥＧ−２画像データＳ１からヘッダ情報を検出する。可変長復号部１６は、ヘッダ情報に基づいて可変長データを復号し、復号結果を固定長データとして出力する。更に、復号化情報解析部１５は、ヘッダ情報からピクチャタイプ情報や量子化パラメータ情報や動きベクトル情報などの符号化パラメータ情報を抽出する。前記固定長データは逆量子化／逆変換部１７に入力され、前記量子化パラメータ情報などにより逆量子化および逆直交変換される。加算器１８は、前記ピクチャタイプ情報が当該マクロブロックがフレーム間符号化ブロックであることを示しているのであれば、動き補償部１９から出力される参照画像データを逆量子化／逆変換部１７の出力に加算する。加算器１８は、前記ピクチャタイプ情報が当該マクロブロックがフレーム内符号化ブロックであれば、逆量子化／逆変換部１７の出力をそのまま出力する。加算器１８の出力は、デブロッキングフィルタ部２１に入力される。デブロッキングフィルタ部２１は、入力した信号のブロック歪を軽減させた後、その結果をベースバンド画像データＳ５として出力する。また、前記ピクチャタイプ情報が当該ピクチャがＩピクチャまたはＰピクチャであることを示している場合には前記画像データＳ５は、参照画像データとして画像メモリ部２０に格納される。画像メモリ部２０から読み出される信号は、逆量子化／逆変換部１７から出力される信号と加算される前に、前記動きベクトル情報に応じて動き補償部１９にて動き補償される。【００４９】
デブロッキングフィルタ部２１では、図５に斜線で示すようなマクロブロック内の直交変換ブロック境界に対してブロック歪を軽減させる処理を行うものである。デブロッキングフィルタ部２１は、具体的には、ＬＰＦや線形補間処理部などである。【００５０】
本実施形態ではＨ．２６４で用いられているデブロッキングフィルタを使用することとして説明する。復号化情報解析部１５ではデブロッキングフィルタ部１４のＯｎ／Ｏｆｆ制御や強度制御のためのデブロッキングフィルタ係数情報Ｓ６を生成する。前記デブロッキングフィルタ係数情報Ｓ６としては、ピクチャタイプ情報（Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｔｙｐｅ）や、マクロブロックタイプ情報（Ｍａｃｒｏｂｌｏｃｋ  Ｔｙｐｅ  Ｉｎｔｒａ）や、量子化スケール（Ｑ  Ｓｃａｌｅ）やＤＣＴタイプ情報（ＤＣＴ  Ｔｙｐｅ）を用いる。【００５１】
例えば、ピクチャタイプ情報がイントラピクチャもしくはマクロブロックタイプ情報がイントラタイプの場合にデブロッキングフィルタをＯｎにする。【００５２】
また、ＭＰＥＧ−２の量子化スケールに応じてデブロッキングフィルタ強度を変更する方法などがある。すなわち、量子化スケールが粗い場合に、デブロッキングフィルタの強度を強くする。【００５３】
更に、ＤＣＴタイプ情報を利用してＤＣＴタイプがフレームＤＣＴである場合には水平方向および垂直方向のデブロッキングフィルタをＯｎにし、フィールドＤＣＴである場合には水平方向のデブロッキングフィルタのみＯｎにすることもできる。【００５４】
これらのパラメータ情報の組み合わせによりデブロッキングの強度が構成されている。１例としてはマクロブロック毎に８ビットの整数を用意しデブロッキング強度を０から２５５までの範囲で変化させることができるようにする。【００５５】
次に符号化回路部２の動作に関し図面を利用して説明する。ベースバンド画像データＳ５はイントラ予測部４と、動き検出部５と、減算部９に分配される。イントラ予測部４に入力されたデータは、選択部８と加算部１３を介して通してデブロッキングフィルタ部１４に入力される。デブロッキングフィルタ部１４は、Ｈ．２６４に従ったデブロッキングフィルタ処理に加え、第１の符号化方法に従って、第１の符号化方法における符号化ブロック境界部にある画像データに対しデブロッキング処理を施す。デブロッキングフィルタ部１４の出力は再度イントラ予測部４に入力される。【００５６】
デブロッキングフィルタ部１４は、Ｈ．２６４に従ったデブロッキング処理に加え、デブロッキングフィルタ係数情報Ｓ６に従い符号化ブロック境界部のデブロッキング処理を行う。【００５７】
イントラ予測部４は、デブロッキング処理された画像データを規格で定められた画面内符号化方法のうち符号化効率の良い方法を選択しイントラ予測処理を施し、処理後の信号を選択部８に出力する。また、動き検出部５に入力された画像データＳ５は、画像メモリ部６に予め格納されている参照画像データとの間で動き検出処理がされる。動き補償部７は、動き検出処理により検出された動きベクトルに従って、画像データＳ５に対して動き補償を行い、その結果得られる信号を選択部８に出力する。【００５８】
選択部８ではイントラ予測部４からの信号又は動き補償部７からの信号のうちのどちらかのデータを選択する。選択部８で選択された信号は、減算部９に入力される。ベースバンド画像データＳ５から選択部８からの信号を差し引くことにより得られた差分信号は、直交変換／量子化部１０に入力され、ここで、直交変換および量子化を施される。直交変換／量子化部１０の出力は、可変長符号部１１を介して第２の符号データＳ２として出力される。また、直交変換および量子化されたデータは逆量子化／逆変換部１２で逆量子化および逆変換を施される。加算部１３は、選択部８からの予測信号と、逆量子化／逆変換部１２からの予測誤差信号との加算処理を行い部分的な圧縮伸張画像データを生成する。デブロッキングフィルタ部１４は、加算処理により得られる信号に対し、第１の符号化処理によるブロック歪みを軽減させる処理及び第２の符号化方法によるブロック歪を軽減させる処理を行う。処理結果は、参照画像データとして画像メモリ部６に格納される。【００５９】
以上、１連の動作によりＭＰＥＧ−２符号化により発生したブロック歪をＨ．２６４符号化の際に低減でき、本発明により従来の問題点は解決できる。【００６０】
本願は、日本の特願２００７−０１１３２９（２００７年１月２２日に出願）に基づいたものであり、又、特願２００７−０１１３２９に基づくパリ条約の優先権を主張するものである。特願２００７−０１１３２９の開示内容は、特願２００７−０１１３２９を参照することにより本明細書に援用される。【００６１】
本発明の代表的な実施形態が詳細に述べられたが、様々な変更(changes)、置き換え(substitutions)及び選択(alternatives)が請求項で定義された発明の精神と範囲から逸脱することなくなされることが理解されるべきである。また、仮にクレームが出願手続きにおいて補正されたとしても、クレームされた発明の均等の範囲は維持されるものと発明者は意図する。
【産業上の利用可能性】
【００６２】
本発明は画像の再符号化に利用することができる。
【図１】
2008090793.tif 000003
【図２】
2008090793.tif 000004
【図３】
2008090793.tif 000005
【図４】
2008090793.tif 000006
【図５】
2008090793.tif 000007
【図６】
2008090793.tif 000008
【手続補正書】
【提出日】平成20年11月25日(2008.11.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を備えることを特徴とする画像再符号化方法。
【請求項１１】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１２】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１３】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１０に記載の画像再符号化方法。
【請求項１４】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１５】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１６】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップと、
を備えることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１７】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１８】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項１１に記載の画像再符号化方法。
【請求項１９】
（削除）
【請求項２０】
（削除）
【請求項２１】
（削除）
【請求項２２】
（削除）
【請求項２３】
（削除）
【請求項２４】
（削除）
【請求項２５】
（削除）
【請求項２６】
（削除）
【請求項２７】
（削除）
【請求項２８】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化装置であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリング手段と、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化する手段と、を備えることを特徴とする画像再符号化装置。
【請求項２９】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３０】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３１】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３２】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２８に記載の画像再符号化装置。
【請求項３３】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３４】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高める手段と、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高める手段と、
を備えることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３５】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段を備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３６】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出手段を持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高める手段を更に備えることを特徴とする請求項２９に記載の画像再符号化装置。
【請求項３７】
（削除）
【請求項３８】
（削除）
【請求項３９】
（削除）
【請求項４０】
（削除）
【請求項４１】
（削除）
【請求項４２】
（削除）
【請求項４３】
（削除）
【請求項４４】
（削除）
【請求項４５】
（削除）
【請求項４６】
画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法をコンピュータに行わせるための画像再符号化プログラムであって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を画像再符号化方法が備えることを特徴とする画像再符号化プログラム。
【請求項４７】
前記画像データは、ピクチャタイプ情報及びマクロブロックタイプ情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項４８】
前記画像データは、量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、量子化スケールが粗いほど、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項４９】
前記画像データは、ピクチャタイプ情報およびマクロブロックタイプ情報および量子化スケール情報を前記第１の符号化方法の符号化パラメータとして含み、ピクチャタイプがイントラピクチャである場合又はマクロブロックタイプがイントラタイプである場合、量子化スケールが粗いほど前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４６に記載の画像再符号化プログラム。
【請求項５０】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項５０に記載の画像再符号化プログラム。
【請求項５１】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフィールドタイプである場合、第１の符号化方法の水平方向のブロック境界部分の前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４７に記載の画像再符号化プログラム。
【請求項５２】
前記画像データは、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法におけるブロック境界部分に対し前記デブロッキングフィルタ強度を高めるステップと、
ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップと、
を画像再符号化方法が備えることを特徴とする請求項４７に記載の画像再符号化プログラム。
【請求項５３】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを備え、アクティビティが閾値より小さい場合、前記第１のデブロッキングフィルタ強度を高めることを特徴とする請求項４７に記載の画像再符号化プログラム。
【請求項５４】
前記第１の符号化方法は、前記直交変換ブロック毎に画像の複雑度を表すアクティビティ情報を算出するアクティビティ算出ステップを持ち、アクティビティが閾値より小さい場合において、前記画像データが、ＤＣＴタイプ情報を前記第１の符号化方法の符号化パラメータ情報として含み、ＤＣＴタイプがフレームタイプである場合、第１の符号化方法のブロック境界部分に対し前記第１のデブロッキングフィルタ強度を高め、ＤＣＴタイプがフィールドタイプである場合、前記第１の符号化方法におけるブロックの水平境界部分に対し前記第１のデブロッキングフィルタ強度を高めるステップを更に備えることを特徴とする請求項４７に記載の画像再符号化プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
プログラムを提供することを目的とする。
課題を解決するための手段
［００１１］
本発明の第１の観点によれば、画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化するステップと、を備えることを特徴とする画像再符号化方法が提供される。
［００１２］
本発明の第２の観点によれば、画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化装置であって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリング手段と、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更しつつ、第２のブロックを符号化する手段と、を備えることを特徴とする画像再符号化装置が提供される。
［００１３］
本発明の第３の観点によれば、画像データであって、第１のブロック毎に直交変換され、複数の第１の直交変換ブロックを符号化ブロック単位とする第１の符号化方法で符号化されたものを復号し、復号された画像データを第２の符号化方法で第２のブロック毎に符号化する画像再符号化方法をコンピュータに行わせるための画像再符号化プログラムであって、第２の符号化における符号化ブロック内で第１の直交変換ブロックが接するブロック境界部分にデブロッキング処理を施す第１のデブロッキングフィルタリングステップと、前記画像データを利用して前記第１のデブロッキングフィルタ強度を決定し、前記第１のデブロッキングフィルタ強度に応じて、前記第１の符号化方法の符号化ブロック境界部分に第２のデブロッキングフィルタ強度を変更し
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
つつ、第２のブロックを符号化するステップと、を画像再符号化方法が備えることを特徴とする画像再符号化プログラムが提供される。
発明の効果
［００１４］
本発明の第１の効果は、第１の符号化方法に対応した復号化方法で復号した符号化パラメータ情報を第２の符号化方法に伝送することにより、第１の符号化方法に対応した復号化方法を行う復号装置と第２の符号化方法を行う符号化装置との間にブロック歪低減手段を設ける必要が無くなる。従って、回路規模を増加させることなく、画質劣化を抑制する画像再圧縮装置を提供することができる。
［００１５］
その理由は、第２の符号化方法に配置されているデブロッキングフィルタ部に第１の符号化で発生しているブロック歪情報によりブロック歪除去フィルタ係数を加えることにより第１の符号化方法で発生したブロック歪の低減を行うことである。
［００１６］
本発明の第２の効果は、第１の復号化方法に符号化ブロック内のブロック歪除去方法を備え、第１の符号化パラメータ情報からブロック歪の発生条件とブロック境界の差分情報からデブロッキングフィルタ係数情報を出力し、第２の符号化手段で第１の符号化手段で発生した符号化ブロック間のブロック歪と第２の符号化手段で発生するブロック歪を低減させることができ、符号化パラメータ情報を全て伝送しないため、回路規模が小さく画質劣化を抑制する画像再圧縮装置を提供することができる。
［００１７］
その理由は、第１の符号化パラメータ情報を伝送する配線が削減され、第２の符号化方法に配置されているデブロッキングフィルタ部に第１符号化でデブロッキングフィルタ係数情報によりブロック歪除去フィルタ係数を修正することにより第１の符号化方法で発生したブロック歪の低減を行うことである。
図面の簡単な説明
［００１８］
［図１］本発明の第１の実施の形態のブロック図である。
［図２］符号化フレームパラメータ情報の１例である。
［図３］符号化マクロブロックパラメータ情報の１例である。
［図４］本発明の第２の実施の形態のブロック図である。
［図５］符号化ブロックと直交変換ブロックとの関係の１例である。
【国際調査報告】
2008090793.tif 000009
2008090793.tif 000010
2008090793.tif 000011
2008090793.tif 000012