(57)【要約】【課題】特徴量から複雑度を推定する場合の精度を向上する動画符号化装置を提供することである。【解決手段】動画符号化装置は、入力画像の性質を事前に解析して特徴量を計算する事前解析装置と、前記特徴量から制御パラメータを生成する制御回路と、前記制御パラメータに基づいて前記入力画像を符号化する符号化装置と、を備える。前記事前解析装置は、前記入力画像と前記入力画像のフレーム内予測による予測値との差分の分散値または前記フレーム内予測差分に基づく分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、前記入力画像と前記入力画像のフレーム間予測による予測値との差分の分散値または前記フレーム間予測差分に基づく分散値を、フレーム間予測符号化を行う画面の前記特徴量とする。【選択図】図５
2020088429.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の性質を事前に解析して特徴量を計算する事前解析装置と、
前記特徴量から制御パラメータを生成する制御回路と、
前記制御パラメータに基づいて前記入力画像を符号化する符号化装置と、
を備え、
前記事前解析装置は、
前記入力画像と前記入力画像のフレーム内予測による予測値との差分（フレーム内予測差分）の分散値または前記フレーム内予測差分に基づく分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記入力画像と前記入力画像のフレーム間予測による予測値との差分（フレーム間予測差分）の分散値または前記フレーム間予測差分に基づく分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項２】
請求項１の動画像符号化装置において、
前記フレーム内予測はＨ．２６４で用いられる輝度４×４ブロックのイントラ予測の９種類の予測のうちの一つを用いる動画像符号化装置。
【請求項３】
請求項２の動画像符号化装置において、
前記フレーム内予測は水平予測モードまたはＤＣ予測モードを用いる動画像符号化装置。
【請求項４】
請求項１の動画像符号化装置において、
前記事前解析装置は、前記フレーム間予測による前記予測値を既に入力された画像の参照画像と現在入力された画像とに基づいて算出する動画像符号化装置。
【請求項５】
請求項１の動画像符号化装置において、
前記事前解析装置は、前記フレーム間予測符号化を行う画面の前記特徴量を前記フレーム内予測差分と前記フレーム間予測差分から最適な方を選択したときの比率から、前記フレーム内予測差分の分散と前記フレーム間予測差分の分散とを組み合わせた分散値から算出する動画像符号化装置。
【請求項６】
請求項５の動画像符号化装置において、
前記事前解析装置は、前記フレーム内予測差分と前記フレーム間予測差分の小さいほうを選択し、前記フレーム内予測および前記フレーム間予測のそれぞれの予測方法について選択されたブロック数あるいは画素数をカウントし、カウントされた数の比率に応じて、フレーム全体で計算したフレーム内予測差分およびフレーム間予測差分のそれぞれの分散値に対して加重平均を計算して、前記加重平均を前記フレーム間予測符号化を行う画面の特徴量とする動画像符号化装置。
【請求項７】
請求項１の動画像符号化装置において、
前記事前解析装置は、前記フレーム間予測符号化を行う画面の前記特徴量を前記フレーム内予測差分と前記フレーム間予測差分から適応選択した値に基づいた予測差分の分散値から算出する動画像符号化装置。
【請求項８】
請求項７の動画像符号化装置において、
前記事前解析装置は、前記フレーム間予測符号化を行う画面の前記特徴量を前記フレーム内予測差分と前記フレーム間予測差分の絶対値の小さいほうの分散値から算出する動画像符号化装置。
【請求項９】
請求項１の動画像符号化装置において、
前記事前解析装置は、
前記フレーム内予測差分に誤差量を加算した値（誤差加算フレーム内予測差分）の分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記フレーム間予測差分に誤差量を加算した値（誤差加算フレーム間予測差分）に基づいて算出された分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項１０】
請求項９の動画像符号化装置において、
前記事前解析装置は、
前記フレーム間予測符号化を行う画面の前記特徴量を、前記誤差加算フレーム内予測差分と前記誤差加算フレーム間予測差分から最適な方を選択したときの比率に応じて、前記誤差加算フレーム内予測差分の分散と前記誤差加算フレーム間予測差分の分散とを組み合わせた分散値から算出する動画像符号化装置。
【請求項１１】
請求項１０の動画像符号化装置において、
前記事前解析装置は、前記誤差加算フレーム内予測差分と前記誤差加算フレーム間予測差分との小さい方を選択し、それぞれの予測方法について選択されたブロック数あるいは画素数をカウントし、カウントされた数の比率に応じて、フレーム全体で計算したフレーム内予測差分およびフレーム間予測差分のそれぞれの分散値に対して加重平均を計算して、前記加重平均を前記フレーム間予測符号化を行う画面の特徴量とする動画像符号化装置。
【請求項１２】
請求項９の動画像符号化装置において、
前記事前解析装置は、
前記フレーム間予測符号化を行う画面の前記特徴量を前記誤差加算フレーム内予測差分と前記誤差加算フレーム間予測差分から適応選択した値に基づいた予測差分の分散値から算出する動画像符号化装置。
【請求項１３】
請求項１２の動画像符号化装置において、
前記誤差加算フレーム内予測差分と前記誤差加算フレーム間予測差分との絶対値の小さい方を選択する動画像符号化装置。
【請求項１４】
入力画像の性質を事前に解析して特徴量を計算する事前解析装置と、
前記特徴量から制御パラメータを生成する制御回路と、
前記制御パラメータに基づいて前記入力画像を符号化する符号化装置と、
を備え、
前記事前解析装置は、
前記入力画像と前記入力画像のフレーム内予測による予測値との差分（第一差分）を算出するフレーム内予測差分算出器と、
前記入力画像と前記入力画像のフレーム間予測による予測値との差分（第二差分）を算出するフレーム間予測差分算出器と、
前記第一差分に基づいて分散値（第一分散値）を算出する第一分散算出器と、
前記第二差分に基づいて分散値（第二分散値）を算出する第二分散算出器と、
を備え、
前記第一分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記第二分散値または前記第二分散値に基づいて算出した分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項１５】
請求項１４の動画像符号化装置において、
前記事前解析装置は、さらに、
前記第一差分と前記第二差分の小さいほうを選択し、それぞれの予測方法について選択されたブロック数あるいは画素数をカウントする最小値選択器と、
前記カウントされた数の比率に応じて、フレーム全体で計算した前記第一分散値および前記第二分散値に対して加重平均した分散値（加重平均分散値）を出力する加重平均算出器と、
を備え、
前記加重平均分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項１６】
請求項１５の動画像符号化装置において、
前記事前解析装置は、さらに、
前記第一差分に誤差を加算した差分（第三差分）を算出する加算器と、
前記第二差分に誤差を加算した差分（第四差分）を算出する加算器と、
を備え、
前記第一分散算出器は前記第三差分の分散値（第三分散値）を算出し、
前記第二分散算出器は前記第四差分の分散値（第四分散値）を算出し、
前記最小値選択器は、前記第三差分と前記第四差分の小さいほうを選択し、それぞれの予測方法について選択されたブロック数あるいは画素数をカウントし、
前記加重平均算出器は前記カウントされた数の比率に応じて、フレーム全体で計算した前記第三分散値および前記第四分散値に対して加重平均した分散値を出力し、
前記第三分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記加重平均された分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項１７】
入力画像の性質を事前に解析して特徴量を計算する事前解析装置と、
前記特徴量から制御パラメータを生成する制御回路と、
前記制御パラメータに基づいて前記入力画像を符号化する符号化装置と、
を備え、
前記事前解析装置は、
前記入力画像と前記入力画像のフレーム内予測による予測値との差分（第一差分）を算出するフレーム内予測差分算出器と、
前記入力画像と前記入力画像のフレーム間予測による予測値との差分（第二差分）を算出するフレーム間予測差分算出器と、
前記第一差分または前記第一差分に基づいた差分と前記第二差分または前記第二差分に基づいた差分の絶対値の小さいほう（最小差分）を選択する最小値選択器と、
前記第一差分または前記最小差分の分散値を算出する分散算出器と、
を備え、
前記第一差分または前記第一差分に基づいた差分の分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記最小差分の分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【請求項１８】
請求項１７の動画像符号化装置において、
前記事前解析装置は、さらに、
前記第一差分に誤差を加算した差分（第三差分）を算出する加算器と、
前記第二差分に誤差を加算した差分（第四差分）を算出する加算器と、
を備え、
前記最小値選択器は、前記第三差分と前記第四差分の小さいほう（第二最小差分）を選択し、
前記分散算出器は、前記第三差分または前記第二最小差分の分散値を算出し、
前記第三差分の分散値を、フレーム内予測符号化を行う画面の前記特徴量とし、
前記第二最小差分の分散値を、フレーム間予測符号化を行う画面の前記特徴量とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は動画像符号化装置に関し、例えば事前解析装置を備える動画像符号化装置に適用可能である。
【背景技術】
【０００２】
特開２００３−１８５９０号公報（特許文献１）には、入力画像のみから得られる分散と動き補償付きフレーム間差分画像の分散を計算し、フレーム間予測符号化を行うピクチャでは、分散の値の小さい方を選択することが開示されている。
【０００３】
特開２００９−１８８８２６号公報（特許文献２）には、入力画像の分散とフレーム間差分分散を特徴量とし、フレーム間予測符号化を行うピクチャでは、フレーム内分散とフレーム間差分分散と乗算したものに基づいて算出する値を入力画像の画像特徴量とすることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１８５９０号公報
【特許文献２】特開２００９−１８８８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および特許文献２の何れも、フレーム内予測を使う符号化の場合、実際の符号化で使用されているフレーム内予測が考慮されておらず、特徴量と複雑度との相関が十分ではない場合があり、特徴量から複雑度を推定する場合の精度が低下することがある。また、実際の符号化ではフレーム間符号化を行うピクチャでは、フレーム内予測とフレーム間予測とを、画像を細かく分割したブロック単位に選択をしている。しかし、画像全体の値の最小値あるいは相乗平均を求めているため、フレーム内予測とフレーム間予測の選択状況が反映されておらず、実際の符号化での選択状況と異なるため、特徴量と複雑度との相関が十分ではない場合があり、特徴量から複雑度を推定する場合の精度が低下することがある。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００６】
本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、動画像符号化装置は、入力画像の性質を事前に解析して特徴量を計算する事前解析装置を備える。前記事前解析装置は、前記入力画像と前記入力画像のフレーム内予測による予測値との差分の分散値または前記フレーム内予測差分に基づく分散値を、フレーム内予測符号化を行う画面の前記特徴量とする。
【発明の効果】
【０００７】
上記動画像符号化装置によれば、特徴量から複雑度を推定する場合の精度を向上することが可能である。
【図面の簡単な説明】
【０００８】
【図１】図１は実施形態のネットワークカメラの構成を示すブロック図である。
【図２】図２は図１の動画像符号化装置の構成示すブロック図である。
【図３】図３は図２の符号化装置を説明する図である。
【図４】図４は符号化のデータ構造の例を示す図である。
【図５】図５は実施例の事前解析装置の構成を示すブロック図である。
【図６】図６はＨ．２６４で用いられている輝度４×４ブロックのイントラ予測を説明する図であり、図６（Ａ）はモード０、図６（Ｂ）はモード１、図６（Ｃ）はモード２、図６（Ｄ）はモード３、図６（Ｅ）はモード４、図６（Ｆ）はモード５、図６（Ｇ）はモード６、図６（Ｈ）はモード７、図６（Ｉ）はモード８を示す図である。
【図７】図７は図５の事前解析装置の動作を示すフローチャートである。
【図８】図８は第一変形例の事前解析装置の構成を示すブロック図である。
【図９】図９は図８の事前解析装置の動作を示すフローチャートである。
【図１０】図１０は第二変形例の事前解析装置の構成を示すブロック図である。
【図１１】図１１は図１０の事前解析装置の動作を示すフローチャートである。
【図１２】図１２は第三変形例の事前解析装置の構成を示すブロック図である。
【図１３】図１３は第四変形例の事前解析装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、実施形態、実施例および変形例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し、繰り返しの説明を省略することがある。
【００１０】
図１は実施形態のネットワークカメラの構成を示すブロック図である。このネットワークカメラ１では、入力された画像（入力画像）を動画像符号化装置１０にて符号化し、符号化されたデータ（符号化データ）は通信路２０を介し、外部に出力される。また、ネットワークカメラ１が記録装置３０を有する場合は、符号化データを記録装置３０に記録する。ここで、通常は、通信路２０の帯域や記録装置３０の容量などの制約により、ビットレートや総符号量が制限される。また、符号を一時的に蓄積して符号量を平滑化する符号バッファ４０が使用される場合、符号バッファ４０がオーバーフローあるいはアンダーフローしないように、発生符号量を制御する必要がある。
【００１１】
図２は図１の動画像符号化装置の構成示すブロック図である。動画像符号化装置１０は事前解析装置１００と制御回路１２０と符号化装置１４０とを備える。動画像の符号化を行う際に、事前解析装置１００は画像データ入力時に入力画像の性質を事前に解析し、制御回路１２０はその結果（特徴量）に応じて符号化する際の制御パラメタ（量子パラメータ）を適切に制御することで、符号化装置１４０は発生符号量などの制約を遵守しつつ、画質の劣化を抑制するような制御を行って符号化を行なう。動画像符号化装置１０は、特に入力画像の特徴量から発生符号量に関係する指標（複雑度）を推定し、符号量制御により最適な符号量の配分を行うことで、指定のビットレートの制約のもとで、符号化画質を向上させることができる。
【００１２】
図３は図２の符号化装置を説明する図である。符号化装置１４０は例えばＨ．２６４の方式の符号化装置である。入力画像のフレーム内予測とフレーム間予測の後、予測誤差を変換符号化、量子化、エントロピー符号化を行っている。ここで、フレーム内符号化を行うピクチャ（Ｉピクチャ）はフレーム内予測のみ使用するが、フレーム間符号化を行うピクチャ（Ｐ、Ｂピクチャ）は、ブロックごとにフレーム内予測またはフレーム間予測を用いるか選択が可能であり、通常は予測誤差や付加情報量が少なくなる最適な方法を選択する。符号量の制御については、主に量子化パラメータにより、粗く量子化するか細かく量子化するかで行われる。ただし粗く量子化すると画質劣化を伴うので、細かく量子化できるほうが望ましい。
【００１３】
入力画像は図示しない画像ブロック分割器によって、予めマクロブロック単位に分割されているものとする。
【００１４】
Ｉピクチャについては、分割された入力画像と入力画像ブロック周辺の局所復号画素がフレーム内予測器１４７に供給され、ここでフレーム内予測が行われる。この予測画像ブロックが選択器１４９で選択され、減算器１４１で入力画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックが変換器１４２に送られ、直交変換された後に量子化器１４３で制御回路１２０から送られる制御パラメータ（量子化パラメータ）によって量子化される。その量子化された信号は、エントロピー符号化器１４４で符号に変換されて、符号化データが出力される。一方、量子化器１４３の出力係数は、逆量子化器１４５、逆変換器１４６で局所復号されて、フレーム内予測器１４７の出力が加算器１５０で加算され、デブロックフィルタ１５１を介してブロック毎にフレームメモリ１５２に蓄えられる。
【００１５】
Ｐ及びＢピクチャについては、まず、前記Ｉピクチャと同様にフレーム内予測が行われる。さらに、分割された入力画像とフレームメモリ１５２に蓄えられた所定の局所復号画像がフレーム間予測器１４８に供給され、ここで動きベクトル検出及び動き補償が行われる。その後、選択器１４９にて、前記フレーム内予測ブロックと、前記フレーム間予測ブロックとから、最適な予測ブロックを選択し、予測画像ブロックが減算器１４１で入力画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックが変換器１４２に送られる。
【００１６】
この後はＩピクチャと同様にして、変換器１４２で差分値が直交変換され、量子化器１４３で制御回路１２０から送られる制御パラメータ（量子化パラメータ）によって量子化された後に、エントロピー符号化器１４４で符号に変換されて、符号化データが出力される。
【００１７】
一方、量子化器１４３の出力係数は、逆量子化器１４５と逆変換器１４６とで局所復号された後に、フレーム内予測器１４７またはフレーム間予測器１４８からの前記予測画像ブロックが加算器１５０によって画素毎に加算され、デブロックフィルタ１５１を介してブロック毎にフレームメモリ１５２に蓄えられる。
【００１８】
図４は符号化のデータ構造の例を示す図である。入力の動画像は連続する複数の画面（ピクチャ）から構成される。一枚の画面は、定められた方法で分割され、複数の画素から構成されるブロックに分割される。通常、このブロックが符号化の処理単位となる。ピクチャのタイプとしては、主にＩピクチャ、Ｐピクチャ、Ｂピクチャがある。Ｉピクチャは画面内のみで符号化を行う（画面内符号化）ピクチャであり、Ｐピクチャは順方向のフレーム間予測符号化を行う（順方向予測符号化）ピクチャ、Ｂピクチャは双方向のフレーム間予測符号化を行う（双方向予測符号化）ピクチャである。
【００１９】
図２の動画像符号化装置１０の事前解析装置１００においては、実際の符号化処理を行わずに、できるだけ簡単な処理で、発生符号量を推定できることが望ましいが、実際の符号化で使われている主要な処理が反映されていないと推定精度がよくならないことがある。
【００２０】
そこで、入力画像の事前解析から得られる特徴量から発生符号量に関係する指標（複雑度）の推定精度を向上させるため、動画像符号化規格の処理の一部を反映する処理を追加し、符号化方式により近づける。具体的には、フレーム内予測処理を考慮すること、フレーム内・フレーム間予測の適応選択を考慮すること、符号化時の量子化誤差を考慮すること、である。
【００２１】
実施形態の事前解析装置は、フレーム内の特徴量としてフレーム内予測差分に対して分散値を計算する。また、フレーム間予測符号化ピクチャでは、
（１）フレーム間予測差分に対して分散値を計算する、または、
（２）フレーム内予測差分とフレーム間予測差分から最適な方を選択したときの比率から、フレーム内予測差分の分散とフレーム間予測差分の分散とを組み合わせた分散値を計算する、または、
（３）フレーム内予測差分とフレーム間予測差分から適応選択した値に基づき予測差分の分散値を計算する、または、
（４）符号化時の量子化誤差を反映する誤差量を予測差分に加算し、上記（２）または上記（３）により分散値を計算する。
【００２２】
実施形態によれば、実際の符号化方式に近づくため、複雑度と相関のより高い特徴量を得ることができる。
【実施例】
【００２３】
実施例の事前解析装置について図５を用いて説明する。図５は実施例の事前解析装置の構成を示すブロック図である。図６はＨ．２６４で用いられている輝度４×４ブロックのイントラ予測を説明する図であり、灰色は符号化済の参照画素を白色は予測対象の画素を表している。図６（Ａ）はモード０（垂直予測）、図６（Ｂ）はモード１（水平予測）、図６（Ｃ）はモード２（ＤＣ予測）、図６（Ｄ）はモード３（対角左下予測）、図６（Ｅ）はモード４（対角右下予測）、図６（Ｆ）はモード５（垂直右予測）、図６（Ｇ）はモード６（水平下予測）、図６（Ｈ）はモード７（垂直左予測）、図６（Ｉ）はモード８（水平上予測）を示す図である。図７は図５の事前解析装置の動作を示すフローチャートである。
【００２４】
実施例の事前解析装置１００では、入力画像の特徴量の算出において、フレーム内予測符号化を用いるピクチャに対しては、フレーム内予測を行った予測画像と入力画像との差分画像に対して、分散を計算する。フレーム間予測符号化を用いるピクチャに対しては、フレーム間予測を行った予測画像と入力画像との差分画像に対して、分散を計算する。
【００２５】
フレーム内予測差分算出器１０１では、入力された画像に対して、フレーム内の予測値を計算し、入力画像と予測値の差分を計算して、予測差分画像を生成する。分散算出器１０２では、フレーム内予測差分画像の分散値を計算する。
【００２６】
フレーム間予測差分算出器１０３では、既に入力された画像を参照画像とし、現在入力された画像に対して、フレーム間の予測値を計算し、入力画像と予測画像の差分を計算して、予測差分画像を生成する。分散算出器１０４では、フレーム間予測差分画像の分散値を計算する。
【００２７】
選択器１０５では、フレーム内予測符号化を行うピクチャでは、フレーム内予測差分に基づく分散値を、フレーム間予測符号化を行うピクチャでは、フレーム間予測差分に基づく分散値を選択する。
【００２８】
ここで、フレーム内予測差分算出器１０１で行うフレーム内予測は、例えば動画像の符号化でＨ．２６４を使用する場合は、Ｈ．２６４で用いられている輝度４×４ブロックのイントラ予測を用いる。これは、図６に示すように、４×４のブロックごとに、近傍画素から８方向の予測と、ＤＣ予測（近傍８画素の平均値からの予測）の９種類のモードがあり、この中から最適なものを選択する。
【００２９】
ただし、最適なモードを探索するためには、すべての場合を評価しなければならず、演算量が大きいため、上記のモードのうちの一つ固定としてもよい。例えば、図６（Ｃ）のモード２（Mode2）のＤＣ予測、あるいは、図６（Ｂ）の平均値計算が不要で保存画素の少ないモード１（Mode1）の水平（Horizontal）予測を用いる。これにより、演算量を削減することが可能となる。
【００３０】
分散算出器１０２，１０４では、例えば画像を指定のブロックに区切り、ブロック内の画素値の平均値を求め、ブロック内の各画素について、平均値からの差分絶対値を累算し、ブロックの分散値とする。これを画像全体で合計したものを、画面の分散値として出力する。あるいは、画素単位に処理を実行するために、ブロック分割や平均値を算出せずに、隣接画素間差分の累積値を分散値相当の値としてもよい。
【００３１】
フレーム間予測差分算出器１０３で行うフレーム間予測は、実際の符号化で行われる動き補償フレーム間予測を行うことができる。ただし、最適なフレーム間予測を行うためには演算量が大きいため、参照画像そのものを予測画像とする。
【００３２】
次に、実施例の事前解析装置の動作について図７を用いて説明する。  
フレーム内予測差分算出器１０１は、画像が入力されると、入力画像のフレーム内予測を行い、予測値を計算する（ステップＳ１）。その後、フレーム内予測差分算出器１０１は、入力画像とフレーム内予測値の差分を計算する（ステップＳ２）。そして、分散算出器１０２はフレーム内予測差分画像の分散値を計算する（ステップＳ３）。
【００３３】
また、フレーム間予測差分算出器１０３は、入力画像と入力画像に対応する参照画像を用いて、フレーム間予測を行い、予測値を計算する（ステップＳ４）。その後、フレーム間予測差分算出器１０３は入力画像と前記フレーム間予測値の差分を計算する（ステップＳ５）。そして、分散算出器１０４はフレーム間予測差分画像の分散値を計算する（ステップＳ６）。
【００３４】
最後に、選択器１０５は入力画像がフレーム間符号化される画像か否かを判断し（ステップＳ７）、フレーム内符号化される画像であれば（ＮＯの場合）、フレーム内予測に基づく分散値を選択して特徴量として出力し（ステップＳ８）、フレーム間符号化される画像であれば（ＹＥＳの場合）、フレーム間予測に基づく分散値を選択して特徴量として出力する（ステップＳ９）。
【００３５】
本実施例では、フレーム内予測符号化行うピクチャに対する特徴量の算出において、入力画像そのものではなく、フレーム内予測を行った予測差分画像に対して分散を計算する特徴を有する。これにより、実際の符号化方式と同様に、周辺の近接画素との相関を利用した方式を実施することができ、入力画像そのものを符号化する場合より実際の符号化方式と同様に情報量を削減する効果を反映することができる。その結果、フレーム内符号化を行う場合には、符号化される情報はフレーム内予測差分情報であるため、入力画像そのものの分散値より、予測差分画像の分散値は複雑度と相関が高くなり、この分散値から複雑度を推定する場合の精度の向上が可能となる。
【００３６】
＜変形例＞
以下、実施例の代表的な変形例について、幾つか例示する。以下の変形例の説明において、上述の実施例にて説明されているものと同様の構成および機能を有する部分に対しては、上述の実施例と同様の符号が用いられ得るものとする。そして、かかる部分の説明については、技術的に矛盾しない範囲内において、上述の実施例における説明が適宜援用され得るものとする。また、上述の実施例の一部、および、複数の変形例の全部または一部が、技術的に矛盾しない範囲内において、適宜、複合的に適用され得る。
【００３７】
（第一変形例）
第一変形例の事前解析装置について図８を用いて説明する。図８は第一変形例の事前解析装置の構成を示すブロック図である。図９は図８の事前解析装置の動作を示すフローチャートである。
【００３８】
第一変形例の事前解析装置１００Ａでは、フレーム内予測符号化を用いるピクチャに対しては、第一実施例と同様に分散値を計算する。フレーム間予測符号化を用いるピクチャに対しては、フレーム内予測誤差とフレーム間予測誤差量から最適な方を選択したときの比率から、フレーム内予測差分の分散とフレーム間予測差分の分散とを組み合わせた分散値を計算する。
【００３９】
フレーム間予測符号化を行うピクチャに対しては、最小値選択器１０６は、フレーム内予測差分算出器１０１で計算したブロックごと、または、画素ごとにフレーム内予測差分とフレーム間予測差分算出器１０３で計算したフレーム間予測差分とを比べて、差分の小さいほうを選択し、それぞれの予測方法について選択されたブロック数あるいは画素数をカウントする。荷重平均算出器１０７は、カウントされた数の比率に応じて、フレーム全体で計算したフレーム内予測差分およびフレーム間予測差分のそれぞれの分散値に対して加重平均を計算して、その結果を特徴量とする。
【００４０】
第一変形例の事前解析装置の動作について図９を用いて説明する。  
フレーム内予測差分算出器１０１は、画像が入力されると、ブロックまたは画素を処理単位とし、処理単位ごとに、入力画像のフレーム内予測を行い、予測値を計算する（ステップＳ１）。その後、フレーム内予測差分算出器１０１は、処理単位ごとに、入力画像とフレーム内予測値の差分を計算する（ステップＳ２）。そして、分散算出器１０２は処理単位ごとに、フレーム内予測差分画像の分散値を計算し、画像内で累算する（ステップＳ３）。
【００４１】
次に、入力画像がフレーム間予測符号化ピクチャか判定する（ステップＳ１０）。ステップＳ１０でフレーム間予測符号化ピクチャでなければ（ＮＯの場合）、ステップＳ１４に移る。ステップＳ１０でフレーム間予測符号化ピクチャであれば（ＹＥＳの場合）、フレーム間予測差分算出器１０３は、入力画像と入力画像に対応する参照画像を用いて、処理単位ごとに、フレーム間予測を行い、予測値を計算する（ステップＳ４）。その後、フレーム間予測差分算出器１０３は処理単位ごとに、入力画像とフレーム間予測値の差分を計算する（ステップＳ５）。そして、分散算出器１０４は処理単位ごとに、フレーム間予測差分画像の分散値を計算し、画像内で累算する（ステップＳ６）。
【００４２】
ここで、最小値選択器１０６は、ステップＳ２、Ｓ５で計算した予測差分の小さいほうを判定し（ステップＳ１１）、フレーム内予測差分が小さければ、フレーム内予測選択のカウンタをインクリメントし（ステップＳ１２）、そうでなければ、フレーム間予測選択のカウンタをインクリメントする（ステップＳ１３）。
【００４３】
これらの処理を１フレーム行ったかを判定し（ステップＳ１４）、１フレーム終了したら（ＹＥＳの場合）、入力画像がフレーム間予測符号化ピクチャか判定し（ステップＳ１５）、１フレーム終了していなければ（ＮＯの場合）、ステップＳ１に戻る。ステップＳ１５でフレーム内予測符号化される画像であれば（ＮＯの場合）、フレーム内予測に基づく分散値を選択して特徴量として出力する（ステップＳ８）。ステップＳ１５でフレーム間予測符号化される画像であれば（ＹＥＳの場合）、ステップＳ１１で判定されたフレーム内予測とフレーム間予測の選択比率に応じて、ステップＳ１２，Ｓ１３でカウントした選択数を利用し、フレーム内予測差分の分散とフレーム間予測差分の分散の加重平均値を計算し、特徴量として出力する（ステップＳ１６）。なお、処理の単位が画素単位の場合、分散の計算は隣接画素間差分累積とする。
【００４４】
実際の符号化では、フレーム間予測符号化するピクチャでは、フレーム内予測も評価し、ブロックごとにフレーム内予測を用いるかフレーム間予測を用いるかを選択している。そのため、本変形例ではフレーム内予測、フレーム間予測の選択比率を考慮して、解析に利用する分散値を計算することで、実際の符号化での選択状態に近づけられるため、特徴量と複雑度の相関を上げることが可能となる。
【００４５】
（第二変形例）
第二変形例の事前解析装置について図１０、１１を用いて説明する。図１０は第二変形例の事前解析装置の構成を示すブロック図である。図１１は図１０の事前解析装置の動作を示すフローチャートである。
【００４６】
第二変形例の事前解析装置１００Ｂでは、フレーム内予測符号化を用いるピクチャに対しては、実施例と同様に分散値を計算する。フレーム間予測符号化を用いるピクチャに対しては、第一変形例とは異なりフレーム内予測差分とフレーム間予測差分から適応選択した値に基づき予測差分の分散値を計算する。
【００４７】
フレーム間予測符号化を行うピクチャに対しては、最小値選択器１０８はフレーム内予測差分算出器１０１で計算した画面を分割したブロックごと、あるいは、画素ごとにフレーム内予測差分とフレーム間予測差分の絶対値の小さいほうを選択する。第一実施例のような選択の仕組みがない方式より、実際の符号化での選択状態に近づけられるため、特徴量と複雑度の相関を上げることが可能となる。なお、加重平均算出器がなく、分散算出器も一つのみであるので、第一変形例よりもハードウェア量を削減することができる。
【００４８】
第二変形例の事前解析装置の動作について図１１を用いて説明する。
【００４９】
フレーム内予測差分算出器１０１は、画像が入力されると、ブロックあるいは画素を処理単位とし、処理単位ごとに、入力画像のフレーム内予測を行い、予測値を計算する（ステップＳ１）。その後、フレーム内予測差分算出器１０１は、処理単位ごとに、入力画像とフレーム内予測値の差分を計算する（ステップＳ２）。
【００５０】
次に、入力画像がフレーム間予測符号化ピクチャか判定する（ステップＳ１０）。フレーム間予測符号化ピクチャでなければ（ＮＯの場合）、ステップＳ２０に移る。フレーム間予測符号化ピクチャであれば（ＹＥＳの場合）、フレーム間予測差分算出器１０３は、入力画像と入力画像に対応する参照画像を用いて、処理単位ごとにフレーム間予測を行い、予測値を計算する（ステップＳ４）。その後、フレーム間予測差分算出器１０３は、処理単位ごとに、入力画像とフレーム間予測値の差分を計算する（ステップＳ５）。
【００５１】
ここで、ステップＳ２，Ｓ５で計算した予測差分のうちフレーム内予測差分が小さいかどうかを判定し（ステップＳ１１）、フレーム内予測差分が小さければ（ＹＥＳの場合）、フレーム内予測差分を予測差分値として選択する（ステップＳ２０）。そうでなければ（ＮＯの場合）、フレーム間予測差分を予測差分値として選択する（ステップＳ２１）。ステップＳ１０でフレーム内予測符号化ピクチャと判定した場合も、フレーム内予測差分を予測差分値として選択する（ステップＳ２０）。
【００５２】
そして、分散算出器１０２は処理単位ごとに、前記選択された予測差分値による予測差分画像の分散値を計算し、画像内で累算する（ステップＳ２２）。
【００５３】
これらの処理を１フレーム行ったかを判定し（ステップＳ１４）、１フレーム終了していなければ（ＮＯの場合）、ステップＳ１に戻る。１フレーム終了したら（ＹＥＳの場合）、ステップＳ２２で計算した処理単位ごとの分散値の累算値を特徴量として出力する（ステップＳ２３）。なお、処理の単位は画素単位でもよい。その場合、分散の計算は隣接画素間差分累積とする。
【００５４】
（第三変形例）
第三変形例の事前解析装置について図１２を用いて説明する。図１２は第三変形例の事前解析装置の構成を示すブロック図である。
【００５５】
第三変形例の事前解析装置１００Ｃでは、フレーム内予測符号化を用いるピクチャに対しては、フレーム内予測差分に加算器１０９によって誤差量を加算し、実施例と同様に分散値を計算する。フレーム間予測符号化を用いるピクチャに対しては、フレーム間予測差分に加算器１１０によって誤差量を加算し、第一変形例と同様にフレーム内予測誤差とフレーム間予測誤差量から最適な方を選択したときの比率から、フレーム内予測差分の分散とフレーム間予測差分の分散とを組み合わせた分散値を計算する。加算する誤差量は絶対値が大きくなる方向に加算する。
【００５６】
実際の符号化では、予測に使う周辺画素や参照画像については、符号化結果を使っているため、量子化誤差が含まれている。この量子化誤差の影響を考慮することで、予測差分の値の精度や、フレーム内とフレーム間の符号化誤差の特性の違いを反映することができ、フレーム内とフレーム間の選択比率をより正確に推定できるようになる。その結果、算出する特徴量と複雑度の相関を上げることが可能となる。
【００５７】
（第四変形例）
第四変形例の事前解析装置について図１３を用いて説明する。図１３は第四変形例の事前解析装置の構成を示すブロック図である。
【００５８】
第四変形例の事前解析装置１００Ｄは第三実施例と第四実施例を組み合わせたものであり、フレーム内予測符号化を用いるピクチャに対しては、第四実施例と同様にフレーム内予測差分に加算器１０９によって誤差量を加算し、第三実施例と同様に分散値を計算する。フレーム間予測符号化を用いるピクチャに対しては、第四実施例と同様にフレーム間予測差分に加算器１１０によって誤差量を加算し、第三実施例と同様にフレーム内予測差分とフレーム間予測差分から適応選択した値に基づき予測差分の分散値を計算する。加算する誤差量は絶対値が大きくなる方向に加算する。
【００５９】
実際の符号化では、予測に使う参照画素、参照画像については、符号化結果を使っているため、量子化誤差が含まれている。この量子化誤差の影響を考慮することで、予測差分の値の精度や、フレーム内とフレーム間の符号化誤差の特性の違いを反映することができ、フレーム内とフレーム間の選択をより実際の符号化近づけることができるようになる。その結果、算出する特徴量と複雑度の相関を上げることが可能となる。
【００６０】
以上、本発明者によってなされた発明を実施形態、実施例および変形例に基づき具体的に説明したが、本発明は、上記実施形態、実施例および変形例に限定されるものではなく、種々変更可能であることはいうまでもない。
【符号の説明】
【００６１】
１０・・・動画像符号化装置
１００・・・事前解析装置
１０１・・・フレーム内予測差分算出器
１０２・・・分散算出器
１０３・・・フレーム間予測差分算出器
１０４・・・分散算出器
１０５・・・選択器
１２０・・・制御回路
１４０・・・符号化装置
【図１】
2020088429.tif 000003
【図２】
2020088429.tif 000004
【図３】
2020088429.tif 000005
【図４】
2020088429.tif 000006
【図５】
2020088429.tif 000007
【図６】
2020088429.tif 000008
【図７】
2020088429.tif 000009
【図８】
2020088429.tif 000010
【図９】
2020088429.tif 000011
【図１０】
2020088429.tif 000012
【図１１】
2020088429.tif 000013
【図１２】
2020088429.tif 000014
【図１３】
2020088429.tif 000015