(57)【要約】【課題】  デコーダの品質を短期間で効率的に高めることが可能になるような有用な統計データを提供する。【解決手段】  動画復号化装置は、所定の動画符号化方式にしたがって符号化された動画符号を復号化するデコーダと、前記デコーダの復号化を処理単位毎に評価してこの評価結果を数値化した動画評価値を生成してこの動画評価値を前記処理単位毎に統計処理して出力する動画評価手段とを備え、前記動画評価手段は、前記デコーダの復号化処理を評価するデコーダ評価機能を有する。動画復号化方法は、所定の動画符号化規格に基づいて符号化された動画符号を復号化し、前記動画符号を復号化した結果を評価する動画評価方法を前記動画符号に付加し、付加された前記動画評価方法を用いて復号化の処理単位毎に評価し、この評価の結果を数値化した動画評価値を生成する。【選択図】  図１
2005159393.tif 000002
【特許請求の範囲】
【請求項１】
所定の動画符号化方式にしたがって符号化された動画符号を復号化するデコーダと、前記デコーダの復号化を処理単位毎に評価してこの評価結果を数値化した動画評価値を生成してこの動画評価値を前記処理単位毎に統計処理して出力する動画評価手段と、を備え、
前記動画評価手段は、前記デコーダの復号化処理を評価するデコーダ評価機能を有することを特徴とする動画復号化装置。
【請求項２】
前記動画評価手段は、前記デコーダによる動画符号の復号化時に使用された復号化の処理単位毎に復号化を評価して評価結果を前記動画評価値として出力する動画評価部と、前記復号化の処理単位の評価結果毎に復号化時における前記動画評価値と関連付けて前記処理単位における処理内容を示す処理単位情報を記録する処理単位記録部と、前記動画評価部より出力された前記動画評価値と前記処理単位記録部より出力された前記処理単位情報とに基づいて所定の統計方法の指定にしたがって処理単位統計情報を出力する処理単位統計出力部と、を備えることを特徴とする請求項１に記載の動画復号化装置。
【請求項３】
統計的演算の方法を外部から指定する統計方法指定部と、前記処理単位記録部に記録されて復号化時に使用された前記処理単位情報を前記統計方法指定部に入力された統計的演算の方法を用いて前記動画評価値と前記処理単位情報との相関関係を示す統計情報に変換する処理単位統計部と、をさらにを備えることを特徴とする請求項２に記載の動画復号化装置。
【請求項４】
情報の出力方法を外部から指定する出力方法指定部と、前記処理単位記録部に記録された前記処理単位情報および前記処理単位統計部により得られた統計情報を前記出力方法指定部により指定された前記情報出力方法を用いて外部に出力する処理単位統計出力部と、をさらに備えることを特徴とする請求項２または請求項３に記載の動画復号化装置。
【請求項５】
所定の動画符号化規格に基づいて符号化された動画符号を復号化し、前記動画符号を復号化した結果を評価する動画評価方法を前記動画符号に付加し、付加された前記動画評価方法を用いて復号化の処理単位毎に評価し、この評価の結果を数値化した動画評価値を生成することを特徴とする動画復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関連する動画復号化装置および方法に係り、特に画像データ符号化規格に準拠した画像符号デコーダに使用される動画復号化装置および方法に関するものである。
【背景技術】
【０００２】
画像処理符号化規格には種々のものがあるが、何らかの画像処理符号化規格に基づいて符号化（エンコード）された画像の符号データを復号化（デコード）する復号化システム（デコーダ）にとって、そのデコード結果を美しくするか、もしくはエンコードされる以前の状態に可能な限り近づけることは、デコーダとしての品質を向上させるための最も重要な条件の１つである。
【０００３】
本発明は、デコーダ自身がデコード結果に関する有用な情報をデコーダ開発者に提供することにより、高品質なデコーダの効率的な開発を可能にすると共に、実用段階からの改良、実用段階においてデコーダに与えられると想定される符号データや、有線もしくは無線ネットワークなどの実用場面でのデータ伝送環境に応じた性能強化をも容易にするデコーダである。
【０００４】
優れたデコーダを開発するために開発者達は、デコーダがデコード結果として高品質の画像データを生成し得るかどうかについて、開発の間に頻繁かつ詳細に検証しなければならない。そのため、何らかのエンコードされた符号データを開発中のデコーダにデコードさせた結果を常に検査することが必要である。
【０００５】
この検査を効果的に行なえるようにした技術が、特許文献１に記載されている。開発中のデコーダによるデコード結果をすばやく表示することにより、そのデコーダのデコード能力をすばやく検証し、多くの時間をかけずに優れたデコードパラメータの設定、および優れたデコーダプログラムの生成が可能になった。
【０００６】
また、あるシステムの稼働中に、このシステムからのビデオ信号の画像品質を実時間で分析するようにしたものが、特許文献２である。さらに、圧縮画像を伸張した画像の画質が原画像と比較してどの程度劣化しているかを定量的に評価する画質評価装置として、引用文献３に記載されたものがある。
【特許文献１】特開２００２−２８７９６３号公報
【特許文献２】特開２０００−０９２５２２号公報
【特許文献３】特開平０８−１９５８８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１に記載の「画像処理プログラム作成方法および画像処理装置」を用いて行なった実際の画像処理装置の開発は、その処理内容が複雑化し、処理に際して考慮しなければならない要素が増大すればするほど多くの困難を伴うことになるという問題がある。ここで、一例としてＭＰＥＧ−４のような動画符号化規格に準拠したデコーダを考える。ＭＰＥＧ−４では、多種多様なパラメータや可変なデータ構造、フレーム間処理、データ伝送時に生じる符号誤りの訂正等、デコード処理において複雑かつ多岐にわたる算術的演算や条件分岐を行なうことが要求される。
【０００８】
しかも、これらの算術的演算や分岐処理は、一連の動画処理の際に同時に行なわれる。したがって、この一連の動画処理の際にエラーが発生した場合や、出力されたデコード結果が望ましい品質に達していない場合には、処理系のどの部分が欠陥を含んでいるのかを特定することが非常に難しいため、その修正のためには、多大な時間と労力を消費してしまうという問題がある。
【０００９】
一方、各々の処理を単体で検証することも、１つの処理の是非はその処理に組み合わされる多数の別処理の内容と密接に関係するため困難であるという問題がある。単体での処理に関する全ての組み合わせを検証し尽くすことは事実上不可能であり、現実的な検証項目数になるよう検証方法を工夫することになるが、それでも検証のために費やすことのできる時間やコストが増大しがちであることには変わりがない。
【００１０】
一方、社会のネットワーク化が急速に進行するにつれて動画技術の実用化・汎用化への要請も高くなると同時に企業競争は激化しており、動画処理システムに費やせる時間とコストの制約はますます厳しくなっている。競争の優位を確保するため、高品質のデコーダを迅速かつ低コストで開発するシステムが求められている。
【００１１】
本発明は上記課題に鑑みてなされたものであり、デコーダの品質を短期間で効率的に高めることが可能になるような有用な統計データを提供できる動画復号化装置および方法を提供することを目的とする。品質向上が短期間に行なわれれば、製品化可能な品質に到達する期間を短縮させて製品化を早めることも、また同一の開発期間でより高品質なデコーダを開発することも可能になる。既存のデコーダの品質改善も短期間で行なえるようになる。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の第１の基本構成に係る動画復号化装置は、所定の動画符号化方式にしたがって符号化された動画符号を復号化するデコーダと、前記デコーダの復号化を処理単位毎に評価してこの評価結果を数値化した動画評価値を生成してこの動画評価値を前記処理単位毎に統計処理して出力する動画評価手段とを備え、前記動画評価手段は、前記デコーダの復号化処理を評価するデコーダ評価機能を有することを特徴とする。
【００１３】
また、本発明の第２の基本構成に係る動画復号化方法は、所定の動画符号化規格に基づいて符号化された動画符号を復号化し、前記動画符号を復号化した結果を評価する動画評価方法を前記動画符号に付加し、付加された前記動画評価方法を用いて復号化の処理単位毎に評価し、この評価の結果を数値化した動画評価値を生成することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、動画復号化装置の開発中においても、また、実用化後においても、デコーダの品質を短期間で効率的に向上させることができると共に、品質向上を図る場合において改良すべき最も重要な機能を容易に特定することができる動画復号化装置および方法を得ることができる。また、短期間の品質向上により製品開発期間の短縮化を図ることができると共に、同一の開発期間での高品質なデコーダの開発を可能とし、既存のデコーダの品質改善も短期間で行なうことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る動画復号化装置および方法の実施形態について、添付図面を参照しながら詳細に説明する。
【第１実施形態】
【００１６】
まず、本発明の第１の基本構成としての第１実施形態に係る動画復号化装置の構成について、図１を参照しながら説明する。図１のブロック図において、第１実施形態に係る動画復号化装置は、所定の動画符号化方式にしたがって符号化された動画符号を復号化するデコーダ１と、このデコーダ１の復号化を処理単位毎に評価してこの評価結果を数値化した動画評価値を生成してこの動画評価値を前記処理単位毎に統計処理して出力する動画評価手段１０とを備え、動画評価手段１０は、前記デコーダの復号化処理を評価するデコーダ評価機能を有している。
【００１７】
図１において、動画評価手段１０は、入力された動画像データとデコーダ１より出力された復号データとに基づいて復号結果を評価する動画評価部２と、復号データの処理単位を記録する処理単位記録部３と、動画評価部２と処理単位記録部３との出力に基づいて指定された統計方法により処理単位の統計を求める処理単位統計部４と、処理単位統計部４の統計方法を指定する統計方法指定部５と、処理単位統計部４により求められた統計値を指定された出力方法により出力する処理単位統計出力部６と、処理単位統計出力部６の出力方法を指定する出力方法指定部７と、を備えている。
【００１８】
図１に示す第１の基本基本構成に基づく動作として第２の基本構成による動画復号方法がある。本発明の第２の基本構成に係る動画復号化方法は、所定の動画符号化規格に基づいて符号化された動画符号を復号化し、前記動画符号を復号化した結果を評価する動画評価方法を前記動画符号に付加し、付加された前記動画評価方法を用いて復号化の処理単位毎に評価し、この評価の結果を数値化した動画評価値を生成している。
【第２実施形態】
【００１９】
次に、第２実施形態に係る動画復号化装置および方法について説明する。本発明の第１実施形態におけるデコード機能が初期開発段階であり、動画像をエンコードした符号データの一部に対するデコード処理はできるものの、デコード結果の品質は充分に高められていない、という段階で適用される本発明の第２実施形態について説明する。図２は本発明の第２実施形態の基本構成例を示し、図３は図２における処理動作の流れの概要を示している。
【００２０】
図１の第１実施形態に係る動画復号化装置との相違点は、デコーダ部１の前段に符号入力部８が設けられ、動画評価部２の前段に動画入力部９が設けられ、デコーダ部１の出力側に動画出力部１１が設けられている点である。
【００２１】
デコーダ部１は、符号入力部８から入力される、所定の動画符号化規格に基づいて動画像をエンコードした符号データをデコードする（ステップＳ１）。デコード処理の際、デコード結果となる動画像は動画評価部２に送信されると共に、デコーダ部１の内部の処理単位ごとに、各処理単位において行なわれた処理の内容に関する情報を処理単位記憶部３に送信する。デコーダ部１の内部の処理単位は、この時点で予めその処理内容に応じて的確に区分されていると同時に、処理単位毎の処理の過程および結果を伝達する情報を提供する機能を有している。処理内容の区分方法、および処理の過程および結果の具体的な内容は、開発者が本発明を開発する段階に応じて的確に規定されている。
【００２２】
動画評価部２は、デコーダ部１から送信された動画像を受け取り、その品質を評価し、品質劣化度として数値化する（ステップＳ２）。動画評価部２は品質評価の際、デコードされた動画像のもとの動画像、もしくは、すでに存在する高品質の別のデコーダによってデコーダ部１に与えられたのと同一の符号データをデコードした結果となる動画像を動画入力部９から獲得し、デコーダ部１から送信された動画との比較に用いることができる。この動画評価部２は、本発明にあって、デコード機能の開発状況に応じた方法によって動画像を評価する外部から付加された装置である。一方、処理単位記録部３は、デコーダ部１から送信された処理単位ごとの処理内容情報をすべて記録する（ステップＳ３）。
【００２３】
数値化された品質評価結果と、処理内容情報は、デコード処理されることによって該品質評価結果と処理内容情報をもたらした符号データを特定する情報とともに処理単位統計部４に送信される。以上の動作が、多数の符号データに対して行なわれ、それによって処理単位統計部４は、多数の評価結果と処理内容情報を、各々対応する符号データの情報とともに蓄積する（ステップＳ４）。多数の符号データをすべてデコードした後（ステップＳ５）、処理単位統計部４は、統計方法指定部５により指定された方法を用いて蓄積された情報を統計処理し、分析結果を処理単位統計出力部６に送信する（ステップＳ６）。処理単位統計出力部６は、出力方法指定部７によって指定された出力方法を用いて、分析結果を外部の表示装置や記憶装置に出力する（ステップＳ７）。開発者は出力結果を見て、デコード機能の品質向上のためにもっとも優先すべきデコーダ部１の改善点を特定し、それを改良する（ステップＳ８）。開発者は、以上の一連の作業を繰り返し行なうことによって、動画復号化装置を漸進的に改良することができる。ここで統計結果は、デコードさせた符号データの量が多ければ多いほど信頼性が増すため、本発明のような繰り返しを行なうことが有効である。
【００２４】
以下に各部分の詳細を示す。図４は、動画評価部２の内部の構成例である。この例では、動画評価部２はデコードされた動画像中の画像１枚毎に、もとの画像との差分の大きさを表す数値と、そこで生じている誤差の特徴を数値に換算した評価値を計算し、それらを動画像の全体を通じて積算することによって画像の評価を行なう。積算結果は誤差の大きさを表す数値であり、数値が大きいほどデコード結果の品質が低いことを表す。参照画像記憶部２１は、図２の動画入力部９から入力された動画像中の画像１枚分を参照画像として記憶する。評価画像記憶部２２は、図１のデコーダ部１によってデコードされ、入力された動画像中の画像１枚分を評価画像として記憶する。同期部２３は、参照画像記憶部２１と評価画像記憶部２２に動画像中の同じタイミングの画像が常時記憶されるよう、両者と通信して同期を行なう。
【００２５】
誤差積算部２４は、参照画像と評価画像の各点において、同一の位置に存在する２つの点の色を表す数値の差分を計算し、すべての差分を積算することによって２枚の画像の食い違いの大きさを計算する。デコーダ部１でのデコード処理が好ましく行なわれていれば、動画像中の同じタイミングの２枚の画像は常に同一か、もしくはきわめて似通った画像となるはずであり、したがって両者の差分が皆無に近いほど、その画像のデコード品質は高い。ここに、誤差積算部２４が計算する画像の各点の誤差を、各点の各々の色成分について２点の数値の差を２乗したものの総和とし、画像全体の誤差を各点の誤差の総和としているものとする。
【００２６】
この値を動画像中のすべての画像に対して計算することにより、動画像全体の誤差を示す数値が求められることになる。ここで、誤差積算部２４が計算する動画像全体の誤差を動画像中の画像の誤差の総和とする。誤差積算部２４により、動画像全体の誤差を表す数値が計算され、この数値がゼロもしくはゼロに近い場合にはデコード結果の品質は高く、また数値が大きくなるにつれて品質は低いことになる。
【００２７】
他方、ブロック差分評価部２５は、単純な誤差の度合ではなく、誤差の出現傾向に関する統計を行なう。ここでは例としてブロックノイズの検出を行なうものとする。例えばＭＰＥＧ−４では、ブロックと呼ばれる画像中の矩形領域を１つの単位としてデータ処理を行なう。このためデコーダが誤った処理を行なった場合や、伝送路において生じた符号誤りによって符号データが変化した場合、デコードされた画像中の一部のブロックのみ周囲と大きく異なるイメージで表示されることがある。
【００２８】
このような現象をブロックノイズと呼ぶ。ＭＰＥＧ−４用デコーダがブロックノイズの出現を極力抑えるためには、デコーダが正しい処理を行なうことはもちろん、符号データの符号誤りが生じて一部のブロックを正しく表示することが不可能な場合でも、周囲との同化処理を行なうなどしてブロックノイズを目立たないようにしなければならない。デコーダがこのような処理に失敗し、ブロックノイズが多く発生すると、動画像の品質が目立って低下するため、ブロックノイズを特に重要な品質項目として統計処理を行なうことは重要である。
【００２９】
このためブロック差分評価部２５は、評価画像中の一部のブロックのみ参照画像における同一ブロックとの誤差が著しく大きいケースをブロックノイズとみなし、動画像中のブロックノイズの数を特定する。図５にブロックノイズが特定される例を示す。参照画像例２５１、評価画像例２５２、差分評価結果例２５３における水平および垂直の罫線は、画像を構成しているブロックの境界を示す。参照画像記憶部２１に記憶されている参照画像例２５１と、評価画像記憶部２２に記憶されている評価画像例２５２のブロック毎の差分を評価すると、差分評価結果例２５３にて斜線で示される２箇所のブロックにおいて、他の多くのブロックに比べて差分が特に大きくなっていることが判明する。これは、ブロックごとの差分評価値が既定された値を超えているかどうかを判定することで特定される。この結果、ブロック差分評価部２５は、評価画像例２５２のブロックノイズの数を数えるか、またはブロックノイズが画質に及ぼす影響を数値化する。
【００３０】
総合評価部２６は、誤差積算部２４とブロック差分評価部２５で算出された数値から、デコード結果を総合評価して品質劣化度とし、そのとき処理された符号データへの参照情報とともに処理単位統計部４へ送信する。このとき、ブロック差分評価部２５での評価結果を特に重視して総合評価に加えれば、ブロックノイズをより優先して解消する方向でデコード機能の開発を進めることができる。
【００３１】
また、誤差積算部２４とブロック差分評価部２５の評価結果をともに処理単位統計部４へ送信し、統計処理することにより、品質劣化の傾向と処理過程との相関関係を調べることにより、品質改善のためのより多くのヒントを得ることができる。
【００３２】
図６は、図２において処理単位記録部３に記録される、処理単位ごとの処理内容を表形式のデータ構造によって記録した例である。ここでは、処理が行なわれた順に表の上から下に向かって記録されているものとする。またこの中で、デコーダ部１の内部処理の区分や、記録すべき変数などの決定は、開発段階、分析しようとしている内容、評価値の性質等を勘案した上で、開発者によって適切に決定され、それらに関する記録機能がデコーダ部１の内部に実装されているものとする。
【００３３】
表中３１の縦軸は、処理を行なったデコーダ部１の内部の処理単位の名前が記述され、処理単位ごとの処理頻度、分岐の傾向等の情報を残すようにしている。３２の縦軸は、ある時刻（例えば処理開始時刻）を基準とした、各々の処理が終了した時刻を表すタイムスタンプであり、各処理単位に費やされた処理時間の長さの傾向や、各処理単位の処理タイミングの情報を残す。３３、３４、３５の縦軸は、デコーダ部１の内部で変数として利用されている記憶装置の、各処理が終了した時点での状態を示し、変数ごとの値の分布、変数ごとの相関、遷移傾向等の情報を残す。これらは統計処理時、デコード結果が大きく品質を損ねた際の処理の傾向や、処理状態とデコード品質の相関等の調査に有効に利用することができる。
【００３４】
図７は、図２において、処理単位統計部４にてデコード結果の統計を行ない、処理単位統計出力部６にて出力を行なった結果を示す表の一例である。どの処理単位に関するどの統計データを計算の対象にするかは、開発者が統計方法指定部５を用いて指定する。また出力すべきデータの選択や表示形式の決定は、開発者が出力方法指定部７を用いて指定する。これらについても、開発段階、分析しようとしている内容、評価値の性質等を勘案した上で、開発者によって適切に決定されている。
【００３５】
表中４１の縦軸は、動画評価部２の評価結果を３つの数値領域に分け、実行された各々のデコード結果の統計をその品質毎に３分類して行ない、その結果を表示していることを意味する。３つの数値領域の区分法についても、開発者によって適切に定義されているものとする。４２、４４、４６の縦軸は、処理単位Ａ、Ｂ、Ｃにおける処理が行なわれた通算の回数を示す。４３，４５，４７の縦軸は、処理単位Ａ、Ｂ、Ｃにおける所要時間の平均を示すもので、これは各処理単位における通算所要時間を通算処理回数で割ったものである。
【００３６】
図７によれば、動画像の品質の劣化と、Ｂの平均時間、Ｃの回数、Ｃの平均時間に有意な正の相関があり、特にＣの処理統計が品質劣化と強く関係していることがわかる。そこで開発者は、処理単位Ｃの処理内容についてより詳細を調査することにより、デコード機能中で品質劣化のより大きな原因となっている処理をすばやく知り、その部分を改良することにより、迅速な品質の改善が期待できる。仮に処理単位Ｃに品質劣化の直接の原因がなくても、処理単位Ｃと関連の深い他の処理単位を調査することによって原因を特定できれば、統計結果を用いずに原因を調べる場合に比べて効率的である。
【００３７】
そして、再調査を行なうために、本発明に係る動画復号化装置を繰り返し有効に利用することが重要である。このとき開発者は、必要に応じて分析の方法を制御することができる。一例として、上記の結果から処理単位Ｃの処理内容のさらに詳細な事項を調べる必要があるとする。このとき開発者は、処理単位Ｃの内部をさらに細かい処理単位に分類するとともに、処理単位Ｃの新たな処理区分毎に適切な情報を処理単位記録部３に送信する機能を持つよう、デコーダ部１の内部の再実装を行なう。
【００３８】
他方、図７に示す例では処理回数と処理時間に着目したが、これに変数状態など、異なる種類の情報に基づく分析を行なうこともできる。図８は、ある処理単位における処理が終了した時点での変数状態の分布を示す表の一例である。表中５１の縦軸は、動画評価値の分類、５２から５７の縦軸は、処理単位Ｄの処理終了時点における変数の状態別の統計を示す。どの変数をどのような値域区分に分けるかについても、開発者による適切な判断のもとに行なわれる。図８の場合、ｍ＝３、ｕ＞０のとき有意に品質劣化が生じていることがわかるので、処理単位Ｄ、もしくは変数ｍ、ｕと何らかの関係を有するその他の処理単位を重点的に調査すればよい。ここでも本発明による再調査が有効である。
【００３９】
また、多くの動画符号化規格にとって重要な点は、無線などの過酷なデータ伝送環境において符号誤りが生じた場合でもデコード結果の品質を保てるよう、符号誤り対策を備えていることである。特にＭＰＥＧ−４等の規格では複雑な対策が用意されており、この処理の巧拙がデコーダの品質に大きく影響する。符号誤りによるデータ破壊のパターンや、その処理内容はかなり複雑にならざるを得ず、品質向上は容易ではない。本発明は、このような状況に特に有効である。
【００４０】
図９は、品質と符号誤り処理統計の相関を記述するための表の一例である。表中６１の縦軸は、動画評価値の分類、６２から６５の縦軸は、符号誤りが原因と考えられるデコード処理の不整合である。これらの不整合がデコード結果の品質にある程度の悪影響をもたらすことは避けられないが、適切な誤り訂正処理を用いて品質劣化を極力抑えることはきわめて重要である。そこで、図９のような統計調査を行ない、大きな品質劣化の原因となるデコード不整合を調べ、このデコード不整合に関する誤り訂正処理を特に重点的に行なう。これによって、誤り訂正に関する品質向上も効果的に行なうことができる。
【００４１】
他方、誤り訂正に関する統計を調べることにより、検出されやすいデコード不整合の種類についても知ることができる。そこで、頻出するデコード不整合に対する誤り訂正処理を重点的に改良すれば、符号誤りが生じた多くの場面での動画像の品質が改善され、全体の品質も改善されたことになる。他方、品質改善の余地とデコード不整合の頻度との間のバランスを考慮しつつ、できるだけ両者の数値の高いデコード不整合を優先して改良すれば、より品質向上の高効率化が期待できる。なお、このような統計を行なうための符号誤りを発生させるには、無線などの不安定なデータ伝送路に実際に符号データを通過させてもよい。また、符号入力部８に一定の確率で符号に誤りを生じさせる機能を追加し、誤った符号をデコーダ部１に出力するようにしてもよい。
【００４２】
以上述べてきた、処理単位毎の処理時間と処理回数、変数の値、エラー処理の発生数等のデータを同時に調査し、そのうち最もデコード品質の改善に寄与する要素を調べ、寄与の大きい要素に関する処理を優先して改善すると、さらに理想的である。ある要素の品質への寄与の大きさを示す数値の例として、その要素が示す数値と品質劣化度の相関係数の絶対値を用いる。相関係数の絶対値がもっとも大きい要素を調べ、相関係数の絶対値ができるだけ小さくなるように改善を行なうことで、要素横断的に重要な改善点を見つけることができ、単一要素から改善点を調査する場合と比較してさらに改善効率が向上する。
【００４３】
処理単位統計出力部６は、統計分析の結果を開発者に伝達するための、ディスプレイ等の出力装置である。必要に応じてプリンタ等も用いられる。出力方法指定部７は、多数の計算結果から必要とされる結果のみを選択し、それらを適切に加工もしくは整形して出力するよう、処理単位統計出力部６に指定するためのものである。これは図４から図９に示したような数表だけでなく、統計数値をグラフ化して視覚的に分かり易くした結果を示す機能を含んでいる。図１０は、各処理単位における品質劣化の度毎の処理回数を相対化して相対処理頻度として、グラフ化したものである。品質が充分である場合の単一の符号データあたりの処理頻度を１とし、「品質にやや難あり」または「品質に難あり」の場合を表示している。このように視覚化することにより、この場合処理単位Ａの処理頻度と品質劣化に強い正の相関があり、品質改善のために処理単位Ａを特に改良すべきであることが理解し易くなる。
【００４４】
開発者は、出力方法指定部７を用いてさまざまな指定を使い分けて、多種多様なデータおよびその比較をグラフとして処理単位統計出力部６から出力させることができる。このような表示方法の選択を可能にするための手段の一例として、出力方法指定部７にマウス、キーボードを備え、さらに、図１１に示すようなダイアログボックスを処理単位統計出力部６のディスプレイに出力する機能を備えている。開発者は、マウスとキーボードを用いて、図１１のダイアログの呼出し、グラフとして表示するデータ数と項目と示形式の指定を行ない、グラフを完成させる。処理回数の表示に棒グラフ、平均処理時間の表示に線グラフを用い、複数のデータを重ね合わせ表示する等、多様なグラフ表現を行なえるようになっており、開発者が多数の要素の同時比較や相関関係の詳細の把握等を容易にする。
【００４５】
符号入力部８は、エンコードされた符号データをデコーダ部１に入力してデコードさせている。動画入力部９は、そのままで再生可能な形式の動画像データを動画評価部２に入力し、デコーダ部１のデコード結果と比較させる。符号入力部８と動画入力部９はともに外部から、それぞれエンコードされた符号データと再生可能な動画像データを入力され、入力される符号データは、同時に入力される動画像データをエンコードしたものと同一である。外部から入力されるデータは、より正確な統計結果を得るためにはできる限り多い方が望ましいが、一方で、各開発時点において改善点を特定するのに充分な情報を得られるのであれば、ある程度少量でもよい。
【００４６】
一例として、大量の動画像データによる調査の結果、図６、図７、図８に示されるような調査結果をもとに、改善すべき処理要素を特定すると共に、その処理要素に関して品質を大きく落とすことが明らかな動画像データの集合が特定できる場合、開発者は符号入力部８と動画入力部９に与えるデータをその集合のものに限ることができる。これにより、分析時間を短縮し、さらに開発期間を短縮することができる。以上のようにして、本発明の第２実施形態によれば、その開発時において、復号化する動画像の品質を改善するための各種処理情報を開発者の要求に応じて提供することにより、自らの品質改善の効率的な実行に寄与することができる。
【第３実施形態】
【００４７】
本発明は、第２実施形態のように、開発中の復号化装置として実現されるだけでなく、第３実施形態のように、一旦開発が終了して実用化された復号化装置としても、その後の品質向上のために有用な情報を提供できる。復号化装置のユーザにとっても、情報を提供することで製品が改良されるメリットを享受できる。
【００４８】
図１２は、第３実施形態に係る実用化された復号化装置の基本構成例を示している。この第３実施形態は、外部から符号データを受け取り、それをデコードして生成された動画像を再生表示する動画像再生装置として実用化されている。第２実施形態における図２と異なる点は、図２における動画入力部９を有していないこと、処理単位統計出力部６から出力された統計結果を記憶し蓄積する処理単位統計記憶部１２を備えていることの２点である。動画出力部１１は動画像再生装置としての機能を果たすために必要である。また、この第３実施形態に係る動画復号化装置は、符号データのみを取得して動画像再生を行なう装置であるため、もとの動画像データを取得することはできない。したがって、第１の相違点のように、動画入力部は存在しない。もう１つの相違点は、開発者が統計結果を直接取得することはできないことである。したがって、処理単位統計出力部６が出力した統計結果を開発者が獲得するまでの間保持しておくために、処理単位統計記憶部１２を備えている。
【００４９】
もとの動画像データを取得できないため、図４において行なわれるような参照画像との比較は、図１２においてはできない。ここで本発明の第３実施形態では、動画評価部２を開発時とは別のものに置き換えることにより、実用化された場面においても効果を発揮する。図１３は、第３実施形態において置き換えられた動画評価部２の構成例である。ここでは、もとの動画像データとの比較を行なわない代わりに、ブロック境界評価部２７が評価画像記憶部２２に記憶された画像のみから、ブロックノイズによる画質劣化度を測定する。実際のブロックノイズに関する劣化の検出を図１４によって示す。
【００５０】
図１４は画像中の各ブロック境界における差分を用いて劣化度を検出する例を示す図である。ここで図１４は、デコードして生成された画像の一部を示しており、細線は各画素の区切りを、太線はブロックの区切りを表す。各ブロックは縦８画素、横８画素の矩形であり、ここでは中央の４つのブロック２７１〜２７４に注目する。さらにブロック２７２にブロックノイズが発生しているものとする。いま、各ブロックの４辺において、それぞれの辺に隣接している８つの画素の、向かい合っているブロックの辺に隣接している８画素に対する差異について述べる。図１５〜図１８は、それぞれブロック２７１とブロック２７３の境界、ブロック２７３とブロック２７４の境界、ブロック２７３の左辺の境界、ブロック２７１とブロック２７２の境界を拡大したものである。
【００５１】
通常、ブロックノイズが生じていないブロックの周辺では、画像がおおむね滑らかに隣接していることから、図１５のようによく似た色を有するか、あるいは、図１６に示すように、完全に同じ色を有する場合が多いと考えられる。一方、図１７のように、ちょうどブロック同士の境界と画像中の物体の境界が一致することによって辺の前後の差異が大きくなる場合もあるが、このような状態が同時に多くのブロック境界において成り立つ可能性は無視できるほど小さい。ところが、ブロックノイズが生じたブロック２７２の周辺では、図１８のように辺の前後における差異は大きくなる。この性質を利用し、ブロック境界評価部２７は、１つの画像におけるすべてのブロック同士の境界において、向かい合う２つの画素の色の差分絶対値の総和を求め、その値をその画像の評価値として出力する。この値は一般に、正常な画像でもゼロにはならないが、ブロックノイズ発生時には特徴的に増大し、ブロックノイズが増えるほど値が大きくなることが期待できる。したがってこの値はブロックノイズによる画質劣化の度合として利用でき、この値が既定の水準を越えたとき、画質の劣化が生じたとみなすことができる。
【００５２】
この第３実施形態においては、エンコード前の原画像を評価に用いた第２実施形態とは異なり、デコードされた画像の特徴を抽出し、そのデコードされた画像の評価を行なう。このように動画評価部２で異なる評価方法を用いることにより、実用化時においても画質劣化度に基づく統計分析が行なえる。処理単位統計部４は、統計方法指定部５において実用化時に予め指定された方法に基づいて統計処理を行なう。処理単位統計出力部６は、出力方法指定部７において実用化時に予め指定された方法に基づいて統計結果を出力する。統計方法指定部５、および出力方法指定部７における方法指定の要領は原則として第２実施形態の場合と同様である。処理単位統計出力部６が出力した統計結果は、処理単位統計記憶部１２に送信され、蓄積される。
【００５３】
復号化装置の開発者は、装置のユーザから装置内の処理単位統計記憶部１２に蓄積されたすべての統計結果の提供を受け、その統計結果から改善すべき処理単位を特定し、それを改善することで、品質をさらに向上させ、製品のバージョンアップを行なうことができる。ユーザは、開発者に統計結果を提供することにより、高品質の復号化装置を手に入れることが期待できる。ここで得られる統計結果には、開発者が開発時に検証を行なえなかった動画像データやデータ伝送環境に基づく統計という側面と、ユーザ毎の独自の使用方法に基づく統計という側面がある。前者においては、多くのユーザが統計を取得することにより、開発者よりも広範囲の検証を行なうことができ、より徹底した検証結果を獲得できる。後者においては、特定のアプリケーション毎に改善すべき機能の絞り込みを行なうことができる。
【００５４】
動画符号データ復号化装置はユーザ毎に、蓄積された映像ソフトの再生、テレビ放送の受信、監視カメラ映像の受信等、さまざまな用途に用いられる。他方、ビデオカメラによって撮影された映像やアニメーション等といったユーザが特に重視する動画像ソフトの種類も、安定的な有線回線や不安定な無線回線等といったデータ伝送環境も、色合いや明るさ等の画質出力設定もユーザによって異なる。その上さらに、復号化装置がソフトウェアによって実現されており、同時に複数のソフトウェアがともに動作している場合、動画像の復号化に費やすことのできる計算機資源も場合によって異なってくる。用途、動画像ソフトの種類、データ伝送環境、設定、計算機資源の各々の組み合わせによって多数の状況が生まれる。ある動作環境においては、一般的な状況に比べて、ブロックノイズやコマ落ちの極端な多発等による著しい品質劣化を起こし得る。他方、用途やユーザの好みによって、画像細部の鮮明度を向上させる設定、もしくは動きの滑らかさを向上させる設定等を行なう必要がある場合、一般的な状況において有効な画像出力設定やノイズ削減処理がむしろ品質劣化を助長する可能性がある。
【００５５】
以上のような状況において、本発明によってもたらされる統計結果は、特定の状況においてのみ生ずる品質劣化に関する統計情報である。開発者はこの情報の提供を受けることで、特定の状況において最適化された品質維持機能を持つように復号化装置を改良することができる。このことは、ユーザ毎のニーズや好みに応じたきめ細かな品質改善が可能であることを意味する。ユーザによっては、そのニーズに応じて鮮明度やコマ落ち頻度など特定の要素に重きを置く品質評価方法を実装する等して、さらに特定状況下での品質評価の精度を向上させることができる。そのようなサポートサービスを含めた形で復号化装置をユーザに提供することにより、ユーザにとっての復号化装置の価値をさらに高めることができる。他方、開発者は単独の開発体制から多数のニーズに応じた復号化装置の開発が可能になる。これにより、予め多くのニーズ毎に商品開発を開始した場合に比べて、費用の削減と開発期間の短縮が実現できる。
【その他の実施形態】
【００５６】
以上、本発明の第１ないし第３実施形態を説明したが、本発明は上記の実施形態のみに限定されず、以下のような実施形態によっても実施可能である。  
例えば、本発明の実施形態に係る動画復号化装置において、処理単位記録部は、動画符号の復号化時に前記デコーダ内部の処理単位の処理順序に基づいた時系列情報を前記処理単位情報に付加するものであっても良い。  
また、処理単位記録部は、動画符号の復号化時に前記デコーダ内部の処理単位が処理を行なった時刻に基づく時刻情報を前記処理単位情報に付加するようにしても良い。  
さらに、本発明の実施形態に係る動画復号化装置において、処理単位記録部は、動画符号の復号化時に前記デコーダの内部記憶部の記憶状態の一部を示す情報を前記処理単位情報に付加するようにしても良い。
【００５７】
さらに、本発明に係る動画復号化方法は、基本構成による方法において、デコーダにより前記動画符号を復号化するときの内部処理段階毎に、または、前記内部処理段階の評価結果毎に、復号化時における前記動画評価方法の評価結果と関連付けて前記内部処理段階における処理内容を示す処理単位情報を内部に複数記録するようにしても良い。  
また、上記構成の実施形態による動画像復号化方法において、動画符号の復号化するときに、前記内部処理段階の処理順序に基づいた時系列情報を前記処理単位情報に付加するようにしても良い。  
さらに、これらの実施形態に係る動画復号化方法において、動画符号の復号化するときに、前記内部処理段階が行なわれた時刻に基づいた時刻情報を前記処理単位情報に付加するようにしても良い。  
さらにまた、これらの実施形態に係る動画復号化方法において、外部から指定された統計的演算方法を用いて、前記動画評価方法による動画評価値と前記処理単位情報との相関関係を示す統計情報に変換するようにしても良い。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１実施形態に係る動画復号化装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る動画復号化装置の構成を示すブロック図である。
【図３】本発明の第２実施形態に係る動画復号化装置の動作を示す流れ図である。
【図４】本発明の第２実施形態における動画評価部の構成を示すブロック図である。
【図５】本発明の第２実施形態におけるブロックノイズの特定過程を示す図である。
【図６】本発明の第２実施形態における処理単位毎の実行記録の例を示す表である。
【図７】本発明の第２実施形態における動画像品質毎の処理単位統計の出力例を示す表である。
【図８】本発明の第２実施形態における動画像品質毎のある時点での内部の変数分布の集計例を示す表である。
【図９】本発明の第２実施形態における動画像品質毎のデコード不整合の分布を調べるための表である。
【図１０】本発明の第２実施形態における処理単位に関する統計結果をグラフ表示した例を示す図である。
【図１１】本発明の第２実施形態における処理単位に関する統計結果をグラフ表示するためのダイアログボックスの表示例を示す図である。
【図１２】本発明の第３実施形態に係る動画復号化装置の構成を示すブロック図である。
【図１３】本発明の第３実施形態における動画評価部の構成を示すブロック図である。
【図１４】本発明の第３実施形態におけるブロックノイズを含んだ画像の一部を示す図である。
【図１５】本発明の第３実施形態における画像中のブロック境界部分を示す図である。
【図１６】本発明の第３実施形態における画像中のブロック境界部分を示す図である。
【図１７】本発明の第３実施形態における画像中のブロック境界部分を示す図である。
【図１８】本発明の第３実施形態における画像中のブロック境界部分を示す図である。
【符号の説明】
【００５９】
１  デコーダ部
２  動画評価部
３  処理単位記録部
４  処理単位統計部
５  統計方法指定部
６  処理単位統計出力部
７  出力方法指定部
８  符号入力部
９  動画入力部
１０  処理単位統計記憶部
１１  動画出力部
２１  参照画像記憶部
２２  評価画像記憶部
２３  同期部
２４  誤差積算部
２５  ブロック差分評価部
２６  総合評価部
２７  ブロック境界評価部
３１  処理単位を示す表の縦軸
３２  タイムスタンプを示す表の縦軸
３３〜３５  変数状態を示す表の縦軸
４１  デコード結果の品質を示す表の縦軸
４２、４４、４６  処理単位を経た回数を示す表の縦軸
４３，４５，４７  処理単位での処理に費やされた時間の平均値を示す表の縦軸
５１  デコード結果の品質を示す表の縦軸
５２〜５７  処理時点での変数状態の分布を示す表の縦軸
６１  デコード結果の品質を示す表の縦軸
６２〜６５  デコード不整合の分布を示す表の縦軸
２５１  参照画像例
２５２  評価画像例
２５３  差分評価結果例
２７１〜２７４  画像内のブロック
【図１】
2005159393.tif 000003
【図２】
2005159393.tif 000004
【図３】
2005159393.tif 000005
【図４】
2005159393.tif 000006
【図５】
2005159393.tif 000007
【図６】
2005159393.tif 000008
【図７】
2005159393.tif 000009
【図８】
2005159393.tif 000010
【図９】
2005159393.tif 000011
【図１０】
2005159393.tif 000012
【図１１】
2005159393.tif 000013
【図１２】
2005159393.tif 000014
【図１３】
2005159393.tif 000015
【図１４】
2005159393.tif 000016
【図１５】
2005159393.tif 000017
【図１６】
2005159393.tif 000018
【図１７】
2005159393.tif 000019
【図１８】
2005159393.tif 000020