(57)【要約】【課題】エンコードデータが最適な圧縮方法によりエンコードされているかを評価することができるエンコーダ評価方法、プログラム、及び、エンコーダ評価装置を提供する。【解決手段】処理装置２を有し、原画像データが記憶される原画像データ記憶部３及びこの原画像データがエンコードされたエンコードデータが記憶されるエンコードデータ記憶部４にアクセス可能なエンコーダ評価装置１により実行されるエンコーダ評価方法であって、処理装置２により、原画像データ記憶部３から原画像データを読み込む処理と、原画像データから複数の予測方法により予測画像データを生成し、予測方法毎にコストを算出する処理と、エンコードデータ記憶部４からエンコードデータを読み込む処理と、原画像データから算出されたコストとエンコードデータのパラメータから計算されるコストとを評価する処理と、を含む。【選択図】図１
2009273064.tif 000002
【特許請求の範囲】
【請求項１】
処理装置を有し、原画像データが記憶される原画像データ記憶部及び前記原画像データがエンコードされたエンコードデータが記憶されるエンコードデータ記憶部にアクセス可能なコンピュータにより実行されるエンコーダ評価方法であって、
前記処理装置により、
前記原画像データ記憶部から前記原画像データを読み込む処理と、
前記原画像データから複数の予測方法により予測画像データを生成し、前記予測方法毎にコストを算出する処理と、
前記エンコードデータ記憶部から前記エンコードデータを読み込む処理と、
前記原画像データから算出されたコストをＣ0とし、前記エンコードデータのパラメータから計算されるコストをＣeとして、次式
ｄ＝Ｃ0−Ｃe
により評価値ｄを算出する処理と、
を含むエンコーダ評価方法。
【請求項２】
前記予測方法をｍｄとし、前記原画像データをｆとし、前記予測方法ｍｄにより生成された前記予測画像データをｇ（ｍｄ）とし、前記原画像データと前記エンコードデータとの距離値をＤ（ｆ，ｇ（ｍｄ））とし、前記予測方法ｍｄにおけるコード量をＲ（ｍｄ）としたとき、前記予測方法ｍｄにおける前記コストｃｏｓｔ（ｍｄ）を次式
ｃｏｓｔ（ｍｄ）＝Ｄ（ｆ，ｇ（ｍｄ））＋λ×Ｒ（ｍｄ）
但し、λは定数
により算出する請求項１に記載のエンコーダ評価方法。
【請求項３】
請求項１または２に記載のエンコーダ評価方法をコンピュータに実行させるためのプログラム。
【請求項４】
原画像データが記憶される原画像データ記憶部と、
前記原画像データがエンコードされたエンコードデータが記憶されるエンコードデータ記憶部と、
前記原画像データ記憶部から前記原画像データを読み込む原画像データ読込部と、
前記原画像データから複数の予測方法により予測画像データを生成し、前記予測方法毎にコストを算出するコスト計算部と、
前記エンコードデータ記憶部から前記エンコードデータを読み込むエンコードデータ読込部と、
前記原画像データから算出されたコストをＣ0とし、前記エンコードデータのパラメータから計算されるコストをＣeとして、次式
ｄ＝Ｃ0−Ｃe
により評価値ｄを算出する評価部と、を有するエンコーダ評価装置。
【請求項５】
前記予測部は、
前記予測方法をｍｄとし、前記原画像データをｆとし、前記予測方法ｍｄにより生成された前記予測画像データをｇ（ｍｄ）とし、前記原画像データと前記エンコードデータとの距離値をＤ（ｆ，ｇ（ｍｄ））とし、前記予測方法ｍｄにおけるコード量をＲ（ｍｄ）としたとき、前記予測方法ｍｄにおける前記コストｃｏｓｔ（ｍｄ）を次式
ｃｏｓｔ（ｍｄ）＝Ｄ（ｆ，ｇ（ｍｄ））＋λ×Ｒ（ｍｄ）
但し、λは定数
により算出する請求項４に記載のエンコーダ評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンコーダ評価方法、プログラム、及び、エンコーダ評価装置に関する。
【背景技術】
【０００２】
動画像データのデータサイズは非常に大きなものとなるため、従来、種々の圧縮方式が考案され、規格化されている。代表的なものとしては、ＭＰＥＧ−２、ＭＰＥＧ−４  Ｖｉｓｕａｌ、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ等が挙げられる。それに伴って、オリジナルの動画像データ（原画像データ）を目的の圧縮方式に則って圧縮する装置やソフトウェア（エンコーダ）も色々と開発されているが、同じ、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ方式に圧縮するエンコーダであっても、開発されたメーカーによって圧縮率、圧縮後の画質等は、異なったものとなっている。そのため、エンコーダを使用するときには、目的に合ったものを選択する必要があり、エンコーダを評価する必要がある。エンコーダを評価するためには、一般的には原画像データとエンコーダで圧縮したデータから復元（デコード）したデータとを比較することにより行われる（例えば、特許文献１参照）。
【特許文献１】特許第３５２９３０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方法では、復元されたデータが原画像データをどの程度再現しているかは判断できるが、エンコードの際に最適な圧縮方法が選択されていたか否かは判断することができないという課題があった。
【０００４】
本発明はこのような課題に鑑みてなされたものであり、エンコードデータが最適な圧縮方法によりエンコードされているか否かを評価することができるエンコーダ評価方法、プログラム、及び、エンコーダ評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明に係るエンコーダ評価方法は、処理装置を有し、原画像データが記憶される原画像データ記憶部及び前記原画像データがエンコードされたエンコードデータが記憶されるエンコードデータ記憶部にアクセス可能なコンピュータにより実行されるエンコーダ評価方法であって、処理装置により、原画像データ記憶部から原画像データを読み込む処理と、原画像データから複数の予測方法により予測画像データを生成し、予測方法毎にコストを算出する処理と、エンコードデータ記憶部からエンコードデータを読み込む処理と、原画像データから算出されたコストをＣ0とし、エンコードデータのパラメータから計算されるコストをＣeとして、次式
ｄ＝Ｃ0−Ｃe
により評価値ｄを算出する処理と、を含む。
【０００６】
このようなエンコーダ評価方法は、予測方法をｍｄとし、原画像データをｆとし、予測方法ｍｄにより生成された予測画像データをｇ（ｍｄ）とし、原画像データとエンコードデータとの距離値をＤ（ｆ，ｇ（ｍｄ））とし、予測方法ｍｄにおけるコード量をＲ（ｍｄ）としたとき、この予測方法ｍｄにおけるコストｃｏｓｔ（ｍｄ）を次式
ｃｏｓｔ（ｍｄ）＝Ｄ（ｆ，ｇ（ｍｄ））＋λ×Ｒ（ｍｄ）
但し、λは定数
により算出することが好ましい。
【０００７】
なお、本発明に係るエンコーダ評価方法をコンピュータに実行させるためのプログラムを作成することができ、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
【０００８】
また、本発明に係るエンコーダ評価装置は、原画像データが記憶される原画像データ記憶部と、この原画像データがエンコードされたエンコードデータが記憶されるエンコードデータ記憶部と、原画像データ記憶部から原画像データを読み込む原画像データ読込部と、原画像データから複数の予測方法により予測画像データを生成し、予測方法毎にコストを算出するコスト計算部と、エンコードデータ記憶部からエンコードデータを読み込むエンコードデータ読込部と、原画像から算出されたコストをＣ0とし、エンコードデータのパラメータから計算されるコストをＣeとして、次式
ｄ＝Ｃ0−Ｃe
により評価値ｄを算出する評価部と、を有する。
【０００９】
このようなエンコーダ評価装置において、予測部は、予測方法をｍｄとし、原画像データをｆとし、予測方法ｍｄにより生成された予測画像データをｇ（ｍｄ）とし、原画像データとエンコードデータとの距離値をＤ（ｆ，ｇ（ｍｄ））とし、予測方法ｍｄにおけるコード量をＲ（ｍｄ）としたとき、この予測方法ｍｄにおけるコストｃｏｓｔ（ｍｄ）を次式
ｃｏｓｔ（ｍｄ）＝Ｄ（ｆ，ｇ（ｍｄ））＋λ×Ｒ（ｍｄ）
但し、λは定数
により算出することが好ましい。
【発明の効果】
【００１０】
本発明に係るエンコーダ評価方法、プログラム、及び、エンコーダ評価装置を以上のように構成すると、エンコードデータが最適な圧縮方法によりエンコードされているか否かを評価することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて原画像データとエンコードデータとから、このエンコードデータをエンコードしたエンコーダの評価を行うエンコーダ評価装置の構成について説明する。このエンコーダ評価装置１は、評価処理を行う処理装置２と、原画像データが記憶される原画像データ記憶部３と、この原画像データがエンコードされた結果であるエンコードデータが記憶されるエンコードデータ記憶部４と、原画像データ、エンコードデータ及び評価結果が出力される表示装置５と、評価の開始や評価結果の表示の指示等を行う入力装置６とから構成される。なお、処理装置２は、ＣＰＵやメインメモリ等を有するコンピュータ等で構成され、原画像データ記憶部３及びエンコードデータ記憶部４はハードディスク等の外部記憶装置で構成され、表示部５はディスプレイ等で構成され、入力部６はキーボードやマウス等で構成される。
【００１２】
処理装置２には、原画像データ記憶部３から原画像データを読み込む原画像データ読込部７と、この原画像データからエンコードにおけるコストを計算するコスト計算部８と、エンコードデータ記憶部４からエンコードデータを読み込むエンコードデータ読込部９と、コスト計算部８によるコスト計算の結果とエンコードデータのパラメータから計算されるコストとを比較して評価を行う評価部１０と、原画像データ読込部７で読み込まれた原画像データを表示装置５に出力する原画像表示部１１と、エンコードデータ読込部９で読み込まれたエンコードデータをデコードして復元するデコード部１２と、デコード部１２で復元された画像データを表示装置５に出力するデコード画像表示部１３と、評価部１０で評価された結果を表示装置５に出力する評価結果表示部１４とから構成される。なお、これらの機能は、例えば処理装置２で実行されるプログラムとして実装される。
【００１３】
それでは図２を合わせて用いて、上述のエンコーダ評価装置１で実行されるエンコーダ評価処理について説明する。なお、原画像データ及びこの原画像データがエンコードされた結果であるエンコードデータは、予め原画像データ記憶部３及びエンコードデータ記憶部４に記憶されているものとする。エンコーダ評価装置１は、まず、原画像データ読込部７により、原画像データ記憶部３から原画像データの読み込みを行う（ステップＳ１００）。読み込まれた原画像データは、原画像表示部１１とコスト計算部８に渡される。なお、原画像データの読み込みは、原画像データ全体を一度に読み込むように構成しても良いし、入力装置６からの指示により、所定のフレームを指定して読み込むように構成しても良い（以下の説明では、所定のフレームが指定され、このフレームを読み込んで評価するように構成した場合について説明する）。
【００１４】
次に、エンコーダ評価装置１のコスト計算部８は、上述のステップＳ１００で読み込まれた原画像データの１フレームに対して各種の圧縮方法を適用し、それぞれの圧縮方法によるコストを計算する（ステップＳ２００）。
【００１５】
ここで、図３を用いてＨ．２４６／ＭＰＥＧ−４  ＡＶＣの方式で、動画像データを圧縮（エンコード）する場合のエンコーダの処理について説明する。この方式は、動画像データを１フレームずつ読み出して圧縮を行うものであり、まず、原画像データのうち１フレームを、記憶部（ハードディスク等）から読み込む（ステップＳ６００）。そして、このフレームがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれに該当するかを決定し（ステップＳ６１０）、Ｉピクチャのときはこのフレームに対してイントラ予測処理を実行し（ステップＳ６２０）、Ｐピクチャ若しくはＢピクチャのときはこのフレームに対してインター予測処理を実行する（ステップＳ６３０）。これらの予測処理では、それぞれの方法による予測画像を作成し、原画像との間でコスト計算を行い、最小のコストとなる予測画像が決定される。そして、これらの予測結果に基づいてこのフレームに対してＤＣＴ（離散コサイン変換）計算を行って量子化計数を決定し（ステップＳ６４０）、さらに、エントロピー符号化を行ってエンコードデータを生成し（ステップＳ６５０）、この結果（エンコードデータ）を記憶部に書き込み（ステップＳ６６０）、１つのフレームに対する処理を終了する。そして、ステップＳ６００〜ステップＳ６６０までの処理をすべてのフレームに対して実行し（ステップＳ６７０）、原画像データのエンコードを終了する。
【００１６】
このように、エンコーダにおいては原画像データ（フレーム）から予測画像を作成してコスト計算をすることにより最もコストの小さい圧縮（エンコード）方法を決定しているが、限られた圧縮時間でエンコード処理を行うためにはすべての圧縮方法を評価することはできず、最適な圧縮方法が適用されているとは限らない。そこで、このエンコード評価装置１のコスト計算部８では、原画像データ（フレーム）に対して予め設定された圧縮方法（予測モード）により、それぞれのコストを算出するように構成されている。
【００１７】
ここで、イントラ予測では、Ｈ．２４６のＨｉｇｈ  Ｐｒｏｆｉｌｅの場合、４種類の１６×１６画素イントラ予測モード、９種類の４×４画素イントラ予測モード、９種類の８×８画素イントラ予測モードから何れか１つのモードを決定する必要があり、コスト計算部８では、これらのすべてのモードにおけるコストを計算する。例えば、４×４画素イントラ予測モードの場合の求め方は、フレーム全体を、イントラ予測モードに基づいた４×４の画素の画像に分割し、この４×４画素毎に後述するコスト計算を行い、各４×４画素毎にその値が最も小さいときのモードが採用される。
【００１８】
原画像と予測画像との差を表す量として、ＳＡＤ（Sum of Absolute Differences）、ＳＳＤ（Sum of Squared Differences）、ＳＡＴＤ（Sum of Absolute Transformed Differences）等があり、具体的には、ＳＡＤ、ＳＳＤは次の式（１），（２）のように表される。なお、ここで、ｆ（ｘ，ｙ）はＭ×Ｎ画素の原画像を、ｇ（ｘ，ｙ）はあるモードで生成された予測画像を、ｘ，ｙは各画素の位置を示す。
【００１９】
【数１】
2009273064.tif 000003
【００２０】
また、アダマール行列をＨとしたとき、ＳＡＴＤは次の式（３）のように表される。但し、４×４画素の場合のアダマール行列Ｈは、次の式（４）のように表される。
【００２１】
【数２】
2009273064.tif 000004
【００２２】
上述のＳＡＤ，ＳＳＤ，ＳＡＴＤ等の距離値を計算する際のどの方法を用いるかはエンコーダの設計者によって異なるため、この距離を一般にＤ（ｆ，ｇ）で表すと、あるモードｍｄにおけるコストｃｏｓｔ（ｍｄ）は次式（５）のように表される。なお、画素の位置ｘ，ｙは省略し、モードｍｄによる予測画像をｇ（ｍｄ）とする。また、式（５）において、Ｒ（ｍｄ）は、あるモードｍｄにおけるコード量であり、λは定数である。
【００２３】
ｃｏｓｔ（ｍｄ）＝Ｄ（ｆ，ｇ（ｍｄ））＋λ×Ｒ（ｍｄ）      （５）
【００２４】
コスト計算部８では、ステップＳ１００で読み出されたフレームに対して、上述の方法により、４×４画素のイントラ予測モードのコスト計算をし、さらに、１６×１６画素のイントラ予測モード及び８×８画素のイントラ予測モードでも同様のコスト計算を行う。ここで、コスト計算の結果は、図１には図示していないが、一時的に情報を記憶するバッファメモリ等に記憶される。
【００２５】
以上のようにして、読み出された１フレームの原画像データのコスト計算が行われると、エンコーダ評価装置１は、次に、対応するフレームのエンコードデータをエンコードデータ記憶部４から読み出し、評価部１０とデコード部１２に渡す（ステップＳ３００）。そして、上述のブロック毎に（例えば、４×４のブロック毎に）、評価部１０により、原画像データから算出されたコストとエンコードデータのパラメータから計算されるコストとを比較してそのエンコードデータが最良のものであるか否かを判断する（ステップＳ４００）。この評価は、例えば、原画像データから計算されたコスト（上述のステップＳ２００において計算された各モードのコストのうち最も小さいコスト）をＣ0とし、エンコードデータのパラメータから計算されるコストをＣeとしたとき、次式（６）で示される評価値ｄの値が０に近いほど最良のものと判断される。
【００２６】
ｄ＝Ｃ0−Ｃe                                                （６）
【００２７】
以上のようにして、原画像データの指定されたフレームの各ブロックに対して、上述の評価値ｄを算出し、その結果を表示結果表示部１４により表示装置５に表示して１枚のフレームに対する処理を終了する（ステップＳ５００）。
【００２８】
なお、評価結果の表示方法としては、図４に示すように、表示装置５に対して、原画像表示部１１により表示される原画像画面Ｇ１と、エンコード画像表示部１３により表示されるエンコード画面Ｇ２と、評価結果表示部１４により表示される評価結果画面Ｇ３とを同時に表示させることにより、原画像データとエンコードデータの比較を容易にすることができる。ここで、原画像表示部１１は、指定されたフレーム全体を原画像画面Ｇ１に表示するとともに、１６×１６画素を１つのマクロブロックＭＢとし、このブロックを示す格子状の境界線を原画像に重ね合わせて表示するように構成されている。また、エンコード画像表示部１３は、上述の原画像画面Ｇ１において、入力装置６により指定されたいずれか一つのマクロブロックＭＢに対応するエンコードデータをエンコード画面Ｇ２として表示するように構成されている。図４においては、４×４画素のイントラ予測が採用されているため、このエンコード画面Ｇ２に表示されるエンコード画像Ｇ２ａとしては、１６×１６画素の領域が、４×４個の領域に分割されて表示されている（分割された領域の１つが４×４画素に相当する）。さらに、評価結果表示部１４は、エンコード画面Ｇ２に表示されているマクロブロックＭＢにおける評価結果（モード毎に計算されたコスト）を評価結果画面Ｇ３に表示するように構成されている。この図４に示す評価結果画面Ｇ３においても、１６×１６画素のマクロブロックＭＢを、４×４個の４×４画素のブロックに分け、これらのブロックの各々に対して、モード毎の計算結果が表示されるように構成されている。
【００２９】
この図４に示す結果において、エンコードデータ（エンコード画像）では、マクロブロック（２１，８）内のブロック（０，０）で、４×４画素のイントラ予測のうち、モード４が選らばれている。また、距離計算としてはＳＳＤが選択されている。一方、同じブロックでのコスト計算結果を見ると、モード４のときが最小のＳＳＤの値を示していることがわかり、この結果、このブロックにおいては、エンコーダは最適な圧縮方法を選択していたことがわかる。
【００３０】
なお、以上の説明においては原画像と予測画像との距離値からコストを算出して評価するように構成した場合について説明したが、本発明はこれに限定されることはなく、例えば、イントラ予測モード（Ｙ成分、クロマ成分）の決定、インター予測におけるパーティション分割の決定、インター予測における動きベクトルの決定、インター予測における参照画像選択等におけるコストを計算して評価することも可能である。また、以上の説明においては、入力装置６から原画像データのうちいずれか１フレームを選択して上述の評価処理を行うように構成した場合について説明したが、原画像データ全体を読み込み、すべてのフレームに対して上述の処理を行ってバッファメモリ等に記憶しておき、このバッファメモリから１フレームずつ指定して評価結果を表示装置５に表示するように構成することも可能である。
【００３１】
さらに、図４に示す評価結果においては、原画像及び予測画像とも４×４画素の圧縮方法であるときの比較について説明したが、異なる画素数の原画像及び予測画像を比較することも可能である。例えば、１６×１６画素と４×４画素とを比較する場合は、１６×１６画素の領域に相当する４×４個の４×４画素のコストを合計し、この合計値と１６×１６画素のコストを比較することにより評価することが可能である。
【図面の簡単な説明】
【００３２】
【図１】エンコーダ評価装置の構成を示すブロック図である。
【図２】エンコーダ評価方法の処理を示すフローチャートである。
【図３】Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの方式で動画像データをエンコードする場合の処理を示すフローチャートである。
【図４】評価結果を表示装置への表示例を示す説明図であって、（ａ）は原画像画面及びエンコード画面を示し、（ｂ）は評価結果画面を示す。
【符号の説明】
【００３３】
１  エンコーダ評価装置    ２  処理装置    ３  原画像データ記憶部
４  エンコードデータ記憶部    ７  原画像データ読込部    ８  コスト計算部
９  エンコードデータ読込部    １０  評価部
【図１】
2009273064.tif 000005
【図２】
2009273064.tif 000006
【図３】
2009273064.tif 000007
【図４】
2009273064.tif 000008