(57)【特許請求の範囲】
【請求項１】
表示装置の特性および大域的符号化パラメータを固定して局所符号化パラメータを局所特徴量に基づきブロック単位に動的に変更させる符号化処理に基づくサンプル動画の表示処理を、表示装置の特性および大域的符号化パラメータを外部設定によって各種変化させながら複数の被験者に対し繰り返し実行することにより取得した複数の被験者によるモニタリングによる評価情報を統計処理することによって得られた大域的符号化パラメータの最適化範囲が表示装置の特性毎に設定され、かつ前記モニタリングによる評価情報に基づいて取得した局所特徴量と局所符号化パラメータとの対応関係データが前記設定された大域的符号化パラメータの最適化範囲毎に複数組記憶される符号化制御データ記憶部と、
動画データが入力される動画入力部と、
動画入力部に入力された動画データを分析して動画の局所特徴量を抽出する動画特徴抽出部と、
表示装置の特性を示す表示装置特性情報、大域的符号化パラメータおよび動画特徴抽出部で抽出された局所特徴量が入力され、前記入力された表示装置特性情報に対応する大域的符号化パラメータの最適化範囲を前記符号化制御データ記憶部から選択し、該選択された大域的符号化パラメータの最適化範囲に対応する前記複数組の前記対応関係データ中から前記入力された大域的符号化パラメータに対応する対応関係データを前記符号化制御データ記憶部から選択し、該選択した局所特徴量と局所符号化パラメータとの対応関係データを用いて前記入力された局所特徴量に対応する局所符号化パラメータを選択して出力する最適局所符号化パラメータ制御部と、
この最適局所符号化パラメータ制御部から出力された局所符号化パラメータおよび前記入力された大域的符号化パラメータに基づき前記動画入力部に入力された動画データを符号化する動画符号化部と、
該動画符号化部で符号化された動画データを出力する動画符号出力部と、
を備えることを特徴とする動画符号化制御装置。
【請求項２】
前記表示装置特性情報には、表示装置の種類を識別する表示装置種類識別情報および／または表示装置の画面サイズを識別する画面サイズ識別情報が含まれていることを特徴とする請求項１に記載の動画符号化制御装置。
【請求項３】
前記動画符号化部では、ＭＰＥＧ−４符号化を行うことを特徴とする請求項１または２に記載の動画符号化制御装置。
【請求項４】
前記動画入力部にはサンプル動画データが入力されるとともに、前記動画特徴抽出部は入力されたサンプル動画データを分析して動画の局所特徴量を各フレームのブロック毎に抽出し、
前記動画特徴抽出部で抽出された局所特徴量に基づき局所符号化パラメータを各フレームの各ブロック毎に導出する局所符号化パラメータ制御部を更に備え、
前記動画符号化部は、入力される大域的符号化パラメータおよび前記局所符号化パラメータ制御部からの局所符号化パラメータを用いて入力されるサンプル動画データを符号化するものであり、
前記動画特徴抽出部からの局所特徴量と、局所符号化パラメータ制御部からの局所符号化パラメータと、表示装置の特性および大域的符号化パラメータを固定して局所符号化パラメータを局所特徴量に基づきブロック単位に動的に変更させる符号化処理に基づくサンプル動画の表示処理を、表示装置の特性および大域的符号化パラメータを外部設定によって各種変化させながら複数の被験者に対し繰り返し実行することにより取得した複数の被験者によるモニタリングによる評価情報と、に基づいて確率分布に基づく統計処理を実行することで表示装置の特性毎の大域的符号化パラメータの最適化範囲および該大域的符号化パラメータの最適化範囲毎の局所特徴量と局所符号化パラメータとの複数組の対応関係データを導出して前記符号化制御データ記憶部に記憶する動画データ解析部を更に備えることを特徴とする請求項１〜３の何れか一つに記載の動画符号化制御装置。
【請求項５】
前記動画データ解析部は、表示装置の特性を固定しかつ大域的符号化パラメータを各種変化させることにより取得した前記複数の被験者によるモニタリングによる評価情報に基づいて複数の被験者毎の前記サンプル動画についての理想とされる復号動画をサンプル動画中の全ブロックについての大域的符号化パラメータ上の確率分布を求める形で作成し、作成した確率分布に基づいて最適化中心を求め、該求めた最適化中心を中心とする大域化符号化パラメータの最適化範囲を求める一連の処理を実行し、その後、表示装置の特性を順次異ならせて前記一連の処理を繰り返し実行することにより、大域的符号化パラメータの最適化範囲を表示装置の特性毎に導出することを特徴とする請求項４に記載の動画符号化制御装置。
【請求項６】
前記動画データ解析部は、前記求めた複数の被験者毎の前記サンプル動画についての理想とされる復号動画に含まれる全ブロックについての局所特徴量と局所符号化パラメータとの確実性（確からしさ）を示す定量的関係を求め、該求めた確実性を示す定量的関係に基づいて局所特徴量と局所符号化パラメータとの最適な対応関係データを各大域的符号化パラメータ毎に導出することを特徴とする請求項５に記載の動画符号化制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、表示装置の特性および利用者の意見を反映した良好な画質の動画再生を可能とするための動画符号化制御装置に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧなどの動画符号化方式においては、少ない動画データ量で利用者にとっての高画質な再生品質を提供するため、あるいはデータ蓄積量が多く取れない携帯動画再生端末などでより高画質を得るためには、符号化パラメータの最適な制御を行うことが必須である。
【０００３】
従来の符号化パラメータの最適化手法においては、動画を表示する表示装置のことを考慮せずに、フレームレート(fps: frame per second)、データレート(bps: bit per second)、解像度(ＨＸＶ(line x pixel))、離散コサイン変換後の量子化レベル、マクロブロックタイプ、マクロブロックパターン（ＣＢＰ、coded pattern block）、動きベクトル検出モードなどの符号化パラメータの最適化を行うことが多い。
【０００４】
【発明が解決しようとする課題】
動画の表示装置には、ＣＲＴ，ＴＦＴ形式のＬＣＤ，ＳＴＮ形式のＬＣＤ，低温ポリシリコンＬＣＤ，プラズマディスプレイなど様々な種類のものが存在しているが、各表示装置で動画の表示を行うと、見え方がそれぞれ異なっている。しかし、従来技術においては、各表示装置に対する符号化パラメータの最適化が十分に行われていなかった。
【０００５】
また、従来技術においては、利用者の再生動画に対する感覚、嗜好が動画符号化装置の符号化制御に反映されておらず、各利用者にとって十分に動画の画質が最適化されていなかった。
【０００６】
また、従来技術では、動画の符号化に当たって、フレームレートあるいはビットレートなどの符号化パラメータが表示装置の画面サイズ（inch）に関係なく常に固定であることが多いので、再生画質が良くない、フレームレートが低いため動画の動きが十分に把握できない、必要以上にビットレートを上げているため記録媒体への記録可能時間が短くなるなどの問題がある。
【０００７】
この発明は上記に鑑みてなされたもので、動画符号化装置の符号化パラメータを表示装置の特性及び複数の利用者の意見、評価を反映させて最適制御することで、動画データを表示する表示装置の特性および複数の利用者の意見を反映した良好な動画再生を可能とする動画符号化制御装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、この発明にかかる動画符号化制御装置は、表示装置の特性および大域的符号化パラメータを固定して局所符号化パラメータを局所特徴量に基づきブロック単位に動的に変更させる符号化処理に基づくサンプル動画の表示処理を、表示装置の特性および大域的符号化パラメータを外部設定によって各種変化させながら複数の被験者に対し繰り返し実行することにより取得した複数の被験者によるモニタリングによる評価情報を統計処理することによって得られた大域的符号化パラメータの最適化範囲が表示装置の特性毎に設定され、かつ前記モニタリングによる評価情報に基づいて取得した局所特徴量と局所符号化パラメータとの対応関係データが前記設定された大域的符号化パラメータの最適化範囲毎に複数組記憶される符号化制御データ記憶部と、動画データが入力される動画入力部と、動画入力部に入力された動画データを分析して動画の局所特徴量を抽出する動画特徴抽出部と、表示装置の特性を示す表示装置特性情報、大域的符号化パラメータおよび動画特徴抽出部で抽出された局所特徴量が入力され、前記入力された表示装置特性情報に対応する大域的符号化パラメータの最適化範囲を前記符号化制御データ記憶部から選択し、該選択された大域的符号化パラメータの最適化範囲に対応する前記複数組の前記対応関係データ中から前記入力された大域的符号化パラメータに対応する対応関係データを前記符号化制御データ記憶部から選択し、該選択した局所特徴量と局所符号化パラメータとの対応関係データを用いて前記入力された局所特徴量に対応する局所符号化パラメータを選択して出力する最適局所符号化パラメータ制御部と、この最適局所符号化パラメータ制御部から出力された局所符号化パラメータおよび前記入力された大域的符号化パラメータに基づき前記動画入力部に入力された動画データを符号化する動画符号化部と、該動画符号化部で符号化された動画データを出力する動画符号出力部とを備えることを特徴とする。
【００１０】
この発明によれば、動画データを表示する表示装置の特性および複数の利用者の意見が反映された動画再生をなし得る大域的符号化パラメータの最適化範囲毎にこの大域的符号化パラメータの最適化範囲を実現するために必要となる局所特徴量と局所符号化パラメータとの最適な対応関係を符号化制御データ記憶部に記憶し、この記憶データを用いて、大域的符号化パラメータおよび局所特徴量に最適な局所符号化パラメータを逐次選択し、選択した局所符号化パラメータに基づいて動画データを符号化するようにしたので、表示装置の特性および複数の利用者の意見を反映した良好な画質の動画再生が可能になる。
【００１７】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記表示装置特性情報には、表示装置の種類を識別する表示装置種類識別情報および／または表示装置の画面サイズを識別する画面サイズ識別情報が含まれていることを特徴とする。
【００１８】
この発明によれば、表示装置の種類（ＣＲＴ，ＴＦＴ形式のＬＣＤ，ＳＴＮ形式のＬＣＤ，低温ポリシリコンＬＣＤ，プラズマディスプレイなど）および／または表示装置の画面サイズの違いに応じて大域的符号化パラメータの最適化範囲と、局所特徴量と局所符号化パラメータとの対応関係とを最適可変制御しているので、表示装置の種類あるいは表示装置の画面サイズが異なっても常に良好な画質の動画再生が可能になる。
【００１９】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記動画符号化部では、ＭＰＥＧ−４符号化を行うことを特徴とする。
【００２０】
この発明によれば、ＭＰＥＧ−４符号化方式において、表示装置の特性および複数の利用者の意見を反映した良好な画質の動画再生が可能になる。
【００２１】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記動画入力部にはサンプル動画データが入力されるとともに、前記動画特徴抽出部は入力されたサンプル動画データを分析して動画の局所特徴量を各フレームのブロック毎に抽出し、前記動画特徴抽出部で抽出された局所特徴量に基づき局所符号化パラメータを各フレームの各ブロック毎に導出する局所符号化パラメータ制御部を更に備え、前記動画符号化部は、入力される大域的符号化パラメータおよび前記局所符号化パラメータ制御部からの局所符号化パラメータを用いて入力されるサンプル動画データを符号化するものであり、前記動画特徴抽出部からの局所特徴量と、局所符号化パラメータ制御部からの局所符号化パラメータと、表示装置の特性および大域的符号化パラメータを固定して局所符号化パラメータを局所特徴量に基づきブロック単位に動的に変更させる符号化処理に基づくサンプル動画の表示処理を、表示装置の特性および大域的符号化パラメータを外部設定によって各種変化させながら複数の被験者に対し繰り返し実行することにより取得した複数の被験者によるモニタリングによる評価情報と、に基づいて確率分布に基づく統計処理を実行することで表示装置の特性毎の大域的符号化パラメータの最適化範囲および該大域的符号化パラメータの最適化範囲毎の局所特徴量と局所符号化パラメータとの複数組の対応関係データを導出して前記符号化制御データ記憶部に記憶する動画データ解析部を更に備えることを特徴とする。
【００２２】
この発明によれば、複数の利用者の意見が反映された動画再生をなし得る大域的符号化パラメータの最適化範囲を導出しかつこれらの大域的符号化パラメータの最適化範囲を実現するために必要となる局所特徴量と局所符号化パラメータとの最適な対応関係を大域的符号化パラメータの最適範囲毎に導出して、符号化制御データ記憶部に記憶する動画データ解析部を備えるようにしている。
【００２３】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記動画データ解析部は、表示装置の特性を固定しかつ大域的符号化パラメータを各種変化させることにより取得した前記複数の被験者によるモニタリングによる評価情報に基づいて複数の被験者毎の前記サンプル動画についての理想とされる復号動画をサンプル動画中の全ブロックについての大域的符号化パラメータ上の確率分布を求める形で作成し、作成した確率分布に基づいて最適化中心を求め、該求めた最適化中心を中心とする大域化符号化パラメータの最適化範囲を求める一連の処理を実行し、その後、表示装置の特性を順次異ならせて前記一連の処理を繰り返し実行することにより、大域的符号化パラメータの最適化範囲を表示装置の特性毎に導出することを特徴とする。
【００２５】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記動画データ解析部は、前記求めた複数の被験者毎の前記サンプル動画についての理想とされる復号動画に含まれる全ブロックについての局所特徴量と局所符号化パラメータとの確実性（確からしさ）を示す定量的関係を求め、該求めた確実性を示す定量的関係に基づいて局所特徴量と局所符号化パラメータとの最適な対応関係データを各大域的符号化パラメータ毎に導出することを特徴とする。
【００２７】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる動画符号化制御装置の好適な実施の形態を詳細に説明する。
【００２８】
まず、この明細書で用いる用語の定義について説明する。動画符号化装置においては、ほとんどの符号化方式で、フレームとブロックという単位で符号化を行う。動画は、所定の時間間隔(一定の場合が多い)での静止画の列とみなすことが出来る。図２に示すように、撮影された各々の静止画をフレームと呼ぶ。さらに、各フレームは、図３に示すように、同じサイズの矩形にわけられる。この矩形はブロックと呼ばれ、このブロック単位に符号化が行われる。ブロックの分け方、ブロックの名前は、符号化方式ごとに異なっている。例えばＭＰＥＧ方式の場合、ブロックはマクロブロックと呼ばれ、これが実質的な符号化の処理単位となっている。
【００２９】
さらに、動画符号化装置においては、動作制御を左右する幾つかの符号化パラメータを静的あるいは動作の途中に動的に指定する必要がある。このように、符号化パラメータは、大域的符号化パラメータと局所符号化パラメータに分けられる。
【００３０】
大域的符号化パラメータとは、符号化全体の方針を決定するために静的に決定する符号化パラメータのことであると定義する。大域的符号化パラメータには、平均のフレームレート(fps: frame per second)、データレート(bps: bit per second)、解像度(ＨＸＶ(line x pixel))などが含まれる。
【００３１】
局所符号化パラメータとは、符号化動作中にブロック単位で動的に変更される符号化パラメータのことであると定義する。ＭＰＥＧ方式を例にとると、局所符号化パラメータには、離散コサイン変換後に行う量子化の際の量子化レベル、マクロブロックタイプ、マクロブロックパターン（ＣＢＰ、coded block pattern）、評価後の最適動きベクトルなどがあり、局所符号化パラメータには、通常複数のパラメータが含まれる。ＭＰＥＧなどの符号化方式では、局所符号化パラメータの変更設定手法は、規格ではないが、標準的な制御手順が参照実装として幾つか提供されている。
【００３２】
局所特徴量（以下、単に特徴量という）とは、局所符号化パラメータを動的に設定するための規準となる量のことであると定義する。例えば、動き補償を行う符号化方式などでは、ブロックが所属する現フレームと隣接するフレームなどとで、最もブロック間の誤差（各画素間の絶対差分の和）が小さくなる位置を表す移動ベクトルとしての動きベクトルを探索する処理を行うが、局所特徴量とは、この動きベクトルや、動きベクトルを求めるための前記誤差（各画素間の絶対差分の和）などのことをいうとする。
局所特徴量の他の例およびこれに対応する局所符号化パラメータを以下に列挙する。
局所特徴量として「ＤＣＴ後のＡＣ成分の絶対値の総和」−これに対応する局所符号化パラメータが「量子化レベル」、
局所特徴量として「現在のブロックと隣接ブロックの同じ位置のブロックとのブロック間誤差」−これに対応する局所符号化パラメータが「マクロブロックタイプ」、
局所特徴量として「動きベクトル探索処理における最小ブロック間誤差とその位置を示す動きベクトル」−これに対応する局所符号化パラメータが「マクロブロックタイプ」、
局所特徴量として「量子化処理後のＤＣＴ係数の絶対値の総和」−これに対応する局所符号化パラメータが「ＣＢＰ（Coded Block Pattern）」である。
【００３３】
図１は、符号化制御データベース生成装置の実施の形態を示すブロック図である。この符号化制御データベース生成装置においては、符号化方式として、シンプルプロファイルと呼ばれるＭＰＥＧ−４の中で、最も基本的なプロファイルを使用するとする。
【００３４】
この符号化制御データベース生成装置は、動画入力部１、動画特徴抽出部２、局所符号化パラメータ制御部３、動画符号化部４、動画データ解析部５、動画復号部６、表示部７、最適化範囲記憶部８および制御データ記憶部９を備えている。
【００３５】
動画入力部１は、撮像カメラやコンピュータなどから入力される符号化処理前のサンプル画像データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位のサンプル画像データを動画特徴抽出部２、動画符号化部４および動画データ解析部５に出力する。動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの局所特徴量を計算し、計算した局所特徴量を局所符号化パラメータ制御部３および動画データ解析部５に出力する。局所符号化パラメータ制御部３は、動画特徴抽出部２から出力された局所特徴量を元に量子化レベル、マクロブロックタイプなどの局所符号化パラメータを導出し、該導出した局所符号化パラメータを動画符号化部４および動画データ解析部５に出力する。
【００３６】
動画符号化部４は、局所符号化パラメータ制御部３からの局所符号化パラメータと外部入力される大域的符号化パラメータと動画入力部１からのブロックデータとを入力データとし、大域的符号化パラメータおよび局所符号化パラメータを用いてブロックデータのＭＰＥＧ−４シンプルプロファイルでの符号化を行い、符号化データを動画データ解析部５および動画復号部６に出力する。動画復号部６は、動画符号化部４からのブロック毎の符号化データにＭＰＥＧ−４シンプルプロファイルでの復号化を実行し、復号動画データをブロック毎に出力する。
【００３７】
表示部７は、ブロック単位に入力される復号動画データを蓄積し、フレーム分だけ復号動画が蓄積されたら、表示を行う。ただし、この場合、表示部７としては、特性（本明細書では、表示装置の特性とは種類および画面サイズのことをいうものとする）の異なる各種表示装置を用いた被験者によるモニタリングが行えるように、ＣＲＴ，ＴＦＴ形式のＬＣＤ，ＳＴＮ形式のＬＣＤ，低温ポリシリコンＬＣＤ，プラズマディスプレイなどの種類の異なる複数の表示装置が用意されており、これら複数の表示装置を適宜切り換え可能となっている。また、１つの種類の表示装置に対して画面サイズの異なる複数の表示装置が用意されており、画面サイズの切り換えも可能となっている。
【００３８】
動画データ解析部５は、動画特徴抽出部２からの局所特徴量と、局所符号化パラメータ制御部３からの局所符号化パラメータと、前記サンプル動画データについて大域的符号化パラメータを各種変化させることにより得られる複数の動画を用いた複数の被験者によるモニタリングを実行した際に得られる各被験者の評価情報とに基づいて確率分布による統計処理を実行することで大域的符号化パラメータの最適化範囲を導出する。また、動画データ解析部５は、前記被験者の評価情報、前記局所特徴量および前記局所符号化パラメータなどに基づいて複数の被験者によるモニタリング結果から得られる理想とされる復号動画に含まれる局所特徴量と局所符号化パラメータとの確実性を示す定量的関係を各フレームの各ブロック毎に求め、この確実性を示す定量的関係に基づいて局所特徴量と局所符号化パラメータとの最適な対応関係を各大域的符号化パラメータ毎に導出する。その詳細については後述する。
【００３９】
最適化範囲記憶部８は、動画データ解析部５で導出された大域的符号化パラメータの最適化範囲を表示装置の種類別および画面サイズ別に記憶する。
【００４０】
制御データ記憶部９は、動画データ解析部５で導出された局所特徴量と局所符号化パラメータとの最適な複数組の対応関係を、大域的符号化パラメータの最適化範囲毎に記憶する。すなわち、制御データ記憶部９において、大域的符号化パラメータの最適化範囲は、表示装置の種類別および画面サイズ別に１つずつ用意されており、１つの大域的符号化パラメータの最適化範囲に、局所特徴量と局所符号化パラメータとの最適な対応関係データが複数組記憶される。
【００４１】
つぎに、図４を参照して、サンプル動画データの入力を元に符号化パラメータの制御データベースを生成する符号化制御データベース生成装置の動作を説明する。
【００４２】
まず、符号化／復号したサンプル動画データを、被験者に対し表示するための表示部７の表示装置として、所定の種類で、所定の画面サイズの表示装置を選択する（ステップ１００）。つぎに、今回の符号化のための大域的符号化パラメータ（フレームレートfps、データレートbps、解像度など）をそれぞれ所定の値に設定する（ステップ１１０）。今回は、この設定された大域的符号化パラメータを用いて、サンプル動画の符号化／復号が実行される。
【００４３】
動画入力部１は、サンプル画像データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位のサンプル画像データを動画特徴抽出部２、動画符号化部４および動画データ解析部５に出力する（ステップ１２０）。
【００４４】
動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの局所特徴量を計算し、計算した局所特徴量を局所符号化パラメータ制御部３および動画データ解析部５に出力する（ステップ１３０）。
【００４５】
局所符号化パラメータ制御部３は、動画特徴抽出部２から出力された局所特徴量を元に量子化レベル、マクロブロックタイプなどの局所符号化パラメータを導出し、該導出した局所符号化パラメータを動画符号化部４および動画データ解析部５に出力する（ステップ１４０）。
【００４６】
動画符号化部４は、局所符号化パラメータ制御部３からの局所符号化パラメータと外部入力される大域的符号化パラメータと動画入力部１からのブロックデータとを入力データとし、大域的符号化パラメータおよび局所符号化パラメータを用いてブロックデータのＭＰＥＧ−４シンプルプロファイルでの符号化を行い、符号化データを動画データ解析部５および動画復号部６に出力する（ステップ１５０）。
【００４７】
動画復号部６は、動画符号化部４からのブロック毎の符号化データにＭＰＥＧ−４シンプルプロファイルでの復号化を実行し、復号動画データをブロック毎に出力する（ステップ１６０）。
【００４８】
表示部７における選択された表示装置は、ブロック単位に入力される復号動画データを蓄積し、フレーム分だけ復号動画が蓄積されたら、表示を行う（ステップ１７０）。この表示を、１〜複数の被験者が観察する。
【００４９】
動画データ解析部５は、今回指定された大域的符号化パラメータに対し、動画特徴抽出部２からの各ブロック毎の局所特徴量と局所符号化パラメータ制御部３からの各ブロック毎の局所符号化パラメータとの組を対応付けて順次図示しないメモリに蓄積していく（ステップ１８０）。
【００５０】
このようなステップ１２０〜１８０の一連の処理を、符号化するサンプルの動画データの各フレーム、各ブロックが全て無くなるまで繰り返す（ステップ１９０）。
【００５１】
つぎに、符号化のための大域的符号化パラメータ（フレームレートfps、データレートbps、解像度など）を別の値に変更設定し（ステップ１１０）、該変更した大域的符号化パラメータを用いて前述したステップ１２０〜１９０の処理を繰り返すことにより、動画データ解析部５において、今回変更指定された大域的符号化パラメータに対し、動画特徴抽出部２からの各ブロック毎の局所特徴量と局所符号化パラメータ制御部３からの各ブロック毎の局所符号化パラメータとの組を対応付けて蓄積させる。
【００５２】
このような処理を大域的符号化パラメータを各種変化させながら繰り返すことにより（ステップ２００）、動画データ解析部５のメモリに、所定の種類で、所定の画面サイズの表示装置に関する各ブロック毎の局所特徴量と各ブロック毎の局所符号化パラメータとの組を多数の異なる大域的符号化パラメータ別に、対応付けて蓄積させることができる。
【００５３】
つぎに、動画データ解析部５は、前記蓄積したデータと、複数の利用者からの意見（各被験者の今回のモニタリングについての評価を示す評価情報）とに基づいて、大域的符号化パラメータの最適化範囲と、大域的符号化パラメータの最適化範囲を実現するために必要となる局所符号化パラメータと動画特徴量との対応関係データを導出する（ステップ２１０，２２０）。この処理の詳細については後述する。
【００５４】
つぎに、最適化範囲記憶部８は、動画データ解析部５で導出された大域的符号化パラメータの最適化範囲を表示装置の種類別および画面サイズ別に記憶する（ステップ２３０）。また、制御データ記憶部９は、動画データ解析部５で導出された局所特徴量と局所符号化パラメータとの最適な複数組の対応関係を、大域的符号化パラメータの最適化範囲に対応付けて記憶する（ステップ２３０）。
【００５５】
このようにして、先のステップ１００で設定した所定の種類で、所定の画面サイズの表示装置に関する大域的符号化パラメータの最適化範囲（最適化範囲記憶部８に記憶）と、大域的符号化パラメータの最適化範囲に対応付けられた局所特徴量と局所符号化パラメータとの最適な複数組の対応関係（制御データ記憶部９に記憶）とを含む１つのデータベースの作成処理が終了する。
【００５６】
つぎに、表示部７の表示装置の特性、すなわち表示装置の種類および画面サイズを変え、この特性を変えた表示装置を用いたモニタリングを行ったときの各被験者の評価情報を用いて、ステップ１００〜２３０の処理を実行することで、つぎのデータベースを作成する。たとえば、種類が同じであって、画面サイズの異なる表示装置を用い、かつこの表示装置を用いたモニタリングを行ったときの各被験者の評価情報を用いて、つぎの１つのデータベースを作成する。
【００５７】
このようにして、同じ種類の表示装置について画面サイズを各種変化させて同様の処理を実行することにより、同じ種類であって画面サイズの異なる複数の表示装置についての複数のデータベースを作成する。
【００５８】
さらに、今度は、表示部７の表示装置の種類を変え、この種類の表示装置について、画面サイズを各種変化させて同様の処理を実行することにより、次の種類の表示装置についての複数のデータベースを作成する。
【００５９】
このような処理を繰り返すことにより、種類及び画面サイズが異なる複数の表示装置について、それぞれが大域的符号化パラメータの最適化範囲と、局所特徴量と局所符号化パラメータとの最適な複数組の対応関係とを含む複数のデータベースを作成する。
【００６０】
図６は、最適化範囲記憶部８の記憶内容の一例を示すものである。図６において、上段は、種類１の表示装置の大域的符号化パラメータ（この場合は、画像解像度、フレームレートおよびビットレート）の最適化範囲を示すものであり、複数の異なる画面サイズ範囲毎に、大域的符号化パラメータの最適化範囲が登録されている。中段は、種類２の表示装置の大域的符号化パラメータの最適化範囲を示すものであり、複数の異なる画面サイズ範囲毎に、大域的符号化パラメータの最適化範囲が登録されている。下段は、種類Ｎの表示装置の大域的符号化パラメータの最適化範囲を示すものであり、複数の異なる画面サイズ範囲毎に、大域的符号化パラメータの最適化範囲が登録されている。
【００６１】
図７は、表示装置の種類としてＴＦＴ形式のＬＣＤを用い、符号化／復号化方式として前述したＭＰＥＧ−４シンプルプロファイルを用いた場合の大域的符号化パラメータの最適化範囲の最適値を示すものである。
【００６２】
図７においては、画像サイズが１．５〜２inchのときは、画像解像度は、ＳＱＶＧＡ(160*120)〜ＱＣＩＦ(174*144)が最適であり、その際の最適フレームレート範囲は、８〜１５fpsであり、また最適ビットレートは３２〜１２８Kbpsである。また、画像サイズが２〜２．５inchのときは、画像解像度は、ＱＣＩＦ〜ＨＱＶＧＡ(240*176)が最適であり、その際の最適フレームレート範囲は、１０〜１５fpsであり、また最適ビットレートは６４〜２５６Kbpsである。また、画像サイズが２．５〜３inchのときは、画像解像度は、ＨＱＶＧＡ〜ＣＩＦ(352*288)が最適であり、その際の最適フレームレート範囲は、１０〜２０fpsであり、また最適ビットレートは１２８〜５１２Kbpsである。なお、上記の数値の範囲において、「ＸＸＸ〜ＹＹＹ」は、ＸＸＸ以上でＹＹＹ未満を示している。例えば、「１．５〜２inch」は、１．５inch以上２inch未満のことである。
【００６３】
図８は、制御データ記憶部９の記憶内容の一部を示すものである。この場合は、ある１つの種類のある１つの画面サイズに対応付けられた大局的符号化パラメータの最適化範囲に関する、局所特徴量と局所符号化パラメータとの最適な複数組の対応関係データを示している。したがって、制御データ記憶部９には、図８に示すような複数組の対応関係データが、大局的符号化パラメータの最適化範囲別に、複数個登録されている。前述したように、大局的符号化パラメータの最適化範囲は、種類及び画面サイズが異なる複数の表示装置分だけ用意されているので、制御データ記憶部９には、これら種類及び画面サイズが異なる複数の表示装置分だけ局所特徴量と局所符号化パラメータとの最適な複数組の対応関係データが登録されることになる。
【００６４】
図８においては、大局的符号化パラメータとして、ビットレートおよび画像解像度の２つのパラメータを用いている。これら２つのパラメータ値の組み合わせ毎に、局所特徴量と局所符号化パラメータの最適な対応関係を示すデータが、複数組用意されている。
【００６５】
つぎに、図５のフローチャートを参照して、動画データ解析部５で行われる図４のステップ２１０および２２０の処理の概念を説明する。
【００６６】
まず、大域的符号化パラメータの取り得る範囲Ｄを設定する（ステップ３００）。通常、Ｄは何らかの制約条件下にある。例えば、大域的符号化パラメータとして、画像の解像度と、フレームレートを選択したとする。通常、入力画像の解像度の縦横比は固定されていて、横がｃで縦がｄと決まっている。スカラー倍をｒとすると、解像度としては、ｃ×ｄ(pixel×line)のスカラー倍ｒのみしか許されないといった制約がある。フレームレートｆ(fps)に関しても、符号化器の性能上、ある所定の上限値までしか許されないといった制約がある。したがって、Ｄは上記のｒとｆの制約を満たしている（ｒ,ｆ）のすべてということになる。（ｒ,ｆ）は、ｒとｆの組み合わせ集合である。
【００６７】
範囲Ｄ内にサンプル点をランダムに選択し、選択した点の集合をＰ＝[ｐ0，ｐ1,…,ｐn-1]⊂Ｄとする（ステップ３１０）。この選択の際、ある程度、選択点の数は多くとる必要はあるが、任意の乱数発生アルゴリズムを用いればよい。選択した点の個数は＃Ｐと表記する。上記選択したサンプル点Ｐ＝[ｐ0，ｐ1,…,ｐn-1]を用いて、ステップ１１０で外部入力される各種の大域的符号化パラメータが決定される。
【００６８】
選択したｎ個の各サンプル点ｐ＝（ｒ,ｆ）∈Ｐに関して、ビットレートＢ(bps)，フレームレートｆ(fps)，解像度ｃ・ｒ×ｄ・ｒ(pel×line)でサンプル動画データＩoを符号化しかつ復号した動画データをＩ(ｐ)と表現するとする。
【００６９】
パラメータＭを定義する。このパラメータＭは、フレームが表示される時間（フレーム番号に対応する）ｔと、フレーム中のブロック位置ｑとの組み合わせｂ＝（ｑ，ｔ）∈Ｍからなる領域である。＃Ｍですべてのフレームのブロックの個数を示す。
【００７０】
さらにI(ｐ)（ｂ）(ただし、ｂ＝（ｑ，ｔ）∈Ｍ)によって、各復号動画I(ｐ)におけるフレームtでのブロックqにおける、符号化時の局所特徴量、局所符号化パラメータの対（動画特徴量，局所符号化パラメータ）を定義する。I(ｐ)（ｂ）によって、各大域的符号化パラメータに対し、動画特徴抽出部２からの各ブロック毎の局所特徴量と局所符号化パラメータ制御部３からの各ブロック毎の局所符号化パラメータとの組を対応付ける。
【００７１】
つぎに、今回のモニタリングによる複数の被験者の評価情報を入力する（ステップ３３０）。モニタリングにおいては、表示装置の種類および画面サイズを固定した状態で、サンプル点Ｐ＝[ｐ0，ｐ1,…,ｐn-1]を用いて大域的符号化パラメータを変化させた複数のサンプル動画Ｉ（ｐ）(ｐ∈Ｐ)を１〜複数の被験者に好きなだけ見てもらい、どの復号動画I(ｐ)のどの部分がよいかを指定してもらう。このようなモニタリングを、表示装置の種類および画面サイズを変更して繰り返す。
【００７２】
Ｓ＝｛α，β，γ，…]を被験者の集合とし、人数を＃Ｓで表現する。一人一人の被験者に、大局的符号化パラメータを異ならせた全てのサンプル動画Ｉ（ｐ）(ｐ∈Ｐ)を好きなだけ見てもらい、どの復号動画I(ｐ)のどの部分がよいかを指定してもらう。たとえば、ｋ，ｌ,ｍ，ｎ∈Ｐとして、
「もっとも良いのは復号動画Ｉ（ｋ）だが、画面中のこの領域に関してはＩ（ｌ）の方がよい。」
「はじめからこの時間まではＩ（ｍ）の動画がよいが、この時間からはＩ（ｎ）の方がよい。」
「Ｉ（ｌ）のこの部分とＩ（ｍ）のこの部分はどちらがいいとも言いがたい。」
といったような意見をそれぞれの被験者に出してもらう。なお被験者は本当に人間ではなく、機械的な手続き、例えばＳＮ比の計算結果のようなものでもよい。その場合、Ｓ＝[α]で、αは各ブロックのもっともＳＮ比が良好なものを与える。
【００７３】
つぎに、それぞれの被験者に対する理想的なベストの映像データを作成する手順を実行する（ステップ３４０）。被験者αの評価をＥ（α）としたときに、各ｘ∈Ｍに対して、Ｐ上の確率分布を決める形で表現する。
【数１】
0003725487.tif 000002
この際に、上記式（１）が成立するように被験者の評価Ｅ（α）を選択する。
【００７４】
各点ｘに対して確率分布は、被験者にとってもっとも良い復号動画Ｉ（ｐ）が大きな割合になるように選ぶ。ブロックｘ∈Ｍにおいて、Ｅ（α）（ｘ）として、もしｎ個の復号動画の区別がつかなければ１を等分しπ（ｐ）＝１／ｎとして、その他の点ｑでは、π（ｑ）＝０となるπとして定義する。もっともよい復号動画がＩ（ｐ）一つで、その他の復号動画Ｉ（ｑ）が良くない場合には、π（ｐ）＝１，π（ｑ）＝０となるπとして定義する。Ｓ＝[α]のＳＮ比の場合の例を挙げると、もっともよいＳＮ比のＩ（ｐ）のｐに対して,π（ｐ）＝１，その他のＩ（ｑ）のｑに対してはπ（ｑ）＝０と決める。ほぼ同じＳＮ比のｐが複数ある場合は、１をｎ等分して、π（ｐ）＝１／ｎとして、その他のＩ（ｑ）のｑに対してはπ（ｑ）＝０と決める。
【００７５】
つぎに、Ｐ上の確率分布の平均値を求める（ステップ３５０）。すなわち、まず、被験者の評価Ｅ（α）（α∈Ｔ)を元にＰ上の確率分布ρ∈Ωを次式（２）のようにして計算する。
【数２】
0003725487.tif 000003
最適化中心（平均値）ｃを下式（３）によって求める。
【数３】
0003725487.tif 000004
【００７６】
次に、最適化中心ｃを中心として、下式（４）を満たす最小の矩形領域（この場合は２つの大域的符号化パラメータを用いているので２次元の矩形領域となる）Ｇ＝[ｃ0-ε0,ｃ0+ε0]×[ｃ1-ε1,ｃ1+ε1]を大域的パラメータの最適化範囲とする。
【数４】
0003725487.tif 000005
このようにして求めた大域的パラメータの最適化範囲を、図６および図７に示した形式で、最適化範囲記憶部８に記憶する（ステップ３６０）。
【００７７】
つぎに、複数の被験者の理想とされる復号動画に含まれる全動画ブロックの局所特徴量と局所符号化パラメータとの確実性を示す定量的関係を求め、この確実性を示す定量的関係に基づいて、各大域的パラメータの最適化範囲毎に、局所特徴量と局所符号化パラメータとの最適な対応関係データを導出する（ステップ３７０）。
【００７８】
すなわち、上記の各被験者の「理想」の復号動画｛Ｅ(α):α∈Ｔ｝を用いて、すべての復号動画ブロックの特徴量と、局所符号化パラメータとの関係
｛Ｉ(ｐ)（ｂ）:ｐ∈Ｐ，ｂ∈Ｍ｝
に対して、下式（５）に示す量ｅｖＩ（ｐ，ｂ）を求める。
【数５】
0003725487.tif 000006
この量ｅｖＩ（ｐ，ｂ）は、特徴量と局所符号化パラメータとの関係であるＩ（ｐ）（ｂ）の確実性を示している。この値ｅｖＩ（ｐ，ｂ）が大きいほど、特徴量と局所符号化パラメータとの関係が最適化された動画のブロックに現れやすく、ｅｖＩ（ｐ，ｂ）が小さいほど現れにくいことを示している。すなわち、ｅｖＩ（ｐ，ｂ）が大きいほど、多くの被験者が良い評価を与えた動画ブロックであることを示している。
【００７９】
一般に動画符号化の対象となるブロックの動画特徴量やブロックの符号化パラメータ等の間には、何らかの(関数)関係がある。この関係は大量のデータを収集し、統計的処理を行ってその関係を抽出することによって得ることが可能である。一般に大量のデータを収集して、ノイズ的な成分を取り除き、本質的な関係を抽出する統計的手法が幾つか知られている。これらの手法では、さらに、関係および因果性がある部分と、そうでない関係がない部分を抽出し、関係のある部分についてはその因果性を(関数)関係として取り出してくれる。便宜上、この手法によってえられた関数の定義域で因果性がない部分は、値が定義されていないとみなすと都合がよい。
【００８０】
本発明の動画符号化装置では、サンプル動画の符号化を行うことにより、多くのブロックに関する情報を収集し、特徴量と局所符号化パラメータの関係に関して、その関係の確からしさの定量的関係がｅｖＩ（ｐ，ｂ）という形で得られている。よって、上記の統計的手法を適用することで、上記値ｅｖＩ（ｐ，ｂ）が大きい値として得られた特徴量と局所符号化パラメータとの関係を抽出して関数化することが可能である。
【００８１】
このようにして得られた、特徴量から局所符号化パラメータへの関数、すなわち、局所特徴量と局所符号化パラメータとの最適な複数組の対応関係データを、図８に示した形式で、先のステップ３６０で求めた大域的符号化パラメータの最適化範囲と関連づけて、局所符号化制御データベースとして制御データ記憶部９に記憶する。
【００８２】
このようにこの符号化制御データベース生成装置によれば、表示装置の特性および複数の利用者の意見が反映された動画再生をなし得る大域的符号化パラメータの最適化範囲を導出することができ、またこれらの大域的符号化パラメータの最適化範囲を実現するために必要となる局所特徴量と局所符号化パラメータとの最適な対応関係を大域的符号化パラメータ毎に導出することができ、これにより複数の利用者の意見を反映した良好な画質の動画再生が可能になる符号化パラメータが記憶されるデータベースを実現することができる。
【００８３】
なお、モニタリングの際の被験者の評価情報を適宜のメモリに記憶しておき、この記憶データを用いて動画データ解析部５での解析処理を行わせるようにしてもよい。
【００８４】
つぎに、図９〜図１１を用いて動画符号化制御装置についての実施形態を説明する。この動画符号化制御装置においては、符号化方式として、シンプルプロファイルと呼ばれるＭＰＥＧ−４の中で、最も基本的なプロファイルを使用するとする。
【００８５】
図９は動画符号化制御装置の実施の形態を示すブロック図である。この動画符号化制御装置は、動画入力部１と、動画特徴抽出部２、動画符号化部４、制御データ記憶部９、最適局所符号化パラメータ制御部１０および動画符号出力部２０を備えている。図１に示す構成要素と同一機能を達成する構成要素に関しては同一符号を付している。
【００８６】
つぎに、図１０および図１１のフローチャートを参照して、図９に示した動画符号化制御装置の動作を説明する。
【００８７】
動画入力部１は、撮像カメラやコンピュータなどから入力される符号化処理前の任意の動画データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位の動画データを動画特徴抽出部２および動画符号化部４に出力する（ステップ４２０）。動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの局所特徴量を計算し、計算した局所特徴量を最適局所符号化パラメータ制御部１０に出力する（ステップ４３０）。
【００８８】
最適局所符号化パラメータ制御部１０は、外部入力される大域的符号化パラメータおよび表示装置特性情報と、動画特徴抽出部２から出力される動画の局所特徴量と、制御データ記憶部９の局所符号化制御データベースから出力される情報とを元に、最適な局所符号化パラメータを求め、求めた局所符号化パラメータを動画符号化部４に出力する（ステップ４４０）。制御データ記憶部９には、図１に示した動画符号化制御データベース生成装置によって作成された局所符号化制御データベースが記憶されている。
【００８９】
図１１を用いて最適局所符号化パラメータ制御部１０の動作を更に詳細に説明する。
【００９０】
制御データ記憶部９には、図８を用いて説明したように、種類及び画面サイズが異なる複数の表示装置分に対応する複数の大局的符号化パラメータ分だけ、局所特徴量と局所符号化パラメータとの最適な複数組の対応関係データが登録されている。最適局所符号化パラメータ制御部１０は、外部入力される大域的符号化パラメータおよび表示装置特性情報に基づき制御データ記憶部９の記憶データを検索することで、表示装置の種類が一致し且つ画面サイズが一致する局所符号化制御データベースを選択し、さらに入力された大域的符号化パラメータに対応する局所特徴量と局所符号化パラメータとの対応関係データを複数の対応関係データのなかから選択する（ステップ５００）。
【００９１】
つぎに、最適局所符号化パラメータ制御部１０は、選択した局所特徴量と局所符号化パラメータとの対応関係データ中に、動画特徴抽出部２から入力された局所特徴量に対応する局所符号化パラメータ値（関数値）が定義されているか否かを判断する（ステップ５１０）。
【００９２】
定義されている場合は、入力された局所特徴量に対応する局所符号化パラメータを求め、該求めた局所符号化パラメータを動画符号化部４に出力する（ステップ５２０）。関数が未定義の場合は、大域的符号化パラメータと局所特徴量に対する標準の局所符号化パラメータの手順を用いて局所符号化パラメータを決定し、決定した局所符号化パラメータを動画符号化部４に出力する（ステップ５３０）。
【００９３】
動画符号化部４は、最適局所符号化パラメータ制御部１０からの局所符号化パラメータと外部入力される大域的符号化パラメータと動画入力部１からのブロックデータとを入力データとし、大域的符号化パラメータおよび局所符号化パラメータを用いてブロックデータのＭＰＥＧ−４シンプルプロファイルでの符号化を行い、符号化データを動画符号出力部２０に出力する（図１０ステップ４５０）。
【００９４】
動画符号出力部２０は、入力された動画符号化データを記憶装置への蓄積や通信回線への送信可能な形式に変換して出力する（ステップ４６０）。
【００９５】
このようなステップ４２０〜４６０の一連の処理を、符号化するサンプルの動画データの各フレームデータ、各ブロックデータが無くなるまで繰り返す（ステップ４７０）。
【００９６】
このようにこの動画符号化制御装置によれば、動画データを表示する表示装置の特性および複数の利用者の意見が反映された動画再生をなし得る大域的符号化パラメータの最適化範囲毎にこの大域的符号化パラメータの最適化範囲を実現するために必要となる局所特徴量と局所符号化パラメータとの最適な対応関係を符号化制御データ記憶部に記憶し、この記憶データを用いて、大域的符号化パラメータおよび局所特徴量に最適な局所符号化パラメータを逐次選択し、選択した局所符号化パラメータに基づいて動画データを符号化するようにしたので、表示装置の特性および複数の利用者の意見を反映した良好な画質の動画再生が可能になる。
【００９７】
【発明の効果】
以上説明したように、この発明によれば、動画データを表示する表示装置の特性および複数の利用者の意見が反映された動画再生をなし得る大域的符号化パラメータの最適化範囲毎にこの大域的符号化パラメータの最適化範囲を実現するために必要となる局所特徴量と局所符号化パラメータとの最適な対応関係を符号化制御データ記憶部に記憶し、この記憶データを用いて、大域的符号化パラメータおよび局所特徴量に対応する局所符号化パラメータを逐次選択し、選択した局所符号化パラメータに基づいて動画データを符号化するようにしたので、表示装置の特性および複数の利用者の意見を反映した良好な画質の動画再生が可能になる。また、この発明によれば、表示装置の特性および大域的符号化パラメータを外部設定によって各種変化させながら複数の被験者に対し繰り返し実行することにより取得した複数の被験者によるモニタリングによる評価情報を統計処理することによって得られた大域的符号化パラメータの最適化範囲および局所特徴量と局所符号化パラメータとの対応関係データに基づいた動画データの符号化が可能となり、これにより複数の被験者による画像の主観的な評価の結果を直接反映させるのが困難な、符号化器を制御するために内部にて必要となる局所的符号化パラメータの制御に、複数の被験者による評価の結果を、局所的符号化パラメータを直接変化させること無く反映させることが可能となる。
【０１０１】
つぎの発明によれば、表示装置の種類および／または表示装置の画面サイズの違いに応じて大域的符号化パラメータの最適化範囲と、局所特徴量と局所符号化パラメータとの対応関係とを可変制御しているので、表示装置の種類あるいは表示装置の画面サイズが異なっても常に良好な画質の動画再生が可能になる。
【０１０２】
つぎの発明によれば、ＭＰＥＧ−４符号化方式において、表示装置の特性および複数の利用者の意見を反映した良好な画質の動画再生が可能になる。
【図面の簡単な説明】
【図１】  本発明の実施の形態における符号化制御データベース生成装置の構成を示すブロック図である。
【図２】  動画のフレームの概念を示す図である。
【図３】  動画フレーム内のブロックの概念を示す図である。
【図４】  図１の符号化制御データベース生成装置の動作を示すフローチャートである。
【図５】  図１の符号化制御データベース生成装置の動画データ解析部の動作を示すフローチャートである。
【図６】  最適化範囲記憶部の記憶内容を例示する図である。
【図７】  大域的符号化パラメータの最適化範囲の具体例を示す図である。
【図８】  制御データ記憶部の記憶内容を説明するための図である。
【図９】  本発明の実施の形態における動画符号化制御装置の構成を示すブロック図である。
【図１０】  図９の動画符号化制御装置の動作を示すフローチャートである。
【図１１】  図９の動画符号化制御装置の最適局所符号化パラメータ制御部の動作を示すフローチャートである。
【符号の説明】
１  動画入力部、２  動画特徴抽出部、３  局所符号化パラメータ制御部、４動画データ解析部、５  動画データ解析部、６  動画復号部、７  表示部、８最適化範囲記憶部、９  制御データ記憶部、１０  最適局所符号化パラメータ制御部、２０  動画符号出力部。
【図１】
0003725487.tif 000007
【図２】
0003725487.tif 000008
【図３】
0003725487.tif 000009
【図４】
0003725487.tif 000010
【図５】
0003725487.tif 000011
【図６】
0003725487.tif 000012
【図７】
0003725487.tif 000013
【図８】
0003725487.tif 000014
【図９】
0003725487.tif 000015
【図１０】
0003725487.tif 000016
【図１１】
0003725487.tif 000017