(57)【要約】遺伝的アルゴリズム及び記憶装置を用いてビデオシステム最適化を加速するシステム及び方法であって、これにより以前に評価された染色体及び当該染色体に関連した画像品質が高速取得のためハッシュテーブル等のメモリユニットに記憶され、再テストされる必要のない以前に評価された染色体（ビデオシステムのバリエーション）のための処理時間を大きく節減するシステム及び方法である。（ａ）ビデオ画像入力のビデオ画像評価のためにヒューリスティック最適化フレームワークを利用する、複数の遺伝的アルゴリズムを含むビデオ処理システムを提供するステップと、（ｂ）複数の修正された画像を生じるように、前記ビデオ画像を最適化するために適用される前記複数の遺伝的アルゴリズムの固有の組合せを有する複数のシステム最適化デザインをテストするステップと、（ｃ）ステップ（ｂ）に記載の複数のシステム最適化のそれぞれに、前記修正された画像の客観的画像品質メトリック評価に基づいてフィットネス値を割り当てるステップと、（ｄ）それぞれの修正された画像及び関連したフィットネス値を含む前記テストされたシステム最適化デザインのそれぞれをメモリに記憶するステップと、（ｅ）提案されたシステム最適化デザインが、以前にステップ（ｂ）でテストされて前記メモリに記憶された遺伝的アルゴリズムの１つ又は複数の特定の組合せを含むかどうか決定するステップと、（ｆ）前記次のビデオ画像評価に対する最適解を見つけるために、遺伝的アルゴリズムの前記１つ又は複数の特定の組合せを有する前記テストされたシステム最適化デザインの結果を取得するステップとを含んでよい。
2005523608.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ最適化の時間を減少させる方法において、
（ａ）ビデオ画像入力のビデオ画像評価のためにヒューリスティック最適化フレームワークを利用するビデオ処理システムを提供するステップであって、前記ビデオ処理システムは複数の遺伝的アルゴリズムを含む、ステップと、
（ｂ）複数の修正された画像を生じるように、前記ビデオ画像を最適化するために適用される前記複数の遺伝的アルゴリズムの固有の組合せを有する複数のシステム最適化デザインをテストするステップと、
（ｃ）ステップ（ｂ）に記載の複数のシステム最適化のそれぞれに、前記修正された画像の客観的画像品質メトリック評価に基づいてフィットネス値を割り当てるステップと、
（ｄ）それぞれの修正された画像及び関連したフィットネス値を含む前記テストされたシステム最適化デザインのそれぞれをメモリに記憶するステップと、
（ｅ）次のビデオ画像評価を実行する前に、提案されたシステム最適化デザインが、以前にステップ（ｂ）でテストされて前記メモリに記憶された遺伝的アルゴリズムの１つ又は複数の特定の組合せを有するかどうか決定するステップと、
（ｆ）（ｉ）前記次のビデオ画像評価に対する最適解を見つけるために、遺伝的アルゴリズムの前記１つ又は複数の特定の組合せを有する前記テストされたシステム最適化デザインの結果を取得するステップ、又は、
（ｆ）（ｉｉ）以前にステップ（ｂ）でテストされて記憶されていない、前記次のビデオ画像評価を最適化する遺伝的アルゴリズムのあらゆる組合せをテストするステップと、
（ｇ）  ステップ（ｆ）の結果に基づいて前記次のビデオ画像品質評価のための最適解を見つけるステップと、
を有する方法。
【請求項２】
請求項１に記載の方法において、ステップ（ｄ）で実行される記憶はハッシュテーブルに実行される、方法。
【請求項３】
請求項１に記載の方法において、ステップ（ｆ）（ｉｉ）は、更に、ステップ（ｆ）（ｉｉ）でテストされた遺伝的アルゴリズムの前記あらゆる組合せのテスト結果を前記メモリに記憶するステップを有する、方法。
【請求項４】
請求項１に記載の方法において、ステップ（ａ）に記載のビデオ画像入力は放送画像である、方法。
【請求項５】
請求項１に記載の方法において、ステップ（ａ）に記載のビデオ画像入力は以前に記録された画像である、方法。
【請求項６】
請求項５に記載の方法において、前記以前に記録された画像は圧縮された画像である、方法。
【請求項７】
請求項１に記載の方法において、ステップ（ｂ）に記載のテストはシステム最適化ユニットによって実行される、方法。
【請求項８】
請求項１に記載の方法において、ステップ（ｃ）に記載のフィットネス値の割当ては、客観的画像品質メトリックモジュールによって実行される、方法。
【請求項９】
請求項８に記載の方法において、前記客観的画像品質メトリックによるビデオ画像の前記評価は、前記システム最適化ユニットにフィードバックされる、方法。
【請求項１０】
遺伝的アルゴリズムを用いるときのビデオ最適化の時間を減少させるためのシステムにおいて、
−ビデオ画像入力を受信するための手段と、
−複数の遺伝的アルゴリズムを有する遺伝的アルゴリズムモジュールを含むビデオ最適化ユニットと、
−少なくとも１つの遺伝的アルゴリズムに従って前記ビデオ最適化ユニットによって処理される前記ビデオ画像の画像品質を評価するための、及び、前記ビデオ最適化ユニットによって処理される前記ビデオ画像にフィットネス値を割り当てるための、客観的画像品質メトリックユニットと、
−前記客観的画像品質メトリックユニットによって評価される前記画像とシステム最適化デザインに関連した遺伝的アルゴリズムの特定の組合せの前記関連したフィットネス値とに関するデータを記憶するための記憶ユニットと、
を有し、前記記憶ユニットによって記憶される前記データは、遺伝的アルゴリズムの前記特定の組合せが次のビデオ画像を処理するために用いられるべきときに、次の使用のために取得可能である、システム。
【請求項１１】
請求項１０に記載のシステムにおいて、前記ビデオ最適化ユニットの前記遺伝的アルゴリズムは、空間的スケーリング、ヒストグラム修正、適応ピーキング及びノイズリダクションを含む複数のビデオ機能を最適化する、システム。
【請求項１２】
請求項１０に記載のシステムにおいて、前記記憶ユニットは、前記画像を前記画像品質の前記評価とともに記憶する、システム。
【請求項１３】
請求項１０に記載のシステムにおいて、更に、アルゴリズムの前記特定の組合せが以前に前記記憶ユニットに記憶されたかどうか検出するための検出手段を有するシステム。
【請求項１４】
請求項１０に記載のシステムにおいて、前記受信するための手段は、ビデオ放送を受信するための手段を含む、システム。
【請求項１５】
請求項１０に記載のシステムにおいて、前記受信するための手段は、ビデオストリームを受信するための手段を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ品質を評価して、実行するためのシステム及び方法に関する。本発明は、特に、遺伝的アルゴリズム及び記憶装置を用いてビデオシステム最適化を加速する方法及び装置に関する。
【背景技術】
【０００２】
ビデオ品質を評価するための遺伝的アルゴリズム（ビデオ品質が向上されるフィードバックシステムの一部であってもなくてもよい）の使用は、本発明者によって、２００１年３月２７日出願の米国特許出願第０９／８１７，９８１号「A General Scheme for Diffusing Different Implementations of a Number of Video Algorithms in an Optimum Way for Best Objective Video Quality」及び２０００年１２月１２日出願の米国特許出願０９／７３４，８２３号「A Scalable Dynamic Metric For Automatic Evaluation of Video Quality」において提案されている。
【０００３】
これらの出願において、ビデオ品質評価を改善する主要な目標は、一連の客観的品質ビデオモジュールを提供することを含み、これらモジュールの各々は、客観的ビデオ品質評価を提供することができる特定の種類のアルゴリズムを有する。
【０００４】
従来技術においては、ビデオシステムは多数のビデオ機能（例えばシャープネス強調、ノイズリダクション、色補正等）から構成されている。これらのビデオ機能の各々が多くの制御パラメータを必要としうるので、各機能の実装の組合せは潜在的に膨大であり、また、アプリケーションの順序は不明確でありうる。更に、各構成が、他の全ての組合せと何らかの形で異なった特定の画像品質を生じさせ、可能な構成の総数は極端に大きくなりうる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の特許出願は、品質を評価するための新規な自明でない方法を提供するが、それでもなお、組合せを処理して評価するのに必要な時間によって妨げられる。換言すれば、遺伝的アルゴリズムの実行時間は、特に画像が生放送であるか、又は、評価を必要とする一連の速く変化する場面がある場合に、過剰になる可能性がある。
【課題を解決するための手段】
【０００６】
従って、本発明は、遺伝的アルゴリズム及び記憶装置を用いてビデオシステム最適化を加速するシステム及び方法であって、これにより以前に評価された染色体及び当該染色体に関連した画像品質が高速取得のためメモリユニットに記憶され、再テストされる必要のない以前に評価された染色体（ビデオシステムのバリエーション）のための処理時間を大きく節減するシステム及び方法を提供する。
【０００７】
本発明の第１の側面によれば、ビデオ最適化の時間を減少させる方法において、
（ａ）ビデオ画像入力のビデオ画像評価のためにヒューリスティック最適化フレームワークを利用するビデオ処理システムを提供するステップであって、前記ビデオ処理システムは複数の遺伝子のアルゴリズムを含む、ステップと、
（ｂ）複数の修正された画像を生じるように、前記ビデオ画像を最適化するために適用される前記複数の遺伝的アルゴリズムの固有の組合せを有する複数のシステム最適化デザインをテストするステップと、
（ｃ）ステップ（ｂ）の前記複数のシステム最適化のそれぞれに、前記修正された画像の客観的画像品質メトリック評価に基づいてフィットネス値を割り当てるステップと、
（ｄ）それぞれの修正された画像及び関連したフィットネス値を含む前記テストされたシステム最適化デザインのそれぞれをメモリに記憶するステップと、
（ｅ）次のビデオ画像評価を実行する前に、提案されたシステム最適化デザインが、以前にステップ（ｂ）でテストされて前記メモリに記憶された遺伝的アルゴリズムの１つ又は複数の特定の組合せを有するかどうか決定するステップと、
（ｆ）（ｉ）前記次のビデオ画像評価に対する最適解を見つけるために、遺伝的アルゴリズムの前記１つ又は複数の特定の組合せを有する前記テストされたシステム最適化デザインの結果を取得するステップ、又は、
（ｆ）（ｉｉ）以前にステップ（ｂ）でテストされて記憶されていない、前記次のビデオ画像評価を最適化する遺伝的アルゴリズムのあらゆる組合せをテストするステップと、
（ｇ）ステップ（ｆ）の結果に基づいて前記次のビデオ画像品質評価のための最適解を見つけるステップと、
を有する方法が提供される。
【０００８】
本発明の別の態様では、ステップ（ｄ）で実行される記憶は、ハッシュテーブルに実行されることができる。
【０００９】
加えて、ステップ（ｆ）（ｉｉ）は、ステップ（ｆ）（ｉｉ）でテストされた遺伝的アルゴリズムの前記あらゆる組合せのテスト結果を前記メモリに記憶するステップを更に有する。
【００１０】
ステップ（ａ）のビデオ画像入力は、放送画像、以前に記録された画像又は圧縮画像であってよい。
【００１１】
ステップ（ｂ）のテストは、システム最適化ユニットによって実行されることができる。
【００１２】
ステップ（ｃ）におけるフィットネス値の割当ては、客観的画像品質メトリックモジュールによって実行されることができる。
【００１３】
加えて、客観的画像品質メトリックによるビデオ画像の評価は、システム最適化ユニットにフィードバックされることができる。
【００１４】
本発明の更に別の態様によれば、遺伝的アルゴリズムを用いるときのビデオ最適化の時間を減少させるためのシステムは、
−ビデオ画像入力を受信するための手段と、
−複数の遺伝的アルゴリズムを有する遺伝的アルゴリズムモジュールを含むビデオ最適化ユニットと、
−少なくとも１つの遺伝的アルゴリズムに従って前記ビデオ最適化ユニットによって処理される前記ビデオ画像の画像品質を評価するための、及び、前記ビデオ最適化ユニットによって処理される前記ビデオ画像にフィットネス値を割り当てるための、客観的画像品質メトリックユニットと、
−前記客観的画像品質メトリックユニットによって評価される前記画像とシステム最適化デザインに関連した遺伝的アルゴリズムの特定の組合せの前記関連したフィットネス値とに関するデータを記憶するための記憶ユニットと、
を有し、前記記憶ユニットによって記憶される前記データは、遺伝的アルゴリズムの前記特定の組合せが次のビデオ画像を処理するために用いられるべきときに、次の使用のために取得可能である。
【００１５】
記憶ユニットは、ハッシュテーブルを有する。前記ビデオ最適化ユニットの遺伝的アルゴリズムは、空間的スケーリング、ヒストグラム修正、適応ピーキング及びノイズリダクションを含む複数のビデオ機能を最適化する。記憶ユニットは、画像を画像品質の評価とともに記憶する。
【００１６】
システムは、アルゴリズムの前記特定の組合せが以前に記憶ユニットに記憶されたかどうか検出するための検出手段を更に有してもよい。加えて、前記受信するための手段は、ビデオ放送を受信するための手段を含むことができる。
【００１７】
最後に、前記受信するための手段は、ビデオストリームを受信するための手段を含むことができる。
【発明を実施するための最良の形態】
【００１８】
遺伝的アルゴリズムは、染色体ストリングの形で符合化されたビデオシステムデザイン（候補解）の数（個体数（population））を維持する反復的な手法である。最初の個体数は、ヒューリスティックに又はランダムに選択されることができ、そして、その染色体は世代（多くのシステムデザイン）の各要素（ビデオシステムデザイン）を規定する。
【００１９】
図１は、バイナリ染色体を利用した遺伝的アルゴリズムによるビデオシステムの表示の実施例を示す（当業者には、システム及び構成要素のレイアウトは、説明のために示されるのであり、制限のために示されるものではないということは理解される）。バイナリ染色体は、空間的スケーリング機能１１０、ヒストグラム修正機能１２０、適応ピーキング機能及びノイズリダクション機能を有する。この表示は、構造的デザイン、即ち、異なったビデオ構成要素の順序（例えば、示されるシステムは、スケーラ、ヒストグラム修正、ピーキング及びノイズリダクションの順序を有する）も、２つのカスケードされた構成要素間のデータバス幅と同様に取り込んでいるということが理解されるであろう。
【００２０】
ビデオシステムデザインの各世代について、各候補が評価され、結果の画像品質がどの程度良いか（又は悪いか）を表すフィットネス値を割り当てられる。
【００２１】
画像品質は客観的メトリック（objective metric）で測定され、これは、画像品質を決定する人間の視覚システムを模倣しようとするサブシステムである。この画像品質は、一般に、各候補の染色体に含まれる復号されたビットの関数である。遺伝的アルゴリズムは、そのフィットネス値（例えばこのシステムから生じる画像品質がどれくらい良いか）に基づいてこれらの候補の幾つかを次世代の再生のために選択する。選択された候補は、遺伝子組換え操作の交叉及び突然変異を用いて組み合わせられる。許容可能なおよその解を見つけるか、特定数の世代に到達するか、又は解が収束すると、終結基準（termination criteria）が起動される。
【００２２】
最も時間がかかるプロセスは、ビデオシステムから得られる画像品質を客観的画像品質メトリックによって評価するステップにあるので、本出願人は、評価が行われたテストされた染色体（ビデオシステム）の各々を、該染色体の関連した画像品質と共に記憶する高速取得メモリ機構（例えばハッシュテーブル）を用いることを提案する。テストされた染色体を記憶して、後で取得するために、メモリユニットを利用することは、多くのコストのかかる評価を防止し、このことは、全体的な最適化プロセスの減速という結果を生じる。一般に、Ｎのビデオデザインのフィットネス（画像品質）を求めるのに遺伝的アルゴリズムが用いられなければならず、このＮのうちｍが以前にテストされていなかったら、以下のように計算時間にゲインを得ることが期待される。
【数１】
2005523608.tif 000003
Ｔｅｖａｌは、１つの評価の時間であり、Ｔｌｏｏｋ−ｕｐ及びＴｕｐｄａｔｅは、それぞれ記録をメモリで見つけ、記録を書き込むのに要求される時間である。以下の場合にはゲインは正である。
【数２】
2005523608.tif 000004
評価時間が何十分にも亘り得るビデオシステムを取扱う場合には、上述した何十分もの評価時間に対して、ハッシュテーブルの検索及び更新の時間はナノセカンドのオーダーであるので、本発明によって時間の大幅な節減が実現されることができる。
【００２３】
図２は、ハッシュテーブルを含むシステムの構成要素を示す。図２によれば、ビデオストリームが入力されるビデオ処理要素２１０があることが分かる。一連のビデオ処理アルゴリズムを含む遺伝的アルゴリズムモジュール２１５を有する最適化ユニットが用いられる（遺伝的アルゴリズムが示されているが、当業者は、他の種類のビデオ処理アルゴリズムが用いられることができることを理解する）。
【００２４】
最適化ユニット２１５は、各ビデオ処理アルゴリズムのための制御パラメータセッティングを設定する。客観的品質メトリックユニット２２０は、ビデオ品質を自動的に評価するためのスケーラブルダイナミックな客観的メトリックを提供する。最適化ユニット２１５からのビデオストリームの出力は、客観的品質メトリックユニット２２０にフィードバックされる。客観的メトリックが「ダブルエンド（double ended）」（ビデオ品質が、第１の元のビデオ画像及び第２のプロセスビデオ画像を用いて評価され、これらは元のビデオ画像中の変化を決定することにより品質を評価するために比較される、ということを意味する）であるか、又は「シングルエンド（single ended）」（ビデオ品質を評価するのにアルゴリズムが適用されることを意味する）であることができることは真実ではあるが、本発明においては、シングルエンド型の客観的メトリックが用いられる。
【００２５】
加えて、最良の形態ではハッシュテーブルであるメモリユニット２２５（但し、メモリユニットはハッシュテーブルに限定されるものではなくあらゆる種類のメモリを有してよいことを理解されたい）が、異なった組合せのアルゴリズムの結果及び関連した画像品質評価の結果を記憶する。メモリユニットが高速取得時間を有する限り、評価の記憶は、処理の再発及びテストに浪費される時間を防止し、各染色体（ビデオシステム）を記憶してビデオがシステムに入力されるごとに評価を実行する。また、ビデオの過程において僅かな変化がある（例えば、ある特定のシーンでは人が青いシャツを着てオフィスにおり、他のシーンでは（一両日後と仮定される）、同一人物が違う色のシャツを着ているか、又は、第１の評価のときよりも晴れた日なので部屋が僅かにより明るい）が、この差が非常に小さい場合には、画像品質を評価するプロセス全体を通して行うことは、最適化プロセスを遅くする一方で、第１のビデオとは僅かに異なる第２のビデオからのシーンに基づいて小さくて人間の目には知覚不能でありうる変化を画像に加えることになる場合が多い。
【００２６】
図３−Ａ及び３−Ｂは、本発明による方法の概要を示すフローチャートを提供する。
【００２７】
ステップ３０５で、ビデオ画像品質評価のためにヒューリスティック最適化フレームワークを利用するビデオ処理システムが提供される。ヒューリスティック最適化フレームワークは、遺伝的アルゴリズムを用いると構想されるが、シミュレーテッドアニーリング及びｔａｂｕ検索等の他の種類のヒューリスティック最適化が用いられることができることを理解されたい。
【００２８】
ステップ３１０で、複数の遺伝的アルゴリズムの固有の組合せを有する複数のシステム最適化デザインが、ビデオ画像入力を最適化するために適用され、各組合せがテストされるごとに修正された画像が生じる。
【００２９】
ステップ３１５で、これらの修正された画像は、典型的には客観的画像品質メトリックモジュールによってフィットネス値を割り当てられる。前記画像品質客観的モジュールは、先に引用された参考文献においてより詳細に議論される。
【００３０】
ステップ３２０で、テストされたシステム最適化デザインのそれぞれは、それぞれの修正された画像を含んでいてもよく、フィットネス値とともにメモリに記憶される。制限ではなく説明の便宜上、ハッシュテーブルは、そのような種類の用いられることができるメモリの１つである。
【００３１】
ステップ３０５〜３２０は、実質的に本発明による方法の第１の部分をカバーし、ここで、入って来るビデオ画像は、異なった設計によって最適化されて、評価された。
【００３２】
続いて、ステップ３２５で、他のビデオ画像が入力される。第１のビデオ入力画像に対して実行される評価を実行する前に、提案された最適化デザインが、ステップ３０５〜３２０において用いられた遺伝的アルゴリズムの１つ又は複数の特定の組合せを有するかどうかが最初に決定される。これらの組合せが以前に用いられているならば、これらは以前に記憶されている（ステップ３２０）。従って、ステップ３３０は、染色体を再テストする必要性を解消するために結果をハッシュ表から次のビデオ用に取得することを伴う。本方法は、次に、次のビデオ画像評価のための最適解を見つけるためにステップ３４０に進行する。
【００３３】
しかし、ステップ３２５の決定が、組合せ遺伝的アルゴリズムが以前に記憶されなかったということであるならば、本方法はステップ３１０と同様にテストを行う。このとき、ステップ３４０で最適解が見つけられる。ステップ３４０におけるテストも随意に将来の取得のために記憶されることができることに注意されたい。
【００３４】
当業者によって、本発明の精神又は添付の請求項の範囲から逸脱することなく種々の修正例が作製可能である。例えば、遺伝的アルゴリズムの代わりに、シミュレーテッドアニーリング又はｔａｂｕサーチが実行されることができる。ビデオ最適化モジュールの数及び種類は示されたものとは異なっていることができ、メモリユニット及び客観的画像品質メトリックについても同様に異なっていることができる。
【図面の簡単な説明】
【００３５】
【図１】バイナリ染色体によるビデオシステムの表示を示す。
【図２】遺伝的アルゴリズムを用いて実行される最適化を加速するためにメモリユニットを利用するビデオシステム構成を示す。
【図３−Ａ】本発明による方法の概要を示すフローチャートを提供する。
【図３−Ｂ】本発明による方法の概要を示すフローチャートを提供する。
【図１】
2005523608.tif 000005
【図２】
2005523608.tif 000006
【図３Ａ】
2005523608.tif 000007
【図３Ｂ】
2005523608.tif 000008
【国際調査報告】
2005523608.tif 000009
2005523608.tif 000010
2005523608.tif 000011