(57)【要約】  デジタル画像を処理するシステム。本システムは、プロセッサおよびメモリを具備するコントローラを備えることが可能である。本システムは、前記コントローラと機能的に結合された複数の画像処理ブロックを備えることも可能である。各画像処理ブロックは、異なる画像処理操作を実行するように構成されることができる。前記画像処理ブロックおよびコントローラは、相互接続されて連続する画素処理を提供するように構成されることができる。各画像処理ブロックは、出力画素群を生成するように前記入力画素群を処理し、前記画像処理ブロックの上流側の１つの出力画素群は、前記画像処理ブロックの下流側の１つへの入力画素群としてフィードフォワードされることができる。さらに、本システムは、前記画像処理ブロックの各々に対して、その画像処理ブロックに適用される入力画素群に対する更新された分類データを取得するように構成された分類ブロックを含むことが可能である。各画像処理ブロックでの処理は、前記画像処理ブロックに適用された前記入力画素群に対する更新された分類データに基づいて動的に制御されることができる。【選択図】      図７
2007528533.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を処理するシステムであって、
プロセッサおよびメモリを具備するコントローラと、
該コントローラと機能的に結合された複数の画像処理ブロックと、
該画像処理ブロックのそれぞれに対して、その画像処理ブロックに適用される入力画素群に対する更新された分類データを取得するように構成された分類ブロックと
を備え、
各画像処理ブロックは、異なる画像処理操作を実行するように構成され、前記画像処理ブロックおよびコントローラは、相互接続されて連続する画素処理を提供するように構成され、各画像処理ブロックは、出力画素群を生成するように前記入力画素群を処理し、前記画像処理ブロックの上流側の１つの前記出力画素群は、前記画像処理ブロックの下流側の１つへの前記入力画素群としてフィードフォワードされ、
各画像処理ブロックでの処理は、前記画像処理ブロックに適用された前記入力画素群に対する更新された分類データに基づいて動的に制御されるシステム。
【請求項２】
前記コントローラは、前記画像処理ブロックのうちの少なくとも１つに対して、そのような画像処理ブロックに関連する複数の異なる処理技術を選択的に組み合わせることによって処理を動的に制御するように構成され、そのような選択的な組み合わせは、そのような画像処理ブロックに適用された入力画素群の更新された分類データに基づいて実行される請求項１記載のシステム。
【請求項３】
前記コントローラは、前記画像処理ブロックのうちの少なくとも１つでの処理技術の選択的な組み合わせに基づいて、前記画像処理ブロックのうちの別のもので生じる処理を動的に制御するように構成されている請求項２記載のシステム。
【請求項４】
前記コントローラは、前記画像処理ブロックのうちの別のもので適用された処理技術に基づいて、前記画像処理ブロックのうちの１つで適用されたシャープネス制御を動的に変更するように構成されている請求項１記載のシステム。
【請求項５】
前記画像処理ブロックのうちの１つは、前記画像補間ブロックに適用される前記入力画素群の解像度を変更するように構成された画像補間ブロックであり、該画像補間ブロックで前記処理を動的に制御することは、前記画像補間ブロックの出力画素群を導き出すのに使用された画像スケーリング係数を動的に変更することを含んでいる請求項１記載のシステム。
【請求項６】
前記画像処理ブロックは、非インタレース・ブロックと、解像度変更をもたらすように構成された画像補間ブロックと、色処理ブロックとを具備している請求項１記載のシステム。
【請求項７】
前記画像補間ブロックでの処理は、前記非インタレース・ブロックでの処理に応じて動的に制御される請求項６記載のシステム。
【請求項８】
前記色処理ブロックでの処理は、前記画像補間ブロックでの処理に応じて動的に制御される請求項６記載のシステム。
【請求項９】
前記更新された分類データは、前記入力画素群に関連する動きデータを含んでいる請求項１記載のシステム。
【請求項１０】
前記更新された分類データは、前記入力画素群に関連する頻度データを含んでいる請求項１記載のシステム。
【請求項１１】
前記更新された分類データは、前記入力画素群に関連する色データを含んでいる請求項１記載のシステム。
【請求項１２】
デジタル画像を処理するシステムであって、
プロセッサおよびメモリを具備するコントローラと、
該コントローラに機能的に結合された複数の画像処理ブロックと
を備え、
各画像処理ブロックは、異なる画像処理操作を実行するように構成され、前記画像処理ブロックおよびコントローラは、相互接続されて連続する画素処理を提供するように構成され、各画像処理ブロックは、出力画素群を生成するように入力画素群を処理し、前記画像処理ブロックの上流側の１つの前記出力画素群が、前記画像処理ブロックの下流側の１つへの前記入力画素群としてフィードフォワードされ、
前記コントローラは、前記画像処理ブロックのうちの別のもので実行された前記画像処理操作に基づいて、前記画像処理ブロックのうちの１つで実行された前記画像処理操作を動的に制御するように構成されたシステム。
【請求項１３】
前記コントローラは、前記画像処理ブロックによって処理される画素群に関連する分類データに応じて前記画像処理ブロックを動的に制御するように構成され、前記分類データは、前記画素群が１つの画像処理ブロックから別のブロックに移動するときに変化し、前記コントローラは、前記画像処理ブロックを動的に制御するときに、前記分類データにおけるそのような変化に応答するように構成されている請求項１２記載のシステム。
【請求項１４】
前記画像処理ブロックのうちの少なくとも１つに対して、前記コントローラは、そのような画像処理ブロックに関連する複数の異なる処理技術を選択的に組み合わせることによって処理を動的に制御するように構成され、そのような選択的な組み合わせは、そのような画像処理ブロックに適用された前記入力画素群の更新された分類データに基づいて実行される請求項１３記載のシステム。
【請求項１５】
前記画像処理ブロックのうちの１つは、前記画像補間ブロックに適用される前記入力画素群の解像度を変更するように構成された画像補間ブロックであり、前記コントローラは、前記画像処理ブロックのうちの別のもので実行された前記画像処理操作に基づいて、前記画像補間ブロックの出力画素群を導き出すのに使用された画像スケーリング係数を動的に変更するように構成されている請求項１２記載のシステム。
【請求項１６】
前記コントローラは、前記画像処理ブロックのうちの別のもので実行された前記画像処理操作に基づいて、前記画像処理ブロックのうちの１つで適用されたシャープネス制御を動的に変更するように構成されている請求項１２記載のシステム。
【請求項１７】
デジタル画像を処理する方法であって、
入力画素群を受信すること、
該入力画素群に関連する分類データを取得すること、
前記入力画素群に第１の画像処理操作を実行すること、
前記第１の画像処理操作から出力された前記画素群に関連する更新された分類データを取得するために、前記第１の画像処理操作から出力された出力画素群を解析すること、および
前記第１の画像処理操作から出力された前記画素群に第２の画像処理操作を実行すること
を含み、
前記第１の画像処理操作は、前記入力画素群に対して取得された前記分類データに基づいて動的に制御され、
前記第２の画像処理操作は、前記更新された分類データに基づいて動的に制御される方法。
【請求項１８】
前記第１の画像処理操作および前記第２の画像処理操作は、前記第１の画像処理操作および前記第２の画像処理操作によって処理される画素群に関連する動きデータに基づいて動的に制御される請求項１７記載の方法。
【請求項１９】
前記第１の画像処理操作および前記第２の画像処理操作は、前記第１の画像処理操作および前記第２の画像処理操作によって処理される画素群に関連する頻度データに基づいて動的に制御される請求項１７記載の方法。
【請求項２０】
前記第１の画像処理操作および前記第２の画像処理操作は、前記第１の画像処理操作および前記第２の画像処理操作によって処理される画素群に関連する色データに基づいて動的に制御される請求項１７記載の方法。
【請求項２１】
デジタル画像を処理する方法であって、
入力画素群を受信すること、
前記入力画素群に前記第１の画像処理操作を実行すること、および
第２の画像処理操作を実行すること
を含み、
前記第２の画像処理操作は、前記第１の画像処理操作に関連する処理データに基づいて動的に制御され、前記処理データは、前記第１の画像処理操作を実行するのに使用された処理方法に関する情報を含んでいる方法。
【請求項２２】
前記第１の画像処理操作から出力画素群を出力すること、
前記出力画素群に関連する更新された分類データを取得すること、および
前記更新された分類データに基づいて前記第２の画像処理操作を動的に制御することをさらに含む請求項２１記載の方法。
【請求項２３】
前記更新された分類データを取得することは、前記出力画素群に関連する動きデータを取得することを含んでいる請求項２２記載の方法。
【請求項２４】
前記第２の画像処理操作を動的に制御することは、前記動きデータに基づいて前記第２の画像処理操作に関連する画像スケーリング係数を動的に変更することを含んでいる請求項２３記載の方法。
【請求項２５】
前記第２の画像処理操作を動的に制御することは、前記動きデータに基づいて前記第２の画像処理操作に関連する複数の代替処理方法を動的且つ選択的に組み合わせることを含んでいる請求項２３記載の方法。
【請求項２６】
前記更新された分類データを取得することは、前記出力画素群に関連する頻度データを取得することを含んでいる請求項２２記載の方法。
【請求項２７】
前記更新された分類データを取得することは、前記出力画素群に関連する色データを取得することを含んでいる請求項２２記載の方法。
【請求項２８】
前記更新された分類データは、前記出力画素群に関連する履歴データを含んでいる請求項２２記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動的制御画素処理を備えた画像処理システムおよび方法に関する。
【背景技術】
【０００２】
本願は、次の米国仮特許出願に基づき、且つ、米国合衆国連邦法第35章第119条(c)下における利益を請求するものであり、それは参照によってすべての目的のためにその全体をここに援用する（2004年1月16日に出願された出願番号第60/537,082号）。
【０００３】
デジタル画像を処理するための多くのシステムおよび方法が存在する。従来の画像システムは、一般に、デジタル画像を含む画素群に様々な操作を実行するための処理ブロックを含んでいる。これらの操作は、非インタレースすること、解像度の増加あるいは低減することなどを含むことがある。典型的な従来のシステムは、これらの操作のための所定且つ不変の処理アルゴリズムを利用する。異なる処理操作は、相互に実質的に無関係に動作し、処理は、変更された画素特性に応じて調整もしくは修正されない。
【発明の開示】
【０００４】
デジタル画像を処理するシステム。本システムは、プロセッサおよびメモリを具備するコントローラを備えることが可能である。本システムは、前記コントローラと機能的に結合された複数の画像処理ブロックを備えることも可能である。各画像処理ブロックは、異なる画像処理操作を実行するように構成されることができる。前記画像処理ブロックおよびコントローラは、相互接続されて連続する画素処理を提供するように構成されることができる。各画像処理ブロックは、出力画素群を生成するように前記入力画素群を処理し、前記画像処理ブロックの上流側の１つの出力画素群は、前記画像処理ブロックの下流側の１つへの入力画素群としてフィードフォワードされることができる。さらに、本システムは、前記画像処理ブロックの各々に対して、その画像処理ブロックに適用される入力画素群に対する更新された分類データを取得するように構成された分類ブロックを含むことが可能である。各画像処理ブロックでの処理は、前記画像処理ブロックに適用された前記入力画素群に対する更新された分類データに基づいて動的に制御されることができる。
【発明を実施するための最良の形態】
【０００５】
図１は、本記述にかかる画像処理システム20の実施の形態を模式的に示している。当然のことながら、図は模式図であり、図示された構成要素は、記述されたシステムの精神および範疇から逸脱することなく、様々な方法で統合あるいは組み合わせられることが可能であり、付加的な構成要素に分離されることも可能である。
【０００６】
画像処理システムは、入力動画信号を受信し、その初期処理を実行するブロック22を含むことが可能である。ブロック22は、アナログおよび／またはデジタル入力を取り扱うように構成されることが可能である。アナログ動画の場合には、ブロック22は、入力動画フレーム（群）を表わす対応する画素群を生成するように、アナログ動画信号をキャプチャおよび／または復号するサブ構成要素を含むことが可能である。たとえば、適切なアナログ／デジタル変換器（ADC）を含むアナログ動画復号器は、入力動画フレームを表わす画素群を生成するのに使用されることが可能である。その後、これらの画素群は、処理情報ルートに記録されるか、または処理情報ルートに適用されることが可能である。典型的な実施の形態においては、画素群は、システムに連続的に記録される。
【０００７】
アナログ動画については、フィリップス7119のような装置が処理情報ルートを通じてキャプチャされる画素群を提供するのに使用されることが可能である。アナログ／デジタル変換器を通じて、またはDVIソースからキャプチャされた画像については、アナログ・デバイセズ9887のような装置が、処理情報ルートを通じてキャプチャされる画素群を提供するのに使用されることが可能である。
【０００８】
これに加えて、あるいは、これに代えて、ブロック22は、デジタル動画入力を取り扱うように構成されることが可能である。デジタル動画の場合には、適切なデジタル動画復号器が、画像フレームを復元するために、キャプチャ／復号ブロック22内に実装されることが可能である。復号処理中および処理の他の時点で、分類データは、画素を復元するのに使用された方法に基づいて画素群に関連付けられることが可能である。コネクサント（CX22490）またはLSIロジック（SC2005）のような会社からの現在のデジタル動画復号器は、ここに記述された実施の形態に関連して使用されることが可能である。
【０００９】
システム20は、画素群をグループ化するブロック24を含むことも可能である。キャプチャの後で、入力動画フレームに対応する画素群は、典型的には、ブロック24で利用された１組の割付け基準に基づいた固定あるいは可変サイズの領域に割り付けられる。割付け基準は、大幅に変化することが可能である。単純な空間割付けは、動画フレーム内の互いの画素群の正方形、長方形、または他の幾何学的な関係に基づいたグループ化などに利用されることが可能である。物体単位の割付けシステムは、人の顔のような画像において同じ物体に画素が属する可能性に基づいて画素群をグループ化するのに使用されることが可能である。グループ化の基準は、MPEG動画の符号化に使用されるもののような空間ブロックから構成されることが可能である。さらに別のグループ化の例は、物体認識スキームに基づいたものであり、同様の画素群の領域をグループ化するのにパターンマッチングが使用される。
【００１０】
実際には、ブロック24は、任意の実行可能な基準に従って画素群をグループ化することが可能である。典型的には、画素群のこのグループ化または領域分けは、システム20による画素の解析および／または処理を容易にするのに使用される。たとえば、背景に多くの観客を伴った運動競技の画像については、この背景領域に対応する画素群を共にグループ化することができる（共有特性に基づいて）。その後、或る処理ステップは、全体としてグループ化された画素群に適用されることができ、それによって、動画信号用の画像処理の速度および効率を向上させることができる。加えて、動画データをグループ化および領域分けすることは、処理粗さを大幅に改善し、ここに記述された動的なリアルタイム処理システムおよび方法の有効性を向上させることが可能である。
【００１１】
分類データは、ブロック24またはシステム20の他の部分によって、個別のビットまたはマルチビットのパラメータの形態で画素データに付加されることが可能である。個別のビットは、特定の特性（検出されたエッジのような）の存在にフラグを立てるのに使用されることが可能である。マルチビット領域は、画素群に存在する特徴量（動きのような）を示す数値を記憶するのに使用されることが可能である。
【００１２】
画素群の或る解析および分類は、システム20の他の部分によって実行されることが可能であるが、前記システムは、処理される画素群の解析および分類に供するブロック26を含むことが可能である。分類を実行するのに様々な方法およびシステムが使用されることが可能であり、その解析は、動き情報、階調度、量子化基準因数と、利用される予測方法、逆離散コジー（cosie）変換係数、頻度情報（空間的および／または一時的頻度）、色情報（明るさ、コントラスト、色相、彩度など）、画素群がテキスト、グラフィックス、または他の分類可能な要素を含んでいるか否か、フィルム・モードが使用されているか否かなどを含む、画素群に関連する様々な特性を検出するために実行されることが可能である。これらの特性は、一般に、画素群の処理中に変化し、分類データと呼ばれることがある。
【００１３】
これらの特性の判断は、任意の実行可能な方法を使用して実行されることが可能である。たとえば、頻度情報は、空間的に隣接する画素群間の絶対差の演算によって得られることが可能である。動き情報は、画素群を一又は複数の前のフレーム中のものと比較し、次に、差を演算することによって、生成されることができる。
【００１４】
下に詳細に議論されるように、グループ化ブロック24および／または解析ブロック26は、画素または画素群の処理中に繰り返しアクセスされることが可能である。分類データを繰り返し更新することは、システムが、処理された画素群の変化する特性を動的に追跡し、それらの変更に対してリアルタイムに動的に応答することを可能にし、それによって、画像処理を動的に制御および向上させる。
【００１５】
さらに、画像処理システム20は、一又は複数の画像処理ブロック28を含んでいる。ブロック28は、非インタレース、画像補間または他の解像度変更、色処理、輝度／クロミナンス分離、ノイズ・フィルタリング、ブーストなどを含む様々な異なる画像処理タスクを実行するように構成されることが可能である。共通の実施の形態は、非インタレース、画像補間、および色処理用に個別のブロック28を使用する。下に説明されるように、本システムおよび方法によって、処理は、与えられた処理ブロックで、粒状の、変更可能な分類データに従って動的に制御されることができる。
【００１６】
さらに、システム20は、他の記述されたブロックの機能を実行および／またはサポートするコントローラ30を含むことが可能である。必要に応じて、コントローラ30は、プロセッサ、メモリ、フレーム・バッファ、および／または他の構成要素を備えることが可能である。図１の構成要素は、適切であれば、バスまたは他の相互接続手段32によって結合されることが可能である。図示された構成要素が、単一のIC、または任意の実行可能な方法で結合あるいは分離された複数の個別の構成要素として実装されることも可能であると解される。コントローラ30は、たとえば、個別のプロセッサおよび個別のメモリ・チップに実装されることが可能であり、ブロック24および26の機能性は、組み合わせることができる。
【００１７】
さて、図２および図３を参照して、個別の処理ブロック（たとえば、非インタレースブロック）の処理制御が記述される。図２においては、典型的な画像処理ブロック28が示されている。示されるように、画素群100（あるいは単一の画素）は、処理されるブロック28に適用される。ブロック28は、処理された画素群104（画素群’）を出力するために、制御入力102に従って画素群100を処理する。示されるように、入力102を介してもたらされる制御は、動的に生じ、そして、画素群100に関連する分類データ（たとえば、動きデータ、頻度データなど）、画素群100に関連する処理情報（たとえば、別の処理ステップで利用されたフィルタ係数、別のステップで使用される補間技術、前の処理がシャープネスの問題を取り扱うために調整されたか否かなど）、および／または他の管理パラメータを含む、様々なパラメータに基づいたものであることが可能である。他のブロックからの分類および／または処理データ（たとえば、下流または上流のブロックから供給された）は、即席のブロックでの処理を制御するのに使用されることが可能である。
【００１８】
図３は、どのように分類および／または処理データが画素あるいは画素群に関連付けられることが可能であるかをより明確に示している。このデータは、マルチ領域クラス120と見なされることが可能であり、そこには、様々な種類のデータが、情報ルート中で処理される画素群に関連付けられることが可能である。フィールド122は、他のデータ領域が関連する画素群を示している。分類データ124は、画素あるいは画素群の特性または品質について記述するように画素群に関連付けられることが可能である。分類データ124は、動きデータ126、頻度データ128、色データ130などを含む様々な種類の情報を含むことが可能である。これに加えて、あるいは、これに代えて、クラス120は、画素あるいは画素群に既に実行された処理を示すか、あるいは記述する処理データ140を含むことが可能である。処理データ140は、例として、別の処理ブロックからのフィルタリング情報142、非インタレース中に利用されたパラメータまたは方法144などを含むことが可能である。
【００１９】
さらに、当然のことながら、どのようにデータが整理されるか、あるいは関連付けられるかに拘わらず、画素あるいは画素群に対するデータが現在のフレーム・データだけでなく、履歴データ（たとえば、先の動画フレームからのデータ）も含むことが可能である。先のあるいは後の画素群に対する分類データおよび／または処理データは、与えられた処理ブロックでの処理に影響するように供給されることができる。さらに、分類および処理データは、画素群が処理情報ルートを通じて移動するときに動的に変化する。この動的に変化する制御データは、処理情報ルート中の前方および／または後方で変化する制御データを動的に供給する機構を通じて、画像処理を向上させるのに利用されることが可能である。これは、他の画素群の画像処理の、または続く処理ブロックでの同じ画素群の画像処理の動的なフィードフォワードおよびフィードバック効果を生じる。
【００２０】
さて、図４に変わって、典型的な画像処理方法200が議論される。次の記述から、方法200は、前述されたシステムおよび構成要素に関して有利に実施されることが可能であることは明白である。しかし当然のことながら、典型的な方法あるいはその観点が、ここに議論される特定の実施の形態とは無関係に実施されることも可能である。
【００２１】
202で示されるように、方法200は、処理される入力画素群を受信する、あるいは、そうでなければ取得することを含むことが可能である。これは、前述されたアナログ／デジタル・キャプチャおよび復号の特徴（たとえば、図１のキャプチャ／復号ブロック22）を介して達成されることが可能である。その後、受信画素群は、図１を参照して前に議論したように、204で適切にグループ化あるいは領域分けされることが可能である。206で示されるように、画素群は、所望の分類データを取得するよう解析されることが可能である。そのような分類データは、動きデータ、頻度データ、色情報、階調度データなどを含む、先に議論された画素分類器のうちのいずれかを含むことが可能である。ステップ204および206のグループ化および解析は、フロントエンド操作またはタスクと呼ばれることがある。これは、本例において、それらが、画素群の任意の画像処理に先立って（たとえば、非インタレース、画像補間操作などに先立って）実行されるからである。
【００２２】
208で、本方法は、入力画素群の画像処理操作（たとえば、非インタレース、画像補間、ノイズ・フィルタリングなど）を実行することを含んでいる。先に議論したように、処理操作は、画素群に関連する分類データおよび／または処理データ（たとえば、図３の分類データ124および処理データ140）に応じて動的に制御されることが可能である。
【００２３】
画像処理操作を動的に調整する分類データの１つの使用は、非インタレースに関連して理解されることが可能である。本システムにおいては、与えられた時点で利用される非インタレース方法は、処理される画素群において検出された動きの度合いに大きく依存することがある。以前に説明したように、動きは、複数の動画フレームを通じて生じる画素に対する一時的な変化を評価することによって検出されることが可能である。その後、この動き情報は、たとえば、クラス120のようなマルチ領域クラスの使用を通じて画素に関連付けられる。その後、分類領域内に埋め込まれた動き情報は、非インタレース操作を動的に制御する、および／または、適切な非インタレース・アルゴリズムを選択するのに使用される。１つの非インタレース操作は、大きい度合いの動きを備えた画素群に対して適切であることが可能である一方、別の非インタレース操作（あるいは、第１の操作の修正版）は、画像の静止の画素群または領域に対してより適切であることが可能である。
【００２４】
ステップ208での処理は、処理操作に供給される画素群の前の処理に基づいて動的に制御されることが可能である。たとえば、関連する処理データ（たとえば、処理データ140）は、動きの存在下でぼかし効果を生じると知られている画素群に或るアルゴリズムが適用されていたことを示すことが可能である。その後、移動物体のエッジのような或る画素群のシャープネスを増すように即席の処理操作を調整するために、この知識を使用することができる。
【００２５】
他の処理操作あるいはステップ208で処理されるもの以外の画素群に関連する分類データまたは処理データは、ステップ208での画像処理操作を制御するのに利用されることが可能である。図４において示されるように、様々なポスト処理操作ステップ（たとえば、210、212、214および216での）の後で、別の処理操作が210で実行されることが可能である。図１は、情報ルート処理の同様のスキームを示しており、ここにおいては、多くの異なる処理操作（つまり、異なる画像処理ブロック28に対応する）は、所望のシーケンスで実行されることが可能である。図４の方法においては、ステップ208を通過する都度、異なる処理操作が実行されることが可能である。たとえば、非インタレース操作は、続く通過で実行される画像補間、色処理、およびノイズ・フィルタリングと共に、第１の通過で実行されることが可能である。
【００２６】
与えられた処理操作については、情報ルート中で他の処理操作のうちの１つで発生する分類データまたは処理データは、処理操作に影響を与えるのに使用されることが可能である。非インタレース、画像補間、および色処理操作を備えた情報ルートにおいては、たとえば、画像補間処理からの出力画素群に対する分類データが、非インタレース処理を制御するのに使用されることが可能である。そのような設定においては、画像補間処理から現れる画素群の解析は、非インタレース処理パラメータの調節によって最も良く取り扱われる画像品質問題を明らかにすることが可能である。処理データは、情報ルート中の操作を通じてフィードバックあるいはフィードフォワードされることも可能である。上記の例においては、画像補間ブロックからの処理データは、シャープネスを向上させるためにフィルタ係数の繰り返された使用を明らかにすることが可能である。この処理データは、情報ルートを通じてフィードフォワードあるいはフィードバックされることが可能であり（上流または下流に）、したがって、シャープネスを情報ルートの他の部分でより効率的に取り扱うことができる場合に、その処理タスクは、他のブロックに移行する。
【００２７】
図４を依然として参照して、選択された処理操作の後で、処理操作からの出力画素群は、210で再解析および／または再グループ化されることが可能である。典型的には、画素あるいは画素群に対する分類データは、適用した処理操作の結果、変化する（頻度情報は、変化することが可能であり、階調度は、変化することが可能であり、動きのベクトルは、修正されることが可能であるなど）。その後、画素あるいは画素群に対する分類データは、212で更新されることが可能である。これに加えて、あるいは、これに代えて、画素群に対する処理情報は、ステップ212で更新されることが可能である。実際には、画素群に関連する任意の分類または処理情報は、たとえば、クラス120（図３）のようなマルチ領域クラスの適切な領域の更新によって更新されることが可能である。
【００２８】
先の記述から、当然のことながら、画素群が処理情報ルートを通じて移動するときに、与えられた画素あるいは画素群に対する分類および処理データが動的に変化する。画素特性変更、異なる処理パラメータ、およびアルゴリズムは、処理などにおいて適用される。この変化する分類／処理情報は、システムにおける任意の時点で生じる処理操作を動的に調整するために処理情報ルートを通じてフィードフォワードおよびフィードバックされることができる。実際には、ステップ214で、ちょうど完了した処理操作（ステップ208）から発生した更新された分類／処理情報は、画像処理操作の可能性のあるフィードフォワードおよびフィードバック効果を有するように、処理情報ルートの所望の部分に渡される。216で、追加処理操作が画素群（たとえば、処理情報ルート中の下流ブロックで）に実行される場合、方法200は、次の選択された処理操作を実行するためにステップ208に戻る。
【００２９】
追加処理操作が実行されない場合、「バックエンド解析」および比較は、220および222で実行されることが可能である。これは、最終出力画素群に対する更新された分類情報を取得するために補足解析を実行することを含むことが可能である。このバックエンド解析の結果は、処理情報ルート内で生じる処理操作のうちのいずれかをさらに動的に調整あるいは制御するために、204および206で取得されたフロントエンド・データと比較されることが可能である。図１の模範的なシステムに関連して、初期の入力画素群の特性は、処理目的が達成されたか否かを評価するために最終出力動画フレームを含む画素群の分類と比較されることが可能である。その後、この比較は、224で示されるように、画像処理情報ルート中でブロック28の処理によって実行された処理操作を動的に調整するのに使用されるであろう。処理の後で、動画フレームは、226で示されるように出力される。
【００３０】
記述された画像処理システムおよび方法の典型的な実施の形態は、非インタレース、画像補間、および色処理操作を含んでいる。図５に模式的に示されるように、これらの操作は、処理情報ルート中で連続して実行されることが可能である。先に議論したように、入力画素群は、各ブロックに適用され、関連する処理操作は、分類情報および／または処理情報に基づいて動的に制御され、それは、画素群が処理され、処理情報ルートを通じて移動するときに典型的には変化する。
【００３１】
先に議論したように、記述されたシステムおよび方法の典型的な実施の形態は、非インタレース・ブロックまたは処理操作を含んでいる。多くの動画信号がインタレース・フォーマットで一般的には提供され、画像場面のすべての他の水平線が、与えられた動画フレームに対して走査および送信される。偶数および奇数の走査線が、交互の一連の動画フレームに現れる。その結果、６０フレーム／秒の動画が表示されるシステムにおいては、偶数の線を含んだ動画フレームが３０回表示され、奇数の線を含んだ動画フレームが３０回表示される。そのようなインタレース信号においては、与えられた動画フレームは、５０％の垂直解像度のみを含んでいる。
【００３２】
図６を参照して、典型的な非インタレース・ブロックの操作が記述され、インタレース動画フレームは、完全な垂直解像度を有する信号に変換される。フレーム260および262は、インタレース動画信号の動画フレームである。示されるように、フレーム260は、現在のフレームと呼ばれることがある一方、フレーム262は、前のフレームと呼ばれることがある。各フレームは、凡例｛行，列｝と共に表示された複数の画素群を含んでおり、フレーム内の画素群の行および列位置を示している。
【００３３】
十分な垂直解像度を有するフレームを構築するために、様々な方法が利用されることが可能である。現在のフレームの欠落した行は、領域メッシュとして知られている方法で、前のフレームから単純に取得および加算されることが可能である。特に関係する画素群が静止しているか、あるいは小さい度合いの動きを示すときに、メッシュは、高品質な非インタレース画像を提供することができる。これに加えて、あるいは、これに代えて、様々な種類の補間が使用されることが可能であり、目標画素は、一又は複数の近隣の画素群の特性に基づいて補間される。たとえば、現在のフレーム262の欠落画素{2,2}は、平均を取ることによって補間されるか、あるいはそうでなければ、近隣の画素群{1,2}および{3,2}、もしくは画素群{1,1}、{1,2}、{1,3}、{3,1}、{3,2}、および{3,3}のような隣接する画素群のよりも大きな組の特性（たとえば、明るさ、色相、彩度など）によって補間されることが可能である。
【００３４】
図７は、本記述にかかる典型的な非インタレース・ブロック280を示しており、それは、入力画素群282を受信し、適用された制御信号284に基づいて画素群に対する非インタレース操作を実行し、処理された画素群’286を非インタレース・フォーマットで出力するように構成されることが可能である。非インタレース・ブロック280は、図１において示されるようなシステムで実施されることが可能であり、その場合には、ブロックは、図１の処理情報ルート中で処理ブロック28のうちの１つになるであろう。
【００３５】
図２に関して記述された処理ブロックと同様に、ブロック280（たとえば、非インタレース）によって実行される特定の処理操作または方法は、入力画素群282に関連する分類および／または処理データに応じてリアルタイムで動的に変化することが可能である。これに加えて、あるいは、これに代えて、画素群282以外の画素群に関連する、あるいは情報ルート中の他の処理ブロックに関連する分類および／または処理データは、非インタレース操作を動的に変更するのに使用されることが可能である。たとえば、領域メッシュと欠落画素群を復元する補間方法との間で選択することは、動き分類データによってかなりの程度まで判断されることが可能である。メッシュは、移動画素群には不適当である場合がある。メッシュは、連続するインタレース動画フレーム間に生じる一時的なシフトによる「ティアリング（tearing）」または「フェザリング（feathering）」効果を生じさせることができる。補間は、大きい度合いの動きを有する画素群にとってより望ましいことが可能である。
【００３６】
一方、静止したあるいは比較的静止した画像はそれ自体、領域メッシュのような非補間方法を使用して非インタレースにより容易に役立つことが可能である。いくつかの実例において、メッシュは、よりシャープな画像を生成することができ、したがって、非インタレースする小さい動き画像には好ましいことがある。典型的なブロック280は、補間および非補間方法間で選択するだけでなく、本方法を、適切であれば制御信号284内に埋め込まれた分類および／または処理データまたは他のパラメータに基づいた所望の重み付けと融合させるように構成される。図示された例においては、制御信号は、純粋なメッシュ方法、純粋な補間方法、またはこれらの２つの極端な手段の任意に融合の展開をもたらすことができる。
【００３７】
FIRフィルタを備えた領域ミキシング、メジアン・フィルタの使用、線倍化、垂直一時フィルタの使用、平均化フィルタなどを含む、任意の数の非インタレース方法が分類データおよび／または処理データに基づいて選択あるいは選択的に組み合わせられることが可能であることは理解されるべきである。Ｎ個の代替の非インタレース方法またはアルゴリズムを備えた非インタレース処理を一般化して、本システムは、処理データおよび／または分類データにおいて利用可能な豊富な制御データに基づいて、所望の方法における代替の方法間での結合あるいはクロスフェードを利用することが可能である。代替の方法のうちのいくつかは、重み付けであり、あるいは、他のものよりも重く強調されることが可能である。１つの特定の方法は、他のものを排除するためなどに選択されることが可能である。換言すれば、分類データおよび／または処理データは、それぞれの利用可能な非インタレース方法が目標画素あるいは画素群を生成するために、非インタレース処理において関与する範囲を制御するのに使用されることが可能である。
【００３８】
図７のこの例は、分類データおよび処理データが、リアルタイムの処理を動的に調整するために、どのようにフィードフォワードおよび／またはフィードバックされることが可能であるかを例示するのに使用されることが可能である。入力画素群282が動画フレームの特定の領域からのものであり、画素群282に関連する分類データが動画フレームのその部分における大きい度合いの動きを示すと仮定する。それから、非インタレース・ブロック282での処理は、補間の方へより重く重み付けする方法（恐らくフェザリングまたは他の不要な影響を回避するために純粋に補間方法でさえ）を使用して、完全な垂直解像度を構築するように動的に調整されることができる。
【００３９】
先に議論したように、補間の非インタレース方法は、ぼかし効果あるいはシャープネスの他の損失をもたらし得る。上記の例を継続して、シャープネスの損失が非インタレース中の補間の使用によって生じる場合には、それは、出力画素群に対して取得される分類データに反映されるであろう（たとえば、図１の解析／分類ブロック26によって）。関連する分類データは、次の処理ブロックへと下流に流れ、それは、その処理アルゴリズムを調整する際にシャープネスの不足の要因となるであろう。代替の実施の形態においては、分類データは、上流に送信されることが可能である。
【００４０】
これに加えて、あるいは、これに代えて、非インタレース操作自体に関する情報は、上流または下流に伝えることができる。本例においては、伝えられた処理情報は、高度な補間方法が非インタレースに対して使用されたことを示している。他の処理操作は、非インタレース操作に起因する潜在的なシャープネスの損失を補うことに応じて動的に調整されることができる。
【００４１】
分類および／または処理データは、入力画素群（画像補間）の解像度を変更する処理ブロックまたは操作を制御するために上流または下流に供給されることも可能である。解像度変更は、入力動画フレームの異なる領域に異なって適用されることが可能であり、解像度の低減および／または、解像度の増加（アップコンバージョン）を含むことが可能である。解像度を変更するのに利用された方法は、入力分類および／または処理データに基づいて動的に制御されることが可能である。典型的には、動的制御は、目標画素群を導き出すのに使用される画像スケーリング係数の動的な変化を生じさせる。係数の動的制御は、画像がスケールアップあるいはスケールダウンするか否かに利用されることが可能であり、さらに、線形および非線形の方法に関して利用されることが可能である。
【００４２】
たとえば、アップコンバージョンは、入力画素群をサンプリングし、画素群の新しいより大きなグリッドにサンプル値を適用することによって達成されることが可能である。この処理は、「最近傍」方法を使用する画素複製を含むことができるが、一般には、補間が利用される。１つの一般的な方法は、複数の係数フィルタを利用するキュービック・コンボリューション補間方法である。図８を参照して、画素群のグリッドが示されている。グリッドの中心は、その値が判断される目標画素である。補間方法は、近隣画素群の値を評価することによってこの画素を判断することが可能である。近隣画素の値は、目標画素からのその距離と共に、考慮に入れられることが可能である。
【００４３】
実際には、キュービック・コンボリューション補間は、４つの既知の画素群に基づいて補間することを含んでいる。たとえば、図８中の水平方向において、目標画素は、既知の画素群{2,0}、{2,1}、{2,3}、および{2,4}の値から補間されることが可能であり、ここでは、既知の画素群の値、および目標画素からのそれらの距離が考慮に入れられる。画像スケーリング係数が、或る画素群に対してより大きな重み付けをし、アップコンバージョンされた画像におけるノイズまたは他の高頻度の悪影響をフィルタリングするのに使用されることも可能である。本補間方法は、典型的には、目標画素群の値を判断するために水平および垂直方向の両方に適用される。
【００４４】
画素群に関連する、または他のソースからの分類データおよび処理データは、画像補間方法を動的に調整するのに使用されることが可能である。補間係数は、入力画素群に関連する動き、階調度、および／または頻度情報に応じてあるいは基づいて判断されることが可能である。従来の処理アルゴリズムがシャープネスの準最適向上を提供している場合には、フィルタ係数は、画像の部分におけるシャープネスを保存あるいは向上させるために画像補間用に選択されることが可能である。
【００４５】
当然のことながら、ここに議論された動的制御ならびにフィードフォワードおよびフィードバックの特徴が、色処理および他の画像処理操作に等しく適用可能である。色処理に関連して、入力画素群に関連した変化する分類および処理データは、入力画素群の明るさ、コントラスト、色相、彩度、色空間変換などを変更するのに使用されるアルゴリズムを制御、調整、または選択するのに使用されることができる。画素群の全体的な明るさは、画素に対する動き情報に応じて低減されることが可能である。画素あるいは画素群の動き履歴は、遮蔽の問題に関連する影響を識別および修正するのに使用されることが可能である。入力画素群に関連するデータに対する制御に基づくのに加えて、あるいは、これに代えて、制御は、処理情報ルート（フィードバックまたはフィードフォワードの構成を介して）の他の部分から送り込まれた分類または処理データに基づくことが可能である。
【００４６】
本実施の形態および方法の実施が特に示され且つ記述されているが、当業者は、本発明の精神および範疇から逸脱せずに多数の変形がそこになされることが可能であると理解するであろう。本記述は、ここに記述した新規且つ非明白な要素のコンビネーションがすべてを含むと解されるべきであり、また、請求項は、これらの要素の任意の新規且つ非明白なコンビネーションについて、この、あるいは、後の出願において提示されることが可能である。請求項が「１つの」もしくは「第１の」要素またはその均等物を記述している場合、そのような請求項は、一又は複数のそのような要素を、複数のそのような要素を要求することも除外することもなく、取り込むことを含むと解されるべきである。
【図面の簡単な説明】
【００４７】
【図１】本記述にかかる画像処理システムの実施の形態を模式的に示している。
【図２】本記述のシステムおよび方法に関して使用されることが可能である動的に制御可能な画像処理ブロックを模式的に示している。
【図３】画素または画素群に関連することがある様々な種類の変更可能な分類データおよび処理データを示しており、そのようなデータは、画像処理ブロックを動的に調整、あるいはそうでなければ、制御するために、画像処理ブロックへの入力として利用可能である。
【図４】本記述にかかるデジタル画像を処理する方法の典型的な実施を示している。
【図５】本記述にかかる典型的な処理情報ルートを示しており、非インタレース、画像補間、および色処理操作を実行する動的に制御可能な処理ブロックを含んでいる。
【図６】インタレース動画フレームおよび非インタレース操作を実行する動的に制御可能な処理ブロックを示している。
【図７】インタレース動画フレームおよび非インタレース操作を実行する動的に制御可能な処理ブロックを示している。
【図８】画像補間処理操作との関連において、グリッド中の一又は複数の既知の画素値から補間される画素グリッドおよび目標画素を示している。
【符号の説明】
【００４８】
20  画像処理システム
22  動画キャプチャ／復号ブロック
24  グループ化／領域割付けブロック
26  解析／分類ブロック
28  画像処理ブロック
30  コントローラ
32  バスまたは他の相互接続手段
100  画素または画素群
102  制御入力
104  画素’または画素群’
120  マルチ領域クラス
122  画素または画素群（フィールド）
124  分類データ
126  動きデータ
128  頻度データ
130  色データ
140  処理データ
142  補間フィルタ係数（フィルタリング情報）
144  非インタレース・パラメータまたは方法
200  画像処理方法
260  前のフレーム
262  現在のフレーム
280  非インタレース・ブロック
282  入力画素群
284  制御入力（制御信号）
286  画素群’
【図１】
2007528533.tif 000003
【図２】
2007528533.tif 000004
【図３】
2007528533.tif 000005
【図４】
2007528533.tif 000006
【図５】
2007528533.tif 000007
【図６】
2007528533.tif 000008
【図７】
2007528533.tif 000009
【図８】
2007528533.tif 000010
【国際調査報告】
2007528533.tif 000011