(57)【要約】ビデオ画像のセグメンテーションに基づく強調を行う装置が開示されている。装置は、（１）入来ビデオ信号のビデオフレームを格納する入力バッファと、（２）第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化するセグメンテーション制御器と、（３）第１の格納されたフレーム中の少なくとも１つの画素が複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算することが可能な画像プロセッサと、（４）少なくとも１つの画素のパラメータを少なくとも１つの画素の確率関数に従って強調することが可能な強調制御器とを含む。
2004523982.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像のセグメンテーションに基づく強調を行う装置であって、
入来ビデオ信号のビデオフレームを格納する入力バッファと、
第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化するセグメンテーション制御器と、
前記第１の格納されたフレーム中の少なくとも１つの画素が前記複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、前記第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算することが可能な画像プロセッサと、
前記少なくとも１つの画素のパラメータを前記少なくとも１つの画素の前記確率関数に従って強調することが可能な強調制御器とを含む装置。
【請求項２】
前記セグメンテーション制御器は、前記第１の格納されたフレームを前記確率関数に従って前記複数のセグメントへセグメント化する、請求項１記載の装置。
【請求項３】
前記強調制御器は、前記確率関数の値が増加するにつれ前記パラメータの強調の量を増加させる、請求項２記載の装置。
【請求項４】
前記強調制御器は、前記確率関数の値が減少するにつれ前記パラメータの強調の量を減少させる、請求項３記載の装置。
【請求項５】
セグメンテーションアルゴリズムを格納することが可能なメモリを更に含み、前記セグメンテーションアルゴリズムは前記第１の格納されたフレームを前記複数のセグメントへセグメント化する前記セグメンテーション制御器によって実行可能な命令を含む、請求項１記載の装置。
【請求項６】
前記メモリは強調アルゴリズムを格納することが更に可能であり、前記強調アルゴリズムは前記少なくとも１つの画素の前記パラメータを強調する前記強調制御器によって実行可能な命令を含む、請求項５記載の装置。
【請求項７】
前記少なくとも１つの画素に関連する確率関数は、前記少なくとも１つの画素に関連する（ｙ，ｕ，ｖ）色値から計算される、請求項１記載の装置。
【請求項８】
入来ＲＦテレビジョン信号を受信し、そこからビデオディスプレイ上に複数の画素として表示されることが可能なベースバンドビデオ信号を生成することが可能な復調回路と、
前記復調回路の出力に結合され、前記復調回路から前記ベースバンドビデオ信号を受信し、ビデオ画像のセグメンテーションに基づく強調を行うことが可能な後処理回路とを含む、テレビジョン受信器であって、
前記後処理回路は、
入来ビデオ信号のビデオフレームを格納する入力バッファと、
第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化するセグメンテーション制御器と、
前記第１の格納されたフレーム中の少なくとも１つの画素が前記複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、前記第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算することが可能な画像プロセッサと、
前記少なくとも１つの画素のパラメータを前記少なくとも１つの画素の前記確率関数に従って強調することが可能な強調制御器とを含む、テレビジョン受信器。
【請求項９】
前記セグメンテーション制御器は、前記第１の格納されたフレームを前記確率関数に従って前記複数のセグメントへセグメント化する、請求項８記載のテレビジョン受信器。
【請求項１０】
前記強調制御器は、前記確率関数の値が増加するにつれ前記パラメータの強調の量を増加させる、請求項９記載のテレビジョン受信器。
【請求項１１】
前記強調制御器は、前記確率関数の値が減少するにつれ前記パラメータの強調の量を減少させる、請求項１０記載のテレビジョン受信器。
【請求項１２】
セグメンテーションアルゴリズムを格納することが可能なメモリを更に含み、前記セグメンテーションアルゴリズムは前記第１の格納されたフレームを前記複数のセグメントへセグメント化する前記セグメンテーション制御器によって実行可能な命令を含む、請求項８記載のテレビジョン受信器。
【請求項１３】
前記メモリは強調アルゴリズムを格納することが更に可能であり、前記強調アルゴリズムは前記少なくとも１つの画素の前記パラメータを強調する前記強調制御器によって実行可能な命令を含む、請求項１２記載のテレビジョン受信器。
【請求項１４】
前記少なくとも１つの画素に関連する確率関数は、前記少なくとも１つの画素に関連する（ｙ，ｕ，ｖ）色値から計算される、請求項８記載のテレビジョン受信器。
【請求項１５】
ビデオ画像のセグメンテーションに基づく強調を行う方法であって、
入来ビデオ信号のビデオフレームを入力バッファに格納する段階と、
第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化する段階と、
前記第１の格納されたフレーム中の少なくとも１つの画素が前記複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、前記第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算する段階と、
前記少なくとも１つの画素のパラメータを前記少なくとも１つの画素の前記確率関数に従って強調する段階とを含む方法。
【請求項１６】
前記セグメント化段階は、前記第１の格納されたフレームを前記確率関数に従って前記複数のセグメントへセグメント化する、請求項１５記載の方法。
【請求項１７】
前記強調段階は、前記確率関数の値が増加するにつれ前記パラメータの強調の量を増加させる、請求項１６記載の方法。
【請求項１８】
前記強調段階は、前記確率関数の値が減少するにつれ前記パラメータの強調の量を減少させる、請求項１７記載の方法。
【請求項１９】
コンピュータ読み取り可能な媒体上に格納され、ビデオ画像のセグメンテーションに基づく強調を行うことが可能なコンピュータ実行可能な命令であって、
入来ビデオ信号のビデオフレームを入力バッファに格納する段階と、
第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化する段階と、
前記第１の格納されたフレーム中の少なくとも１つの画素が前記複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、前記第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算する段階と、
前記少なくとも１つの画素のパラメータを前記少なくとも１つの画素の前記確率関数に従って強調する段階とを含むコンピュータ実行可能な命令。
【請求項２０】
前記セグメント化段階は、前記第１の格納されたフレームを前記確率関数に従って前記複数のセグメントへセグメント化する、請求項１９記載のコンピュータ読み取り可能な媒体上に格納されたコンピュータ実行可能な命令。
【請求項２１】
前記強調段階は、前記確率関数の値が増加するにつれ前記パラメータの強調の量を増加させる、請求項２０記載のコンピュータ読み取り可能な媒体上に格納されたコンピュータ実行可能な命令。
【発明の詳細な説明】
【０００１】
本発明は、ビデオ信号を強調する装置及び方法に関連し、更に特定的には連続的に変化する量のビデオ強調を確率関数に基づいて画素群に対して選択的に適用する装置及び方法に係る。
【０００２】
テレビジョン産業では、現在の標準精細度テレビジョン（ＳＤＴＶ）から高精細度テレビジョン（ＨＤＴＶ）への移行の結果として著しい変化が生じている。このような変化は、米国の全ての放送会社は全ての番組内容をＨＤＴＶ信号として送信せねばならず２００６年までにはＳＤＴＶ信号の送信を終了せねばならない、というＦＣＣ（連邦通信委員会）の要求によるものである。結果として、ＨＤＴＶ信号を標準精細度テレビジョン上での表示のためのＳＤＴＶへ変換するＨＤＴＶ変換システムと同様に、高精細度テレビジョンは広く市場で入手可能となっている。
【０００３】
ＨＤＴＶへの移行を推進する力となっているものには、より大きく鮮明な画像の可能性、幾つかのシステムにおける変更されたアスペクト比（ムービーフォーマットに似ている）、及び視聴者への伝送中のディジタル信号の雑音に対する弱さが減少されることである。画面が大きくなればなるほど、視聴者は解像度が高まることを期待する。しかしながら、今後の長年にわたり、放送局は新しいＨＤＴＶ標準（ＡＴＳＣ）への移行を行っていても、ＨＤＴＶ受像機は既存のＳＤＴＶ標準（例えばＰＡＬ，ＮＴＳＣ，ＳＥＣＡＭ）に従ってテレビジョン信号を受信し表示することが可能でなくてはならない。暫定的に、高精細度テレビジョン画像の主観的な印象を作るためにＨＤＴＶ受像機が更に高い解像度でＳＤＴＶ信号を表示することが可能であることが非常に望ましい。更に、放送側では、既存の標準精細度（ＳＤ）素材を高精細度（ＨＤ）形式へアップコンバートしうる技術が必要とされる。
【０００４】
残念なことに、テレビジョン受像機におけるビデオ信号の解像度は、元のビデオ信号（例えばＰＡＬ，ＮＴＳＣ，ＳＥＣＡＭ）又は伝送路の帯域幅の質によって制限される。従って、ＳＤＴＶ信号の解像度をよりよい知覚的な質へ高めるために、復調後に受像機中のビデオ信号を後処理することが非常に重要となる。
【０００５】
テレビジョン画像のセグメント化（セグメンテーション）は、画像シーケンスの各フレームが領域又はセグメントへ細分化される後処理技術である。各セグメントは、性質の共通性で画像の領域を囲む画素のクラスタである。例えば、セグメントは、共通の色、共通のテクスチャ、特定の形状、振幅範囲又は時間的な変化によって区別されうる。公知の従来のセグメント化の適用は、パターン認識、ターゲット追跡、及び安全性調査を含む。セグメント化の最近の研究は、ＭＰＥＧ−４標準及びＭＰＥＧ−７標準に関連する適用におけるものであった。ＭＰＥＧ−４の場合、セグメントは識別され、データ圧縮を達成するために独自に符号化される。ＭＰＥＧ−７の場合、セグメンテーションは、画像分類及び検索のために画像構成要素を識別するために使用される。
【０００６】
テレビジョン画像強調の場合、公知の強調技術は、大局的（グローバル）な強調方法と局所的（ローカル）な強調方法の両方を含む。大局的な強調技術の例としては、画像全体に亘って大局的に（又は均一に）ＤＣオフセット及び信号利得を制御するテレビジョン（ＴＶ）受像機の輝度及びコントラスト制御が含まれうる。局所的な強調方法の例としては、画像プロセッサが画像のエッジの位置を自動的に検出し、エッジの局所的な領域にのみ適切な強調を適用するエッジ強調がある。
【０００７】
局所的な強調技術は画像の局所的な領域にのみ適用されるが、従来の方法はそれでもなお大局的なパラメータによって制御される。例えば、エッジ強調の場合、エッジ強調アルゴリズムは局所的なエッジ特性に適用されうる。しかしながら、アルゴリズムを左右するパラメータは大局的である（即ち、パラメータは画像の各領域に対して同じである）。大局的なパラメータの使用により、任意の所定の画像に適用されうる最も効果的な強調に制限が与えられる。強調アルゴリズムが、画像の異なるセグメント中に示される特徴を認識するよう学習され、各種の画像特徴に対して最適化されうる画像強調パラメータを動的に選択することができれば、より多くの量の強調が利用可能である。
【０００８】
画像セグメンテーションの公知の方法は、二値決定がなされる点で「ハード」セグメンテーションとして説明されうる。各領域は、セグメントの相対的な規準を満たし所望のセグメントに含まれているか、あるいは完全に排除されている。多くの従来のハードセグメンテーション技術は、従来技術で公知の適用に対してうまく動作するものである。しかしながら、これらのハードセグメンテーション技術は多くの最近の適用ではうまく動作しない。
【０００９】
例えば、ハードセグメンテーション技術を動く画像のシーケンスに適用する場合、見かけ、照明、又は視点のわずかな変化は画像にわずかな変化のみを生じさせる。この結果として、画像フレームごとに画像の部分はランダムにハードセグメンテーション規準を満たす場合と満たさない場合がある。画像強調技術がセグメント化された領域にのみ適用される場合、結果として、通常はセグメント化された領域のエッジにおいて、強調がランダムに変化しうる。このような動くシーケンスにおけるランダムは変化は、見ている人にとって許容可能でない邪魔なアーティファクトを生じさせる。
【００１０】
従って、テレビジョン画像の質を向上させる改善された装置及び方法が必要とされる。特に、ビデオ画像の連続するフレーム間の見かけ、照明、又は視点等のわずかな変化によっては影響を受けない改善された画像強調技術が必要とされる。更に、画像中の画素又は画素群に強調技術又はセグメント化技術を適用するか否かに関わらずハードな二値決定に依存しないビデオ画像をセグメント化及び強調する改善された装置及び方法が必要とされる。
【００１１】
上述の従来技術の欠点に対して、本発明は、ビデオ画像のセグメンテーションに基づく強調を行う装置を提供することを主な目的とする。本発明の有利な実施例によれば、装置は、（１）入来ビデオ信号のビデオフレームを格納する入力バッファと、（２）第１の格納されたフレームを、少なくとも１つの共通の性質を有する複数の画素を各セグメントが含む複数のセグメントへセグメント化するセグメンテーション制御器と、（３）第１の格納されたフレーム中の少なくとも１つの画素が複数のセグメントのうちの第１の選択されたセグメントに属する確率を示す、第１の格納されたフレーム中の少なくとも１つの画素に関連する確率関数を計算することが可能な画像プロセッサと、（４）少なくとも１つの画素のパラメータを少なくとも１つの画素の確率関数に従って強調することが可能な強調制御器とを含む。
【００１２】
本発明の１つの実施例によれば、セグメンテーション制御器は、第１の格納されたフレームを前記確率関数に従って前記複数のセグメントへセグメント化する。
【００１３】
本発明の１つの実施例によれば、強調制御器は、確率関数の値が増加するにつれパラメータの強調の量を増加させる。
【００１４】
本発明の１つの実施例によれば、強調制御器は、確率関数の値が減少するにつれ前記パラメータの強調の量を減少させる。
【００１５】
本発明の１つの実施例によれば、セグメンテーションアルゴリズムを格納することが可能なメモリを更に含み、セグメンテーションアルゴリズムは第１の格納されたフレームを前記複数のセグメントへセグメント化する前記セグメンテーション制御器によって実行可能な命令を含む。
【００１６】
本発明の１つの実施例によれば、メモリは強調アルゴリズムを格納することが更に可能であり、強調アルゴリズムは前記少なくとも１つの画素の前記パラメータを強調する強調制御器によって実行可能な命令を含む。
【００１７】
本発明の１つの実施例によれば、少なくとも１つの画素に関連する確率関数は、少なくとも１つの画素に関連する（ｙ，ｕ，ｖ）色値から計算される。
【００１８】
上述のことは、当業者が以下の本発明の詳細な説明をよりよく理解しうるよう本発明の特徴及び技術的な利点について広く述べたものである。本発明の請求の範囲の対象である本発明の更なる特徴及び利点について、以下詳述する。当業者は、開示されている概念及び特定の実施例を本発明と同じ目的を行うために変更及び他の特徴を設計する基礎として使用しうることを認識すべきである。当業者はまた、このような同等の構成が本発明の趣旨及び範囲の最も広い形のものから逸脱しないことを認識するであろう。
【００１９】
発明の詳細な説明の前に、本願明細書を通じて用いられる幾つかの語句についての定義について説明する。「含む」の語及びそこから派生する語は、限定的でなく包含することを意味し、「又は」の語は、「及び／又は」を意味し、「関連する」及び「それに関連付けられる」の句及びそこから派生する句は、「含む」、「の中に含まれる」、「に相互接続される」、「入れる」、「野中に入れられる」、「に接続」、「と接続」、「に結合」、「と接続」、「とやりとりできる」、「と協働する」、「交互に配置する」、「並べて配置する」、「の近くにある」、「に結びつけられる」、「と結びつけられる」、「有する」、「の性質を有する」等を意味しうるものであり、「制御器」の語は、少なくとも１つの動作を制御する全ての装置、システム、又はその一部を意味し、かかる装置は、ハードウエア、ファームウエア、或いはソフトウエア、又はこれらのうちの少なくとも２つの組合せとして実施されうる。尚、任意の特定の制御器に関連する機能は、ローカルに又は遠隔に、集中化されてもよく、分散化されてもよい。幾つかの語句についての定義は本願明細書を通じて与えられており、当業者は多くの場合に、さもなければ殆どの場合に、かかる定義がそのように定義された語句の従来の及び将来の使用に適用されることを理解するであろう。
【００２０】
本発明の装置及び方法の原理を示すための以下に説明する図１乃至４、並びに、本願中の様々な実施例は、例として示すものであって、本発明の範囲を制限するものと理解されてはならない。当業者は、本発明の原理は、テレビジョン受像機、テレビジョン放送システム、高性能ビデオ処理回路を含むパーソナルコンピュータ（ＰＣ）、及び、関連するビデオ処理ソフトウエア等を含むが、これらに限られない、任意の適切に配置されたビデオ処理システムにおいて実施されうる。以下の説明では、本発明によるビデオ画像鮮鋭化装置は、例示のためだけにテレビジョン受像機及びパーソナルコンピュータ（ＰＣ）で実施されるものとする。
【００２１】
図１は、本発明の原理によるビデオ画像をセグメント化し強調する装置を含むテレビジョン受像機１００を示すブロック図である。テレビジョン受像機１００は、アンテナ１０５、テレビジョン受信器１１０、及びディスプレイユニット１１５を含む。アンテナ１０５は、テレビジョン受信器１１０によって処理される入来無線周波数（ＲＦ）テレビジョン信号を受信する。ディスプレイユニット１１５は、例えば、陰極線管、フラットパネルディスプレイ、又はビデオ画像を表示する任意の他の種類の機器でありうる。
【００２２】
テレビジョン受信器１１０は、チューナ１２０、中間周波数（ＩＦ）プロセッサ１２５、任意のＭＰＥＧデコーダ１３０、及び後処理回路１４０を含む。本実施例では、テレビジョン受信器１１０はＭＰＥＧデコーダを含まないアナログ式のテレビジョン受信器であってもよいため、ＭＰＥＧデコーダ１３０（破線で示す）は任意である。かかる実施例では、ＩＦプロセッサ１２５の出力は後処理回路１４０によって直接使用される。チューナ１２０は、中間周波数（ＩＦ）信号を生成するために、入来ＲＦ信号をダウンコンバートする。チューナ１２０のＩＦ出力は、例えば搬送ストリームであるベースバンド信号を生成するために、ＩＦプロセッサ１２５によって更にダウンコンバートされる。ＭＰＥＧデコーダ１３０は、ＭＰＥＧ符号化されたデータストリームといった少なくとも１つの基本ストリームを搬送ストリームから抽出するデマルチプレクサ回路を含みうる。ＭＰＥＧデコーダ１３０は、符号化されたＭＰＥＧデータストリームを変換し、ディスプレイユニット１１５によって表示されることが可能な標準ビデオ信号を発生する。しかしながら、ＭＰＥＧデコーダ１３０によって発生されるビデオ信号の質を更に改善するために、ＭＰＥＧデコーダ１３０の出力は更なる処理のために後処理回路１４０へ転送される。後処理回路１４０の出力における改善されたビデオ信号はディスプレイユニット１１５へ送信される。
【００２３】
後処理回路１４０は、幾つかの異なる種類のビデオ信号処理を実行することが可能である。後処理回路１４０によって実行される典型的なビデオ信号処理機能は、雑音抑制アルゴリズム、色補正、拡大縮小、走査速度変換、適応特徴強調、及び他の適応オブジェクトベースアルゴリズムを含みうる。有利な実施例では、後処理回路１４０は、本発明の原理によりソフトセグメント化及び適応色強調を実行することが可能なセグメント化回路及び色強調回路を含む。
【００２４】
図２は、本発明の１つの実施例による後処理回路１４０を詳細に示す図である。後処理回路１４０は、入力フレームバッファ２１０、画像プロセッサ２２０、メモリ２３０、及び出力フレームバッファ２４０を含む。後処理回路１４０は、（場合に応じて）任意のＭＰＥＧデコーダ１３０又はＩＦプロセッサ１２５から入来ビデオフレームを受け取り、各ビデオフレームの画素データを入力フレームバッファ２１０に格納する。次に、画像プロセッサ２２０は、本発明の原理により各ビデオフレームのソフトセグメント化（以下詳述）を行う。
【００２５】
セグメンテーション制御器２２２は、ソフト画像セグメント化を行うことが可能な画像プロセッサ２２０の部分を含む。本発明の有利な実施例によれば、セグメンテーション制御器２２２はメモリ２３０中のセグメンテーションアルゴリズム２３２に格納された命令を実行することによってセグメント化を行う。強調制御器２２４は、１つ又はそれ以上の種類の画像セグメント化（即ち、色のシフト、彩度の増加、エッジ強調等）を行うことが可能な画像プロセッサ２２０の部分を含む。本発明の有利な実施例によれば、強調制御器２２２は、メモリ２３０中の強調アルゴリズム２３４に格納された命令を実行することによりこれらの画像強調技術を行う。セグメント化され強調されたビデオフレームは、続くディスプレイ１１５への転送のための出力フレームバッファ２４０に格納される。
【００２６】
上述において、本発明は、高性能ビデオ処理回路及び関連するビデオ処理ソフトウエアを含むパーソナルコンピュータを含む任意の適切に配置された画像処理システムで実施されうる。この場合、本発明は、ＰＣのハードディスクドライブ、又は、例えばＣＤ−ＲＯＭディスク、ＤＶＤディスク、３．５インチフレキシブルディスク等の着脱可能な（リムーバブル）記録媒体に格納されたコンピュータ実行可能な命令及びデータとして実施されうる。
【００２７】
図３は、本発明の１つの実施例による典型的な画像処理システム３００を示す図である。画像処理システム３００は、パーソナルコンピュータ（ＰＣ）３１０、外部データベース３８０、モニタ３８５、及びユーザ装置３９０を含む。パーソナルコンピュータ３１０は、ビデオファイルから取り出されたビデオフレームのセグメント化及び強調を行う。外部データベース３８０は、ディジタル化されたビデオ画像が取り出されうる１つ又はそれ以上の源を含む。これらのデータベースは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、及び／又は、テープ、ディスク或いは他の記憶装置といった外部装置を通じたデータへの直接アクセスといった他の源にアクセスすることによって与えられうる。
【００２８】
モニタ３８５は、強調されたビデオ画像を表示する。ユーザ装置３９０は、システムへのユーザ入力を与えるために画像処理システム３００のユーザによって操作されうる１つ又はそれ以上の周辺装置を表わす。一般的な周辺ユーザ入力装置は、コンピュータマウス、キーボード、ライトペン、ジョイスティック、タッチテーブル及び関連するスタイラス、又は取り出された画像の全て又は一部を含むデータを入力、選択及び操作するために選択的に使用されうる他の装置を含む。ユーザ装置３９０はまた、特定の取り出された又は変更された画像を捕捉するために使用されうるカラープリンタといった出力装置を含みうる。
【００２９】
パーソナルコンピュータ３１０は、画像プロセッサ３２０、ランダムアクセスメモリ（ＲＡＭ）３３０、ディスク記憶部３４０、ユーザ入出力（Ｉ／Ｏ）カード３５０、ビデオカード３６０、入出力インタフェース３７０、及びプロセッサバス３７５を含む。ＲＡＭ３３０は、更に、画像セグメンテーションアプリケーション３３２及び画像強調アプリケーション３３４を含む。プロセッサバス３７５は、パーソナルコンピュータ１１０の全ての構成要素間でデータを転送する。画像プロセッサ３２０は、パーソナルコンピュータ１１０に対する全体的な制御を行い、本発明の原理によるビデオ画像のソフトセグメント化を行う。画像プロセッサ３２０は、また、本発明の原理による色強調、エッジ鮮鋭化、及び他の強調を行う。画像プロセッサ３２０についての要件及び能力は従来技術で周知であり、本発明に必要でないかぎり詳述する必要はない。
【００３０】
ＲＡＭ３３０は、ＲＡＭ３３０がなければシステム中の構成要素によっては与えられない、パーソナルコンピュータ３１０によって生成されるデータの一時的な記憶のためのランダムアクセスメモリを提供する。ＲＡＭ３３０は、セグメンテーションアプリケーション３３２、強調アプリケーション３３４、並びに、画像プロセッサ３２０及び関連する装置によって要求される他のメモリを含む。セグメンテーションアプリケーション３３２は、ソフトセグメント化処理中に初期ビデオ画像及び全ての変更された領域ベースの画像が一時的に記憶されるＲＡＭ３３０の部分を表わす。セグメンテーションアプリケーション３３２は、同じ色、同じテクスチャ、特定の形状、振幅範囲、又は時間的な変化の領域及び形状を定義しセグメント化する実行可能な命令を含む。強調アプリケーション３３４は、強調アプリケーション３３４によって決められるセグメントに対して異なる種類の強調を行う画像プロセッサ３２０によって実行されるアプリケーションプログラム中の実行可能な命令を含む。セグメンテーションアプリケーション３３２及び強調アプリケーション３３４は、ＣＤ−ＲＯＭ、コンピュータディスケット、又は、ディスク記憶部３４０の中のリムーバブルディスクポートや例えば外部データベース３８０といった他の場所にロードされうる他の記憶媒体上のプログラムとしても実施されうる。
【００３１】
ディスク記憶部３４０は、セグメンテーションアプリケーション３３２及び強調アプリケーション３３４を含むアプリケーションプログラムや他のデータの恒久的な記憶のためのリムーバブルディスクを含む１つ又はそれ以上のディスクシステムを含む。ユーザ入出力（Ｉ／Ｏ）カード３５０は、ユーザ装置３９０とパーソナルコンピュータ３１０の残りの部分との間のインタフェースである。ビデオカード３６０はモニタ３８５とパーソナルコンピュータ３１０の残りの部分との間のインタフェースを与え、入出力（Ｉ／Ｏ）インタフェース３７０は外部データベース３８０とパーソナルコンピュータ３１０の残りの部分との間のインタフェースを与える。
【００３２】
本発明は、従来技術では可能ではなかった新しい強調機能を与えるためにセグメンテーションと局所的な強調を組み合わせる。例えば、草、木、及び他の緑色植物といった植物を描写する画像について考える。本発明は、緑色植物を含む各画像の全ての領域を認識するアルゴリズムを含む。本発明は、緑色植物に最適であるとみなされる画像処理をこれらの領域にのみ適用する。画像の他の部分はそれらの特徴について独自に最適化された強調処理を受ける。
【００３３】
本発明は、ソフトセグメント化の概念を導入するものであり、ソフトセグメント化では、特定の範囲の画素が所望のセグメントの中にある確率をモデル化する連続的な（非二値）関数を定義する。かかるセグメントは、例えば植物、空、人間の肌等の色及びテクスチャについての所定の画素値範囲でありうる。セグメントは、画素の群が同じセグメントの部分である確率に従って定義される。
【００３４】
セグメントが定義された後、適用される強調の量もまた確率の測定値の関数となる。画素がセグメントの中にある確率が高くなるほど、その画素に適用される強調の量は大きくなる。最大の強調は、確率が最大のところに適用される。確率はセグメントのエッジの近くでは比較的低いため、強調はセグメントのエッジではきれいにフェードアウトする。これは、かかるセグメンテーションに基づく強調が、ハード（又は二値）セグメンテーションに帰因するフレームからフレームへの（frame-to-frame）アーティファクトなしに動画に対して適用されることを可能とする。
【００３５】
本発明の有利な実施例によれば、多くのソフトセグメンテーションタスクに対する１つの適切な確率モデルは、ガウシアン分布である。しかしながら、ソフトセグメンテーションモデルの有効性は、他の数学的な分布関数に対しても成り立つ。本発明の１つの実施例によれば、確率関数は、色相・彩度・明度（ＨＳＶ）色空間又はＹＵＶ色空間の中で定義されうる。本発明は、色特性を特定するために上述の色空間又は任意の他の色空間を網羅するが、ＴＶ信号はＹＵＶ形式で既に利用可能であり他の色空間への更なる変換は必要でないため、ＹＵＶ色空間が特に望ましい。３次元ガウシアン分布関数はソフトセグメンテーションの確率をモデル化するために使用されうる。この関数は、
Ｐ（ｙ，ｕ，ｖ）＝ｅZ
ただし、Ｚ＝（−Ａ2＋Ｂ2＋Ｃ2）であり、
０＜ｙ＜２５５，０＜ｕ＜２５５，０＜ｖ＜２５５  のとき、
Ａ＝（ｙ−ｙMID）／σy
Ｂ＝（ｕ−ｕMID）／σu
Ｃ＝（ｖ−ｖMID）／σv
である。
【００３６】
一組の典型的なパラメータ値は、
ｙMID＝１０２
ｕMID＝１０６
ｖMID＝１０８
σy＝８９
σu＝１９
σv＝１９
である。
【００３７】
植物セグメントの場合、典型的な強調アルゴリズムは、植物セグメントの色を明るい緑色の草の色へ向かってシフトさせ、彩度を増加させ、輝度を増加させ、エッジ強調を適用する。適用される強調の量は、確率関数に比例する。ここで説明する概念は、サンプルの適用として与えられる植物セグメンテーションに限られるものではない。空、人間の皮膚、建物等といった他の領域は、異なる確率関数及び異なるパラメータ値を必要としうる。
【００３８】
図４は、本発明の１つの実施例による後処理回路１４０の選択された部分の動作を示すフローチャートである。定期的な動作の間、後処理回路１４０は、ＭＰＥＧデコーダ１３０からビデオフレームを受け取り、これらを入力フレームバッファ２１０に格納する。画像プロセッサ２２０は次に、各フレーム中の全ての画素に対して上述の確率関数を計算する（処理ステップ４０５）。次に、画像プロセッサ２２０は、画素の確率を、空、異なる種類の人間の皮膚、草等といった共通の対象の所定の値と比較することによりセグメンテーションを行う（処理ステップ４１０）。所定の値と同程度である画素群は、共通のセグメントに属するとして識別される。或いは、他の公知の従来技術のセグメンテーション技術は、上述の確率関数に基づくセグメンテーションに加えて、又はその代わりに、使用されうる（処理ステップ４１５）。
【００３９】
フレームがセグメント化されると、画像プロセッサ２２０は、各画素に関連する確率関数に従ってセグメンテーションされたビデオフレームに対して１又はそれ以上のビデオ強調技術を行う。本発明の原理によれば、強調の量は、確率関数に比例する（処理ステップ４２０）。即ち、画素が、特定のセグメントに属するという確率が高ければ、比較的多くの量の強調が適用される。逆に、画素が、特定のセグメントに属するという確率が低ければ、比較的少ない量の強調が適用される。例えば、領域として定義された椰子の葉の境界の内側の緑色の画素は、椰子の葉が動くと他の色へ移行しうるエッジの近くの画素よりも高い確率値を有する。従って、椰子の葉の緑の色合いを増加させる色強調技術は、椰子の葉の中央の近くでは椰子の葉のエッジよりも多くの量の色強調を適用する。最後に、セグメント化されたビデオフレーム及び強調されたビデオフレームは、ディスプレイ１１５へ、或いは本発明のパーソナルコンピュータ実施例では記憶装置へ転送される。
【００４０】
本発明について詳細に説明したが、当業者は、本発明の最も広い形の趣旨及び範囲を逸脱することなく本発明に対する様々な変更、代替、修正がなされうることを理解するであろう。
【図面の簡単な説明】
【００４１】
【図１】本発明の原理によるビデオ画像をセグメント化及び強調する装置を含むテレビジョン受像機を示すブロック図である。
【図２】本発明の１つの実施例による典型的なテレビジョン受像機中の後処理回路を詳細に示す図である。
【図３】本発明の１つの実施例による典型的なＰＣに基づく画像処理システムを示す図である。
【図４】本発明の１つの例による後処理回路の選択された部分の動作を示すフローチャートである。
【図１】
2004523982.tif 000003
【図２】
2004523982.tif 000004
【図３】
2004523982.tif 000005
【図４】
2004523982.tif 000006
【国際公開パンフレット】
2004523982.tif 000007
2004523982.tif 000008
2004523982.tif 000009
2004523982.tif 000010
2004523982.tif 000011
2004523982.tif 000012
2004523982.tif 000013
2004523982.tif 000014
2004523982.tif 000015
2004523982.tif 000016
2004523982.tif 000017
2004523982.tif 000018
2004523982.tif 000019
2004523982.tif 000020
2004523982.tif 000021
2004523982.tif 000022
2004523982.tif 000023
2004523982.tif 000024
2004523982.tif 000025
2004523982.tif 000026
【国際公開パンフレット（コレクトバージョン）】
2004523982.tif 000027
2004523982.tif 000028
【国際調査報告】
2004523982.tif 000029
2004523982.tif 000030
2004523982.tif 000031
2004523982.tif 000032