(57)【要約】      （修正有）【課題】様々な画像改善効果を達成し得るように、ディスプレイ部に表示される画像コンテンツに関して、実写部分か、合成部分かを自動的に決定する。【解決手段】着信ビットストリーム形式の画像コンテンツに関して、それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、画像の輝度値の空間分布について評価することで決定する。実写値は、最初に、画像フレームの小領域について、各小領域に対して生成された輝度ヒストグラムの分析により決定する。その後、小領域の実写値を分析して、画像フレームに対する合計実写値を生成し、画像フレームの画像コンテンツを分類する。【選択図】図１
2008042893.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、前記画像の輝度値の空間分布を評価することで決定する方法。
【請求項２】
更に、
前記画像を多数の画像ブロックに分割する工程と、
選択された画像ブロックに対する輝度ヒストグラムを生成する工程と、
当該選択された画像ブロックのそれぞれに対する実写値を決定するために当該輝度ヒストグラムを使用する工程と、を備える、請求項１記載の方法。
【請求項３】
前記画像は、等しいサイズの画像ブロックに分割される、請求項２記載の方法。
【請求項４】
前記輝度ヒストグラムの各ビンは、前記画像ブロックにおいて特定の範囲の輝度値が表現されるか否かを示す１ビットにより表現される、請求項２記載の方法。
【請求項５】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する工程は、表現輝度値の範囲を決定する工程を含む、請求項２記載の方法。
【請求項６】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する工程は、表現輝度値の密度を決定する工程を含む、請求項５記載の方法。
【請求項７】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する工程は、前記表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供する工程を含む、請求項６記載の方法。
【請求項８】
前記実写値は、表現輝度値の前記範囲と、表現輝度値の前記密度と、表現輝度値の前記分布パターンとを含む一つ以上のグループに基づいて選択される、請求項７記載の方法。
【請求項９】
更に、前記画像内の前記画像ブロックのそれぞれと全てとに対して実写値を決定する工程を備える、請求項２記載の方法。
【請求項１０】
更に、前記画像の前記実写値を決定するために、当該選択された画像ブロックのそれぞれに対する前記実写値を使用する工程を備える、請求項２記載の方法。
【請求項１１】
更に、前記画像に対して決定された前記実写値を一つ以上の指定値と比較する工程を備える、請求項１０記載の方法。
【請求項１２】
前記画像は、前記画像の前記実写値が最大の指定値より大きい場合に実写とみなされ、前記画像は、前記画像の前記実写値が最小の指定値より小さい場合に合成とみなされ、前記画像の前記実写値が選択された指定値の間にある場合に混合とみなされる、請求項１１記載の方法。
【請求項１３】
それぞれが関連ピクセルデータを有する複数のピクセルで形成された表示画像の実写値を、前記表示画像の輝度値の空間分布を評価することで決定する装置。
【請求項１４】
更に、
前記画像を多数の画像ブロックに分割する手段と、
選択された画像ブロックに対する輝度ヒストグラムを生成する手段と、
当該選択された画像ブロックのそれぞれに対する実写値を決定するために当該輝度ヒストグラムを使用する手段と、を備える、請求項１３記載の装置。
【請求項１５】
前記画像は、等しいサイズの画像ブロックに分割される、請求項１４記載の装置。
【請求項１６】
前記輝度ヒストグラムの各ビンは、前記画像ブロックにおいて特定の範囲の輝度値が表現されるか否かを示す１ビットにより表現され、格納手段に格納される、請求項１４記載の装置。
【請求項１７】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する手段は、表現輝度値の範囲を決定する手段を含む、請求項１４記載の装置。
【請求項１８】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する手段は、表現輝度値の密度を決定する手段を含む、請求項１７記載の装置。
【請求項１９】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用する手段は、前記表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供する手段を含む、請求項１８記載の装置。
【請求項２０】
前記実写値は、表現輝度値の前記範囲と、表現輝度値の前記密度と、表現輝度値の前記分布パターンとを含む一つ以上のグループに基づいて選択される、請求項１９記載の装置。
【請求項２１】
更に、前記画像内の前記画像ブロックのそれぞれと全てとに対して実写値を決定する工程を備える、請求項１４記載の装置。
【請求項２２】
更に、前記画像の前記実写値を決定するために、当該選択された画像ブロックのそれぞれに対する前記実写値を使用する手段を備える、請求項１４記載の装置。
【請求項２３】
更に、前記画像に対して決定された前記実写値を一つ以上の指定値と比較する手段を備える、請求項２２記載の装置。
【請求項２４】
前記画像は、前記画像の前記実写値が最大の指定値より大きい場合に実写とみなされ、前記画像は、前記画像の前記実写値が最小の指定値より小さい場合に合成とみなされ、前記画像の前記実写値が選択された指定値の間にある場合に混合とみなされる、請求項２３記載の装置。
【請求項２５】
それぞれが関連ピクセルデータを有する複数のピクセルで形成された表示画像の実写値を、前記表示画像の輝度値の空間分布を評価することで決定するコンピュータプログラム製品。
【請求項２６】
更に、
前記画像を多数の画像ブロックに分割するコンピュータコードと、
選択された画像ブロックに対する輝度ヒストグラムを生成するコンピュータコードと、
当該選択された画像ブロックのそれぞれに対する実写値を決定するために当該輝度ヒストグラムを使用するコンピュータコードと、を備える、請求項２５記載のコンピュータプログラム製品。
【請求項２７】
前記画像は、等しいサイズの画像ブロックに分割される、請求項２６記載のコンピュータプログラム製品。
【請求項２８】
更に、前記画像ブロックにおいて特定の範囲の輝度値が表現されるか否かを示す１ビットにより前記輝度ヒストグラムの各ビンを表現するコンピュータコードを備える、請求項２６記載のコンピュータプログラム製品。
【請求項２９】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用するコンピュータコードは、表現輝度値の範囲を決定するコンピュータコードを含む、請求項２６記載のコンピュータプログラム製品。
【請求項３０】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用するコンピュータコードは、表現輝度値の密度を決定するコンピュータコードを含む、請求項２９記載のコンピュータプログラム製品。
【請求項３１】
前記画像ブロックに対する実写値を決定するために当該輝度ヒストグラムを使用するコンピュータコードは、前記表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供するコンピュータコードを含む、請求項３０記載のコンピュータプログラム製品。
【請求項３２】
前記実写値は、表現輝度値の前記範囲と、表現輝度値の前記密度と、表現輝度値の前記分布パターンとを含む一つ以上のグループに基づいて選択される、請求項３１記載のコンピュータプログラム製品。
【請求項３３】
更に、前記画像内の前記画像ブロックのそれぞれと全てとに対して実写値を決定する工程を備える、請求項２６記載のコンピュータプログラム製品。
【請求項３４】
更に、前記画像の前記実写値を決定するために、当該選択された画像ブロックのそれぞれに対する前記実写値を使用するコンピュータコードを備える、請求項２６記載のコンピュータプログラム製品。
【請求項３５】
更に、前記画像に対して決定された前記実写値を一つ以上の指定値と比較するコンピュータコードを備える、請求項３４記載のコンピュータプログラム製品。
【請求項３６】
前記画像は、前記画像の前記実写値が最大の指定値より大きい場合に実写とみなされ、前記画像は、前記画像の前記実写値が最小の指定値より小さい場合に合成とみなされ、前記画像の前記実写値が選択された指定値の間にある場合に混合とみなされる、請求項３５記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ及びグラフィックの画質の改善に関し、特に、ビデオ画像内に存在する、ビデオ、テキスト、又は混合した組み合わせ等、画像コンテンツの種類を決定する装置及び方法に関する。
【背景技術】
【０００２】
テレビ、コンピュータモニタ、その他のディスプレイ機器は、非常に多くのディスプレイサイズ及びアスペクト比で存在する。例えば、従来のテレビディスプレイは、４：３（１．３３：１）のアスペクト比を有し（以降、標準ディスプレイ）、一方、シアタ又はＨＤＴＶディスプレイ等のワイド画面ディスプレイは、１６：９（１．７８：１）のアスペクト比を有する。２．３９：１又は２．３５：１のアスペクト比を有する更に幅広のディスプレイも存在する。更に、特定のディスプレイ部は、既存の非常に多数のビデオ信号形式を表示できるべきである。特定のディスプレイ部でネイティブの形式以外の形式を表示するためには、様々な手法を使用して、非ネイティブ形式のアスペクト比を縮小又は拡大する。こうした手法の多くには、非ネイティブ画像を元の形式でネイティブディスプレイに投射し、画像情報が存在しない「隙間」を単純に黒くすることが含まれる。
【０００３】
レターボックス化は、１６：９等の幅広のビデオ形式を、元のアスペクト比を維持したまま、より正方形に近い形式へ転送する動作である。結果的なビデオ表示では、ブラックバー又は、より正確に、マットと呼ばれる場合が多いマスクオフ領域を、ピクチャ領域の上下に含む必要がある。対照的に、ピラーボックス化又はウィンドウボックス化は、元々ワイド画面向けではないビデオをワイド画面ディスプレイに表示する時に必要になる。元のデータは縮小され、ワイド画面フレームの中央に置かれ、垂直なブラックバーが両側に配置される。最後に、標準比の画像がレターボックスピクチャの中央部分にあり、黒い境界が周囲全体に生じる場合が時折存在する。この効果は、マッチボックス化と呼ばれ、明らかに大量の画面スペースを無駄にすると共に、元の画像の解像度を低減する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
テレビディスプレイのコントローラは、一般に、受信中の着信信号がビデオ信号であることは「分かって」いるが、受信中の着信信号の形式は分からない。コンピュータモニタ、又は一般的なモニタの場合、着信信号について分かる事柄は更に少なく、即ち、受信しているのが（ＤＶＤ等からの）ビデオ信号か、（コンピュータ等からの）テキスト信号か、或いは両方の組み合わせなのか、モニタには分からない。したがって、ディスプレイコントローラが着信信号の最善の処理方法を知ることは困難である。
【０００５】
色の強調その他の処理といった画像改善効果をグラフィック又はビデオ画像に加えるためには、画像コンテンツの性質を知る必要があり、即ち、画像が大部分において実写（フィルム又はデジタル記録）か、或いは合成（人工又はテキスト画像）かを知ることが望ましい。特定のディスプレイにレターボックス化、ピラーボックス化、或いはその両方が施されている場合には、更に、適切且つ効率的な画像処理が達成されるように、画像フレームのどの部分が実写で、どの部分が合成かを知ることが望ましい。
【０００６】
したがって、ディスプレイ部への着信信号の画像コンテンツを自動的に決定することが望ましい。
【課題を解決するための手段】
【０００７】
大まかに言って、本発明は、より良好なピクセル配置及び輝度コントラストの増大等の画像改善効果を達成し得るように、着信ビットストリームの画像コンテンツを決定することに関する。本発明は、方法、システム、デバイス、装置、又はコンピュータ読み取り可能な媒体を含む多数の形で実現できる。本発明の幾つかの実施形態を、以下説明する。
【０００８】
本発明の実施形態では、それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、画像の輝度値の空間分布を評価することで決定する方法を説明する。方法は、画像を多数の画像ブロックに分割する工程と、選択された画像ブロックに対する輝度ヒストグラムを生成する工程と、選択された画像ブロックのそれぞれに対する実写値を決定するために輝度ヒストグラムを使用する工程とにより実行し得る。各画像ブロックに対する実写値を決定する工程は、例えば、表現輝度値の範囲を決定する工程、表現輝度値の密度を決定する工程、及び／又は表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供する工程を含んでよい。選択画像ブロックのそれぞれに対する輝度値は、その後、画像の実写値を決定するのに使用してよい。画像の実写値は、その後、一つ以上の指定値と比較してよい。様々な実施形態において、合計実写値が最大の指定値より大きい場合、画像は実写であるとみなしてよく、合計実写値が最小の指定値より小さい場合、画像は合成であるとみなしてよく、合計実写値が選択された指定値の間である場合、画像は混合であるとみなしてよい。
【０００９】
本発明の別の実施形態では、それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、画像の輝度値の空間分布を評価することで決定する装置を説明する。装置は、画像を多数の画像ブロックに分割する手段と、選択された画像ブロックに対する輝度ヒストグラムを生成する手段と、選択された画像ブロックのそれぞれに対する実写値を決定するために輝度ヒストグラムを使用する手段とにより実行し得る。各画像ブロックに対する実写値を決定する手段は、例えば、表現輝度値の範囲を決定する手段、表現輝度値の密度を決定する手段、及び／又は表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供する工程を含んでよい。装置は、選択された画像ブロックのそれぞれに対して得られた実写値に基づいて、画像の実写値を決定する手段と、画像に対して得られた実写値を一つ以上の指定値と比較する手段とを含んでもよい。
【００１０】
本発明の更に別の実施形態では、それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、画像の輝度値の空間分布を評価することで決定するコンピュータプログラム製品を説明する。コンピュータプログラム製品は、画像を多数の画像ブロックに分割するコンピュータコードと、選択された画像ブロックに対する輝度ヒストグラムを生成するコンピュータコードと、選択された画像ブロックのそれぞれに対する実写値を決定するために輝度ヒストグラムを使用するコンピュータコードとにより実行し得る。各画像ブロックに対する実写値を決定するコンピュータコードは、例えば、表現輝度値の範囲を決定するコンピュータコード、表現輝度値の密度を決定するコンピュータコード、及び／又は表現ビンの分布パターンを分析して、表現輝度値の分布パターンを提供するコンピュータコードを含んでよい。コンピュータプログラム製品は、選択された画像ブロックのそれぞれに対して得られた実写値に基づいて、画像の実写値を決定するコンピュータコードと、画像に対して得られた実写値を一つ以上の指定値と比較するコンピュータコードとを含んでもよい。
【００１１】
本発明のその他の態様及び利点は、添付図面と併せて、以下の詳細な説明から明らかとなろう。
【００１２】
本発明は、その更なる目的及び利点と共に、添付図面と併せて以下の説明を参照することで最も良く理解され得よう。
【００１３】
図面において、同様の参照符号は同様の要素を示す。更に、図面内の描写は、同一の縮尺ではないことを理解されたい。
【発明を実施するための最良の形態】
【００１４】
次に、添付図面に一例を示した本発明の特定の実施形態を詳細に参照する。本発明を特定の実施形態に関連して説明するが、本発明を説明した実施形態に限定するものではないことは理解されよう。逆に、添付特許請求の範囲に記載した本発明の趣旨及び範囲に入り得る代替物、変形例、及び等価物を含むものである。
【００１５】
本発明の一態様では、それぞれが関連ピクセルデータを有する複数のピクセルで形成された画像の実写値を、画像の輝度値の空間分布を評価することで決定する方法を説明する。一般に、画像の大部分が合成である場合、画像はテキストであり、大部分が実写であれば、画像はビデオ（又は写真）であり、画像がそれぞれを少しずつ表示する場合、不均一に分布しているならば「混合」であり、大きな長方形に集中しているならば「ビデオインウィンドウ」である。混合信号の例は、合成の背景に多数の小さな実写画像を表示するインターネットソースになり得る。混合信号の例は、実写性を高めるために、恐らくはランダムな輝度の追加により強化された、合成写真又はビデオ記録にもなり得る。ビデオインウィンドウ信号の例は、エッジ２０４及び合成背景２０８と共に実写ビデオ画像２０６を有する画像フレーム２００を例示する図２に示したように、合成の色又はテキストを表示する大きなウィンドウ又は背景に囲まれたアプリケーションウィンドウに、写真又はビデオ記録を表示するインターネットソースになり得る。
【００１６】
一実施形態において、画像フレームは、ステップ１０２において、１．３３：１形式、ワイド画面の１．７８：１形式、又はワイド画面の２．３９：１形式等、任意の数の形式で構成されたテレビディスプレイ又はコンピュータモニタになり得るディスプレイ部で受領される。ステップ１０４において、画像フレームは、複数の画像ブロック２０２に再分割される。説明する実施形態では、画像ブロック２０２のそれぞれは、物理的寸法においてサイズが等しい。画像ブロックは、Ｎ行及びＭ列で編成される。一例として、３２列及び３０行の画像ブロック（即ち、９６０長方形画像ブロック）の使用は、上手く機能することが明らかとなっている。画像ブロック２０２のそれぞれは正方形にする必要はなく、等しいサイズにする必要もないことに留意されたい。他の実施形態において、画像ブロックは、例えば、ディスプレイの中心、或いは実写画像が予想される場所では、より小さくしてよい。
【００１７】
この技術で公知であるように、赤、緑、及び青の色度部分を含むＲＧＢ信号は、輝度部分Ｔと二つの色度部分Ｕ及びＶを含むＹＵＶ信号に変換できる。着信ＲＧＢ色空間信号が対応するＹＵＶ色空間信号に変換された後、ステップ１０６において、画像ブロックのピクセルのそれぞれについて、輝度部分Ｙを使用して輝度ヒストグラムを生成する。一部の実施形態では、画像ブロック内の全ピクセルを使用して、それぞれが輝度値の範囲を表す所定の数の輝度ビン（１２８等）を有する輝度ヒストグラムを生成する。計算時間及び／又はリソースを維持するために、輝度ヒストグラムの各ビンは、コンピュータメモリにおいて、輝度値の特定の範囲が表現されるか否かを示す単一のビットにより表現し得ることに留意されたい。一例として、ロジック１は、画像ブロックにおいてビンが表現されることを示してよく、ロジック０は、特定のビンが表現されないことを示してよい。
【００１８】
特定の画像ブロック内の全て又は実質的に全てのピクセルが使用されると考えられるが、場合によっては、特定の画像ブロック内で選択されたピクセルのみを使用して、輝度ヒストグラムを生成するのが好ましい。何れの場合も、特定の画像ブロックに対して輝度ヒストグラムを生成した後、全て又は実質的全ての画像ブロックに対して、輝度ヒストグラムを生成する（しかしながら、場合によっては、選択された画像ブロックのみを使用するのが望ましい）。
【００１９】
全ての輝度ヒストグラムが生成された後、ステップ１０８において、表示画像全体での輝度の空間分布を決定するために、輝度ヒストグラムを分析する。分析は、最高の表現輝度値を表すビンを発見することと、最低の表現輝度値を表すビンを発見することと、間のビンの数を決定することとを含んでよい。分析のこの部分は、画像ブロックにおける表現輝度値の範囲を推定するのに使用し得る。範囲が広いほど、画像ブロック内に存在するコンテンツが実写である可能性が高くなり、即ち、コンテンツがアナログ又はデジタル記録により生成された可能性が高くなる。様々な実施形態において、画像フレーム内の表現輝度値の密度を決定してもよい。一部の実施形態において、密度は、各画像ブロックに対する表現ビンの合計範囲の中で表現されたビンの数として推定し得る。表現されたビンの密度が大きいほど、画像が実写である可能性が高くなる。更に別の実施形態では、表現ビンのパターンに関連する第三の方法を採用してよい。一例として、表現ビンが散開している場合、即ち、狭い範囲に集まっていない場合、画像ブロックは実写である可能性が高い。
【００２０】
上記分析ツールの一つ以上の組み合わせを使用して、１１０において、画像フレーム内の画像ブロックの「実写性」を推定してよい。一例として、０が完全な合成画像ブロックを示し、１０が完全な実写画像ブロックを示す０乃至１０の尺度を使用して、画像ブロックの実写値を推定してよい。上記のように、合成画像は、非常に狭い範囲の輝度を有するか、或いは広範囲だが間に多くの間隙を有する場合が多い。実写画像は、範囲内の殆どの輝度が表現された状態で、より広範囲の輝度を有する傾向にある。
【００２１】
図３ａ及び３ｂは、実写画像と、画像の全画像ブロックについて得られた実写値を示す、関連する三次元プロットの二次元レンディションとを例示する。プロットは、３１行及び３２列に分割され、画像ブロックの実写値を表す０乃至３０の高さ基準を有する画像フレームを示している。図４ａ及び４ｂは、同様に、合成画像と、関連する三次元実写値のプロットとを例示する。最後に、図５ａ及び５ｂは、同様に、ビデオインウィンドウ画像と、関連する三次元実写値のプロットとを例示する。ビデオインウィンドウの例において、中央領域は、明らかに画像フレームの実写部分を示している。
【００２２】
１１２では、画像フレーム全体に対して計算された実写値を分析し得る。一例として、実写値を単純に加算して、画像フレームの一領域、又は画像フレームの全体の実写値を得てよい。１１４では、画像フレームの画像コンテンツの性質を判断する。画像は、実写値と一つ以上の指定値との比較に基づいて多数のカテゴリの一つに分類し得る。画像に対して計算された実写値が最大の指定値よりも大きい場合、画像は実写とみなしてよく、画像の実写値が最小の指定値より小さい場合、画像は合成とみなしてよく、画像の実写値が選択された指定値の間である場合、画像は混合とみなしてよい。比較に使用する指定値は、固定された所定の数、或いは変更可能な数にしてよい。
【００２３】
上記のように、混合画像の場合には、様々な画像改善効果を実写（ウィンドウ）部分に実行し得るように、混合画像がビデオインウィンドウ画像であるかを判断することが更に望ましい。ビデオインウィンドウの検出は、画像フレーム内の画像ブロックの実写値の分布を分析することで達成し得る。ネイティブビデオ形式を表示するように構成されたディスプレイ部では、ビデオインウィンドウが検出された場合、より良好なピクセル割り当てを達成し得る。背景において述べたように、マッチボックス効果は、標準形式のディスプレイ部に表示されているワイド画面表示形式に標準形式の広告が組み込まれた場合等に見られるように、レターボックス化と、その後のピラーボックス化との組み合わせにより生じ得る。これにより、通常はサイズ及び解像度が劇的に低減されるビデオインウィンドウ信号を、ディスプレイとの整合性が高い、ソースが意図する形式で表示し得る。こうした画像の改善を施すためには、ビデオウィンドウのエッジ、即ち、実写ビデオと合成の背景との間の境界を定義する必要がある。こうした境界縁部検出プロセス１１６は、出典を明記することでその開示内容全体を実質上本願明細書の一部とする出願番号１１／５６５，４６４のＮｅａｌによる同時係属特許出願「ビデオウィンドウ検出器」において説明される。
【００２４】
最後に、全ての実施形態において、説明した実写性測定は、全てのフレームに対して実行する必要はないことに留意されたい。一例として、多くの用途では、四フレーム毎に実写性の測定を実行することで十分であると同時に、メモリリソースにも負担がかからないことが明らかとなっている。
【００２５】
本発明の実施形態は、本明細書で開示した装置を含め、デジタル電子回路、或いはコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにおいて実現できる。本発明の装置の実施形態は、プログラム可能なプロセッサで実行するために機械読み取り可能なストレージデバイスで明白に具現化されたコンピュータプログラム製品において実現可能であり、本発明の方法ステップは、命令のプログラムを実行し、入力データを操作して出力を生成することで本発明の機能を実行する、プログラム可能なプロセッサにより実行できる。本発明の実施形態は、データストレージシステムと、少なくとも一つの入力デバイスと、少なくとも一つの出力デバイスとからデータ及び命令を受領し、これらに対してデータ及び命令を送信するように結合された、少なくとも一つのプログラム可能なプロセッサを含む、プログラム可能なシステム上で実行可能な、一つ以上のコンピュータプログラムにおいて実施できるという利点を有する。各コンピュータプログラムは、高レベル手続き型又はオブジェクト指向プログラミング言語において、或いは、望ましい場合には、アセンブリ言語又は機械語において、実現可能であり、何れの場合においても、言語は、コンパイラ型又はインタプリタ型言語にできる。
【００２６】
適切なプロセッサは、一例として、汎用及び特殊用途マイクロプロセッサの両方を含む。一般に、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受領する。一般に、コンピュータは、データファイルを格納する一つ以上の大量記憶デバイスを含み、こうしたデバイスは、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、光ディスクとを含む。コンピュータプログラムの命令及びデータを明白に具現化するのに適したストレージデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスと、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、ＣＤ−ＲＯＭディスクとを含め、あらゆる形態の不揮発性メモリを含む。上記のものは何れもＡＳＩＣ（特定用途向け集積回路）により補足すること、或いは、これに組み込むことが可能である。
【００２７】
以上、本発明の多数の実施例について説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な変形を施し得ることは理解されよう。したがって、添付特許請求の範囲には他の実施形態が含まれる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態による、画像の実写値を決定するプロセスを例示するフローチャートである。
【図２】画像ブロックへ再分割された代表画像フレームを示す図である。
【図３ａ】実写画像の一例を示す図である。
【図３ｂ】本発明の一実施形態による、図３ａの関連実写画像の実写値プロットの一例を示す図である。
【図４ａ】合成画像の一例を示す図である。
【図４ｂ】本発明の一実施形態による、図４ａの関連合成画像の実写値プロットの一例を示す図である。
【図５ａ】ビデオインウィンドウ画像の一例を示す図である。
【図５ｂ】本発明の一実施形態による、図５ａの関連ビデオインウィンドウ画像の実写値プロットの一例を示す図である。
【図１】
2008042893.tif 000003
【図２】
2008042893.tif 000004
【図３ａ】
2008042893.tif 000005
【図３ｂ】
2008042893.tif 000006
【図４ａ】
2008042893.tif 000007
【図４ｂ】
2008042893.tif 000008
【図５ａ】
2008042893.tif 000009
【図５ｂ】
2008042893.tif 000010
【外国語明細書】
1. TITLE OF THE INVENTION
VIDEO CONTENT DETECTOR
2. DETAILED DESCRIPTION OF THE INVENTION
FIELD OF THE INVENTION
[0001]    This invention generally relates to improving video and graphics quality.  In particular, the present invention relates to apparatus and methods for determining the type of image content, such as video, text, or a mixed combination, present in a video image.
BACKGROUND
[0002]    Televisions, computer monitors and other display devices exist in a great multitude of display sizes and aspect ratios.  For example, conventional television displays have a 4:3 (1.33:1) aspect ratio (hereafter referred to as a standard display) while widescreen displays, such as theater or HDTV displays, have a 16:9 (1.78:1) aspect ratio.  There are also still wider displays having aspect ratios of 2.39:1 or 2.35:1.  Moreover, a given display unit should be able to display the great multitude of video signal formats that exist.  In order for a given display unit to display a format other than its own native format, various techniques are used to shrink or extend the aspect ratio of the nonnative format.  Many of these techniques involve projecting the nonnative image in its original format onto the native display and simply blackening the "gaps" where no image information exists.
[0003]    Letterboxing is the practice of transferring wider video formats, such as 16:9, to more square formats while preserving the original aspect ratio. The resulting video display must include masked-off areas above and below the picture area, often referred to as black bars, or, more accurately, as mattes.  In contrast, pillarboxing, or windowboxing, is necessitated when video that was not originally designed for widescreen is shown on a widescreen display. The original material is shrunk and placed in the middle of the widescreen frame while vertical black bars are placed on either side.  Lastly, there are sometimes instances in which standard ratio images are presented in the central portion of a letterboxed picture, resulting in a black border all around. This effect is referred to as matchboxing, and obviously wastes a great deal of screen space as well as reduces the resolution of the original image.
[0004]    Although a controller for a television display generally "knows" that the incoming signal it is receiving is a video signal, the controller generally does not know the format of the incoming signal it is receiving.  In the case of computer monitors, or monitors in general, even less is known about the incoming signal; that is, the monitor does not know whether it is receiving a video signal (such as from a DVD), a textual signal (such as from a computer), or a combination of both.  Hence, it is difficult for the display controller to know how to best process the incoming signal.
[0005]    In order to apply image improvement effects, such as color enhancement or other processing to a graphics or video image, it is necessary to know the nature of the image content; that is, it is desirable to know whether the image is largely real (a film or digital recording) or synthetic (artificial or textual image).  In the case where a given display is letterboxed, pillarboxed, or both, it is further desirable to know which portions of the image frame are real and which are synthetic such that appropriate and efficient image processing is accomplished.
[0006]    Therefore, it would be desirable to automatically determine the image content of an incoming signal into a display unit.
Summary
[0007]    Broadly speaking, the invention relates to determining the image content of an incoming bitstream such that image improvement effects such as better pixel allocation and increased luminance contrast levels may be accomplished.  The invention can be implemented in numerous ways, including as a method, system, device, apparatus, or computer readable medium.  Several embodiments of the invention are discussed below.
[0008]    In embodiments of the present invention, a method of determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the image is described.  The method may be carried out by: dividing the image into a number of image blocks, generating a luminance histogram for selected image blocks, and using the luminance histograms to determine a realness value for each of the selected image blocks.  Determining a realness value for each image block may include determining a range of represented luminance values, determining a density of represented luminance values, and/or analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values, for example.  The realness values for each of the selected image blocks may then be used to determine the realness value for the image.  The realness value for the image may then be compared to one or more specified values.  In various embodiments, the image may be considered real if the total realness value is greater than a largest specified value, the image may be considered synthetic if the total realness value is less than a smallest specified value, and the image may be considered mixed if the total realness value is in between selected specified values.
[0009]    In other embodiments of the present invention, an apparatus for determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the image is described.  The apparatus includes means for dividing the image into a number of image blocks, means for generating a luminance histogram for selected image blocks, and means for using the luminance histograms to determine a realness value for each of the selected image blocks.  Means for determining a realness value for each image block may include means for determining a range of represented luminance values, means for determining a density of represented luminance values, and/or means for analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values, for example.  The apparatus may also include means for determining the realness value of the image based upon the realness values obtained for each of the selected image blocks, as well as means for comparing the realness value obtained for the image to one or more specified values.
[0010]    In still other embodiments of the present invention, computer program product executable by a processor for determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the image is described.  The computer program product includes computer code for dividing the image into a number of image blocks, computer code for generating a luminance histogram for selected image blocks, and computer code for using the luminance histograms to determine a realness value for each of the selected image blocks.  Computer code for determining a realness value for each image block may include computer code for determining a range of represented luminance values, computer code for determining a density of represented luminance values, and/or computer code for analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values, for example.  The computer program product may also include computer code for determining the realness value of the image based upon the realness values obtained for each of the selected image blocks, as well as computer code for comparing the realness value obtained for the image to one or more specified values.  Computer readable medium for storing the computer code is also provided.
[0011]    Other aspects and advantages of the invention will become apparent from the following detailed description taken in conjunction with the accompanying drawings.
[0012]    The invention, together with further objects and advantages thereof, may best be understood by reference to the following description taken in conjunction with the accompanying drawings.
[0013]    In the drawings, like reference numerals designate like elements.  Also, it should be understood that the depictions in the figures are not to scale.
DETAILED DESCRIPTION OF SELECTED EMBODIMENTS
[0014]    Reference will now be made in detail to a particular embodiment of the invention an example of which is illustrated in the accompanying drawings.  While the invention will be described in conjunction with the particular embodiment, it will be understood that it is not intended to limit the invention to the described embodiment.  To the contrary, it is intended to cover alternatives, modifications, and equivalents as may be included within the spirit and scope of the invention as defined by the appended claims.
[0015]    In an aspect of the present invention, a method of determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating the spatial distribution of luminance values of the image is described.  In general, if an image is mostly synthetic, it is textual, if it is mostly real, it is video (or photo), if the image displays some of each, it is "mixed" if distributed unevenly, or "video-in-window" if concentrated in a large rectangle.  An example of a mixed signal may be an Internet source displaying many small real images on a synthetic background.  An example of a mixed signal may even be a synthetic photo or video recording that has been enhanced, perhaps through random luminance addition, to look more real.  An example of a video-in-window signal may be an Internet source displaying a photo or video recording in an application window that is surrounded by a larger window or background displaying synthetic colors or text, as shown in Fig. 2 illustrating an image frame 200 having a real video image 206 with edges 204 and a synthetic background 208.
[0016]     In one embodiment, an image frame is received at step 102 at a display unit that may be a television display or computer monitor configured in any number of formats such as 1.33:1 format, widescreen 1.78:1 format or widescreen 2.39:1 format.  At step 104, the image frame is subdivided into a plurality of image blocks 202.  In the described embodiment, each of the image blocks 202 is of equal size in physical dimension.  The image blocks are organized into N rows and M columns.  By way of example, the use of 32 columns and 30 rows of image blocks (resulting in 960 rectangular image blocks) has been shown to work well.  It should be noted that each of the image blocks 202 need not be square, nor need they be of equal size.  In other embodiments, the image blocks may be smaller, for example, in the center of the display or where a real image is expected.
[0017]    As is known in the art, an RGB signal comprising the chroma portions red, green, and blue can be transformed into a YUV signal comprising the luminance portion Y, and two chroma portions U and V.  Once an incoming RGB color space signal is converted to a corresponding YUV color space signal, the luminance portion, Y, for each of the pixels in an image block is used to generate a luminance histogram in step 106.  In some embodiments, all of the pixels in the image block are used to generate a luminance histogram having a predefined number of luminance bins (such as 128) each of which represents a range of luminance values.  It should be noted that in order to preserve computing time and/or resources, each bin of the luminance histogram may be represented in a computer memory by a single bit indicating whether or not a particular range of luminance values is represented.  By way of example, a logic 1 may indicate that a bin is represented in the image block while a logic 0 may indicate that the particular bin is not represented.
[0018]    Although it is contemplated that all, or substantially all, of the pixels in a particular image block are used, in some cases it may be preferable to use only selected ones of the pixels in a particular image block to generate the luminance histograms.  In any case, once a luminance histogram is generated for a particular image block, a luminance histogram is generated for all, or substantially all, of the image blocks (however, in some cases it may be desirable to use only selected ones of the image blocks)
[0019]    Once all of the luminance histograms have been generated, the luminance histograms are analyzed at step 108 in order to determine a spatial distribution of luminance across the displayed image.  The analysis may include finding the bin representing the highest represented luminance value, finding the bin representing the lowest represented luminance value and determining the number of bins in between.  This portion of the analysis may be used to estimate the range of represented luminance values in the image block.  The wider the range, the more likely the content present in the image block is real; that is, that the content was produced through an analog or digital recording.  In various embodiments, the density of represented luminance values in the image frame may be determined.  In some embodiments, the density may be estimated as a number of bins represented out of the total range of represented bins for each image block.  The greater the density of bins represented, the more likely that the image is real.  In still other embodiments, a third method of analysis may be employed having to do with the pattern of represented bins.  By way of example, if the represented bins are spread out, i.e. not clumped into a narrow range, then it is more likely that the image block is real.
[0020]    The combination of one or more of the aforementioned analysis tools may then be used to estimate the "realness" of an image block in the image frame at 110.  By way of example, a scale from 0 to 10, where a 0 indicates an entirely synthetic image block and a 10 indicates an entirely real image block, may be used to estimate a realness value for the image block.  As stated earlier, a synthetic image will often have a very narrow range of luminances or a wide range but with many gaps in between.  A real image will tend to have a wider range of luminances with most of the luminances in the range represented.
[0021]    Figs. 3a and 3b illustrate a real image and an associated two-dimensional rendition of a three-dimensional plot showing the realness values obtained for all of the image blocks of the image.  The plot shows an image frame divided into 31 rows and 32 columns and having a height scale ranging from 0 to 30 representing the realness value of the image block.  Figs. 4a and 4b similarly illustrate a synthetic image and associated three-dimensional realness value plot.  Lastly, Figs. 5a and 5b similarly illustrate a video-in-window image and associated three-dimensional realness value plot.  In the video-in-window example, the central region clearly shows the real portion of the image frame.
[0022]    At 112, the realness values computed for the entire image frame may then be analyzed.  By way of example, the realness values may simply be added to obtain a realness value for a region of the image frame, or the image frame in its entirety.  At 114, the nature of the image content of the image frame is determined.  The image may be classified into one of a number of categories based upon a comparison between its realness value and one or more specified values.  If the realness value computed for the image is greater than a largest specified value, the image may be considered real, if the realness value of the image is less than a smallest specified value, the image may be considered synthetic, and if the realness value of the image is in between selected specified values, the image may be considered mixed.  The specified values used for comparison may be fixed predetermined numbers, or numbers that are made variable.
[0023]    As alluded to earlier, in the case of mixed images, it is further desirable to determine if the mixed image is a video-in-window image such that various image improvement effects might be performed on the real (windowed) portion.  Video-in-window detection may be achieved by analyzing the distribution of the realness values of the image blocks in the image frame.  In a display unit configured to display a native video format, if a video-in-window signal is detected, a better allocation of pixels may be achieved.  As mentioned in the background, a matchboxing effect may result from a combination of letterboxing followed by pillarboxing, such as would be observed if a standard format advertisement is incorporated into a widescreen display format being displayed on a standard format display unit.  In this manner, the video-in-window signal that would normally be dramatically reduced in size and resolution, may be displayed in a format more consistent with the display as well as that intended by the source.  In order to make such image improvements, it is necessary to define the edges of the video window, that is, the boundaries between the real video and the synthetic background.  Such a boundary edge detection process 116 is described in detail in co-pending patent application entitled, "Video Window Detector" by Neal having Application Serial No. 11/565,464, which is incorporated herein by reference in its entirety for all purposes.
[0024]    Finally, it should be noted that the described realness measurement need not be performed on every frame in all embodiments.  By way of example, it has been shown that performing the realness measurement every four frames is sufficient for many applications while not burdening memory resources.
[0025]    Embodiments of the invention, including the apparatus disclosed herein, can be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or in combinations of them. Apparatus embodiments of the invention can be implemented in a computer program product tangibly embodied in a machine-readable storage device for execution by a programmable processor; and method steps of the invention can be performed by a programmable processor executing a program of instructions to perform functions of the invention by operating on input data and generating output.  Embodiments of the invention can be implemented advantageously in one or more computer programs that are executable on a programmable system including at least one programmable processor coupled to receive data and instructions from, and to transmit data and instructions to, a data storage system, at least one input device, and at least one output device. Each computer program can be implemented in a high-level procedural or object-oriented programming language, or in assembly or machine language if desired; and in any case, the language can be a compiled or interpreted language.
[0026]    Suitable processors include, by way of example, both general and special purpose microprocessors. Generally, a processor will receive instructions and data from a read-only memory and/or a random access memory. Generally, a computer will include one or more mass storage devices for storing data files; such devices include magnetic disks, such as internal hard disks and removable disks; magneto-optical disks; and optical disks. Storage devices suitable for tangibly embodying computer program instructions and data include all forms of non-volatile memory, including by way of example semiconductor memory devices, such as EPROM, EEPROM, and flash memory devices; magnetic disks such as internal hard disks and removable disks; magneto-optical disks; and CD-ROM disks. Any of the foregoing can be supplemented by, or incorporated in, ASICs (application-specific integrated circuits).
[0027]    A number of implementations of the invention have been described. Nevertheless, it will be understood that various modifications may be made without departing from the spirit and scope of the invention.  Accordingly, other embodiments are within the scope of the following claims.
3. BRIEF DESCRIPTION OF THE DRAWINGS
FIG. 1 shows a flowchart illustrating a process of determining a realness value of an image in accordance with an embodiment of the present invention;
FIG. 2 shows a representative image frame subdivided into image blocks;
FIG. 3a shows an exemplary real image;
FIG. 3b shows an exemplary realness value plot of the associated real image of FIG. 3a in accordance with an embodiment of the present invention;
FIG. 4a shows an exemplary synthetic image;
FIG. 4b shows an exemplary realness value plot of the associated synthetic image of FIG. 4a in accordance with an embodiment of the present invention;
FIG. 5a shows an exemplary video-in-window image;
FIG. 5b shows an exemplary realness value plot of the associated video-in-window image of FIG. 5a in accordance with an embodiment of the present invention.
1.  A method of determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the image.
2.  A method as recited in claim 1, further comprising:
dividing the image into a number of image blocks;
generating a luminance histogram for selected image blocks; and
using said luminance histograms to determine a realness value for each of said selected image blocks.
3.  A method as recited in claim 2, wherein the image is divided into image blocks of equal size.
4.  A method as recited in claim 2, wherein each bin of the luminance histogram is represented by 1 bit indicating whether or not a particular range of luminance values is represented in the image block.
5.  A method as recited in claim 2, wherein using said luminance histogram to determine a realness value for the image block includes determining a range of represented luminance values.
6.  A method as recited in claim 5, wherein using said luminance histogram to determine a realness value for the image block includes determining a density of represented luminance values.
7.  A method as recited in claim 6, wherein using said luminance histogram to determine a realness value for the image block includes analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values.
8.  A method as recited in claim 7, wherein the realness value is selected based upon one or more of a group including the range of represented luminance values, the density of represented luminance values, and the distribution pattern of represented luminance values.
9.  A method as recited in claim 2, further comprising determining realness values for each, and all, of the image blocks in the image.
10.  A method as recited in claim 2, further comprising using the realness values for each of said selected image blocks to determine the realness value for the image.
11.  A method as recited in claim 10, further comprising comparing the realness value determined for the image to one or more specified values.
12.  A method as recited in claim 11, wherein the image is considered real if the realness value of the image is greater than a largest specified value, wherein the image is considered synthetic if the realness value of the image is less than a smallest specified value, and considered mixed if the realness value of the image is in between selected specified values.
13.  An apparatus for determining a realness value of a displayed image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the displayed image.
14.  An apparatus as recited in claim 13, further comprising:
means for dividing the image into a number of image blocks;
means for generating a luminance histogram for selected image blocks; and
means for using said luminance histograms to determine a realness value for each of said selected image blocks.
15.  An apparatus as recited in claim 14, wherein the image is divided into image blocks of equal size.
16.  An apparatus as recited in claim 14, wherein each bin of the luminance histogram is represented by 1 bit and stored in a means of storage indicating whether or not a particular range of luminance values is represented in the image block.
17.  An apparatus as recited in claim 14, wherein means for using said luminance histogram to determine a realness value for the image block includes means for determining a range of represented luminance values.
18.  An apparatus as recited in claim 17, wherein means for using said luminance histogram to determine a realness value for the image block includes means for determining a density of represented luminance values.
19.  An apparatus as recited in claim 18, wherein means for using said luminance histogram to determine a realness value for the image block includes means for analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values.
20.  An apparatus as recited in claim 19, wherein the realness value is selected based upon one or more of a group including the range of represented luminance values, the density of represented luminance values, and the distribution pattern of represented luminance values.
21.  An apparatus as recited in claim 14, further comprising determining realness values for each, and all, of the image blocks in the image.
22.  An apparatus as recited in claim 14, further comprising means for using the realness values for each of said selected image blocks to determine the realness value for the image.
23.  An apparatus as recited in claim 22, further comprising means for comparing the realness value determined for the image to one or more specified values.
24.  An apparatus as recited in claim 23, wherein the image is considered real if the realness value of the image is greater than a largest specified value, wherein the image is considered synthetic if the realness value of the image is less than a smallest specified value, and considered mixed if the realness value of the image is in between selected specified values.
25.  Computer program product executable by a processor for determining a realness value of a displayed image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the displayed image.
26.  Computer program product as recited in claim 25, further comprising:
computer code for dividing the image into a number of image blocks;
computer code for generating a luminance histogram for selected image blocks;
computer code for using said luminance histograms to determine a realness value for each of said selected image blocks; and
a computer readable medium for storing the computer code.
27.  Computer program product as recited in claim 26, wherein the image is divided into image blocks of equal size.
28.  Computer program product as recited in claim 26, further comprising computer code for representing each bin of the luminance histogram by 1 bit indicating whether or not a particular range of luminance values is represented in the image block.
29.  Computer program product as recited in claim 26, wherein computer code for using said luminance histogram to determine a realness value for the image block includes computer code for determining a range of represented luminance values.
30.  Computer program product as recited in claim 29, wherein computer code for using said luminance histogram to determine a realness value for the image block includes computer code for determining a density of represented luminance values.
31.  Computer program product as recited in claim 30, wherein computer code for using said luminance histogram to determine a realness value for the image block includes computer code for analyzing a distribution pattern of the represented bins thereby providing a distribution pattern of represented luminance values.
32.  Computer program product as recited in claim 31, wherein the realness value is selected based upon one or more of a group including the range of represented luminance values, the density of represented luminance values, and the distribution pattern of represented luminance values.
33.  Computer program product as recited in claim 26, further comprising determining realness values for each, and all, of the image blocks in the image.
34.  Computer program product as recited in claim 26, further comprising computer code for using the realness values for each of said selected image blocks to determine the realness value for the image.
35.  Computer program product as recited in claim 34, further comprising computer code for comparing the realness value determined for the image to one or more specified values.
36.  Computer program product as recited in claim 35, wherein the image is considered real if the realness value of the image is greater than a largest specified value, wherein the image is considered synthetic if the realness value of the image is less than a smallest specified value, and considered mixed if the realness value of the image is in between selected specified values.
1. ABSTRACT
The invention relates to determining the image content of an incoming bitstream such that various image improvement effects may be accomplished.  The invention provides for determining a realness value of an image formed of a plurality of pixels each having associated pixel data by evaluating a spatial distribution of luminance values of the image.  Realness values are first determined for subregions of an image frame through an analysis of a luminance histogram generated for each subregion.  Subsequently, the subregion realness values are analyzed to generate a total realness value for the image frame and to classify the image content of the image frame.
2. REPRESENTATIVE DRAWING
Fig.1
2008042893.tif 000011
2008042893.tif 000012
2008042893.tif 000013
2008042893.tif 000014
2008042893.tif 000015
2008042893.tif 000016
2008042893.tif 000017
2008042893.tif 000018