(57)【特許請求の範囲】
【請求項１】
コンピュータで動作する方法であって、
ビデオ入力信号を分析し、画像内容及び画像特性を検出するステップであって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むようなステップと、
所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するステップと、
検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整するステップと、
前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割するステップと、
第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定するステップと、
第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定するステップと、
前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整するステップと、
前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整するステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載のコンピュータで動作する方法において、
信号特性を検出するよう前記ビデオ入力信号をさらに分析し、前記コンテンツグループは前記検出画像内容及び当該信号特性に基づいて決定されることを特徴とする方法。
【請求項３】
請求項２に記載のコンピュータで動作する方法において、
前記信号特性は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする方法。
【請求項４】
請求項１に記載のコンピュータで動作する方法において、
ディスプレイの現在の画像表示設定を受けるステップと、
出力信号を前記ディスプレイに出力するステップと、
をさらに含み、
前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有することを特徴とする方法。
【請求項５】
請求項１に記載のコンピュータで動作する方法において、
前記ビデオ入力信号を受けるステップを含むことを特徴とする方法。
【請求項６】
請求項１に記載のコンピュータで動作する方法において、
前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
さらに、方法は、
前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整するステップを含むことを特徴とする方法。
【請求項７】
プロセッサを具備する機械によって実行されるときに、コンピュータで動作する方法を当該プロセッサに実行させる命令を保存している機械読み取り可能な媒体であって、当該方法は、
ビデオ入力信号を分析し、画像内容及び画像特性を検出するステップであって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むようなステップと、
所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するステップと、
検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整するステップと、
前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割するステップと、
第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定するステップと、
第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定するステップと、
前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整するステップと、
前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整するステップと、
を含むこと特徴とする機械読み取り可能な媒体。
【請求項８】
請求項７に記載の機械読み取り可能な媒体において、
信号特性を検出するよう前記ビデオ入力信号をさらに分析し、前記コンテンツグループは前記検出画像内容及び当該信号特性に基づいて決定されることを特徴とする機械読み取り可能な媒体。
【請求項９】
請求項８に記載の機械読み取り可能な媒体において、
前記信号特性は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする機械読み取り可能な媒体。
【請求項１０】
請求項７に記載の機械読み取り可能な媒体において、
さらに、方法は、
ディスプレイの現在の画像表示設定を受けるステップと、
出力信号を前記ディスプレイに出力するステップと、
を含み、
前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有することを特徴とする機械読み取り可能な媒体。
【請求項１１】
請求項７に記載の機械読み取り可能な媒体において、
前記ビデオ入力信号は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする機械読み取り可能な媒体。
【請求項１２】
請求項７に記載の機械読み取り可能な媒体において、
前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
さらに、方法は、
前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整するステップを含むことを特徴とする機械読み取り可能な媒体。
【請求項１３】
請求項１２に記載の機械読み取り可能な媒体において、
前記音声特性を調整することは、音量、イコライザー設定、及び、再生速度のうちの少なくとも一つを調整することを含む機械読み取り可能な媒体。
【請求項１４】
装置であって、
ビデオ入力信号を分析し、画像内容及び画像特性を検出する手段であって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むような手段と、
所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定する手段と、
検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整する手段と、
前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割する手段と、
第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定する手段と、
第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定する手段と、
前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整する手段と、
前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整する手段と、
を備えること特徴とする装置。
【請求項１５】
請求項１４に記載の装置において、
前記ビデオ入力信号を分析し、さらに信号特性を検出する手段と、
前記検出画像内容及び前記信号特性に基づいて、前記コンテンツグループを決定する手段と、
を備えること特徴とする装置。
【請求項１６】
請求項１４に記載の装置において、
ディスプレイの現在の画像表示設定を受ける手段と、
出力信号を前記ディスプレイに出力する手段と、
をさらに備え、
前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有すること特徴とする装置。
【請求項１７】
請求項１４に記載の装置において、
前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
装置は、
前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整する手段をさらに備えること特徴とする装置。
【請求項１８】
コンピュータ化されたシステムであって、
ビデオ入力信号を分析し、画像内容及び画像特性を検出する分析器であって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むような分析器と、
所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するグループ判定器と、
検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整する調整器と、
前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割する手段と、
第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定する手段と、
第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定する手段と、
前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整する手段と、
前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整する手段と、
を備えていることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を調整することに関する。より詳細には、信号特性、画像特性、及び、画像内容（image content）に基づいて画像表示設定を調整することに関する。
【０００２】
著作権表示
本特許文献の開示の一部は著作権保護の対象となる要素を含んでいる。特許商標庁の特許のファイル又は記録に見られるように、著作権者は、本特許文献又は本特許の開示についての任意の者による複製されたコピーに対して異論はない。しかし、その他の点では、全ての著作権を留保し、以下の警告が適用される。著作権者  ソニーエレクトロニクス社  無断複写・複製・転載を禁ず。
【背景技術】
【０００３】
最近のテレビ及びモニタは通常、複数の異なる画像調整機構を有する。ユーザは、表示メニューを検索し、明るさ、コントラスト、鮮明さ、色相などの画像表示設定を手動で調整することができる。いかに画像表示設定を調整しても、画像は、テレビ又はモニタ上で異なって表示される。
【０００４】
さらに、あるテレビ及びモニタは、一又は二以上のプリセット表示モードを有する。そのモードのそれぞれは、プリセットされた色相、鮮明さ、コントラスト、明るさなどを含む。ユーザは、表示メニューを検索することによって、プリセット表示モードを選択することができる。ある表示モードでは、所定の画像を他の表示モードより正確に表示することができる。例えば、スポーツ表示モードでは、スポーツイベントを見るために最適であると一般に考えられる画像表示設定を含むことができる。同様に、シネマ表示モードでは、動画を見るために最適であると一般に考えられる画像表示設定を含むことができる。しかしながら、そのようなプリセット表示モードの利点を得るために、ユーザは、見ようとしているものを変更する度に手動で表示モードを変更しなければならない。さらに、プリセット表示モードは、動画全体（全てのシーンのために）を通して、スポーツイベントの間中などに適用される。しかしながら、特定のプリセット表示モードは、ある番組、動画、又は、スポーツイベント全体についての最適な画像表示設定を盛り込むことはできない。
【発明の概要】
【０００５】
ビデオ入力信号は画像特性及び画像内容を検出するよう分析される。画像内容の検出は、画像特徴を自動的に抽出することを含む。ビデオ入力信号についてのコンテンツグループは、検出した画像の内容に基づいて決定される。各コンテンツグループは、所定の画像特性を含む。画像表示設定は、検出された画像特性と所定の画像特性との間の相違に基づいて調整される。
【図面の簡単な説明】
【０００６】
【図１Ａ】画像調整装置の一実施例を示す。
【図１Ｂ】本発明の一実施例による典型的な信号分析器を示す。
【図１Ｃ】本発明の一実施例による典型的なグループ判定器を示す。
【図２Ａ】本発明の一実施例による典型的なマルチメディアシステムを示す。
【図２Ｂ】本発明の他の実施例による典型的なマルチメディアシステムを示す。
【図２Ｃ】本発明の更なる他の実施例による典型的なマルチメディアシステムを示す。
【図３】本発明の一実施例による画像を修正する方法を示す。
【図４】本発明の他の実施例による画像を修正する方法を示す。
【図５】本発明の更なる他の実施例による画像を修正する方法を示す。
【図６】本発明の一実施例による入力信号を修正する方法を示す。
【図７】本発明の実施例を動作可能なコンピュータシステムの典型的な形態における機械についてのブロック図を示す。
【発明を実施するための形態】
【０００７】
本発明の実施例についての以下の詳細な説明において、参照記号は添付の図面に沿って構成されており、同じ参照記号は同じ要素を示す。さらに、それら図面は、本発明を実施可能な特定の実施例の図解のために示す。それら実施例は、当業者が本発明を実施するために十分詳細に記述されている。さらに、本発明の範囲から逸脱することなく、他の実施例を利用することができること、そして、当然のことながら、論理的変更、機械的変更、電気的変更、機能的変更、それら以外の変更も構成可能である。したがって、以下の詳細な記述を限定的な意味でとらえるべきではなく、本発明の範囲は、添付の特許請求の範囲のみによって定義される。
【０００８】
説明を明確にする目的のために、以下に、用語を定義する。
【０００９】
用語“信号特性”は、ビデオ信号の特性又はスチール画像信号の特性を意味する。信号特性には、メタデータ（例えば、タイトル、時間、日付、ＧＰＳ座標などについて）、信号の構造（例えば、インタレース又は順次操作（プログレッシブスキャン））、エンコーディング方式（例えば、エムペグ７）、信号ノイズなどを含むことができる。
【００１０】
用語“画像特性”は、信号により表示可能な画像の特性を意味する。画像特性には、画像サイズ、画像の解像度、フレームレート、ダイナミックレンジ、カラーキャスト（色かぶり）（特定の色による優越性）、ヒストグラム（各カラーチャンネルについての画像内の各グレースケール値でのピクセル数）、ブラー、画像ノイズなどを含むことができる。
【００１１】
用語“画像内容”は、視聴者が画像を見るときに見分けられるオブジェクト及びシーン（例えば、カメラによって得られるオブジェクト及びシーン）、さらには、オブジェクト及びシーンの特性を意味する。画像内容には、高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、オブジェクトの実際の色、形状など）が含まれる。
【００１２】
用語“画像表示設定”は表示についての設定を意味する。その設定は、ディスプレイ上に画像を表示させる方法を修正するために調整される。信号特性、画像特性、及び、画像内容が信号の特性である場合、画像表示設定は表示装置の特性である。画像表示設定には、スクリーンの解像度（対語として、画像の解像度）、リフレッシュレート（refreshment rate）、明るさ、コントラスト、色相、彩度、ホワイトバランス、鮮明さなどを含むことができる。
【００１３】
用語“表示対象の画像特性”は、表示装置（又は、画像調整装置）が画像の処理を行った後の画像についての特性を意味する。表示対象の画像特性には、“画像特性”と同じパラメータを含むことができるが、パラメータの値は異なっていてもよい。通常、画像表示設定は、表示対象の画像特性に影響を与える。
【００１４】
本発明の動作についての概要から説明する。図１は、画像調整装置１００の一実施例を示す。画像調整装置１００は、一又は二以上の画像表示設定（例えば、コントラスト、明るさ、色相など）を修正することができ、表示対象の画像特性（例えば、ダイナミックレンジ、ブラー、画像ノイズなど）と入力信号の画像特性とが異なるようにすることができる。他には、画像調整装置１００は、入力信号を修正することができ、修正された画像特性を含む出力信号を生成する。画像表示設定を修正するために、画像調整装置１００は、ビデオ入力を分析し、画像特性及び画像内容を検出することができる。画像調整装置１００は、検出した画像内容に基づいて、ビデオ入力信号についてのコンテンツグループを決定する（及び、コンテンツグループをビデオ入力信号に適用する）ことができ、さらに、適切なコンテンツグループを適用することができる。コンテンツグループは、画像表示設定の修正方法を決定するために、検出された画像特性との比較対照である所定の画像特性を含むことができる。画像表示設定を修正することによって、より見やすい画像、より審美的に心地よい画像、記録されている画像をより正確に描写した画像などを生成することができる。
【００１５】
画像調整装置１００は、信号源とビデオ信号の最終的な表示との間の任意のポイントでビデオ信号を途中で取得し（intercept）修正するよう用いられ得る。例として、画像調整装置１００は、テレビやモニタ、又は、セットトップボックス、サーバサイドのルータやクライアントサイドのルータなどに備えることができる。説明の明確化のために、簡略化した画像調整装置１００が記載されているが、一方で、本発明は、内容の検出、コンテンツグループの割り当て、又は、画像表示設定の調整に関して、特定のロジック又はアルゴリズムに限定されない。
【００１６】
一実施例において、画像調整装置１００は、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他の専用の処理ユニットによって実行されるロジックを含む。他の実施例において、画像調整装置１００は中央処理装置によって実行されるロジックを含むことができる。他には、画像調整装置１００は、一連の状態機械（例えば、一連の動作をどのように実行するかを決められている内部ロジック）、ロジック回路（例えば、時間内に一連のイベントを調べるロジック又は入力の変化によって出力を随時変化させるロジック）、又は、状態機械とロジック回路との組み合わせとして実装が可能である。
【００１７】
一実施例において、画像調整装置１００は、入力端末１０５、信号分析器１１０、フレームレート調整器１１２、グループ判定器１１５、画像調整器１２０、音声調整器１２５、及び、出力端末１３０を備える。他には、フレームレート調整器１１２、グループ判定器１１５、画像調整器１２０、音声調整器１２５の一又は二以上を省略することができる。
【００１８】
入力端末１０５は、入力信号を受信する。入力信号はビデオ入力信号又はスチール画像入力信号とすることができる。受信対象であるビデオ入力信号の例としては、デジタルビデオ信号（例えば、最先端テレビシステム委員会、（Advanced Television Systems Committee、ＡＴＳＣ）信号、デジタルビデオ放送（ Digital Video Broadcasting，ＤＶＢ）信号など）信号、又は、アナログビデオ信号（例えば、全米テレビジョン放送方式標準化委員会（National Television System Committee、ＮＴＳＣ）信号、位相反転線（Phase Alternating Line、ＰＡＬ）信号、順次式カラーメモリ（sequential color with memory、ＳＥＣＡＭ）信号、ＰＡＬ／ＳＥＣＡＭ信号など）を含む。受信対象のビデオ信号、及び／又は、スチール画像信号は、圧縮されていてもよい（例えば、モーションピクチャエキスパートグループ１（ＭＰＥＧ−１）、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、ビデオコーデック１（ＶＣ−１）などを用いて、）、又は、圧縮されていなくてもよい。受信対象のビデオ入力信号は、インタレースであっても非インタレースであってもよい。
【００１９】
入力端末１０５は、信号分析器１１０に接続されており、受信対象の入力信号を信号分析器１１０に送信することができる。信号分析器１１０は、入力信号を分析し、信号特性、画像内容、及び／又は、画像特性を決定することができる。決定される画像特性の例としては、画像サイズ、画像解像度、ダイナミックレンジ、色かぶりなどを含む。決定される信号特性の例としては、エンコーディング方式、信号ノイズ、信号構造（インタレース又はプログレッシブスキャン）などを含む。一実施例において、画像内容を決定することは、入力信号についての画像特徴を抽出することを含む。高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方が抽出され得る。信号分析器１１９は、低水準の画像特徴及び高水準の画像特徴の両方を自動的に抽出することができる。そして、信号分析器１１０は、抽出した画像特徴の組み合わせに基づいて内容を判定することができる。信号分析器１１０については、以下図１Ｂを参照して、より詳細に説明する。
【００２０】
図１Ａを参照すると、一実施例において、画像調整装置１００は、フレームレート調整器１１２を含む。一実施例において、フレームレート調整器１１２は、（図示されているように）信号分析器１１０の出力に接続されている入力を有する。他の実施例において、フレームレート調整器１１２は、グループ判定器１１５、画像調整器１２０、及び／又は、音声調整器１２５の出力に接続されている入力を有する。
【００２１】
フレームレート調整器１１２は、信号分析器１１０によって検出された信号特性、画像内容、及び／又は、動きに基づいて、ビデオ入力信号のフレームレートを調整することができる。一実施例において、ある閾値より大きい動きの状態である画像特性が検出された場合、フレームレート調整器１１２はフレームレートを増加させる。一実施例において、フレームレートの閾値は、動いているオブジェクトの速度に基づいて決定される。例えば、閾値は、オブジェクトがフレーム間で３ピクセルより多く移動してはならないことを示す。したがって、オブジェクトが２つのフレーム間で３つのピクセルより多く動くことが検出された場合、フレーム間におけるオブジェクトの移動が３ピクセル未満となるまでフレームレートを増加させることができる。
【００２２】
また、フレームレートの増加量は、閾値と検出した動きとの間の相違に依存させることができる。他には、参照テーブル（lookup table）又は他のデータ構造は、複数のエントリを含むことができる。各エントリは、動きベクトル又はブラーの量と特定のフレームレートとを関連付ける。一実施例において、広範囲の動きの平均は、フレームレートを調整するか決定するために用いることができる。他には、フレームレート調整は、最も早く動く画像特徴に基づいていてもよい。
【００２３】
一実施例において、グループ判定器１１５は、フレームレート調整器１１２の出力に接続されている入力を有する。他の実施例において、グループ判定器１１５は、信号分析器１１０の出力に接続されている入力を有する。グループ判定器１１５は、信号分析器１１０によって抽出された低水準の特徴及び高水準の特徴を受信する。低水準の特徴及び／又は高水準の特徴に基づいて、グループ判定器１１５は、入力信号についてのコンテンツグループ（また、コンテンツモードとも呼ばれる）を決定することができ、さらに、決定されたコンテンツグループを信号に割当てることができる。例えば、抽出された画像特徴には空及び自然の景観が含まれており、顔が存在しない場合、景観のグループが決定され、割当てられる。一方で、動きがない複数の顔が検出された場合、ポートレイトのグループが決定され、割当てられる。
【００２４】
一実施例において、グループ判定器１１５は、単一のコンテンツグループを画像に割当てる。他には、グループ判定器１１５は、画像を複数の部分画像に分割することができる。画像は、空間配置（例えば、画像の上半分に対して、画像の下半分）に基づいて、抽出された特徴の境界に基づいて、又は、他の基準に基づいて、複数の画像部分に分割され得る。そして、グループ判定器１１５は、第１の画像特徴を含む第１の画像部分についての第１のコンテンツグループを決定することができ、さらに、第２の画像特徴を含む第２の画像部分についての第２のコンテンツグループを決定することができる。さらに、入力信号は、２つより多くの画像部分に分割されてもよい。各画像部分には、異なるコンテンツグループが割当てられる。グループ判定器１１５は、以下図１Ｃを参照して、より詳細に説明する。
【００２５】
図１Ａを参照すると、一実施例において、画像調整装置１００は画像調整器１２０を備える。画像調整器１２０は、グループ判定器１１５の出力に接続されている入力を有する。上述の通り、各コンテンツグループは、所定の画像特性のコレクションを含む。画像調整器１２０は、（信号分析器１１０によって検出されるような）検出された画像特性と割当てられたコンテンツグループの所定の画像特性との比較に基づいて、一又は二以上の画像表示設定を調整することができる。検出された画像特性と所定の画像特性との間の相違は、画像調整設定についての調整の規模（magnitude）を決定することができる。他に、画像調整器１２０は入力信号を修正することができ、これにより、既知の画像表示設定を有するディスプレイ上で表示が行われるとき、表示される画像は所定の画像特性を有することとなる。
【００２６】
一実施例において、画像調整装置１００は、グループ判定器１１５の出力に接続されている入力を有する音声調整器１２５を備える。音声調整器１２５は、（信号分析器１１０によって検出されるような）検出された音声特性と割当てられたコンテンツグループの所定の音声特性との比較に基づいて、一又は二以上の音声設定（例えば、ボリューム、イコライザ設定、音声の再生速度など）を調整することができる。複数のコンテンツグループが入力信号に割当てられる場合、音声設定は、検出された音声特性とコンテンツグループの一つにおける所定の音声特性との間の相違に基づいて、又は、割当てられたコンテンツグループの音声特性の平均又は他の組み合わせに基づいて修正される。
【００２７】
出力端末１３０は、フレームレート調整器１１２、画像調整器１２０、及び、音声調整器１２５の一又は二以上の出力に接続されている入力を有することができる。一実施例において、出力端末１３０は、調整された画像表示設定、及び／又は、調整されたフレームレートを用いて入力信号を表示するディスプレイを備える。また、出力端末１３０は、調整された音声設定を用いて入力信号の音声部分を発するスピーカを備えることができる。
【００２８】
他の実施例において、出力端末１３０は、ディスプレイ及び／又はスピーカを有する装置に出力信号を送信する。出力端末１３０は、フレームレート調整器１１２、画像調整器１２０、及び、音声調整器１２５の一又は二以上から受信した調整についての指示に基づいて出力信号を生成することができる。出力信号は、既知の画像表示設定を有するディスプレイ装置上で表示されるとき、決定されたコンテンツグループの所定の画像特性を有することができる。さらに、出力信号は、そのディスプレイ装置上で表示されるとき、決定されたコンテンツグループの調整されたフレームレート及び／又は所定の音声特性を有することができる。
【００２９】
さらなる他の実施例において、出力端末１３０は、ディスプレイ及び／又はスピーカを有する装置に画像表示設定用修正信号とともに入力信号を送信する。画像表示設定用修正信号は、表示装置に画像表示設定を調整するように指示し、画像を表示する。これにより、決定されたコンテンツグループの所定の画像特性が示される。画像表示設定用修正信号は、入力信号に付加されるメタデータとすることもできる。
【００３０】
図１Ｂは、本発明の一実施例による、典型的な信号分析器１１０を示す。信号分析器１１０は、入力信号を分析し、信号特性、画像内容、及び／又は、画像特性を決定することができる。一実施例において、画像内容を決定することは、入力信号についての画像特徴を抽出することを含む。高水準の画像特徴（例えば、顔、建物、人、動物、景観など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方が抽出される。そして、信号分析器１１０は、抽出された画像特徴の組み合わせに基づいてコンテンツを決定することができる。
【００３１】
受信した信号を圧縮する場合、信号が圧縮されたままで、一又は二以上の信号の特性、画像特性、及び／又は、画像内容が決定される。そして、信号が伸長され、その後、追加の信号特性、画像特性、及び／又は、画像内容を決定することもできる。ある信号特性、画像特性、及び／又は、画像内容は、画像が圧縮されている間に検出しやすく、一方で、他の信号特性、画像特性、及び／又は、画像内容は、画像が伸長された後に決定し易い。例えば、ノイズ検出は、圧縮データで実行することができるが、顔検出は、伸長されたデータで実行することができる。
【００３２】
信号分析器１１０は、信号がフレーム単位（例えば、フレーム毎、一つおきのフレーム毎などに個別に分析される）又は一連のフレーム単位（例えば、３つのフレームが同時に分析される）で受信されるのと同時に、信号を動的に分析することができる。一連のフレームが同時に分析される場合、一つのフレームに現れる画像内容は、その一連の並びにおける各フレームに適用される可能性がある。他の例では、画像内容が一連の並びにおける各フレームに現れていなければ、画像内容は、それらフレームに適用されない。
【００３３】
一実施例において、信号分析器１１０は、信号特性検出器１３５及び画像特性検出器１４０を備える。また、他の実施例において、信号分析器１１０は、モーション検出器１５０及び音声特性検出器１５５を備える。
【００３４】
信号特性検出器１３５は、入力信号を分析し、信号特性（例えば、エンコーディング方式、信号ノイズ、信号構造など）を決定する。例えば、信号特性検出器１３５は、入力信号を分析し、信号に付加されている任意のメタデータを読み取ることができる。そのようなメタデータは、画像内容及び／又は画像特性についての情報を定義することができる。例えば、ＭＰＥＧ−７でエンコードされているビデオ信号は、画像内容、音声情報、及び、信号についての他の情報を記述することができるメタデータを含む。例として、信号特性検出器１３５は信号対ノイズ比（ＳＮ比）を決定することができ、さらには、信号がインターレスであるか非インターレスであるか決定することができる。
【００３５】
一実施例において、画像特性検出器１４０は、入力信号における画像特性を決定する。画像特性の例としては、画像サイズ、画像の解像度、色かぶりなどである。一実施例において、画像特性検出器１４０は入力信号についての画像特徴を抽出する。そして、その画像特徴は、入力信号の画像内容を決定するために用いられる。画像特性検出器１４０は、入力信号から高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方を抽出する。画像特性検出器１４０は、低水準の画像特徴及び高水準の画像特徴の両方を自動的に抽出することもできる。コンテンツベースの画像検査（image retrieval）における当業者にとって既知であり考え得る画像特徴の抽出のための典型的技術を以下で説明する。しかしながら、他の既知の技術は、同一又は異なる画像特徴を抽出するよう用いることができる。
【００３６】
一実施例において、画像特性検出器１４０は、入力信号を分析し、その信号に含まれる色を抽出する。高水準の特徴及び／又は画像内容を決定するために、抽出した色及びその色の画像内の分布は、単独又は他の低水準の特徴とともに用いられてもよい。例えば、ある画像において、第１の画像部分では青が大半を占め、他の画像部分では黄色が大半を占める場合、その画像はビーチ風景の画像である可能性がある。色ヒストグラムをマッピングすることによって色を抽出することができる。そして、そのような色ヒストグラムは、保存されている色ヒストグラムと比較することができる。その色ヒストグラムは特定の高水準の特徴に関連している。その比較に基づいて、画像内容の情報を決定することができる。さらに、別の技術（例えば、ガウス分布モデル、ベイズ識別器など）を用いて色を決定し比較することもできる。
【００３７】
一実施例において、画像特性検出器１４０は、楕円色モデル（elliptical color models）を用いて、高水準の特徴及び／又は画像内容を決定する。色相、彩度、明度（ＨＳＶ）色空間で高水準の特徴を有する画像のセットにおけるピクセルのマッピングを行うことによって、高水準の特徴のための楕円色モデルが生成される。そして、高水準の特性を有する第１の画像の訓練セット及び高水準の特性を欠く第２の画像の訓練セットを用いて、画像のセットを操作することができる。最適な楕円色モデルは、画像についての第１の訓練セットと画像についての第２の訓練セットとの統計的な隔たりを最大化することによって決定される。
【００３８】
画像（例えば、入力信号の画像）は、ＨＳＶ色空間上にマッピングされ、高水準の特徴のための楕円色モデルと比較される。楕円色モデル内のピクセルに適合する画像内のピクセルの割合は、画像が高水準の画像特徴を有する可能性を予想するために用いられる。この比較は、以下の計算式を用いて決定される。
0005492087.tif 000002
ここで、
0005492087.tif 000003
は色楕円モデルにおけるピクセル量、
0005492087.tif 000004
は色楕円モデル内にある画像のピクセル量である。色楕円モデルにおけるピクセル量
0005492087.tif 000005
に適合するピクセル量
0005492087.tif 000006
が大きい画像の場合、隔たりd(I,T)は小さくなる傾向がある。そして、高水準の特徴が画像内に存在することが分かる。
【００３９】
高水準の特徴が複数の異なる色を含んでいる（例えば、赤色の花、緑色の葉など）場合、高水準の特徴をセグメントに分割することができる。独立した楕円色モデルは、各セグメント毎に生成されるようにすることができる。ＨＳＶ色空間にマッピングされた画像は、色楕円モデルのそれぞれと比較することができる。両方の色楕円モデルに関して、隔たりd(I,T)が小さい場合、高水準の特徴が画像内に存在することが分かる。
【００４０】
一実施例において、画像特性検出器１４０は、入力信号を分析し、信号に含まれるテクスチャを抽出する。テクスチャは、入力信号に含まれる画像の視覚的なパターンを探し出すことによって決定される。さらに、テクスチャは、画像及び視覚的なパターンが空間的にどのように定義されているかについての情報を含むことができる。テクスチャはテクスチャ要素（テクセル）として表現することができる。テクセルは、どれ位のテクスチャが画像内で検出されるか、どのようにテクセルが配置されているかなどに依存して、多くのセット（例えば、アレイなど）に分類され得る。セットは、テクスチャを定義することができ、さらに、テクスチャが画像のどこに位置するか定義することができる。それらテクセル及びセットは、画像内容の情報を決定するために、特定の高水準の特徴と関連する保存されているテクセル及びセットとを比較することができる。
【００４１】
一実施例において、画像特性検出器１４０は、ウェーブレットベースのテクスチャ特徴抽出（wavelet-based texture feature extraction）を用いて、高水準の特徴及び／又は画像内容を決定する。画像特性検出器１４０は、特定の画像特徴又は画像内容それぞれのために複数のテクスチャモデルを含むことができる。各テクスチャモデルは、以下で説明するように、ウェーブレット係数や、ウェーブレット係数に関連する様々な値を含むことができる。それらウェーブレット係数及び関連値は、入力信号から抽出されたウェーブレット係数及び関連値と比較され、高水準の特徴及び／又は画像内容のいずれかがビデオ入力信号に含まれているかが決定される。
【００４２】
例えば、画像上でハールウェーブレット変換(Haar wavelet transformation)を実行することによって、ウェーブレット係数を計算することができる。初期の低レベルの係数は、以下の計算式の通り、近接するピクセル値を組み合わせることによって計算され得る。
0005492087.tif 000007
ここで、Ｌは低い周波数の係数(low-frequency coefficient)、ｉはウェーブレット係数のインデックス番号、Ｐは画像のピクセル値である。初期の高いレベルの係数は、以下の計算式の通り、近接するピクセル値を組み合わせることによって計算され得る。
0005492087.tif 000008
ここで、Ｈは高い周波数の係数、ｉはウェーブレット係数のインデックス番号、Ｐは画像のピクセル値である。
【００４３】
ハールウェーブレット変換は、繰り返して(recursively)適用することができる。これにより、初期の低レベルの係数それぞれ、そして、初期の高レベルの係数それぞれで実行され、第２のレベルの係数を生成する。そして、そのハールウェーブレット変換は、必要に応じて、第２のレベルの係数にも適用することができ、第３のレベルの係数を生成する。一実施例において、第４のレベルの係数が用いられる（例をあげると、４回繰り返したウェーブレット変換が計算される）。
【００４４】
複数のレベルによるウェーブレット変換は、複数のレベルの様々なサブバンドについての係数の平均絶対値を計算するよう用いられる。例えば、ある所定のサブバンド（例えば、ＬＨサブバンド）についての係数の平均絶対値μは、以下の計算式を用いて計算される。
0005492087.tif 000009
ここで、ＬＨ（ｉ）はレベルｉにおけるＬＨサブバンド、Ｗはウェーブレット係数、ｍは係数の行、ｎは係数の列であり、Ｍは係数の行についての総数に等しく、さらに、Ｎは係数の列についての総数に等しい。また、複数のレベルについての他のサブバンド（例えば、ＨＨ、ＨＬ、及び、ＬＬ）のために、係数の平均絶対値を決定することができる。
【００４５】
複数のレベルについてのウェーブレット係数は、係数の変化量を計算するために用いることができる。その変化量は、複数のレベルにおける様々なサブバンドについての値である。例えば、係数の変化量σ2は、以下の計算式を用いて所定のサブバンドＬＨについて計算される。
0005492087.tif 000010
ここで、ＬＨ（ｉ）はレベルｉでのＬＨサブバンド、Ｗはウェーブレット係数、ｍは係数の行、ｎは係数の列、Ｍは係数の行についての総数に等しく、Ｎは係数の列についての総数に等しい、さらに、μは係数の平均絶対値に相当する。また、複数のレベルの他のサブバンド（例えば、ＨＨ、ＨＬ、及び、ＬＬ）のために係数の変化量を計算することができる。
【００４６】
さらに、平均絶対テクスチャ角（mean absolute texture angless）は、以下の計算式の通り、係数の平均絶対値を用いて計算される。
0005492087.tif 000011
ここで、θμ(i)は平均絶対値のテクスチャ角、μは係数の平均絶対値、ｉはサブバンドレベル、ＬＨはＬＨサブバンド、ＨＬはＨＬサブバンドである。
【００４７】
変化量のテクスチャ角は、以下の計算式の通り、係数の変化量を用いて計算される。
0005492087.tif 000012
ここで、θσ(i)は変化量のテクスチャ角、σは係数の変化量、ｉはサブバンドレベル、ＬＨはＬＨサブバンド、ＨＬはＨＬサブバンドである。平均絶対テクスチャ角及び変化量テクスチャ角はともに、画像内でテクスチャをどのように順応させるかを示す。
【００４８】
平均絶対値の合計は、以下の計算式の通り計算することができる。
0005492087.tif 000013
【００４９】
ここで、μ(i)は平均絶対値の合計、ｉはウェーブレットレベル、μLH(i)はＬＨサブバンドについての係数の平均絶対値、μHH(i)はＨＨサブバンドについての係数の平均絶対値、μHL(i)はＨＬサブバンドについての係数の平均絶対値である。
【００５０】
変化量の合計は、以下の計算式の通り計算することができる。
0005492087.tif 000014
ここで、σ(i)は変化量の合計、ｉはウェーブレットレベル、σLH(i)はＬＨサブバンドについての係数の変化量、σHH(i)はＨＨサブバンドについての係数の変化量、σHL(i)はＨＬサブバンドについての係数の変化量である。
【００５１】
平均絶対値の合計及び変化量の合計は、入力信号についてのテクスチャモデルと画像との間の隔たりの値を計算するために用いられる。上述の値は、高水準の特徴を有する画像又は参照画像のために計算され、テクスチャモデルが生成される。そして、その値は入力信号について計算され得る。ビデオ入力信号についての値はテクスチャモデルについての値と比較される。その２つの値間の隔たりＤ（テクスチャの類似点を表す）が小さい場合、入力信号は高水準の特徴を含んでいると判定される。隔たりＤは以下の計算式を用いて計算される。
0005492087.tif 000015
ここで、Ｄは隔たりについての値であり、Ｔはテクスチャモデルを示し、Ｉはテスト画像を示し、ｉはウェーブレットレベル、μは平均絶対値の合計、σは変化量の合計、θσは変化量のテクスチャ角、θμは平均絶対値のテクスチャ角である。
【００５２】
一実施例において、画像特性検出器１４０は画像内の領域（例えば、画像の一部）の形状を判定する。形状は、セグメンテーション技術、ブロブ抽出技術、輪郭検出技術、及び／又は、その他、既知の形状検出技術を画像に適用することによって決定される。そして、決定された形状は記憶されている形状についてのデータベースと比較され、画像内容についての情報を決定する。画像特性検出器１４０は、検出された画像特性及び／又は画像特徴に基づいて画像内容を決定することができる。一実施例において、画像特性検出器１４０は、抽出した画像特徴を組み合わせて用いて画像内容を決定する。
【００５３】
一実施例において、画像特性検出器１４５は抽出された低水準の画像特徴を用いて高水準の画像特徴を決定する。例えば、抽出された低水準の画像特徴は、一人又は複数の人、景観、建物などを判定するために用いられる。画像特性検出器１４５は、上述の低水準の画像特徴と同様に技術的に既知である他の低水準の画像特徴を組み合わせ、高水準の画像特徴を判定することもできる。例えば、第１の形状、テクスチャ、及び、色は、顔に相当し、一方で、第２の形状、テクスチャ、及び、色は、木に相当する。
【００５４】
一実施例において、信号分析器１１０はモーション検出器１５０を備える。モーション検出器１５０は、ビデオ入力信号の画像内の動きを検出する。例として、モーション検出器１５０は、動きベクトルを用いることによって、動いている画像部分を判定する。動きベクトルは、全体の動き（シーン内の全体の移動量）と居所的な動き（画像の一又は二以上の部分における移動量、及び／又は、一又は二以上の特徴の移動が検出された量）を判定するために用いられる。さらに、モーション検出器１５０は、ブラーなどの画像特性を分析することによって動いている画像の部分を検出することができる。方向性を有しているブラーも判定することができる。方向性を有しているブラーは、検出され、そのブラーの方向においてオブジェクト（又はカメラ）の移動を示す。ブラーの程度は動いているオブジェクトの速度を予測するために用いられる。
【００５５】
一実施例において、信号分析器１１０は音声特性検出器１５５を備える。音声特性検出器１５５は入力信号の音声特性（音声特徴）を判定する。しばしば、音声特性は画像特徴との強い相互関係を見せる。したがって、一実施例において、そのような音声は画像内容をより最適に判定するのに用いられる。画像特徴を判定するために検出され用いられる音声特性の例としては、ケプストラムフラックス、多チャンネルコクリヤー分解、ケプストラムフラックス、多チャンネルベクトル、低エネルギーフラクション、スペクトルフラックス、スペクトルロールオフポイント、ゼロクロッシングレート、ゼロクロッシングレートの変化、エネルギー、及び、エネルギーの変化が含まれる。
【００５６】
図１Ｃは、本発明の一実施例によって典型的なグループ判定器１１５を示す。グループ判定器１１５は、複数のコンテンツグループ１６０を備える。グループ検出器１１５は、信号分析器１１０によって抽出された低水準の特徴及び高水準の特徴を受信する。グループ検出器１１５は、低水準の特徴及び／又は高水準の特徴に基づいて、入力信号についてのコンテンツグループ（コンテンツモードともいう）を複数のコンテンツグループ１６０から決定することができ、さらに、決定したコンテンツグループを信号に割当てる。例えば、抽出された画像特徴が、空や自然の景観を含み、かつ、顔を含まない場合、景観についてのグループが決定されて割当てられる。一方、動きがない複数の顔が検出された場合、ポートレートグループが決定されて割当てられる。一実施例において、コンテンツグループを決定することは、そのコンテンツグループを自動的に信号に割当てることを含む。
【００５７】
一実施例において、グループ検出器１１５は、複数のコンテンツグループ１６０から単一のコンテンツグループを画像に割当てる。他には、グループ検出器１１５は、画像を複数の画像部分に分割する。画像は、空間的な配置（例えば、画像の上半分と画像の下半分）に基づいて、抽出された特徴の境界に基づいて、又は、他の基準に基づいて、複数の画像部分に割当てられる。そして、グループ検出器１１５は、第１の画像特徴を含む第１の画像部分についての第１のコンテンツグループを決定し、さらに、第２の画像特徴を含む第２の画像部分についての第２のコンテンツグループを決定することができる。また、入力信号は２つより多い画像部分に分割されてもよい。各部分には異なるコンテンツグループが割当てられる。
【００５８】
各コンテンツグループ１６０は、特定の環境（例えば、映画環境、景観環境など）における画像の復元のために所定の画像特性を含むことができる。各コンテンツグループは、音声の復元のために所定の音声特性も含むことができる。コンテンツグループ６０は特定の環境のための最適な画像特性及び／又は音声特性を有することが望ましい。所定の画像特性は、表示装置の画像表示設定を変更することによって実現される。他には、所定の画像特性は入力信号を変更ことによって実現される。これにより、既知の画像表示設定を有するディスプレイによって表示されるとき、画像は所定の画像特性で表示される。
【００５９】
典型的なコンテンツグループ１６０については後述する。これらのコンテンツグループ１６０は例示の目的のためのものであって、当然のことながら、追加のコンテンツグループも想定される。
【００６０】
一実施例において、コンテンツグループ１６０は、デフォルトのコンテンツグループを含む。デフォルトのコンテンツグループは、異なるコンテンツグループが決定されるまで、全ての画像に自動的に適用される。デフォルトコンテンツグループは、一連の多くの環境の中で満足のいく画像を提供する所定の画像特性を含むことができる。一実施例において、デフォルトコンテンツグループは、最適なテレビ番組の表示のために、鮮明さを向上させ、コントラストを鮮やかにし、明るさを鮮明にする。
【００６１】
一実施例において、コンテンツグループ１６０は、ポートレートコンテンツグループを含む。ポートレートコンテンツグループは、最適に肌を再現した画像を写す所定の画像特性を含む。また、ポートレートコンテンツグループは、より適切にスチール画像を表示する所定の画像特性を含むことができる。一実施例において、ポートレートコンテンツグループは、マジェンタ、赤、及び、黄色の色調についての所定のカラー設定を提供する。そのカラー設定は、最少のカラーバイアスで健康的な肌の色の再現を可能にする。さらに、このポートレートコンテンツグループは、肌のテクスチャに不要なものを取り除くよう鮮明さを低下させる。
【００６２】
一実施例において、コンテンツグループ１６０は、景観コンテンツグループを含む。景観コンテンツグループは、所定の画像特性を含むことができる。その所定の画像特性は、緑から青のレンジ（例えば、青い空、青い海、緑の葉などをより適切に表示する）で画像の色鮮やかな（vivid）再現を可能にする。また、景観コンテンツグループは、向上した鮮明さについての所定の画像特性を含むことができる。
【００６３】
一実施例において、コンテンツグループ１６０はスポーツコンテンツグループを含む。スポーツコンテンツグループは、正確な色の濃さと明暗のグラデーションを再現することができ、そして、ガンマ曲線及び彩度調整を用いて画像を鮮明にすることができ、さらに、緑色（例えば、フットボールの競技場）がより鮮やかになるようにカラー設定を調整することができる。
【００６４】
一実施例において、コンテンツグループ１６０は、シネマコンテンツグループを含む。シネマコンテンツグループは、ガンマカーブ訂正を用いて不鮮明なシーンを鮮やかに表示する色補正を可能とし、一方で、画像の動きに不要なものを取り除く。
【００６５】
コンテンツグループ１６０の他の考え得る例としては、テキストコンテンツグループ（テキストは背景がハイコントラストで有るべきであり、さらに、境界が鮮明であるべきである。）、ニュース放送用コンテンツグループ、スチール写真用コンテンツグループ、ゲームコンテンツグループ、コンサートコンテンツグループ、ホームビデオコンテンツグループが含まれる。
【００６６】
図２は本発明の一実施例による典型的なマルチメディアシステム２００を示す。マルチメディアシステム２００は表示装置２４０に接続されている信号源２０５を備える。信号源２０５は、ビデオ信号、スチール画像信号、音声信号のいずれかの一又は二以上を生成することができる。一実施例において、信号源は、放送局や、ケーブルテレビプロバイダ又は衛星テレビプロバイダ、又は、遠隔にある他のマルチメディアサービスプロバイダである。他に、信号源は、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオディスク（ＤＶＤ）プレーヤ、高詳細デジタル多用途ディスク（ＨＤ−ＤＶＤ）プレーヤ、ブルーレイ（商標）プレーヤ、又は、他のメディア再生装置とすることができる。
【００６７】
信号源２０５を表示装置２４０に接続するための手段は、信号源２０５及び／又は表示装置２４０の属性に依存してもよい。例えば、信号源２０５がテレビ放送局である場合、信号源２０５は、ビデオ信号を搬送する電波を介して表示装置２４０と接続することができる。一方で、信号源２０５がＤＶＤプレーヤである場合、信号源２０５は、例として、ＲＣＡケーブル、ＤＶＩケーブル、ＨＤＭＩケーブルなどを介して表示装置と接続することができる。
【００６８】
表示装置２４０は、テレビや、モニター、プロジェクター、又は、スチール画像及び／又はビデオ画像を表示することができる他の装置とすることができる。表示装置２４０は、ディスプレイ２１５に接続されている画像調整装置２１０を備えることができる。一実施例において、画像調整装置２１０は図１Ａの画像調整装置１００に相当する。
【００６９】
表示装置２４０は、信号源２０５から入力信号２２０を受信する。画像調整装置２１０は、画像表示設定を変更することができる。これにより、ディスプレイ２１５に表示される出力信号は、決定された一又は二以上のコンテンツグループの所定の画像特性を含む。
【００７０】
図２Ｂは、本発明の他の実施例による典型的なマルチメディアシステム２５０を示す。マルチメディアシステム２５０は、表示装置２６０に接続されているメディアプレーヤ２５５を備える。メディアプレーヤ２５５は、ＶＣＲや、ＤＶＤプレーヤ、ＨＤ−ＤＶＤプレーヤ、ブルーレイ（商標）プレーヤ、デジタルビデオレコーダ（ＤＶＲ）、又は、他のメディア再生装置とすることができる。さらに、そのメディアプレーヤ２５５は、ビデオ信号、スチール画像信号、音声信号のいずれか一又は二以上を生成することができる。一実施例において、メディアプレーヤ２５５は画像調整装置２１０を含む。その画像調整装置２１０は、図１Ａの画像表示装置１００に対応することができる。
【００７１】
画像調整装置２１０は、出力信号２２５を生成するために、メディアの再生の間に生成される入力信号を変更することができる。出力信号２２５は、その信号２２５を表示することができる表示装置２６０に送信される。一実施例において、信号調整装置２１０は入力信号を調整する。これにより、表示装置２６０に表示を行うとき、出力信号は、一又は二以上の画像コンテンツグループに対応する所定の画像特性を有する画像を示す。表示装置２６０に所定の画像特性を表示するよう入力信号をどのように変更すべきか決定するために、信号調整装置２１０は画像設定２２７を表示装置２６０から受信することができる。画像設定２２７の特定のセットが得られることで、出力信号２２５が生成され、その結果、所定の画像特性が表示される。
【００７２】
他の実施例において、出力信号は変更されていない入力信号のほかに追加の信号（又は入力信号に付加されるメタデータ）も含む。その追加の信号は、表示装置に特定の画像表示設定が使用されるように指示する。
【００７３】
図２Ｃは、本発明の更なる他の実施例による典型的なマルチメディアシステム２７０を示す。マルチメディアシステム２７０は、信号源２０５、画像調整装置２７５、及び、表示装置２６０を含む。
【００７４】
例示の通り、画像調整装置２７５は、信号源２０５と表示装置２６０との間に配置されており、さらに、信号源２０５及び表示装置２６０に接続されている。画像調整装置２７５は、図１Ａの画像調整装置１００に対応させることもできる。一実施例において、画像調整装置２７５は、スタンドアロンの装置であり、表示装置２６０に送信する信号を変更するために用いられる。他の実施例において、画像調整装置２７５は、例であるが、セットトップボックス、デジタルビデオレコーダ（ＤＶＲ）、ケーブルボックス、衛星放送受信機などの構成要素であってもよい。
【００７５】
画像調整装置２７５は、信号源２０５によって生成される入力信号２２０を受信することができる。そして、画像調整装置２７５は入力信号２２０を変更し、出力信号２２５を生成することができる。さらに、その出力信号２２５は、表示装置２６０に送信される。表示装置２６０は出力信号２２５を表示することができる。信号調整装置２７５は、出力信号２２５の生成に先立って、表示装置２６０から表示設定２２７を受信することができる。受信した表示設定は、出力信号を生成するために、入力信号をどのように変更すべきか決定するために用いられる。
【００７６】
本発明の特定の方法は、図３乃至６に示す一連のフロー図に準拠したコンピュータソフトウエアに関して記載されている。図３乃至６に示されているフロー図は、画像を変更する方法を示しており、図１Ａの画像調整装置１００によって実行されてもよい。方法は、コンピュータプログラムを構成する。そのコンピュータプログラムは、コンピュータが実行可能な指示で形成されており、指示は、例えば、図３のブロック（動作）３０５乃至３３５として示されている。フロー図の参照によって方法を説明することは、そのようなプログラムを当業者が作成することを可能にする。そのプログラムには、適切に設定されたコンピュータ又はコンピュータ用デバイス（メモリを含むコンピュータ読み取り可能な媒体からの指示を実行するコンピュータのプロセッサなど）上で方法を実行する指示が含まれている。コンピュータが実行可能な指示は、コンピュータ用のプログラム言語で記載することができる。また、その指示は、ファームウエアのロジックで実現することもできる。承認済みの標準に準拠したプログラム言語で書かれている場合、そのような指示は、さまざまなハードウエアのプラットフォーム上で実行され、さらに、さまざまなオペレーティングシステムのインタフェースのために実行することができる。
【００７７】
本発明は、特定のプログラム言語ついて表されるものではない。当然のことながら、ここに記述するように発明の開示を実装するために、さまざまなプログラム言語を用いることができる。さらに、動作を実行又は結果を得るために一つの形態又は他の形態（例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ロジックなど）であることは、ソフトウエアの技術ではよく行われることである。この表現は、コンピュータによるソフトウエアの実行がそのコンピュータのプロセッサに動作を実行又は結果を得るようにさせるということを単に簡潔に表現したものである。当然、本発明の範囲から逸脱することなく、より多い又はより少ないプロセスを図３乃至図６に示した方法に組み込むこともでき、さらに、ここに示し説明されているブロックの配置になるような特定の順序が必ず用いられるものではない。
【００７８】
最初に図３を参照すると、画像の変更についての方法３００を実現するコンピュータによって実行される動作が示されている。
【００７９】
本発明の特定の実施例において、方法３００は、ビデオ入力信号を受信する（ブロック３０５）（例えば、図１の入力端末１０５によって）。ブロック３１０において、ビデオ入力信号は分析され（例えば、図１Ａの信号分析器１１０によって）、画像特性及び画像内容が検出される。他の実施例において、ビデオ入力信号が分析され、信号特性が検出されてもよい（例えば、信号がインタレースであるか非インタレースであるか、信号が圧縮されているか圧縮されていないか、又は、信号のノイズレベルなどを決定する）。信号が圧縮されている場合、一又は二以上の画像特性及び／又は画像内容を決定する前に、信号を伸長する必要がある。
【００８０】
ビデオ入力信号はフレーム毎に分析される。他の実施例において、ビデオ入力信号の一連のフレーム（フレームのシーケンス）は同時に分析される。これにより、変更は、そのシーケンス内の各フレームで発生する。画像特性は、画像サイズ、画像の解像度、ダイナミックレンジ、カラーキャスト、ブラーなどを含むことができる。画像内容は、低水準の画像特徴（例えば、テクスチャ、色、形状など）及び高水準の画像特徴（例えば、顔、人、建物、空、など）を抽出することによって検出される。そのような画像特徴は、ビデオ入力信号を受信することにより、自動的に抽出される。
【００８１】
ブロック３１５において、ビデオ入力信号についてのコンテンツグループが決定される（例えば、図１Ａのグループ判定器１１５によって）。コンテンツグループは、検出された画像内容に基づいて決定される。他の実施例において、コンテンツグループは、ビデオ信号に含まれるメタデータを用いて決定される。メタデータは画像内容及び／又は画像特性についての情報を有することができる。例えば、メタデータは、動画の現在のシーンをアクションシーンとして識別することができる。ブロック３１８において、コンテンツグループは入力ビデオ信号に適用される。
【００８２】
ブロック３２０において、検出された画像特性が決定されたコンテンツグループに関連する所定の画像特性と適合するか否かを決定する。検出された画像特性が所定の画像特性に適合する場合、方法はブロック３３０へ進む。検出された画像特性が所定の画像特性に適合しない場合、方法はブロック３２５に留まる。
【００８３】
ブロック３２５において、画像表示設定及び／又はビデオ入力信号が調整される（例えば、図１Ａの画像調整器１２０によって）。画像表示設定及び／又はビデオ入力信号は検出された画像特性と所定の画像特性との相違に基づいて調整される。これは、入力信号が所定の画像特性を示して表示されることを可能にする。ブロック３３０において、ビデオ入力信号が表示される。ここで、方法が終了する。
【００８４】
異なるタスクが実行される特定のブロックを有するよう方法３００が示されているが、いくつかのブロックによって実行されるいくつかのタスクを分割及び／又は統合することができることは予想されるであろう。例えば、ブロック３１０は、ビデオ入力信号が分析され画像内容及び画像特性を一緒に決定することを示している。しかしながら、ビデオ信号を分析し、画像特性を決定することなく画像内容を検出することもできる。そして、信号を分析し画像特性を決定した後、コンテンツグループを決定することができる。他の実施例において、（コンテンツグループを決定する）ブロック３１５及び（コンテンツグループを割当てる）ブロック３１８は、単一のブロックに統合する（例えば、単一のアクション）ことができる。説明した方法についての他の変更も予測することができる。
【００８５】
図４を参照すると、画像の変更についての方法４００を実現するコンピュータによって実行される動作が示されている。
【００８６】
本発明の特定の実施例において、方法４００は、ビデオ入力信号を受信することを含む（ブロック４０５）（例えば、図１Ａの入力端末１０５によって）。ブロック４１０において、画像特性、信号特性、及び／又は、画像内容が検出される（例えば、図１の信号分析器１１０によって）。ブロック４１２において、画像は第１の画像部分と第２の画像部分に分割される。一実施例において、画像は、画像特徴の境界に基づいて、第１の画像部分と第２の画像部分に分割される。他の実施例において、分割は、画像の等しい部分又は等しくない部分への分離に基づく。例えば、画像は、第１の半分部分（例えば、上半分又は右半分）と第２の半分部分（例えば、下半分又は左部分）とに分割される。第１の画像部分は第１の画像特徴を含むことができ、第２の画像部分は第２の画像特徴を含むことができる。
【００８７】
ブロック４１５において、第１の画像部分についての第１のコンテンツグループが決定され（例えば、図１Ａのグループ判定器１１５によって）、第２の画像部分についての第２のコンテンツグループが決定される。第１のコンテンツグループ及び第２のコンテンツグループを決定することは、それぞれ、第１のコンテンツグループ及び第２のコンテンツグループを適用することを含むことができる。第１のコンテンツグループは第１の所定の画像特性を含むことができる。さらに、第２のコンテンツグループは第２の所定の画像特性を含むことができる。第１コンテンツグループ及び第２コンテンツグループは、それぞれ、各画像部分の検出された画像内容に基づいて決定される。
【００８８】
ブロック４２０において、検出された画像特性が所定の画像特性に適合するか否かを決定する。その所定の画像特性は、決定されたコンテンツグループ及び／又は割当てられたコンテンツグループと関連する。検出された画像特性が所定の画像特性に適合する場合、方法はブロック４３０へ進む。検出された画像特性が所定の画像特性に適合しない場合、方法はブロック４２５に留まる。
【００８９】
ブロック４２５において、画像表示設定及び／又はビデオ入力信号が調整される（例えば、図１Ａの画像調整器１２０によって）。これにより、検出された画像特性は第１の画像部分及び第２の画像部分の所定の画像特性と適合する。第１の画像部分についての画像表示設定及び／又はビデオ入力信号は、検出された第１の画像特性と第１のコンテンツグループの第１の所定の画像特性との相違に基づいて調整される。第２の画像部分についての画像表示設定及び／又はビデオ入力信号は、検出された第２の画像特性と第２のコンテンツグループの第２の所定の画像特性との相違に基づいて調整される。ブロック４３０において、ビデオ入力信号が表示される。ここで、方法が終了する。
【００９０】
図５を参照すると、音声出力の変更についての方法５００を実現するコンピュータによって実行される動作が示されている。
【００９１】
本発明の特定の実施例において、方法５００は、ビデオ入力信号を受信することを含む（ブロック５０５）（例えば、図１Ａの入力端末１０５によって）。ブロック５１０において、ビデオ入力信号が分析され（例えば、図１Ａの信号分析器１１０によって）、音声特性及び画像内容を検出する。音声特性には、ケプストラムフラックス、多チャンネルコクリヤー分解、多チャンネルベクトル、低エネルギーフラクション、スペクトルフラックス、スペクトルロールオフポイント、ゼロクロッシングレート、ゼロクロッシングレートの変化、エネルギー、及び、エネルギーの変化などを含むことができる。ブロック５１５において、ビデオ入力信号についてコンテンツグループが決定される（例えば、図１Ａのグループ判定器１１５によって）。コンテンツグループは、検出された画像内容に基づいて決定される。さらに、そのコンテンツグループは、所定の音声特性を含むことができる。
【００９２】
ブロック５２０において、検出された音声特性が決定されたコンテンツグループに関連する所定の音声特性と適合するか否かを決定する。検出された音声特性が所定の音声特性に適合する場合、方法はブロック５３０へ進む。検出された音声特性が所定の音声特性に適合しない場合、方法はブロック５２５に留まる。
【００９３】
ブロック５２５において、ビデオ入力信号の音声設定及び／又は音声部分が調整される（例えば、図１Ａの音声調整器１２５によって）。ビデオ入力信号の音声設定及び／又は音声部分は、検出された音声特性と所定の音声特性との相違に基づいて調整される。調整可能音声設定の例は、音量、再生速度、及び、イコライザ設定を含む。ブロック５３０において、ビデオ入力信号が出力される（例えば、送信される及び／又は再生される）。ここで、方法が終了する。
【００９４】
図６を参照すると、画像の変更についての方法６００を実現するコンピュータによって実行される動作が示されている。
【００９５】
本発明の特定の実施例において、方法６００は、ビデオ入力信号を受信することを含む（例えば、図１Ａの入力端末１０５によって）（ブロック６０６）。ブロック６１０において、ビデオ入力信号が分析され（例えば、図１Ａの信号分析器１１０によって）、画像内容が検出される。ブロック６１５において、画像内容が移動しているか否か決定する。そのような決定の例としては、動きベクトルを用いて行われる。又は、ブラーの程度及び方向の検出によって行われる。ブロック６２０において、画像内容の動きがどれ程の速さであるか決定する。
【００９６】
ブロック６３０において、画像内容がどれ程の速さであるかに基づいて、ビデオ信号のフレームレートが調整される（例えば、図１Ａのフレームレート調整器１１２によって）。例えば、画像内容がより早く移動することを検出すると、フレームレートを増加させる。ブロック６３６において、動いているオブジェクトの鮮明さが調整される（例えば、図１Ａの画像調整器１２０によって）。他には、全信号の鮮明さが調整されてもよい。鮮明さの調整は画像内容が移動する速さに基づくことができる。
【００９７】
ブロック６４０において、調整されたフレームレート及び調整された鮮明さを用いて、ビデオ入力信号が出力される（例えば、送信される及び／又は表示される）。方法はここで終了する。
【００９８】
図７は、コンピュータシステム７００の典型的な形態における機械のブロック図を示す。ここに示す一又は二以上の方法を機械に実行させるために、コンピュータシステム７００内において指示のセットが実行される。典型的なコンピュータシステム７００は、処理装置（プロセッサ）７０５、メモリ７１０（例えば、読み取り専用メモリ（ＲＯＭ）、ストレージ装置、スタティックメモリなど）、及び、入力／出力７１５を含んでいる。それらプロセッサ７０５、メモリ７１０、及び、入力／出力７１５は、バス７２０を介して互いに接続されている。本発明の実施例は、コンピュータシステム７００及び／又は追加のハードウエア要素（図示せず）によって実行される。また、本発明の実施例は、機械実行可能な命令によって実現されていてもよい。なお、その命令がプログラムされているとき、その命令はプロセッサ７０５に上述の方法を実行させるよう用いられる。他の実施例において、方法はハードウエアとソフトウエアとの組み合わせによって実行される。
【００９９】
プロセッサ７０５は、マイクロプロセッサや中央処理装置などのような一又は二以上の汎用目的の処理装置を示す。より詳細には、プロセッサ７０５は、複合命令セットコンピュータ（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実現するマイクロプロセッサ、又は、命令セットの組み合わせを実現するプロセッサとすることができる。また、プロセッサ７０５は、特定用途向け集積回路（ＡＳＩＣ）や、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような一又は二以上の専用処理装置とすることもできる。
【０１００】
本発明は、コンピュータプログラムプロダクト、又は、メモリ７１０に保存可能なソフトウエア、として提供され得る。メモリ７１０は、命令を保存する機械読み取り可能な媒体を含むことができる。その命令は、典型的なコンピュータシステム７００（又は他の電子デバイス）をプログラムするために用いることができ、本発明による処理を実行する。他の機械読み取り可能な媒体は、以下に限定しないが、フレキシブルディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光学カード、フラッシュメモリ、電気的命令を保存するのに適切な他のタイプのメディア又は機械読み取り可能な他のタイプのメディアなどを含み、それら媒体は、典型的なコンピュータシステム７００（又は他の電子デバイス）用にプログラムされた命令を保存することができる。
【０１０１】
入力／出力７１５は、追加の装置及び／又はコンポーネントと通信することができる。これにより、入力／出力７１５は、例えば、ネットワークに接続されているコンピュータや、サーバ、モバイル装置などにデータを送信し、さらに、それらからデータを受信することができる。
【０１０２】
図７による説明は、本発明を実現するために適切なコンピュータハードウエア及び動作のための他のコンポーネントの概要を説明することを目的とするが、応用として用いられる環境を制限することを意図したものでない。図７のコンピュータシステム７００は、多くの考え得るコンピュータシステムの一例であると理解されるであろう。その考え得るコンピュータシステムは、異なるアーキテクチャで実現される。本発明が他のコンピュータシステムの構成で実現されることは当業者であれば理解可能であろう。他のコンピュータシステムは、マイクロプロセッサシステム、マイクロコンピュータ、メインフレームコンピュータなどを含む。本発明は分散型のコンピュータ環境においても実現することができる。その場合、タスクは通信ネットワークを介して接続されているリモート処理装置によって実行される。
【０１０３】
信号を調整するための装置及び方法を説明した。特定の実施例を例示して説明したが、ここに示した特定の実施例の代わりに、同一の目的を達成するよう計算が行われる任意の配置を代用することができることは当業者であれば理解可能であろう。本出願は、本発明の改変又は変更を取り扱うことも意図している。例えば、説明したもの以外の画像内容検出アルゴリズム及びその技術を用いることは、当業者であれば可能である。
【０１０４】
信号の変更に関して、本出願で用いられる専門用語は、信号を変更することができる全ての装置及び環境を含むことを意図する。したがって、本発明は以下のクレーム及びその均等物のみによって制限される。
【図１Ａ】
0005492087.tif 000016
【図１Ｂ】
0005492087.tif 000017
【図１Ｃ】
0005492087.tif 000018
【図２Ａ】
0005492087.tif 000019
【図２Ｂ】
0005492087.tif 000020
【図２Ｃ】
0005492087.tif 000021
【図３】
0005492087.tif 000022
【図４】
0005492087.tif 000023
【図５】
0005492087.tif 000024
【図６】
0005492087.tif 000025
【図７】
0005492087.tif 000026