(57)【要約】【課題】映像出力時または再生時に、多種類のＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）からコンテンツに応じた適切なものとして手動又は自動で選択する機能を備えることにより低コストで効率的なホワイトバランス調整を行う画像処理装置を提供する。【解決手段】  複数のＬＵＴ８をホワイトバランス調整ＬＵＴ部６に保存して、また、コンテンツに対するユーザーの嗜好、コンテンツ自身の特徴抽出又はコンテンツの付属情報などを用いてコンテンツの特徴付けを行い、各ＬＵＴとコンテンツの特徴付けの情報とを対応させて記憶装置２に設定し、制御コントローラ３は、入力映像のコンテンツの特徴から記憶部２を参照して最適なＬＵＴ８を選択し、ホワイトバランス調整を行う。【選択図】図４
2008078750.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像に対してホワイトバランスを調整する画像処理装置であって、
ホワイトバランス補正を行う補正データを格納したホワイトバランス調整手段と、
前記補正データを参照するための参照情報と該参照情報と関連づけた条件データを記憶する記憶手段と、
前記入力画像の特徴情報から前記条件データの選択を行い、前記記憶手段から前記条件データに対応する前記補正データの参照情報を抽出し、該補正データの参照情報により前記ホワイトバランス調整手段から補正データを選択する制御手段とを備え、前記補正データが前記入力画像のホワイトバランス調整を行うことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、外部入力装置より送信される制御信号に含まれる識別子及び該識別子に対応した認識情報、又は認識情報のみから前記記憶手段における前記補正データの参照情報を抽出し、前記条件データは前記認識情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記識別子は、前記外部入力装置により登録可能な文字列であり、前記認識情報は、前記記憶手段における前記識別子の格納アドレス又は前記制御手段が一意に付与した識別番号であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記入力画像から特徴となるデータを抽出するデータ抽出手段を備え、
前記入力画像の特徴情報及び前記条件データは、前記抽出データであり、前記制御手段は該入力画像の特徴情報と該条件データとが一致又は近似などの特定条件を満たすか比較して該入力画像の特徴情報から該条件データを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記抽出データは、画像に付加されている情報、画像が記憶された時刻情報、前記データ抽出手段に設定されている条件情報により抽出された色データ、又は測定した輝度のヒストグラムであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正データは、ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）であることを特徴とする請求項１から請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のホワイトバランス調整を行う機能を有した画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやビデオカメラなどで写像、映像を記録する場合、光源など周囲の環境が色あいに大きく影響し、白い被写体を記録した場合でも赤や青など光源に影響された色が混ざってしまい、白い被写体を白として記録するためには周囲の環境に適したホワイトバランス調整を行う必要があった。
【０００３】
ホワイトバランス調整の方法としては、光源を自動で検出して調整を行うオートホワイトバランスや色温度などを手動で設定して調整を行うマニュアルホワイトバランスなどがあるが、テレビなどのように映像を表示する装置の場合、表示される元映像は既に色合いが崩れているものもあり、適した色合いで映像を楽しむためには元映像に対してホワイトバランス調整を行う必要があった。
【０００４】
色合いが崩れた映像に対してホワイトバランス調整することで適正な映像を得る手段として、入力された映像信号から原色信号Ｒ、Ｇ、Ｂ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）を抽出し、この原色信号Ｒ、Ｇ、Ｂのうちから当該画面内のある特定された領域（以下、「特定領域」と記す）に対応する原色信号Ｒ、Ｂを基準とし、これら両原色信号Ｒ、ＢについてＲ／Ｇ、Ｂ／Ｇの除算出力を得て、ホワイト電圧又は任意色電圧を超えるとＲ又はＢ信号の増幅度を下げ、下回ると増幅度を上げるように負帰還制御する可変ゲインアンプによりオートカラーバランス調整を行うというものがある。また、経時的に追従してオートカラーバランス調整を行う方法として、積分器や回路を使用することでフィールド毎の全画面データを得て調整を行う方法も挙げられている（例えば、特許文献１参照）。
【０００５】
他にも、色合いが崩れた映像をホワイトバランス調整することで適正な映像を得る手段として、入力された写像に対して白または黒にしたい任意の色の組（以下、「白黒設定色」と記す）を、カーソルコントロールを利用して画面内の特定箇所を指定、もしくは白黒設定色として抽出する輝度を設定することで画面内から自動で抽出し、抽出した白黒設定色を元にしてホワイトバランス調整を行うというものもある。また、複数の白黒設定色を記録する記録メモリと、利用する白黒設定色を切替えるメモリ切換え手段を設けることで、いくつものホワイトバランス設定を呼び出す方法も挙げられている（例えば、特許文献２参照）。
【特許文献１】実開平４-１２１１８５号公報
【特許文献２】特開平９-２００７９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の如く、ホワイトバランス調整を行う方法として特定領域や特定箇所を指定する方法が挙げられているが、ホワイトバランス調整を行うためには特定領域又は特定箇所を指定する必要があり、コンテンツに応じたホワイトバランスを簡略的に選択する手段がない。
【０００７】
また、入力された映像に対して色抽出を行い、抽出された色を元にしてホワイトバランス調整を行う方法が挙げられているが、積分器や回路、記憶装置などが必要であるため、動画などのように映像が毎フィールド単位で変化するものに対しては新たなコストが必要となり、低コストで実現するのはパフォーマンス的に困難である。動画に対して毎フィールド単位で全画面データからホワイトバランス調整を行う方法について述べられているが、毎フィールド単位でホワイトバランス調整の演算を行うためには高機能の演算処理機器を搭載する必要があり、同じく新たなコストが発生する。また、手動で選択する方法についても記録した白黒設定色から選択する必要があり、ホワイトバランス調整を行いたいコンテンツに対して白黒設定色を元に選択するのは直感的に難しい。
【０００８】
本発明の目的は、映像出力時または再生時に、多種類のＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ、参照表）からコンテンツに応じた適切なものとして手動又は自動で選択する機能を備えることにより低コストで効率的なホワイトバランス調整を行う画像処理装置を提供するものである。
【課題を解決するための手段】
【０００９】
斯かる実情に鑑み、第１の発明による画像処理装置は、入力された入力画像に対してホワイトバランスを調整する画像処理装置であって、
ホワイトバランス補正を行う補正データを格納したホワイトバランス調整手段と、前記補正データを参照するための参照情報と該参照情報と関連づけた条件データを記憶する記憶手段と、前記入力画像の特徴情報から前記条件データの選択を行い、前記記憶手段から前記条件データに対応する前記補正データの参照情報を抽出し、該補正データの参照情報により前記ホワイトバランス調整手段から補正データを選択する制御手段とを備え、前記補正データが前記入力画像のホワイトバランス調整を行うことを特徴とする。
【００１０】
また、第２の発明による画像処理装置は、前記制御手段が、外部入力装置より送信される制御信号に含まれる識別子及び該識別子に対応した認識情報、又は認識情報のみから前記記憶手段における前記補正データの参照情報を抽出し、前記条件データは前記認識情報であることを特徴とする。
【００１１】
また、第３の発明による画像処理装置は、前記識別子が、前記外部入力装置により登録可能な文字列であり、前記認識情報が、前記記憶手段における前記識別子の格納アドレス又は前記制御手段が一意に付与した識別番号であることを特徴とする。
【００１２】
また、第４の発明による画像処理装置は、前記入力画像から特徴となるデータを抽出するデータ抽出手段を備え、前記入力画像の特徴情報及び前記条件データは、前記抽出データであり、前記制御手段は該入力画像の特徴情報と該条件データとが一致又は近似などの特定条件を満たすか比較して該入力画像の特徴情報から該条件データを選択することを特徴とする。
【００１３】
また、第５の発明による画像処理装置は、前記抽出データが、画像に付加されている情報、画像が記憶された時刻情報、前記データ抽出手段に設定されている条件情報により抽出された色データ、又は測定した輝度のヒストグラムであることを特徴とする。
【００１４】
また、第６の発明による画像処理装置は、前記補正データが、ＬＵＴであることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、コンテンツのホワイトバランスを簡易に補正する手段として、複数のＬＵＴを保存し、また、コンテンツに対するユーザーの嗜好、コンテンツ自身の特徴抽出又はコンテンツの付属情報などを用いてコンテンツの特徴付けを行い、各ＬＵＴとコンテンツの特徴付けの情報とを対応させ、制御コントローラがコンテンツの特徴から最適なＬＵＴを選択し、ホワイトバランス調整を行うことで、ユーザーの操作性を向上させ、低コストで効率的な補正を施すことを可能とするとともに、色合いの再現性を高めることを可能とする。
【００１６】
また、特徴付けの情報を識別子として、ユーザーが任意に、選択しやすい名称で生成可能とすることで、直感的な操作でＬＵＴを選択し、簡易に画像のホワイトバランス調整を行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図示例と共に説明する。
【００１８】
［第１の実施形態］
以下、本発明に係る画像処理装置の第１の実施形態について図面を用いて説明する。
図１は、第１の実施形態における画像処理装置のブロック図である。
【００１９】
図１に示すように、画像処理装置１は、記憶装置２、制御コントローラ３、ＬＵＴ作成回路４、ＬＵＴ切換えスイッチ５、ホワイトバランス調整ＬＵＴ部６より構成される。この他に、制御コントローラ３にユーザー指示の制御信号を送信する外部入力装置７がある。この外部入力装置７には、例えば、テレビやビデオであれば、リモコンやボタンなど、ＡＶ再生機能を備えたＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）の場合は、キーボードやマウスなどといったものが考えられる。
【００２０】
ホワイトバランス調整ＬＵＴ部６に格納されている各ＬＵＴ８には、識別するための名称（以下、「識別子」と記す）を生成して付与することでユーザーが識別子を使って直感的に操作することが可能である。また、ＬＵＴの生成については、既知の方法でＬＵＴ作成回路４により生成したり、固定値のＬＵＴを用意するなどの方法がある。
【００２１】
ＬＵＴの識別子を生成するタイミングについては、入力映像に対して適切なＬＵＴを選択時、もしくは入力映像をＬＵＴ調整用映像などにしてＬＵＴの効果を確認した状態で設定するなどがある。このようにして、入力映像に対してＬＵＴが利用される度に、識別子を対応づけて付与していくことになる。この識別子の例としては、室内や外、曇りなど環境や天候に依存した名称や特定の番組名などが挙げられる。ユーザーが区別しやすいものであれば特に限定はしない。
【００２２】
識別子の生成方法は、リモコン、キーボードなどの外部入力装置７を使用する方法があるが、手段そのものについては特に限定せず、識別子を入力することができる装置全般を含むものとする。生成した識別子については、識別子データが外部入力装置７から制御コントローラ３に送信され、制御コントローラ３が、識別子の格納時のアドレス又は識別番号など識別子を認識するための情報（以下、「認識情報」と記す）を該識別子データに付加し、記憶装置２に保存する。
【００２３】
記憶装置２においては、識別子について、ＬＵＴの種別とを対応づけたテーブルが生成され、保存されている。
【００２４】
図２は、記憶装置２に格納されているテーブルの一例を示したものである。図２では、例えば、識別子９に対して認識情報として記憶装置でのアドレス１０が付加されており、テーブルにおいて、ＬＵＴの種別を示す情報１１と対応づけられ格納されている。
【００２５】
以上のように構成されている画像処理装置１において、まずは、入力映像に対して適切なホワイトバランス調整を手動で実施する手順について説明する。
【００２６】
図３は、本実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。
【００２７】
まず、Ｓ１において、画像処理装置１に映像が入力される。映像が入力されると、これをトリガに、Ｓ２において制御コントローラ３は、記憶装置２に格納されている識別子を出力するよう指示を行う。
【００２８】
Ｓ３において、制御コントローラ３は、記憶装置２から認識情報が付加されている識別子を受け取り、表示装置（不図示）に出力を行う。これを受けて、表示装置においては、識別子のリストの表示を行う。
【００２９】
Ｓ４において、外部入力装置７から識別子選択の入力が行われたか否かの判定が行われる。例えば、タイマ等で計時し、所定時間、外部入力装置７からの識別子選択の入力がなければ、ホワイトバランス調整を行わず、本処理を終了する。
【００３０】
ユーザーが、表示装置を見て、リモコン、キーボードなどの外部入力装置７により適切な識別子の選択の操作を行った場合、Ｓ５において、外部入力装置７は、ユーザーが選択した識別子に付加されている認識情報を制御信号に含ませて制御コントローラ３に送信する。この制御信号には、認識情報のみ含ませてもよいし、認識情報を付加した識別子をそのまま含ませてよい。
【００３１】
制御信号を受信した制御コントローラ３は、Ｓ６で制御信号から認識情報を取り出し、記憶装置２のＬＵＴ対応テーブルにおいて該認識情報により検索を行い、該当するＬＵＴについての情報を取得する。
【００３２】
ＬＵＴの情報を取得した制御コントローラ３は、Ｓ７において、ＬＵＴ切換えスイッチ５を切換えることによりホワイトバランス調整ＬＵＴ部６から該当するＬＵＴを選択する。
【００３３】
Ｓ８において、入力された入力映像は、選択されたホワイトバランス調整ＬＵＴ部６に入力され、出力映像を得て、表示装置などに出力されることにより、ユーザーは所望のホワイトバランス調整が行われた画像を見ることができる。
【００３４】
以上のようにテレビなどで再生される番組や、ビデオカメラなどで録画した映像などに対してホワイトバランス調整を行いたい場合について、補正データが格納されているそれぞれのＬＵＴについてユーザーが選択しやすい名称を生成して対応づけることで、直感的な操作でＬＵＴを選択し、簡易に画像のホワイトバランス調整を行うことが可能となる。
【００３５】
［第２の実施形態］
以下、本発明に係る画像処理装置の第２の実施形態について図面を用いて説明する。
図４は、第２の実施形態における画像処理装置のブロック図である。図１と同一の符号を付した部分は同一物を表わしている。
【００３６】
図４に示すように、第１の実施形態と同様、映像処理装置２０は、記憶装置２、制御コントローラ３、ＬＵＴ作成回路４、ＬＵＴ切換えスイッチ５、ホワイトバランス調整ＬＵＴ部６より構成される。この他に、制御コントローラ３にユーザー指示の制御信号を送信する外部入力装置７がある。第１の実施形態と異なる点は、入力映像の出力を得て、データの抽出を行うデータ抽出装置２１がある点である。
【００３７】
まず、ＬＵＴの生成方法とその選択条件となるデータを生成して関連づける方法について説明する。
【００３８】
各ＬＵＴについては、既知の方法でＬＵＴ作成回路４により作成したり、固定値のＬＵＴを用意するなどの方法で作成して、ホワイトバランス調整ＬＵＴ部６に格納する。
【００３９】
次に、ＬＵＴの選択条件となるデータの生成とＬＵＴの情報とを関連させる方法について説明する。
【００４０】
映像が入力されると、データ抽出装置２１に出力される。データ抽出装置２１は、放送やＤＶＤなどのメディアの場合、放送に付加されているＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ、電子番組表）やＤＶＤ−ＶＩＤＥＯ／ＤＶＤ−ＶＲのヘッダー情報等から抽出した番組情報、例えばタイトル情報や放送時間、出演者などのデータ、ＤＶＤ読み取り時の記録時間、又はチャプター数について抽出し、抽出したデータを記憶装置２に保存する。
【００４１】
記憶装置２に保存されたデータとＬＵＴを対応づけるため、ユーザーによる外部入力装置７の操作に従い、外部入力装置７から制御コントローラ３に制御信号を送信し、制御コントローラ３は、制御信号に従い、切換えスイッチ５の切替えを行って、適切なＬＵＴを選択する。例えば、ユーザーが表示装置によりＬＵＴでホワイトバランス調整を行った状態を見ることにより、入力映像に利用したいＬＵＴを決定し、外部入力装置７より決定を示す入力がなされると、制御コントローラ３は、入力映像から抽出したデータと決定されたＬＵＴを関連づけて、識別番号を付与し、記憶装置２に保存する。
【００４２】
図５は、記憶装置２に格納されている制御コントローラ３が参照するためのテーブルの一例を示したものである。図５では、例えば、識別番号２２と抽出した条件データ２３とＬＵＴの種別を示す情報２４が対応づけられ格納されている。
【００４３】
このようにすることで、次回以降の同番組放送時や同時刻などを条件として自動で適切なＬＵＴを選択することが可能となる。
【００４４】
以上のように構成されている画像処理装置２０において、入力映像に対して適切なホワイトバランス調整を自動で実施する手順を説明する。
【００４５】
図６は、本実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。
【００４６】
まず、Ｓ１１において、画像処理装置２０に映像が入力される。映像が入力されると、データ抽出装置２１に出力される。Ｓ１２で、データ抽出装置２１は、上記のように放送に付加されている情報などのデータ抽出を行い、抽出データを制御コントローラ３に出力する。
【００４７】
Ｓ１３において、制御コントローラ３は、抽出されたデータと、記憶装置２に保存されているＬＵＴ選択の条件となる抽出データ２３とを比較し、一致しない場合は、本処理を終了して、ホワイトバランス調整を行わず、映像を出力する。入力映像の抽出データと記憶装置２に保存されている抽出データとの比較で、一致や近似などの特定条件を満たした場合に、記憶装置２から読み出した抽出データには、上記に述べたように一意に付与した識別番号がヘッダーとして付けられているので、Ｓ１４において、この識別番号からテーブルを参照して対応するＬＵＴの情報を抽出し、Ｓ１５でＬＵＴ切換えスイッチ５を切換えてホワイトバランス調整ＬＵＴ部６において適切なＬＵＴを選択し、Ｓ１６でホワイトバランス調整された映像が出力映像として出力される。
【００４８】
以上のようにして、放送やＤＶＤ等の映像に付加されたデータなどを抽出、参照することにより多種類のＬＵＴの中から自動で適切なＬＵＴを選択する機能を備えることができる。
【００４９】
［第３の実施形態］
本実施形態においては、第２の実施形態のような入力映像の付加データがない場合に、色抽出によって実施する方法について説明する。
【００５０】
本実施形態においては、ＥＰＧなどからの抽出データではなく、データ抽出装置２１は、条件とする抽出データ２３として、入力映像からデータ抽出装置２１にあらかじめ設定した抽出色、座標、範囲、数量によって色データが抽出され、この抽出されたデータを記憶装置２に保存する。
【００５１】
制御コントローラ３が、抽出データとＬＵＴの情報を対応づけ、識別番号を付与して記憶装置２に保存する手順は、第２の実施形態と同様である。
【００５２】
そして、入力映像からＬＵＴを選択する手順は、第２の実施形態と同様で、制御コントローラ３は、入力映像からデータ抽出装置２１によって抽出されたデータと、記憶装置２に保存されているデータ２３とを比較し、一致や近似などの特定条件を満たした場合に、記憶装置２に保存されたデータ２３と対応するＬＵＴを自動で選択することでホワイトバランス調整された映像が出力映像として出力される。
【００５３】
以上のように、入力映像に付加データがない場合についても、一度適切なＬＵＴを選択して記憶装置２に設定しておくことで、次回以降、色抽出によって条件を満たした映像については自動で適切なＬＵＴを選択することが可能となる。
【００５４】
例えば、空の色が少し青みがかっている映像の場合、空の領域を抽出範囲として設定し記憶装置２に保存することで、次回以降の同映像や似た映像に対して色抽出による適切なＬＵＴ選択が可能となる。
【００５５】
［第４の実施形態］
本実施形態においては、第２の実施形態のような入力映像の付加データがない場合に、輝度のヒストグラムによって実施する方法について説明する。
【００５６】
本実施形態において、データ抽出装置２１は、条件とする抽出データ２３として、入力映像から輝度のヒストグラムを抽出し、この抽出したデータを記憶装置２に保存する。
【００５７】
制御コントローラ３が、抽出データとＬＵＴの情報を対応づけ、識別番号を付与して記憶装置に保存する手順は、第２の実施形態と同様である。
【００５８】
そして、入力映像からＬＵＴを選択する手順は、第２の実施形態と同様で、制御コントローラ３は、入力映像からデータ抽出装置２１によって抽出されたデータと、記憶装置２に保存されているデータ２３とを比較し、一致や近似などの特定条件を満たした場合に、記憶装置２に保存されたデータ２３と対応するＬＵＴを自動で選択することでホワイトバランス調整された映像が出力映像として出力される。
【００５９】
以上のように、入力映像に付加データがない場合についても、一度適切なＬＵＴを選択して記憶装置２に設定しておくことで、次回以降、輝度のヒストグラムによって条件を満たした映像については自動で適切なＬＵＴを選択することが可能となる。
【００６０】
例えば、輝度の変化に特徴のある領域を指定し、指定領域内の輝度のヒストグラムを一定時間毎に測定し、特定輝度（複数）の変化量を記憶装置２に保存することで、次回以降の同映像や似た映像に対してヒストグラムの比較による適切なＬＵＴ選択が可能となる。
【００６１】
ところで、１つの放送番組の中でＬＵＴの切換えを行う場合、多種類のＬＵＴの切り替わりが目立つと視覚上視聴者が違和感を感じるため、フェードする形で切り替えるなどのハンチング対策や、シーンチェンジでの切り替わり判定や、時間経過、条件該当時の閾値判定などを施しても良い。
【００６２】
以上のように、コンテンツのホワイトバランスを簡易に補正する手段として、複数のＬＵＴを保存して、また、コンテンツに対するユーザーの嗜好、コンテンツ自身の特徴抽出又はコンテンツの付属情報などを用いてコンテンツの特徴付けを行い、各ＬＵＴとコンテンツの特徴付けの情報とを対応させ、制御コントローラ３がコンテンツの特徴から最適なＬＵＴを選択し、ホワイトバランス調整を行うことで、低コストで効率的な補正を施すことを可能とするとともに色合いの再現性を高めることを可能とする。
【００６３】
尚、本発明の画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００６４】
【図１】本発明の第１の実施形態における画像処理装置のブロック図である。
【図２】本発明の第１の実施形態における記憶装置に格納されたＬＵＴについてのテーブルの一例である。
【図３】本発明の第１の実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。
【図４】本発明の第２の実施形態における画像処理装置のブロック図である。
【図５】本発明の第２の実施形態における記憶装置に格納されたＬＵＴについてのテーブルの一例である。
【図６】本発明の第２の実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。
【符号の説明】
【００６５】
１、２０  画像処理装置
２  記憶装置
３  制御コントローラ
４  ＬＵＴ作成回路
５  ＬＵＴ切換えスイッチ
６  ホワイトバランス調整ＬＵＴ部
７  外部入力装置
８  ＬＵＴ
９  識別子
１０  アドレス
１１、２４  ＬＵＴの種別情報
２１  データ抽出装置
２２  識別番号
２３  条件データ
【図１】
2008078750.tif 000003
【図２】
2008078750.tif 000004
【図３】
2008078750.tif 000005
【図４】
2008078750.tif 000006
【図５】
2008078750.tif 000007
【図６】
2008078750.tif 000008