(57)【要約】【課題】  ホワイトバランスの知識のないユーザーでも、適切なタイミングでホワイトバランスのずれを認識でき、かつ設定画面を用いてずれを容易に補正することができる。【解決手段】被写体の撮影画像のホワイトバランス制御を行うに際して、撮影画像に基づきシーンを判別し（Ｓ３０１）、所定のシーンであると判別した場合、ユーザーの設定操作によりホワイトバランス制御を行うための設定画面を表示手段に表示させる（Ｓ３０６，Ｓ３０７）。【選択図】  図３
2011082691.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して撮影画像を取得する撮影手段と、
前記撮影画像のホワイトバランス制御を行うホワイトバランス制御手段と、
前記撮影画像に基づきシーンを判別するシーン判別手段と、
前記判別手段が所定のシーンであると判別した場合、ユーザーの設定操作により前記ホワイトバランス制御を行うための設定画面を表示手段に表示させる表示制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記表示制御手段は、前記設定画面として、詳細補正を行うカラーチャートと簡易補正を行うカラーチャートのいずれかを表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段は、記録準備状態では、詳細補正を行うカラーチャートと簡易補正を行うカラーチャートとをユーザーの選択に応じて表示させ、画像の記録開始後においては、簡易補正を行うカラーチャートのみを表示させることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記表示制御手段は、画像の記録開始後に設定画面を用いた補正がされた場合、その後は前記設定画面を表示させないことを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記シーン判別手段は顔検出機能を有しており、前記表示制御手段は、前記顔検出機能により顔が検出されていない場合は、所定のシーンであると判別した場合であっても前記設定画面を表示させないことを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体を撮影して撮影画像を取得する撮影手段と、前記撮影画像のホワイトバランス制御を行うホワイトバランス制御手段と、を有する撮像装置の制御方法であって、
前記撮影画像に基づきシーンを判別するシーン判別工程と、
前記判別工程が所定のシーンであると判別した場合、ユーザーの設定操作により前記ホワイトバランス制御を行うための設定画面を表示手段に表示させる表示制御工程と、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーが操作できる設定画面を用いたホワイトバランス補正に関するものである。
【背景技術】
【０００２】
ビデオカメラをはじめとする従来の撮像装置の多くは、オート、セット、及びプリセットなど様々なホワイトバランス補正機能を有している。しかし、一般ユーザーの多くは様々な光源下においてホワイトバランスを設定するという知識を持ち合わせておらず、セット、プリセットの機能を十分に使いこなして撮影を行っていない。その一方で、これらのユーザーは特に光源を意識する必要のないオートホワイトバランス補正機能で撮影している。しかし、オートホワイトバランス機能を用いた場合、判断が難しいシーンではホワイトバランスがずれることがあるにも係わらず、ユーザーは色味の変化に気づかずにそのまま撮影していることがある。また、撮影していて、色味が変だということに気づいたとしても、それがホワイトバランスに起因するものなのか否かは判断がつかない。一般的にオートホワイトバランスの判断が難しいシーンとして良く知られているものに、日陰の木々の緑を背景とした人物のシーンと日向の空を背景とした人物のシーンがある。前者は日陰の木々の緑は蛍光灯の光源と同じスペクトル分布を持つため、光源を誤認識してしまい、人の顔が青ざめてしまう。後者は高輝度である空の青を寒色系の白として誤認識してしまい、人の顔が赤みがかってしまう。
【０００３】
従来、オートホワイトバランス機能を補う技術には、オートホワイトバランス制御中に画面内に白が少ないと判断したら、ユーザーに警告を出し、ＷＢを補正し直すか問い合わせる撮像装置がある（特許文献１参照）。また、ユーザーがホワイトバランスのマニュアル設定を行いたい場合、液晶パネルのインターフフェイスにＲＧＢの補正表示が現れて、補正量を決められる撮像装置がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５１８５７号
【特許文献２】特開２００２−２１８４９４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、撮像装置側に与える知識はシーン内に白領域が少ないということを判断しているだけであり、特に画面のシーン情報を判別しているわけではない。このため、白が少ないという理由だけで無駄に警告を発してしまうので機能としての有用性は低かった。また、パネルのインターフェイスで調整するタイミングを判断するためには、ユーザーは現在のホワイトバランスが適正か否かを判断する知識が必要であった。
【０００６】
本発明は上記問題を鑑みてなされたものであり、ホワイトバランスの知識のないユーザーでも、適切なタイミングでホワイトバランスのずれを認識でき、かつ設定画面を用いてずれを容易に補正することができるようにする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、被写体を撮影して撮影画像を取得する撮影手段と、前記撮影画像のホワイトバランス制御を行うホワイトバランス制御手段と、
前記撮影画像に基づきシーンを判別するシーン判別手段と、前記判別手段が所定のシーンであると判別した場合、ユーザーの設定操作により前記ホワイトバランス制御を行うための設定画面を表示手段に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ホワイトバランスの知識のないユーザーでも、適切なタイミングでホワイトバランスのずれを認識でき、かつ設定画面を用いてずれを容易に補正することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置のブロック構成図
【図２】本発明の実施形態に係るフローチャート
【図３】本発明の実施形態における色相補正の具体例を示す図
【図４】本発明の実施形態におけるカラーサークルの具体例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１１】
（第１の実施形態）
本実施形態に係る撮像装置のブロック構成を、図１を用いて説明する。
【００１２】
図１において１０１は被写体の光束を結像するレンズ、１０２は入射した光を光電変換する撮像素子である。１０３は撮像素子１０２で生成された信号を輝度（Ｙ）と色信号（Ｒ、Ｇ、Ｂ）に変換する輝度・色度信号生成部である。また、１０４は輝度・色度信号生成部１０３から出力される色信号（Ｒ、Ｇ、Ｂ）に対して利得を制御し、ホワイトバランスを補正するホワイトバランス（ＷＢ）回路部である。１０５は色差信号（Ｒ−Ｙ、Ｂ−Ｙ）生成部、１０６は標準テレビ信号等に変換するエンコーダ部である。１０７は、輝度信号（Ｙ）、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を所定の領域ごとに検波する評価値検波部、１０８はホワイトバランス制御部である。また、１０９は、後述のホワイトバランスのずれを修正するための設定画面をユーザーに提示するＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）画像を生成して出力するインターフェイス制御部、１１０はシーン判別部である。
【００１３】
１００は撮像装置の全体動作を制御するＣＰＵであり、ホワイトバランス制御部１０８、インターフェイス制御部１０９、及びシーン判別部１１０を。その一部の機能として包含している。表示部１１１は、エンコーダ部１０６からの映像信号にインターフェイス制御部１０９から出力されたＯＳＤ画像を重畳して表示する。なお、エンコーダ部１０６を通過する前の標準化されていない映像信号にＯＳＤ画像を重畳させて表示するようにしてもよい。１１２は、着脱可能なＳＤカードを用いた記録部であり、ユーザーの記録指示に応じて、エンコーダ部１０６から出力された映像を記録する。なお、記録のためにハードディスク等の他の記憶媒体を用いても構わない。１１３は、ユーザーによる各種操作を入力するための操作部であり、後述するユーザーによるホワイトバランスのずれ修正の入力も行う。
【００１４】
次に上記のようなシステムの動作について説明する。撮像素子１０２は入射した光を光電変換し、輝度・色度信号生成部１０３に出力する。輝度・色度信号生成部１０３は輝度信号（Ｙ）と色信号（Ｒ、Ｇ、Ｂ）を生成し、このうち色信号をホワイトバランス回路部１０４へ出力する。ホワイトバランス回路部１０４は色信号のゲインを調節し、ゲイン調節された色信号（Ｒ、Ｇ、Ｂ）を色差信号生成部１０５へ出力する。色差信号生成部１０５は色信号（Ｒ、Ｇ、Ｂ）から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を生成し、色差信号をエンコーダ部１０６及び評価値検波部１０７へ出力する。エンコーダ部１０６は輝度信号（Ｙ）、及び色差信号（Ｒ−Ｙ、Ｂ−Ｙ）からＮＴＳＣなどの標準テレビジョン信号を生成し出力する。評価値検波部１０７は画像信号をブロック（８×８領域）に分割し、各ブロックにおける輝度信号（Ｙ）、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の平均値を算出し、ホワイトバランス制御部１０８へ輝度・色差信号をそれぞれ出力する。
【００１５】
シーン判別部１１０は図２（ａ）のフローに示すシーン判別を行う。シーン判別は輝度・色度信号生成部１０３に入力する前の信号を用いて行われる。
【００１６】
まず、シーン判別部１１０は、被写体の輝度検出（Ｓ２０１）を行う。これは、被写体の照度を推定するための処理であり、例えば、１フレームの画像全体の輝度を平均した値を算出し、算出した結果に応じて、照度のレベルが、低、中、高のいずれであるかを判別する。
【００１７】
次に、シーン判別部１１０はエッジ情報検出を行う（Ｓ２０２）。これは被写体の空間周波数を推定するための処理である。例えば、１フレームの画像全体に対して所定のフィルタ処理を施すことによりエッジ成分を抽出し、抽出したエッジ成分の多さや強さに応じて、空間周波数が、エッジ少、エッジ中、エッジ多いのいずれであるかを判別する。
【００１８】
最後に、シーン判別部１１０は色相検出を行う（Ｓ２０３）。これは、被写体の色情報（色相・輝度・彩度）を指定するための処理であり、例えば、１フレームの画像全体に対して各色ごとにヒストグラムを取得し、その結果から、画像が緑、赤、青など、どの色味を帯びているかを判別する。また、画面情報として、判別した色が画面上どこの領域に集中しているかも判別する。
【００１９】
そして、これら判別により得られた情報を用いてシーンの特定を行う（Ｓ２０４）。ここでは、時間的に連続した複数のフレームについての上記情報の平均値が、ＣＰＵ１００が有する不図示のメモリに記憶したシーンの知識と一致又は類似しているか否かにより特定する。
【００２０】
具体的には、日陰の木々の緑が背景（以下、シーン名を“木陰”とする）か否かの判定は、以下の知識を使ってシーン判別を行う。
・照度：低
・色情報（色相・輝度・彩度）：緑・低・中〜高
・空間周波数：エッジ多
・画面情報：周辺部
日なたの空が背景（以下、シーン名を“晴天”とする）か否かの判定は、以下の知識を使ってシーン判別を行う。
・照度：高
・色情報（色相・輝度・彩度）：青・高・中〜高
・空間周波数：エッジ少
・画面情報：（主に）上部
他にも知識を定義づけて記憶しておくことにより“夜景”や“夕景”など、様々なシーン判別が可能であるが、本実施形態では、上記２つのシーン“木陰”と“晴天”が、撮像装置のホワイトバランス機能にとって苦手シーンであるとする。
【００２１】
次に、図２（ａ）を用いて本実施形態のメインフローを説明する。本フローはＣＰＵ１００の制御のもと実行される。
【００２２】
まず、ＣＰＵ１００は、ユーザーによる電源投入の操作等に応じて、撮像装置を撮影モードに切り替え、各処理ブロックを機能させて、撮影動作を開始させる（Ｓ３０１）。
【００２３】
撮影動作が開始されると、シーン判別部１１０は、入力される所定フレーム数ごとに、不図示のメモリに記憶された知識に基づき図２（ａ）のようなシーン判別を行う（Ｓ３０２）。
【００２４】
ここで、ＣＰＵ１００は、ステップＳ３０２の判別結果に基づき、現在のシーンが苦手シーンか否かを判断する（Ｓ３０３）。苦手シーンでないと判断した場合は、ステップＳ３０２に戻り、引き続きシーン判別を続ける。
【００２５】
ここで、苦手シーンと判断された場合は、ＣＰＵ１００は、インターフェイス制御部１０９にＯＳＤ画像を作成させ、表示部１１１を介して、ユーザーに色味を補正するか否かを尋ね、操作部１１３からの入力を待つ（Ｓ３０４）。ユーザーが色味を補正しないことを選択した場合は、ステップＳ３０２に戻り、引き続きシーン判別を続ける。
【００２６】
ユーザーが色味を補正することを選択した場合は、ＣＰＵ１００は、ユーザーに詳細補正を行うか否かを尋ねる（Ｓ３０５）。
【００２７】
詳細設定を行うことが選択された場合は、ＣＰＵ１００は、表示部１１１に、修正用のカラーチャートを撮影画像に重畳させて表示させ、ユーザーに操作部１１３を介した自由な補正を可能とする（Ｓ３０６）。
【００２８】
詳細設定を行うことが選択されなかった場合は、ＣＰＵ１００は、表示部１１１に、修正用のカラーチャートを撮影画像に重畳させて表示させるが、ユーザーによる補正に一定の制限を設ける（Ｓ３０７）。ここでは、ＣＰＵ１００が、シーンに応じて予め補正色相の知識を与え、その範囲内で補正を可能とする。
【００２９】
ここでの苦手シーンにおける色相補正の設定操作を行うための設定画面の具体例を、図３及び図４を用いて説明する。
【００３０】
図３（ａ）は、シーン“木陰”における、色相補正の様子を示す図である。「補正前」の画像においては、日陰の緑は蛍光灯と誤認識してホワイトバランス制御を行ってしまうことがある。その場合は、人物がシーンに入っていると、肌が青ざめてしまうという不都合が生じる。したがって、この場合は「補正後」の画像にあるように、画像の右下にカラーチャート３０１を表示させて、ユーザーに色相補正の設定操作を可能とし、肌の色を適正にすることができる。
【００３１】
同様に、図３（ｂ）は、シーン“晴天”における、色相補正の様子を示す図である。「補正前」の画像においては、空そのものを引き込んでホワイトバランス制御を行ってしまうことがある。その場合は、人物がシーンに入っていると、肌が赤みがかってしまうという不都合が生じる。したがって、この場合は「補正後」の画像にあるように、画像の右下にカラーチャート３０２を表示させて、ユーザーに色相補正の設定操作を可能とし、肌の色を適正にすることができる。
【００３２】
図４（ａ）は、ステップＳ３０６において詳細補正を行う場合のカラーチャートの表示態様を示す図である。ＣＰＵ１００は、Ｂ（ブルー）、Ａ（アンバー）、Ｇ（グリーン）、Ｍ（マゼンダ）方向からなる２次元空間で、操作部１１３によるユーザー操作によりポインタ４０１を移動させた位置に応じて補正量を決定する。例えば、Ｂ方向にポインタを動かした場合、ＣＰＵ１００はその位置に対応するゲイン量を算出し、その値をホワイトバランス制御部１０８に通知する。そしてホワイトバランス制御部１０８は、ホワイトバランス回路部１０４に対して、Ｂ信号のゲインを増加させ、より青みがかった画像がデジタル信号処理部から出力されるよう制御する。
【００３３】
図４（ｂ）は、ステップＳ３０６において簡易補正を行う場合のカラーチャートの表示態様を示す図である。図４（ａ）のカラーチャートと同様の表示であるが、例えば、補正可能な範囲が領域４０３に制限されることを示すために斜線領域の表示を行う。この例は、図３（ｂ）において表示されるチャートの例であり、シーン判別の結果、顔が赤みがかっていると推測されるので、予めブルー方向にのみ補正を可能としている。これにより、ホワイトバランスの調整に不慣れなユーザーであっても、補正すべき色相の方向を視覚的に理解できるので、適切な補正を行うことができる。ここで、ＣＰＵ１００が、シーン判別の結果から予め適正と思われる補正量を保持又は算出しておき、表示部１１１に、初期位置を２軸の交点位置からＢ側にシフトさせたポインタ４０２の位置としておいても良い。
【００３４】
上記のような詳細補正又は簡易補正のいずれかを行い、ユーザーが所定の補正完了の操作入力を行うことで、一連の補正処理が終了する。その後、ユーザーの記録指示等に応じて、記録部１１２に対して補正後の撮影された画像の記録を開始し（Ｓ３０８）、記録終了又は撮影モードの解除の操作に応じて、ＣＰＵ１００は、撮影動作を終了させる。
【００３５】
本実施形態によれば、シーン判別を行い苦手シーンと判別したらユーザーに補正の要否を問い合せるので、ホワイトバランスの知識のないユーザーでも、適切なタイミングでホワイトバランスのずれを認識できる。また、詳細修正では補正用のカラーサークルを表示させ、簡易修正では補正範囲や方向等が分かるように表示するので、ユーザーは、直感的なインターフェイスを用いて、ホワイトバランスのずれを容易に補正することができる。
【００３６】
（第２の実施形態）
第１の実施形態では、撮影モードでの動作開始後、記録部１１２への画像記録を開始する前の記録準備状態における制御について述べた。第１の実施形態の制御を画像記録中に行うこともできる。しかし、被写体の撮影のためにズームや撮影画角等を調整しながら、カラーサークル上でのポインタを移動させることは困難な操作であり、失敗画像を記録してしまうおそれがある。
【００３７】
したがって、本実施形態では、ＣＰＵ１００は、記録準備状態では第１の実施形態と同じ制御を行いながら、記録開始後においては、図２（ｂ）のステップＳ３０５の補正手法の選択は行わせず、ステップＳ３０７の簡易補正のみを実行可能できるようにする。これにより、撮影操作を行いながらも容易にホワイトバランス補正を行えるので、失敗画像の記録を防ぐことができる。
【００３８】
また一度、補正を行った後は、再びシーン変化が生じた場合であっても、カラーサークルは表示させず補正をさせないようにしても良い。これにより、頻繁に色味を補正することにより記録画質が時間的に不安定になることを防ぐことができる。
【００３９】
（第３の実施形態）
本実施形態では、顔の有無により色相補正の実行の有無を判断する。ここで、シーン判別部１１０が、顔検出機能を有しているとする。例えば、画像全体から輪郭情報を取得した後、予め保持しておいた目や鼻などの顔の部品とのパターンマッチングにより顔の有無を検出する方法がある。
【００４０】
本実施形態では、図２（ｂ）のステップＳ３０３で、顔が検出されていれば、第１又は第２の実施形態と同様の制御を行う。一方、顔が検出されていなければ、苦手シーンであっても顔の色合いが不適切になる事態が生じないので、色相補正は行わずに、ステップＳ３０２に戻る。
【００４１】
以上の制御を行うことで、人肌が画面中に存在することが理由で補正を行うことの必要度の高いときだけ、カラーサークルを表示させ補正を可能とするので、無駄な表示画面をユーザーに提示する必要が無くなり撮影時の操作性を向上させることができる。
【符号の説明】
【００４２】
１００  ＣＰＵ
１１０  シーン判別部
１１１  表示部
【図１】
2011082691.tif 000003
【図２】
2011082691.tif 000004
【図３】
2011082691.tif 000005
【図４】
2011082691.tif 000006