(57)【要約】【課題】画像の中の顔の顔色を、その顔に適した顔色に補正する【解決手段】顔画像記憶部６１は、所定の顔の画像である顔画像を登録顔画像として記憶する。顔色記憶部６２は、登録顔画像の顔色に関する情報である顔色情報を記憶する。検出部４３は、撮像画像から顔画像を検出する。比較部５１は、撮像画像から検出された顔画像と登録顔画像とを比較し、その顔画像に最も類似する登録顔画像に対応する人名を比較結果とする。色再現部４４は、顔色記憶部６２に記憶されている、比較結果である人名に対応する登録顔画像の顔色情報に基づいて、次の撮像画像から検出された顔画像の顔色情報を補正する。本発明は、例えば、デジタルスチルカメラに適用することができる。【選択図】図２
2008117221.tif 000002
【特許請求の範囲】
【請求項１】
所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段と、
前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段と、
入力画像から顔画像を検出する検出手段と、
前記入力画像から検出された顔画像の顔色情報を補正する補正手段と、
前記入力画像から検出された顔画像と前記登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とする比較手段と
を備え、
前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する
画像処理装置。
【請求項２】
前記入力画像のホワイトバランスを調整する調整手段
をさらに備え、
前記検出手段は、前記ホワイトバランスの調整後の入力画像から顔画像を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段と、
前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段と
をさらに備え、
前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の、次の入力画像から検出された顔画像の顔色情報を補正する
請求項２に記載の画像処理装置。
【請求項４】
前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段
をさらに備え、
前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する
請求項３に記載の画像処理装置。
【請求項５】
前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像のホワイトバランスを調整することにより、前記次の入力画像の顔色情報を補正する
請求項１に記載の画像処理装置。
【請求項６】
入力画像から、顔の画像である顔画像を検出し、
前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とし、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する
ステップを含む画像処理方法。
【請求項７】
入力画像から、顔の画像である顔画像を検出し、
前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とし、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項８】
所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段と、
前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段と、
入力画像から顔画像を検出し、その顔画像と前記登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とする比較手段と、
前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する補正手段と
を備える画像処理装置。
【請求項９】
前記入力画像のホワイトバランスを調整する調整手段
をさらに備え、
前記比較手段は、前記ホワイトバランスの調整前または調整後の入力画像から顔画像を検出し、
前記補正手段は、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正する
請求項８に記載の画像処理装置。
【請求項１０】
前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段と、
前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段と
をさらに備え、
前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正する
請求項９に記載の画像処理装置。
【請求項１１】
前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段
をさらに備え、
前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する
請求項１０に記載の画像処理装置。
【請求項１２】
前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像のホワイトバランスを調整することにより、前記入力画像の顔色情報を補正する
請求項８に記載の画像処理装置。
【請求項１３】
入力画像から顔の画像である顔画像を検出し、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とし、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する
ステップを含む画像処理方法。
【請求項１４】
入力画像から顔の画像である顔画像を検出し、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とし、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、画像の中の顔の顔色を、その顔に適した顔色に補正することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像された画像に対して色補正などを行うことにより、画像の特定色を、人間が潜在的に記憶している最も美しいと感じる色、いわゆる記憶色に補正する撮像装置がある。この撮像装置は、例えば画像の中の人物の肌色を所定の色に補正する（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００４−２９７６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、顔色には個人差があるため、画像の中の異なる人物の顔色を、同一の所定の色に補正すると、補正後の画像は不自然なものとなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、画像の中の顔の顔色を、その顔に適した顔色に補正することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の画像処理装置は、所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段と、前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段と、入力画像から顔画像を検出する検出手段と、前記入力画像から検出された顔画像の顔色情報を補正する補正手段と、前記入力画像から検出された顔画像と前記登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とする比較手段とを備え、前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する。
【０００７】
本発明の第１の側面の画像処理装置は、前記入力画像のホワイトバランスを調整する調整手段をさらに設け、前記検出手段は、前記ホワイトバランスの調整後の入力画像から顔画像を検出することができる。
【０００８】
本発明の第１の側面の画像処理装置は、前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段と、前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段とをさらに設け、前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の、次の入力画像から検出された顔画像の顔色情報を補正することができる。
【０００９】
本発明の第１の側面の画像処理装置は、前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段をさらに設け、前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定することができる。
【００１０】
本発明の第１の側面の画像処理装置では、前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像のホワイトバランスを調整することにより、前記次の入力画像の顔色情報を補正することができる。
【００１１】
本発明の第１の側面の画像処理方法は、入力画像から、顔の画像である顔画像を検出し、前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とし、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正するステップを含む。
【００１２】
本発明の第１の側面のプログラムは、入力画像から、顔の画像である顔画像を検出し、前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とし、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正するステップを含む処理をコンピュータに実行させる。
【００１３】
本発明の第２の側面の画像処理装置は、所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段と、前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段と、入力画像から顔画像を検出し、その顔画像と前記登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とする比較手段と、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する補正手段とを備える。
【００１４】
本発明の第２の側面の画像処理装置は、前記入力画像のホワイトバランスを調整する調整手段をさらに設け、前記比較手段は、前記ホワイトバランスの調整前または調整後の入力画像から顔画像を検出し、前記補正手段は、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正することができる。
【００１５】
本発明の第２の側面の画像処理装置は、前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段と、前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段とをさらに設け、前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正することができる。
【００１６】
本発明の第２の側面の画像処理装置は、前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段をさらに設け、前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定することができる。
【００１７】
本発明の第２の側面の画像処理装置では、前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像のホワイトバランスを調整することにより、前記入力画像の顔色情報を補正することができる。
【００１８】
本発明の第２の側面の画像処理方法は、入力画像から顔の画像である顔画像を検出し、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とし、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正するステップを含む。
【００１９】
本発明の第２の側面のプログラムは、入力画像から顔の画像である顔画像を検出し、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とし、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正するステップを含む処理をコンピュータに実行させる。
【００２０】
本発明の第１の側面においては、入力画像から、顔の画像である顔画像が検出され、前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とが比較され、その顔画像に最も類似する登録顔画像が比較結果とされ、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報が補正される。
【００２１】
本発明の第２の側面においては、入力画像から顔の画像である顔画像が検出され、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とが比較されて、その顔画像に最も類似する登録顔画像が比較結果とされ、予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報が補正される。
【発明の効果】
【００２２】
以上のように、本発明の第１と第２の側面によれば、画像を補正することができる。また、本発明の第１と第２の側面によれば、画像の中の顔の顔色を、その顔に適した顔色に補正することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
本発明の第１の側面の画像処理装置(例えば、図１のデジタルスチルカメラ１)は、
所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段(例えば、図２の顔画像記憶部６１)と、
前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段(例えば、図２の顔色記憶部６２)と、
入力画像から顔画像を検出する検出手段(例えば、図２の検出部４３)と、
前記入力画像から検出された顔画像の顔色情報を補正する補正手段(例えば、図２の色再現部４４)と、
前記入力画像から検出された顔画像と前記登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とする比較手段(例えば、図２の比較部５１)と
を備え、
前記補正手段は、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する。
【００２５】
本発明の第１の側面の画像処理装置は、
前記入力画像のホワイトバランスを調整する調整手段(例えば、図２のWB調整部４１)
をさらに備え、
前記検出手段は、前記ホワイトバランスの調整後の入力画像から顔画像を検出する。
【００２６】
本発明の第１の側面の画像処理装置は、
前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段(例えば、図２の自信判定部４６)と、
前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段(例えば、図２の作成部５２)と
をさらに備え、
前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の、次の入力画像から検出された顔画像の顔色情報を補正する。
【００２７】
本発明の第１の側面の画像処理装置は、
前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段(例えば、図９のLUT記憶部９１)
をさらに備え、
前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する。
【００２８】
本発明の第１の側面の画像処理方法またはプログラムは、
入力画像から、顔の画像である顔画像を検出し(例えば、図６のステップＳ１９)、
前記入力画像から検出された顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較し、その顔画像に最も類似する登録顔画像を比較結果とし(例えば、図８のステップＳ４３)、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、次の入力画像から検出された顔画像の顔色情報を補正する(例えば、図６のステップＳ２１)
ステップを含む。
【００２９】
本発明の第２の側面の画像処理装置(例えば、図１のデジタルスチルカメラ１)は、
所定の顔の画像である顔画像を登録顔画像として記憶する顔画像記憶手段(例えば、図１２の顔画像記憶部６１)と、
前記登録顔画像の顔色に関する情報である顔色情報を記憶する色記憶手段（例えば、図１２の顔色記憶部６２）と、
入力画像から顔画像を検出し、その顔画像と前記登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とする比較手段(例えば、図１２の比較部１２１)と、
前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する補正手段(例えば、図１２の色再現部１１２)と
を備える。
【００３０】
本発明の第２の側面の画像処理装置は、
前記入力画像のホワイトバランスを調整する調整手段(例えば、図２のWB調整部４１)
をさらに備え、
前記比較手段は、前記ホワイトバランスの調整前または調整後の入力画像から顔画像を検出し、
前記補正手段は、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正する。
【００３１】
本発明の第２の側面の画像処理装置は、
前記ホワイトバランスの調整前の入力画像の色に関する情報である色情報の統計量に基づいて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する判定手段(例えば、図２の自信判定部４６)と、
前記自信があると判定された場合、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を、その顔画像の比較結果である登録顔画像の顔色情報として、前記色記憶手段に記憶させる記憶制御手段(例えば、図１２の作成部１２２)と
をさらに備え、
前記補正手段は、前記自信がないと判定された場合、前記色記憶手段に記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記ホワイトバランスの調整後の入力画像から検出された顔画像の顔色情報を補正する。
【００３２】
本発明の第２の側面の画像処理装置は、
前記ホワイトバランスの調整前の色情報の統計量と、そのホワイトバランスの調整後の色情報に対する自信の度合を表す自信度とを対応付けたテーブルを記憶するテーブル記憶手段(例えば、図９と同様に、図１２の制御部１６に新たに設けられるLUT記憶部９１)
をさらに備え、
前記判定手段は、前記ホワイトバランスの調整前の入力画像の色情報の統計量に基づいて、前記テーブルから、その統計量に対応付けられた自信度を読み出し、その自信度に応じて、前記ホワイトバランスの調整後の入力画像に対して自信があるかどうかを判定する。
【００３３】
本発明の第２の側面の画像処理方法またはプログラムは、
入力画像から顔の画像である顔画像を検出し、その顔画像と、予め記憶されている所定の顔画像である登録顔画像とを比較して、その顔画像に最も類似する登録顔画像を比較結果とし(例えば、図１３のステップＳ６６)、
予め記憶されている、前記比較結果である登録顔画像の顔色情報に基づいて、前記入力画像から検出された顔画像の顔色情報を補正する(例えば、図１３のステップＳ７３)
ステップを含む。
【００３４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００３５】
図１は、本発明を適用したデジタルスチルカメラ１の一実施の形態の構成例を示すブロック図である。
【００３６】
図１のデジタルスチルカメラ１は、レンズ系１１、CCD（Charge Coupled Device）１２、S/H（Sample/Hold）回路１３、AGC(Automatic Gain Control)回路、A/D（Analog/Digital）変換回路１５、制御部１６、外部I/F（InterFace）１７、表示部１８、および入力部１９により構成される。デジタルスチルカメラ１は、被写体を撮像し、その結果得られる撮像画像の中の顔の顔色を補正する。
【００３７】
レンズ系１１は、シャッタ、絞り、および集光レンズなどから構成され、そこに入射する光をCCD１２に照射することにより、被写体の像をCCD１２の受光面に結像させる。CCD１２は、入力部１９から供給される撮像開始の指令に応じて、その受光面に結像された被写体の像（光）を、光電変換することでアナログのRGB（Red,Green,Blue）表色系の画像信号(以下、RGB信号という)に変換し、S/H回路１３に供給する。なお、ここでは、CCD１２を撮像素子として採用したが、撮像素子としてはCCD１２の代わりに、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサなどを採用することができる。
【００３８】
S/H回路１３は、CCD１２から供給されたアナログのRGB信号に対して、例えば、相関二重サンプリングを行い、AGC回路１４に供給する。
【００３９】
AGC回路１４は、S/H回路１３から供給されたアナログのRGB信号のゲインを調整し、A/D変換回路１５に供給する。
【００４０】
A/D変換回路１５は、AGC回路１４から供給されたアナログのRGB信号をA/D変換し、その結果得られたデジタルのRGB信号を、RGB画像として制御部１６に供給する。
【００４１】
制御部１６は、A/D変換回路１５から供給されるRGB画像に対して、ホワイトバランスの調整、YCbCr表色系への変換、色補正などの画像処理を行う。また、制御部１６は、入力部１９から供給される撮影の指令に応じて、画像処理の結果得られるYCbCr表色系の画像である撮像画像を、外部I/F１７を介して、図示せぬ外部の装置に供給し、記録させる。さらに、制御部１６は、画像処理の結果得られる撮像画像を表示部１８に供給して表示させる。なお、制御部１６の詳細は、図２で後述する。
【００４２】
外部I/F１７は、図示せぬ外部の装置と信号のやり取りを行う。例えば、外部I/F１７は、制御部１６から供給される撮像画像を外部の装置に記録させる。また、外部I/F１７は、外部の装置からの要求に応じて、制御部１６から撮像画像を取得し、その撮像画像を外部の装置に記憶させる。
【００４３】
表示部１８は、制御部１６から供給される撮像画像を表示する。入力部１９は、ユーザからの指令を受け付ける。例えば、入力部１９は、ユーザからの、動作モードを、被写体を撮影する撮影モードに設定するための指令を受け付け、その指令に応じて、撮像開始の指令をCCD１２に供給する。また、入力部１９は、ユーザからの撮影の指令を受け付け、その指令に応じて、撮影の指令を制御部１６に供給する。
【００４４】
図２は、図１の制御部１６の詳細構成例を示すブロック図である。
【００４５】
図２の制御部１６は、画像処理部３１、顔認識部３２、パラメータ算出部３３、およびメモリ３４により構成され、撮像画像の顔色の補正に関するパラメータを算出し、そのパラメータに基づいて、次の撮像画像の顔色を補正する。
【００４６】
画像処理部３１は、WB調整部４１、YC変換部４２と４５、検出部４３、色再現部４４、および自信判定部４６により構成され、図１のA/D変換回路１５から供給され、メモリ３４の画像記憶部６０に記憶されているRGB画像に対して画像処理を行う。
【００４７】
WB調整部４１は、画像記憶部６０に記憶されているRGB画像を読み出し、そのRGB画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、RGB画像のホワイトバランスを調整する。WB調整部４１は、調整後のRGB画像をYC変換部４２に供給する。
【００４８】
YC変換部４２は、WB調整部４１から供給されるRGB画像のRGB表色系をYCbCr表色系に変換するYC変換を行う。具体的には、YC変換部４２は、RGB画像に対して、YCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、YCbCr表色系の画像を生成する。YC変換部４２は、YCbCr表色系の画像を、撮像画像として検出部４３に供給する。
【００４９】
検出部４３は、YC変換部４２から供給される撮像画像から、顔の画像である顔画像を検出する。検出部４３は、検出した顔画像の領域を特定する情報（以下、領域情報という）と撮像画像をパラメータ算出部３３と色再現部４４に供給する。
【００５０】
色再現部４４は、パラメータ算出部３３から供給されるパラメータ、検出部４３から供給される領域情報、および、自信判定部４６から供給される判定結果に基づいて、検出部４３から供給される撮像画像に含まれる顔画像の顔色を補正する。そして、色再現部４４は、顔色の補正後の撮像画像を、画像記憶部６０に供給して記憶させる。また、色再現部４４は、領域情報に基づいて、顔色の補正後の撮像画像から顔画像を抽出し、顔認識部３２に供給する。
【００５１】
さらに、色再現部４４は、判定結果に応じて、検出部４３からの撮像画像を、そのまま画像記憶部６０に供給して記憶させる。また、色再現部４４は、判定結果と領域情報に基づいて、検出部４３から供給される撮像画像から顔画像を抽出し、その顔画像を顔認識部３２に供給する。
【００５２】
YC変換部４５は、画像記憶部６０に記憶されているRGB画像を読み出し、そのRGB画像に対して、YC変換部４２と同様に、YC変換を行う。YC変換部４５は、YC変換の結果得られるYCbCr表色系の画像を自信判定部４６に供給する。
【００５３】
自信判定部４６は、YC変換部４５から供給されるYCbCr表色系の画像の平均値に基づいて、YC変換部４２から出力される撮像画像に対して自信があるかどうかを判定する。なお、以下では、WB調整部４１が、屋外の太陽光の下で撮像された撮像画像に対して最適なホワイトバランスの調整を行うものとし、自信判定部４６は、撮像画像が屋外の太陽光の下で撮像された撮像画像であるかどうかに応じて、その撮像画像に対して自信があるかどうかを判定する。自信判定部４６は、判定結果を顔認識部３２と色再現部４４に供給する。
【００５４】
顔認識部３２は、撮像画像に含まれる顔画像の顔を認識する顔認識処理を行う。顔認識処理の方法については、例えば、特開2004-302644号公報などに記載されている。
【００５５】
顔認識部３２は、比較部５１と作成部５２により構成される。
【００５６】
比較部５１は、色再現部４４から供給される顔画像と、メモリ３４の顔画像記憶部６１に登録されている顔画像（以下、登録顔画像という）とを比較する。比較部５１は、類似する登録顔画像がない顔画像を新しい登録顔画像として顔画像記憶部６１に登録する。具体的には、比較部５１は、新しい登録顔画像に、登録顔画像に固有の人名を付与し、その人名を、新しい登録顔画像と対応付けて顔画像記憶部６１に記憶させる。
【００５７】
また、比較部５１は、自信判定部４６から供給される判定結果に応じて、顔画像と最も類似する登録顔画像に対応する人名を比較結果として、パラメータ算出部３３に供給する。さらに、比較部５１は、自信判定部４６から供給される判定結果に応じて、比較結果と顔画像を作成部５２に供給する。
【００５８】
作成部５２は、比較部５１から供給される顔画像に基づいて、顔色に関する情報である顔色情報を作成し、その顔色情報を、比較結果である人名に対応付けた顔色テーブルを、メモリ３４の顔色記憶部６２に記憶させる。
【００５９】
パラメータ算出部３３は、顔認識部３２の比較部５１から供給される比較結果に基づいて、その比較結果である人名に対応付けられている顔色情報を、顔色記憶部６２の顔色テーブルから読み出す。また、パラメータ算出部３３は、検出部４３から供給される領域情報に基づいて、検出部４３から供給される撮像画像から顔画像を抽出する。
【００６０】
パラメータ算出部３３は、抽出した顔画像と、読み出した顔色情報とに基づいて、その顔画像の顔色を顔色情報の顔色に補正するためのパラメータを算出し、色再現部４４に供給する。色再現部４４は、このパラメータを用いて、次の撮像画像に含まれる顔画像の顔色を補正する。これにより、色再現部４４は、顔色記憶部６２に記憶されている、撮像画像に含まれる顔画像に最も類似する登録顔画像の顔色情報の顔色を、次の撮像画像に含まれる顔画像において再現することができる。
【００６１】
メモリ３４は、画像記憶部６０、顔画像記憶部６１、および顔色記憶部６２により構成される。
【００６２】
画像記憶部６０は、図１のA/D変換回路１５から供給されるRGB画像を記憶する。また、画像記憶部６０は、色再現部４４から供給される撮像画像を記憶する。画像記憶部６０には、入力部１９から撮影の指令が供給される。画像記憶部６０は、撮影の指令に応じて、画像記憶部６０に記憶されている撮像画像を読み出し、その撮像画像を外部I/F１７に供給して、外部の装置に記録させる。
【００６３】
また、画像記憶部６０には、外部I/F１７から撮像画像の取得要求が供給され、画像記憶部６０は、その要求に応じて撮像画像を外部I/F１７に供給する。さらに、画像記憶部６０は、記憶している撮像画像を表示部１８に供給して表示させる。
【００６４】
顔画像記憶部６１は、比較部５１から供給される人名と登録顔画像を対応付けて記憶する。顔色記憶部６２は、作成部５２から供給される人名と顔色情報を対応付けた顔色テーブルを記憶する。
【００６５】
次に、図３と図４を参照して、色再現部４４が行う顔色の補正について説明する。
【００６６】
図３は、屋外の太陽光の下で撮像された撮像画像７１を示している。
【００６７】
図３の撮像画像７１には、ある人物の顔画像７２が含まれている。撮像画像７１が撮像される場合、撮像画像７１は屋外の太陽光の下で撮像された撮像画像であるので、自信判定部４６は、YC変換部４２から出力される撮像画像７１に対して自信があると判定する。この場合、色再現部４４は、撮像画像７１の顔色の補正を行わず、そのままの撮影画像７１を、画像記憶部６０に供給して記憶させる。その結果、表示部１８には、そのままの撮影画像７１が表示される。
【００６８】
また、作成部５２は、撮像画像７１から抽出された顔画像７２に基づいて顔色情報を作成し、その顔色情報を、比較部５１による比較結果である人名に対応付けた顔色テーブルを、顔色記憶部６２に記憶させる。
【００６９】
図４は、太陽光の差し込む屋内の蛍光灯の下で撮像された撮像画像８１を示している。
【００７０】
図４の撮像画像８１には、図３の顔画像７２の人物と同一の人物の顔画像８２が含まれている。撮像画像８１が撮像される場合、撮像画像８１は屋外の太陽光の下で撮像された撮像画像ではないので、自信判定部４６は、YC変換部４２から出力される撮像画像８１に対して自信がないと判定する。この場合、色再現部４４は、顔色記憶部６２に顔画像８２の人物の人名に対応付けて記憶されている、例えば図３の顔画像７２の顔色情報に基づいて算出されたパラメータを用いて、顔画像８２の顔色を補正する。
【００７１】
これにより、最適なホワイトバランスの調整が行われる屋外の太陽光の下で撮像された撮像画像７１内の、ある人物の顔画像７２の顔色を、最適なホワイトバランスの調整が困難な、太陽光と蛍光灯の２つの光源の下で撮像された同一の人物の顔画像８２に再現することができる。
【００７２】
図５は、図２の顔色記憶部６２に記憶されている顔色テーブルの例を示している。
【００７３】
図５の顔色テーブルでは、人名と、その人名の人物の顔色情報としてのYCbCr表色系のY信号、Cb信号、およびCr信号の値とが対応付けられている。
【００７４】
図５の例では、人名「Ａさん」と、Ａさんの顔色情報としてのY信号の値「145」、Cb信号の値「-9」、およびCr信号の値「13」とが対応付けられている。即ち、屋外の太陽光の下で撮像されたＡさんの顔画像のY信号の値が145であり、Cb信号の値が-9であり、Cr信号の値が13である。
【００７５】
また、人名「Ｂさん」には、顔色情報がまだ対応付けられていない。即ち、Ｂさんは、屋外の太陽光の下でまだ撮像されていない。
【００７６】
さらに、人名「Ｃさん」と、Ｃさんの顔色情報としてのY信号の値「160」、Cb信号の値「-4」、およびCr信号の値「10」とが対応付けられている。即ち、屋外の太陽光の下で撮像されたＣさんの顔画像のY信号の値が160であり、Cb信号の値が-4であり、Cr信号の値が10である。
【００７７】
なお、顔色テーブルの顔色情報としては、YCbCr表色系の各信号の値ではなく、その他の表色系（例えば、RGB表色系など）の各信号の値、所定の表色系への変換の途中結果の統計量、所定の表色系の各信号のヒストグラムなどであってもよい。
【００７８】
次に、図６を参照して、図１のデジタルスチルカメラ１が人物の顔を被写体として撮像する撮像処理について説明する。この撮像処理は、例えば、ユーザからの、動作モードを撮影モードに設定するための指令が受け付けられた場合に、撮影の指令または動作モードの変更が指令されるまで、所定のタイミングごとに行われる。
【００７９】
ステップＳ１１において、図１のCCD１２は、入力部１９から供給される撮像開始の指令に応じて、その受光面に結像された被写体の像を、光電変換することでアナログのRGB信号を取得し、S/H回路１３に供給する。ステップＳ１１の処理後は、ステップＳ１２に進み、S/H回路１３は、CCD１２から供給されたアナログのRGB信号に対して、相関二重サンプリングを行い、AGC回路１４に供給する。
【００８０】
ステップＳ１２の処理後は、ステップＳ１３に進み、AGC回路１４は、S/H回路１３から供給されたアナログのRGB信号のゲインを調整し、A/D変換回路１５に供給する。ステップＳ１３の処理後は、ステップＳ１４に進み、A/D変換回路１５は、AGC回路１４から供給されたアナログのRGB信号をA/D変換する。A/D変換回路１５は、変換の結果得られたデジタルのRGB信号を、RGB画像として制御部１６の画像記憶部６０(図２)に供給し、記憶させる。
【００８１】
ステップＳ１４の処理後は、ステップＳ１５に進み、図２のYC変換部４５は、画像記憶部６０に記憶されているRGB画像を読み出し、そのRGB画像に対してYC変換を行う。YC変換部４５は、その結果得られるYCbCr表色系の画像を自信判定部４６に供給する。
【００８２】
ステップＳ１５の処理後は、ステップＳ１６に進み、自信判定部４６は、YC変換部４２から出力される撮像画像に対する自信を判定する自信判定処理を行う。この自信判定処理の詳細は、図７で後述する。
【００８３】
ステップＳ１６の処理後は、ステップＳ１７に進み、WB調整部４１は、画像記憶部６０に記憶されているRGB画像を読み出し、そのRGB画像のホワイトバランスを調整して、調整後のRGB画像をYC変換部４２に供給する。
【００８４】
ステップＳ１７の処理後は、ステップＳ１８に進み、YC変換部４２は、WB調整部４１から供給されるRGB画像に対してYC変換を行い、その結果得られるYCbCr表色系の画像を、撮像画像として検出部４３に供給する。
【００８５】
ステップＳ１８の処理後は、ステップＳ１９に進み、検出部４３は、YC変換部４２から供給される撮像画像から、顔の画像である顔画像を検出する。検出部４３は、検出した顔画像の領域情報と撮像画像をパラメータ算出部３３と色再現部４４に供給する。
【００８６】
ステップＳ１９の処理後は、ステップＳ２０に進み、色再現部４４は、自信判定部４６から供給される自信判定処理の判定結果に応じて、YC変換部４２から出力される撮像画像に対して自信があるかどうかを判定する。
【００８７】
ステップＳ２０において、YC変換部４２から出力される撮像画像に対して自信がないと判定された場合、ステップＳ２１に進み、色再現部４４は、パラメータ算出部３３から供給されるパラメータと、検出部４３から供給される領域情報とに基づいて、検出部４３からの撮像画像に含まれる顔画像の顔色を補正する。そして、色再現部４４は、顔色の補正後の撮像画像を、画像記憶部６０に供給して記憶させる。
【００８８】
ステップＳ２１の処理後は、ステップＳ２２に進み、色再現部４４は、検出部４３から供給される領域情報に基づいて、顔色の補正後の撮像画像から顔画像を抽出し、顔認識部３２に供給する。
【００８９】
ステップＳ２２の処理後は、ステップＳ２３に進み、顔認識部３２は顔認識処理を行う。この顔認識処理の詳細は、図８で後述する。
【００９０】
ステップＳ２３の処理後は、ステップＳ２４に進み、パラメータ算出部３３は、顔認識部３２から供給される、顔認識処理により得られる比較結果に基づいて、その比較結果である人名に対応付けて記録されている顔色情報を、顔色記憶部６２の顔色テーブルから読み出す。
【００９１】
なお、比較結果である人名に対応付けて顔色情報がまだ記憶されていない場合、例えば、図５の顔色テーブルが顔色記憶部６２に記憶されており、比較結果が人名「Ｂさん」である場合、パラメータ算出部３３は、予め初期値として設定されているY信号、Cb信号、およびCr信号の値を、顔色情報として読み出す。
【００９２】
ステップＳ２４の処理後は、ステップＳ２５に進み、パラメータ算出部３３は、検出部４３から供給される領域情報に基づいて、検出部４３から供給される撮像画像から顔画像を抽出し、その顔画像と顔色情報に基づいて、その顔画像の顔色を顔色情報の顔色に補正するためのパラメータを算出する。
【００９３】
具体的には、パラメータ算出部３３は、例えば、以下の式（１）にしたがって、Y信号のパラメータαを算出する。
【００９４】
Y´=αY
・・・（１）
【００９５】
なお、式（１）において、Yは、顔画像のY信号の平均値を表し、Y´は顔色情報のY信号の値を表す。また、パラメータαは、所定の範囲内の値をとるものとし、式（１）により、パラメータαが、その範囲外の値となる場合、パラメータ算出部３３は、パラメータαを、範囲内の最も近い値に設定する。
【００９６】
さらに、パラメータ算出部３３は、例えば、回転行列を用いた以下の式（２）により、Cb信号とCr信号のパラメータβとθを算出する。
【００９７】
【数１】
2008117221.tif 000003
【００９８】
なお、式（２）において、Cbは、顔画像のCb信号の平均値を表し、Crは、顔画像のCr信号の平均値を表す。また、Cb´は、顔色情報のCb信号の値を表し、Cr´は、顔色情報のCr信号の値を表す。
【００９９】
パラメータ算出部３３は、以上のようにして算出されたパラメータα，β、およびθを色再現部４４に供給し、撮像処理を終了する。
【０１００】
色再現部４４は、この後のステップＳ２２の処理において、パラメータ算出部３３から供給されるパラメータαを用いて、検出部４３からの撮像画像に含まれる顔画像の顔色のY信号の平均値をYとした式（１）を演算する。色再現部４４は、その演算の結果得られるY´を、補正後の顔色のY信号の値として、撮像画像の顔色のY信号を補正する。
【０１０１】
また、色再現部４４は、パラメータ算出部３３から供給されるパラメータβとθを用いて、検出部４３からの撮像画像に含まれる顔画像の顔色のCb信号,Cr信号の平均値をCb,Crとした式（２）を演算する。色再現部４４は、その演算の結果得られるCb´,Cr´を、補正後のCb信号,Cr信号の値として、撮像画像の顔色のCb信号とCr信号を補正する。
【０１０２】
なお、上述した説明では、式（１）にしたがうパラメータαを用いて、顔色のY信号の補正が行われたが、γ補正により、顔色のY信号の補正が行われるようにしてもよい。また、顔色の補正方法は、例えば、特開2004-297698号公報に記載されている方法を用いてもよい。
【０１０３】
一方、ステップＳ２０において、YC変換部４２から出力される撮像画像に対して自信があると判定された場合、ステップＳ２６に進み、色再現部４４は、検出部４３からの撮像画像を、そのまま画像記憶部６０に出力して記憶させ、ステップＳ２７に進む。
【０１０４】
ステップＳ２７において、色再現部４４は、判定結果と領域情報に基づいて、検出部４３から供給される撮像画像から顔画像を抽出し、その顔画像を顔認識部３２に供給して、ステップＳ２８に進む。ステップＳ２８において、顔認識部３２は、ステップＳ２３と同様に、顔認識処理を行う。
【０１０５】
ステップＳ２８の処理後は、ステップＳ２９に進み、作成部５２は、比較部５１から供給される顔画像に基づいて顔色情報を作成し、その顔色情報を、比較結果である人名に対応付けた顔色テーブルを、顔色記憶部６２に記憶させ、処理を終了する。
【０１０６】
以上のように、図２の制御部１６は、撮像画像に対して顔認識処理を行った結果得られる人名に対応付けて記憶されている顔色情報に基づいて、次の撮像画像の顔色を補正するので、いかなる状況で撮像された撮像画像であっても、その撮像画像の中の人物の顔の顔色を、その人物の顔に適した色に補正することができる。
【０１０７】
また、図２の制御部１６は、撮像画像に対して自信があると判定した場合、即ち最適なホワイトバランスの調整が行われたと判定した場合、撮像画像の顔色情報を記憶し、その顔色情報に基づいてパラメータを算出するので、ユーザは、パラメータを入力する必要がない。従って、ユーザの手間を省くことができる。
【０１０８】
図６の撮像処理の後、例えば、ユーザが入力部１９を操作して、撮影を指令すると、直前のステップＳ２１で補正された撮像画像が、撮影結果として表示部１８に表示されたり、外部I/F１７を介して外部の装置に記録される。
【０１０９】
次に、図７を参照して、図６の自信判定処理について説明する。
【０１１０】
ステップＳ３０において、自信判定部４６は、YC変換部４５から供給されるYCbCr表色系の画像のうちのY信号の平均値を算出し、ステップＳ３１に進む。ステップＳ３１において、自信判定部４６は、Y信号の平均値が、予め設定されている基準値以上であるかどうか、即ち、YC変換部４５から供給されるYCbCr表色系の画像が、屋外で撮像された画像であるかどうかを判定する。
【０１１１】
ステップＳ３１において、Y信号の平均値が基準値以上であると判定された場合、ステップＳ３２に進み、自信判定部４６は、YCbCr表色系の画像のうちの、所定値以上のY信号に対応するCb信号とCr信号の平均値をそれぞれ算出し、ステップＳ３３に進む。
【０１１２】
ステップＳ３３において、自信判定部４６は、ステップＳ３２で算出されたCb信号とCr信号の平均値が、予め設定されている、屋外の太陽光の下で撮像された一般的な撮像画像のCb信号とCr信号の平均値（以下、基準平均値という）から所定の範囲内の値であるかどうか、即ち、YC変換部４５から供給されるYCbCr表色系の画像が、屋外の太陽光の下で撮像された画像であるかどうかを判定する。
【０１１３】
ステップＳ３３において、ステップＳ３２で算出された平均値が基準平均値から所定の範囲内の値であると判定された場合、ステップＳ３４に進み、自信判定部４６は、YC変換部４２から出力される撮像画像に対して自信があると判定する。そして、自信判定部４６は、その判定結果を顔認識部３２と色再現部４４に供給し、図６のステップＳ１６に戻る。
【０１１４】
一方、ステップＳ３１で、Y信号の平均値が基準値以上ではないと判定された場合、または、ステップＳ３３で、ステップＳ３２で算出された平均値が基準平均値から所定の範囲内の値ではないと判定された場合、ステップＳ３５に進み、自信判定部４６は、YC変換部４２から出力される撮像画像に対して自信がないと判定する。そして、自信判定部４６は、その判定結果を顔認識部３２と色再現部４４に供給し、図６のステップＳ１６に戻る。
【０１１５】
次に、図８を参照して、図６の顔認識処理について説明する。
【０１１６】
ステップＳ４１において、比較部５１は、色再現部４４から供給される顔画像と、顔画像記憶部６１に登録されている登録顔画像とを比較し、ステップＳ４２に進む。
【０１１７】
ステップＳ４２において、比較部５１は、色再現部４４から供給される顔画像と類似する登録顔画像があるかどうかを判定し、類似する登録顔画像があると判定した場合、ステップＳ４３に進む。
【０１１８】
ステップＳ４３において、比較部５１は、色再現部４４から供給される顔画像と最も類似する登録顔画像に対応する人名を比較結果として、パラメータ算出部３３に出力し、図６のステップＳ２３に戻るか、または、顔画像とともに作成部５２に出力して、ステップＳ２８に戻る。
【０１１９】
一方、ステップＳ４２において、色再現部４４から供給される顔画像と類似する登録顔画像がないと判定された場合、ステップＳ４４に進み、比較部５１は、色再現部４４からの顔画像を新しい登録顔画像として顔画像記憶部６１に登録する。
【０１２０】
ステップＳ４４の処理後は、ステップＳ４５に進み、比較部５１は、ステップＳ４４で登録された登録顔画像に対応する人名を比較結果として、パラメータ算出部３３に出力し、図６のステップＳ２３に戻るか、または、顔画像とともに作成部５２に出力して、ステップＳ２８に戻る。
【０１２１】
図９は、図１の制御部１６の他の詳細構成例を示すブロック図である。
【０１２２】
図９の制御部１６は、顔認識部３２、パラメータ算出部３３、メモリ３４、および画像処理部９０により構成される。
【０１２３】
画像処理部９０は、WB調整部４１、YC変換部４２と４５、検出部４３、色再現部４４、LUT（Look Up Table）記憶部９１、および自信判定部９２により構成され、LUT記憶部９１に記憶されているLUTを用いて、自信判定処理を行う。なお、図２と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
【０１２４】
LUT記憶部９１は、YCbCr表色系の画像におけるY信号の平均値に、そのY信号に対応するRGB画像から得られる撮像画像に対する自信の度合を表す自信度を対応付けたY信号LUTを記憶する。また、LUT記憶部９１は、YCbCr表色系の画像におけるCb信号の平均値とCr信号の平均値に、そのCb信号とCr信号に対応するRGB画像から得られる撮像画像に対する自信度を対応付けたC信号LUTを記憶する。
【０１２５】
自信判定部９２は、YC変換部４５から供給されるYCbCr表色系の画像の平均値に基づいて、LUT記憶部９１からY信号に対する自信度と、Cr信号およびCb信号に対する自信度とを読み出す。自信判定部９２は、読み出した２つの自信度を加算し、その加算結果に応じて、YC変換部４２から出力される撮像画像に対して自信があるかどうかを判定する。自信判定部９２は、判定結果を顔認識部３２と色再現部４４に供給する。
【０１２６】
図１０は、図９のLUT記憶部９１に記憶されているY信号LUTの、Y信号の平均値と自信度との関係を示すグラフである。
【０１２７】
図１０の例では、Y信号の平均値が０から所定の値YMになるまでの間、Y信号の平均値が大きくなるにしたがって自信度は増加していき、Y信号の平均値が所定の値YMであるとき、自信度が最大となる。また、Ｙ信号の平均値が所定の値YMを超えると、Y信号の平均値が大きくなるにしたがって自信度は減少していく。
【０１２８】
なお、Y信号の平均値と自信度の関係は、WB調整部４１の特性によって異なるものであり、図１０に示した関係に限定されない。
【０１２９】
次に、図１１を参照して、図９の自信判定部９２が行う自信判定処理について説明する。
【０１３０】
ステップＳ５１において、自信判定部９２は、YC変換部４５から供給されるYCbCr表色系の画像であるY信号、Cb信号、およびCr信号の各平均値に基づいて、LUT記憶部９１から自信度を読み出す。
【０１３１】
具体的には、自信判定部９２は、LUT記憶部９１に記憶されているY信号LUTから、YC変換部４５から供給されるYCbCr表色系の画像のうちのY信号の平均値に対応付けられている自信度を読み出す。また、自信判定部９２は、LUT記憶部９１に記憶されているC信号LUTから、YC変換部４５から供給されるYCbCr表色系の画像のうちのCb信号の平均値およびCr信号の平均値に対応付けられている自信度を読み出す。
【０１３２】
ステップＳ５１の処理後は、ステップＳ５２に進み、自信判定部９２は、Y信号に対する自信度と、Cb信号およびCr信号に対する自信度とを加算し、その加算結果を最終的な自信度として、ステップＳ５３に進む。
【０１３３】
ステップＳ５３において、自信判定部９２は、最終的な自信度が基準値より大きいかどうかを判定し、基準値より大きいと判定した場合、ステップＳ５４に進む。
【０１３４】
ステップＳ５４において、自信判定部９２は、YC変換部４２から出力される撮像画像に対して自信があると判定し、その判定結果を顔認識部３２と色再現部４４に供給して、図６のステップＳ１６に戻る。
【０１３５】
一方、ステップＳ５３において、最終的な自信度が基準値以上ではないと判定された場合、ステップＳ５５に進み、自信判定部９２は、YC変換部４２から出力される撮像画像に対して自信がないと判定し、その判定結果を顔認識部３２と色再現部４４に供給して、図６のステップＳ１６に戻る。
【０１３６】
図１２は、図１の制御部１６のさらに他の詳細構成例を示すブロック図である。
【０１３７】
図１２の制御部１６は、パラメータ算出部３３、メモリ３４、画像処理部１００、および顔認識部１０１により構成され、撮像画像に対する顔認識処理の結果に応じて算出されたパラメータを用いて、その撮像画像の顔色を補正する。
【０１３８】
画像処理部１００は、WB調整部４１、YC変換部４２、自信判定部４６、YC変換部１１０、検出部１１１、および色再現部１１２により構成される。なお、図２と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
【０１３９】
YC変換部１１０は、図２のYC変換部４５と同様に、画像記憶部６０に記憶されているRGB画像を読み出し、そのRGB画像に対してYC変換を行う。YC変換部１１０は、YC変換の結果得られるYCbCr表色系の画像を自信判定部４６と顔認識部１０１に供給する。
【０１４０】
検出部１１１は、図２の検出部４３と同様に、YC変換部４２から供給される撮像画像から、顔画像を検出する。検出部１１１は、検出した顔画像の領域情報と撮像画像を、パラメータ算出部３３、顔認識部１０１、および色再現部１１２に供給する。
【０１４１】
色再現部１１２は、図２の色再現部４４と同様に、パラメータ算出部３３から供給されるパラメータ、検出部１１１から供給される領域情報、および、自信判定部４６から供給される判定結果に基づいて、検出部４３から供給される撮像画像に含まれる顔画像の顔色を補正する。そして、色再現部１１２は、図２の色再現部４４と同様に、顔色の補正後の撮像画像を、画像記憶部６０に供給して記憶させる。
【０１４２】
また、色再現部１１２は、図２の色再現部４４と同様に、判定結果に応じて、検出部４３からの撮像画像を、そのまま画像記憶部６０に供給して記憶させる。
【０１４３】
顔認識部１０１は、比較部１２１と作成部１２２により構成される。
【０１４４】
比較部１２１は、YC変換部１１０から供給されるYCbCr表色系の画像から顔画像を抽出し、その顔画像と、顔画像記憶部６１に登録されている登録顔画像とを比較する。比較部１２１は、図２の比較部５１と同様に、類似する登録顔画像がない顔画像を登録顔画像として顔画像記憶部６１に登録する。
【０１４５】
また、比較部１２１は、図２の比較部５１と同様に、自信判定部４６から供給される判定結果に応じて、顔画像と最も類似する登録顔画像に対応する人名を比較結果として、パラメータ算出部３３に供給する。さらに、比較部１２１は、図２の比較部５１と同様に、自信判定部４６から供給される判定結果に応じて、比較結果を、作成部１２２に供給する。
【０１４６】
作成部１２２は、検出部１１１から供給される領域情報に基づいて、検出部１１１から供給される撮像画像から顔画像を抽出する。作成部１２２は、その顔画像に基づいて顔色情報を作成し、その顔色情報を、比較部１２１からの比較結果である人名に対応付けた顔色テーブルを、顔色記憶部６２に記憶させる。
【０１４７】
なお、図１２では、顔認識部１０１が、ホワイトバランスの調整前のYCbCr表色系の画像を用いて顔認識処理を行うようにしたが、ホワイトバランスの調整後のYCbCr表色系の画像である撮像画像を用いて顔認識処理を行うようにしてもよい。
【０１４８】
次に、図１３を参照して、図１の制御部１６の構成が図１２に示した構成である場合に、デジタルスチルカメラ１が人物の顔を被写体として撮像する撮像処理について説明する。この撮像処理は、例えば、ユーザからの、動作モードを撮影モードに設定するための指令が受け付けられた場合に、撮影の指令または動作モードの変更が指令されるまで、所定のタイミングごとに行われる。
【０１４９】
ステップＳ６１乃至Ｓ６９の処理は、図６のステップＳ１１乃至Ｓ１９の処理と同様であるので説明は省略する。
【０１５０】
ステップＳ６９の処理後は、ステップＳ７０に進み、比較部１２１は、YC変換部１１０から供給されるYCbCr表色系の画像から顔画像を抽出し、ステップＳ７１に進む。
【０１５１】
ステップＳ７１乃至Ｓ７４の処理は、図６のステップＳ２０，Ｓ２３乃至Ｓ２５の処理と同様であるので、説明は省略する。
【０１５２】
ステップＳ７４の処理後は、ステップＳ７５に進み、色再現部１１２は、ステップＳ７４で算出されたパラメータと、検出部１１１から供給される領域情報とに基づいて、検出部１１１からの撮像画像に含まれる顔画像の顔色を補正する。そして、色再現部１１２は、顔色の補正後の撮像画像を、画像記憶部６０に供給して記憶させる。
【０１５３】
一方、ステップＳ７１において、YC変換部４２から出力される撮像画像に対して自信があると判定された場合、ステップＳ７６に進み、顔認識部１０１は、図６のステップＳ２８と同様に顔認識処理を行う。
【０１５４】
ステップＳ７６の処理後は、ステップＳ７７に進み、作成部１２２は、検出部１１１から供給される領域情報に基づいて、検出部１１１から供給される撮像画像から顔画像を抽出し、その顔画像に基づいて顔色情報を作成して、その顔色情報を、比較結果である人名に対応付けた顔色テーブルを、顔色記憶部６２に記憶させる。
【０１５５】
ステップＳ７７の処理後は、ステップＳ７８に進み、色再現部１１２は、検出部１１１からの撮像画像を、そのまま画像記憶部６０に出力して記憶させ、処理を終了する。
【０１５６】
なお、図示は省略するが、図１２の制御部１６に、図９のLUT記憶部９１を設け、図１２の自信判定部４６が、Y信号LUTとC信号LUTを用いて自信判定処理を行うようにしてもよい。
【０１５７】
さらに、上述した説明では、YCbCr表色系の画像の平均値を自信判定処理に用いたが、平均値ではなく、ヒストグラム、分布などの他の統計量を用いることもできる。
【０１５８】
また、上述した説明では、撮像画像が屋外の太陽光の下で撮像された撮像画像である場合、撮像画像に対して自信があると判定されるものとしたが、自信があると判定される撮像画像は、これに限定されない。例えば、撮像画像が、Y信号、Cb信号、およびCr信号の統計量により判別可能であり、かつ、WB調整部４１が最適なホワイトバランスの調整を行うことが可能である光源の下で撮像された撮像画像である場合、自信があると判定されるようにすることができる。
【０１５９】
さらに、上述した説明では、登録顔画像と顔色情報に人名が対応付けられたが、登録顔画像と顔色情報に対応付けられるものは、登録顔画像を特定する情報であれば、人名でなくてもよい。
【０１６０】
また、上述した説明では、顔画像と顔色情報に基づいて、顔色の補正に関するパラメータが算出されたが、顔画像と顔色情報に基づいて、ホワイトバランスの調整に関するパラメータが算出されるようにしてもよい。この場合、パラメータは、色再現部４４または１１２ではなく、WB調整部４１に供給され、WB調整部４１は、パラメータを用いてホワイトバランスを調整することにより、撮像画像の顔色を補正する。また、この場合、色再現部４４または１１２を制御部１６に設ける必要はない。
【０１６１】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６２】
図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０９に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０１６３】
CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、被写体を撮影する撮影部２０６、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部２０７、ディスプレイ、スピーカなどよりなる出力部２０８が接続されている。CPU２０１は、入力部２０７から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０８に出力する。
【０１６４】
入出力インターフェース２０５に接続されている記憶部２０９は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２１０は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１６５】
また、通信部２１０を介してプログラムを取得し、記憶部２０９に記憶してもよい。
【０１６６】
入出力インターフェース２０５に接続されているドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１２が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０９に転送され、記憶される。
【０１６７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６９】
【図１】本発明を適用したデジタルスチルカメラの一実施の形態の構成例を示すブロック図である。
【図２】制御部の詳細構成例を示すブロック図である。
【図３】色再現部が行う顔色の補正について説明する図である。
【図４】色再現部が行う顔色の補正について説明する図である。
【図５】顔色テーブルの例を示す図である。
【図６】撮像処理を説明するフローチャートである。
【図７】自信判定処理を説明するフローチャートである。
【図８】顔認識処理を説明するフローチャートである。
【図９】制御部の他の詳細構成例を示すブロック図である。
【図１０】Y信号LUTのY信号の平均値と自信度との関係を示すグラフである。
【図１１】他の自信判定処理を説明するフローチャートである。
【図１２】制御部のさらに他の詳細構成例を示すブロック図である。
【図１３】他の撮像処理を説明するフローチャートである。
【図１４】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７０】
１  デジタルスチルカメラ,  １６  制御部,  ４１  WB調整部,  ４３  検出部,  ４４  色再現部,  ４６  自信判定部,  ５１  比較部,  ５２  作成部,  ６１  顔画像記憶部,  ６２  顔色記憶部,  ９１  LUT記憶部,  １１２  色再現部,  １２１  比較部,  １２２  作成部,  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０９  記憶部，  ２１２  リムーバブルメディア
【図１】
2008117221.tif 000004
【図２】
2008117221.tif 000005
【図３】
2008117221.tif 000006
【図４】
2008117221.tif 000007
【図５】
2008117221.tif 000008
【図６】
2008117221.tif 000009
【図７】
2008117221.tif 000010
【図８】
2008117221.tif 000011
【図９】
2008117221.tif 000012
【図１０】
2008117221.tif 000013
【図１１】
2008117221.tif 000014
【図１２】
2008117221.tif 000015
【図１３】
2008117221.tif 000016
【図１４】
2008117221.tif 000017