(57)【要約】【課題】ノイズ増幅および被写体のディティール低下を抑制しながら、画素の明るさを補正可能な画像処理装置および画像処理方法を提供する。【解決手段】対象画像内で決定された第２のエリアの色情報に基づく補正信号を第１のエリアの色信号に加算することにより、第１のエリアの色情報が第２のエリアの色情報に近付くようして対象画像内の第１のエリアの輝度を補正する。【選択図】図６
2019024256.tif 000002
【特許請求の範囲】
【請求項１】
対象画像の第１のエリアの輝度を補正する補正手段と、
前記補正手段が前記第１のエリアの輝度を補正する際に参照する第２のエリアを前記対象画像内で決定する決定手段と、を有し、
前記補正手段は、前記第１のエリアの輝度を補正する際に、前記第２のエリアの色情報に基づく補正信号を前記第１のエリアの色信号に加算することで、前記第１のエリアの色情報が前記第２のエリアの色情報に近付くよう補正することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、仮想光の効果として前記補正信号を加算することにより、前記第１のエリアの輝度を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記仮想光の強度を設定する設定手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記設定手段は、ユーザ操作に基づき前記仮想光の強度を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記仮想光の光源の位置を設定する設定手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記設定手段は、ユーザ操作に基づき前記仮想光の光源の位置を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記対象画像における前記仮想光の照射位置を特定する特定手段をさらに有することを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記特定手段は前記仮想光の中心照射位置を特定し、
前記補正手段は、前記第１のエリアと前記中心照射位置に基づき、前記補正信号を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記対象画像における前記仮想光の照射範囲を特定する特定手段をさらに有することを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
【請求項１０】
前記補正手段は、前記仮想光の照射範囲に含まれないエリアは前記補正の対象としないことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補正信号は、前記対象画像の画素単位で算出されることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第１のエリア及び第２のエリアは、特定の色と判定された領域であることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第２のエリアは、前記特定の色と判定され、かつ所定値以上の輝度を有するエリアであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記特定の色は肌色であることを特徴とする請求項１２または請求項１３に記載の画像処理装置。
【請求項１５】
前記第２のエリアは、顔領域と判定された領域に含まれることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１６】
対象画像の第１のエリアの輝度を補正する補正工程と、
前記補正工程において前記第１のエリアの輝度を補正する際に参照する第２のエリアを前記対象画像内で決定する決定工程と、を有し、
前記補正工程では、前記第１のエリアの輝度を補正する際に、前記第２のエリアの色情報に基づく補正信号を前記第１のエリアの色信号に加算することで、前記第１のエリアの色情報が前記第２のエリアの色情報に近付くように補正することを特徴とする画像処理方法。
【請求項１７】
コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には画像の明るさを補正する技術に関する。
【背景技術】
【０００２】
従来、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する技術（リライティング）が知られている（特許文献１）。これにより、環境光によって生じた影などの暗部領域を明るくすることができ、例えば黒つぶれした部分に存在する被写体が判別できるように画像を補正することが可能となる。
【０００３】
例えば顔領域に対してリライティングを行う場合、顔領域全体の平均輝度よりも低い輝度領域を影領域として抽出し、影領域の明度を上げることで、他の領域の明るさに影響を与えずに顔領域の影を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３５９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、影領域の明度を、ゲインアップにより上昇させている。しかしながら、ゲインアップを用いた場合、信号成分だけでなくノイズ成分も増幅され、補正後の領域のＳ／Ｎが低下する。特許文献１では、このＳ／Ｎの低下を抑制するため、ノイズ除去フィルタを適用しているが、ノイズ除去処理は平滑化処理であるため、画像のディティールが低下する可能性がある。
【０００６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、ノイズ増幅および被写体のディティール低下を抑制しながら、画素の明るさを補正可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、対象画像の第１のエリアの輝度を補正する補正手段と、対象画像内の、補正手段が第１のエリアの輝度を補正する際に参照する第２のエリアを決定する決定手段と、を有し、補正手段は、第１のエリアの輝度を補正する際に、第２のエリアの色情報に基づく補正信号を第１のエリアの色信号に加算することで、第１のエリアの色情報が第２のエリアの色情報に近付くよう補正することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
このような構成により本発明によれば、ノイズ増幅および被写体のディティール低下を抑制しながら、画素の明るさを補正可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明におけるデジタルカメラの構成を示すブロック図である。
【図２】本発明における画像処理部の構成を示すブロック図である。
【図３】本発明の第１の実施形態における環境光反射特性抽出部の処理を示すフローチャートを示す図である。
【図４】本発明の実施形態における被写体例を示す図である。
【図５】本発明の第１の実施形態における、仮想光源付加の処理を示すフローチャートである。
【図６】本発明の第１の実施形態におけるリライティング処理部の構成を示すブロック図である。
【図７】本発明における被写体と仮想光源の関係を示す図である。
【図８】本発明の第２の実施形態における、仮想光源付加の処理を示すフローチャートである。
【図９】本発明の第２の実施形態におけるリライティング処理部の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態では、本発明に係る画像処理装置をデジタルカメラに適用した例について説明する。なお、デジタルカメラは光電変換素子を用いた撮影機能を有する電子機器を意味し、携帯電話機、ゲーム機、パーソナルコンピュータ等、カメラを有するまたは使用可能な任意の電子機器が含まれる。また、本発明に撮影機能は必須でなく、本発明に係る画像処理装置は、画像処理が可能な任意の電子機器に対して適用可能である。
【００１１】
●（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。
【００１２】
画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。画像メモリ１０６は画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９はＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。
【００１３】
インタフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。リライティング処理部１１４は、撮影画像にリライティング処理を行う。
【００１４】
操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどをまとめて記載したものである。
【００１５】
不揮発性メモリ１２１は電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１は、各種の設定値、ＧＵＩデータをはじめ、システム制御部５０がＭＰＵやＣＰＵである場合には、システム制御部５０が実行するためのプログラムが記録される。
システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いる。
【００１６】
次に、デジタルカメラ１００における撮影時の動作について説明する。
例えば撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。
【００１７】
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、色補間（デモザイク）、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。
【００１８】
また、画像処理部１０５では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が測距制御、露光制御を行う。このように、本実施形態のデジタルカメラ１００では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行う。画像処理部１０５ではさらに、撮影で得られた画像データを用いたオートホワイトバランス（ＡＷＢ）調整も行う。
【００１９】
画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。
【００２０】
また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００２１】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。
【００２２】
なお、現在のデジタルカメラでは、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるのが一般的である。この場合、シャッター１０２は開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。
【００２３】
そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ，ＡＥ制御が行われ、全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、記録媒体１１２への動画記録を開始する。
【００２４】
図２は画像処理部１０５の機能構成例を示すブロック図である。
図１のＡ／Ｄ変換器１０４から出力された画像データは、輝度・色信号生成部２００に入力される。画像データは、撮像素子に設けられたカラーフィルタを構成する色成分の１つに対応した値を有する。一般的に用いられるベイヤー配列の原色カラーフィルタが用いられる場合、画像データは、Ｒ画素，Ｇ画素，Ｂ画素のデータから構成される。
【００２５】
輝度・色信号生成部２００はこのような画像データに対してデモザイク処理を行い、各画素について色信号Ｒ，Ｇ，Ｂを生成し、さらに色信号から輝度信号Ｙを生成する。輝度・色信号生成部２００は、生成した色信号Ｒ，Ｇ，Ｂをホワイトバランス（ＷＢ）増幅部２０３へ、輝度信号Ｙを輪郭強調処理部２０１へ出力する。
【００２６】
輪郭強調処理部２０１では、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０２へ出力する。輝度ガンマ処理部２０２では輝度信号Ｙに対してガンマ補正を行い、補正後の輝度信号Ｙを画像メモリ１０６に出力する。
【００２７】
ＷＢ増幅部２０３は、後述する処理によりシステム制御部５０が算出するホワイトバランスゲイン値に基づき、色信号Ｒ，Ｇ，Ｂにゲインを適用し、ホワイトバランスを調整する。色変換処理部２０４は、色信号Ｒ，Ｇ，Ｂに対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０５では、色信号Ｒ，Ｇ，Ｂにガンマ補正を行う。色差信号生成部２０６では、色信号Ｒ，Ｇ，Ｂから色差信号Ｒ−Ｙ、Ｂ−Ｙを生成し、画像メモリ１０６に出力する。
【００２８】
画像メモリ１０６に出力された輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙが、コーデック部１１０によって符号化され、最終的に記録媒体１１２に記録される。
【００２９】
また、色変換処理部２０４の出力する色信号Ｒ，Ｇ，Ｂは光源特性抽出部２０７へも入力する。光源特性抽出部２０７は、環境光源下での被写体の反射特性情報を、光源特性情報として抽出し、システムメモリ１２２に記録する。
【００３０】
光源特性抽出部２０７の動作について図３のフローチャートを用いて説明する。光源特性の抽出は画素ごとに実行する。
Ｓ３０１で光源特性抽出部２０７は、処理対象画素の色信号Ｒ，Ｇ，Ｂから輝度（Ｌ）信号、色相（Ｈ）信号、彩度（Ｓ）信号を生成する。
【００３１】
Ｓ３０２で光源特性抽出部２０７は、処理対象画素が予め定めた特徴領域、例えば、顔検出部１１３で検出した顔領域（図４（ａ）の４０１）に含まれているか判定し、含まれていない場合は処理を終了し、含まれている場合は、処理をＳ３０３に進める。
【００３２】
Ｓ３０３で光源特性抽出部２０７は、処理対象画素の色が特定色に該当するか否かを判定する。ここでは、予め定めた特徴領域が顔領域であるため、予め定めた肌色の範囲を規定する色空間の範囲に含まれるかどうかを判定する。図４（ｂ）に、ＣｒＣｂ（あるいはＵＶ）色空間で規定された肌色領域４１０の例を示す。なお、Ｓ３０３における判定に際しては、ＨＳ座標系を用いてもよいし、図４（ｂ）に示すように、色信号Ｒ，Ｇ，Ｂから変換可能な他の色空間座標系を用いてもよい。
【００３３】
Ｓ３０３で処理対象画素の色が色空間の所定の範囲に含まれると判定された場合、光源特性抽出部２０７は処理をＳ３０４に進め、含まれないと判定された場合は、対象画素についての処理を終了する。光源特性抽出部２０７は、図４（ａ）の画像例では肌色領域４１０に含まれる画素４０３、４０４が処理された場合にはＳ３０４に処理を進め、肌色領域４１０に含まれない画素４０２が処理された場合には処理を終了する。
【００３４】
Ｓ３０４で光源特性抽出部２０７は、処理対象画素の輝度信号値が予め定めた高輝度値に該当するかどうかを、輝度信号値が所定値以上かどうかによって判定する。Ｓ３０４は、環境光が強く当っている被写体領域を抽出する処理である。光源特性抽出部２０７は、図４（ａ）の画像例では、高輝度画素である画素４０３が処理対象の場合は処理をＳ３０５に進め、影になっているなどの影響で輝度が低い画素４０４が処理対象の場合は、処理を終了する。
【００３５】
Ｓ３０５で光源特性抽出部２０７は、Ｓ３０２〜Ｓ３０４の条件を全て満たした処理対象画素の色信号Ｒ，Ｇ，Ｂを色成分ごとに積分する。積分結果を（Ｒｔ、Ｇｔ、Ｂｔ）とする。
Ｓ３０６で光源特性抽出部２０７は、積分した画素の数をカウント（＋１）する。カウント数をＮとする。
【００３６】
以上が、光源特性抽出部２０７の処理である。この処理により、被写体の特定部位に含まれ、かつ特定の色を有し、環境光が当たり高輝度になっている図４（ａ）４０３のような画素領域の情報を抽出することができる。
【００３７】
なお、ここでは例えば撮影画像の全体もしくは予め定めた一部に含まれる画素を順次処理対象とする場合について説明した。しかし、例えば顔領域のような特定の被写体領域に含まれる画素を処理対象として光源特性抽出処理を行ってもよい。この場合、Ｓ３０２の判定は不要となる。
【００３８】
次に、画像処理部１０５から出力された画像に対するリライティング処理について説明する。本実施形態において、リライティング処理は、システム制御部５０が算出する制御パラメータを用いてリライティング処理部１１４が実行する。従って、まず、リライティング処理に用いる制御パラメータの算出および設定処理について図５（ａ）のフローチャートを用いて説明する。
【００３９】
Ｓ５０１でシステム制御部５０は、操作部１２０を通じてユーザからリライティング処理の指示を受け付ける。具体的にはシステム制御部５０は、図示しないメニューからリライティング処理の実行を選択する、操作部１２０に対するユーザ操作を受け付ける。またシステム制御部５０は、リライティング処理の実行指示とともに、例えばメニュー画面で指定されたリライティング処理のパラメータも受け付ける。
【００４０】
リライティングのパラメータとしては本実施形態では説明の簡略化のため、仮想光源の位置および、光源の強度（α）をユーザが入力するものとする（予め設定された選択肢から選択する方法でもよい）。仮想光源が被写体面を垂直に照射しているものとすると、仮想光源の位置が決まれば、仮想光源の光が最も強く当る位置（中心照射位置）も決まる。
【００４１】
仮想光源の位置と、中心照射位置の例を図７（ａ）に模式的に示す。図７（ａ）は、仮想光源７０１が照射範囲７０３と、中心照射位置７０２とを有する状態を示している。仮想光源は照射範囲７０３に対してのみ影響を与えるものとする。
【００４２】
図５（ａ）に戻り、Ｓ５０２でシステム制御部５０は、特定色のハイライト反射特性（Ｒｓ，Ｇｓ，Ｂｓ）を算出する。特定色のハイライト反射特性とは、撮影時の環境光の反射光のうち、被写体の特定色の部分に反射したハイライト部分（高輝度部分）のＲＧＢ平均値である。本実施形態では、光源特性抽出部２０７により、被写体の領域のうち、肌色を有しかつ高輝度である画素の積分値（Ｒｔ，Ｇｔ，Ｂｔ）を求めている。これは、低輝度部においては物体色を反映する拡散反射成分が支配的であるのに対し、ハイライト（高輝度）部分は拡散反射成分と環境光源色を反映する鏡面反射成分の両方を含んでいることによる。
【００４３】
システム制御部５０は、光源特性抽出部２０７が算出した積分値（Ｒｔ，Ｇｔ，Ｂｔ）をＳ３０６で算出したカウント数Ｎで除算し、肌色領域に環境光が強く当っているハイライト部分の色（Ｒｓ，Ｇｓ，Ｂｓ）を肌色のハイライト反射特性として算出する。
【００４４】
Ｓ５０３でシステム制御部５０は、照射する仮想光源の色を、撮影時の環境光の色を換算して表すためのゲイン（係数）として生成し、リライティング処理部１１４へ設定する。仮想光源の色ゲイン（Ｒｖ−Ｇａｉｎ、Ｂｖ−Ｇａｉｎ）は、ユーザによって任意に設定され、仮想光源と環境光源とが同じ色の場合、
Ｒｖ−Ｇａｉｎ＝１
Ｂｖ−Ｇａｉｎ＝１
となる。
【００４５】
Ｓ５０４でシステム制御部５０は、リライティング処理部１１４にリライティング処理の実行を指示する。
【００４６】
次にリライティング処理部１１４の構成および動作の例について説明する。
図６はリライティング処理部１１４の構成を示すブロック図である。
図６において、ＲＧＢ信号変換部６０１は画像メモリ１０６から入力される輝度および色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を、色信号（Ｒ，Ｇ，Ｂ）に変換する。デガンマ処理部６０２はデガンマ処理（輝度ガンマ処理部２０２および色ガンマ処理部２０５の逆処理）を行う。
【００４７】
仮想光源処理部６０３は仮想光源によるライティング効果を画像に付加する。平滑化処理部６０４はデガンマ処理部６０２の出力する色信号（Ｒ，Ｇ，Ｂ）を平滑化して仮想光源処理部６０３に出力する。色相彩度変換部６０５はデガンマ処理部６０２の出力するＲＧＢ信号を色相および彩度信号（Ｈ，Ｓ）に変換する。
ガンマ処理部６０６は仮想光源処理部６０３の出力する色信号（Ｒ，Ｇ，Ｂ）にガンマ補正を行う。輝度色差信号生成部６０７は、ガンマ補正後の色信号（Ｒ，Ｇ，Ｂ）を輝度および色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）に変換し、画像メモリ１０６に出力する。
【００４８】
次にリライティング処理部１１４の動作について説明する。
リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を読み出し、入力とする。ＲＧＢ信号変換部６０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部６０２へ出力する。
【００４９】
デガンマ処理部６０２は、画像処理部１０５のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行いリニアデータに変換する。リニア変換後のＲＧＢ信号は、仮想光源処理部６０３、平滑化処理部６０４、色相彩度変換部６０５へ出力する。なお、デガンマ処理部６０２をＲＧＢ信号変換部６０１の前段に配置してデガンマ処理を行ってもよい。例えば、Ｙ信号に対しては輝度ガンマ処理部２０２と逆の処理を適用し、色差信号Ｒ−Ｙ，Ｂ−ＹについてはＲＧＢ信号に戻してから色ガンマ処理部２０５と逆の処理を適用し、色差信号Ｒ−Ｙ，Ｂ−Ｙに再変換してからＲＧＢ信号変換部６０１に入力する。
【００５０】
平滑化処理部６０４では、処理対象の画素のデガンマ処理後のＲＧＢ形式の色信号（Ｒｔ，Ｇｔ，Ｂｔ）の色成分ごとに、周辺画素の色信号値との平均値で置き換える。例えば、処理対象画素を中心とした３×３画素の領域に含まれる９画素の平均値を色成分ごとに算出し、平滑後の対象画素の色成分値とする。なお、この方法は平滑化の一例であり、他の任意の方法を用いることができる。平滑化処理部６０４は平滑化した色信号（Ｒａ，Ｇａ，Ｂａ）を仮想光源処理部６０３へ出力する。平滑化処理で得られる色信号（Ｒａ，Ｇａ，Ｂａ）は、処理対象画素の近傍における環境光の反射特性を表す。
【００５１】
色相彩度変換部６０５は、入力されたデガンマ処理後のＲＧＢ形式の色信号（Ｒｔ，Ｇｔ，Ｂｔ）を色相（Ｈ）および彩度（Ｓ）に変換し、変換後の色相（Ｈ）および彩度（Ｓ）信号を仮想光源処理部６０３に出力する。
【００５２】
図５（ｂ）のフローチャートを用いて、仮想光源処理部６０３が実施する仮想光源処理の詳細について説明する。仮想光源処理は、仮想光源によるリライティング効果を入力画像に付加する処理である。
仮想光源処理部６０３は、入力された画像に含まれる画素単位で図５（ｂ）に示す仮想光源処理を実行する。
【００５３】
Ｓ５１０で仮想光源処理部６０３は、処理対象の画素が仮想光源の照射範囲内に位置するかどうかを判定する。図７（ａ）に示した例では、仮想光源処理部６０３は、処理対象画素が、中心照射位置７０２の仮想光源７０１の照射範囲７０３の中に位置するかどうかを判定する。この判定は例えば、中心照射位置７０２と仮想光源７０１の位置をパラメータとした、予め定めた関数を用いて画像上の照射範囲７０３を求め、処理対象画素の画像座標と比較することにより実行することができる。なお、仮想光源７０１の位置は固定であっても可変であってもよいし、仮想光源の種類などに応じて異なる関数を用いてもよい。また、光束の拡がり方などをユーザが可変できるようにしてもよい。
【００５４】
仮想光源処理部６０３は、処理対象画素が仮想光源の照射範囲内に位置すると判定された場合に処理をＳ５１１へ進め、処理対象画素が仮想光源の照射範囲内に位置しないと判定された場合はリライティング効果を付加せずに処理を終了する。
【００５５】
Ｓ５１１で仮想光源処理部６０３は、処理対象の画素の色が、特定色に該当するかどうかを判定する。ここでは、特定色が人間の肌色であり、仮想光源処理部６０３は、予め記憶してある、肌色に対応する色空間上の領域に、処理対象画素の色が含まれるかどうかを判定するものとする。判定は特定色を規定する色空間座標系に画素値を変換して行うことができる。
【００５６】
上述したように、本実施形態では図４（ｂ）に示したＣｒＣｂ（あるいはＵＶ）色空間で肌色領域４１０を規定しているが、他の色空間座標系で規定してもよい。ここでは色相彩度変換部６０５で生成した同位相の色相信号（Ｈ）および彩度信号（Ｓ）を用いて判定を行うため、仮想光源処理部６０３は、処理対象画素の色相および彩度信号が肌色領域に含まれるか否かを判定するものとする。処理対象画素の色が肌色領域に含まれる（特定色に該当する）と判定される場合、仮想光源処理部６０３は処理をＳ５１２に進め、肌色領域に含まれないと判定される場合は処理をＳ５１３に進める。
【００５７】
Ｓ５１２、Ｓ５１３で仮想光源処理部６０３は、処理対象画素が仮想光源の光（仮想光）を反射した色（Ｒｖ，Ｇｖ，Ｂｖ）を決定する。この反射色はデジタルカメラ１００のセンサ分光特性および画像処理の特性も反映している。
【００５８】
Ｓ５１２で仮想光源処理部６０３は、仮想光の特定色（肌色）被写体に反射した仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）を算出する。仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）は、Ｓ５１２で算出した肌色ハイライト反射特性（Ｒｓ，Ｇｓ，Ｂｓ）に、Ｓ５０２で設定した仮想光源色ゲイン（Ｒｖ−Ｇａｉｎ，Ｂｖ−Ｇａｉｎ）を以下の様に乗じることで算出できる。
Ｒｖ  ＝  Ｒｖ−Ｇａｉｎ  ＊  Ｒｓ
Ｇｖ  ＝  Ｇｓ
Ｂｖ  ＝  Ｂｖ−Ｇａｉｎ  ＊  Ｂｓ
【００５９】
一方、Ｓ５１３で仮想光源処理部６０３は、仮想光が特定色でない被写体に反射した仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）を算出する。仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）は、平滑化処理部６０４（図６）で算出した色信号（Ｒａ，Ｇａ，Ｂａ）に、Ｓ５０２で設定した仮想光源色ゲイン（Ｒｖ−Ｇａｉｎ，Ｂｖ−Ｇａｉｎ）を以下の様に乗じることで算出できる。
Ｒｖ  ＝  Ｒｖ−Ｇａｉｎ  ＊  Ｒａ
Ｇｖ  ＝  Ｇａ
Ｂｖ  ＝  Ｂｖ−Ｇａｉｎ  ＊  Ｂａ
【００６０】
Ｓ５１４で仮想光源処理部６０３は、処理対象画素と仮想光源との距離Ｄを算出する。本実施形態では、図７（ｂ）に示すように、仮想光源７０１の中心照射位置７０２と、処理対象画素７０４との距離を距離Ｄとして算出し、例えば画素ピッチを単位とした値であってよい。
【００６１】
Ｓ５１５で仮想光源処理部６０３は、処理対象画素に、リライティング効果を付加する。具体的には、Ｓ５１２またはＳ５１３で算出した仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）を、仮想光源照射ゲイン（α）とＳ５１４で算出した距離Ｄとに基づく重みで、処理対象画素（Ｒｔ，Ｇｔ，Ｂｔ）に加算する。
【００６２】
本実施形態において、仮想光源によって照射された処理対象画素（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）の各成分は、以下の式によって算出するものとする。
Ｒｏｕｔ  ＝  Ｒｔ  ＋  α  ×（１／Ｄ＾２）×  Ｒｖ
Ｇｏｕｔ  ＝  Ｇｔ  ＋  α  ×（１／Ｄ＾２）×  Ｇｖ
Ｂｏｕｔ  ＝  Ｂｔ  ＋  α  ×（１／Ｄ＾２）×  Ｂｖ
ただし、仮想光源照射ゲイン０＜α＜１である。
以上の処理を各画素について実施することで、リライティング効果を付加することができる。
【００６３】
図６に戻り、仮想光源処理部６０３から出力された処理対象画素（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）はガンマ処理部６０６に入力される。ガンマ処理部６０６では処理対象画素（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）にガンマ補正を適用し、補正後の値を有する画素（Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔ）を出力する。輝度色差信号生成部６０７では、処理対象画素（Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔ）から輝度信号（Ｙ）および色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成して出力する。
【００６４】
システム制御部５０は、リライティング処理部１１４が出力した輝度および色差信号を、メモリ制御部１０７の制御によって画像メモリ１０６に蓄積したのち、コーデック部１１０を用いて圧縮符号化する。そして、システム制御部５０は、圧縮符号化した画像データを所定のファイル形式に変換した後、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。
【００６５】
以上で説明したように、本実施形態では、処理対象画素と画像空間または色空間において近傍に存在する複数の画素を平滑化処理することにより、実際の環境光の反射特性（反射色）を推定する。そして、推定された環境光の反射特性（反射色）に基づき、仮想光の反射色（Ｒｖ，Ｇｖ，Ｂｖ）を推定する。そして、推定した仮想光の反射色（Ｒｖ，Ｇｖ，Ｂｖ）を明るさの補正値として処理対象画素（Ｒｔ，Ｇｔ，Ｂｔ）に加算することで、リライティング効果を付加する。そのため、処理対象画素（Ｒｔ，Ｇｔ，Ｂｔ）の値にゲインを適用して増幅する場合と比較して、ノイズ成分の増加を抑制しつつリライティング効果を付加することが可能となる。
【００６６】
また、リライティング効果によって色相が変化することが特に好ましくない色の領域については、その色のハイライト部分の反射特性（Ｒｓ，Ｇｓ，Ｂｓ）に基づいて加算を行う。そのため、仮想光源を環境光源と同じ色とした場合には環境光が追加で照射された効果が得られ、リライティングした領域の色相が変化することを抑制できる。
【００６７】
通常、影のような暗部は、撮像素子の暗部特性からハイライト領域と異なる色相になってしまうことがある。このような暗部を明るくするためにリライティング効果を付加する場合、暗部の画素値に正のゲインを適用して単純に増幅すると、リライティング効果で明るくなった部分と、元々明るい部分とで、本来は同じ色であるべきところで色相のずれが生じてしまう。しかし、本実施形態では、ある色の画素を明るくする場合、同じ色のハイライト部分から得た反射特性を用いて画素値を加算することで、色相を保ちながら明るくすることができる。
【００６８】
なお、本実施形態では、肌色のハイライト部分を抽出し、抽出した肌色から仮想光源の反射色を予測したが、抽出する領域を肌色部分に限定するものではない。環境光の当たり方が異なる領域から、仮想光の反射を予測する構成であればどのような領域を利用してもよい。例えば、肌色以外の色を条件に追加してもよい。肌色に加えて、髪の毛の黒領域などを加える構成であってもよい。
【００６９】
また、本実施形態では、発明の理解を容易にするため、肌色が特徴色である場合を例示したが、被写体の任意の特徴色を用いることができる。特徴色は被写体に占める割合が多い色であってもよいし、被写体の種類に応じた色であってもよい。また、ユーザが特徴色を指定する構成であってもよい。任意の特徴色について環境光の反射特性を求めることができる。さらに、特徴色は１つに限らず、複数の特徴色の各々について環境光の反射特性を求め、上述した処理を行ってもよい。
【００７０】
また、同色のハイライト部分から推定された仮想光の反射色は、リライティング処理を適用する処理対象画素と関連のある領域で推定されたものである方が精度がよい。そのため、例えば処理対象画素が肌色であれば、近傍もしくは処理対象画素が属する肌色領域内のハイライト部分や、同じ被写体の領域に含まれる同色のハイライト部分から推定された値を用いるように構成することができる。そのため、画像中に特定色の領域が複数独立して存在する場合には、領域ごとのハイライト部分から仮想光の反射色を予測して保持し、処理対象画素の座標に応じて使用する仮想光の反射色を選択するように構成してもよい。この場合、最も近くで算出された値を用いるようにしたり、同一被写体領域内で算出された値を用いるようにしたりすることができる。
【００７１】
なお、ここでは画素を明るくするリライティング効果を想定しているため、仮想光源照射ゲインαを正の値としたが、暗くするリライティング効果を付加してもよい。この場合、光源特性抽出部２０７において、強く反射している部分ではなく、暗部から反射特性を抽出するとともに、仮想光源照射ゲインαを負の値とする。
【００７２】
また、本実施形態では、説明および理解を容易にするため、中心照射位置を中心とした円形領域に含まれる全ての画素が仮想光源の影響を受けるものとして説明したが、特定の条件を満たす画素だけが仮想光源の影響を受けるようにしてもよい。例えば、顔検出部１１３で人物の顔領域を抽出し、照射範囲７０３のうち顔領域だけが仮想光源の影響を受けるようにしてもよい。もしくは、デジタルカメラ１００で測定したデフォーカス量など被写体の距離情報を用い、照射範囲７０３のうち予め定めた距離以内に存在する被写体に対応する画素だけが仮想光源の影響を受けるようにしてもよい。
【００７３】
また、加算値の重み付けに用いられる距離Ｄは本実施形態で説明した照射中心位置から加算対象画素への画像上の距離に限定されず、他の任意の距離であってよい。例えば、デジタルカメラおよび被写体の３次元位置を取得し、両者の３次元距離を用いて算出してもよい。
【００７４】
また、距離Ｄの２乗に反比例する重みで仮想光源による効果を付加する例を説明したが、距離Ｄと重みとの関係はこれに限定されない。例えば、距離Ｄに反比例したり、ガウス分布的に重みが変化するようにしてもよい。
【００７５】
●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、仮想光の反射色を１枚の撮影画像から推定していたが、第２の実施形態では、複数の撮影画像から推定することを特徴とする。従って、以下では、第１の実施形態と異なる、リライティング処理部１１４の内部構成ならびにシステム制御部５０の動作についてのみ説明する。
【００７６】
図８（ａ）は、本実施形態におけるシステム制御部５０の、撮影時の動作を示したフローチャートである。図８（ａ）において、Ｓ８０１でシステム制御部５０は撮影モードを判定する。ユーザによる操作部１２０による操作によって、リライティングを前提とする撮影モードか、通常の撮影モードかを切り替えることが可能であるものとする。システム制御部５０は、リライティングを前提とする撮影モードが設定されていればＳ８０２へ、他の撮影モード（ここでは通常モードとする）の場合はＳ８０６へ、それぞれ処理を進める。Ｓ８０６でシステム制御部５０は通常モードに従った１枚の撮影を行って処理を終了する。
【００７７】
Ｓ８０２でシステム制御部５０は、まずオーバー露出の画像を撮影する。例えば、図４（ａ）の画素４０４のように被写体の影の部分が適正露出になる程度の高露出の条件で撮影する。従って、より明るい領域４０３は飽和（白とび）する可能性がある。
【００７８】
Ｓ８０３でシステム制御部５０は、撮影したオーバー露出画像を、画像メモリ１０６に記録する。
Ｓ８０４でシステム制御部５０は、適正露出で撮影する。ここでの適正露出とは、主となる被写体（例えば、図４（ａ）なら被写体の顔の明るい領域４０３）が適正な明るさになる露出である。なお、Ｓ８０２〜Ｓ８０４の処理は、適正露出の撮影から行ってもよい。また、ＨＤＲ合成画像を生成する際に通常考慮されるように、被写体が移動したり被写体の明るさが大きく変化しないよう、２回の撮影は連写のように短期間で行う。
【００７９】
Ｓ８０５でシステム制御部５０は、露出の異なる２枚の撮影画像を順次画像処理部１０５に供給し、いわゆるＨＤＲ合成画像を生成させる。この合成画像は環境光の反射特性を表す情報に相当する。画像処理部１０５の機能構成および基本的な処理動作は第１の実施形態と同様であるため、重複する説明は省略し、本実施形態に特徴的な光源特性抽出部２０７の処理動作について重点的に説明する。
【００８０】
例えばシステム制御部５０は、２枚目の撮影画像をシステムメモリ１２２に記録せずに画像処理部１０５に供給し、次いでシステムメモリ１２２に記録した１枚目の撮影画像を画像処理部１０５に供給する。リライティングモードにおいて光源特性抽出部２０７は、供給される複数の画像を合成して１枚の合成画像を生成する。
【００８１】
具体的には、光源特性抽出部２０７は、適正露出で撮影した画像のうち、図４（ａ）の画素４０４が存在する領域のように暗い部分については、オーバー露出で撮影した画像の画素に置き換えて１枚の合成画像を生成する。この時、置き換えに用いる画素の露出がオーバーであれば、適正露出相当の明るさに変換してから用いる。このようにして得られる合成画像は、影による暗部が少ない画像となる。画像処理部１０５は、合成画像を画像メモリ１０６に記録する。
【００８２】
なお、Ｓ８０２〜Ｓ８０４においてオーバー露出の程度を変えた複数枚の撮影を行い、合成画像の生成時には複数のオーバー露出画像のうち、適切な露出の画素を用いるようにしてもよい。
【００８３】
次に、本実施形態におけるリライティング処理部１１４’の構成および動作について説明する。図９に本実施形態におけるリライティング処理部１１４’の機能構成例を示す。第１の実施形態と同様の機能ブロックには図６と同じ参照数字を付し、説明は省略する。図５（ａ）を用いて説明した制御パラメータの算出および設定処理に続いてリライティング処理部１１４’が行う動作について説明する。
【００８４】
リライティング処理部１１４’には、適正露出で撮影した画像がＲＧＢ信号変換部６０１に、光源特性抽出部２０７で生成した合成画像が平滑化処理部９０２にそれぞれ入力される。なお、平滑化処理部９０２は、仮想光源処理部９０１がデガンマ処理部６０２から受け取って処理する処理対象画素と同じ画像座標の画素について平滑処理を行い、平滑化処理後の画素信号（Ｒｃ，Ｇｃ，Ｂｃ）を仮想光源処理部９０１に出力する。平滑化処理の内容は第１の実施形態と同じであってよい。
【００８５】
仮想光源処理部９０１は、デガンマ処理部６０２から入力される、適正露出で撮影した撮影画像信号に対して、リライティング効果を付加する。仮想光源処理部９０１の動作を、図８（ｂ）に示すフローチャートを用いて説明する。
【００８６】
Ｓ８１０で仮想光源処理部９０１は、第１の実施形態におけるＳ５１０の処理と同様にして、処理対象の画素が仮想光源の照射範囲内に位置するかどうかを判定する。そして、仮想光源処理部９０１は、処理対象画素が仮想光源の照射範囲内に位置すると判定された場合に処理をＳ８１１へ進め、処理対象画素が仮想光源の照射範囲内に位置しないと判定された場合はリライティング効果を付加せずに処理を終了する。
【００８７】
Ｓ８１１で仮想光源処理部９０１は、仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）を算出する。仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）は、平滑化処理部９０２で合成画像から算出した色信号（Ｒｃ，Ｇｃ，Ｂｃ）に、Ｓ５０２で設定した仮想光源色ゲイン（Ｒｖ−Ｇａｉｎ，Ｂｖ−Ｇａｉｎ）を以下の様に乗じることで算出できる。
Ｒｖ  ＝  Ｒｖ−Ｇａｉｎ  ＊  Ｒｃ
Ｇｖ  ＝  Ｇｃ
Ｂｖ  ＝  Ｂｖ−Ｇａｉｎ  ＊  Ｂｃ
【００８８】
Ｓ８１２で仮想光源処理部９０１は、仮想光源と処理対象画素との距離Ｄを算出する。第１の実施形態におけるＳ５１４の処理と同様であってよい。
【００８９】
Ｓ８１３で仮想光源処理部９０１は、処理対象画素に、リライティング効果を付加する。具体的には、Ｓ８１１で算出した仮想光反射色（Ｒｖ，Ｇｖ，Ｂｖ）を、仮想光源照射ゲイン（α）とＳ８１２で算出した距離Ｄとに基づく重みで、処理対象画素（Ｒｔ，Ｇｔ，Ｂｔ）に加算する。
【００９０】
本実施形態においても、仮想光源によって照射された処理対象画素（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）の各成分は、以下の式によって算出するものとする。
Ｒｏｕｔ  ＝  Ｒｔ  ＋  α  ×（１／Ｄ＾２）×  Ｒｖ
Ｇｏｕｔ  ＝  Ｇｔ  ＋  α  ×（１／Ｄ＾２）×  Ｇｖ
Ｂｏｕｔ  ＝  Ｂｔ  ＋  α  ×（１／Ｄ＾２）×  Ｂｖ
ただし、仮想光源照射ゲイン０＜α＜１である。
以上の処理を各画素について実施することで、リライティング効果を付加することができる。
【００９１】
仮想光源処理部９０１でリライティング効果を付加した画素信号に対して、ガンマ処理部６０６でガンマ処理を施し、輝度色差信号生成部６０７で輝度・色差信号に変換して出力する。
【００９２】
以上説明したとおり、本実施形態では適正露出画像の暗部の画素をオーバー露出画像の画素を用いて合成した画像を用いて、仮想光の反射色（Ｒｖ，Ｇｖ，Ｂｖ）を算出する構成とした。そのため、適正露出画像において暗部の画素にリライティング効果を付加する場合、同色のハイライト部分から推定した仮想光の反射色を用いなくても、リライティング効果付加後の色が元から明るい部分の色とずれることを抑制できる。
【００９３】
また、第１の実施形態と同様、ノイズを増加させることなくリライティング効果を付加することが可能である。
【００９４】
なお、本実施形態では、リライティングを前提とする撮影モードが設定されている場合にのみオーバー露出での撮影を行うものとして説明したが、撮影モードによらず適正露出とオーバー露出の画像を撮影して、記録媒体に記録するように構成してもよい。
【００９５】
なお、リライティング処理の対象となる画像について、露出オーバーで撮影した画像があるか探索し、ある場合は第２の実施形態の方法を用い、ない場合には第１の実施形態の方法を実行するといったように構成してもよい。この場合、例えばリライティング処理部１１４をソフトウェア的に実現する場合や、動的に再構成可能なプログラマブルロジックアレイを用いて実現することで、両方の方法を動的に実施することが可能である。もちろん、リライティング処理部１１４，１１４’を独立して設けてもよい。
【００９６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９７】
５０…システム制御部，１０１…光学系，１０２…シャッター，１０３…撮像部，１０４…Ａ／Ｄ変換器，１０５…画像処理部，１０６…画像メモリ，１０７…メモリ制御部，１０９…表示部，１１０…コーデック部，１１１…記録Ｉ／Ｆ，１１２…記録媒体，１１３…顔検出部，１１４…リライティング処理部，１２０…操作部，１２１…不揮発性メモリ，１２２…システムメモリ
【図１】
2019024256.tif 000003
【図２】
2019024256.tif 000004
【図３】
2019024256.tif 000005
【図４】
2019024256.tif 000006
【図５】
2019024256.tif 000007
【図６】
2019024256.tif 000008
【図７】
2019024256.tif 000009
【図８】
2019024256.tif 000010
【図９】
2019024256.tif 000011