(57)【要約】【課題】  デジタル画像処理技術を用いて、好ましいライティング補正を行うこと。【解決手段】  処理対象の画像を取得する取得部と、画像から特定の対象物を検出する検出部と、処理対象の画像のうち特定の対象物を含む領域の画像を補正する際に、目標とする画像の大まかな階調を、目標階調情報として予め記録する記録部と、目標階調情報に基づいて、特定の対象物を含む領域の画像の大まかな階調を補正する補正部とを備える。【選択図】      図２
2007122514.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像を取得する取得部と、
前記画像から特定の対象物を検出する検出部と、
前記処理対象の画像のうち前記特定の対象物を含む領域の画像を補正する際に、目標とする画像の大まかな階調を、目標階調情報として予め記録する記録部と、
前記目標階調情報に基づいて、前記特定の対象物を含む領域の画像の大まかな階調を補正する補正部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記録部は、前記目標階調情報として、前記特定の対象物の所定の特徴点をさらに記録し、
前記補正部は、前記目標階調情報を前記所定の特徴点に基づいて調整した後に、前記特定の対象物を含む領域の画像の大まかな階調を補正する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記検出部は、前記特定の対象物として被写体の顔部分を検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記記録部は、前記目標階調情報として、前記特定の対象物を好ましいライティング状態で撮影して生成した画像の大まかな階調を記録する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
新たな目標階調情報を取得する取得部をさらに備える
ことを特徴とする画像処理装置。
【請求項６】
処理対象の画像に対する画像処理をコンピュータで実現する画像処理プログラムであって、
前記処理対象の画像を取得する取得ステップと、
前記画像から特定の対象物を検出する検出ステップと、
前記画像処理の際に目標とする画像の大まかな階調であり、予め記録された目標階調情報に基づいて、前記特定の対象物を含む領域の画像の大まかな階調を補正する補正ステップと
を備えたことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像の階調を補正する画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で生成された画像は、一般的にダイナミックレンジの狭い画像である。そのため、例えば、晴天の空など明るい背景を背にした人物を、明るい背景とともに撮影すると、背景に露出が合った画像では人物が暗くつぶれ、人物に露出が合った画像では背景が白く飛んでしまうといった現象が発生する。このような問題をデジタル画像処理技術（階調補正処理）を用いて解決するために、特許文献１の発明では、映像信号中から、肌色領域または人の顔の領域を検出し、その検出領域のみ、輝度補正、色補正、アパーチャ処理を行っている。
【特許文献１】特開平６−１２１３３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上述した特許文献１の発明では、肌色領域または人の顔の領域に対して一律の補正処理を行うため、陰影のバランスが崩れるなど、好ましくない表現になる場合があった。
本発明の画像処理装置および画像処理プログラムは、デジタル画像処理技術を用いて、好ましいライティング補正を行うことを目的とする。
【課題を解決するための手段】
【０００４】
本発明の画像処理装置は、処理対象の画像を取得する取得部と、前記画像から特定の対象物を検出する検出部と、前記処理対象の画像のうち前記特定の対象物を含む領域の画像を補正する際に、目標とする画像の大まかな階調を、目標階調情報として予め記録する記録部と、前記目標階調情報に基づいて、前記特定の対象物を含む領域の画像の大まかな階調を補正する補正部とを備える。
【０００５】
なお、好ましくは、 前記記録部は、前記目標階調情報として、前記特定の対象物の所定の特徴点をさらに記録し、前記補正部は、前記目標階調情報を前記所定の特徴点に基づいて調整した後に、前記特定の対象物を含む領域の画像の大まかな階調を補正しても良い。
また、好ましくは、前記検出部は、前記特定の対象物として被写体の顔部分を検出しても良い。
【０００６】
また、好ましくは、前記記録部は、前記目標階調情報として、前記特定の対象物を好ましいライティング状態で撮影して生成した画像の大まかな階調を記録しても良い。
また、好ましくは、新たな目標階調情報を取得する取得部をさらに備えても良い。
本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現する画像処理プログラムであって、前記処理対象の画像を取得する取得ステップと、前記画像から特定の対象物を検出する検出ステップと、前記画像処理の際に目標とする画像の大まかな階調であり、予め記録された目標階調情報に基づいて、前記特定の対象物を含む領域の画像の大まかな階調を補正する補正ステップとを備える。
【発明の効果】
【０００７】
本発明の画像処理装置および画像処理プログラムによれば、デジタル画像処理技術を用
いて、好ましいライティング補正を行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について説明する。本実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
図１は、本発明の電子カメラ１の機能ブロック図である。
電子カメラ１は、不図示の撮影レンズ、撮像素子、およびＣＣＤなどを備えた撮像部１１、撮像部１１により生成された画像に対して画像処理を施す画像処理部１２、画像を表示する液晶モニタなどを備えた表示部１３、画像を記録する記録媒体などからなる記録部１４、各部を制御する制御部１５、不図示のレリーズボタンなどを有し、ユーザ操作を受け付ける操作部１６を備える。撮像部１１、画像処理部１２、記録部１４、制御部１５は、バスを介して相互に接続される。また、制御部１５の出力は、バスを介して表示部１３にも接続される。また、操作部１６の出力は、制御部１５に接続される。
【０００９】
撮像部１１は、撮影レンズを介した被写体像をＣＣＤにより光電変換し、さらにＡ／Ｄ変換を行って、画像データを出力する。画像処理部１２は、撮像部１１により生成された画像データに対してホワイトバランス調整、色処理、ガンマ処理などの処理を行うとともに、本発明の特徴である階調補正処理などを行う。表示部１３は、撮像部１１により生成された画像や記録部１４に記録された画像を表示するとともに、構図確認用のスルー画像を表示することにより、ファインダーとしても利用される。制御部１５は、内部にメモリ１７を備え、各部を制御するためのプログラムを予め記録する。そして、制御部１５は、このプログラムにしたがって各部を制御する。なお、メモリ１７には、本発明の特徴である階調補正処理時に使用するゲインマップも予め記録される。ゲインマップについての詳細は後述する。また、制御部１５は、操作部１６の状態を検知する。
【００１０】
以上説明した構成の電子カメラ１において、操作部１６により撮像指示が行われると、制御部１５はこれを検知し、撮像部１１の撮影レンズを介した被写体像をＣＣＤにより光電変換し、さらにＡ／Ｄ変換を行う。そして、制御部１５は、画像処理部１２を介して、ホワイトバランス調整、色処理、ガンマ処理などの処理を行い、記録部１４に記録する。
次に、制御部１５内のメモリ１７に予め記録されるゲインマップについて説明する。ゲインマップは、本発明の特徴である階調補正処理時に目標とする画像の大まかな階調を示す情報である。
【００１１】
目標とする画像とは、対象物（被写体＝ここでは、一例として、人物）を好ましいライティング状態で撮影して生成した画像である。好ましいライティング状態とは、閃光装置やレフ板などを用いて十分な光量を被写体に当てた状態である。このように被写体を明るくすることにより、ダイナミックレンジを配分し、被写体および背景の明るさのバランスが取れた画像を生成することができる。
【００１２】
好ましいライティング状態で撮影して予め生成した画像から、人物の顔部分に関して陰影情報を抽出する。なお、陰影情報は、顔部分に形成された陰影をゲインマップの形で抽出される。図２および図３にゲインマップの例を示す。図２は、正面から好ましいライティング状態で撮影して生成した画像の陰影情報にしたがって作成したゲインマップの例である。具体的には、画像にローパスフィルタ処理を施して、大まかな陰影情報のみ抽出したものを等高線表示したものである。図３は、図２の情報を斜視したものである。
【００１３】
電子カメラ１は、このようなゲインマップをメモリ１７に予め記録する。さらに、メモリ１７は、図２中の十字マークに示す顔部分の特徴点の位置についても同様に予め記録する。図２の例では、両眼および鼻の位置を特徴点とする例を示す。このほかに、顎の先端や頬の両端の位置を特徴点としても良い。このような特徴点の認識は、一般的な顔認識技
術により実現できる。図２および図３に示したゲインマップは、陰影を構成する各部分が、基準（特徴点）となるレベルに対して何倍のゲインを持ったレベルとなるかを示すものである。このゲインマップは顔部分の全画素について求める必要はなく、先述の特徴点である両眼および鼻の輪郭線の頂点等を結ぶワイヤーフレーム状のデータの集合として表現できれば良い。
【００１４】
以上説明した構成の電子カメラ１の、撮像時における制御部１５の動作について、図４に示すフローチャートを用いて説明する。
ステップＳ１において、制御部１５は、操作部１６を介して撮像指示が行われたか否かを判定する。制御部１５は、操作部１６を介して撮像指示が行われるまで待機し、撮像指示が行われるとステップＳ２に進む。
【００１５】
ステップＳ２において、制御部１５は、撮像部１１を介して被写体像を撮像して画像を生成する。
ステップＳ３において、制御部１５は、画像処理部１２を介して、ステップＳ２で生成された画像に対して画像処理を行う。ここで行われる画像処理は、ホワイトバランス調整、色処理、ガンマ処理などの通常の画像処理であり、公知技術と同様に行われる。
【００１６】
ステップＳ４において、制御部１５は、画像処理部１２を介して被写体の顔部分を検出する。なお、ステップＳ３の画像処理において、顔部分を既に検出している場合には、その結果を利用する。制御部１５は、以下のステップＳ５およびステップＳ６処理では検出した顔部分の画像のみを補正対象とする。
ステップＳ５において、制御部１５は、ゲインマップを調整する。
【００１７】
図２および図３で説明したゲインマップは、当然ながら、ステップＳ２における撮像により生成された画像と、ほとんどの場合異なっている。また、撮像時の画角やズーム状態、人物に対する撮影方向などは撮影毎に異なっている。そのため、ステップＳ４で検出した顔部分の画像（以下、「補正対象画像」と称する）から、両眼および鼻の位置を認識し、ゲインマップとともに記録されている特徴点と一致するように、ゲインマップを調整する。
【００１８】
図５Ａはゲインマップの２次元の模式図であり、図５Ａ中の（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）の各点は予め記録された特徴点である。また、図５Ｂは補正対象画像の２次元模式図であり、図５Ｂ中の（ｘ’１，ｙ’１），（ｘ’２，ｙ’２），（ｘ’３，ｙ’３）の各点は、補正対象画像から認識された特徴点である。なお、図５Ａおよび図５Ｂは、顔部分の左上の位置を原点０としている。この原点は、この位置に限定されるものではなく、顔部分の中心付近に設定しても良い。
【００１９】
補正対象画像の（ｘ’１，ｙ’１）座標での補正には、ゲインマップの（ｘ１，ｙ１）座標にある画像が用いられるように調整を行う。同様に、補正対象画像の（ｘ’２，ｙ’２）座標での補正には、ゲインマップの（ｘ２，ｙ２）座標にある画像が用いられるように調整を行う。また、補正対象画像の（ｘ’３，ｙ’３）座標での補正には、ゲインマップの（ｘ３，ｙ３）座標にある画像が用いられるように調整を行う。
【００２０】
調整を行うためには、以下のように、補正対象画像の座標から、対応するゲインマップの座標を算出すれば良い。
まず、ｘ座標について、補正対象画像のある画素の座標をｘ’とし、対応するゲインマップの座標をｘとすると、
０≦ｘ’＜ｘ’１の場合、ゲインマップの座標ｘは、次式で与えられる。
【００２１】
【数１】
2007122514.tif 000003
ｘ’１≦ｘ’＜ｘ’２の場合、ゲインマップの座標ｘは、次式で与えられる。
【００２２】
【数２】
2007122514.tif 000004
ｘ’２≦ｘ’≦ｘ’３の場合、ゲインマップの座標ｘは、次式で与えられる。
【００２３】
【数３】
2007122514.tif 000005
同様に、ｙ座標について、補正対象画像のある画素の座標をｙ’とし、対応するゲインマップの座標をｙとすると、
０≦ｙ’＜ｙ’１の場合、ゲインマップの座標ｙは、次式で与えられる。
【００２４】
【数４】
2007122514.tif 000006
ｙ’１≦ｙ’＜ｙ’２の場合、ゲインマップの座標ｙは、次式で与えられる。
【００２５】
【数５】
2007122514.tif 000007
ｙ’２≦ｙ’≦ｙ’３の場合、ゲインマップの座標ｙは、次式で与えられる。
【００２６】
【数６】
2007122514.tif 000008
以上説明した各式にしたがって、補正対象画像の各画素に対するゲインマップの座標を算出することにより、ゲインマップを調整することができる。
ステップＳ６において、制御部１５は、画像処理部１２を介して階調補正処理を行う。階調補正処理とは、デジタル画像処理技術を用いて、画像を好ましいライティング状態に補正するライティング補正処理である。
【００２７】
以下では、簡単のため、図２中のＡ−Ａ’の線に相当する部分の画像について説明する。他の部分についても同様である。
図６の横軸は、図２中のＡ−Ａ’の線に相当する位置を示し、縦軸は、階調(明暗)を示す。図６中の線ａは、対象画像のＡ−Ａ’線における断面を示したものである。また、図６中の線ｂは、ステップＳ５で説明した調整後のゲインマップである。対象画像に対して、従来技術と同様に、一律の補正処理を行うと、図６中の線ｃのようになる。対象画像が、図７Ａに示すようにメリハリの不足した画像である場合、補正処理後の画像は、図７Ｂのように、明るさについては改善されるが、対象画像のメリハリの不足をそのまま維持しているため、陰影のバランスが悪い。本実施形態では、このような一律の補正処理を行うのではなく、ゲインマップに基づいて、対象画像の大まかな階調を補正する。
【００２８】
画像処理部１２は、公知のレチネックス技術を応用して階調補正処理を行う。画像処理部１２は、まず、対象画像のＡ−Ａ’線に対応する部分を複数に分割し、分割した各部において局所平均値を求める。そして、各部における局所平均値との比を求めて一時記録する。次に、対象画像のＡ−Ａ’線に対応する部分に対してローパスフィルタ処理を施して、大まかな陰影情報のみ抽出する。そして、この情報を、ステップＳ５で調整したゲインマップに基づいて補正する。そして、補正後の画像に対して、一時記録した各部における局所平均値との比に基づいて、ディテールを再現する。各部における局所平均値との比の算出方法やディテールの再現については、公知技術を適宜適用すれば良い。このような一連の処理によって、顔部分の細かいディテールを保ちながら、大まかな陰影を好ましいライティング状態の陰影に近似させることができる。すなわち、図７Ｂのように、陰影のバランスが悪い画像ではなく、図７Ｃに示すように、ライティング状態が良く、陰影のバランスの良い画像に補正することができる。
【００２９】
ステップＳ７において、制御部１５は、階調補正処理後の画像を記録部１４に記録する。なお、階調補正処理後の画像に加えて、階調補正処理前の画像を記録部１４に記録しても良い。また、階調補正処理後の画像を、表示部１３に表示する構成としても良いし、階調補正処理前の画像と階調補正処理後の画像とを並列して表示部１３に表示する構成としても良い。このような並列表示により、ユーザに階調補正処理の効果を提示することができる。
【００３０】
制御部１５は、階調補正処理後の画像を記録部１４に記録すると、一連の処理を終了する。
以上説明したように、本実施形態によれば、処理対象の画像を取得し、取得した画像から特定の対象物を検出する。そして、処理対象の画像のうち特定の対象物を含む領域の画像を補正する際に、目標とする画像の大まかな階調を、目標階調情報として予め記録しておき、この目標階調情報に基づいて、特定の対象物を含む領域の画像の大まかな階調を補正する。したがって、デジタル画像処理技術を用いて、好ましいライティング補正を行うことができる。
【００３１】
また、本実施形態によれば、例えば、顔部分を３次元形状として捉え、陰影に基づいて光線方向を求めるという公知技術に比べて、処理を簡略にすることができる。
また、本実施形態によれば、目標階調情報として、特定の対象物の所定の特徴点をさらに記録し、補正の際には、目標階調情報を所定の特徴点に基づいて調整した後に、特定の対象物を含む領域の画像の大まかな階調を補正する。したがって、処理対象の画像の構図や撮像時の撮影方向などに応じて、適切なライティング補正を行うことができる。
【００３２】
また、本実施形態によれば、特定の対象物として被写体の顔部分を検出する。したがって、好ましいライティング補正の困難な場合が多い人物撮影においても、適切なライティング補正を行うことができる。
また、本実施形態によれば、目標階調情報として、特定の対象物を好ましいライティング状態で撮影して生成した画像の大まかな階調を記録する。したがって、この目標階調情報に基づいて階調を補正することにより、好ましいライティング補正を行うことができる。
【００３３】
なお、本実施形態では、図４のフローチャートにおいて、ステップＳ３で通常の画像処理を行い、その後、ステップＳ５〜ステップＳ６において、本発明の特徴である階調補正処理を行う例を示したが、階調補正処理のタイミングはこの例に限定されない。例えば、ステップＳ３で説明した通常の画像処理と組み合わせて階調補正処理を行う構成としても良いし、ステップＳ５からステップＳ６で説明した階調補正処理の一部をステップＳ３で説明した通常の画像処理と組み合わせて行う構成としても良い。
【００３４】
また、本実施形態では、撮像時における処理の一部として、常に階調補正処理を行う例を示したが、階調補正処理を行うか否かをユーザにより指定可能な構成としても良い。また、既に記録されている画像に対して本発明の階調補正処理を行う構成としても良い。
また、本実施形態では、顔部分の全体に対して階調補正処理を行う例を示したが、部分的な適用でも構わない。また、顔以外の部分に対して同様の処理を行う構成としても良い。また、対象は人物以外のものであっても良い。例えば、動物などが対象である場合にも本発明を同様に適用することができる。
【００３５】
また、本実施形態では、目標階調情報として、図２および図３を用いて説明したゲインマップを例に挙げて説明を行ったが、目標階調情報はこの例に限定されない。例えば、複数の画像を積算・平均したり、ローパスフィルタ処理を行って、画像の低周波成分のみを取り出したものを目標階調情報としても良い。いずれにせよ、画像の細かなディテールを取り除き、大まかな陰影のみを目標階調情報とすることが好ましい。また、好ましいライティング状態として、閃光装置やレフ板などを用いて十分な光量を被写体に当てる例を示したが、他の手段を用いても良い。
【００３６】
また、目標階調情報の粗密は、いかなる度合いであっても良い。階調補正処理の精度や処理時間を考慮して、目標階調情報を記録すれば良い。
また、本実施形態では、メモリ１７に、ゲインマップを予め記録する例を示したが、記録するゲインマップは複数種類であっても良い。例えば、複数の被写体毎にゲインマップを記録しておき、適当なゲインマップを使用する構成としても良い。さらに、被写体認識技術と組み合わせて、自動的にゲインマップを選択する構成としても良い。
【００３７】
また、メモリ１７に新たなゲインマップを記録可能な構成としても良い。例えば、撮像部１１により生成した画像に対して、画像処理部１２において適当な処理を行い、図２および図３を用いて説明したゲインマップと同等の情報をメモリ１７に記録しても良い。また、通信手段を用いて新たなゲインマップを取得しても良い。このように、新たな目標階調情報を取得可能とすることにより、処理対象の画像に応じて、最適な階調補正処理を実現することができる。
【００３８】
また、本実施形態では、電子カメラを例に挙げて説明を行ったが、他の撮像装置あるいはデータ処理装置に本発明を適用しても良い。また、階調補正処理をコンピュータなどの装置で行う構成としても良い。コンピュータには、図４で示したフローチャートと同様の処理を実現可能なプログラムを予めインストールしておくとともに、図２および図３で示
したゲインマップと同様の情報を予め記録しておけば良い。
【図面の簡単な説明】
【００３９】
【図１】本発明の電子カメラ１の機能ブロック図である。
【図２】ゲインマップの例である。
【図３】ゲインマップの例である。
【図４】撮像時における制御部１５の動作を示すフローチャートである。
【図５】ゲインマップおよび対象画像の２次元の模式図である。
【図６】階調補正処理について説明する図である。
【図７】階調補正処理について説明する図である。
【符号の説明】
【００４０】
１，電子カメラ  １２，画像処理部  １４，記録部  １５，制御部  １７，メモリ
【図１】
2007122514.tif 000009
【図２】
2007122514.tif 000010
【図３】
2007122514.tif 000011
【図４】
2007122514.tif 000012
【図５】
2007122514.tif 000013
【図６】
2007122514.tif 000014
【図７】
2007122514.tif 000015