(57)【要約】【課題】  静止画の連写モードにおいて、被写体の顔のテカリなどの高輝度領域を補正する際に、連写の速度低下が生じることなく高輝度領域を補正処理することが可能となる画像処理装置を提供すること。【解決手段】  被写体を撮影し、画像データを生成する撮影手段と、前記画像データをリサイズする第１のリサイズ手段と、前記第１のリサイズ手段によりリサイズされた第１の画像データから顔を検出する顔検出手段と、前記画像データをリサイズする第２のリサイズ手段と、前記第２のリサイズ手段によりリサイズされた第２の画像データから輝度分布を取得する輝度分布取得手段と、顔領域内の高輝度領域を補正する高輝度領域補正手段とを備えて、前記高輝度領域補正手段は、前前記顔検出手段と前記輝度分布取得手段を並列に処理して算出された高輝度領域補正パラメータに基づき、高輝度領域補正する。【選択図】  図２
2018152700.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、画像データを生成する撮影手段と、
前記画像データをリサイズする第１のリサイズ手段と、
前記第１のリサイズ手段によりリサイズされた第１の画像データから顔を検出する顔検出手段と、
前記画像データをリサイズする第２のリサイズ手段と、
前記第２のリサイズ手段によりリサイズされた第２の画像データから輝度分布を取得する輝度分布取得手段と、
顔領域内の高輝度領域を補正する高輝度領域補正手段とを備えて、
前記高輝度領域補正手段は、前前記顔検出手段と前記輝度分布取得手段を並列に処理して算出された高輝度領域補正パラメータに基づき、高輝度領域補正することを特徴とする画像処理装置。
【請求項２】
前記第１の画像データの解像度より前記第２の画像データの解像度の方が高いこと特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度分布取得手段は前記第２の画像データの領域全体をメッシュ状に輝度値を取得し、前記顔検出手段で検出した顔領域に対応する前記輝度値を利用して前記高輝度領域補正パラメータを算出すること特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に被写体の高輝度領域を補正する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、撮影画像において、被写体の高輝度領域に対して補正を行う技術が知られている。これにより、環境光によって生じた顔のテカリなどの鏡面反射領域を補正し、好ましい画像を得ることが可能となる。
【０００３】
例えば、特許文献１には、画像から被写体の所定部位を検出し、検出結果に基づいてテカリ領域の補正をする方法が提案されている。
【０００４】
具体的には、被写体の顔や目や口などの所定部位を検出し、その所定部位の位置や色成分、輝度値などの評価値に基づいて各画素の補正の程度を決定している。これにより、輝度や明度を下げる必要のない部位についてはその高い輝度や明度が維持され、輝度を下げる必要のある肌のテカリが生じている部位のみに対して補正することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３９６３８７号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、静止画の連写モードにおいて、上記の特許文献１のように、顔検出処理を行い、さらに検出した顔領域に対して、色成分、輝度値などの評価値を取得し、その結果に基づいてテカリ補正量を算出するような逐次処理だと、テカリ補正を行わない場合の静止画の連写モードと比較して、テカリ補正量の算出処理に時間がかかり、連写の速度低下が生じる場合がある。
【０００７】
そこで、本発明の目的は、静止画の連写モードにおいて、被写体の顔のテカリなどの高輝度領域を補正する際に、連写の速度低下が生じることなく高輝度領域を補正処理することが可能となる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、被写体を撮影し、画像データを生成する撮影手段と、前記画像データをリサイズする第１のリサイズ手段と、前記第１のリサイズ手段によりリサイズされた第１の画像データから顔を検出する顔検出手段と、前記画像データをリサイズする第２のリサイズ手段と、前記第２のリサイズ手段によりリサイズされた第２の画像データから輝度分布を取得する輝度分布取得手段と、顔領域内の高輝度領域を補正する高輝度領域補正手段とを備えて、前記高輝度領域補正手段は、前前記顔検出手段と前記輝度分布取得手段を並列に処理して算出された高輝度領域補正パラメータに基づき、高輝度領域補正することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、静止画の連写モードにおいて、被写体の顔のテカリなどの高輝度領域を補正する際に、連写の速度低下が生じることなく高輝度領域補正処理することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態のデジタルカメラの構成を示すブロック図である。
【図２】本発明の実施形態の画像信号処理部の構成を示すブロック図である。
【図３】本発明の実施形態のテカリ補正量算出処理の流れを示すフローチャートである。
【図４】本発明の実施形態のブロック積分枠および補正候補領域を示す概略図である。
【図５】本発明の実施形態の輝度信号Ｋと輝度ゲインＫｙの特性の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下では本発明の画像処理装置の一例であるデジタルカメラに適用した実施形態について説明する。
【００１２】
［実施例１］
図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。１００はデジタルカメラ本体である。内部バス１０２は各ブロックを接続する内部バスである。システム制御部１０１は、例えばＣＰＵであり、内部バス１０２で接続された各ブロックの制御を行う。ＦＬＡＳＨメモリコントローラ１０３は、システム制御部１０１からの要求に基づき、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み書きを行う。システム制御部１０１はＦＬＡＳＨメモリ１０４に格納されたプログラムを元に動作する。
【００１３】
ＤＲＡＭコントローラ１０５は、各ブロックからの要求に基づきＤＲＡＭ１０６に対するデータの読み書きを行う。システム制御部１０１や各ブロックは、動作中の一時データや撮影した画像などをＤＲＡＭ１０６に格納して用いる。操作部１０７はデジタルカメラの外装に設けられたボタン等で構成され、ユーザーはそれを操作することで、システム制御部１０１へ指示を伝えることができる。撮像部１０８は被写体を撮影する撮像部である。撮像部１０８は被写体の光学像を取り込むレンズユニット、及び、光学像を電気信号に変換するＣＭＯＳ素子等のイメージセンサで構成される。
【００１４】
システム制御部１０１の制御により、イメージセンサに結像された光学像を光電変換し、得られたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データ（画像データ）を画像信号処理部１０９に出力する。１１１は画像データから顔が映っている領域及び器官情報を検出する顔・器官検出部である。画像信号処理部１０９は、システム制御部１０１の指示に基づき、撮像部１０８を制御して被写体を撮影して得られた画像データに対して、ホワイトバランス調整や、テカリ補正処理などの各種画像処理を施す。システム制御部１０１により画像処理後の画像データはコーデック部１１２に供給され、圧縮された後ＤＲＡＭ１０６に格納される。
【００１５】
ＤＲＡＭ１０６に蓄積された画像ファイルは、記録媒体１１３に記録される。記録媒体１１３は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）コントローラ１１５は、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読みだして、ＬＣＤ１１６に表示する。なお、図１に示して説明したデジタルカメラの構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る画像処理措置の構成は、図１に示した構成に限定されるものではない。
【００１６】
次に、上記のように構成されたデジタルカメラ１００における静止画撮影時の基本動作について説明する。撮像部１０８では、レンズ（図示しない）及びシャッター（図示しない）を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器（図示しない）へ出力する。Ａ／Ｄ変換器でアナログ画像信号をデジタル画像信号に変換し、画像信号処理部１０９に出力する。画像信号処理部１０９は、撮像部１０８からの画像データに対し、ホワイトバランスなどの色変換処理、ガンマ処理、輪郭強調処理などを行う。
【００１７】
本発明の主眼点であるテカリ補正処理も、画像信号処理部１０９で行う。なお、画像信号処理部１０９の詳細な説明は後述する。また、画像信号処理部１０９では、撮像した画像データを用いて所定の評価値算出処理（図示しない）を行い、得られた評価値結果に基づいてシステムシステム制御部１０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、テカリ補正処理などを行う。
【００１８】
画像信号処理部１０９から出力された画像データは、ＤＲＡＭコントローラ１０５を介してＤＲＡＭ１０６に書き込まれる。ＤＲＡＭ１０６は、撮像部１０３から出力された画像データや、ＬＣＤ１１６に表示するための画像データを格納する。また、ＬＣＤコントローラ１１５は、ＤＲＡＭ１０６に格納されている画像表示用のデータをアナログ信号に変換してＬＣＤ１１６に供給する。ＬＣＤ１１６は、ＬＣＤ等の表示器上に、ＬＣＤコントローラ１１５からのアナログ信号に応じた表示を行う。コーデック部１１２は、ＤＲＡＭ１０６に記録された画像データを圧縮符号化し、情報量が圧縮された画像データを生成して、画像ファイルに変換する。静止画圧縮にはＪＰＥＧ等を用いることができる。
【００１９】
システム制御部１０１は符号化した画像データを関連付けて、静止画ファイルとして、記録媒体１１３に記録する。静止画の連写モードに於いては、上記説明した基本動作を繰り返す。
【００２０】
以上、被写体撮影時の基本動作について説明した。
【００２１】
次に、画像信号処理部１０９の詳細について図２を用いて説明する。図２は画像信号処理部１０９の構成を示すブロック図である。図２において、２００は同時化処理部、２０１はＷＢ処理部、２０２はテカリ補正処理部、２０３はテカリ補正量算出部、２０４は輝度・色信号生成部、２０５は輪郭強調処理部、２０６は輝度ガンマ処理部、２０７は色変換処理部、２０８は色ガンマ処理部、２０９は色差信号生成部、２１０は第１のリサイズ処理部、２１１はブロック積分処理部、２１２は第２のリサイズ処理部である。
【００２２】
まず、画像信号処理部１０９における処理について説明する。図１の撮像部１０８から出力されたベイヤー画像信号が画像信号処理部１０９に入力される。画像信号処理部１０９に入力されたベイヤー画像信号は同時化処理部２００、第１のリサイズ処理部２１０および第２のリサイズ処理部２１２に入力される。第１のリサイズ処理部２１０および第２のリサイズ処理部２１２は、後述のテカリ補正量の算出処理で説明する。
【００２３】
同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ処理部２０１は、システム制御部１０１が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ処理部２０１が出力したＲＧＢ信号はテカリ補正処理部２０２に入力される。テカリ補正量算出部２０３においてテカリ補正量を算出し、算出された補正量に基づいてテカリ補正処理部２０２においてテカリ補正処理をする。テカリ補正量の算出処理については後述する。
【００２４】
テカリ補正処理部２０２においてテカリ補正処理された信号は輝度・色信号生成部２０４に入力される。輝度・色信号生成部２０４は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０５、色信号ＲＧＢを色変換処理部２０７へ出力する。輪郭強調処理部２０５では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０６へ出力する。輝度ガンマ処理部２０６では輝度信号Ｙに対してガンマ補正を行い、画像信号が画像信号処理部１０９から出力される輝度信号Ｙはシステム制御部１０１により、ＤＲＡＭ１０６に出力される。色変換処理部２０７は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランスへ変換する。
【００２５】
色ガンマ処理部２０８では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０９では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。画像信号処理部１０９から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙはシステム制御部１０１により、ＤＲＡＭ１０６に出力される。ＤＲＡＭ１０６に格納された画像信号Ｙ, Ｒ−Ｙ, Ｂ−Ｙ信号は、コーデック部１１２によって圧縮符号化され、記録媒体１１３に記録される。
【００２６】
次に、画像信号処理部１０９内において、テカリ補正量算出部２０３においてテカリの補正量を算出する処理について図２および図３を用いて説明する。図３はテカリ補正量の算出処理の流れを示すフローチャートである。
【００２７】
ステップＳ３０１において、図１の撮像部１０８から出力されたベイヤー画像信号が画像信号処理部１０９に入力され、第１のリサイズ処理部２１０および第２のリサイズ処理部２１２に同時に入力される。ステップＳ３０２では、入力されたベイヤー画像信号に対して、第１のリサイズ処理部２１０でＦＨＤサイズ程度にリサイズする。ステップＳ３０３では、ステップＳ３０２でリサイズされたベイヤーＲＧＢの画像データに対して、ブロック積分処理部２１１で画像の全領域についてメッシュ状に、例えば、８画素ｘ８画素のブロックサイズでＲＧＢ各色のブロック積分値を算出する。
【００２８】
被写体撮影時の画像データの全領域についてメッシュ状にブロック積分枠を設定した例を図４（ａ）に示す。算出したＲＧＢブロック積分値は、テカリ補正量算出部２０３に入力される。ステップＳ３０４では、入力されたベイヤー画像信号に対して、第２のリサイズ処理部２１２でステップＳ３０２のリサイズサイズより解像度の低いＶＧＡサイズ程度にリサイズする。リサイズされたベイヤー画像信号は、システム制御部１０１により、内部バス１０２を介して、顔・器官検出部１１１に入力される。
【００２９】
ステップＳ３０５では、顔・器官検出部１１１において、入力されたベイヤー画像信号から被写体の顔領域を検出する。さらに、検出された顔から、例えば、目、鼻、口などの複数の顔の器官（顔器官）を検出する。
【００３０】
なお、顔および器官位置の検出の方法としてはテンプレートマッチングやニューラルネットに代表される学習アルゴリズムにより識別器を構成する方法など数多くの公知の手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。顔・器官検出結果は、システム制御部１０１により、内部バス１０２を介して、画像信号部１０９に入力され、テカリ補正量算出部２０３に入力される。
【００３１】
ここで、図３に示したように、ステップＳ３０２→ステップＳ３０３の処理と、ステップＳ３０４→ステップＳ３０５の処理は、並列に処理する。また、顔・器官検出部１１１に投入する画像サイズより、ブロック積分処理部２１１に投入する画像サイズの解像度を高くすることで、顔領域に対して、テカリ補正量を算出する際に、十分な評価値を確保する。
【００３２】
ステップＳ３０６では、テカリ補正量算出部２０３において、ブロック積分処理部２１１からのＲＧＢブロック積分値および顔・器官検出部１１１からの顔・器官検出結果を利用して、テカリ補正量を算出する。
【００３３】
具体的には、顔・器官検出部１１１からの顔・器官検出結果から被写体の顔領域内の補正候補領域を抽出し、ブロック積分処理部２１１からのＲＧＢブロック積分値から、その補正候補領域の座標に対応する領域の輝度値、平均値を算出する。補正候補領域に対応する領域の平均値から肌色の補色信号を算出し、算出した信号に対して輝度値から算出したゲインを乗算することでテカリ補正量を算出する。
【００３４】
補正候補領域の例を図４（ｂ）に示す。図４（a）に画像データに写っている３人の人物のうち、右側の人物の顔領域を拡大した図である。４０１は補正候補領域を示す。顔・器官検出部１１１で検出した結果を用いて、テカリ補正量算出部２０３において、肌色の誤補正を回避するため、目の領域を除外して、口より上の領域を補正候補領域として決定した例である。
【００３５】
ステップＳ３０４では、テカリ補正量算出部２０３において、被写体の顔領域内の高輝度領域を抽出し、その高輝度領域を補正する信号を生成するテカリ補正信号生成処理が行われる。
【００３６】
具体的には、顔検出部１１３で検出した顔領域に対して、顔領域内の各画素のＲ、Ｇ、Ｂ信号から肌色の補色信号を算出し、算出した信号に対して輝度信号Ｙに応じたゲインを乗算することでテカリ補正信号Ｒｈ、Ｇｈ、Ｂｈを生成する。
【００３７】
例えば、顔領域内のＲ、Ｇ、Ｂ信号の平均値をＡｖｅＲ、ＡｖｅＧ、ＡｖｅＢとし、Ｒ、Ｇ、Ｂ信号がそれぞれ０〜２５５の範囲の値をとるとすると、肌色の補色信号Ｒｓ、Ｇｓ、Ｂｓはそれぞれ（式１）のように求まる。
【００３８】
【数１】
2018152700.tif 000003
【００３９】
さらに、輝度信号Ｙを参照し、輝度レベルに応じて高輝度領域を抽出する輝度ゲイン信号Ｋｙを算出し、肌色の補色信号Ｒｓ、Ｇｓ、Ｂｓに乗算することで、（式２）のようにテカリ補正量信号Ｒｈ、Ｇｈ、Ｂｈを求めることが可能である。
【００４０】
【数２】
2018152700.tif 000004
【００４１】
ここで図４は、輝度信号Ｙから輝度ゲイン信号Ｋｙを算出する際の変換テーブルの一例を示す図である。図４において、横軸は輝度信号Ｙ、縦軸を輝度ゲイン信号Ｋｙとする。
【００４２】
輝度ゲイン信号Ｋｙは、輝度信号Ｙが所定の閾値Ｔｈ０より小さく、テカリが発生していないと見なせる場合には０．０を、輝度信号Ｙが所定の閾値Ｔｈ１より大きく、テカリが発生し被写体が白とびしている場合には１．０を出力する。
【００４３】
また、輝度信号Ｙが閾値Ｔｈ０と閾値Ｔｈ１の間であり、白とびはしていないが肌のテカリが目立つ輝度レベルであり、テカリ補正を行う必要があると判定された場合には、補正する強度に応じて０．０〜１．０の間の値を出力する。
【００４４】
テカリ補正量算出部２０３で算出したテカリ補正量信号Ｒｈ、Ｇｈ、Ｂｈをテカリ補正処理部２０２に出力する。テカリ補正処理部２０２では、ＷＢ処理部２０１が出力したＲＧＢ信号に対して、テカリ補正量算出部２０３から出力された補正量信号Ｒｈ、Ｇｈ、Ｂｈを減算することで、テカリを低減したＲＧＢ信号を生成することが可能である。
【００４５】
以上が、画像信号処理部１０９の動作である。このように、本実施形態のデジタルカメラ１００は、テカリ補正処理時のテカリ補正量を求める際に、顔領域およびその顔器官の検出処理と顔領域のテカリ補正量算出用に画面全体をメッシュで積分値を取得する処理を並列して実行し、それぞれの処理結果からテカリ補正量を算出する。それにより、顔検出処理を行い、さらに検出した顔領域に対して、色成分、輝度値などの評価値を取得する逐次処理の場合と比較して、速やかにテカリ補正量を算出することができる。
【００４６】
静止画の連写モードにおいても、被写体の顔のテカリなどの高輝度領域を補正する際に、連写の速度低下が生じることなく高輝度領域を補正処理することが可能となる。また、複数の顔を検出した際にも、画面全体をメッシュで取得した積分値を利用すれば、検出した顔毎に評価値を取得する処理が不要になる。さらに、テカリ補正量算出用に画面全体をメッシュで積分値を取得した結果を画像ファイルに関連付けて保存しておけば、保存した画像データに対して後からテカリ補正処理する際に利用することも可能である。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
【符号の説明】
【００４８】
１００：デジタルカメラ
１０１：システム制御部
１０２：内部バス
１０３：ＦＬＡＳＨメモリコントローラ
１０４：ＦＬＡＳＨメモリ
１０５：ＤＲＡＭコントローラ
１０６：ＤＲＡＭ
１０７：操作部
１０８：撮像部
１０９：画像信号処理部
１１１：顔・器官検出部
１１２：コーデック部
１１３：記録媒体
１１５：ＬＣＤコントローラ
１１６：ＬＣＤ
２００：同時化処理部
２０１：ＷＢ処理部
２０２：テカリ補正処理部
２０３：テカリ補正量算出部
２０４：輝度・色信号生成部
２０５：輪郭強調処理部
２０６：輝度ガンマ処理部
２０７：色変換処理部
２０８：色ガンマ処理部
２０９：色差信号生成部
２１０：第１のリサイズ処理部
２１１：ブロック積分処理部
２１２：第２のリサイズ処理部
【図１】
2018152700.tif 000005
【図２】
2018152700.tif 000006
【図３】
2018152700.tif 000007
【図４】
2018152700.tif 000008
【図５】
2018152700.tif 000009