(57)【要約】【課題】被写体の顔のテカリの高輝度領域を補正する際に、被写体が複数人の場合において、テカリ補正すべき被写体を優先的に補正することが可能となる画像処理装置を提供すること。【解決手段】被写体を撮影し、撮影画像を生成する撮影手段と、撮影画像の顔を検出する顔検出手段と、顔領域内の高輝度部であるテカリ領域を補正するテカリ補正手段とを備えて、前記テカリ補正手段は、複数の被写体からテカリ領域を検出した場合において、テカリ補正すべき被写体の優先度を算出し、算出された優先度に基づき一部の被写体に対して優先的にテカリ補正することを特徴とする。【選択図】図１
2018007189.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、撮影画像を生成する撮影手段と、
撮影画像の顔を検出する顔検出手段と、
顔領域内の高輝度部であるテカリ領域を補正するテカリ補正手段とを備えて、
前記テカリ補正手段は、複数の被写体からテカリ領域を検出した場合において、テカリ補正すべき被写体の優先度を算出し、算出された優先度に基づき一部の被写体に対して優先的にテカリ補正することを特徴とする画像処理装置。
【請求項２】
前記テカリ補正手段は、
テカリの程度を判別するテカリ程度判別手段と、
テカリ領域の大きさを判別するテカリ領域大小判別手段と、
テカリ領域の位置を判別するテカリ領域位置判別手段と、
被写体が主要被写体か否かを判別する主要被写体判別手段と、
被写体の属性を判別する被写体属性判別手段とを備えて、
前記テカリ程度判別手段・前記テカリ領域大小判別手段・前記テカリ領域位置判別手段・前記主要被写体判別手段・前記被写体属性判別手段のうち、少なくとも１つ以上の判別手段の判別結果を基に、テカリ補正すべき被写体の優先度を算出し、算出された優先度に基づき一部の被写体に対して優先的にテカリ補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テカリ程度判別手段は、前記顔検出手段の顔検出結果を基に顔領域内の輝度値やコントラストを解析し、解析した輝度値もしくはコントラストが高ければ高い程、テカリ補正優先度を高くし、
前記テカリ領域大小判別手段は、前記顔検出手段の顔検出結果と、前記テカリ程度判別手段による顔領域内の輝度値もしくはコントラストの解析結果を基に、任意のテカリ程度の閾値より輝度値もしくはコントラストが高いテカリ領域の大きさを判別し、テカリ領域が大きければ大きい程、テカリ補正優先度を高くし、
前記テカリ領域位置判別手段は、前記顔検出手段に加えて顔器官検出手段を更に備え、前記顔器官検出手段による顔器官検出結果と、予め設定していた各顔器官に対応するテカリ補正優先度とからテカリ補正優先度を算出し、
前記主要被写体判別手段は、前記顔検出手段に加えて撮影画像の主要被写体を検出し、
主要被写体と判別されればテカリ補正優先度を高くし、
前記被写体属性判別手段は、撮影画像の各被写体の性別や人種、年齢といった被写体の属性を検出し、予め設定していた各被写体属性に対応するテカリ補正優先度からテカリ補正優先度を算出し、
前記テカリ程度判別手段・前記テカリ領域大小判別手段・前記テカリ領域位置判別手段・前記主要被写体判別手段・前記被写体属性判別手段のうち、少なくとも１つ以上の判別手段の判別結果を基に、テカリ補正すべき被写体の優先度を算出し、算出された優先度に基づき一部の被写体に対して優先的にテカリ補正することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記テカリ補正手段は、前記テカリ程度判別手段・前記テカリ領域大小判別手段・前記テカリ領域位置判別手段・前記主要被写体判別手段・前記被写体属性判別手段のうち、少なくとも１つ以上の判別手段の判別結果を基に、テカリ補正すべき被写体の優先度を算出し、算出された優先度の情報を画像に関連付けて記録することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に被写体の高輝度領域を補正する画像処理装置に関する。
【背景技術】
【０００２】
従来、撮影画像において、被写体の高輝度領域に対して補正を行う技術が知られている。これにより、環境光によって生じた顔のテカリなどの鏡面反射領域を補正し、好ましい画像を得ることが可能となる。
【０００３】
特許文献１には、被写体の所定部位を検出し、検出結果に基づいてテカリ領域の補正をする方法が提案されている。
【０００４】
具体的には、被写体の顔や目や口などの所定部位を検出し、その所定部位の位置や色などに基づいて各画素の補正の程度を決定している。これにより、輝度や明度を下げる必要のない部位についてはその高い輝度や明度が維持され、輝度を下げる必要のある肌のテカリが生じている部位のみに対して補正することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３２７００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１の方法では、被写体人数が大人数であった場合、画像中に含まれる全ての被写体に対して所定部位を検出し、各々の所定部位における補正程度を算出し、全ての被写体のテカリ領域を補正するのは大人数になればなるほど処理時間が掛かるという課題がある。
【０００７】
そこで、本発明の目的は、被写体の顔のテカリなどの高輝度領域を補正する際に、被写体が複数人の場合において、テカリ補正すべき被写体を優先的に補正することが可能となる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像処理装置は、
被写体を撮影し、撮影画像を生成する撮影手段と、
撮影画像の顔を検出する顔検出手段と、
顔領域内の高輝度部であるテカリ領域を補正するテカリ補正手段とを備えて、
前記テカリ補正手段は、複数の被写体からテカリ領域を検出した場合において、テカリ補正すべき被写体の優先度を算出し、算出された優先度に基づき一部の被写体に対して優先的にテカリ補正することを特徴とする。
【発明の効果】
【０００９】
本発明に係る画像処理装置によれば、テカリ補正すべき被写体の優先度を算出した上で、優先度に基づいて一部の被写体に対してテカリ補正することが可能となり、被写体人数が複数人であった場合に、テカリ補正に掛かる処理時間を短縮することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明におけるデジタルカメラの構成を示すブロック図である。
【図２】本発明における画像処理部の構成を示すブロック図である。
【図３】本発明におけるテカリ補正前後の画像を説明する図である。
【図４】本発明における複数人シーンの撮影画像例である。
【図５】本発明におけるテカリ補正優先度算出部の構成を示すブロック図である。
【図６】本発明における顔器官とテカリ補正優先度の対応テーブル例である。
【図７】本発明におけるテカリ補正優先度算出方法を説明する図である。
【図８】本発明におけるテカリ補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施例では、画像処理装置としてデジタルカメラに適用した例について説明する。
【００１２】
［実施例１］
以下、図１〜８を参照して、本発明の第１の実施例におけるデジタルカメラについて説明する。
【００１３】
図１は本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。
【００１４】
図１において、１００はデジタルカメラ全体、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、１０４は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理、テカリ補正処理などの各種画像処理を行う画像処理部である。
【００１５】
１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示器、１１０は画像データを圧縮符号化・復号化するコーデック部である。１１１は記録媒体１１２とのインタフェースＩ／Ｆ、１１２はメモリカードやハードディスク等の記録媒体、１１３は、撮影画像中から顔が映っている領域及び器官情報を検出する顔・顔器官検出部、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。
【００１６】
また、１２０はユーザがメニューの設定や画像選択などの操作をすることが可能な操作部であり、１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリであり、１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するシステムメモリである。
【００１７】
次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。
【００１８】
撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。
【００１９】
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔・顔器官顔検出部１１３の顔検出結果や顔器官検出結果、撮像した画像データを用いて所定の評価値算出処理（図示しない）を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、テカリ補正処理などを行う。
【００２０】
画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００２１】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを関連付けて、記録インタフェース１１１を介して記録媒体１１２に格納する。以上、被写体撮影時の基本動作について説明した。
【００２２】
上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。
【００２３】
次に、画像処理部１０５の詳細について図２を用いて説明する。
【００２４】
図２は画像処理部１０５の構成を示すブロック図である。
【００２５】
図２において、２００は同時化処理部、２０１はＷＢ増幅部、２０２はテカリ補正処理部、２０３はテカリ補正優先度算出部、２０４は輝度・色信号生成部、２０５は輪郭強調処理部、２０６は輝度ガンマ処理部、２０７は色変換処理部、２０８は色γ処理部、２０９は色差信号生成部である。
【００２６】
次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換部１０４から入力された画像信号が画像処理部１０５に入力される。画像処理部１０５に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号はテカリ補正処理部２０２とテカリ補正優先度算出部２０３に入力される。
【００２７】
テカリ補正優先度算出２０３においてテカリ補正優先度を算出し、算出された優先度に基づいてテカリ補正処理部においてテカリ補正処理をする。テカリ補正優先度の算出方法及びテカリ補正処理については後述する。テカリ補正処理部２０２においてテカリ補正処理された信号は輝度・色信号生成部２０４に入力される。輝度・色信号生成部２０４は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０５、色信号ＲＧＢを色変換処理部２０７へ出力する。
【００２８】
輪郭強調処理部２０５では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０６へ出力する。輝度ガンマ処理部２０６では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。
【００２９】
色変換処理部２０７は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０８では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０９では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。画像メモリ１０６に出力された画像信号Ｙ, Ｒ−Ｙ, Ｂ−Ｙ信号は、コーデック部１１０によって圧縮符号化し、記録媒体１１２に記録する。メモリ制御部１０７は、画像メモリ１０６に画像データを蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。
【００３０】
以上が、画像処理部１０５の動作である。画像処理部１０５でテカリ補正処理した例を図３に示す。(a)がテカリ補正処理前の撮影画像、（ｂ）がテカリ補正処理後の撮影画像の例である。(a)では、顔領域のおでこや頬にテカリ領域があるが、テカリ補正処理することで（ｂ）のようにテカリ領域が補正される。
【００３１】
次に、被写体が複数人の撮影画像に対して画像処理部１０５内において、テカリ補正優先度算出部２０３においてテカリ補正の優先度を算出し、算出された優先度に基づいてテカリ補正処理部２０２でテカリ補正処理する処理について説明する。
【００３２】
図４に、被写体が複数人の場合の撮影画像の例を示す。図４では、被写体がＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆと６人いる場合の例である。図５はテカリ補正優先度算出部２０３のブロック図である。
【００３３】
図５において、５０１はテカリ程度判別部、５０２はテカリ領域大小判別部、５０３はテカリ領域位置判別部、５０４は主要被写体判別部、５０５は被写体属性判別部、５０６はテカリ補正総合優先度算出部である。
【００３４】
次に、テカリ補正優先度算出部２０３の処理について説明する。
【００３５】
図１の顔・顔器官検出部１１３から顔検出情報・顔器官検出情報がテカリ補正優先度算出部２０３に入力される。テカリ補正優先度算出部２０３に入力された顔検出情報・顔器官検出情報は、テカリ程度判別部５０１、テカリ領域大小判別部５０２、テカリ領域位置判別部５０３、主要被写体判別部５０４、被写体属性判別部５０５に入力される。
【００３６】
テカリ程度判別部５０１では、入力された顔検出情報の顔の位置情報を基に、顔領域のテカリの程度を判別し、テカリの程度に応じてテカリ補正優先度を算出する。具体的には、顔領域内の輝度値もしくはコントラストを解析し、解析した輝度値もしくはコントラストが高ければ高い程、テカリ補正優先度が高くなるよう制御する。
【００３７】
テカリ領域大小判別部５０２では、テカリ領域の大きさを判別し、テカリ領域の大きさに応じてテカリ補正優先度を算出する。具体的には、入力された顔検出情報と、テカリ程度判別部５０２による判別結果を基に、任意に設定したテカリ程度の閾値より、テカリ程度判別部５０１により判別したテカリの程度が高い領域の大きさを判別し、テカリ領域の大きさが大きければ大きい程、テカリ補正優先度を高くなるよう制御する。
【００３８】
テカリ領域位置判別部５０３では、テカリ領域の位置を判別し、テカリ領域の位置に応じてテカリ補正優先度を算出する。具体的には、入力された顔器官検出情報と予め設定された各顔器官に対応するテカリ補正優先度とからテカリ補正優先度を算出する。図６に各顔器官に対応するテカリ補正優先度のテーブル例を示す。図６において６０１は顔器官名、６０２は優先度を示している。おでこや鼻、その他の肌部分に関しては、テカリ補正の優先度を高く設定し、髪や目や口部分に関しては、テカリ補正の優先度を低く設定している。
【００３９】
主要被写体判別手段５０４では、撮影画像に含まれる被写体の主要被写体を検出し、主要被写体か否かに応じてテカリ補正優先度を算出する。具体的には、例えば予めデジタルカメラに登録された被写体と同一人物であると判別した場合や、画像全体に占める顔領域の大きさが一番大きい被写体を主要被写体と判別し、主要被写体に対してテカリ補正優先度を高くするよう制御する。
【００４０】
被写体属性判別部５０５では、被写体の属性を判別し、被写体の属性に応じて、テカリ補正優先度を算出する。具体的には、撮影画像の各被写体の性別や人種、年齢などといった被写体の属性を検出し、予め設定していた各被写体属性に対応するテカリ補正優先度からテカリ補正優先度を算出する。例えば、性別が女性であればテカリ補正優先度を高くするよう制御する。
【００４１】
テカリ補正総合優先度算出部５０６では、テカリ程度判別部５０１、テカリ領域大小判別部５０２、テカリ領域位置判別部５０３、主要被写体判別部５０４、被写体属性判別部５０５の1つ以上の判別結果を基に、最終的なテカリ補正優先度を算出する。例えば、各々の判別部において算出した優先度を加算する、もしくは加算した後に正規化するなどして優先度を算出する。図７にテカリ補正総合優先度算出部５０６における総合優先度の算出例を示す。
【００４２】
図７は図４の複数人の撮影画像の例で示したような６人の被写体がいる場合のテカリ補正優先度の算出例である。
【００４３】
７０１は判別内容、７０２は被写体Ａの優先度，７０３は被写体Ｂの優先度，７０４は被写体Ｃの優先度，７０５は被写体Ｄの優先度，７０６は被写体Ｅの優先度を示す。図４の撮影画像の例では、画像中心に大きく映っている被写体Ｃ、被写体Ｄが主要被写体判別による優先度が高くなり、他の判別部により算出された優先度もそれなりに高い為、最終的な総合テカリ補正優先度も高く算出されている例である。
【００４４】
次に、システム制御部５０が、上記のように動作するテカリ補正処理部２０２の処理フローについて図８のフローチャートを用いて説明する。
【００４５】
図８はシステム制御部５０の動作を示したフローチャートである。
【００４６】
以下、図８のフローチャートに従って、システム制御部５０がテカリ補正処理部２０２においてテカリ補正処理する動作について説明する。
【００４７】
ステップＳ８０１では、操作部１２０を介してユーザからの操作によってテカリ補正処理が選択されているか判定する。即ち、テカリ補正処理部２０２による処理を行うか否かを判定する。テカリ補正を行う場合はステップＳ８０２に進む。
【００４８】
ステップＳ８０２では、被写体を撮影する。
【００４９】
ステップＳ８０３では、顔・顔器官検出部１１３から被写体の顔領域情報及び顔器官検出情報を取得する。具体的には、顔・顔器官出部１１３では撮影画像中から顔が映っている被写体の顔のパーツである目、鼻、口などの座標位置の情報を取得し、それら座標位置から顔領域を検出している。
【００５０】
ステップＳ８０４では、撮影画像が複数人シーンであるか否かを判別する。具体的には、ステップＳ８０３で顔・顔器官検出部１１３で検出した検出人数を基に複数人か否かを判別する。複数人であれば、ステップＳ８０５に進み、複数人でなければステップＳ８０７に進む。
【００５１】
ステップＳ８０５では、テカリ補正優先度を算出する。具体的には、図７を用いて前述したように、テカリ程度判別部５０１、テカリ領域大小判別部５０２、テカリ領域位置判別部５０３、主要被写体判別部５０４、被写体属性判別部５０５の1つ以上の判別結果を基に、最終的なテカリ補正優先度を算出する。
【００５２】
ステップＳ８０６では、ステップＳ８０５で算出したテカリ補正優先度に基づいて、テカリ補正優先度の高い被写体から優先的にテカリ補正する。
【００５３】
ステップＳ８０７では、ステップＳ８０４において複数人ではなく1人のシーンと判定された為、1人に対してテカリ補正処理をする。
【００５４】
以上、システム制御部５０のテカリ補正処理部２０２の動作を説明した。
【００５５】
また、本実施例では、デジタルカメラ内のテカリ補正処理部２０２においてテカリ補正処理する例について説明したが、テカリ補正優先度算出部２０３において算出したテカリ補正優先度を画像に関連付けて記録しておき、パーソナルコンピュータ等の外部の画像処理装置において画像の付加情報であるテカリ補正優先度情報を基にテカリ補正する構成にしても良い。
【符号の説明】
【００５６】
５０  システム制御部、１０１  光学系、１０２  シャッター、１０３  撮像部、
１０４  Ａ／Ｄ変換器、１０５  画像処理部、１０６  画像メモリ、
１０７  メモリ制御部、１０９  表示部、１１０  コーデック部、１１１  記録Ｉ／Ｆ、
１１２  記録媒体、１１３  顔・顔器官検出部、１２０  操作部、
１２１  不揮発性メモリ、１２２  システムメモリ
【図１】
2018007189.tif 000003
【図２】
2018007189.tif 000004
【図３】
2018007189.tif 000005
【図４】
2018007189.tif 000006
【図５】
2018007189.tif 000007
【図６】
2018007189.tif 000008
【図７】
2018007189.tif 000009
【図８】
2018007189.tif 000010