(57)【要約】【課題】容易に自然なキャッチライト効果を得ること。【解決手段】撮像装置１は、検出処理部５１と、解析処理部５２と、画像処理部５６と、を備える。検出処理部５１は、撮像画像内に含まれる人物の目における輝度が飽和している部分を検出する。解析処理部５２は、検出処理部５１により検出された人物の目における高輝度部分の位置の分散状態を評価する。画像処理部５６は、解析処理部５２による評価結果に応じて、目に検出した高輝度部分を強調する画像処理を施す。【選択図】図３
2018098744.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記検出手段により検出された前記目における高輝度部分の位置の分散状態を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記評価手段により前記目における高輝度部分の位置が分散していない、又は所定の範囲内で分散していると評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記目における高輝度部分を、更に、左右の目を各々独立に検出し、
前記評価手段は、前記検出手段により独立に検出された人物の左右各々の目における高輝度部分の位置の分散状態を更に評価し、
前記画像処理手段は、前記評価手段による左右各々の目における高輝度部分の位置の分散状態の評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記評価手段により左右各々の目における高輝度部分の位置が、各々の目内において同一とみなすことができると評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記評価手段により左右の目のうちのいずれか一方における高輝度部分の位置と同一とみなすことができる他方の位置に高輝度部分が存在しないと評価された場合であっても、当該同一とみなすことができる他方の位置に前記高輝度部分に準ずる輝度の部分が存在する場合には、目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記撮像画像内に含まれる人物の顔の横幅の長さと、人物の左右の目の間の長さと、を測定する測定手段と、
前記測定手段による測定結果に基づき、測定の信頼性を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
前記評価手段は、測定された人物の左右の目の間の長さが、測定された人物の顔の横幅の長さに対して所定の範囲内である場合に、測定の信頼性が高いと評価し、
前記画像処理手段は、前記評価手段により測定の信頼性が高いと評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記高輝度部分中心から縁方向に向かって強度が弱くなるように、高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記画像処理手段は、処理対象の撮像画像を撮像する撮像手段と共通の筐体に備えられた補助光照射手段により補助光が照射されている場合にのみ、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記検出手段により前記目に高輝度部分が検出された場合に、当該高輝度部分の中心から縁方向に向かって強度が弱くなるように、検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項１１】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記検出処理により検出された前記目における高輝度部分の位置の分散状態を評価する評価処理と、
前記評価処理による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理と、
を含む備えることを特徴とする画像処理方法。
【請求項１２】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記撮像画像内に含まれる人物の顔の横幅の長さと、人物の左右の目の間の長さと、を測定する測定処理と、
前記測定処理による測定結果に基づき、測定の信頼性を評価する評価処理と、
前記評価処理による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理と、
を含むことを特徴とする画像処理方法。
【請求項１３】
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記検出処理により前記目に高輝度部分が検出された場合に、当該高輝度部分の中心から縁方向に向かって強度が弱くなるように、検出した高輝度部分を強調する画像処理を施す画像処理と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、人物の顔を引き立たせるために、瞳部分にキャッチライトと呼ばれる光を映し込む撮影技法が知られている。このような撮影技法は、高度な撮影技術が要求されるため、例えば、特許文献１のように、画像に含まれる目の輝点位置を特定し、特定した目の輝点位置にキャッチライト画像を合成処理する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示される技術では、画像を合成処理するため、不自然になってしまうという問題がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、容易に自然なキャッチライト効果を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記検出手段により検出された前記目における高輝度部分の位置の分散状態を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、容易に自然なキャッチライト効果を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
【図２】キャッチライト効果付加の具体例を示す模式図である。
【図３】図１の撮像装置１の機能的構成のうち、キャッチライト効果付加処理を実行するための機能的構成を示す機能ブロック図である。
【図４】目の領域分割の具体例を説明するための模式図である。
【図５】図３の機能的構成を有する図１の撮像装置１が実行するキャッチライト効果付加処理の流れを説明するフローチャートである。
【図６】図３の機能的構成を有する図１の撮像装置１が実行するキャッチライト効果付加処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。
【００１１】
撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ストロボ発光部２１と、ドライブ２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０、ストロボ発光部２１及びドライブ２２が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ストロボ発光部２１は、例えば、ユーザによる入力部１７への撮影操作を契機として、ＣＰＵ１１の制御に従って、ストロボを発光させる。
【００２０】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２１】
このように構成される撮像装置１では、キャッチライト効果を付加した場合に不自然とならないと判定された場合にのみ、キャッチライト効果を付加することができる機能を有する。
ここで、「キャッチライト効果」とは、本実施形態においては、目（主に、瞳孔と虹彩からなる黒目）の中に写り込んで反射した光等の輝度の高い部分の輝度を強調して、生き生きとして輝きのある表情を演出する効果である。
【００２２】
図２は、キャッチライト効果付加の具体例を示す模式図である。
具体的には、図２に示すように、キャッチライト効果を付加する前の元画像において、効果を付加する対象（目において光が反射しているであろうと推測される高輝度の部分・輝度が飽和した部分）部分を含む画像全体の輝度を強調した画像と元画像を、マスク画像を用いてαブレンドして合成し、キャッチライト効果を付加した画像を生成する。
しかしながら、実際に光を反射していない箇所や、左右の目の異なる位置にキャッチライト効果を付加した場合には、不自然で違和感のある画像となってしまう。
【００２３】
そこで、本実施形態においては、以下の５つの条件に当てはまる場合には、キャッチライト効果は付加しないように構成する。
１）検出した顔が小さい場合
１）の場合は、キャッチライト効果を付加することの有効性が低いためである。
２）目検出の信頼性が低い場合
３）検出した顔の幅と検出した目の幅の割合が明らかに間違っている場合
２），３）の場合は、鼻の穴、ホクロ、メガネ、ペイント等の目と誤認する可能性のある対象を排除し、目を確実に検出するためである。
４）検出した目の中心座標（以下、「目検出座標」という。）の周辺の画素（以下、「目検出周辺画素」という。）に高輝度画素や輝度が飽和した画素（以下、所定の閾値以上の高輝度の画素と輝度が飽和した画素とを合わせて、「飽和画素」という。）がない場合
４）の場合は、光等を反射した様な箇所がなくキャッチライト効果を付加する対象がないためである。
５）目検出座標の周辺の飽和画素の分散が大きい場合（飽和している箇所が複数ある場合）
５）の場合は、飽和している箇所が複数あるため、対象を特定しづらく、また、複数の対象にキャッチライト効果を付加すると、不自然さが出てくるためである。
６）検出した左右の目においてキャッチライト効果を付加する候補の位置（飽和画素）が略同一の位置（本実施形態においては、左右の目各々を複数箇所に分割した領域における同一の領域内）でない場合
６）の場合は、左右の目におけるキャッチライト効果を付加する場所が異なると不自然になるからである。
なお、６）の補完処理として、飽和画素とみなせるだけの高輝度ではないがそれに準ずる所定の閾値以上の輝度の画素が、他方の目で飽和画素がある領域と同じ領域にある場合は、対象箇所にキャッチライト効果を付加する。
【００２４】
本実施形態の撮像装置１においては、上述した条件下では、キャッチライト効果を付加しないように構成することで、不自然なキャッチライト効果が付加されることを抑止することができる。
【００２５】
図３は、図１の撮像装置１の機能的構成のうち、キャッチライト効果付加処理を実行するための機能的構成を示す機能ブロック図である。
キャッチライト効果付加処理とは、キャッチライト効果を付加した場合に、不自然にならないと判定されたときにのみ、キャッチライト効果を付加する一連の処理をいう。
【００２６】
キャッチライト効果付加処理を実行する場合には、図３に示すように、ＣＰＵ１１において、検出処理部５１と、解析処理部５２と、評価処理部５３と、設定処理部５４と、領域分割処理部５５と、画像処理部５６と、が機能する。
【００２７】
また、記憶部１９の一領域には、画像記憶部７１と、マスク画像記憶部７２が設定される。
【００２８】
画像記憶部７１には、ストロボ発光部２１での発光と共に撮影された人の顔を含む撮像画像と、キャッチライト効果が付加された画像のデータと、が記憶される。
【００２９】
マスク画像記憶部７２には、キャッチライト効果を付加する部分の輝度を強調するために用いるマスク画像のデータが記憶される。
マスク画像は、図２に示すように、他の部分の輝度に影響がでないように対象の中心から端部に向かって徐々に透過率が下がるように構成された画像である。このようにマスク画像を構成することで、対象の中心部分の輝度が強調されると共に、キャッチライト効果を付加したくない対象以外の部分への影響は少なくすることができるようになる。
【００３０】
検出処理部５１は、顔や目の検出と検出結果の判定に係る処理を実行する。
具体的には、検出処理部５１は、例えば、顔検出及び目検出処理を実行することができる。顔検出及び目検出は、既存の周知の被写体検出技術を用いる。また、目検出に関しては、５点の座標（目（瞳孔）の中心・目尻・目元・上下の頂点の座標）と、人物の左右の目の間の長さが、測定された人物の顔の横幅の長さに対して所定の範囲内等から割り出される検出の信頼性を示す値が少なくとも出力することができる。また、検出処理部５１は、顔のサイズ、顔の横幅と左右の目の幅を画像から測定して検出する。
また、検出処理部５１は、検出した顔のサイズが所定の閾値以上であるか否かを判定する。
また、検出処理部５１は、目検出の信頼性が所定の閾値以上であるか否かを判定する。
また、検出処理部５１は、顔の横幅と左右の目の幅が所定の閾値以上であるか否かを判定する。
【００３１】
解析処理部５２は、検出した目の解析と解析結果の判定に係る処理を実行する。
具体的には、解析処理部５２は、例えば、目検出周辺画素の輝度を解析する。
また、解析処理部５２は、輝度が飽和する付近の輝度画素があるか否かを判定する。
【００３２】
評価処理部５３は、目における輝度画素の評価と評価結果の判定に係る処理を実行する。
具体的には、評価処理部５３は、例えば、飽和画素の分散を算出する。
また、評価処理部５３は、飽和画素の分散が所定の閾値以上か否かを判定して評価する。
【００３３】
設定処理部５４は、キャッチライト効果を付与する対象の設定に係る処理を実行する。
具体的には、設定処理部５４は、例えば、飽和画素の中心を、後述するデジタルキャッチライト効果処理の処理対象の中心となる座標（以下、「キャッチライト付加座標」という。）に設定することができる。
【００３４】
領域分割処理部５５は、目の複数領域への分割と、キャッチライト付加座標が属する領域の判定に係る処理を実行する。
【００３５】
具体的には、領域分割処理部５５は、例えば、目の領域を所定数（本実施形態においては、５つ）の領域に分割する。
【００３６】
ここで、目の領域分割の具体例について説明する。
図４は、目の領域分割の具体例を説明するための模式図である。なお、図中において、二点鎖線で囲まれる画素がキャッチライト付加座標とされた箇所を示す。
【００３７】
本実施形態において目は、図４（ａ）の例に示すように、瞳孔周辺を含む目の中心の領域Ｒ１と、目の中心の領域Ｒ１の外側であって、目の中心を交点とする４つ領域Ｒ２〜Ｒ５の合計５つの領域に分割される。
【００３８】
また、領域分割処理部５５は、左右の目のキャッチライト付加座標が同じ領域か否かを判定する。即ち、領域分割処理部５５は、設定された左右の目のキャッチライト付加座標において、目における略同一位置にキャッチライト付加座標が設定されている場合に、キャッチライト効果を付与するため、目を複数の領域に分割して、同一の領域に両目のキャッチライト付加座標が属しているかを判定する。
【００３９】
例えば、図４（ｂ）に示すように、右目のキャッチライト付加座標が領域Ｒ５に属しており、左目のキャッチライト付加座標が領域Ｒ１に属している場合には、両目のキャッチライト付加座標が異なる領域Ｒ５，Ｒ１に属していると判定する。この場合、結果として、当該キャッチライト付加座標に対してキャッチライト効果を付加しない判定がなされることになる。
【００４０】
また、領域分割処理部５５は、左右の目のキャッチライト付加座標が属する領域が異なっていた場合に、一方のキャッチライト付加座標の属する領域と同じ領域の高輝度の画素を再判定する。
両目のキャッチライト付加座標が異なる領域に属している場合には、さらに、輝度の高い側のキャッチライト付加座標が属する領域に対応する片側の目の領域において、所定の閾値以上の輝度の画素を判定する。図４（ｃ）に示すように、所定の閾値以上の輝度の画素（飽和画素に準じた輝度がある画素）があった場合には、同一の領域Ｒ１に両目のキャッチライト付加座標が属しているとして、キャッチライト付加座標に対してキャッチライト効果を付加するように構成する。即ち、それぞれのキャッチライト付加座標のうち、輝度の高いキャッチライト付加座標が属する領域と同一の他方の領域において、次点の他の飽和画素や飽和画素ではないが一定以上の輝度の画素が存在していれば、キャッチライト効果を付加する対象とする。その結果、両目の略同一の位置において、キャッチライト効果を付加することができるために、不自然でない画像の生成が可能となる。
【００４１】
画像処理部５６は、キャッチライト効果を目に対して付加する画像処理（以下、「デジタルキャッチライト処理」という。）を実行する。
本実施形態のデジタルキャッチライト処理では、キャッチライト付加座標を含む画像全体の輝度を強調した画像と元画像を、キャッチライト付加座標を中心にして、対応するマスク画像を用いてαブレンドして、合成する。これにより、キャッチライト付加座標の輝度を強調し、徐々に周辺に行くに従って輝度が下がるようなキャッチライト効果を付加した画像を生成することができる。なお、デジタルキャッチライト処理は、種々の手法で行うことができ、少なくとも、効果を付加する対象となる部位（本実施形態においては、目）において効果が付加されればよく、例えば、元画像において効果を付加する対象となる部位のみに対して輝度を強調して、キャッチライト付加座標を中心にしてマスク画像を用いてαブレンドするように構成してもよい。
【００４２】
図５は、図３の機能的構成を有する図１の撮像装置１が実行するキャッチライト効果付加処理の流れを説明するフローチャートである。
キャッチライト効果付加処理は、ユーザによる入力部１７へのキャッチライト効果付加処理開始の操作により開始される。キャッチライト効果付加処理にあたり、撮像部１６においてストロボ発光部２１での発光の下で撮影された人物の顔を含む撮像画像が記憶された画像記憶部７１から、当該撮像画像が取得される。当該撮像画像を処理対象の画像としてキャッチライト効果付加処理が実行されることになる。
【００４３】
ステップＳ１１において、検出処理部５１は、顔検出及び目検出処理を実行する。
【００４４】
ステップＳ１２において、検出処理部５１は、検出した顔サイズが所定の閾値以上であるか否かを判定する。
顔サイズが所定の閾値以上でない場合には、ステップＳ１２においてＮＯと判定されて、処理はステップＳ２５に進む。
顔サイズが所定の閾値以上の場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。
【００４５】
ステップＳ１３において、検出処理部５１は、目検出の信頼性が所定の閾値以上であるか否かを判定する。
目検出の信頼性が所定の閾値以上でない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ２５に進む。
目検出の信頼性が所定の閾値以上の場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
【００４６】
ステップＳ１４において、検出処理部５１は、検出した顔の横幅と左右の目の幅が所定の閾値以上であるか否かを判定する。
顔の横幅と左右の目の幅が所定の閾値以上でない場合には、ステップＳ１４においてＮＯと判定されて、処理はステップＳ２５に進む。
顔の横幅と左右の目の幅が所定の閾値以上の場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。
【００４７】
ステップＳ１５において、解析処理部５２は、目検出周辺画素を解析する。
【００４８】
ステップＳ１６において、解析処理部５２は、目検出周辺画素において、飽和画素（所定の輝度以上の高輝度の画素、又は輝度が飽和した画素）があるか否かを判定する。
飽和画素がない場合には、ステップＳ１６においてＮＯと判定されて、処理はステップＳ２５に進む。
飽和画素がある場合には、ステップＳ１６においてＹＥＳと判定されて、処理はステップＳ１７に進む。
【００４９】
ステップＳ１７において、評価処理部５３は、飽和画素の分散を算出する。
【００５０】
ステップＳ１８において、評価処理部５３は、飽和画素の分散が所定の閾値以上か否かを判定する。
飽和画素の分散が所定の閾値以上の場合には、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ２５に進む。
飽和画素の分散が所定の閾値以上でない場合には、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１９に進む。
【００５１】
ステップＳ１９において、設定処理部５４は、検出した左右の目において飽和画素の中心を、キャッチライト付加座標に設定する。
【００５２】
ステップＳ２０において、領域分割処理部５５は、検出した左右の目各々の領域を所定数（本実施形態においては、５箇所）に分割する。
【００５３】
ステップＳ２１において、領域分割処理部５５は、検出した左右の目のキャッチライト付加座標が同じ領域か否かを判定する。
左右の目のキャッチライト付加座標が同じ領域の場合には、ステップＳ２１においてＹＥＳと判定されて、処理はステップＳ２４に進む。
左右の目のキャッチライト付加座標が同じ領域でない場合には、ステップＳ２１においてＮＯと判定されて、処理はステップＳ２２に進む。
【００５４】
ステップＳ２２において、領域分割処理部５５は、検出した左右の目のうち輝度が高い一方のキャッチライト付加座標を含む領域を基準として他方の同じ領域を再判定する。
【００５５】
ステップＳ２３において、領域分割処理部５５は、キャッチライト付加座標となる高輝度画素を検出したか否かを判定する。
キャッチライト付加座標となる高輝度画素を検出しなかった場合には、ステップＳ２５においてＮＯと判定されて、処理はステップＳ２５に進む。
キャッチライト付加座標となる高輝度画素を検出した場合には、ステップＳ２３においてＹＥＳと判定されて、処理はステップＳ２４に進む。
【００５６】
ステップＳ２４において、画像処理部５６は、デジタルキャッチライト処理を実行させる。その結果、キャッチライト効果が付加された画像が生成される。そして、キャッチライト効果が付加された撮像画像は、画像記憶部７１に記憶されたり、出力部１８において表示出力されたりする。
その後、キャッチライト効果付加処理は終了する。
【００５７】
ステップＳ２５において、画像処理部５６は、デジタルキャッチライト処理を実行しない。その後、キャッチライト効果付加処理は終了する。
【００５８】
以上のように構成される撮像装置１は、検出処理部５１と、解析処理部５２と、画像処理部５６と、を備える。
検出処理部５１は、撮像画像内に含まれる人物の目における輝度が飽和している部分を含む高輝度部分を検出する。
解析処理部５２は、検出処理部５１により検出された人物の目における高輝度部分の位置の分散状態を評価する。
画像処理部５６は、解析処理部５２による評価結果に応じて、目において検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、目の高輝度部分がキャッチライト効果を付加する部分と見做すことができるか否かを適切に評価して強調する処理を行うため、容易に自然なキャッチライト効果を得ることができる。
【００５９】
画像処理部５６は、解析処理部５２により目における高輝度部分の位置が分散していない、又は所定の範囲内で分散していると評価された場合に、目において検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、高輝度部分の位置が分散状態を評価することで、容易に自然なキャッチライト効果を得ることができる。
【００６０】
検出処理部５１は、目における高輝度部分を、更に、左右の目各々独立に検出する。
解析処理部５２は、検出処理部５１により独立に検出された人物の左右各々の目における高輝度部分の位置の分散状態を更に評価する。
画像処理部５６は、解析処理部５２による左右各々の目における高輝度部分の位置の分散状態の評価結果に応じて、目に検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、左右各々の目における高輝度部分の位置の分散状態を評価することで、容易に自然なキャッチライト効果を得ることができる。
【００６１】
画像処理部５６は、領域分割処理部５５により左右各々の目における高輝度部分の位置が、各々の目内において同一とみなすことができると評価された場合に、目において検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、各々の目内において同一か否かを評価することで、容易に自然なキャッチライト効果を得ることができる。
【００６２】
画像処理部５６は、領域分割処理部５５により左右の目のうちのいずれか一方における高輝度部分の位置と同一とみなすことができる他方の位置に高輝度部分が存在しないと評価された場合であっても、当該同一とみなすことができる他方の位置に前記高輝度部分に準ずる輝度の部分が存在する場合には、目において検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、他方の位置に高輝度部分に準ずる部分が存在していた場合に、高輝度部分を強調するために、自然なキャッチライト効果を得ることができる。
【００６３】
また、検出処理部５１と、撮像画像内に含まれる人物の顔の横幅の長さと、人物の左右の目の間の長さと、を測定する。
検出処理部５１は、測定結果に基づき、測定の信頼性を評価する。
解析処理部５２は、撮像画像内に含まれる人物の目における高輝度部分を検出する。
画像処理部５６は、解析処理部５２による評価結果に応じて、目において検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、人物の顔の横幅の長さと、人物の左右の目の間の長さ等の人物の顔における目の特性を反映して、自然なキャッチライト効果を得ることができる。
【００６４】
検出処理部５１は、測定された人物の左右の目の間の長さが、測定された人物の顔の横幅の長さに対して所定の範囲内である場合に、測定の信頼性が高いと評価する。
画像処理部５６は、解析処理部５２により測定の信頼性が高いと評価された場合に、目に検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、信頼性の高いと評価された場合に高輝度部分を強調するために、容易に自然なキャッチライト効果を得ることができる。
【００６５】
画像処理部５６は、高輝度部分の中心から縁方向に向かって強度が弱くなるように、高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、処理対象部分以外の他の部分に影響を与えることなく、容易に自然なキャッチライト効果を得ることができる。
【００６６】
画像処理部５６は、処理対象の撮像画像を撮像する撮像部１６と共通の筐体に備えられたストロボ発光部２１により補助光が照射されている場合にのみ、目に検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、自機のストロボ発光部２１を用いた場合にのみキャッチライト効果を付加するように動作させることができる。
【００６７】
解析処理部５２は、撮像画像内に含まれる人物の目における高輝度部分を検出する。
画像処理部５６は、検出処理部５１により人物の目に高輝度部分が検出された場合に、当該高輝度部分の中心から縁方向に向かって強度が弱くなるように、検出した高輝度部分を強調する画像処理を施す。
これにより、撮像装置１においては、容易に自然なキャッチライト効果を得ることができる。詳細には、目の高輝度部分がキャッチライトと見做すことができるか否かを適切に評価して強調する処理を行うため、容易に自然なキャッチライト効果を得ることができる。
これにより、撮像装置１においては、目の高輝度部分がキャッチライト効果を付加すると見做すことができるか否かを適切に評価して強調する処理を行うため、容易に自然なキャッチライト効果を得ることができる。
【００６８】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６９】
上述の実施形態では、自機のストロボ発光部２１を用いて撮影された撮像画像に対してのみ、キャッチライト効果を付加するように構成してもよいし、撮影を行う部分との位置関係、補助光の強さが予め把握できている場合にも、キャッチライト効果を付加するように許容してもよい。例えば、撮像部１６等の撮影機能は、外部装置であってもよく、ストロボ発光部２１等の補助光の照射機能も、撮影機能を有する共通の筐体に備えられていれば外部装置で構成されていてもよい。
【００７０】
また、上述の実施形態では、左右の目の大きさに応じて、小さい方（遠いとみなされる方）の強調量を小さくするように強調量を変えるように構成してもよい。
【００７１】
また、上述の実施形態では、目の領域分割数を顔のサイズに関わらず一律に設定していたが、顔のサイズや目のサイズに応じて、分割数を増減したり、分割する領域の形状を変えたりするように構成してもよい。
【００７２】
また、上述の実施形態では、キャッチライト効果を付加する場所として目のうち、瞳孔部分と虹彩部分での高輝度部分を対象としたがこれに限られず、白目部分を範囲として広げて、眼球表面全体に対して、キャッチライト効果を付加するように構成してもよい。
【００７３】
また、上述の実施形態では、人物の目に対して、キャッチライト効果を付加することを想定しているが、これに限られず、犬猫等の動物や生き物の目を対象にするように構成してもよい。この場合、対象物のサイズや目の構造に応じて分割領域や対象範囲を変更するように構成する。
【００７４】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、キャッチライト効果付加処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、スマートウォッチ、ポータブルゲーム機等に適用可能である。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【００７６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００７９】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８０】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記検出手段により検出された前記目における高輝度部分の位置の分散状態を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記画像処理手段は、前記評価手段により前記目における高輝度部分の位置が分散していない、又は所定の範囲内で分散していると評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記検出手段は、前記目における高輝度部分を、更に、左右の目を各々独立に検出し、
前記評価手段は、前記検出手段により独立に検出された人物の左右各々の目における高輝度部分の位置の分散状態を更に評価し、
前記画像処理手段は、前記評価手段による左右各々の目における高輝度部分の位置の分散状態の評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記画像処理手段は、前記評価手段により左右各々の目における高輝度部分の位置が、各々の目内において同一とみなすことができると評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記画像処理手段は、前記評価手段により左右の目のうちのいずれか一方における高輝度部分の位置と同一とみなすことができる他方の位置に高輝度部分が存在しないと評価された場合であっても、当該同一とみなすことができる他方の位置に前記高輝度部分に準ずる輝度の部分が存在する場合には、目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記撮像画像内に含まれる人物の顔の横幅の長さと、人物の左右の目の間の長さと、を測定する測定手段と、
前記測定手段による測定結果に基づき、測定の信頼性を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記７］
前記評価手段は、測定された人物の左右の目の間の長さが、測定された人物の顔の横幅の長さに対して所定の範囲内である場合に、測定の信頼性が高いと評価し、
前記画像処理手段は、前記評価手段により測定の信頼性が高いと評価された場合に、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記画像処理手段は、前記高輝度部分中心から縁方向に向かって強度が弱くなるように、高輝度部分を強調する画像処理を施す、
ことを特徴とする付記１乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記画像処理手段は、処理対象の撮像画像を撮像する撮像手段と共通の筐体に備えられた補助光照射手段により補助光が照射されている場合にのみ、前記目において検出した高輝度部分を強調する画像処理を施す、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出手段と、
前記検出手段により前記目に高輝度部分が検出された場合に、当該高輝度部分の中心から縁方向に向かって強度が弱くなるように、検出した高輝度部分を強調する画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記１１］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記検出処理により検出された前記目における高輝度部分の位置の分散状態を評価する評価処理と、
前記評価処理による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理と、
を含む備えることを特徴とする画像処理方法。
［付記１２］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記撮像画像内に含まれる人物の顔の横幅の長さと、人物の左右の目の間の長さと、を測定する測定処理と、
前記測定処理による測定結果に基づき、測定の信頼性を評価する評価処理と、
前記評価処理による評価結果に応じて、前記目において検出した高輝度部分を強調する画像処理を施す画像処理と、
を含むことを特徴とする画像処理方法。
［付記１３］
撮像画像内に含まれる人物の目における高輝度部分を検出する検出処理と、
前記検出処理により前記目に高輝度部分が検出された場合に、当該高輝度部分の中心から縁方向に向かって強度が弱くなるように、検出した高輝度部分を強調する画像処理を施す画像処理と、
を含むことを特徴とする画像処理方法。
【符号の説明】
【００８１】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ストロボ発光部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・検出処理部，５２・・・解析処理部，５３・・・評価処理部，５４・・・設定処理部，５５・・・領域分割処理部，５６・・・画像処理部，７１・・・画像記憶部，７２・・・マスク画像記憶部
【図１】
2018098744.tif 000003
【図２】
2018098744.tif 000004
【図３】
2018098744.tif 000005
【図４】
2018098744.tif 000006
【図５】
2018098744.tif 000007
【図６】
2018098744.tif 000008