(57)【要約】  機械的な駆動機構を持たないような汎用的な撮像装置においても、テカリ成分が軽減された良好な画像を得ることができる信号処理装置である。撮像装置は、入力画像信号を取得する画像取得部と、入力画像信号を入力して信号処理を行い、出力画像信号を出力する信号処理部と、出力画像信号を媒体に記憶する記憶部と、を備える。前記信号処理部は、入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部１と、入力輝度信号と平滑化輝度とを比較し、入力輝度信号が平滑化輝度より大きい場合は入力輝度信号と平滑化輝度との差分を第１の割合で縮小し、入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部２と、を含む。
2016151850.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を取得する画像取得部と、
前記入力画像信号を入力して信号処理を行い、出力画像信号を出力する信号処理部と、
前記出力画像信号を媒体に記憶する記憶部と、
を備え、
前記信号処理部は、
前記入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部と、
前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部と、
を含む、撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記平滑化輝度算出部は、前記入力画像信号から平滑化範囲を決定する平滑化範囲決定部を有し、前記入力画像信号において、前記平滑化範囲決定部の出力する前記平滑化範囲内の前記入力輝度信号を平滑化して前記平滑化輝度を算出する、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記平滑化範囲決定部は、前記入力画像信号から判定領域を検出する判定領域検出部を有し、前記入力画像信号において、前記判定領域検出部で検出された判定領域の第１の閾値より高い輝度信号を持つ画素数と全画素数に対する割合とを算出し、前記割合が大きいほど、大きい平滑化範囲とする、撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記判定領域検出部は、前記入力画像信号に含まれる全画素を前記判定領域として出力する、撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記判定領域検出部は、前記入力画像信号から肌領域を検出する肌領域検出部を有し、前記入力画像信号において、前記肌領域検出部で検出された肌領域の重心位置を算出し、前記重心位置を中心とし、一辺が第１の長さの矩形領域を前記判定領域として出力する、撮像装置。
【請求項６】
請求項３に記載の撮像装置において、
前記判定領域検出部は、前記入力画像信号から肌領域を検出する肌領域検出部と、前記入力画像信号から顔領域を出力する顔認識部と、を有し、前記肌領域検出部で検出された肌領域と前記顔認識部から出力された顔領域とが重複する領域を前記判定領域として出力する、撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記撮像装置は、さらに、前記信号処理部の出力する出力画像信号から露光制御量を算出し、前記画像取得部を制御する露光制御部を備える、撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記撮像装置は、さらに、前記画像取得部、前記信号処理部、前記記憶部および前記露光制御部を操作する外部入力制御部を備える、撮像装置。
【請求項９】
入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部と、
前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部と、
を備える、信号処理装置。
【請求項１０】
請求項９に記載の信号処理装置において、
前記平滑化輝度算出部は、前記入力画像信号から平滑化範囲を決定する平滑化範囲決定部を有し、前記入力画像信号において、前記平滑化範囲決定部の出力する前記平滑化範囲内の前記入力輝度信号を平滑化して前記平滑化輝度を算出する、信号処理装置。
【請求項１１】
請求項１０に記載の信号処理装置において、
前記平滑化範囲決定部は、前記入力画像信号から判定領域を検出する判定領域検出部を有し、前記入力画像信号において、前記判定領域検出部で検出された判定領域の第１の閾値より高い輝度信号を持つ画素数と全画素数に対する割合とを算出し、前記割合が大きいほど、大きい平滑化範囲とする、信号処理装置。
【請求項１２】
請求項１１に記載の信号処理装置において、
前記判定領域検出部は、前記入力画像信号に含まれる全画素を前記判定領域として出力する、信号処理装置。
【請求項１３】
請求項１１に記載の信号処理装置において、
前記判定領域検出部は、前記入力画像信号から肌領域を検出する肌領域検出部を有し、前記入力画像信号において、前記肌領域検出部で検出された肌領域の重心位置を算出し、前記重心位置を中心とし、一辺が第１の長さの矩形領域を前記判定領域として出力する、信号処理装置。
【請求項１４】
請求項１１に記載の信号処理装置において、
前記判定領域検出部は、前記入力画像信号から肌領域を検出する肌領域検出部と、前記入力画像信号から顔領域を出力する顔認識部と、を有し、前記肌領域検出部で検出された肌領域と前記顔認識部から出力された顔領域とが重複する領域を前記判定領域として出力する、信号処理装置。
【請求項１５】
請求項９乃至１４のいずれか一項に記載の信号処理装置を用いた肌診断システムであって、
前記入力画像信号を取得する画像取得部と通信部とを含む携帯端末装置と、
前記携帯端末装置に取り付けられ、肌の接写を行うためのレンズと光源とを含む外付け装置と、
前記信号処理装置を含む情報処理装置と、
前記携帯端末装置と前記情報処理装置とが接続されるネットワークと、
を備え、
前記携帯端末装置は、前記外付け装置を介して前記肌の接写画像を取得して、前記肌の接写画像を前記ネットワークを介して前記情報処理装置に転送し、
前記情報処理装置は、前記肌の接写画像を前記ネットワークを通じて取得し、前記信号処理装置を制御して得られる画像より肌診断データを生成し、その結果を前記ネットワークを介して前記携帯端末装置に転送する、肌診断システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、信号処理装置、および肌診断システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開平７−３２２１０３号公報（特許文献１）がある。該公報には、「［目的］発熱が少なく肌にソフトであり、小形化に有効な装置を得る。［構成］ケースの内部には撮影窓２２に対向してレンズ２３、撮像素子２５、撮影窓側を照明するサークライン蛍光灯４２が設けられる。また透明スライドパイプ３１が設けられる。このパイプには遮光リング３３が設けられている。この遮光リング３３は、透明スライドパイプが前記軸方向へ移動するのに応答して、照明光の進路Ａ、進路Ｂのいずれかを実現する。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３２２１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ヒトの肌を撮影するにあたり、照明環境や肌の状態によっては、肌表面における反射光の影響が強く表れ、画像中に本来の色とは異なり強い明るさを持った成分を生じることがある。この成分を「テカリ」と呼ぶ。【０００５】
前記特許文献１では、透明スライドパイプや遮光リングが設けられていることで、照明が均一である良好な画像を得ることが可能であるが、機械的な駆動機構を有する専用の装置を用いる構成をとっているため、装置の耐久性や汎用性に対して考慮されていない。【０００６】
本発明の目的は、機械的な駆動機構を持たないような汎用的な撮像装置においても、テカリ成分が軽減された良好な画像を得ることができる信号処理装置を提供することである。【０００７】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００８】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。【０００９】
一実施の形態における撮像装置は、入力画像信号を取得する画像取得部と、前記入力画像信号を入力して信号処理を行い、出力画像信号を出力する信号処理部と、前記出力画像信号を媒体に記憶する記憶部と、を備える。前記信号処理部は、前記入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部と、前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部と、を含む。【００１０】
一実施の形態における信号処理装置は、入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部と、前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部と、を備える。【００１１】
一実施の形態における肌診断システムは、前記信号処理装置を用いた肌診断システムであって、前記入力画像信号を取得する画像取得部と通信部とを含む携帯端末装置と、前記携帯端末装置に取り付けられ、肌の接写を行うためのレンズと光源とを含む外付け装置と、前記信号処理装置を含む情報処理装置と、前記携帯端末装置と前記情報処理装置とが接続されるネットワークと、を備える。前記携帯端末装置は、前記外付け装置を介して前記肌の接写画像を取得して、前記肌の接写画像を前記ネットワークを介して前記情報処理装置に転送する。前記情報処理装置は、前記肌の接写画像を前記ネットワークを通じて取得し、前記信号処理装置を制御して得られる画像より肌診断データを生成し、その結果を前記ネットワークを介して前記携帯端末装置に転送する。
【発明の効果】
【００１２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。【００１３】
一実施の形態によれば、機械的な駆動機構を持たないような汎用的な撮像装置においても、テカリ成分が軽減された良好な画像を得ることができる信号処理装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１における信号処理装置の全体構成の一例を説明する構成図である。
【図２】本発明の実施の形態１における信号処理装置で用いられる、平滑化輝度算出部の内部構成の一例を説明する構成図である。
【図３】本発明の実施の形態１における信号処理装置で用いられる、平滑化範囲決定部の内部構成の一例を説明する構成図である。
【図４】本発明の実施の形態１における信号処理装置で用いられる、平滑化範囲決定部の第１の構成例を説明する構成図である。
【図５】本発明の実施の形態１における信号処理装置で用いられる、平滑化範囲決定部の第２の構成例を説明する構成図である。
【図６】本発明の実施の形態１の信号処理装置で用いられる、平滑化範囲決定部の第１の構成例において、高輝度信号割合と平滑化範囲面積との関係を説明する説明図である。
【図７】本発明の実施の形態１における信号処理装置で用いられる、判定領域検出部の第１の構成例を説明する構成図である。
【図８】本発明の実施の形態１における信号処理装置で用いられる、判定領域検出部の第１の構成例に含まれる、重心位置算出部の内部構成の一例を説明する構成図である。
【図９】本発明の実施の形態１における信号処理装置で用いられる、肌領域検出部の内部構成の一例を説明する構成図である。
【図１０】本発明の実施の形態３における肌診断システムで用いられる、肌領域の検出にあたって低輝度信号である画素を除外する機能を加えた肌領域検出部の内部構成の一例を説明する構成図である。
【図１１】本発明の実施の形態１における信号処理装置で用いられる、判定領域検出部の第２の構成例を説明する構成図である。
【図１２】本発明の実施の形態１における信号処理装置において、内部処理の一例を説明するフローチャートである。
【図１３】本発明の実施の形態１における信号処理装置において、補正前輝度信号と補正後輝度信号との入出力特性の一例を説明する説明図である。
【図１４Ａ】本発明の実施の形態１における信号処理装置において、補正前輝度信号と平滑化輝度との位置に対する輝度分布の一例を説明する説明図である。
【図１４Ｂ】本発明の実施の形態１における信号処理装置において、補正前輝度信号と平滑化輝度とに加え、補正後輝度信号の位置に対する輝度分布の一例を説明する説明図である。
【図１５】本発明の実施の形態１における信号処理装置において、平滑化演算部の動作の一例を説明する説明図である。
【図１６】本発明の実施の形態３における肌診断システムで用いられる、入力画像から露光不良を判定する機能を加えた平滑化範囲決定部の内部構成の一例を説明する構成図である。
【図１７】本発明の実施の形態１における信号処理装置において、ＨＳＶ色空間の一例を説明する説明図である。
【図１８】本発明の実施の形態１における信号処理装置で用いられる、肌領域の検出に使用する肌色の定義例を説明する説明図である。
【図１９】本発明の実施の形態２における撮像装置の全体構成の一例を説明する構成図である。
【図２０】本発明の実施の形態２において、露光制御部と外部入力制御部とを搭載した撮像装置の全体構成の一例を説明する構成図である。
【図２１Ａ】本発明の実施の形態２において、テカリ成分を含む被写体に対して何れの補正も行わずに取得した画像の一例を説明する説明図である。
【図２１Ｂ】本発明の実施の形態２において、テカリ成分を含む被写体に対して露光制御のみを施して取得した画像の一例を説明する説明図である。
【図２１Ｃ】本発明の実施の形態２において、テカリ成分を含む被写体に対して実施の形態２の撮像装置を使用して取得した画像の一例を説明する説明図である。
【図２２】本発明の実施の形態２における撮像装置において、フィードバック制御を行う内部処理の一例を説明するフローチャートである。
【図２３】本発明の実施の形態３における肌診断システムの全体構成の一例を説明する構成図である。
【図２４】本発明の実施の形態３における肌診断システムで用いられる、外付け装置の内部構成の一例を説明する断面図である。
【図２５】本発明の実施の形態３における肌診断システムで用いられる、クラウドサーバーの内部構成の一例を説明する構成図である。
【図２６Ａ】本発明の実施の形態３における肌診断システムにおけるスマートフォンを使用して取得した肌画像の一例を説明する説明図である。
【図２６Ｂ】本発明の実施の形態３における肌診断システムで用いられる、信号処理部から出力される肌画像の一例を説明する説明図である。
【発明を実施するための形態】
【００１５】
以下の実施の形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明などの関係にある。また、以下の実施の形態において、要素の数など（個数、数値、量、範囲などを含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合などを除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。
【００１６】
さらに、以下の実施の形態において、その構成要素（要素ステップなども含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素などの形状、位置関係などに言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合などを除き、実質的にその形状などに近似または類似するものなどを含むものとする。このことは、上記数値および範囲についても同様である。
［実施の形態の概要］
【００１７】
まず、実施の形態の概要について説明する。本実施の形態の概要では、一例として、括弧内に各実施の形態の対応する構成要素の符号などを付して説明する。
【００１８】
一実施の形態における撮像装置は、入力画像信号を取得する画像取得部（１０１）と、前記入力画像信号を入力して信号処理を行い、出力画像信号を出力する信号処理部（１０２）と、前記出力画像信号を媒体に記憶する記憶部（１０３）と、を備える。前記信号処理部は、前記入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部（１）と、前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部（２）と、を含む。
【００１９】
一実施の形態における信号処理装置は、入力画像信号に含まれる各画素信号の周辺において、第１の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出する平滑化輝度算出部（１）と、前記入力輝度信号と前記平滑化輝度とを比較し、前記入力輝度信号が前記平滑化輝度より大きい場合は前記入力輝度信号と前記平滑化輝度との差分を第１の割合で縮小し、前記入力輝度信号と置き換えて出力輝度信号を生成する輝度信号処理部（２）と、を備える。
【００２０】
一実施の形態における肌診断システムは、前記信号処理装置を用いた肌診断システムであって、前記入力画像信号を取得する画像取得部と通信部とを含む携帯端末装置（４０）と、前記携帯端末装置に取り付けられ、肌の接写を行うためのレンズと光源とを含む外付け装置（３０）と、前記信号処理装置を含む情報処理装置（６０）と、前記携帯端末装置と前記情報処理装置とが接続されるネットワーク（５０）と、を備える。前記携帯端末装置は、前記外付け装置を介して前記肌の接写画像を取得して、前記肌の接写画像を前記ネットワークを介して前記情報処理装置に転送する。前記情報処理装置は、前記肌の接写画像を前記ネットワークを通じて取得し、前記信号処理装置を制御して得られる画像より肌診断データを生成し、その結果を前記ネットワークを介して前記携帯端末装置に転送する。
【００２１】
以下、上述した実施の形態の概要に基づいた各実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
［実施の形態１］
【００２２】
実施の形態１における信号処理装置について、図１〜図１８を用いて説明する。図１は、実施の形態１における信号処理装置の全体構成を説明するための図である。また、図２〜図１８は、実施の形態１における信号処理装置の内部構成および内部動作を説明するための図である。
＜信号処理装置＞
【００２３】
本実施の形態１における信号処理装置の構成および動作について、図１を用いて説明する。図１は、本実施の形態１における信号処理装置の全体構成の一例を説明する構成図である。
【００２４】
本実施の形態１における信号処理装置は、図１に示す通り、平滑化輝度算出部１と、輝度信号処理部２とから構成されている。輝度信号処理部２は、輝度／色差信号分離部２１と、比較部２２と、減算部２３と、ゲイン乗算部２４と、加算部２５と、輝度信号スイッチング部２６と、輝度／色差信号統合部２７とから構成されている。
【００２５】
平滑化輝度算出部１は、入力画像信号が入力され、この入力画像信号に含まれる各画素信号の周辺において、所定の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を出力する手段である。
【００２６】
輝度信号処理部２において、輝度／色差信号分離部２１は、入力画像信号が入力され、この入力画像信号を入力輝度信号と色差信号とに分離し、入力輝度信号と色差信号とを出力する手段である。比較部２２は、輝度／色差信号分離部２１からの入力輝度信号と、平滑化輝度算出部１からの平滑化輝度とが入力され、入力輝度信号と平滑化輝度とを比較し、比較結果を出力する手段である。
【００２７】
減算部２３は、輝度／色差信号分離部２１からの入力輝度信号と、平滑化輝度算出部１からの平滑化輝度とが入力され、減算により入力輝度信号と平滑化輝度との差分を出力する手段である。ゲイン乗算部２４は、減算部２３からの入力輝度信号と平滑化輝度との差分が入力され、この差分を所定の割合で縮小し、所定の割合で縮小された差分を出力する手段である。
【００２８】
加算部２５は、ゲイン乗算部２４からの所定の割合で縮小された差分と、平滑化輝度算出部１からの平滑化輝度とが入力され、平滑化輝度に所定の割合で縮小された差分を加算して第１の輝度信号を出力する手段である。輝度信号スイッチング部２６は、加算部２５からの第１の輝度信号と、輝度／色差信号分離部２１からの入力輝度信号と同じ値である第２の輝度信号が入力され、比較部２２からの比較結果に基づいて、前記第１の輝度信号と前記第２の輝度信号の一方を選択して出力輝度信号として出力する手段である。
【００２９】
輝度／色差信号統合部２７は、輝度信号スイッチング部２６からの出力輝度信号と、輝度／色差信号分離部２１からの色差信号とが入力され、出力輝度信号と色差信号とを統合して出力画像信号として出力する手段である。
【００３０】
以上のように構成される信号処理装置の動作は、以下の通りである。先ず、平滑化輝度算出部１に、入力画像信号が入力される。平滑化輝度算出部１は、入力画像信号に含まれる各画素信号の周辺において、所定の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を出力する。平滑化輝度は、入力画像信号と共に、次いで輝度信号処理部２に入力される。輝度信号処理部２に入力された入力画像信号は、先ず、輝度／色差信号分離部２１にて入力輝度信号と色差信号とに分離される。次いで、比較部２２において入力輝度信号と平滑化輝度とを比較する。
【００３１】
例えば、入力輝度信号が平滑化輝度より大きい場合は、減算部２３より出力される、入力輝度信号と平滑化輝度との差分を、ゲイン乗算部２４において所定の割合で縮小し、加算部２５において平滑化輝度に足し戻された第１の輝度信号が、輝度信号スイッチング部２６によって選択される。一方で、入力輝度信号が平滑化輝度より大きくない場合は、輝度信号スイッチング部２６は、入力輝度信号と同じ値である第２の輝度信号を出力輝度信号として選択する。そして、出力輝度信号と色差信号とは、輝度／色差信号統合部２７において統合され、出力画像信号が出力される。
【００３２】
各々の構成要素の詳細な動作は、後述（図２〜図１８）する。
【００３３】
本実施の形態１における信号処理装置において、輝度信号処理部２は、入力画像信号のテカリ成分のみ除去することを目的とした信号処理手段である。輝度信号処理部２は、入力画像信号において、周辺画素に対して相対的に高い輝度を持つ画素信号を補正対象とすることで、輝度の絶対値に依らずにテカリ除去を目的とした輝度信号処理を施すことができ、不均一な光環境において取得され輝度のムラが生じているような入力画像信号についても、良好な画像を得る。平滑化輝度算出部１は、輝度信号処理部２が行う信号処理の強度や対象とする画素の範囲を決定付ける手段であり、被写体や撮影条件に適したテカリ除去を行うことが可能となる。
＜平滑化輝度算出部＞
【００３４】
次いで、図１に示す、本実施の形態１における信号処理装置について、各々の構成要素の詳細な構成および動作を説明する。先ず、輝度信号処理部２において、入力画像信号の各画素信号が、周辺画素に対して相対的に高い輝度を持つか否かを判定する基準とするための平滑化輝度を、入力画像信号の各画素信号について算出する、平滑化輝度算出部１の構成および動作について説明する。
【００３５】
図２は、平滑化輝度算出部１の内部構成の一例を説明する構成図である。平滑化輝度算出部１は、図２に示す通り、平滑化範囲決定部３と、入力輝度信号抽出部１１と、平滑化演算部１２とから構成されている。
【００３６】
平滑化輝度算出部１に入力された入力画像信号は、平滑化範囲決定部３と、入力輝度信号抽出部１１とに入力される。平滑化範囲決定部３は、入力画像信号の各画素の周辺画素において輝度信号の平滑化を行うための、平滑化範囲を出力する。入力輝度信号抽出部１１は、平滑化を行うための入力輝度信号を、入力画像信号から抽出して出力する。平滑化演算部１２は、平滑化範囲決定部３から出力された平滑化範囲に含まれる各画素の、入力輝度信号抽出部１１から出力された入力輝度信号を平滑化し、平滑化輝度として出力する。
【００３７】
図１５は、平滑化演算部１２の動作の一例を説明する説明図である。Ｆ１５１はテカリ成分を含む画像の一例を示し、また、Ｆ１５２はテカリ成分と視認される高輝度領域、Ｆ１５３は信号処理対象の一画素（注目画素）、Ｆ１５４は平滑化範囲の一例を示す。
【００３８】
図１５に示す例では、注目画素Ｆ１５３は高輝度領域Ｆ１５２の内部にあるため、高輝度領域Ｆ１５２の周辺画素と比べると相対的に高い輝度を持つ。したがって、注目画素Ｆ１５３の周囲に、高輝度領域のみならず周辺画素も多く含むように平滑化範囲Ｆ１５４を定義すると、平滑化範囲Ｆ１５４に含まれる画素より算出する平滑化輝度は、注目画素Ｆ１５３の輝度信号より小さい値となる。
【００３９】
以上のような構成をとることにより、輝度信号処理部２において、入力画像信号の各画素信号が、周辺画素に対して相対的に高い輝度を持つか否かを判定する基準とするための平滑化輝度を、入力画像信号の各画素信号について算出する信号処理装置を実現可能である。
＜平滑化範囲決定部＞
【００４０】
続いて、図２に示す平滑化輝度算出部１に含まれ、入力画像信号からテカリ成分の程度に適した平滑化範囲を決定するための平滑化範囲決定部３の構成および動作について説明する。
【００４１】
図３は、平滑化範囲決定部３の内部構成の一例を説明する構成図である。平滑化範囲決定部３は、図３に示す通り、判定領域検出部４と、平滑化範囲決定部３１とから構成されている。判定領域検出部４は、必ずしも搭載する必要はない。
【００４２】
平滑化範囲決定部３に入力された入力画像信号は、判定領域検出部４と、平滑化範囲決定部３１とに入力される。判定領域検出部４は、入力画像信号から、平滑化範囲を決定するために使用する判定領域を出力する。平滑化範囲決定部３１は、判定領域検出部４から出力された判定領域の内部において、入力画像信号の情報に基づき、平滑化演算部１２に入力するための平滑化範囲を出力する。判定領域検出部４を搭載しない場合は、入力画像信号に含まれる全画素分の領域が、判定領域として平滑化範囲決定部３１に入力される。この場合、特定の被写体や撮影条件に限定せず、入力画像信号全体のテカリ成分に基づいて平滑化範囲を決定することが可能となる。
【００４３】
図４は、平滑化範囲決定部３１の第１の構成例を説明する構成図である。また、図６は、平滑化範囲決定部３１の第１の構成例において、高輝度信号割合と平滑化範囲面積との関係を説明する説明図である。平滑化範囲決定部３１の第１の構成例は、図４に示す通り、入力輝度信号抽出部３１１と、高輝度信号割合算出部３１２と、平滑化範囲出力部３１３とから構成されている。ここで、入力輝度信号抽出部３１１は、図２に示す入力輝度信号抽出部１１と同等である。
【００４４】
平滑化範囲決定部３１に入力された入力画像信号は、入力輝度信号抽出部３１１に入力される。入力輝度信号抽出部３１１は、高輝度信号の割合を算出するための入力輝度信号を、入力画像信号から抽出して出力する。一方で、判定領域検出部４より出力され、平滑化範囲決定部３１に入力された判定領域は、高輝度信号割合算出部３１２に入力される。高輝度信号割合算出部３１２は、判定領域に含まれる全画素分の入力輝度信号を使用し、輝度に関する所定の閾値に基づき、高輝度信号の割合を算出する。ここでの高輝度信号の割合とは、判定領域全体におけるテカリ成分の程度に相当する。
【００４５】
高輝度信号割合算出部３１２より出力される高輝度信号割合は、平滑化範囲出力部３１３に入力される。平滑化範囲出力部３１３は、図６に示すように、高輝度信号割合が大きくなるほど、大きい平滑化範囲面積を出力する。これにより、判定領域全体におけるテカリ成分の程度に適した範囲で、輝度信号の平滑化を行うことが可能となる。平滑化範囲出力部３１３において出力された平滑化範囲が、平滑化範囲決定部３１より出力される。
【００４６】
図５は、平滑化範囲決定部３１の第２の構成例を説明する構成図である。平滑化範囲決定部３１の第２の構成例は、図５に示す通り、入力輝度信号抽出部３１１と、高輝度信号割合判定部３１４と、平滑化範囲スイッチング部３１５とから構成されている。
【００４７】
図５に示す、平滑化範囲決定部３１の第２の構成例は、前記図４に示す第１の構成例を簡略化した構成である。高輝度信号割合判定部３１４は、入力される判定領域に含まれる全画素分の入力輝度信号より、輝度や比率に関する複数の所定の閾値に基づき、判定領域のテカリ成分の程度を二値によって判定し、判定結果を出力する。判定結果は、平滑化範囲スイッチング部３１５に入力される。
【００４８】
例えば、平滑化範囲スイッチング部３１５において、第１の平滑化範囲が第２の平滑化範囲より大きいとすると、判定結果が真であった場合、すなわちテカリ成分の程度が大きいと判定した場合は、第１の平滑化範囲が選択される。一方で、判定結果が偽であった場合、すなわちテカリ成分の程度が小さいと判定した場合は、第２の平滑化範囲が選択される。これにより、判定領域全体におけるテカリ成分の程度に基づき、二種類の平滑化範囲から一種類を選択し、輝度信号の平滑化を行うことが可能となる。平滑化範囲スイッチング部３１５において選択された平滑化範囲が、平滑化範囲決定部３１より出力される。
【００４９】
図４、図５に示す、平滑化範囲決定部３１の構成例は、平滑化範囲を決定する手段の例であり、これに限定されるものではない。
【００５０】
以上のような構成をとることにより、入力画像信号からテカリ成分の程度に適した平滑化範囲を決定する信号処理装置を実現可能である。
＜判定領域検出部＞
【００５１】
続いて、図３に示す平滑化範囲決定部３に含まれ、入力画像信号から平滑化範囲を決定するために使用する判定領域として、被写体や撮影条件に適した判定領域を出力する、判定領域検出部４の構成および動作について説明する。
【００５２】
図７は、判定領域検出部４の第１の構成例を説明する構成図である。判定領域検出部４の第１の構成例は、図７に示す通り、肌領域検出部５と、重心位置算出部４１と、矩形領域出力部４２とから構成されている。
【００５３】
判定領域検出部４に入力された入力画像信号は、肌領域検出部５と、重心位置算出部４１とに入力される。肌領域検出部５は、入力画像信号に含まれる肌領域を検出し、出力する。重心位置算出部４１は、入力画像信号における肌領域について、重心位置を算出し、出力する。矩形領域出力部４２は、重心位置を入力し、重心位置を中心として所定の長さを一辺とする矩形領域を定義し、出力する。判定領域検出部４の第１の構成例は、矩形領域を判定領域として出力する。
【００５４】
図８は、判定領域検出部４の第１の構成例に含まれる、重心位置算出部４１の内部構成の一例を説明する構成図である。重心位置算出部４１は、図８に示す通り、入力輝度信号抽出部４１１と、二値画像生成部４１２と、二値画像重心位置算出部４１３とから構成されている。ここで、入力輝度信号抽出部４１１は、図５に示す入力輝度信号抽出部３１１と同等である。
【００５５】
重心位置算出部４１に入力された入力画像信号は、入力輝度信号抽出部４１１に入力される。入力輝度信号抽出部４１１は、二値画像を生成するための入力輝度信号を、入力画像信号から抽出して出力する。二値画像を生成するための入力輝度信号は、重心位置算出部４１に入力された肌領域とともに、二値画像生成部４１２に入力される。二値画像生成部４１２は、入力輝度信号が肌領域に含まれている場合は白色、含まれていない場合は黒色とするような二値輝度信号Ｙｂを出力する。二値画像重心位置算出部４１３は、二値輝度信号Ｙｂを入力し、数１に基づいて重心位置ｐｃを算出する。ここで、ｐは各画素の位置、ｐｃは重心位置、Ｙｂは二値輝度信号を示す。
【００５６】
【数１】
2016151850.tif 000003
【００５７】
肌領域が円形に近いような場合、二値画像重心位置算出部４１３によって出力される重心位置は、肌領域の中心付近に位置する。したがって、図７に示すように判定領域検出部４を構成する場合、肌領域の縁から離れた中心付近の領域を広く使用して、テカリの程度を判定することが可能となる。
【００５８】
図１１は、判定領域検出部４の第２の構成例を説明する構成図である。判定領域検出部４は、図１１に示す通り、肌領域検出部５と、顔認識部６と、共通領域出力用論理積演算部４３とから構成されている。
【００５９】
判定領域検出部４に入力された入力画像信号は、肌領域検出部５と、顔認識部６とに入力される。肌領域検出部５は、入力画像信号に含まれる肌領域を検出する手段であり、入力した画素が肌領域である場合は真を、そうでない場合は偽を出力する。一方で、顔認識部６は、入力画像信号から顔領域を検出する手段であり、入力した画素が顔領域である場合は真を、そうでない場合は偽を出力する手段であって、いかなる既存技術によって構成されてもよい。肌領域検出部５が出力する肌領域と、顔認識部６が出力する顔領域は、共通領域出力用論理積演算部４３に入力され、両者の論理積による共通領域を判定領域として出力する。
【００６０】
被写体として顔が含まれる画像を入力し、顔に生じるテカリ成分の除去に主眼を置く場合、図１１に示すように判定領域検出部４を構成することで、顔に生じるテカリ成分の程度に適した信号処理が実現可能である。
【００６１】
以上のような構成をとることにより、入力画像信号から平滑化範囲を決定するために使用する判定領域として、被写体や撮影条件に適した判定領域を出力する信号処理装置を実現可能である。
＜肌領域検出部＞
【００６２】
続いて、図７〜図１１に示す判定領域検出部４に含まれ、入力画像信号から肌領域を検出する、肌領域検出部５の構成および動作について説明する。
【００６３】
図９は、肌領域検出部５の内部構成の一例を説明する構成図である。また、図１７は、ＨＳＶ色空間の一例を説明する説明図である。また、図１８は、肌領域の検出に使用する肌色の定義例を説明する説明図である。肌領域検出部５は、図９に示す通り、色信号抽出部５１と、色信号Ｒ用平滑化フィルタ５２と、色信号Ｇ用平滑化フィルタ５３と、色信号Ｂ用平滑化フィルタ５４と、色相算出部５５と、肌色判定部５６とから構成されている。
【００６４】
肌領域検出部５に入力された入力画像信号は、色信号抽出部５１に入力される。色信号抽出部５１は、入力された入力画像信号から三種の色信号Ｒ、色信号Ｇ、色信号Ｂを抽出し、出力する。三種の色信号は、色信号Ｒは色信号Ｒ用平滑化フィルタ５２によって、色信号Ｇは色信号Ｇ用平滑化フィルタ５３によって、色信号Ｂは色信号Ｂ用平滑化フィルタ５４によって、各画素を中心として所定の範囲において平滑化される。各種平滑化フィルタ５２〜５４が出力した色信号Ｒ、色信号Ｇ、色信号Ｂは、色相算出部５５に入力される。色相算出部５５は、数２に基づいて色相信号Ｈを算出する。
【００６５】
【数２】
2016151850.tif 000004
【００６６】
色相信号Ｈは、図１７に示すＨＳＶ色空間を構成する信号の一種である。ＨＳＶ色空間は、ＲＧＢ色空間と同じく色空間の一種であり、色の種類を表す色相信号（Ｈ）、色の鮮やかさを表す彩度信号（Ｓ）、明るさを表す明度信号（Ｖ）から構成されている。色相算出部５５より出力された色相信号は、肌色判定部５６に入力される。肌色判定部５６は、図１８に示すように、色相信号に関する所定の第１の閾値Ｆ１８１と所定の第２の閾値Ｆ１８２との間に含まれる色相信号を肌色色相Ｆ１８３と定義し、入力された各画素の色相信号を比較することで、肌領域を出力する。所定の第１の閾値Ｆ１８１と所定の第２の閾値Ｆ１８２とは、被写体となる肌の色に適するように、値を調整してもよい。肌色判定部５６が出力した肌領域は、肌領域検出部５より出力される。
【００６７】
以上のような構成をとることにより、入力画像信号から肌領域を検出する信号処理装置を実現可能である。
【００６８】
以上のように、平滑化範囲決定部３、判定領域検出部４、その他信号処理部を組み合わせ、また、肌領域検出部５や、顔認識部６などを適宜使用することにより、輝度信号処理部２（図１）において被写体や撮影条件に適した信号処理を行うための平滑化輝度を、入力画像信号の各画素信号について算出する信号処理装置を実現可能である。
＜輝度信号処理部＞
【００６９】
続いて、入力画像信号において周辺画素に対して相対的に高い輝度を持つ画素信号を補正対象とし、入力画像信号のテカリ成分のみ除去する輝度信号処理を行う輝度信号処理部２の構成および動作について説明する。
【００７０】
図１に示す輝度信号処理部２は、輝度／色差信号分離部２１と、比較部２２と、減算部２３と、ゲイン乗算部２４と、加算部２５と、輝度信号スイッチング部２６と、輝度／色差信号統合部２７とから構成されている。
【００７１】
図１３は、補正前輝度信号と補正後輝度信号との入出力特性の一例を説明する説明図である。また、図１４Ａは、補正前輝度信号と平滑化輝度との位置に対する輝度分布の一例を説明する説明図である。また、図１４Ｂは、補正前輝度信号と平滑化輝度とに加え、補正後輝度信号の位置に対する輝度分布の一例を説明する説明図である。各画素の位置は、実際には二次元で表されるが、図１４Ａ、図１４Ｂでは一次元に簡略化している。
【００７２】
輝度信号処理部２に入力される入力画像信号は、輝度／色差信号分離部２１に入力され、輝度信号処理を行う補正前輝度信号と、輝度／色差信号統合部２７において出力画像信号を出力するために使用する色差信号とに分離される。一方で、輝度信号処理部２には、平滑化輝度算出部１が出力した平滑化輝度が入力される。補正前輝度信号と平滑化輝度とは、比較部２２に入力される。比較部２２は、判定結果として、補正前輝度信号が平滑化輝度より大きい場合は真を、そうでない場合は偽を出力する。この判定結果と出力結果は、輝度信号スイッチング部２６に入力される。輝度信号スイッチング部２６は、判定結果が真であれば第１の輝度信号を、偽であれば第２の輝度信号を、補正後輝度信号として選択し、出力する。ここで、第２の輝度信号とは、補正前輝度信号について何れの処理を行わない、補正前輝度信号と同じ値の輝度信号である。
【００７３】
次いで、第１の輝度信号の生成方法を説明する。補正前輝度信号は、減算部２３に入力される。減算部２３には、併せて平滑化輝度が入力され、補正前輝度信号から平滑化輝度を減算し、差分を出力する。この差分はゲイン乗算部２４に入力され、所定のゲインが乗算され、出力される。テカリ除去を目的とする輝度信号処理においては、高輝度成分を抑圧する処理となるため、ゲインは１未満である。このゲインは、図１３に示すように、所定の一律の値であってもよいし、差分の大きさによって変化する値でもよい。また、外部から値を変更できる構成としてもよい。
【００７４】
ゲイン乗算部２４の出力値は、加算部２５に入力され、平滑化輝度に足し戻され、第１の輝度信号となる。そして、輝度信号スイッチング部２６が、比較部２２の判定結果に基づいて、第１の輝度信号と第２の輝度信号とのいずれかを選択することによって出力される補正後の輝度信号は、輝度／色差信号統合部２７に入力される。輝度／色差信号統合部２７には、輝度／色差信号分離部２１が出力した色差信号が併せて入力され、両信号を統合することで、出力画像信号を生成し、出力する。輝度信号処理部２は、出力画像信号を出力する。
【００７５】
補正前輝度信号が、図１４Ａに示すような輝度分布を持つ場合、各画素に対して算出した平滑化輝度の輝度分布は、補正前輝度信号における輝度分布の極大値と極小値との間を縫うように遷移する。そして、この平滑化輝度に基づいて輝度の非線形処理を行うことで、図１４Ｂに示すように、周辺画素に対して相対的に高い輝度を持つ画素信号を補正対象とすることが可能となる。したがって、輝度の絶対値に依らず、テカリ除去を目的とした輝度信号処理を施すことができ、不均一な光環境において取得され輝度のムラが生じているような入力画像信号についても、良好な画像を得ることができる。
【００７６】
以上のような構成をとることにより、入力画像信号において周辺画素に対して相対的に高い輝度を持つ画素信号を補正対象とし、入力画像信号のテカリ成分のみ除去する輝度信号処理を行う信号処理装置を実現可能である。
＜信号処理装置の内部処理＞
【００７７】
最後に、図１に示す本実施の形態１における信号処理装置の内部処理フローの一例について説明する。図１２は、図１に示す信号処理装置において、内部処理の一例を説明するフローチャートである。
【００７８】
先ず、ステップＳ１において、平滑化輝度算出部１における平滑化範囲決定部３は、全画素の入力画像信号から平滑化領域を決定する。次いでステップＳ２に進む。ステップＳ２以降は、１画素単位の処理となる。また、後述の説明において、補正前輝度信号を輝度Ｙ、補正後輝度信号を輝度Ｙ’とする。輝度信号処理は、ラスタースキャンによって１画素ずつ行うため、ステップＳ２において注目画素の設定を行う。ラスタースキャンは、原点から開始し、水平方向の一行の走査が完了したら次の行へ移行するスキャン方法である。
【００７９】
輝度信号処理の開始時は、原点を注目画素として設定する。次いで、ステップＳ３において、平滑化演算部１２は、注目画素の輝度Ｙより、ステップＳ１で決定した平滑化領域に基づき、注目画素の周辺における平滑化輝度を計算する。
【００８０】
そして、ステップＳ４において、輝度信号処理部２における比較部２２は、注目画素の輝度Ｙと平滑化輝度とを比較し、注目画素の輝度Ｙが平滑化輝度より大きい場合、ステップＳ５において、減算部２３、ゲイン乗算部２４および加算部２５は、注目画素の輝度Ｙと平滑化輝度との差分を所定の割合で縮小し、平滑化輝度に足し戻すことで、輝度Ｙ’を計算する。一方で、ステップＳ４において注目画素の輝度Ｙが平滑化輝度より大きくない場合は、ステップＳ６に示すように、処理することなく、輝度Ｙ’を輝度Ｙと同じ値にする。
【００８１】
以上のステップＳ２〜ステップＳ６を、ステップＳ７において、全画素の入力画像信号について処理が完了するまで繰り返し行う。ステップＳ７において全画素の処理が終了したと判定されたのちに、ステップＳ８において、輝度／色差信号統合部２７は、補正前の入力画像信号における輝度Ｙを輝度Ｙ’に置き換えて出力画像信号を出力し、補正後画像とする。
【００８２】
以上のような処理フローをとることにより、本実施の形態１の輝度信号処理を１画素単位で行う信号処理方法を実現可能である。
【００８３】
以上説明したように、本実施の形態１では、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行う信号処理装置を実現可能である。
＜実施の形態１の効果＞
【００８４】
以上説明した本実施の形態１における信号処理装置によれば、テカリ成分が軽減された良好な画像を得ることができる。具体的には、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行うことで、テカリ成分が軽減された良好な画像を得ることができる。より詳細には、以下の通りである。
【００８５】
（１）信号処理装置は、平滑化輝度算出部１と、輝度信号処理部２と、を備える。これにより、平滑化輝度算出部１は、入力画像信号に含まれる各画素信号の周辺において、所定の平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出することができる。また、輝度信号処理部２は、入力輝度信号と平滑化輝度とを比較し、入力輝度信号が平滑化輝度より大きい場合は入力輝度信号と平滑化輝度との差分を所定の割合で縮小し、入力輝度信号と置き換えて出力輝度信号を生成することができる。
【００８６】
（２）平滑化輝度算出部１は、入力画像信号から平滑化範囲を決定する平滑化範囲決定部３を有する。これにより、平滑化輝度算出部１は、入力画像信号において、平滑化範囲決定部３の出力する平滑化範囲内の入力輝度信号を平滑化して平滑化輝度を算出することができる。
【００８７】
（３）平滑化範囲決定部３は、入力画像信号から判定領域を検出する判定領域検出部４を有する。これにより、平滑化範囲決定部３は、入力画像信号において、判定領域検出部４で検出された判定領域の所定の閾値より高い輝度信号を持つ画素数と全画素数に対する割合とを算出し、割合が大きいほど、大きい平滑化範囲とすることができる。
【００８８】
（４）判定領域検出部４は、入力画像信号に含まれる全画素を判定領域として出力することができる。
【００８９】
（５）判定領域検出部４は、入力画像信号から肌領域を検出する肌領域検出部５を有する。これにより、判定領域検出部４は、入力画像信号において、肌領域検出部５で検出された肌領域の重心位置を算出し、重心位置を中心とし、一辺が所定の長さの矩形領域を判定領域として出力することができる。
【００９０】
（６）判定領域検出部４は、入力画像信号から肌領域を検出する肌領域検出部５と、入力画像信号から顔領域を出力する顔認識部６と、を有する。これにより、判定領域検出部４は、肌領域検出部５で検出された肌領域と顔認識部６から出力された顔領域とが重複する領域を判定領域として出力することができる。
【００９１】
（７）本実施の形態１によれば、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行うことで、テカリ成分が軽減された良好な画像を得ることができる信号処理装置を実現することが可能となる。
［実施の形態２］
【００９２】
実施の形態２における撮像装置について、図１９〜図２２を用いて説明する。図１９は、実施の形態２における撮像装置の全体構成を説明するための図である。また、図２０〜図２２は、実施の形態２における撮像装置の内部構成および内部動作を説明するための図である。
＜撮像装置＞
【００９３】
本実施の形態２における撮像装置の構成および動作について、図１９を用いて説明する。図１９は、本実施の形態２における撮像装置の全体構成の一例を説明する構成図である。
【００９４】
本実施の形態２における撮像装置１０は、図１９に示す通り、画像取得部１０１と、信号処理部１０２と、記憶部１０３と、制御部１０４とから構成されている。本実施の形態２は、取得した入力画像信号について、被写体や撮影条件に適したテカリ除去を目的とした輝度信号処理を行う、前記実施の形態１に記載の信号処理装置を搭載した撮像装置である。前記信号処理装置を搭載することによって、例えば、露光制御による輝度の過剰な低下を抑え、視認性の良い画像を得ることができる。
【００９５】
画像取得部１０１は、所定の性能を有するレンズやシャッターを搭載し、入力画像を取得し、入力画像信号を出力する。信号処理部１０２は、図１に示すような、前記実施の形態１に記載の信号処理装置を搭載し、画像取得部１０１から出力される入力画像信号を入力して、出力画像信号を出力する。出力画像信号は、記憶部１０３に入力され、所定の記憶媒体に記憶される。これらの画像取得部１０１、信号処理部１０２、および記憶部１０３は、制御部１０４によって制御される。
【００９６】
図２０は、制御部１０４の一構成例として、露光制御部１０４１と外部入力制御部１０４２とを搭載した撮像装置１０の全体構成の一例を説明する構成図である。外部入力制御部１０４２は、キー操作等の外部入力を、撮像装置１０内の構成要素に伝達することを目的としており、例えば画像データの保存や削除命令は記憶部１０３に、ストロボ発光の有無を表す信号は画像取得部１０１や露光制御部１０４１に伝達される。
【００９７】
これらに加えて、外部入力制御部１０４２に信号処理部１０２を操作する機能を搭載する。例えば、図１に示すゲイン乗算部２４、図４に示す高輝度信号割合算出部３１２、図５に示す高輝度信号割合判定部３１４、図９に示す肌色判定部５６などが使用する、各種の所定の閾値を、ユーザーが手動で調整することで、特殊な条件を持つ被写体や撮影環境にも適合したテカリ除去処理を実現することが可能となる。
【００９８】
露光制御部１０４１は、信号処理部１０２の出力する出力画像信号を入力することが可能である。また、外部入力制御部１０４２より、ストロボ発光の使用を表す信号が入力される。一般に、露光制御は、被写体が明るい場合は露光量を下げ、被写体が暗い場合は露光量を上げることで、明るさのバランスがとれた撮像結果画像を得ることを目的としている。そのため、テカリ成分を多く含む画像を取得した場合、露光制御は画像全体の輝度を下げるように動作するため、輝度が過剰に低下し、テカリ成分を除いた領域の視認性が低下することがあった。本実施の形態２では、テカリ除去を行う信号処理部１０２と、露光制御部１０４１を組み合わせることで、露光制御による輝度の過剰な低下を抑え、視認性の良い画像を得ることができる。
【００９９】
ストロボ発光を使用しない場合、撮像装置１０が被写体に向けられ、画像取得部１０１が画像を継続的に取得している間に、露光制御部１０４１は信号処理部１０２の出力する出力画像信号から露光制御量を算出し、画像取得部１０１を制御する。これにより、テカリ除去後の画像信号から適切に露光制御量を算出し、被写体のテカリ成分の程度に基づいたフィードバック制御を実現することが可能である。
【０１００】
一方で、ストロボ発光を使用する場合、フィードバック制御を行うことはできないが、信号処理部１０２によってテカリ成分が除去されることを見込み、露光制御部１０４１の露光制御量を明るめに設定することが可能となる。或いは、ストロボ発光を使用する場合においても、フィードバック制御を実現するために、短時間に二度ストロボ発光を行い、一度目のストロボ発光時に取得した画像信号をフィードバック制御に使用して露光制御部１０４１の露光制御量を算出し、その上で二度目のストロボ発光時に取得した画像を記憶させる手段をとってもよい。
【０１０１】
図２１Ａは、テカリ成分を含む被写体に対して何れの補正も行わずに取得した画像の一例を説明する説明図である。また、図２１Ｂは、テカリ成分を含む被写体に対して露光制御のみを施して取得した画像の一例を説明する説明図である。また、図２１Ｃは、テカリ成分を含む被写体に対して本実施の形態２の撮像装置を使用して取得した画像の一例を説明する説明図である。
【０１０２】
被写体は、図２１Ａに示すように、夜間において、撮像装置から近距離にいるヒトＦ２１１と遠距離にある木Ｆ２１３とを、ストロボ発光を使用して同時に撮影したものであり、撮像装置から近距離にいるヒトＦ２１１の顔には、テカリ成分Ｆ２１２が生じている。被写体に対して露光制御のみを施した場合、図２１Ｂに示すように、露光制御後のテカリ成分Ｆ２１５はテカリ成分Ｆ２１２と比較して軽減されるものの、露光制御後のヒトＦ２１４や木Ｆ２１６も、それぞれ図２１Ａに示すヒトＦ２１１や木Ｆ２１３と比較して暗くなり、視認性が低下する。
【０１０３】
一方で、本実施の形態２の撮像装置を使用した場合、図２１Ｃに示すように、本実施の形態２の撮像装置使用後のテカリ成分Ｆ２１８が、図２１Ａに示すテカリ成分Ｆ２１２と比較して軽減されるだけでなく、本実施の形態２の撮像装置使用後のヒトＦ２１７や木Ｆ２１９は、それぞれ図２１Ａに示すヒトＦ２１１や木Ｆ２１３と比較しても明るさが損なわれず、視認性の良い画像を得ることができる。
＜撮像装置の内部処理＞
【０１０４】
最後に、図２０に示す本実施の形態２における撮像装置の内部処理フローの一例について説明する。図２２は、図２０に示す撮像装置において、フィードバック制御を行う内部処理の一例を説明するためのフローチャートである。
【０１０５】
先ず、ステップＳ２２１によって、図２０に示す外部入力制御部１０４２において外部入力の有無を確認する。この外部入力とは、シャッター操作や、ユーザーによる画像取得部１０１や信号処理部１０２の設定である。次いで、ステップＳ２２２において、画像取得部１０１や信号処理部１０２の各種設定を読み込む。
【０１０６】
そして、ステップＳ２２３では、各種設定を反映させて画像取得部１０１を動作させ、入力画像信号を取得する。この入力画像信号は、ステップＳ２２４において、信号処理部１０２に入力され、図１に示すような、前記実施の形態１に記載の信号処理を行い、出力画像信号を出力する。この出力画像信号は、ステップＳ２２５において、露光制御部１０４１に入力され、露光制御を行うために、信号処理後の出力画像信号より、画像取得部１０１の所定の設定を変更する。
【０１０７】
以上のステップＳ２２１〜ステップＳ２２５は、ステップＳ２２６において、シャッターが押されることによるシャッター操作を確認するまで繰り返される。シャッター操作が確認されたら、ステップＳ２２７において、記憶部１０３は出力画像信号を所定の記憶媒体に記憶する。
【０１０８】
以上のような処理フローをとることにより、本実施の形態２の撮像方法を実現可能である。
【０１０９】
以上説明したように、本実施の形態２では、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行う撮像装置を実現可能である。
＜実施の形態２の効果＞
【０１１０】
以上説明した本実施の形態２における撮像装置によれば、前記実施の形態１による効果（１）〜（７）を得ることができる上に、機械的な駆動機構を持たないような汎用的な撮像装置においても、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行うことで、テカリ成分が軽減された良好な画像を得ることができる。より詳細には、以下の通りである。
【０１１１】
（１１）撮像装置１０は、画像取得部１０１と、信号処理部１０２と、記憶部１０３と、を備える。これにより、画像取得部１０１は、入力画像信号を取得することができる。また、信号処理部１０２は、入力画像信号を入力して信号処理を行い、出力画像信号を出力することができる。また、記憶部１０３は、出力画像信号を所定の媒体に記憶することができる。
【０１１２】
（１２）撮像装置１０は、露光制御部１０４１を備える。これにより、露光制御部１０４１は、信号処理部１０２の出力する出力画像信号から露光制御量を算出し、画像取得部１０１を制御することができる。
【０１１３】
（１３）撮像装置１０は、外部入力制御部１０４２を備える。これにより、外部入力制御部１０４２は、画像取得部１０１、信号処理部１０２、記憶部１０３および露光制御部１０４１を操作することができる。
【０１１４】
（１４）本実施の形態２によれば、機械的な駆動機構を持たないような汎用的な撮像装置１０においても、取得した入力画像信号について、被写体や撮影条件に適した、テカリ除去を目的とする輝度信号処理を行うことで、テカリ成分が軽減された良好な画像を得ることができる撮像装置１０を実現することが可能となる。
［実施の形態３］
【０１１５】
実施の形態３における肌診断システムについて、図１０、図１６、図２３〜図２６を用いて説明する。図２３は、実施の形態３における肌診断システムの全体構成を説明するための図である。また、図１０、図１６、図２４〜図２６は、実施の形態３における肌診断システムの内部構成および内部動作を説明するための図である。
＜肌診断システム＞
【０１１６】
本実施の形態３における肌診断システムの構成および動作について、図２３を用いて説明する。図２３は、本実施の形態３における肌診断システムの全体構成の一例を説明する構成図である。
【０１１７】
本実施の形態３における肌診断システムは、図２３に示す通り、スマートフォン４０と、外付け装置３０と、ネットワーク５０と、クラウドサーバー６０とから構成されている。本実施の形態３において行う肌診断は、肌２０の「キメ」を診断対象に含むことを特徴としている。すなわち本実施の形態３は、入力された肌画像について、輝度の低いキメ成分を残し、輝度の高いテカリ成分のみを除去して良好な画像とした上で、高精度な肌診断を行うことを特徴としている。
【０１１８】
また、本実施の形態３は、画像取得部と通信部とを備えた、スマートフォン４０のような汎用的な携帯端末装置を使用するアプリケーションであるため、ユーザーは所持する携帯端末装置の機種等に依存せずにアプリケーションを使用できることも特徴である。また、本実施の形態３は、前記実施の形態１に記載の信号処理装置を含む情報処理装置として、クラウドサーバー６０を使用している。
【０１１９】
本実施の形態３における肌診断システムは、スマートフォン４０に外付け装置３０を取り付け、外付け装置３０を肌２０に密着させ、スマートフォン４０によって肌画像を取得する。この取得した肌画像は、ネットワーク５０を介してクラウドサーバー６０に送信される。クラウドサーバー６０は、入力された肌画像に対して、所定のアルゴリズムに基づいて肌診断を行い、肌診断結果を出力する。この出力された肌診断結果は、クラウドサーバー６０から出力され、ネットワーク５０を介してスマートフォン４０に送られる。
【０１２０】
もし、入力された肌画像の露光条件が悪い場合は、クラウドサーバー６０は所定のアルゴリズムに基づいて露光不良判定を出力し、クラウドサーバー６０からネットワーク５０を介してスマートフォン４０に送られる。
【０１２１】
図２４は、外付け装置３０の内部構成の一例を説明する断面図である。本実施の形態３において、外付け装置３０は、図２４に示す通り、筐体Ｆ２５５と、肌密着用のリング状部品Ｆ２５６と、接眼孔Ｆ２５１と、ＬＥＤＦ２５２と、レンズＦ２５３と、対物孔Ｆ２５４とから構成されている。外付け装置３０において、筐体Ｆ２５５には接眼孔Ｆ２５１および対物孔Ｆ２５４を有し、対物孔Ｆ２５４にリング状部品Ｆ２５６が取り付けられている。筐体Ｆ２５５の内部には、所定の性能を有するレンズＦ２５３と、光源であるＬＥＤＦ２５２とが設けられている。
【０１２２】
本実施の形態３では、筐体Ｆ２５５の内装は黒色であり、肌密着用のリング状部品Ｆ２５６は灰色であるとする。撮影時は、リング状部品Ｆ２５６を肌２０に密着させ、ＬＥＤＦ２５２を点灯させる。スマートフォン４０のカメラは、接眼孔Ｆ２５１に接しているため、スマートフォン４０のカメラを動作させることで、対物孔Ｆ２５４、レンズＦ２５３、接眼孔Ｆ２５１を介し、肌画像がスマートフォン４０へ取得される。
【０１２３】
図２６Ａは、スマートフォン４０を使用して取得した肌画像の一例を説明する説明図である。スマートフォン４０を使用して取得した肌画像には、診断対象の肌Ｆ２６１の周囲に外付け装置３０の内部が写っており、本実施の形態３では、黒色の筐体Ｆ２５５と灰色のリング状部品Ｆ２５６が写っている。また、筐体Ｆ２５５には、肌の反射像Ｆ２６４が薄く写り込んでしまうことがある。
【０１２４】
図２５は、クラウドサーバー６０の内部構成の一例を説明する構成図である。クラウドサーバー６０は、図２５に示す通り、信号処理部６０１と、肌診断部６０２とから構成されている。ネットワーク５０を介してクラウドサーバー６０に入力された肌画像は、信号処理部６０１に入力される。信号処理部６０１において補正が行われ、出力された肌画像は、肌診断部６０２に入力される。肌診断部６０２は、入力された肌画像に対して所定のアルゴリズムに基づいて肌診断を行い、肌診断結果を出力する。この出力された肌診断結果は、クラウドサーバー６０から出力される。もし、信号処理部６０１に入力された肌画像の露光条件が悪い場合は、信号処理部６０１は露光不良判定を出力し、クラウドサーバー６０から出力される。
【０１２５】
図２５に示す信号処理部６０１は、図１に示すような、前記実施の形態１に記載の信号処理装置に、入力画像から露光不良を判定する機能と、肌領域の検出において低輝度信号である画素を除外する機能とが加わったものである。露光不良を判定する機能は、入力した肌画像が肌診断部６０２における肌診断に適さない露光条件であるか否かを判定するためのものであり、具体的には、肌診断において肌のキメを診断対象に含むにあたり、キメが視認できないほどに入力画像が明るすぎる場合に露光不良と判定する。
【０１２６】
低輝度信号である画素を除外する機能は、入力した肌画像から肌領域を正確に検出するためのものであり、具体的には、図２６Ａに示すような、筐体Ｆ２５５に薄く写り込む肌の反射像Ｆ２６４を除外する。また、図３に示す平滑化範囲決定部３に含まれる判定領域検出部４として、本実施の形態３では、図７に示す、前記実施の形態１に記載の第１の構成例を使用する。この理由は、本実施の形態３において取得される画像に含まれる、診断対象の肌Ｆ２６１が、図２６Ａに示すように、リング状部品Ｆ２５６に囲まれた円形状であり、肌領域の重心位置を基準とすることで、肌領域の縁から離れた中心付近の広い領域を判定領域として使用できるためである。
【０１２７】
先ず、肌のキメが視認できないほどに入力画像が明るすぎる場合に露光不良と判定する信号処理装置について説明する。露光不良の判定は、図１に示す平滑化輝度算出部１内において、図２に示す平滑化範囲決定部３内の、図３に示す平滑化範囲決定部３１より出力される。
【０１２８】
図１６は、入力画像から露光不良を判定する機能を加えた平滑化範囲決定部３１の内部構成の一例を説明する構成図である。本実施の形態３における平滑化範囲決定部３１は、図１６に示す通り、入力輝度信号抽出部３１１と、高輝度信号割合判定部３１４と、平滑化範囲スイッチング部３１５と、平均輝度判定部３１６と、露光不良判定用論理積演算部３１７とから構成されている。
【０１２９】
高輝度信号割合判定部３１４は、前記実施の形態１に記載の方法で、入力される判定領域に含まれる全画素分の入力輝度信号より、輝度や比率に関する複数の所定の閾値に基づき、判定領域のテカリ成分の程度を二値によって判定し、テカリ成分の程度が大きい場合は真を、そうでない場合は偽を出力する。一方で、平均輝度判定部３１６は、入力される判定領域に含まれる全画素分の入力輝度信号の平均輝度を算出し、平均輝度に関する所定の閾値に基づき、判定領域の明るさの程度を二値によって判定し、全体的に明るい場合は真を、そうでない場合は偽を出力する。これらの、高輝度信号割合判定部３１４と平均輝度判定部３１６との出力結果を、露光不良判定用論理積演算部３１７に入力し、両者の論理積を露光不良判定として出力する。すなわち、露光不良と判定される条件は、判定領域におけるテカリ成分の程度が大きく、かつ、全体的に明るい場合となる。
【０１３０】
以上のような構成をとることにより、肌のキメが視認できないほどに入力画像が明るすぎる場合に露光不良と判定する信号処理装置を実現可能である。
【０１３１】
続いて、図２６Ａに示すような、筐体Ｆ２５５に薄く写り込む肌の反射像Ｆ２６４を除外するために、低輝度信号である画素を除外する信号処理装置について説明する。低輝度信号である画素の除外は、図７に示す判定領域検出部４内の肌領域検出部５である、図９に示す肌領域検出部５において行われる。
【０１３２】
図１０は、肌領域の検出にあたって低輝度信号である画素を除外する機能を加えた肌領域検出部５の内部構成の一例を説明する構成図である。本実施の形態における肌領域検出部５は、図１０に示す通り、色信号Ｒ用平滑化フィルタ５２と、色信号Ｇ用平滑化フィルタ５３と、色信号Ｂ用平滑化フィルタ５４と、色相算出部５５と、肌色判定部５６と、色／輝度信号抽出部５７と、低輝度信号除外判定部５８と、低輝度信号除外用論理積演算部５９とから構成されている。
【０１３３】
色／輝度信号抽出部５７は、入力した入力画像信号から、肌色検出用の色信号Ｒ、色信号Ｇ、色信号Ｂを抽出して出力すると同時に、低輝度信号である画素を除外するために輝度信号を抽出して出力する。肌領域検出のための肌色判定は、前記実施の形態１に記載の方法で、肌色判定部５６より出力され、入力した画素が肌色である場合は真を、そうでない場合は偽を出力する。一方で、低輝度信号除外判定部５８は、各画素の入力輝度信号より、輝度に関する所定の閾値に基づき、入力輝度信号が所定の閾値より大きい場合は真を、そうでない場合は偽を出力する。これらの、肌色判定部５６と低輝度信号除外判定部５８との出力結果を、低輝度信号除外用論理積演算部５９に入力し、両者の論理積を肌領域として出力する。すなわち、肌領域として検出される条件は、肌色判定において肌色と判定され、かつ、輝度に関する所定の閾値より大きい入力輝度信号を持つ画素であることである。
【０１３４】
以上のような構成をとることにより、図２６Ａに示すような、筐体Ｆ２５５に薄く写り込む肌の反射像Ｆ２６４を除外するために、低輝度信号である画素を除外する信号処理装置を実現可能である。
【０１３５】
図２６Ｂは、図２５に示す信号処理部６０１から出力される肌画像の一例を説明する説明図である。図２６Ａに示す、補正前の肌画像は、キメ部分Ｆ２６３やテカリ成分Ｆ２６２を含んでいる。図２６Ｂに示す、信号処理部６０１から出力される補正後の肌画像は、キメ部分Ｆ２６３の見た目は変わらないものの、図２６Ａに示す補正前の肌画像におけるテカリ成分Ｆ２６２は、補正後の肌画像におけるテカリ成分Ｆ２６５のように軽減され、良好な画像を得ることができる。
【０１３６】
以上説明したように、本実施の形態３では、入力される肌画像のキメ成分を残しつつテカリ成分のみ除去するテカリ除去を目的とした輝度信号処理を行い、肌のキメを診断対象に含む肌診断を行うことができる肌診断システムを実現可能である。
＜実施の形態３の効果＞
【０１３７】
以上説明した本実施の形態３における肌診断システムによれば、前記実施の形態１による効果（１）〜（７）を得ることができる上に、入力される肌画像のキメ成分を残しつつテカリ成分のみ除去するテカリ除去を目的とした輝度信号処理を行い、肌のキメを診断対象に含む肌診断を行うことができる。より詳細には、以下の通りである。
【０１３８】
（２１）肌診断システムは、スマートフォン４０と、外付け装置３０と、クラウドサーバー６０と、ネットワーク５０と、を備える。これにより、スマートフォン４０は、外付け装置３０を介して肌の接写画像を取得して、この肌の接写画像をネットワーク５０を介してクラウドサーバー６０に転送することができる。そして、クラウドサーバー６０は、肌の接写画像をネットワーク５０を通じて取得し、信号処理部６０１を制御して得られる画像より肌診断データを生成し、その結果をネットワーク５０を介してスマートフォン４０に転送することができる。
【０１３９】
（２２）外付け装置３０は、接眼孔Ｆ２５１および対物孔Ｆ２５４を有する筐体Ｆ２５５と、対物孔Ｆ２５４に取り付けられたリング状部品Ｆ２５６と、筐体Ｆ２５５内に設けられた、所定の性能を有するレンズＦ２５３と光源のＬＥＤＦ２５２と、を含む。これにより、接眼孔Ｆ２５１にスマートフォン４０を接した状態で、リング状部品Ｆ２５６を肌に密着させ、ＬＥＤＦ２５２を点灯させて、肌の接写画像をレンズＦ２５３を介してスマートフォン４０の画像取得部に取得することができる。
【０１４０】
（２３）クラウドサーバー６０に含まれる信号処理部６０１は、肌の接写画像から肌診断に適さない露光条件であるか否かを判定することができる。
【０１４１】
（２４）クラウドサーバー６０に含まれる信号処理部６０１は、肌の接写画像から所定の閾値より低い輝度信号である画素を除外することができる。
【０１４２】
（２５）本実施の形態３によれば、入力される肌画像のキメ成分を残しつつテカリ成分のみ除去するテカリ除去を目的とした輝度信号処理を行い、肌のキメを診断対象に含む肌診断を行うことができる肌診断システムを実現することが可能となる。
【０１４３】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。たとえば、上記した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１４４】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１４５】
１…平滑化輝度算出部、１１…入力輝度信号抽出部、１２…平滑化演算部
２…輝度信号処理部、２１…輝度／色差信号分離部、２２…比較部、２３…減算部、２４…ゲイン乗算部、２５…加算部、２６…輝度信号スイッチング部、２７…輝度／色差信号統合部
３…平滑化範囲決定部、３１…平滑化範囲決定部、３１１…入力輝度信号抽出部、３１２…高輝度信号割合算出部、３１３…平滑化範囲出力部、３１４…高輝度信号割合判定部、３１５…平滑化範囲スイッチング部、３１６…平均輝度判定部、３１７…露光不良判定用論理積演算部
４…判定領域検出部、４１…重心位置算出部、４１１…入力輝度信号抽出部、４１２…二値画像生成部、４１３…二値画像重心位置算出部、４２…矩形領域出力部、４３…共通領域出力用論理積演算部
５…肌領域検出部、５１…色信号抽出部、５２…色信号Ｒ用平滑化フィルタ、５３…色信号Ｇ用平滑化フィルタ、５４…色信号Ｂ用平滑化フィルタ、５５…色相算出部、５６…肌色判定部、５７…色／輝度信号抽出部、５８…低輝度信号除外判定部、５９…低輝度信号除外用論理積演算部
６…顔認識部
１０…撮像装置、１０１…画像取得部、１０２…信号処理部、１０３…記憶部、１０４…制御部、１０４１…露光制御部、１０４２…外部入力制御部
２０…肌
３０…外付け装置
４０…スマートフォン
５０…ネットワーク
６０…クラウドサーバー、６０１…信号処理部、６０２…肌診断部
【図１】
2016151850.tif 000005
【図２】
2016151850.tif 000006
【図３】
2016151850.tif 000007
【図４】
2016151850.tif 000008
【図５】
2016151850.tif 000009
【図６】
2016151850.tif 000010
【図７】
2016151850.tif 000011
【図８】
2016151850.tif 000012
【図９】
2016151850.tif 000013
【図１０】
2016151850.tif 000014
【図１１】
2016151850.tif 000015
【図１２】
2016151850.tif 000016
【図１３】
2016151850.tif 000017
【図１４Ａ】
2016151850.tif 000018
【図１４Ｂ】
2016151850.tif 000019
【図１５】
2016151850.tif 000020
【図１６】
2016151850.tif 000021
【図１７】
2016151850.tif 000022
【図１８】
2016151850.tif 000023
【図１９】
2016151850.tif 000024
【図２０】
2016151850.tif 000025
【図２１Ａ】
2016151850.tif 000026
【図２１Ｂ】
2016151850.tif 000027
【図２１Ｃ】
2016151850.tif 000028
【図２２】
2016151850.tif 000029
【図２３】
2016151850.tif 000030
【図２４】
2016151850.tif 000031
【図２５】
2016151850.tif 000032
【図２６Ａ】
2016151850.tif 000033
【図２６Ｂ】
2016151850.tif 000034
【国際調査報告】
2016151850.tif 000035
2016151850.tif 000036
2016151850.tif 000037
2016151850.tif 000038