(57)【要約】【課題】１回の撮影により得られた画像データにおいて、白飛びや黒潰れが生じても、画像データの略全体で解析が可能なレベルまで画像を改善可能な解析用画像撮像処理システムおよび携帯型装置を提供する。【解決手段】解析用画像撮像処理システムは、被検対象物の画像を解析して、被検対象物を分析するために、被検対象物５を撮像して、撮像された画像データを解析に適した画像となるように画像処理する。画像処理では、被検対象物５上の発光素子１６による照明光量の部分的過不足により、画像データに、色の情報や形状の情報が得難い状態となる不良部分がある場合に、画像処理を行う。画像データの照明光量の過不足が生じ難い所定領域の輝度および色の情報を基準とする。不良部分の輝度および色の情報が基準となる輝度および色の情報に近づくように、画像データに対して、色毎に輝度変換を行う。【選択図】図１
2016018262.tif 000002
【特許請求の範囲】
【請求項１】
被検対象物の色および／または形状の情報を解析し、解析された情報に基づいて前記被検対象物を分析するのに用いられる前記被検対象物の画像データを得るための解析用画像撮像処理システムであって、
前記被検対象物を撮像する撮像素子と、
レンズを有して前記撮像素子上に前記被検対象物の像を結ぶ光学系と、
前記被検対象物を照明する一つ以上の照明用発光素子と、
前記撮像素子で撮影された前記被検対象物の画像データを画像処理する画像処理手段とを備え、
前記画像処理手段は、前記被検対象物上の前記発光素子による照明光量の部分的過不足により、前記画像データに前記色の情報や前記形状の情報が得難い状態となる不良部分がある場合に、前記画像データの前記照明光量の過不足が生じ難い所定領域の輝度および前記色の情報、または、前記画像データの平均化した前記輝度および前記色の情報を基準とし、前記不良部分の前記輝度および前記色の情報が前記基準となる前記輝度および前記色の情報に近づくように、前記画像データに対して、前記基準となる前記輝度および前記色の情報に基づいて色毎に輝度変換を行うことを特徴とする解析用画像撮像処理システム。
【請求項２】
前記基準となる前記輝度および前記色の情報が、色毎の輝度ヒストグラムであることを特徴とする請求項１に記載の解析用画像撮像処理システム。
【請求項３】
前記撮像素子、前記光学系および前記照明用発光素子がデータ通信機能を有する携帯端末に備えられ、前記画像処理手段が前記携帯端末との間で画像データを送受可能なサーバに設けられていることを特徴とする請求項１または請求項２に記載の解析用画像撮像処理システム。
【請求項４】
被検対象物の色および／または形状の情報を解析し、解析された情報に基づいて前記被検対象物を分析するのに用いられる前記被検対象物の画像データを得るための解析用画像撮像処理を行う携帯型装置であって、
前記被検対象物を撮像する撮像素子と、
レンズを有して前記撮像素子上に前記被検対象物の像を結ぶ光学系と、
前記被検対象物を照明する一つ以上の照明用発光素子と、
前記撮像素子で撮影された前記被検対象物の画像データを画像処理する画像処理手段とを備え、
前記画像処理手段は、前記被検対象物上の前記発光素子による照明光量の部分的過不足により、前記画像データに前記色の情報や前記形状の情報が得難い状態となる不良部分がある場合に、前記画像データの前記照明光量の過不足が生じ難い所定領域の輝度および前記色の情報、または、前記画像データの平均化した前記輝度および前記色の情報を基準とし、前記不良部分の前記輝度および前記色の情報が前記基準となる前記輝度および前記色の情報に近づくように、前記画像データに対して、前記基準となる前記輝度および前記色の情報に基づいて色毎に輝度変換を行うことを特徴とする携帯型装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した被検対象物の画像データにおける色および／または形状を解析して、被検対象物を分析する際に、撮影した画像データに生じる照明に基づく問題を解消する画像処理を施すことができる解析用画像撮像処理システムおよび携帯型装置に関する。
【背景技術】
【０００２】
従来、肌を撮影した画像データを解析して肌状態を分析することが行われている。このような、肌状態の分析の一つの対象として肌のキメがある。肌のキメとは、例えば、肌の網目状の皮溝と、これら皮溝に囲まれた網の目の部分に対応する皮丘と、毛穴の状態を示している。肌のキメが良い状態では、毛穴が目立たす、皮溝が理路整然と配置されている。
【０００３】
例えば、化粧品の販売店等において、肌の状態を知るために、専用の肌撮影装置を用いて、肌のマクロ撮影が行われている。それに対して、例えば、スマートフォンに肌をマクロ撮影するための肌カメラをＵＳＢ等のインターフェースで接続したり、スマートフォンに内蔵されるカメラに肌のマクロ撮影用のコンバージョンレンズを装着したりして、肌をマクロ撮影するとともに、スマートフォンの通信機能を用いて撮影された肌の画像データを、例えば肌の画像データを解析して肌の状態を分析するサービスを提供しているサーバにアップロードすることが行われている。
【０００４】
この肌カメラやコンバージョンレンズにおいては、撮影時に外光の影響を受けないようにするために、肌カメラやコンバージョンレンズのレンズに、遮光性のフードを設けている。フードの先端面を肌に当てることで、フードの先端開口から肌の撮影が可能になるとともに、フードにより撮影すべき肌までの距離が固定される。また、フードにより外光も略遮断される。
【０００５】
この場合には、撮影時に必要な光量を得るために、フードの先端部開口から露出する肌を照明するためのＬＥＤ素子を備えるＬＥＤ照明が用いられる。ＬＥＤ照明では、適切な光量と照射範囲を有するＬＥＤ素子が選択されるが、ＬＥＤ素子の光を照明光として被検対象物としての肌に一様に照射することが難しく、肌のＬＥＤ素子に正対する部分の光量が多くなり過ぎる虞がある。
【０００６】
この場合に、撮影される肌の状態によっては、撮影された画像データに、明るすぎて白飛びする部分や、暗すぎて黒潰れする部分が生じる虞がある。例えば、肌の状態によって、光の反射の仕方が異なることにより、同じ光量の照明であっても、白飛びし易くなったり、黒潰れし易くなったりする虞がある。また、コストや肌カメラのスペース効率を考慮すると、輝度の低いＬＥＤ素子を多数使う構成ではなく、輝度の高いＬＥＤ素子を１個から数個だけ使う構成となり、光の当たり方にむらが生じる要因となる。このような個人の使用を目的とする肌カメラの普及を図る上では、性能に優れ、かつ、コストが低いことが望まれるが、画像解析が十分に可能ならば、できるだけコストが低いことが望まれる。
【０００７】
なお、画像データ上の白飛びしている部分では、例えば、撮像素子の各色（ＲＧＢ）の出力レベルが０〜２５５の場合に、２５５かそれに近い状態となっている。すなわち、撮像素子の輝度レベルが飽和した状態かそれに近い状態となっている。なお、白飛びして見える部分の多くが必ずしも飽和状態となっているわけではなく、それより低いレベルとなっている可能性も高い。しかし、白飛びした部分では、各色の輝度が飽和レベルに達していなくても、略同じ輝度レベルとなっていることにより、色が略白（灰色を含む）となってしまい、飽和レベルに至っていなくとも白飛びした部分から色や形状を解析することが難しくなっている。
【０００８】
また、遮光性の筒状のフードを肌に当てることで外光を遮断するが、この際にユーザがフードを肌に必要以上に強く押し付けてしまう虞がある。肌は、柔らかく、筒状のフードが強く押し付けられると、押し付けられた部分が環状に凹むとともに、環状に凹んだ部分の内側がドーム状に膨出した形状となる。すなわち、撮影される肌の部分が平面に近い状態から中央部が膨出したドーム状となる。この場合に、肌に当たるＬＥＤ照明の光の角度が、肌が平面に近い場合と異なり、ＬＥＤ照明の光の当たり方にむらが生じ、白飛びする部分や黒潰れする部分が生じる虞がある。
【０００９】
例えば、フード内の肌は、凹んだ周縁部が暗く、膨出した中央部が明るくなり、暗い部分に黒潰れが生じ易く、明るい部分に白飛びが生じ易くなる。
以上のように、白飛び等が発生する場合に肌状態の分析のための解析が可能な画像データ上の領域が少なくなってしまい、肌の画像の解析に支障をきたす虞がある。
【００１０】
このような白飛びや黒潰れを補正する技術の１つとして、露光量の異なる複数枚の画像を撮影し、各画像に存在する白飛びの無い領域と黒潰れの無い領域を合成することにより、明部や暗部が適切に再現された広ダイナミックレンジ画像データを生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１４−５７１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、上述の方法では、露光量を変えて短時間のうちに２回から３回の撮像を行う必要があるとともに、露光量を変えた複数回の撮影で得られた画像データで、例えば、露光量の多い画像で白飛びの無い領域と、露光量の少ない画像で黒潰れの無い領域とを合成して、ダイナミックレンジが広い画像を合成する必要がある。この場合に、少なくとも撮像装置は、短時間で露光量を変えて２回連続で撮影できる構成を必要とし、個人用の肌撮影用カメラとしては、コスト高となる。
【００１３】
そこで、１回の肌の撮影で、画像データ上に生じてしまった白飛びや、黒潰れを改善することにより、撮像時に白飛びや黒潰れがあっても画像データの解析が可能となる画像処理が可能な装置が求められていた。
【００１４】
本発明は、上記事情に鑑みてなされたものであり、１回の撮影により得られた画像データにおいて、白飛びや黒潰れが生じても、画像データの略全体で解析が可能なレベルまで画像を改善可能な解析用画像撮像処理システムおよび携帯型装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明の解析用画像撮像処理システムは、被検対象物の色および／または形状の情報を解析し、解析された情報に基づいて前記被検対象物を分析するのに用いられる前記被検対象物の画像データを得るための解析用画像撮像処理システムであって、
前記被検対象物を撮像する撮像素子と、
レンズを有して前記撮像素子上に前記被検対象物の像を結ぶ光学系と、
前記被検対象物を照明する一つ以上の照明用発光素子と、
前記撮像素子で撮影された前記被検対象物の画像データを画像処理する画像処理手段とを備え、
前記画像処理手段は、前記被検対象物上の前記発光素子による照明光量の部分的過不足により、前記画像データに前記色の情報や前記形状の情報が得難い状態となる不良部分がある場合に、前記画像データの前記照明光量の過不足が生じ難い所定領域の輝度および前記色の情報、または、前記画像データの平均化した前記輝度および前記色の情報を基準とし、前記不良部分の前記輝度および前記色の情報が前記基準となる前記輝度および前記色の情報に近づくように、前記画像データに対して、前記基準となる前記輝度および前記色の情報に基づいて色毎に輝度変換を行うことを特徴とする。
【００１６】
このような構成によれば、例えば、白飛びした部分の色や輝度を再現することができる。例えば、被検対象物を肌としてマクロ撮影を行う場合を想定すると、撮影された画像データには、キメとして皮溝や皮丘や毛穴等が撮像されていることになるが、発光素子、例えば、ＬＥＤ素子による照明のむらを除くと、輝度の情報としては、皮溝部分の影による輝度の差がある程度であり、画像全体の輝度の差はあまりない状態となる。また、色も同じ肌の比較的狭い範囲であり大きな差がなく、略一様な肌色(被験者によって異なる)となる。
【００１７】
それに対して、例えば、ＬＥＤ素子に正対して光量が多くなって白飛びした状態となった部分は、色が略白となるとともに、輝度も高い状態となっている。例えば、輝度は、撮像素子の出力の飽和レベルに近い状態となっている。
【００１８】
ここで、発光素子の照明が画像全体で略一様になっていると想定した場合には、上述の白飛びしている部分と、白飛びしていない部分とにおいて、肌の色や輝度は、近似している。すなわち、肌の狭い範囲等の被検対象物で表面が略一様となっている部分を撮影し、その中で例えば皮溝の影等を解析することになるので、色や輝度に大きな違いはなく、略一様な状態となっているので、白飛び等の不良部分ではない正常部分の色や輝度に、不良部分の色や輝度を合せても問題無い。但し、輝度変換に際し、上述の皮溝の影等による不良部分内の各画素間の色や輝度の差の情報（微細信号）がなくならないように輝度変換する必要がある。例えば、線形変換等により、画像の輝度を変換しても、各画素間の輝度の差の情報がなくなることがない。
【００１９】
そこで、白飛びがある画像データにおいて、例えば、発光素子の配置等により白飛びする可能性が低い所定領域の色および輝度の情報または画像データの平均化された色および輝度の情報を基準とし、例えば、白飛びした不良部分の色および輝度の情報を基準となる色および輝度の情報に近づくように色毎の輝度変換を行う。
【００２０】
この際には、例えば、白飛びしている部分の輝度を下げるように輝度変換を行うとともに、色毎に輝度変換を行うことにより、基準となる色および輝度の情報における色と輝度に近づけることができる。例えば、色毎に輝度変換する際に、基準となる色のＲＧＢ値に近づけるように色毎の輝度変換を行う。すなわち、基準となる色が肌の色の場合に、例えば、赤、緑、青（または、緑、赤、青）の順で輝度が高い状態となるように赤、緑、青で差がつくように輝度変換を行う。白飛びした状態では、Ｒ，Ｇ，Ｂの色毎の輝度が略等しくなっているが、輝度変換に際し、基準の色に近づくように、例えば、青の輝度が緑の輝度より低くなるように輝度変換し、緑の輝度が青の輝度より高く、赤の輝度より低くなるように輝度変換する。なお、輝度変換は、例えば、白飛びした部分とその周辺部分の画素に対して行うものとし、白飛びして輝度の高い画素の輝度を下げるように変換する。または、画素の位置に係わらず、輝度が所定値以上の画素に対して行うものとしてもよい。
【００２１】
ここで、白飛びした部分の主要部において、輝度のほとんどが飽和レベルであると、白飛びした部分の輝度を下げても皮溝の影等の輝度の情報が得られないが、例えば、白飛びした部分の主要部においても、飽和レベルに達している部分が少ない場合に、輝度の高低の情報が残されていることになり、例えば、輝度の値が所定値以上の画素に対して、輝度を一様に下げるような変換を行っても、各画素の輝度の差が保持されるので、皮溝の影等の情報を読み取ることが可能な状態となる。
【００２２】
特に、色を上述の所定領域の色または平均化した色となるようにすることで、白飛びした周囲と同様に皮溝が見える確率が高くなり、白飛びした部分でも肌のきめの解析が可能になる。なお、所定領域とは、１つの画素を指すものではなく、色や輝度の情報を読み取り可能な画素の範囲を有するものであり、例えば、後述のように色毎の輝度のヒストグラムを利用する場合に、ヒストグラムの特性がわかる程度の画素数を有する範囲である。
【００２３】
なお、被検対象物は、肌に限られるものではなく、植物の茎や根や葉の表面や、コンクリート等の構造物の表面など、画像による解析が必要とされるもので、かつ、撮影範囲内において、照明のむらがなければ、解析対象となる変化はあっても、全体として略一様な色と輝度を有する画像を得られるものであることが好ましい。例えば、上述の葉、茎、根等の植物の表面、コクリート壁等の各種素材の壁等の構造物の表面などでは、基本的に撮像範囲内が比較的似通った色となっている。このような撮像範囲内の色が似通っている場合に、本発明における画像処理を適用可能である。
【００２４】
本発明の上記構成において、前記基準となる前記輝度および前記色の情報が、色毎の輝度ヒストグラムであることが好ましい。
【００２５】
このような構成によれば、例えば、上述の所定領域における輝度ヒストグラムを求め、これを基準とし、白飛びした部分の輝度ヒストグラムが基準の輝度ヒストグラムに近づくように輝度変換することが好ましい。この場合に、例えば、肌を被検対象物とした場合に、色毎のヒストグラムは、例えば、そのピーク位置が、赤、緑、青の順で輝度が高くなっている。すなわち、赤が最も輝度が高く、青が最も輝度が低くなっている。また、それぞれのピーク幅を持っているが、飽和に近い高い輝度の成分はない。
それに対して白飛びした不良部分における輝度ヒストグラムは、上述の所定領域における輝度ヒストグラムと比べると各色のピークが略同じ範囲で重なった状態となっているとともに、飽和に近い高い輝度の成分が多くなっている。
【００２６】
ここで、不良部分の各色の輝度ヒストグラムを所定領域の各色の輝度ヒストグラムまたは平均化された輝度ヒストグラムと比較することになる。なお、平均化した輝度ヒストグラムとは、例えば、画像データを複数領域に分け、各領域で、各輝度の度数分布を求めた後に、各領域の各輝度の度数を平均化し、この平均化した輝度毎の度数からなるものである。この場合に、不良部分がある領域を除いて平均を求めるものとしてもよい。また、被検対象物が肌の場合に、ホクロや毛の部分を除いて平均を取るものとしてもよい。また、上述の所定領域における各色の輝度を基準とする場合に、ホクロや毛の部分を除いてもよい。
【００２７】
不良部分の輝度ヒストグラムにおいては、例えば、基本的に各画素の輝度を下げるように輝度変換するとともに、基準となる輝度のヒストグラムの各色のピークに対して、不良部分の各色のピークの幅が広い場合に、輝度が高くなるほど、輝度の下げ幅が大きくなるように輝度変換することで、ピークの幅を狭めてもよい。また、色によって輝度の下げ幅を変えることで、各色のピーク位置を基準のヒストグラムに合わせる。これにより、白飛びした部分を白飛びしていない所定領域の色に近づけることができる。この場合に輝度変換しても、元の画像データの各画素の輝度の差等の情報を残すことが可能であり、それに基づいて例えば肌の場合に、白飛びした分部や黒潰れした分部の皮溝や毛穴等を画像認識可能になり、皮溝の解析等が可能になる。
【００２８】
すなわち、白飛びしている不良部分の各画素の輝度変換を行うことにより、白飛びすることにより、色や形状の解析が困難な状態から、色や形状の解析が容易な状態となる。但し、色については、基本的に、基準となる各色の情報に近づけたデータなので、例えば、不良部分と他の部分との色の差を解析しても有意的な結果が得られるとは限らないが、撮像範囲全体の肌の色を解析するのには有用である。輝度のデータは、輝度変換前のデータで飽和に達していないデータがある程度多ければ、輝度変換後もそのデータが反映され、例えば、上述の皮溝や毛穴の影になって輝度が低い部分を解析可能となる。
【００２９】
本発明の前記構成において、前記撮像素子、前記光学系および前記照明用発光素子がデータ通信機能を有する携帯端末に備えられ、前記画像処理手段が前記携帯端末との間で画像データを送受可能なサーバに設けられていることが好ましい。
【００３０】
このような構成によれば、例えば、画像処理手段における画像処理量が多くなっても、画像処理がサーバ側で行われるので、例えば、携帯端末は、スマートフォンやフィーチャーフォンやタブレットであるが、販売時期が古く性能的に高度な画像処理が困難な携帯端末であっても、画像処理が外部で行われるので、問題なく本発明に対応可能である。すなわち、携帯端末側に性能差があっても、問題なく、本発明の解析用画像撮像処理システムの一部として利用可能である。
【００３１】
また、この場合に、画像処理した画像データを携帯端末でダウンロードし、これを撮像したデータとして携帯端末側で閲覧可能とすることにより、ユーザは、白飛びのない画像データを見ることが可能になる。この際に、白飛びした部分の色が白飛びしていない部分の色に合わせられているので、ユーザは違和感なく画像処理した画像を撮影された画像として見ることができる。また、例えば、同じ肌カメラを継続使用している場合に、被検対象物の解析における問題点等が明らかになり、画像処理方法が比較的頻繁に変更されるようなことも考えられる。この場合に画像処理を携帯端末のアプリで行う場合に、頻繁なバージョンアップが必要となってしまう。
【００３２】
また、サーバでは、画像処理した画像データに対して、解析を行うことが可能であり、サーバで、画像処理および画像処理された画像データの解析をまとめて行うことが可能になり、画像データの送受が煩雑になるのを防止できる。
【００３３】
本発明の携帯型装置は、被検対象物の色および／または形状の情報を解析し、解析された情報に基づいて前記被検対象物を分析するのに用いられる前記被検対象物の画像データを得るための解析用画像撮像処理を行う携帯型装置であって、
前記被検対象物を撮像する撮像素子と、
レンズを有して前記撮像素子上に前記被検対象物の像を結ぶ光学系と、
前記被検対象物を照明する一つ以上の照明用発光素子と、
前記撮像素子で撮影された前記被検対象物の画像データを画像処理する画像処理手段とを備え、
前記画像処理手段は、前記被検対象物上の前記発光素子による照明光量の部分的過不足により、前記画像データに前記色の情報や前記形状の情報が得難い状態となる不良部分がある場合に、前記画像データの前記照明光量の過不足が生じ難い所定領域の輝度および前記色の情報、または、前記画像データの平均化した前記輝度および前記色の情報を基準とし、前記不良部分の前記輝度および前記色の情報が前記基準となる前記輝度および前記色の情報に近づくように、前記画像データに対して、前記基準となる前記輝度および前記色の情報に基づいて色毎に輝度変換を行うことを特徴とする。
【００３４】
このような構成によれば、請求項１記載の解析用画像撮像処理システムと同様の作用効果を携帯型装置単体で得ることができる。したがって、携帯型装置が、例えば、スマートフォンやフューチャーフォン等の無線通信機能を有する携帯型装置であっても、必ずしも通信を必要とせず、被検対象物の撮像から画像処理までを行うことができ、撮像した際に短時間、例えば、例えば、リアルタイムに近い状態で、画像処理後の画像を見ることが可能になる。
【００３５】
なお、携帯型装置を、通信機能を有するものとした場合に、画像処理された画像データの解析および分析は、画像処理された画像をサーバにアップロードしてサーバ側で行うものとしてもよい。
【発明の効果】
【００３６】
本発明によれば、被検対象物を分析するために撮像された画像データを解析する場合に、照明用発光素子の照明光による画像データの不良部分、例えば、白飛びした部分や黒潰れした部分を、撮像された画像データの所定領域の色および輝度の情報や、画像データの平均化された色および輝度の情報を基準とし、基準とされた色および輝度に不良部分の色および輝度が近づくように各色の輝度変換を行うことにより、不良部分を解析可能な状態にすることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態に係る解析用画像撮像処理システムを示すブロック図である。
【図２】同、解析用画像撮像処理システムで撮像された肌の原画像である。
【図３】同、原画像データの正常部分の各色の輝度ヒストグラムである。
【図４】同、原画像データの不良部分の各色の輝度ヒストグラムである。
【図５】同、原画像データを補正した補正画像データの補正後の不良部分の各色の輝度ヒストグラムである。
【図６】同、原画像を補正した補正画像である。
【発明を実施するための形態】
【００３８】
以下、本発明の実施の形態について説明する。
図１に示すように、本実施の形態の解析用画像撮像処理システムは、例えば、被検対象物５を分析するために、被検対象物５を撮像して得られた画像データを解析する場合に用いられるものである。この解析用画像撮像処理システムは、被検対象物５を撮像するためのカメラ１０が内蔵された携帯端末としてのスマートフォン１を備える。
【００３９】
このカメラ１０は、被検対象物５を撮像する撮像素子１１と、レンズ１２とを備える。また、スマートフォン１には、カメラ１０用のマクロ撮影用のコンバージョンレンズユニット１７が装着されている。コンバージョンレンズユニット１７は、マクロ撮影用コンバージョンレンズ１３と、外光を遮断するとともに撮影距離を規制するフード１５と、被検対象物５を照明する照明用発光素子１６が設けられている。なお、コンバージョンレンズユニット１７には、照明用発光素子１６に電力を供給する電池や、照明用発光素子１６のオン・オフを制御する制御装置を備えている。また、照明用発光素子１６は、例えばＬＥＤ素子からなっている。
【００４０】
スマートフォン１にコンバージョンレンズユニット１７を装着した状態では、コンバージョンレンズ１３とカメラ１０のレンズ１２（マスターレンズ）とから、被検対象物５の像を撮像素子１１上に結ぶ光学系１４が構成されている。
【００４１】
スマートフォン１は、演算処理装置２、記憶装置３および通信装置４を備える。撮像素子１１で撮像された画像データは、後述のように演算処理装置２により記憶装置３に記憶される。通信装置４は、携帯電話回線網や無線ＬＡＮ等を用いてインターネット２０に接続してデータ通信可能となっている。すなわち、スマートフォン１は、データ通信機能を有する携帯端末として、インターネット２０を介して画像データのアップロードおよびダウンロードが可能になっている。
【００４２】
スマートフォン１には、画像解析用アプリがインストールされており、コンバージョンレンズユニット１７を装着した状態での撮影は、画像解析用アプリ（アプリケーション）を起動した状態で行われる。スマートフォン１のカメラ１０の撮像素子１１で撮像された画像データは、演算処理装置２により記憶装置３に記憶され、通信装置４によりインターネット２０を介して被検対象物５を分析するための被検対象物５の画像データの解析を行うサービスを提供しているサーバ２１の記憶装置２３にアップロードされる。
【００４３】
サーバ２１は、演算処理装置（画像処理手段）２２、記憶装置２３、通信装置２４を備え、アップロードされた被検対象物５の画像データを解析する前に、この画像データに例えば白飛びとなった不良部分があるか否かを演算処理装置２２が判定し、不良部分ある場に、不良部分の解析が可能なるように、画像データの解析前に画像処理を施すようになっている。すなわち、照明光量の部分的な過不足により白飛びや黒潰れが発生している場合に、画像処理により、解析可能な状態に画像を補正するようになっている。画像処理が施された画像データでは、解析が行われることになるとともに、画像処理が終了した画像データは、画像処理アプリにより、スマートフォン１にダウンロードされる。ダウンロードされた画像データは、撮影された画像としてスマートフォン１の図示しないディスプレイに表示される。なお、画像処理は、スマートフォン１の演算処理装置２で行うものとしてもよい。
【００４４】
この画像処理手段としてのサーバ２１の演算処理装置２２で行う画像処理について説明する。図２に示すように撮像された画像データには、３つの照明用発光素子１６に略正対する位置に白飛びが生じているものとする。この画像データは、上述のコンバージョンレンズユニット１７が装着されたカメラ１０で肌（顔）を撮像したものであり、フード１５を肌に当てることにより、外光が遮断され、３つの発光素子１６の照明光によって撮像されている。すなわち、照明光が照射された被検対象物５からの反射光が撮像される。
【００４５】
図２において３つの黒丸Ｈで囲まれた部分およびその近傍に明らかに肌の色ではない白となっている白飛びがあり、この部分が不良領域となる。また、３つの黒丸Ｈに囲まれた画像データの中央部分には、白飛びが生じておらず正常部分となる。なお、中央部分以外でも上述の黒丸Ｈから離れた部分には、白飛びが生じていないが、画像の周縁部は、場合によって中央部より暗くなる虞がある。また、中央部では、複数の発光素子１６により略均等に照らされているが、周縁部では、各発光素子１６からの照明にばらつきが生じてむらが発生する虞がある。これらのことから白飛びが生じていない正常部分の所定領域として本実施の形態では、中央部の色および輝度の情報を基準に採用する。
【００４６】
すなわち、図２の点線の丸Ｓで囲まれた部分を色および輝度の基準となる所定領域とする。この所定領域は、複数の画素を含む範囲であり、１つの画素を指定するものではなく、色および輝度の情報として、各色の輝度ヒストグラムを作成できるレベルの画素数を含む範囲となっている。
【００４７】
この所定領域のＲ，Ｇ，Ｂ各色の輝度ヒストグラムを図３に示す。横軸が輝度で、縦軸が画素数（頻度:度数）となっている。各色（Ｒ，Ｇ，Ｂ）において、３つ発光素子１６により、略同様の輝度となっていることから、輝度ヒストグラムの各色のピークのピーク幅が比較的狭くなっている。また、肌色は、黄色に近い色であり、赤（Ｒ）のピークの輝度が最も高く、青（Ｂ）のピークが最も低く、これらの間に緑（Ｇ）のピークがある。
【００４８】
それに対して、図４に示すのは、黒丸Ｈで示される不良部分のＲ，Ｇ，Ｂの輝度ヒストグラムである。図４に示すように、ピーク幅が図３の輝度ヒストグラムに比較して広く、ピーク幅が高輝度側に拡がった状態となっている。低輝度側のピークの立ち上がり部分は、輝度の低い順で、青（Ｂ）、緑（Ｇ）、赤（Ｒ）に分かれているが、ピークの頂点から高輝度側は、Ｒ，Ｇ，Ｂのピークが重なった状態となっている。
【００４９】
また、例えば、輝度が０〜２５５の２５６段階の場合に、縦長の楕円Ｆで囲まれた２５５の近傍から２５５までの画素数が比較的に多く、２５５にもある程度の画素数があり、明らかに撮像素子１１の出力が飽和している画素が存在し、白飛びした状態の画像となる。本実施の形態の画像処理では、この不良部分の輝度ヒストグラムを、正常部分の基準となるヒストグラムに近づけるように輝度変換を行う。基本的には、高輝度側に拡がるピーク幅を低輝度側に向けて狭くなるように輝度変換する。
【００５０】
この際に、色毎にピーク全体をシフトさせる。例えば、緑（Ｇ）のピークを基準として考えた場合に、青（Ｂ）の輝度を緑（Ｇ）より低輝度側にシフトさせ、赤（Ｒ）の輝度を緑（Ｇ）より高輝度側にシフトさせる。なお、各色のピークのシフトは、基準となる図３に示す輝度ヒストグラムに図４の輝度ヒストグラムを合わせるものであり、Ｒ，Ｇ，Ｂのピーク位置を基準となる輝度ヒストグラムのＲ，Ｇ，Ｂのピーク位置に移動させるように輝度変換すればよい。
【００５１】
本実施の形態では、輝度変換は、輝度変換前の各色（Ｒ，Ｇ，Ｂ）の輝度を変換することになり、各画素の輝度変換前の各色（Ｒ，Ｇ，Ｂ）の輝度をｉｒ，ｉｇ，ｉｂとし、輝度変換に使われる各色の関数をＲ，Ｇ，Ｂとすると以下の式で表される。
ｊｒ＝Ｒ（iｒ）
ｊｇ＝Ｇ（iｇ）
ｊｂ＝Ｂ（iｂ）
ここで、ｊｒ，ｊｇ，ｊｂは、変換後の輝度である。
【００５２】
このように色毎に輝度変換を行う際に、Ｒ，Ｇ，Ｂで略同様の輝度であったものを、それぞれの輝度で輝度変換に用いる関数を代えて、基準となる色および輝度に合わせて、Ｒ，Ｇ，Ｂの各色の輝度ヒストグラム上のピークが異なるようにシフトさせることで輝度変換後の色を基準となる色に合わせることができる。すなわち、白飛びして略白だった部分を肌の色に変換することができる。ここでは、赤、青、緑が輝度の高い順であり、この輝度順に基づいて主にＲとＧからなる黄色系から橙色系の肌色となる。
【００５３】
輝度変換は、線形変換であっても、対数変換であってもよいし、非線形変換であってもよい。また、輝度の高い部分の輝度を下げ、輝度の低い部分の輝度を上げるダイナミックレンジの圧縮変換を行うものとしてもよい。なお、人間の視覚を考慮した場合に、輝度変換として対数変換を用いることが好ましい。
【００５４】
輝度変換は、基本的には、例えば、フォトレタッチソフトのように、不良部分の輝度ヒストグラムを見ながら、選択した変換方法に対応する式のパラメータ等を設定することで、この不良部分のヒストグラムを基準ヒストグラムに変更することが可能である。そこで、実験的に、複数の被検対象物５（同じ種類の被検対象物５）のサンプルを用いて、輝度変換を行い、被検対象物５が異なっても上述のようにピークの高輝度側を圧縮してピーク幅を狭めるとともに、各色のピーク位置を基準となる輝度ヒストグラムの各色のピーク位置に合わせることにより、不良部分を補正した画像データを得ることができる。
図５のＲ，Ｇ，Ｂの輝度ヒストグラムが、輝度変換により補正した後の輝度ヒストグラムを示すものである。図６が補正された画像を示すものである。
【００５５】
図５に示すように、補正後のＲ，Ｇ，Ｂの輝度ヒストグラムにおいては、図４において、高輝度側がＲ，Ｇ，Ｂで重なった状態となっていた輝度ヒストグラムのピークが分離されるとともに、Ｒ，Ｇ，Ｂの各ピーク位置が基準となる輝度ヒストグラムと近似した状態となっている。これにより、白飛びして白くなっていた部分が、図６に示す黒丸Ｈ部分で示すように肌色（図中灰色）にすることが可能になる。また、完全に飽和したデータを補正することはできないが、原画像で飽和した部分より少し輝度の低い部分のデータは残っており、例えば、皮溝の影等の明暗差は解析可能となる。
【００５６】
したがって、従来、白飛び部分が含まれる比較的広い範囲を解析不能として解析対象から除外していたのに対して、色飛び部分も解析対象に含ませることができる。
この場合に、肌の分析は、定期的に行うことが好ましく、また、例えば、予め決めた複数箇所を定期的に分析することが好ましい。しかし、撮影は、基本的にフリーハンドで行われるので、撮影位置を正確に合わせることが難しく、位置ずれが生じる。この場合に、多少位置がずれても、比較的短期間毎に撮影され、かつ、撮影位置が一定方向にずれずに、ずれ方向が比較的ランダムとなっていれば問題ないが、上述のように、発光素子１６の照明光に基づく白飛びが頻繁に発生し、撮影範囲中の画像の解析が可能な範囲が狭まってしまうと、定期的に得られる画像データで、解析範囲の重なる部分が僅かなものとなって、定期的に撮影している意味がなくなってしまう。
【００５７】
それに対して、本実施の形態の解析用画像撮像処理システムによれば、白飛びした部分を補正することにより、白飛びした部分も含めて画像解析が可能ないなり、略定期的に同じ肌の部分（撮像範囲より狭い部分）を解析することが可能になり、時間経過に伴う肌の状態の変化を分析することが可能になる。
【００５８】
また、画像データの中の形状の解析の場合に、必ずしも色の情報がなくてもよいが、被検対象物５が肌の場合に、ユーザが自分の肌を撮影した際に、撮影結果を確認することになるが、この場合に、補正後に肌の色が保持されていることが好ましい。例えば、ユーザが撮影した画像を見る場合に、補正画像を見られるようにすることが好ましい。
この際には、補正された部分も含めて肌全体がほぼ同様の肌色となっていることが好ましい。
【００５９】
なお、黒潰れした不良分部の補正では、不良分部の輝度を高くするように輝度変換する。この場合も、基準となる輝度ヒストグラムに不良分部の輝度ヒストグラムが近づくように輝度変換を行う。すなわち、輝度変換は、線形変換であっても、対数変換であっても、非線形変換であってもよい。また、基準となる色の情報および輝度の情報は、所定領域の輝度ヒストグラムに代えて、画像データの平均化された色および輝度情報として、例えば、画僧データを複数領域に分けて、度数分布を求めた後に、これらの各輝度の度数の平均を求めて、平均の度数分布をヒストグラムとしたものである。
【００６０】
また、上述の解析用画像撮像処理システムでは、スマートフォン１で撮影された画像データをサーバ２１にアップロードして画像処理を行うものとしたが、上述のように、画像処理をスマートフォン１の演算処理装置２で行うものとしてもよく、画像データをアップロードせずに、演算処理装置２で画像処理して記憶装置３に記憶する。この場合の画像処理も基本的にサーバ２１の演算処理装置２２で行われるものと同様のものである。また、画像処理後の画像データを用いた被検対象物５の分析のための画像データの解析は、スマートフォン１の演算処理装置２により行うものとしても良いし、画像処理された画像データをサーバ２１にアップロードしてサーバ２１で行うものとしてもよい。この場合に、スマートフォン１およびコンバージョンレンズユニット１７（または肌カメラ）が略単体で撮像から画像処理までを行う解析用画像撮像処理システムとしての携帯型装置となる。
【００６１】
スマートフォン１で撮像された画像データの画像処理を行うことにより、画像データのアップロードとダウンロードに必要とする時間がなくなるので、サーバ２１で画像処理するより、画像処理に時間がかかるものとしても、画像処理された画像データをより早くスマートフォン１のディスプレイに表示することが可能になる。また、通信やサーバの一時的な不調に関係なく、スマートフォン１で撮像された画像を画像処理してスマートフォン１のディスプレイに表示することができる。
【００６２】
また、上述の画像処理では、基本的に撮像されたが画像データの各色（Ｒ，Ｇ，Ｂ）の輝度を直接輝度変換したが、例えば、白飛びした部分では、輝度が飽和した状態でなくとも、各色の輝度が近似していることにより、略灰色（白を含む）となっている。ここで、画像データの形状の解析においては、例えば、色よりも、形状に基づく輝度の高低の方が重要となることから、一度、白黒のグラディエーション（グレースケール）とした後に輝度変換し、再び、上述の基準となる色と同様の色となるように各色の輝度に分けることで、色毎に輝度変換した状態としてもよい。
【００６３】
この場合に、例えば、変換前のｉｒ，ｉｇ，iｂの各値に重みづけして（それぞれ異なる係数を乗算して）３で除算すること（加重平均を求めること）により、グレースケールの値としてのｙ（輝度）を得る。
【００６４】
例えば、Ｙ＝（ａｉｒ×ｂｉｇ×ｃiｂ）／３となる。なお、ａ、ｂ、ｃの各係数は、例えば、ＮＴＳＣ係数、ＨＤＴＶ係数等の周知の係数を用いることができる。なお、白飛びした部分だけを考えた場合に、各色の輝度に大きな差がないことから、荷重平均ではなく、例えば、緑の輝度をそのままグレースケールの輝度としてもよい。
【００６５】
グレースケール化した後に輝度変換を行う。この場合には、例えば、上述の基準となる各色の輝度もグレースケール化し、それを基準として、基準に合わせるように輝度変換を行う。基本的に各色の輝度変換と同様の輝度変換を行う。次に、例えば、基準となる部分の色に合わせて、カラー化する。
【００６６】
基本的には、輝度変換されたグレースケールの各画素の値に、Ｒ用の係数ｍ、Ｇ用の係数ｎ、Ｂ用の係数oをかけてカラー化する。この際も基準となる色に合わせて各色の係数を決定し、基準となる色と略同じ色となうように係数を求める。これにより、例えば、Ｒの輝度が最も高く、Ｂの輝度が最も低く、これらＲの輝度と、Ｂの輝度の間にＧの輝度がある肌色とすることができる。なお、本実施の形態においては、基準となる色が肌を撮影することから肌色となるが、例えば、被検対象物５が植物の葉であるような場合には、緑の輝度を高くし、赤、青の輝度が低くなるように、グレースケールの値ｙにＲ，Ｇ，Ｂそれぞれに対応する係数を乗算し、Ｒ，Ｇ，Ｂの値を求める。
【００６７】
すなわち、輝度変換後の各色の輝度は、ｍＹ＝ｊｒ  ｎｙ＝ｊｇ、ｏＹ＝ｊｂとなる。色毎に輝度変換された値を求めることができる。なお、係数は、基準となる色に基づいて決定されるもので、例えば、基準となる各色のヒストグラムのピークの輝度に基づいて決定される。すなわち、各色の輝度変換後の輝度ヒストグラムを作成した場合にそのヒストグラムにおけるピークが、基準となる輝度ヒストグラムのピークと略同じ輝度となるように係数ｍ、ｎ、ｏが決定される。
【００６８】
また、上述のようにフード１５を強く押し当てることにより、フード１５の先端部開口部からコンバージョンレンズ１３側に露出する肌がドーム状に膨出した状態となることで、フード１５の先端開口部から露出する肌の撮影可能な範囲では、周縁部が暗く、中央部が明るくなる。この場合に、必ずしも、中央部で白飛びが生じ、周縁部で黒潰れが生じるわけではないが、色むらが生じた状態となる。また、フード１５を強く押し付けなくとも照明用発光素子１６の照明光の影響や光学系１４の影響により、基本的に画像データは、中央部が明るく周縁部が暗くなる可能性がある。すなわち、輝度むらとしてのシェーディングが発生している。
【００６９】
この場合に、例えば、画像データの中央部を通る線上の輝度を見ると、被検対象物５の表面の照明光の下での色や形状に基づく輝度変化とはべつに画像の周縁部の輝度が低く画像の中央部が高くなっており、短い距離の輝度変化を除くと、画像データの全幅に対応して上に凸となる弓状の輝度のベースラインがあることになる。この場合に、周知のシェーディング補正や周知のフラット補正を行うことにより、ベースラインをより平にすることができる。すなわち、画像データの暗い周縁部の輝度を高くし、画像データの明るい中央部の輝度を低くして、弓形のベースラインを平にすることで、輝度むらを減少させることができる。シェーディング補正と、上述の輝度変換とを組み合わせることにより、より輝度むらのない画像データを得ることができる。
【符号の説明】
【００７０】
１    スマートフォン（携帯端末：携帯型装置）
５    被検対象物
１１  撮像素子
１２  レンズ（光学系）
１３  コンバージョンレンズ（光学系）
１６  照明用発光素子
２１  サーバ
２２  演算処理装置（画像処理手段）
【図１】
2016018262.tif 000003
【図２】
2016018262.tif 000004
【図３】
2016018262.tif 000005
【図４】
2016018262.tif 000006
【図５】
2016018262.tif 000007
【図６】
2016018262.tif 000008