(57)【要約】  本開示は、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価することができるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。撮像された画像内の被写体であるユーザの肌における分光特性である被写体分光特性と、好ましい状態の分光特性との差分二乗平方根和を求め、所定の閾値との比較に基づいて、被写体である肌の状態を評価し、評価結果に応じた推薦商品を提示する。推薦商品提示装置に適用することができる。
2019116926.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
画像処理装置。
【請求項２】
前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
請求項１に記載の画像処理装置。
【請求項３】
前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
請求項２に記載の画像処理装置。
【請求項４】
前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
請求項３に記載の画像処理装置。
【請求項５】
前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
請求項１に記載の画像処理装置。
【請求項６】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部とをさらに備える
請求項１の記載の画像処理装置。
【請求項７】
前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
請求項６に記載の画像処理装置。
【請求項８】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
請求項６に記載の画像処理装置。
【請求項９】
前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
請求項６に記載の画像処理装置。
【請求項１０】
前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
請求項１に記載の画像処理装置。
【請求項１１】
前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
請求項１０に記載の画像処理装置。
【請求項１２】
前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部をさらに備える
請求項１１に記載の画像処理装置。
【請求項１３】
前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
請求項１２に記載の画像処理装置。
【請求項１４】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
請求項１３に記載の画像処理装置。
【請求項１５】
撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
請求項１に記載の画像処理装置。
【請求項１６】
前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
請求項１５に記載の画像処理装置。
【請求項１７】
前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
請求項１５に記載の画像処理装置。
【請求項１８】
前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
請求項１７に記載の画像処理装置。
【請求項１９】
撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
画像処理方法。
【請求項２０】
撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を評価できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
被写体として人の肌を撮像し、撮像した肌の画像に基づいて、肌の状態を測定し、肌の状態を評価する技術が提案されている。【０００３】
例えば、肌を撮像し、撮像した画像に基づいて、肌の血管網や毛穴の状態、または、肌に塗布された化粧品素材の色などを診断する技術が提案されている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２６３０８４号公報
【特許文献２】特開２００２−１８９９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２のいずれの技術においても、測定時に環境光源の影響を考慮していない、専用の肌測定装置を用いている、または、肌と一緒に基準色票を同時に撮像するなどして環境光源の影響を除去するなどして肌の状態を測定している。【０００６】
このため、被写体である肌を撮像し、撮像結果から肌色を測定するにあたっては、簡便で、かつ高精度に被写体である肌の色情報を取得することができず、環境光源を調整する、または、基準色票を同時に撮像する必要があり、被写体の状態を高精度に評価するには煩わしさがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価できるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の画像処理装置は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える画像処理装置である。【０００９】
前記評価部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。【００１０】
前記評価部には、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力させるようにすることができる。【００１１】
前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和とすることができる。【００１２】
前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性とすることができる。【００１３】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部とをさらに設けるようにすることができる。【００１４】
前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、前記特定部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定させるようにすることができる。【００１５】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。【００１６】
前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部には、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定させるようにすることができる。【００１７】
前記評価部には、前記被写体分光特性を分類することで前記被写体の状態を評価させるようにすることができる。【００１８】
前記評価部には、前記被写体分光特性を複数の波長域に分割させ、分割させた波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類させ、分類結果を評価インデックスとすることで、前記被写体の状態を評価させることができる。【００１９】
前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部をさらに設けるようにすることができる。【００２０】
前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定させるようにすることができる。【００２１】
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。【００２２】
撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに設けるようにすることができ、前記評価部には、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。【００２３】
前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに設けるようにすることができ、前記評価部には、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価させるようにすることができる。【００２４】
前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに設けるようにすることができる。【００２５】
前記不適切光源検出部には、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出させるようにすることができる。【００２６】
本開示の一側面の画像処理方法は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む画像処理方法である。【００２７】
本開示の一側面のプログラムは、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させるプログラムである。【００２８】
本開示の一側面においては、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態が評価される。
【発明の効果】
【００２９】
本開示の一側面によれば、特に、簡易な構成で、環境光源による影響を考慮して肌状態を高精度に測定することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本開示の推薦商品提示装置の第１の実施の形態の構成例を説明するブロック図である。
【図２】推定された被写体分光特性を評価する際に比較する好ましい被写体分光特性を説明する図である。
【図３】特性分類記憶部に記憶されている好ましい被写体分光特性のデータ例を説明する図である。
【図４】特性分類記憶部に記憶されている平均的な被写体分光特性のデータ例を説明する図である。
【図５】推定された被写体分光特性と好ましい被写体分光特性とから求められる好適な被写体分光特性を説明する図である。
【図６】商品記憶部に記憶されている好適な状態の被写体分光特性と対応付けて記憶される商品情報の例を説明する図である。
【図７】被写体分光特性に対する適切な環境光源分光特性と不適切な環境光源分光特性とを説明する図である。
【図８】推薦商品の表示例を説明する図である。
【図９】環境光源が不適切であることの警告例を説明する図である。
【図１０】図１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。
【図１１】本開示の推薦商品提示装置の第２の実施の形態の構成例を説明するブロック図である。
【図１２】推定された被写体分光特性を分類する例を説明する図である。
【図１３】図１１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。
【図１４】本開示の推薦商品提示装置の第３の実施の形態の構成例を説明するブロック図である。
【図１５】被写体分光特性を用いた評価をする際の測定項目毎の使用する波長域を説明する図である。
【図１６】図１４の推薦商品提示装置による商品推薦処理を説明するフローチャートである。
【図１７】測定項目の選択画面の表示例を説明する図である。
【図１８】本開示の推薦商品提示装置の第４の実施の形態の構成例を説明するブロック図である。
【図１９】図１８の推薦商品提示装置による商品推薦処理を説明するフローチャートである。
【図２０】環境光源分光特性を選択するための測定環境選択画面の表示例を説明する図である。
【図２１】本開示の推薦商品提示装置の第５の実施の形態の構成例を説明するブロック図である。
【図２２】図２１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。
【図２３】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００３１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３２】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．ソフトウェアにより実行させる例
【００３３】
＜＜１．第１の実施の形態＞＞
【００３４】
本開示は、簡易な構成により、環境光源の影響を考慮して、肌の分光特性を高精度に推定し、推定結果に基づいて、肌の状態を評価するものである。
【００３５】
より具体的には、本開示の推薦商品提示装置（画像処理装置）は、簡易な構成により、環境光源の影響を考慮して、ユーザの肌の分光特性を推定し、好ましい分光特性である参照分光特性との比較により、ユーザの肌の状態を評価する。そして、本開示の推薦商品提示装置は、評価結果に基づいて、好適な分光特性の肌となる処理を施す推薦商品（推薦する商品または物品）を選択（特定）して提示する。
【００３６】
尚、本開示において、ユーザの肌の状態の評価とは、画像として撮像された被写体である肌の分光特性と、好ましい肌の状態における好ましい分光特性との比較に対する評価である。また、分光特性の両者の比較については、全波長域、所定の波長域、全波長域を分割した分割波長域毎の平均値、最大値、および最小値などのそれぞれについて、両者の単純な大小比較から、両者の差分そのものや差分と所定の閾値との比較、および両者の比率と所定の閾値との比較、並びに、これらの組み合わせ等を含む。
【００３７】
以下、図１のブロック図を参照して、本開示の推薦商品提示装置の機能を実現する構成例について説明する。
【００３８】
図１の推薦商品提示装置１１は、例えば、スマートフォンに代表される携帯端末などから構成される。推薦商品提示装置１１は、測定部３１、操作部３２、環境光源推定部３３、および被写体分光特性推定部３４を備える。さらに、推薦商品提示装置１１は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、出力制御部３９、出力部４０、および不適切光源検出部４１を備える。
【００３９】
測定部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、被写体となるユーザの肌を画像として撮像することで測定し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。また、測定部３１は、フラッシュ３１ａを備えており、撮像に際して、フラッシュ３１ａを発光させた状態の撮像と、フラッシュ３１ａを発光させない状態の撮像と連続的に実施し、合計２枚の画像を撮像して出力する。
【００４０】
操作部３２は、操作ボタンやキーボードなどからなり、測定部３１において、画像を撮像するタイミングにおいて、ユーザにより操作され、操作内容に応じた操作信号を測定部３１に出力する。
【００４１】
環境光源推定部３３は、測定部３１より供給される測定結果であるユーザの肌の画像より、撮像時における環境光源の分光特性を推定し、環境光源分光特性として被写体分光特性推定部３４、および不適切光源検出部４１に出力する。
【００４２】
被写体分光特性推定部３４は、測定部３１より供給される測定結果であるユーザの肌の画像より、環境光源分光特性を用いて、環境光源による影響を除去（低減）して、撮像時における被写体の分光特性を推定し、被写体分光特性として被写体特性比較部３５に出力する。
【００４３】
尚、環境光源、および被写体の分光特性は、いずれも既知の照度でフラッシュ３１ａを発光させた状態の画像と発光させない状態の画像との２枚の画像を利用することにより推定される。環境光源、および被写体の分光特性の具体的な推定方法については、例えば、“Practical Scene Illuminant Estimation via Flash/No-Flash Pairs, Cheng Lu and Mark S. Drew; School of Computing Science, Simon Fraser University, Vancouver, British Columbia, Canada V5A 1S6 {clu,mark}@cs.sfu.ca”を参照されたい。
【００４４】
被写体特性比較部３５は、特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における分光特性を、参照分光特性として読み出し、被写体分光特性推定部３４からの被写体分光特性と比較することで評価し、評価結果を推薦商品選択部３７に出力する。より具体的には、被写体特性比較部３５は、被写体分光特性と参照分光特性との差分を求め、差分の二乗平方根和と所定の閾値とを比較し、比較結果を評価結果として推薦商品選択部３７に出力する。
【００４５】
すなわち、被写体特性比較部３５は、図２で示されるように、実線で示される被写体分光特性推定部３４により供給される被写体分光特性（被写体の状態＝rm(λi)）と、点線で示される特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における参照分光特性（好ましい状態＝rp(λi)）との波長毎の差分diを以下の式（１）で示されるように算出する。
【００４６】
【数１】
2019116926.tif 000003
・・・（１）
【００４７】
そして、被写体特性比較部３５は、以下の式（２）で示されるように、差分diの二乗平方根和mと所定の閾値thとを比較することで被写体となるユーザの肌の状態を評価し、比較結果を、ユーザの肌の状態の評価結果として出力すると共に、被写体分光特性および好ましい状態の参照分光特性とを併せて推薦商品選択部３７に出力する。
【００４８】
【数２】
2019116926.tif 000004
・・・（２）
【００４９】
ここで、Σ√di2は、波長λiにおける差分diの二乗平方根和mである。
【００５０】
また、図２は、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）であり、横軸が波長であり、縦軸が、被写体の分光反射率である。図２で示されるように、人の肌についての、好ましい状態の被写体分光特性は、部位に応じて異なるが、全体として、波長が700nm付近の赤みがより強く、波長が400nm付近の青みがより弱い分光特性となる。
【００５１】
特性分類記憶部３６は、好ましい状態における分光特性を参照分光特性として記憶している。好ましい状態の参照分光特性の情報は、例えば、図３で示されるようなテーブルとして記憶されている。図３のテーブルで示されるように分光特性の情報は、左からインデックス欄、分光特性欄、部位欄、属性欄、および特徴欄が設けられており、インデックス毎に体の部位、年齢と性別からなる属性、並びに、日焼け肌や色白肌などの特徴が記憶されている。好ましい状態は、特性分類記憶部３６に記録されている任意の状態でよく、ユーザが決定することもできる。
【００５２】
図３においては、部位として「頬」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」および「色白肌」が示されている。
【００５３】
また、分光特性において、例えば、インデックス＝１の場合については、{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}と示されており、{A,B}において、Aが波長を、Bが分光反射率をそれぞれ表しており、被写体特性比較部３５は、図３で示される分光特性の情報に基づいて、図２の点線で示されるような波形を復元することができる。
【００５４】
すなわち、図３においては、インデックス＝１の参照分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが表されている。
【００５５】
また、図３においては、インデックス＝２の参照分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが表されている。
【００５６】
さらに、特性分類記憶部３６は、図４で示されるように、例えば、N人分の被写体分光特性の平均値からなる平均的な被写体の分光特性を平均分光特性として記憶している。図４においては、部位として「頬」と「額」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」、「色白肌」の例が示されており、それぞれの条件における平均的な被写体分光特性が記憶されている。
【００５７】
すなわち、図４においては、インデックス＝１の平均分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.60},{700,0.65}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが登録されている。
【００５８】
また、インデックス＝２の平均分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
【００５９】
さらに、インデックス＝３の平均分光特性について、分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.70},{700,0.70}」であり、部位が「額」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
【００６０】
被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性との差分二乗平方根和mを閾値thとして算出し、被写体分光特性を評価する際に使用するようにしてもよい。また、被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性とから分散σを算出し、閾値thをm＋ασとして求めて、被写体分光特性を評価する際に使用するようにしてもよい。ここで、αは、設計者により調整できるパラメータとなる。
【００６１】
推薦商品選択部３７は、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、被写体分光特性と好ましい状態の参照分光特性とに基づいて、商品記憶部３８に記憶されている商品（または物品）のうち推薦すべき商品（または物品）を選択（特定）し、選択結果となる商品の商品情報を出力制御部３９に出力する。
【００６２】
より詳細には、推薦商品選択部３７は、以下の式（３）に基づいて、好ましい状態の参照分光特性rp(λi)と、被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、好適な商品の状態における分光特性rr(λi)を算出する。
【００６３】
【数３】
2019116926.tif 000005
・・・（３）
【００６４】
すなわち、図５で示されるように、点線で表される好ましい状態の参照分光特性rp(λi)と、実線で表される被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、太線で表される好適な商品の状態における分光特性rr(λi)が求められる。ここで、好適な商品の状態の分光特性とは、例えば、被写体である肌に、商品が適用されたときの理想的な被写体の分光特性であり、換言すれば、被写体に適用される理想的な商品の分光特性である。これに対して、好ましい状態の分光特性（参照分光特性）とは、例えば、被写体である肌に商品が適用される前の状態（商品が適用されていない状態）における理想的な分光特性である。したがって、好適な商品の状態の分光特性は、現状の推定された被写体の分光特性と、被写体である肌に商品が適用される前の状態の好ましい状態の（理想的な）分光特性（参照分光特性）との差分に基づいて求められる、肌に適用することで理想的な被写体の分光特性となることが期待される商品の分光特性であるとも言える。
【００６５】
そして、推薦商品選択部３７は、以下の式（４）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品情報の分光特性rdj(λi)との差分の二乗の総和Djを算出する。
【００６６】
【数４】
2019116926.tif 000006
・・・（４）
【００６７】
ここで、Djは、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和である。
【００６８】
さらに、推薦商品選択部３７は、以下の式（５）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品を商品記憶部３８より検索して、推薦すべき商品として選択し、出力制御部３９に出力する。
【００６９】
【数５】
2019116926.tif 000007
・・・（５）
【００７０】
ここで、arg(min Dj)は、差分の二乗の総和Djが最小となる条件の集合を示しており、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品のインデックスが選択されることが表されている。
【００７１】
ここで、商品記憶部３８は、例えば、図６で示されるように商品のインデックス毎に分光特性を記憶している。
【００７２】
図６においては、左からインデックス欄、商品名欄、分光特性欄、特徴欄、および商品の写真欄が設けられており、それぞれに対応する商品情報が登録されている。
【００７３】
図６においては、商品名として図中上から「ファンデーションＡ」、「ファンデーションＢ」、および「クリームＡ」の例が示されており、特徴として、図中上から「美白肌」、「日焼け肌」、および「保湿」の例が示されており、それぞれの商品写真の例が表示されている。
【００７４】
すなわち、図６においては、インデックス＝１の商品情報について、商品名が「ファンデーションＡ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.85},{700,0.90}」であり、特徴が「美白肌」であることが登録されており、併せて対応する商品写真が登録されている。
【００７５】
また、インデックス＝２の商品情報について、商品名が「ファンデーションＢ」であり、好適な商品の分光特性が「{400,0.20}, {405,0.25}, {410,0.25}, …,{695,0.60},{700,0.65}」であり、特徴が「日焼け肌」であることが登録されており、併せて対応する商品写真が登録されている。
【００７６】
さらに、インデックス＝３の商品情報について、商品名が「クリームＣ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.80},{700,0.85}」であり、特徴が「保湿」であることが登録されており、併せて対応する商品写真が登録されている。
【００７７】
不適切光源検出部４１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶されている平均分光特性とを比較して、被写体分光特性を推定するのに適していない、不適切光源であるか否かを判定して、判定結果を出力制御部３９に出力する。
【００７８】
例えば、図７の上段で示されるように、「やや明るい肌」および「日焼け肌」における平均分光特性を、全波長範囲について、適切に推定するにあたっては、環境光源分光特性が、全波長域に対してまんべんなく分布する照度が望ましい。
【００７９】
ここで、全波長域について、適切に推定するような場合、図７の下段の環境光源分光特性のうち、最上段の白熱電球のように、全波長域について、ある程度の照度（Intensity）が分布しているようであれば適切な環境光源であるとみなすことができる。しかしながら、図７の下段のうち、蛍光灯や白色LEDの環境光源分光特性については、特定の波長域でしか照度が得られないため、不適切な環境光源であるものとみなされる。
【００８０】
すなわち、蛍光灯は、パルス状の特性となるため、波長が435nmや545nm付近のピンポイントの範囲でのみしか十分な照度が得られない。また、白色LEDについては、465nmの数10nm前後の波長域のみでしか十分な照度が得られない。
【００８１】
より具体的には、不適切光源検出部４１は、以下の式（６）を演算することにより、全波長域の平均照度を算出し、所定の閾値よりも大きいか否かにより不適切光源であるか否かを判定する。
【００８２】
【数６】
2019116926.tif 000008
・・・（６）
【００８３】
ここで、Λは、サンプル数であり、I(λ)は、照度である。
【００８４】
また、波長域を複数の領域に分割し、それぞれの領域において十分な照度が得られるか否かにより不適切な環境光源であるか否かが判定されるようにしてもよい。
【００８５】
全波長域を、例えば、400乃至500nm，500乃至570nm，570乃至630nm，630乃至700nmの４領域のそれぞれについて分割して、例えば、以下の式（７）を算出することにより、不適切な環境光源であるか否かが判定されるようにしてもよい。
【００８６】
【数７】
2019116926.tif 000009
・・・（７）
【００８７】
ここで、Λiは、波長域毎のサンプル数であり、I(λi)は、波長域毎の照度である。
【００８８】
尚、図７の上段は、「やや明るい肌」および「日焼け肌」における被写体分光特性を表しており、縦軸が分光反射率であり、横軸が波長である。また、図７の下段は、上から白熱電球、蛍光灯、および白色LEDにおける環境光源分光特性を表しており、いずれも縦軸が照度であり、横軸が波長である。
【００８９】
出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報と、不適切光源検出部４１の環境光源が不適切光源であるか否かの判定結果とを取得して、出力部４０を制御して、推薦商品の商品情報を表示すると共に、不適切光源であるときには警告情報を提示する。
【００９０】
出力部４０は、表示部５１、バイブレータ５２、およびスピーカ５３を備えており、出力制御部３９により制御されて、各種の情報を提示する。
【００９１】
表示部５１は、LCD（Liquid Crystal Display）や有機EL（Electronic Luminescent）などからなるディスプレイであり、出力制御部３９により制御され、所定の画像を表示する。
【００９２】
バイブレータ５２は、出力制御部３９により制御されて、例えば、モータにより偏芯回転軸の重りを回転させることにより、推薦商品提示装置１１の全体を振動させる。
【００９３】
スピーカ５３は、出力制御部３９により制御されて、所定の音声を出力する。
【００９４】
すなわち、出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報を取得し、例えば、図８で示されるように、推薦すべき商品の商品情報として商品名および商品画像を表示部５１に表示させる。
【００９５】
図８においては、表示部５１において、推薦商品の商品情報として、上段に商品名として「ファンデーションＡ」が表示され、その右側に商品写真が表示されている例が示されている。また、図８においては、「ファンデーションＡ」の商品情報の下には、関連する商品として「ファンデーションＢ」乃至「ファンデーションＥ」が表示され、それぞれ商品画像が表示されている。尚、図８においては、推薦商品は１個である例が示されているが、複数の推薦商品を表示するようにしてもよい。
【００９６】
また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であることを示す情報が供給される場合、例えば、図９の左部で示されるように、「ここでは、〇〇は測定できません」といった警告画像を生成して表示部５１に表示させて、環境光源分光特性が不適切であることをユーザに対して警告する。警告は、これに限らず、例えば、他の環境光源が十分に環境で再度撮像するように促すような画像を表示するようにしてもよい。また、図９の左部における「〇〇」は、例えば、肌色やシミなどである。
【００９７】
さらに、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の中央部で示されるように、バイブレータ５２を制御して、本体を振動させて、環境光源分光特性が不適切であることをユーザに警告する。
【００９８】
また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには、環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の右部で示されるように、スピーカ５３を制御して、警告音を発生させて、環境光源分光特性が不適切であることをユーザに警告する。
【００９９】
＜図１の推薦商品提示装置による商品推薦処理＞
次に、図１０のフローチャートを参照して、図１の推薦商品提示装置による商品推薦処理について説明する。
【０１００】
ステップＳ１１において、測定部３１は、ユーザにより操作部３２が操作されて、撮像が指示されると、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
【０１０１】
ステップＳ１２において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
【０１０２】
ステップＳ１３において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
【０１０３】
ステップＳ１４において、被写体分光特性推定部３４は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より、環境光源分光特性に基づいて、環境光源の影響を除去した後、画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
【０１０４】
ステップＳ１５において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
【０１０５】
ステップＳ１６において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品として選択（特定）し出力制御部３９に出力する。
【０１０６】
すなわち、評価結果に基づいて、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、推薦商品選択部３７は、図５を参照して説明したように、被写体分光特性と好ましい状態の参照分光特性とから、上述した式（３）を演算することにより、好適な商品の状態を算出する。そして、推薦商品選択部３７は、商品記憶部３８に記憶されている商品情報より式（４），式（５）により差分の二乗の総和が最小となる、すなわち、好適な商品の状態における分光特性と最も近い分光特性の商品のインデックスを選択し、選択したインデックスに対応する商品を推薦すべき推薦商品として選択する。
【０１０７】
尚、推薦商品が選択されるのは、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも高いという評価結果の場合である。したがって、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。この場合、推薦商品選択部３７は、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報を出力制御部３９に出力するようにしてもよい。また、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、上述したように、推薦商品が選択されないようにしてもよいし、一般的な商品を推薦するようにしてもよい。
【０１０８】
ステップＳ１７において、不適切光源検出部４１は、環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
【０１０９】
ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１８に進む。
【０１１０】
ステップＳ１８において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。尚、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。そこで、このような場合、推薦商品選択部３７より、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報が出力制御部３９に出力されるようにしてもよい。このようにすることで、出力制御部３９は、推薦商品の商品情報に代えて、「お肌の状態は好ましい状態です。」といった情報を出力部４０の表示部５１に表示することができる。
【０１１１】
一方、ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１９に進む。
【０１１２】
ステップＳ１９において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
【０１１３】
尚、環境光源が不適切であるとの警告は、表示部５１による表示による警告、バイブレータ５２の振動による警告、およびスピーカ５３からの音声による警告の少なくともいずれかにより警告できればよいので、必ずしも全ての構成により警告する必要があるわけではない。また、環境光源が不適切である場合の警告方法については、表示部５１、バイブレータ５２、およびスピーカ５３のいずれか、または、いずれかの組み合わせをユーザにより予め設定できるようにしてもよい。
【０１１４】
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、所定の閾値と比較することで、ユーザの肌を評価することが可能となる。さらに、閾値との比較に応じた評価に基づいて、ユーザの肌の状態を好適な状態にさせる商品（または物品）を推薦商品として推薦（特定）して、提示することが可能となる。
【０１１５】
また、以上においては、ユーザの肌の評価に応じて、好適な肌の状態にさせるための商品を推薦商品として提示させる例について説明してきたが、ユーザの肌の評価そのものを提示するようにしてもよい。すなわち、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性の平均値に応じて設定される所定の閾値との比較結果や、所定の閾値との差分がどの程度であり、どの程度状態が良いのか、または、悪いのかを提示するようにしてもよい。
【０１１６】
さらに、図１の推薦商品提示装置１１が、ユーザの肌の評価に対応する情報を提示するものであるとみなした場合、推薦商品の提示は、ユーザの肌の評価として提示される情報のうちの１つの情報であるとみなすこともできる。
【０１１７】
従って、ユーザの肌の評価に対応する情報は、ユーザの肌を被写体とする被写体分光特性と、被写体分光特性の平均値からなる平均分光特性に応じて設定される所定の閾値との比較結果を示す情報や、所定の閾値との差分に応じて、どの程度状態が良いのか悪いのかを示す情報でもよい。また、ユーザの肌の評価に対応する情報は、例えば、日焼けにより全体として分光反射率が低い場合に、「これ以上の日焼けは控えるようにすることをおススメします。」といったコメントなどでもよい。このため、ユーザの肌の評価に対応する情報が、推薦商品の提示と共に、または、推薦商品の提示に代えて、提示されるようにしてもよいし、評価に対応して何らかの行動を促すような提示であってもよい。
【０１１８】
また、以上においては、被写体であるユーザの肌の状態に応じて、好適な状態にするための推薦商品を提示する例について説明してきたが、被写体は、肌の色に限らず、その他の被写体についての色に基づいた評価を行うようにしてもよい。例えば、頭髪、服、食品、および塗装などを被写体とした画像の色に対する評価であってもよく、また、これらの評価に基づいて、好適な色の頭髪にする商品、好適な色の被服商品、好適な色の推薦食品、および好適な色の推薦塗装等を提示するようにしてもよい。
【０１１９】
また、ユーザの肌の評価結果に応じて、化粧品等の推薦商品の提示のみならず、推薦すべきサービスを提示するようにしてもよく、例えば、エステティックの施術や運動などのヘルスケア行動を推薦するようにしてもよい。
【０１２０】
さらに、以上においては、推薦商品提示装置１１は、スマートフォンなどの携帯端末である例について説明を進めてきたが、測定部３１、操作部３２、出力制御部３９、および出力部４０を除いた構成、すなわち、環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、および不適切光源検出部４１については、本体外部に構成されるようにしてもよく、例えば、ネットワークを介してクラウドサーバにより実現するようにしてもよい。
【０１２１】
このようにすることで、スマートフォンの処理負荷を低減することが可能となる。また、被写体となるユーザの肌を撮像した画像があれば、クラウドサーバなどにより実現される推薦商品提示装置１１に対して撮像した画像を送信するだけで、ユーザの肌を評価することが可能となる。
【０１２２】
また、以上においては、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）との差分diや、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との総和Djを用いる例について説明してきたが、これらは、差分のみならず、例えば、比率で表現するようにしてもよい。
【０１２３】
＜＜２．第２の実施の形態＞＞
以上においては、ユーザの肌の画像に基づいた被写体分光特性、および好ましい状態の被写体分光特性の差分二乗平方根和と、平均分光特性、および好ましい状態の参照分光特性の差分に基づいた閾値との比較結果が、ユーザの肌の評価として求められ、ユーザの肌の評価に基づいて、推薦商品（または物品）が選択（特定）されて提示される例について説明してきた。
【０１２４】
しかしながら、ユーザの肌の評価は、これに限るものではなく、例えば、被写体分光特性の波長域を複数の領域に分割し、分割した波長域毎の、分光反射率の平均値と閾値との比較結果の組み合わせにより被写体分光特性の分類し、分類結果を用いてユーザの肌の状態を評価するようにしてもよい。
【０１２５】
図１１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じて被写体分光特性を分類し、分類結果によりユーザの肌の状態を評価するようにした推薦商品提示装置１１の構成例を示している。
【０１２６】
図１１の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明を適宜省略する。
【０１２７】
すなわち、図１１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、および商品記憶部３８に代えて、被写体特性分類部７１、特性分類記憶部７２、推薦商品選択部７３、および商品記憶部７４を設けた点である。
【０１２８】
被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果を、ユーザの肌の状態の評価として推薦商品選択部７３に出力する。
【０１２９】
例えば、図１２で示されるように、被写体分光特性の波長域を、例えば、波長域Ｃ１乃至Ｃ６の６つの波長域に分割した場合、被写体特性分類部７１は、各波長域の被写体分光特性の平均値を、以下の式（８）として求める。
【０１３０】
【数８】
2019116926.tif 000010
・・・（８）
【０１３１】
ここで、ｃは各波長域のサンプル数であり、rm(λi)は、各波長域Cm（m＝1,2,…6）における各波長λiの分光反射率である。
【０１３２】
さらに、被写体特性分類部７１は、各波長域の被写体分光特性の平均値と閾値との比較により、閾値よりも小さい場合の値、閾値と同程度の場合の値、閾値よりも大きい場合の値からなる３値のいずれかの値に設定し、波長域毎の３値の組み合わせにより、被写体分光特性を分類する。すなわち、この場合、被写体分光特性は、36＝729通りに分類される。そして、被写体特性分類部７１は、分類した被写体分光特性の分類結果に基づいて、特性分類記憶部７２に記憶されている、被写体分光特性の分類結果に対応付けて記憶されている評価インデックスを読み出して、被写体分光特性の評価として推薦商品選択部７３に出力する。
【０１３３】
推薦商品選択部７３は、評価インデックスに基づいて、商品記憶部７４に記憶されている商品情報を読み出して出力制御部３９に出力する。すなわち、商品記憶部７４は、評価インデックスと、商品情報のインデックスとを対応付けて記憶している。
【０１３４】
尚、図１の推薦商品選択部３７は、被写体分光特性および参照分光特性から求められる好適な商品の状態の分光特性と、商品の分光特性との差分の二乗の総和が最小となる商品情報を選択して、推薦商品として出力している。これに対して、推薦商品選択部７３は、被写体分光特性の分類結果である評価インデックスと対応付けて商品記憶部７４に記憶されているインデックスの商品情報（または物品情報）を選択（特定）して、推薦商品（または推薦物品）として出力している。
【０１３５】
すなわち、図１の推薦商品選択部３７は、実質的に被写体分光特性および参照分光特性に基づいて求められる好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報を推薦商品として選択していると言える。
【０１３６】
ここで、好適な商品の状態の分光特性は、被写体分光特性から求められるものであり、また、被写体分光特性もまた、好適な商品の状態の分光特性から求められる。同様に、被写体分光特性の分類結果である評価インデックスは、対応する被写体分光特性の好適な商品の状態の分光特性から求められるものであり、好適な商品の状態の分光特性も、被写体分光特性の分類結果である評価インデックスから求められるものである。
【０１３７】
したがって、商品記憶部７４においては、好適な商品の状態の分光特性と、商品情報の分光特性とが最も類似した商品情報のインデックスと評価インデックスとが、対応付けて登録されている。
【０１３８】
推薦商品選択部３７は、被写体分光特性と所定の閾値thとの比較によりユーザの肌の状態を評価し、評価結果に基づいて、好適な商品の状態の分光特性に最も類似する分光特性の商品を、推薦商品として選択する。
【０１３９】
これに対して、推薦商品選択部７３は、被写体分光特性を評価インデックスに分類することでユーザの肌の状態を評価し、評価結果である評価インデックスにより特定される好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報のインデックスの商品を推薦商品として選択している。
【０１４０】
すなわち、推薦商品選択部３７，７３は、取得する評価結果が、被写体分光特性、および評価インデックスという点で異なるが、いずれにおいても、そこから得られる好適な商品の状態の分光特性に最も近い分光特性を備えた商品情報を選択する点で、実質的に同一の処理を実行していると言える。
【０１４１】
＜図１１の推薦商品提示装置による商品推薦処理＞
次に、図１３のフローチャートを参照して、図１１の推薦商品提示装置による商品推薦処理について説明する。尚、図１３のフローチャートにおけるステップＳ３１乃至Ｓ３４，Ｓ３７乃至Ｓ３９の処理は、図１０のステップＳ１１乃至Ｓ１４，Ｓ１７乃至Ｓ１９の処理と同様であるので、その説明は省略する。
【０１４２】
すなわち、ステップＳ３５において、被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果に基づいて、特性分類記憶部７２より対応する評価インデックスの情報を読み出し、ユーザの肌の評価結果として推薦商品選択部７３に出力する。
【０１４３】
ステップＳ３６において、推薦商品選択部７３は、分類結果に対応する評価インデックスの情報に基づいて、評価インデックスに対応付けて登録されているインデックスの商品情報を商品記憶部７４より読み出して、推薦すべき推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
【０１４４】
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性を分類し、分類結果に対応する評価インデックスを出力することで、ユーザの肌を評価することが可能となる。さらに、分類結果に応じて設定される評価インデックスに基づいて、評価インデックスに対応付けて、ユーザの肌の状態を好適な商品の状態にさせる商品情報として登録されているインデックスの商品（または物品）を推薦商品として選択（特定）させて提示させることが可能となる。
【０１４５】
＜＜３．第３の実施の形態＞＞
以上においては、測定部３１により撮像された画像に基づいて、環境光源分光特性と被写体分光特性とを利用して、ユーザの肌を評価し、評価に基づいて好適な商品の状態にさせる商品を推薦商品として提示し、環境光源が不適切なときに警告する情報を提示する例について説明してきた。
【０１４６】
しかしながら、環境光源が不適切である場合には、適切にユーザの肌を評価することができない可能性があり、また、不適切な評価に基づいて提示された推薦商品を使用しても適切な効果が得られない可能性がある。そこで、推定された環境光源分光特性に基づいて、適切にユーザの肌を評価できる項目を提示して、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにしてもよい。
【０１４７】
図１４は、推定された環境光源分光特性に基づいて、適切にユーザの肌の状態を評価できる項目を提示し、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにした推薦商品提示装置１１の構成例を示している。
【０１４８】
尚、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１における構成と、同一の機能を備えた構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
【０１４９】
すなわち、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、不適切光源検出部４１に代えて、測定項目選択部８１を設けた点である。
【０１５０】
測定項目選択部８１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶された被写体分光特性との比較により、測定に適した測定項目を抽出し、出力制御部３９に出力し、測定に適した測定項目の選択画像を表示させる。そして、測定項目選択部８１は、選択画像に基づいて、ユーザにより操作部３２が操作されて選択されることにより、選択された選択項目を被写体特性比較部３５に出力する。
【０１５１】
被写体特性比較部３５は、選択項目に対応する波長域のユーザの被写体分光特性および参照分光特性の差分二乗平方根和と、平均分光特性および参照分光特性の差分二乗平方根和を利用した閾値との比較結果を、ユーザの肌の状態の評価結果として出力する。
【０１５２】
より詳細には、例えば、図１５で示されるように、測定項目が肌色の場合、使用する波長域は、400nm乃至700nmであり、測定項目が肌のしみ（赤み）の場合、使用する波長域は、545nm乃至575nm、および645nm乃至675nmであり、測定項目が肌のしみ（日焼け）の場合、使用する波長域は、645nm乃至675nm、および845nm乃至875nmであり、測定項目が脈の場合、使用する波長域は、500nm乃至550nmであり、測定項目がAGEs（糖化最終生成物）の場合、使用する波長域は、400nm乃至450nmである。
【０１５３】
被写体特性比較部３５は、測定項目選択部８１より供給される測定項目に応じて、対応する波長域の被写体分光特性を用いて被写体分光特性と参考分光特性とを比較し、比較結果に基づいてユーザの肌の状態を評価して、推薦商品選択部３７に出力する。
【０１５４】
推薦商品選択部３７は、測定項目に応じた波長域について、被写体分光特性と好ましい状態の参照分光特性とに基づいて、好適な商品の状態を求めて、商品記憶部３８に記憶されている商品のうち推薦すべき商品を選択し、選択結果となる商品の商品情報を出力制御部３９に出力する。
【０１５５】
＜図１４の推薦商品提示装置による商品推薦処理＞
次に、図１６のフローチャートを参照して、図１４の推薦商品提示装置による商品推薦処理について説明する。
【０１５６】
ステップＳ５１乃至Ｓ５３の処理により、測定部３１により被写体となるユーザの肌を撮像し、撮像した画像に基づいて、環境光源推定部３３が、環境光源分光特性を推定して、被写体分光特性推定部３４、および測定項目選択部８１に出力する。
【０１５７】
ステップＳ５４において、測定項目選択部８１は、環境光源分光特性に基づいて、測定に適した測定項目を選択して出力制御部３９に出力する。
【０１５８】
より詳細には、例えば、環境光源分光特性の400nm乃至700nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌色が測定に適した測定項目として選択される。また、同様に、環境光源分光特性のうち、545nm乃至575nm、および645nm乃至675nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌のしみ（赤み）が、測定に適した測定項目として選択される。
【０１５９】
さらに、環境光源分光特性のうち、645nm乃至675nm、および845nm乃至875nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、肌のしみ（日焼け）が、測定に適した測定項目として選択される。また、500nm乃至550nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、脈が測定項目として選択される。さらに、400nm乃至450nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、AGEs（糖化最終生成物）が測定に適した測定項目として選択される。
【０１６０】
出力制御部３９は、測定に適した測定項目の情報に基づいて、例えば、図１７で示されるような選択画面を生成して、表示部５１に表示させる。
【０１６１】
図１７においては、最上段において「測定項目選択」と表示され、以下に測定に適した測定項目が表示され、左側の丸印状のボタンを操作部３２により操作することで、選択することができる。図１７においては、測定項目として、上から「肌色」、「脈」、および「肌のしみ」の順序に示されており、最上段のボタンに色が付されており、測定項目として「肌色」が選択されたときの例が示されている。
【０１６２】
図１７で示されるように測定項目選択画面が表示されて、ユーザにより操作部３２が操作されて、測定項目が選択されると、測定項目選択部８１は、選択された測定項目と、対応する波長域の情報を被写体特性比較部３５に出力する。
【０１６３】
ステップＳ５５において、被写体分光特性推定部３４が、被写体分光特性を推定し、推定結果を被写体特性比較部３５に出力する。
【０１６４】
ステップＳ５６において、被写体特性比較部３５は、選択された測定項目を測定するのに必要とされる波長域について、被写体分光特性と参照分光特性との差分を求め、差分二乗平方根和mを求めると共に、閾値thと比較することで、ユーザの肌を評価し、評価結果である、閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報を推薦商品選択部３７に出力する。
【０１６５】
ステップＳ５７は、推薦商品選択部３７は、選択された測定項目を測定するのに必要とされる波長域の差分二乗平方根和mと閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報に基づいて、商品記憶部３８に記憶されている商品情報より、推薦すべき商品を推薦商品として選択し、選択した推薦商品の情報を出力制御部３９に出力する。尚、推薦商品の選択方法の詳細については、選択された測定項目の測定に必要とされる波長域の情報のみを使用する以外は、図１の推薦商品提示装置１１と同様であるので、その説明は省略する。
【０１６６】
ステップＳ５８において、出力制御部３９は、推薦商品の情報を表示部５１に表示させる。
【０１６７】
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源により測定に適した測定項目だけを選択肢とする測定項目選択画面を表示することで、そのいずれかをユーザに選択させて、選択された測定項目に必要とされる被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価を実現することができる。また、適切な評価結果に基づいて、ユーザの肌の状態を好適な状態にさせる商品を適切に選択（特定）して推薦商品（または推薦物品）として提示することができる。尚、環境光源により測定に適した測定項目については、その測定項目を表示しつつ、ユーザの選択を待たず、自動的に測定に適した測定項目の被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価をするようにしてもよい。このようにすることで、測定項目選択画面の表示と、ユーザによる選択を待たずに迅速に、肌の評価を提示することが可能となる。
【０１６８】
＜＜４．第４の実施の形態＞＞
以上においては、毎回、環境光源分光特性を推定し、被写体分光特性に基づいた商品推薦処理を実現する例について説明してきたが、ユーザがある程度限られた環境でのみ使用するような場合、一度測定した環境光源分光特性については、記憶しておき、再利用できるようにしてもよい。
【０１６９】
図１８は、環境光源分光特性を記憶しておき、再利用できるようにした推薦商品提示装置１１の構成例を示している。尚、図１８の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【０１７０】
すなわち、図１８の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、新たに、環境光源登録部１０１、環境光源記憶部１０２、および環境光源選択部１０３を設けた点である。
【０１７１】
環境光源登録部１０１は、環境光源推定部３３より新たな環境光源分光特性が供給されるとき、出力制御部３９を介して、環境光源分光特性を登録するか否かをユーザに問い合わせる画像を表示部５１に表示させる。そして、これに応じてユーザにより操作部３２が操作されて、登録が指示されると、環境光源登録部１０１は、環境光源分光特性を、現在の位置情報と対応付けて環境光源記憶部１０２に登録する。
【０１７２】
尚、現在の位置情報については、ユーザが操作部３２を操作して、位置を特定する情報として、「自室」、「洗面所」、または、「化粧室」といった情報を入力するようにしてもよい。また、現在の位置情報については、図示せぬGPS（Global Positioning System）などを利用して検出される地球上の緯度経度からなる位置情報と対応付けて登録するようにしてもよい。
【０１７３】
環境光源選択部１０３は、測定部３１により画像が撮像されるとき、出力制御部３９を介して、表示部５１に環境光源記憶部１０２に登録されている環境光源分光特性のいずれかを利用するかを問い合わせる画像を表示させ、いずれかが選択されたとき、選択された環境光源分光特性の情報を読み出して、被写体分光特性推定部３４に出力する。
【０１７４】
＜図１８の推薦商品提示装置による商品推薦処理＞
次に、図１９のフローチャートを参照して、図１８の推薦商品提示装置１１による商品推薦処理について説明する。
【０１７５】
ステップＳ７１，Ｓ７２において、測定部３１は、フラッシュ３１ａを発光させた場合と、発光させない場合の画像を撮像し、環境光源推定部３３、および被写体分光特性推定部３４に出力する。
【０１７６】
ステップＳ７３において、環境光源選択部１０３は、出力制御部３９を介して、例えば、図２０で示されるような、環境光源記憶部１０２に記憶されている環境光源分光特性の情報のいずれか、または、登録された環境光源分光特性を利用しないかのいずれかを選択する選択画像を表示部５１に表示させる。
【０１７７】
図２０には、表示部５１における選択画像の表示例が示されており、最上段において「測定環境選択」と表示され、その下に環境光源記憶部１０２に登録されている環境光源分光特性と対応付けて登録されている場所として、上から、「自室」、「洗面所」、「化粧室」、および「利用しない」が選択肢として表示されており、選択肢のそれぞれの左側に丸印状の選択ボタンが表示されている。
【０１７８】
選択ボタンのいずれかが、操作部３２により操作されることにより、選択肢が選択される。
【０１７９】
ステップＳ７４において、環境光源選択部１０３は、操作部３２が操作されて、いずれか登録された環境光源分光特性が選択されたか否かを判定する。
【０１８０】
ステップＳ７４において、例えば、「利用しない」が選択されて、登録された環境光源分光特性が選択されていない場合、処理は、ステップＳ７５に進む。
【０１８１】
ステップＳ７５において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源分光特性を推定し、推定結果を被写体分光特性推定部３４、不適切光源検出部４１、および環境光源登録部１０１に出力する。
【０１８２】
ステップＳ７６において、環境光源登録部１０１は、出力制御部３９を介して、表示部５１に現在の場所に対応付けて、ここで推定された環境光源分光特性を登録するか否かを問い合わせる画像を表示させる。
【０１８３】
ステップＳ７７において、環境光源登録部１０１は、操作部３２が操作されて、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示されたか否かを判定する。
【０１８４】
ステップＳ７７において、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示された場合、処理は、ステップＳ７８に進む。
【０１８５】
ステップＳ７８において、環境光源登録部１０１は、ここで推定された環境光源分光特性を、現在の場所の情報と対応付けて環境光源記憶部１０２に登録する。
【０１８６】
尚、ステップＳ７７において、環境光源分光特性を登録する指示がない場合、ステップＳ７８の処理はスキップされる。
【０１８７】
ステップＳ７９において、被写体分光特性推定部３４は、ここで推定された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
【０１８８】
尚、ステップＳ７４において、環境光源記憶部１０２に登録されているいずれかの環境光源分光特性が選択された場合、処理は、ステップＳ８０に進む。
【０１８９】
ステップＳ８０において、被写体分光特性推定部３４は、選択された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
【０１９０】
尚、ステップＳ８１乃至Ｓ８５の処理は、図１０のフローチャートにおけるステップＳ１５乃至Ｓ１９の処理と同様であるので、説明は省略する。
【０１９１】
すなわち、登録された環境光源分光特性のいずれかが選択された場合は、選択された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定され、登録された環境光源分光特性のいずれかが選択されない場合、ここで推定された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定される。
【０１９２】
結果として、一度登録された場所の環境光源分光特性については、推定する必要がなくなり、読み出すだけで再利用することができるので、環境光源分光特性の推定処理に係る負荷を低減し、処理速度を向上させることが可能となる。
【０１９３】
＜＜５．第５の実施の形態＞＞
以上においては、被写体を撮像する測定部３１により撮像された画像を用いて、被写体分光特性と、環境光分光特性との両方を推定する例について説明してきたが、それぞれの測定部を設けるようにして、環境光源分光特性をより高精度に推定できるようにしてもよい。
【０１９４】
図２１は、被写体分光特性を推定するための画像を撮像する測定部３１に加えて、環境光源分光特性を推定するための画像を撮像するための環境光源測定部をさらに設けるようにした推薦商品提示装置１１の構成例を示している。
【０１９５】
図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【０１９６】
すなわち、図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる構成は、新たに環境光源分光特性を推定するための画像を撮像する環境光源測定部１２１および環境光源推定部１２２が設けられた点である。
【０１９７】
環境光源測定部１２１は、基本的には測定部３１と同一の構成であるが、環境光源となり得る、環境光源の測定に適した画像の撮像が可能な方向を撮像し、撮像した画像を環境光源推定部１２２に出力する。環境光源測定部１２１は、例えば、ウェアラブル端末などに設けられるようにして、環境光源となりうる光源を適切に撮像できる構成が望ましい。
【０１９８】
環境光源推定部１２２は、環境光源測定部１２１により撮像された画像に基づいて、例えば、“コンピュータービジョンと分光反射率推定（応用物理学会誌）富永昌治著 1997 26巻12号”のように光源の種別、光源の分光特性を推定して環境光源分光特性として、推定結果を被写体分光特性推定部３４および不適切光源検出部４１に出力する。
【０１９９】
＜図２１の推薦商品提示装置による商品推薦処理＞
次に、図２２のフローチャートを参照して、図２１の推薦商品提示装置１１による商品推薦処理について説明する。
【０２００】
ステップＳ１０１において、環境光源測定部１２１は、ユーザにより操作部３２が操作されて、撮像が指示されると、環境光源となり得る光源が確実に存在する方向の画像を撮像し、撮像した画像を環境光源推定部１２２に出力する。
【０２０１】
ステップＳ１０２において、測定部３１は、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
【０２０２】
ステップＳ１０３において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
【０２０３】
ステップＳ１０４において、環境光源推定部１２２は、環境光源測定部１２１より供給される画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
【０２０４】
ステップＳ１０５において、被写体分光特性推定部３４は、環境光源推定部１２２より供給された環境光源分光特性により、環境光源の影響を除去して、測定部３１により撮像された画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
【０２０５】
ステップＳ１０６において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
【０２０６】
ステップＳ１０７において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
【０２０７】
ステップＳ１０８において、不適切光源検出部４１は、環境光源推定部１２２より供給された環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
【０２０８】
ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１０９に進む。
【０２０９】
ステップＳ１０９において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。
【０２１０】
一方、ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１１０に進む。
【０２１１】
ステップＳ１１０において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
【０２１２】
以上の処理により、環境光源分光特性を推定するための構成を別途設けるようにしたことにより、環境光源分光特性を高精度の推定することが可能となるので、より適切に環境光源の影響を除去して、被写体分光特性を推定することが可能となる。
【０２１３】
また、図２１の推薦商品提示装置１１の環境光源測定部１２１、および環境光源推定部１２２により推定された環境光源分光特性を、推定された場所に対応付けて、例えば、クラウドサーバ等に登録し、環境光源測定部１２１、および環境光源推定部１２２を備えていない、例えば、図１８の推薦商品提示装置１１により利用できるようにしてもよい。
【０２１４】
＜＜６．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【０２１５】
図２３は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２１６】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２１７】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２１８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２１９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２２０】
コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２２１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２２】
尚、図２３におけるCPU１００１が、図１における環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、推薦商品選択部３７、出力制御部３９、および不適切光源検出部４１、図１１の被写体特性分類部７１、図１４の測定項目選択部８１、図１８の環境光源登録部１０１、および環境光源選択部１０３、並びに、図２１の環境光源推定部１２２の機能を実現させる。また、図２３における記憶部１００８が、図１，図１１，図１４，図１８，図２１の特性分類記憶部３６、および商品記憶部３８、並びに図１８の環境光源記憶部１０２を実現する。
【０２２３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２４】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２５】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２８】
尚、本開示は、以下のような構成も取ることができる。
【０２２９】
＜１＞  撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
画像処理装置。
＜２＞  前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
＜１＞に記載の画像処理装置。
＜３＞  前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
＜２＞に記載の画像処理装置。
＜４＞  前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
＜３＞に記載の画像処理装置。
＜５＞  前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞  前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部とをさらに備える
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞  前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
＜６＞に記載の画像処理装置。
＜８＞  前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
＜６＞に記載の画像処理装置。
＜９＞  前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
＜６＞に記載の画像処理装置。
＜１０＞  前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
＜１＞に記載の画像処理装置。
＜１１＞  前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
＜１０＞に記載の画像処理装置。
＜１２＞  前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部をさらに備える
＜１１＞に記載の画像処理装置。
＜１３＞  前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
＜１２＞に記載の画像処理装置。
＜１４＞  前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
＜１３＞に記載の画像処理装置。
＜１５＞  撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
＜１＞乃至＜１４＞のいずれかに記載の画像処理装置。
＜１６＞  前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
＜１５＞に記載の画像処理装置。
＜１７＞  前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
＜１５＞に記載の画像処理装置。
＜１８＞  前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
＜１７＞に記載の画像処理装置。
＜１９＞  撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
画像処理方法。
＜２０＞  撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
プログラム。
【符号の説明】
【０２３０】
１１  推薦商品提示装置，  ３１  収録部，  ３１ａ  フラッシュ，  ３２  操作部，  ３３  環境光源推定部，  ３４  被写体分光特性推定部，  ３５  被写体特性比較部，  ３６  特性分類記憶部，  ３７  推薦商品選択部，  ３８  商品記憶部，  ３９  出力制御部，  ４０  出力部，  ４１  不適切光源検出部，  ５１  表示部，  ５２  バイブレータ，  ５３  スピーカ，  ７１  被写体特性分類部，  ７２  特性分類記憶部，  ７３  推薦商品選択部，  ７４  商品記憶部，  ８１  測定項目選択部，  １０１  環境光源登録部，  １０２  環境光源記憶部，  １０３  環境光源選択部，  １２１  環境光源測定部，  １２２  環境光源推定部
【図１】
2019116926.tif 000011
【図２】
2019116926.tif 000012
【図３】
2019116926.tif 000013
【図４】
2019116926.tif 000014
【図５】
2019116926.tif 000015
【図６】
2019116926.tif 000016
【図７】
2019116926.tif 000017
【図８】
2019116926.tif 000018
【図９】
2019116926.tif 000019
【図１０】
2019116926.tif 000020
【図１１】
2019116926.tif 000021
【図１２】
2019116926.tif 000022
【図１３】
2019116926.tif 000023
【図１４】
2019116926.tif 000024
【図１５】
2019116926.tif 000025
【図１６】
2019116926.tif 000026
【図１７】
2019116926.tif 000027
【図１８】
2019116926.tif 000028
【図１９】
2019116926.tif 000029
【図２０】
2019116926.tif 000030
【図２１】
2019116926.tif 000031
【図２２】
2019116926.tif 000032
【図２３】
2019116926.tif 000033
【国際調査報告】
2019116926.tif 000034
2019116926.tif 000035
2019116926.tif 000036
2019116926.tif 000037