(57)【要約】【課題】顔画像を用いた健康状態の判定を正確且つ容易に行うことができる健康診断方法、および健康診断装置を提供すること。【解決手段】ユーザーの顔を撮影した顔画像のうち、照明条件および健康状態による影響を受け難い瞳部分の色情報を基準にして顔色情報を補正することにより、顔色情報の色校正を行う（ステップＳ２７０）。そして、校正後の顔色情報に従ってユーザーの健康状態を判定する（ステップＳ２８０）。照明条件の影響を受け難い瞳色情報を用いることで、所定の色基準を別に設けることなく顔色情報の色校正を行うことができるので、顔色による健康状態の判定を正確且つ容易に行うことができる。【選択図】図６
2009172181.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を用いて健康状態を診断する健康診断方法であって、
前記顔画像から瞳の色情報を検出する検出ステップと、
前記瞳の色情報に基づいて、前記顔画像の色情報を校正する校正ステップと、
色校正後の前記顔画像の色情報に基づいて健康状態を判定する判定ステップと、を備えることを特徴とする健康診断方法。
【請求項２】
請求項１に記載の健康診断方法において、
前記校正ステップにおいて、基準となる照明条件下で撮影された瞳の色情報と、検出した前記瞳の色情報との差を低減または解消するように、前記顔画像の色を補正することを特徴とする健康診断方法。
【請求項３】
請求項１または２に記載の健康診断方法において、
前記判定ステップにおいて、前記顔画像のうち目元領域の色情報に基づいて健康状態を判定することを特徴とする健康診断方法。
【請求項４】
請求項１ないし３のいずれか一項に記載の健康診断方法において、
撮影対象の被写体を写した画像と瞳の位置合わせ用のマークとを重ねて表示し、撮影対象の瞳と前記位置合わせ用マークの位置とを合わせた状態で前記撮影対象の撮影を行うことにより、前記顔画像を取得する撮影ステップ、をさらに備えることを特徴とする健康診断方法。
【請求項５】
顔画像を用いて健康状態を診断する健康診断装置であって、
前記顔画像から瞳の色情報を検出する検出手段と、
前記瞳の色情報に基づいて、前記顔画像の色情報を校正する校正手段と、
色校正後の前記顔画像の色情報に基づいて健康状態を判定する判定手段と、を備えることを特徴とする健康診断装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物を写した画像を用いて健康状態を判定する健康診断方法、および健康診断装置に関する。
【背景技術】
【０００２】
従来、例えば、顔色に青色がかっているときに体調が優れないなど、ユーザーの顔色と健康状態とは密接な関係を有していることが知られており、この性質を利用して、撮影した顔画像を用いて人物の健康状態を判定する技術が提案されている（例えば、非特許文献１参照）。
【０００３】
また、非特許文献１に記載の技術では、所定の色基準と人物とを１フレーム内に撮影し、撮影された色基準の色を用いて顔の色を校正することにより、健康状態の判定において、撮影時における照明条件の影響を排除するようにしている。
【０００４】
【非特許文献１】石橋伸之、他２名、“顔色計測を簡素化して「健康の目安」にする方法”、［online］、インターネット、＜http://chihara.aist-nara.ac.jp/gakkai/VIR/PDF/A-08.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載の技術では、撮影時に、色校正を行うための色基準をセットする必要があるので、健康状態の判定を受けようとするユーザーにとっては、撮影にかかる手間が増えて不便になってしまうという課題があった。特に、携帯電話などの携帯機器の場合、屋外などにおいては色基準をセットすることが困難な場合も多いので、色基準のセットを要する健康状態の判定機能を携帯機器に搭載してもユーザーにとっての利便性に欠けた、利用し難い機能となることが考えられる。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００７】
［適用例１］顔画像を用いて健康状態を診断する健康診断方法であって、前記顔画像から瞳の色情報を検出する検出ステップと、前記瞳の色情報に基づいて、前記顔画像の色情報を校正する校正ステップと、色校正後の前記顔画像の色情報に基づいて健康状態を判定する判定ステップと、を備えることを特徴とする健康診断方法。
【０００８】
このようにすれば、照明条件の影響を受け難い瞳の色を基準にして、健康状態の判定に用いる顔画像の色が校正されるので、顔画像の撮影時における照明条件に関わらずに健康状態を正確に判定することができる。また、瞳の色を基準にして色校正を行うので、非特許文献１に記載の技術と異なり、色基準をセットする必要がない。したがって、顔画像を用いて行う健康状態の判定を正確且つ容易に行うことができる。
【０００９】
［適用例２］上記健康診断方法において、前記校正ステップにおいて、基準となる照明条件下で撮影された瞳の色情報と、検出した前記瞳の色情報との差を低減または解消するように、前記顔画像の色を補正することを特徴とする健康診断方法。
【００１０】
［適用例３］上記健康診断方法において、前記判定ステップにおいて、前記顔画像のうち目元領域の色情報に基づいて健康状態を判定することを特徴とする健康診断方法。
【００１１】
［適用例４］上記健康診断方法において、撮影対象の被写体を写した画像と瞳の位置合わせ用のマークとを重ねて表示し、撮影対象の瞳と前記位置合わせ用マークの位置とを合わせた状態で前記撮影対象の撮影を行うことにより、前記顔画像を取得する撮影ステップ、をさらに備えることを特徴とする健康診断方法。
【００１２】
［適用例５］顔画像を用いて健康状態を診断する健康診断装置であって、前記顔画像から瞳の色情報を検出する検出手段と、前記瞳の色情報に基づいて、前記顔画像の色情報を校正する校正手段と、色校正後の前記顔画像の色情報に基づいて健康状態を判定する判定手段と、を備えることを特徴とする健康診断装置。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、実施例に基づいて説明する。
【００１４】
図１は、本実施例に係る健康診断装置の構成を示したブロック図である。図１に示すように、健康診断装置１は、デジタルカメラ部１０と、色情報検出部２０と、リファレンス登録部３０と、データベース部４０と、色校正部（校正手段）５０と、健康状態判定部（判定手段）６０と、ユーザーが健康診断装置１を操作するための各種スイッチを含む操作パネル７０と、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイなどの表示パネル８０と、デジタルカメラ部１０、操作パネル７０および表示パネル８０の動作を制御する制御部９０とを備えている。なお、本実施例の健康診断装置１は、健康状態の診断対象とするユーザーの顔をデジタルカメラ部１０により撮影し、撮影した顔色によりユーザーの健康状態を判定するものである。健康診断装置１の具体例としては、デジタルカメラ機能を備えた、携帯電話、ＰＨＳ（Personal Handyphone System）などの携帯機器が挙げられる。以下、健康診断装置１の各構成について説明する。
【００１５】
色情報検出部２０は、瞳色情報検出部（検出手段）２１と、顔色情報検出部２２とを有している。瞳色情報検出部２１は、デジタルカメラ部１０により撮像された画像データに撮影された顔画像に対して輪郭抽出などの画像処理を行うことにより目、鼻などの部位を特定し、目の領域のうち瞳部分の色情報（以下、「瞳色情報」という）を検出する処理を行う。また、顔色情報検出部２２は、顔画像のうち顔色を表す色情報（以下、「顔色情報」という）として検出する。なお、本実施例では、目元領域の色情報が顔色情報として検出される。目元領域の色情報を顔色情報とするのは、目元の色は健康状態の変化に応じて色変化が生じ易く、且つ鼻や頬などに比べて照明による陰影の影響を受け難いためである。
【００１６】
リファレンス登録部３０は、後述する色校正に用いるためのリファレンスデータＲＤをデータベース部４０に登録する部分であり、リファレンスデータＲＤを登録する際には、検出された瞳色情報に加えて、ユーザー名、撮影日時などの情報をリファレンスデータＲＤとしてデータベース部４０に登録する。
【００１７】
また、データベース部４０には、人物の顔色と健康状態との関係を示す状態判定テーブルＨＴが予め登録されている。状態判定テーブルＨＴには、図２（ａ）、（ｂ）に示すように、ｘｙ色度座標上の色域Ｔ１〜Ｔ５と、顔色が各色域の範囲内の色であるときの代表的な健康状態とが対応付けられている。例えば、黄色系の顔色に対応する色域Ｔ１については、顔色に黄色がかっているユーザーは良好な健康状態であるとされ、白色系の顔色に対応する色域Ｔ２については、肺や鼻などの呼吸器系に注意が必要な健康状態であるとされる。同様に、赤色系の顔色に対応する色域Ｔ３については心臓に注意が必要な健康状態、緑色系の顔色に対応する色域Ｔ４については胃腸に注意が必要な健康状態、青色系の顔色に対応する色域Ｔ５については内臓またはストレスに注意が必要な健康状態、であるとされる。このように、状態判定テーブルＨＴには、人の顔色と健康状態との関係が示されている。もちろん、図２（ａ）に示した各色域Ｔ１〜Ｔ５、および図２（ｂ）に示した状態判定テーブルＨＴの内容は、様々な健康状態に応じて適宜設定すべきものであって、図２の例に限られるものではない。また、本実施例では、ｘｙ色度座標上で各健康状態を分類するようにしているが、例えば、ＨＳＶ表色系における彩度や明度の値により健康状態を分類するようにしてもよい。
【００１８】
色校正部５０は、ユーザーの健康状態を判定する際に、リファレンスデータＲＤを参照して、瞳色情報を用いた顔色情報の色校正を行う。そして、健康状態判定部６０は、状態判定テーブルＨＴを参照して、色校正後の顔色情報に対応する健康状態を判定する処理を行う。なお、顔色情報の色校正に瞳色情報を用いるのは、瞳の色は健康状態に左右され難く安定しているため、色校正用の色基準として適するからである。
【００１９】
そして、健康状態判定部６０は、状態判定テーブルＨＴを参照して、色校正後の顔色情報に基づき健康状態を判定する。すなわち、色校正後の顔色情報に対応する色域を色域Ｔ１〜Ｔ５のうちから選択し、選択した色域に対応する健康状態が、判定対象とするユーザーの健康状態であると判定する。
【００２０】
以上に説明したように、本健康診断装置１は、撮影した画像データにおいて、健康状態の影響を受け難い瞳色情報を用いて顔色情報の色校正を行うことにより、撮影時の照明条件による顔色への影響を排除もしくは低減した上で、健康状態の判定を行うようにしている。
【００２１】
次に、以上に説明した健康診断装置１により健康状態を判定する処理の流れについてフローチャートに従って説明する。以下、まず、図３のフローチャートに従って、リファレンスデータ登録時の処理について説明する。
【００２２】
リファレンスデータＲＤの登録は、例えば、標準光源Ｄ６５など、基準とする所定の照明環境下において行われる。基準とする照明環境下にいるユーザーが、操作パネル７０を操作してリファレンスデータＲＤを登録する旨の指示を入力すると、図３の処理が開始される。処理が開始されると、まず、図４に例として示すように、制御部９０の制御により表示パネル８０には、被写体の画像に重ねて、瞳の位置を合わせるための位置合わせ用マークＭが表示される（ステップＳ１００）。ユーザーは、表示パネル８０に表示された位置合わせ用マークＭの位置を確認して、自身の瞳の位置を位置合わせ用マークＭに合わさるように、自身とデジタルカメラ部１０との位置関係を調整する。そして、操作パネル７０に含まれる撮影用スイッチが押下されると（ステップＳ１１０：Ｙｅｓ）、デジタルカメラ部１０はユーザーの顔を撮影して、瞳位置が所定位置に合わせられた画像データを取り込む（ステップＳ１２０）。
【００２３】
次に、瞳色情報検出部２１は、撮影した画像データの画像に対して画像処理を行って目、鼻などの顔に含まれる部位の領域および顔の輪郭を特定し、図５に示すように、撮影した画像データにおいて顔を表す顔画像ＦＰのうち瞳領域の色情報をリファレンスの瞳色情報Ｒとして検出する（ステップＳ１３０）。そして、検出した瞳色情報Ｒが、瞳の色に対応する所定の色範囲に含まれているか否かにより、瞳の色として適切な色となっているかを判断する（ステップＳ１４０）。例えば、コンタクトレンズが装着された瞳が赤目となって撮影されたときやフラッシュ光による色かぶりが強く発生したときなど、瞳の色として適切な色になっていない場合は（ステップＳ１４０：Ｎｏ）、ステップＳ１００に戻って、ユーザーの顔を撮影し直す。
【００２４】
一方、瞳の色として適切な色になっていた場合（ステップＳ１４０：Ｙｅｓ）、リファレンス登録部３０は、ステップＳ１３０において検出された瞳色情報Ｒ、ユーザー名、および撮影日時などの情報をリファレンスデータＲＤとして、データベース部４０に登録する（ステップＳ１５０）。ステップＳ１５０において、リファレンスデータＲＤが登録されると、図３の処理を終了する。
【００２５】
以上のように、リファレンスデータ登録時には、基準とする照明環境において撮影された瞳の色情報がリファレンスデータＲＤとして登録される。次に、健康状態を判定する際に行う処理の流れについて、図６のフローチャートに従って説明する。
【００２６】
例えば、ユーザーが、屋外などリファレンスの登録時に基準とした環境と異なる照明条件において、操作パネル７０を操作することにより、ユーザー名を入力して健康状態を判定する旨の指示を入力すると、図６の処理が開始される。処理が開始されると、まず、図４に例として示すように、表示パネル８０には、瞳の位置を合わせるための位置合わせ用マークＭが表示される（ステップＳ２００）。ユーザーは、表示パネル８０に表示された位置合わせ用マークＭの位置を確認して、自分の瞳の位置が位置合わせ用マークＭに合わさるようにして、自身とデジタルカメラ部１０との位置関係を調整する。そして、撮影用スイッチが押下されると（ステップＳ２１０：Ｙｅｓ）、デジタルカメラ部１０は被写体とするユーザーの顔を撮影して、瞳位置が所定位置に合わせられた画像データを取り込む（ステップＳ２２０）。
【００２７】
次に、瞳色情報検出部２１は、撮影した画像データの画像における目、鼻などの部位の領域を特定して、図７に示すように、目の領域のうち瞳領域の色情報を瞳色情報Ｈとして検出する（ステップＳ２３０）。そして、顔色情報検出部２２は、目元領域の色情報を顔色情報Ｆとして検出する（ステップＳ２４０）。目元領域を特定する方法としては、例えば、目の位置より下側、且つ鼻の位置に対して左右に広がる所定幅の領域を目元領域とするとよい。また、顔色情報Ｆとしては、鼻の位置に対して左右に分布する目元領域の色情報を別々に算出し、それぞれ顔色情報Ｆ１，Ｆ２とする。
【００２８】
そして、検出した瞳色情報Ｈおよび顔色情報Ｆが適切な値となっているか否かを判断する（ステップＳ２５０）。例えば、ユーザーがコンタクトレンズを装着していた場合に瞳が赤目となっているときや、撮影した画像全体に強い色かぶりが生じているときなど、適切な色になっていない場合（ステップＳ２５０：Ｎｏ）、ステップＳ２００に戻って、ユーザーの顔を撮影し直す。
【００２９】
一方、瞳色情報Ｈおよび顔色情報Ｆが適切な色になっていた場合（ステップＳ２５０：Ｙｅｓ）、色校正部５０は、データベース部４０に登録されたリファレンスデータＲＤを参照して、ステップＳ２３０において検出した瞳色情報Ｈと、リファレンスの瞳色情報Ｒとの差を検出する（ステップＳ２６０）。ここでは、図８に示すように、ｘｙ色度座標において、リファレンスの瞳色情報Ｒ（＝（Ｒｘ，Ｒｙ））と、検出した瞳色情報Ｈ（＝（Ｈｘ，Ｈｘ））との差ΔＨ（＝（Ｒｘ−Ｈｘ，Ｒｙ−Ｈｘ））を算出する。この値ΔＨは、リファレンス登録時の照明条件と、健康状態の判定を行おうとするユーザーがいる場所の照明条件との違いにより生じた差であると想定できるので、値ΔＨを照明条件の違いによる影響を補正するための補正値とする。
【００３０】
次に、色校正部５０は、顔色情報Ｆ１，Ｆ２のそれぞれについて、補正値ΔＨ分の色度座標を補正する（ステップＳ２７０）。ここでは、図８に示すように、顔色情報Ｆ１，Ｆ２の各色度座標に対して補正値ΔＨ分の色度座標を補正することにより、色校正された顔色情報Ｆ１’（＝Ｆ１＋ΔＨ），Ｆ２’（＝Ｆ２＋ΔＨ）を取得する。
【００３１】
次に、健康状態判定部６０は、データベース部４０に登録された状態判定テーブルＨＴを参照して、補正後の顔色情報Ｆ１’，Ｆ２’に対応する健康状態を判定する（ステップＳ２８０）。ここでは、顔色情報Ｆ１’，Ｆ２’の平均値に対応する健康状態を、ユーザーの健康状態として判定し、例えば、顔色情報Ｆ１’，Ｆ２’の平均値が、色域Ｔ４の範囲に含まれる場合、状態判定テーブルＨＴに従って胃腸に注意が必要な状態と判定される。なお、顔の左右の目元領域で色が異なり、一方の顔色情報が含まれる色域と、他方の顔色情報が含まれる色域とが異なる場合、顔色情報Ｆ１’，Ｆ２’の平均値が色域の境界付近にあると想定できるため、例えば、「やや注意が必要」などと、注意の程度を引き下げるように判定してもよい。こうして、ユーザーの健康状態が判定されると、制御部９０は判定結果の健康状態を表示パネル８０に表示させることにより（ステップＳ２９０）、ユーザーに判定結果の健康状態を通知する。ステップＳ２９０の処理が行われると、図６の処理を終了する。
【００３２】
なお、ステップＳ２００〜Ｓ２２０の処理が請求項に記載の撮影ステップ、ステップＳ２３０の処理が請求項に記載の検出ステップ、ステップＳ２６０，Ｓ２７０の処理が請求項に記載の校正ステップ、ステップＳ２８０の処理が請求項に記載の判定ステップに相当する。
【００３３】
以上に説明した健康診断装置１によれば、健康状態の影響を受け難く安定した色をもつ瞳の色を色基準として色校正を行っているので、健康状態を判定するときの照明条件に関わらずに、健康状態を正確に判定することができる。これにより、ユーザーは、リファレンスを撮影したときの照明条件に限られることなく、場所を選ばずに健康状態の診断を受けることができる。また、非特許文献１に記載の技術と異なり、色基準をセットする手間をかけることなく顔色情報を色校正することができるので、健康診断装置１を携帯して場所を移動する場面が多いモバイル環境においても、ユーザーは自身の健康状態の正確な診断を簡易に受けることができ、ユーザーにとっての利便性に優れる。以上のことから、顔色による健康状態の判定を正確且つ容易に行うことができる。なお、本健康診断方法は、撮影場所が固定でない携帯機器に適用した場合に特に有用である。
【００３４】
また、健康状態の変化が表れ易い目元領域の色情報を用いて健康状態を判定しているので、健康状態の変化を感度良く判定することができるとともに、目元領域には照明による陰影が生じ難いので、健康状態を正確に判定することができる。
【００３５】
さらに、リファレンス登録時および健康状態の判定時に、位置合わせ用マークＭに瞳の位置を合わせて撮影するようにしたことにより、人物の顔を斜め方向から撮影することによる瞳への光源の写り込みを防ぐことができるので、瞳色情報を用いた健康状態の判定をより正確に行うことができる。
【００３６】
以上、健康診断装置の一実施例について説明したが、以下の変形例としてもよい。
【００３７】
（変形例１）上記実施例では、健康診断装置１によりリファレンスの登録および健康状態の判定を行うようにしたが、リファレンスの登録を行う装置と、健康診断装置とを別構成にしてもよい。例えば、基準となる照明条件の環境下に設置され、パーソナルコンピュータおよびデジタルスチルカメラを備えたリファレンス登録用のシステムによってリファレンスデータＲＤを生成するようにしてもよい。この場合、パーソナルコンピュータから携帯機器である健康診断装置１にリファレンスデータＲＤを転送して、健康診断装置１のデータベース部４０にリファレンスデータＲＤを登録することにより、健康診断装置１はリファレンスデータＲＤを用いた健康状態の判定を行うことができる。
【００３８】
（変形例２）上記実施例では、判定結果を表示パネル８０に表示することにより判定結果および診断結果を通知するようにしたが、判定結果を音声などによってユーザーに通知するようにしてもよい。また、判定結果をインターネットや無線通信網を介して病院に送信して、かかりつけの医師などに通知するシステムとしてもよい。
【００３９】
（変形例３）上記実施例の健康診断装置１は、携帯機器であったが、これに限られることなく、デジタルスチルカメラやウェブカメラなどのデジタルカメラ部が接続されたパーソナルコンピュータであってもよい。また、ドレッサーなどにデジタルカメラ部を備え付けて健康診断装置としての機能を持たせるようにしてもよい。
【図面の簡単な説明】
【００４０】
【図１】本実施例に係る健康診断装置の構成を示したブロック図。
【図２】状態判定テーブルを説明するための図であり、（ａ）はｘｙ色度座標において、健康状態に対応する色域を示した図、（ｂ）は状態判定テーブルの一例を示した図。
【図３】リファレンスデータを登録する際の処理の流れを示したフローチャート。
【図４】位置合わせ用マークの一例を示した図。
【図５】リファレンスとする瞳色情報の検出方法を説明するための図。
【図６】健康状態を判定する処理の流れを示したフローチャート。
【図７】瞳色情報および顔色情報の検出方法を説明するための図。
【図８】色補正を説明するための図。
【符号の説明】
【００４１】
１…健康診断装置、１０…デジタルカメラ部、２０…色情報検出部、２１…検出手段としての瞳色情報検出部、２２…顔色情報検出部、３０…リファレンス登録部、４０…データベース部、５０…校正手段としての色校正部、６０…判定手段としての健康状態判定部、７０…操作パネル、８０…表示パネル、ＲＤ…リファレンスデータ、ＨＴ…状態判定テーブル、Ｈ…瞳色情報、Ｒ…リファレンスの瞳色情報、Ｆ…顔色情報、Ｍ…位置合わせ用マーク。
【図１】
2009172181.tif 000003
【図２】
2009172181.tif 000004
【図３】
2009172181.tif 000005
【図４】
2009172181.tif 000006
【図５】
2009172181.tif 000007
【図６】
2009172181.tif 000008
【図７】
2009172181.tif 000009
【図８】
2009172181.tif 000010