(57)【要約】【課題】撮影時の舌の撮影距離や向きが毎回異なってもそれに影響されない安定した舌画像を撮影して適切な舌診断を行える舌画像撮影装置及びプログラムを提供する。【解決手段】顔の画像を撮像する撮像部と、撮像した画像を表示する画像表示部と、撮像された画像から舌と舌以外の顔とを認識し、舌の大きさと舌以外の顔とに基づいて、撮像された舌画像の記録可否を判断する記録可否判断部と、記録可否判断部が記録可能と判断した場合に舌画像を記録する記録部とを備える。【選択図】図１
2015226154.tif 000002
【特許請求の範囲】
【請求項１】
顔の画像を撮像する撮像部と、
該撮像した画像を表示する画像表示部と、
該撮像された画像から舌と舌以外の顔とを認識し、該舌の大きさと該舌以外の顔とに基づいて、該撮像された舌画像の記録可否を判断する記録可否判断部と、
該記録可否判断部が記録可能と判断した場合に該舌画像を記録する記録部と、
を備えることを特徴とする舌画像撮影装置。
【請求項２】
前記記録可否判断部において記録可否の判断の基準とする前記舌の大きさは、舌の面積であることを特徴とする請求項１に記載の舌画像撮影装置。
【請求項３】
前記記録可否判断部において前記記録可否の判断の基準とする前記舌の大きさは、舌の輪郭に基づく枠であることを特徴とする請求項１に記載の舌画像撮影装置。
【請求項４】
前記記録可否判断部において記録可否の判断の基準とする前記舌以外の顔は、鼻の領域であることを特徴とする請求項１ないし３のいずれかの項に記載の舌画像撮影装置。
【請求項５】
前記記録可否判断部において記録可否の判断の基準とする前記舌以外の顔は、歯の輪郭の位置であることを特徴とする請求項１ないし３のいずれかの項に記載の舌画像撮影装置。
【請求項６】
前記舌画像撮影装置は更に舌及び顔のモデルを含むデータを記憶する記憶手段を備え、
前記画像表示部は、該記憶手段に記憶された舌及び顔のモデルを表示し、
前記記録可否判断部は、該舌及び顔のモデルと前記撮像部から撮像された画像の舌の大きさ及び舌以外の顔を比較して、記録可否の判断を行うことを特徴とする請求項１ないし５のいずれかの項に記載の舌画像撮影装置。
【請求項７】
前記舌及び顔のモデルは、前記舌撮影をされる撮影対象者の舌及び顔の画像に基づくモデルであることを特徴とする請求項６に記載の舌画像撮影装置。
【請求項８】
前記舌及び顔のモデルは、舌及び顔の枠であり、
該枠は、前記記録可否判断部における記録可否の判断の基準として用いられることを特徴とする請求項６に記載の舌画像撮影装置。
【請求項９】
前記舌画像撮影装置は更に撮像部で撮像した画像の処理を行う撮像処理部を備え、
前記撮像処理部は、前記舌及び顔のモデルと前記撮像された画像の比較に基づいて、前記舌または顔の撮像画像の修正方針を報知することを特徴とする請求項６ないし８のいずれかの項に記載の舌画像撮影装置。
【請求項１０】
前記記録可否判断部において記録可能と判断された場合に、前記舌画像の撮像を行うか、または撮影者に撮影を行う指示を報知することを特徴とする請求項１ないし９のいずれかの項に記載の舌画像撮影装置。
【請求項１１】
前記舌画像撮影装置は更に画像を補正する画像補正部を備え、
該画像補正部は、前記撮像部が撮像した画像を補正し、
前記記録部は、前記記録可否判断部が記録可能と判断した場合に、前記補正した画像を記録することを特徴とする請求項１ないし１０のいずれかの項に記載の舌画像撮影装置。
【請求項１２】
舌診断を行うための舌画像を撮影する、コンピュータを利用した舌画像撮影方法において、
顔の画像を撮像する工程と、
該撮像した画像を表示する工程と、
該撮像された画像から舌と舌以外の顔とを認識し、該舌の大きさと該舌以外の顔とに基づいて、撮像された該舌画像の記録可否を判断する工程と、
記録可能と判断した場合に該舌画像を記録する工程と、
を含むことを特徴とする舌画像撮影方法。
【請求項１３】
画像を撮像する撮像部と、撮像した該画像を表示する画像表示部と、該画像の記録可否を判断する記録可否判断部を備えたコンピュータに、
該撮像部により顔の画像を撮像する手順と、
該画像表示部により撮像された該画像を表示する手順と、
該記録可否判断部により、撮像された該画像から舌と舌以外の顔とを認識し、該舌の大きさと該舌以外の顔とに基づいて、撮像された該舌画像の記録可否を判断する手順と、
該記録可否を判断する手順において記録可能と判断した場合に、該舌画像を記録する手順と、
を実行させることを特徴とする舌画像撮影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、舌診断を行うための舌画像を撮影する舌画像撮影装置、方法及びプログラムに関する。
【背景技術】
【０００２】
健康志向の高まりから漢方医学が注目されている。漢方医学の診断方法の一つである舌診では、舌の形や色から健康状態を判断する。この舌診では、日々の健康状態によって変化する舌の状態を計測し、不安定な撮影環境であっても、撮影時の案内誘導及び画像加工処理により、舌の大きさ、形状の変化等を抽出する舌診断のための画像撮影技術が求められている。このような背景を元に、舌の状態から健康状態を判断する専用の機器を使用した舌診断システムの実用化が検討(特許文献１参照)されている。
【０００３】
特許文献１の舌診断システムでは、舌を撮影するために、専用の撮影機器を使用し、専門家の指示のもと、被験者の舌の位置や撮影条件を一定にして撮影を行うことで、安定した舌診断を可能とするための舌画像の取得を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２８０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
我々自身の健康管理を行う場合、日々の生活の中で刻々と健康状態は変化することから、舌の撮影および診断を日常生活の中で行うことが望ましく、簡易的に舌の撮影ができることが求められる。
【０００６】
また特定の疾患と診断され投薬など処方を受けている過程での兆候変化を捉える際にも、その都度舌診断の専門機関を訪問して診断を受ける代わりに、簡便な手段で健康状態の変化を把握でき、舌診断の観点から健康状態の変化を認識できることが望ましい。
日常生活のなかで専門知識や専用装置のない状態を前提とすると、スマートフォンやデジタルカメラなどの日常なじみのある携帯装置を使用することにより、より手軽に舌診断を実施することが求められる。しかし、日常生活の中で携帯装置により撮影を行う場合、的確な撮影距離及び撮影角度を把握することができないため、舌診断に最適な画像の撮影を行うことが困難である。
【０００７】
従って、本発明の目的は、撮影時の舌の撮影距離や向きが毎回異なってもそれに影響されない安定した舌画像を撮影して適切な舌診断を行えるようにする舌画像撮影装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明は、顔の画像を撮像する撮像部と、撮像した画像を表示する画像表示部と、撮像された画像から舌と舌以外の顔とを認識し、舌の大きさと舌以外の顔とに基づいて、撮像された舌画像の記録可否を判断する記録可否判断部と、記録可否判断部が記録可能と判断した場合に舌画像を記録する記録部とを備える。
【０００９】
また、本発明は、上記各手段の機能をコンピュータに実行させる舌画像撮影方法又はプログラムとして実現することができる。
【発明の効果】
【００１０】
本発明によれば、簡便な機器及び撮影条件により、安定した舌画像が手軽に得られる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る舌画像撮影装置の構成図を示す図である。
【図２】実施形態に係る舌画像撮影装置の画像撮影処理のメインフローを示す図である。
【図３】登録画像撮影処理フローを示す図である。
【図４】個人画像補正処理フローを示す図である。
【図５】個人モデル画像撮影処理フローを示す図である。
【図６】表示画面イメージを示す図である。
【図７】個人モデル画像データ関係テーブルを示す図である。
【図８】コメントデータ関係テーブルを示す図である。
【図９】個人画像補正入力データを示す図である。
【図１０】舌画像特徴検出イメージを示す図である。
【図１１】中切歯特徴検出イメージを示す図である。
【発明を実施するための形態】
【００１２】
まず、本発明の一実施形態である撮影装置１の装置構成を図１に従って説明する。舌画像を撮影する撮影装置１は、撮像部１１、画面表示部１２、操作部１３、ＣＰＵ１４と、本装置に舌画像の撮影診断の機能を実行させるための舌画像撮影診断プログラム３０及び撮影した舌画像や各種データテーブルを格納する画像データベース４０を内蔵した記憶部２０から構成される。撮影装置１の例として、スマートフォンやタブレット装置、デジタルカメラがあげられる。
【００１３】
このうち撮像部１１は、レンズ付き撮像素子等の撮像手段によりレンズを通った光を電子信号に変換して被験者のデジタル舌画像とし、画面表示部１２は舌画像等を表示し、操作部１３は、プログラムの起動などの操作に使用し、ＣＰＵ１４はプログラムを実行するために使用される。また、上述した画像データベース４０は、モデル画像と毎回撮影されるデジタル舌画像や各種データテーブルを蓄積する。この画像データベース４０に格納されたモデル画像の舌と鼻の輪郭線を基準とした枠である図６に記載された鼻領域判定枠１０００、舌領域判定枠１０１０を初回撮影時にモデル画像の鼻と舌の輪郭線から一定の倍率で拡大することによって生成し、2つの領域判定枠内に鼻と舌の画像が納まった時点で自動的にその画像を画像データベース４０に記録した後、デジタル舌画像を「モデル画像の特徴量」から求まるモデル画像の構図と同一な構図に補正することで、撮影距離や角度に左右されない安定した画像が得られる。
【００１４】
ここで、後述する「鼻と舌の特徴量」に関し、本実施例で用いるその一例を以下に説明する。「鼻と舌の特徴量」とは、デジタル舌画像のエッジ抽出処理により舌の輪郭線を抽出し、輪郭線の外接矩形の頂点の座標及び該矩形の上辺の左右頂点の中点の座標のことである。また「モデル画像の特徴量」とは、後に詳しく述べるが、モデル画像のエッジ抽出処理により上の歯の中切歯の輪郭線を抽出し、輪郭線の外接矩形の頂点の座標のことを表す。
また、エッジ抽出処理は、撮像したカラー画像を白黒濃淡画像にし、1次微分による明度の差違により輪郭線を抽出する手法の他、エッジを抽出するための別の手法を活用してもよい。
【００１５】
以上述べたように、撮影装置１を使用して舌の画像を撮影し、この舌画像を使用して舌診断を行うことで撮影者の健康状態を把握する。この処理の過程で、記憶部２０に格納された舌画像撮影診断プログラム３０がＣＰＵ１４に読み込まれて処理を実行する。
【００１６】
次に、図２は舌画像撮影診断プログラム３０のメインフローであり、処理の流れを順に説明する。まず、撮影時における表示画面１２へ本装置初回使用時に作成したモデル画像と、領域判定枠画像を表示する個人モデル画像出力Ｓ２２０のステップを実施する。続いて登録画像撮影ステップＳ２３０では、モデル画像の鼻と舌の位置、大きさ、角度を基準とした構図と近い画像を撮影するため、撮影中に画面表示部１２に撮影者に対して撮影方法を指示するコメントを表示しながら、受像画像の舌と鼻が領域判定枠画像の枠内で表示された時に自動的にその画像を画像データベース４０に記録し、登録画像の撮影ステップＳ２３０を終了する。
【００１７】
次に個人画像補正ステップＳ２４０では、登録画像撮影ステップＳ２３０にて撮影したデジタル舌画像をモデル画像の中切歯の特徴点を基準として画像の位置や角度を調整することにより補正画像を生成する。次に舌画像診断ステップＳ２５０では、個人画像補正ステップＳ２４０にて補正されたデジタル舌画像と過去に撮影されたデジタル舌画像を比較解析し、舌の形状、大きさ、色の変化から舌診断を行う。最後に解析結果表示ステップＳ２６０では、舌画像診断ステップＳ２５０にて解析した結果を画面表示部１２に表示する。
【００１８】
図６は、個人モデル画像出力ステップＳ２２０にて画面表示部１２に表示される画面イメージである。鼻領域判定枠１０００、舌領域判定枠１０１０はモデル画像撮影時にモデル画像の舌と鼻の輪郭線を基準に生成した画像である。コメント枠１０２０は画像撮影時に撮影者に撮影方法を指示するコメントを出力する枠である。
【００１９】
続いて、図２における各処理の内容について具体的に説明する。撮影開始ステップＳ２１０は、利用者が自ら撮影装置１の操作部１３を操作することによりプログラムが起動される。あるいは、撮影装置１の起動時に連携してプログラムを起動するという方式であってもよい。
【００２０】
また、日々デジタル舌画像の撮影を促すため、本装置の時刻と連動したアラーム機能を追加し、撮影者が指定した日時になるとし声を鳴らし、画面表示部１２に撮影を促すコメントとプログラムを起動する起動ボタンを表示し、起動ボタンを押下することでプログラムを起動してもよい。個人モデル画像出力ステップＳ２２０では、コメント枠１０２０も合わせて表示される。
なお、本装置を操作するユーザを複数人登録可能とし、関係データの守秘性を担保するため、舌画像撮影プログラム３０の起動時に、操作部１３からユーザにＩＤとパスワードを入力させユーザの認証を行うユーザ認証手段を設けて、認証されなかった場合には、本装置の動作をロックするようにしても良い。これにより一つの携帯装置で複数人の利用が可能となる。
【００２１】
なお、複数人の利用を可能とする構成では、図７の（Ａ）の個人モデル画像テーブル７１０、（Ｂ）の個人モデル画像特徴データテーブル７２０にユーザID７１２の属性を設けて、複数人各々のモデル画像や領域判定枠画像、モデル画像から抽出した特徴点などを登録できるようにデータ構造の拡張を行う。画面表示部１２に表示される鼻領域判定枠１０００、舌領域判定枠１０１０を含む領域判定枠画像とモデル画像は画像データベース４０の中の図７（Ａ）の個人モデル画像テーブル７１０に蓄積されている。
【００２２】
個人モデル画像テーブル７１０はＩＤ７１１、ユーザＩＤ７１２、モデル画像７１３、領域判定枠画像７１４のデータ列からなり、モデル画像、領域判定枠画像には各画像保存元のアドレスが記載されている。モデル画像及び領域判定枠画像の生成方法、個人モデル画像特徴データテーブル７２０へ登録する値の抽出方法については後述する。なお、登録画像撮影ステップＳ２３０で自動的に撮影画像を画像データベース４０に記録するほかに個人画像補正ステップＳ２４０で撮影対象が撮影領域内の適切な構図に配置された時に再度自動的に撮影画像を画像データベース４０に記録する。
【００２３】
次に、図２における登録画像撮影ステップＳ２３０の処理について、図３を用いて詳しく説明する。まず、モデル画像特徴領域入力ステップＳ３２０にて、撮影者のユーザＩＤから個人モデル画像特徴データテーブル７２０のレコードを抽出しＣＰＵ１４に入力する。なお単一の装置で複数の撮影者が利用する場合は、モデル画像を撮影する際にユーザＩＤがランダムに付番され、付番されたＩＤをユーザが本装置利用時に入力することにより、ユーザＩＤを選択するようにしてもよい。
【００２４】
続いて、画像撮像ループステップ（始め）Ｓ３３０を開始するステップである撮像画像入力ステップＳ３４０では、画像を画像データベース４０に記録する前に画像記録可否判定ステップＳ３６０で所定の条件が満足されるまでステップＳ３８５までのループを繰り返し実行する。被写体である鼻と舌が所定の枠内に入って撮影可能となるまで、撮影画像を撮像し、ＣＰＵ１４に入力し続ける。
【００２５】
次の特徴点検出ステップＳ３５０では、撮像部１１にて撮像されている画像の位置と大きさを以下に述べるように算出し、舌と鼻の特徴点と面積を求める。この詳細を図１０を用いて説明する。図１０は舌のデジタル舌画像から検出する特徴点と画像の撮影枠である領域判定枠から検出する特徴点を示した図である。
【００２６】
デジタル舌画像の特徴点は、エッジ抽出処理により舌の輪郭線を抽出し、輪郭線の上端と下端を通ってそれぞれx軸と平行な直線Lu１０１とLd１０２を引き、また輪郭線の左端と右端を通ってそれぞれＹ軸と平行な直線Lh１０３とLr１０４を引き、これら４本の直線の交点を舌特徴点Ａ(xa,ya)、舌特徴点Ｂ(xb,yb)、舌特徴点Ｃ(xc,yc)、舌特徴点Ｄ(xd,yd)とする。次に、舌特徴点Ｃと舌特徴点Ｄの中点を舌中心特徴点E(xe,ye)とする。また、特徴点抽出手段は鼻に関しても上述と同様であるとする。
【００２７】
さらに、領域判定枠から同様な方法で検出する特徴点は(x1,y1)の座標を持つ舌特徴点１、(x2,y2)の座標を持つ舌特徴点２、(x3,y3)の座標を持つ舌特徴点３、(x4,y4)の座標を持つ舌特徴点４があり、舌の領域判定枠の左端にある舌特徴点３と右端にある舌特徴点４の中点を舌中心特徴点５(x5,y5)とする。また、舌特徴点１から４、舌中心特徴点５の各座標、及び舌特徴点１から４に囲まれた矩形の面積は初回撮影時にモデル画像を撮影する際に算出する。
【００２８】
また、入力中の舌画像の舌特徴点Ａ、舌特徴点Ｂ、舌特徴点Ｃ、舌特徴点Ｄを頂点とする輪郭線の外接矩形の面積算出も合わせて行う。次の画像記録可否判定ステップＳ３６０では、以下３つの判定基準により、撮像画像の記録の可否を判定する。
【００２９】
一つ目の判定基準（第1判定基準）は、デジタル舌画像の外接矩形の面積の、各領域判定枠外接矩形におけるデジタル舌画像の外接矩形の面積に対する比率による基準、二つ目の判定基準（第２判定基準）は、デジタル舌画像自体の面積の、各領域判定枠自体の面積に対する比率による基準、三つ目の判定基準（第３判定基準）は、各領域判定枠の特徴点とデジタル舌画像の特徴点との座標値の差分による基準である。この判定の結果、記録不可の判定が出た場合、コメント処理ステップＳ３８０にて、適切なコメントをコメント枠１０２０に表示する。なお、このコメントの選択処理は後述する。
【００３０】
判定の手順としては、まず第1判定基準による判定を行って、各領域判定枠内で特徴点検出ステップＳ３５０により抽出した舌と鼻の特徴点を頂点とする外接矩形がモデル画像撮影時に生成された各領域判定枠の外接矩形の特徴点に内包された状態かつ、デジタル舌画像の外接矩形の面積がモデル画像撮影時に生成された各領域判定枠の外接矩形の面積の８０％以上である場合記録可とする。
【００３１】
具体的に図１０の舌の事例を元に説明すると、x1<xa and xb<x2 and y1<ya and yc<y3
となる状態、舌の領域判定枠の矩形の面積をＳ１、特徴点検出ステップＳ３５０にて抽出したデジタル舌画像の矩形の面積をＳ２とした際に、0.8＜Ｓ２／Ｓ１＜1.0となる場合記録可とする。
また、上述の条件を満たさない場合は記録不可とし、撮影者に撮影方法を指示するコメントを選択するための、第２判定基準による判定と、第３判定基準による判定を行う。
【００３２】
第２判定基準による判定では、特徴点検出ステップＳ３５０にて算出した鼻と舌自体の面積と個人モデル画像撮影時に求めた舌と鼻の領域判定枠自体の面積との比率の値をもとに、図８（Ａ）のID７１１、判定対象７２１、下限８０１、上限８０２、コメント８０３からなる面積比コメントテーブル８１０の中から該当するコメントを選択する。同比率が０.８以下または１.０以上の場合、面積比コメントテーブル８１０の下限８０１、上限８０２の範囲内かつ、検出対象である鼻及び舌が判定対象７２１と一致する行を選択し、その行のコメント８０３を画面表示部１２に出力する。
【００３３】
例えば、舌の領域判定枠自体の面積をＳ１、デジタル舌画像自体の面積をＳ２としてＳ２／Ｓ１=０.６となる場合、図８（Ａ）の面積比コメントテーブル８１０のＩＤ０２のレコードをCPU１４が抽出し、結果として、ID０２のレコードが該当するため、コメント「少し顔をカメラに近づけてください。」を画面表示部１２に出力する。
【００３４】
この際、舌領域判定枠１０１０の面積における舌の面積を検出可と判断する比率については、変更可能とする。上記コメントに従って顔をカメラに近づけた結果、Ｓ２／Ｓ１が許容範囲の０．８~１．０に入ったならば、次に、第３判定基準による判定に移る。
【００３５】
上述の特徴点検出ステップＳ３５０にて求めた撮影者の鼻領域判定枠１０００の中心特徴点の座標である鼻中心特徴点x座標、鼻中心特徴点y座標をもつ鼻中心特徴点及び、舌領域判定枠１０１０の中心特徴点の座標である舌中心特徴点x座標、舌中心特徴点y座標をもつ舌中心特徴点を抽出し、特徴点検出ステップＳ３５０にて抽出したデジタル舌画像の舌中心特徴点Eと上述した舌の領域判定枠の中心特徴点の座標との差異により、適切なコメントをCPU１４が画面表示部１２に出力する。
【００３６】
具体的には、中心特徴点５のx座標と舌画像の中心特徴点Eのx座標、中心特徴点５のy座標と舌画像の中心特徴点Eのy座標を減算した数値が、図８（Ｂ）の中心特徴点差異コメントテーブル８２０において、下限８０５、上限８０６の範囲内かつ、検出対象である鼻及び舌が判定対象７２１と一致する該当行のコメント８０３をCPU１４が画面表示部１２に出力する。
【００３７】
例えば、領域判定枠１０１０の中心特徴点のx座標をx5、舌画像の舌中心特徴点Eのx座標をxeとした際に、-1< x5-xe<1を満足すれば撮影可と判定することにした場合に、x5-xe=100と座標値の差分を算出した時は、図８（Ｂ）の中心特徴点差異コメントテーブル ８２０のID０１のレコードが該当するため、結果として、ID０１のコメント「舌を画面の右に動かして下さい。」を画面表示部１２に出力する。また、撮影時のカメラのブレなど微量の差異でコメントを出力しないように閾値を設定しておく。第２判定基準による判定と、第３判定基準による判定により選択したコメントは、コメント処理ステップＳ３８０を実行する撮影位置指示手段により、コメント枠１０２０にコメントを表示する。また、図１の撮影装置１が音声装置を備える場合には音声で指示することができる。
【００３８】
上述の第３判定基準による判定の結果、-1< x5-xe<1となって記録可となった場合には、画像記録可否判定ステップＳ３６０にて記録可と判定され、画像記録ステップＳ３７０において、撮像画像を画像データベース４０に記録してデジタル舌画像を生成する。また、撮影装置１の撮像部１１に被写体を至近距離から撮像することのできるマクロ撮影モードがある装置の場合は、撮影時にマクロ撮影に変更する撮影方法変更部を備え、接写に適した撮影モードへの撮影モード切替を自動で行うようにしてもよい。
【００３９】
次に、図２のメインフローに戻り、個人画像補正ステップＳ２４０に述べるような手段（画像補正手段）によって、撮影されたデジタル舌画像の位置・大きさ等がモデル画像の構図と同じになるよう補正する。
この画像補正手段が実行するステップＳ２４０の処理について、図４の個人画像補正処理フロー図を用いて詳しく説明する。
【００４０】
個人モデル特徴量入力ステップＳ４２０では、図９の個人画像補正入力データテーブル９１０において、まず撮影者のユーザID７１２から対象のレコードを抽出する。同テーブルに登録されている、中切歯特徴点Ｖ_x座標９０１、中切歯特徴点Ｖ_y座標９０２、中切歯特徴点Ｗ_x座標９０３、中切歯特徴点Ｗ_y座標９０４は本装置を使用して最初に撮影するモデル画像撮影時に座標を抽出する。各座標の抽出手段については後に説明を行う。
【００４１】
図４に戻って、次の登録用画像特徴量検出ステップＳ４３０では、図２の登録画像撮影ステップＳ２３０で撮影したデジタル舌画像からエッジ抽出処理により上の歯の中切歯の特徴点である中切歯特徴点１、中切歯特徴点２を抽出する。
中切歯特徴点１、中切歯特徴点２については図１１の中切歯特徴検出イメージを用いて説明する。
【００４２】
デジタル舌画像のx座標が0に近い中切歯を中切歯１、他方の中切歯を中切歯２とする。デジタル舌画像から検出する中切歯１、中切歯２の特徴点は、エッジ抽出処理により中切歯の輪郭線を抽出し、各中切歯ごとにy座標が最も小さい座標の２点を通る直線Ｌｄ１２１と、中切歯１の輪郭線において最もx座標が小さい座標からx軸に対する垂直な直線Lh１２２との交点を中切歯特徴点１(x11,y11)とする。また、直線Ｌｄ１２１と、中切歯２の輪郭線において最もx座標が大きい座標からx軸に対する垂直な直線Ｌｒ１2３との交点を中切歯特徴点2(x12,y12)とする。
【００４３】
次に、図４の登録画像構図変換ステップＳ４４０では、個人モデル特徴量入力ステップＳ４２０で抽出した中切歯特徴点Ｖと、中切歯特徴点Ｗと、登録用画像特徴量検出ステップＳ４３０で抽出した中切歯特徴点１、中切歯特徴点２との差分を差分データとして抽出し、図２のＳ２３０で撮影したデジタル舌画像データに対してアフィン変換を行ない、舌画像の中心位置・角度等をモデル画像に合わせて舌と鼻の構図を同一となるように補正する。
【００４４】
例えば、画像の角度補正を行うため、デジタル舌画像から抽出した、中切歯特徴点１、中切歯特徴点２を通る直線とx軸との角度を、中切歯特徴点Ｖ、中切歯特徴点Ｗを通る直線とx軸との角度と同一になるように、デジタル舌画像の角度変換を行う。また、拡大縮小を行うため、中切歯特徴点１と中切歯特徴点２の直線距離が中切歯特徴点Ｖと中切歯特徴点Ｗの直線距離と同一になるように、デジタル舌画像を拡大縮小する。
【００４５】
次に、図４に戻って、登録用画像特徴量検出ステップＳ４３０では、中切歯がデジタル舌画像に写っていることを前提とした処理であり、デジタル舌画像に中切歯が写らないことがないように、図２の登録画像撮影ステップＳ２３０時に中切歯が写るようにコメントを画面に表示しても良い。続いて、画像のx軸まわりの回転に関する補正を行うため、再画像生成ステップＳ４５０により、登録画像構図変換ステップＳ４４０によって構図の補正を行ったデジタル舌画像をモデル画像の縦横比のサイズに従ってy軸方向に拡大縮小してデジタル舌画像を再生成する。
【００４６】
図２に戻って、再生成されたデジタル舌画像は舌画像診断ステップＳ２５０により、舌画像に基づいて舌診断に使用される。
本ステップＳ２５０では、個人画像補正ステップＳ２４０にて補正されたデジタル舌画像を過去のデジタル舌画像データと比較して、舌の大きさ、形状の変化、舌表面の色などの状態パラメータを抽出し、CPU１４が舌の状態から漢方における舌診の診断基準を基に被験者の健康状態を診断する。
次の図２の解析結果表示ステップＳ２６０では、舌画像診断ステップＳ２５０の結果をCPU１４が画面表示部１２に表示する。
【００４７】
また、撮影者が過去にデジタル舌画像を撮影した日付を指定し、この日付に撮影したデジタル舌画像と診断結果を表示できるようにしてもよい。これにより撮影者は過去の自分自身の健康状態を把握し、自らの体調変化のタイミング、変化の原因の究明を行うことができるため、健康管理に大いに役立つ。
【００４８】
次に、本装置の初回撮影時に行うモデル画像の撮影方法について、図５の個人モデル画像撮影処理フローに従って以下に説明する。標準モデル画像出力ステップＳ５２０では、一般的なモデルとなる鼻と舌の構図からなる鼻領域判定枠１０００、舌領域判定枠１０１０を含んだモデル画像撮影用の領域判定枠画像と、画像撮影時に撮影者に撮影方法を指示するコメントを出力するコメント枠１０２０を画面表示部１２に表示する。コメントは音声で知らせてもよい。
【００４９】
モデル画像撮影用の領域判定枠画像の生成は、事前に多数の人間の顔写真から平均した鼻と舌の構図を用いて、領域判定枠１０００、舌領域判定枠１０１０を生成しておく。さらにこの際、日本人向けに利用する場合は、日本人の顔写真から生成し、日本以外の国で利用する場合は対象国の人の多数の顔写真から生成するなど、モデル画像撮影用の領域判定枠画像を国別に作成してもよい。これによって、各国国民の顔の特徴に特化したモデル画像撮影用の領域判定枠画像を生成することが可能となり、モデル画像撮影時に、より舌診断に適した画像の撮影が可能となる。また、撮影対象者の画像や実測から求めたサイズによって、領域判定枠１０００、舌領域判定枠１０１０のサイズを変更したものを用いてもよい。
【００５０】
図５の画像撮像ループ（始め）のステップＳ５３０では、図３の登録画像撮影処理フローの画像撮像ループのステップＳ３３０~３８５と同様の処理を行う。ただし、領域判定枠は、上述のように標準モデル画像出力ステップＳ５２０で生成した、初回撮影用の領域判定枠を画面表示部１２に表示する。続いて、特徴点の認識ステップＳ５4０では、撮像中のデジタル画像の特徴点の認識を行い、同画像が初回撮影用の領域判定枠の中に納まって、上述の第１判定基準を満たした時に、画像記録ステップＳ５６０で、撮像画像を画像データベース４０に記録する。  次に、領域判定枠生成ステップＳ５７０では、画像記録ステップＳ５６０にて記録されたデジタル舌画像の鼻と舌の形状を元に、鼻領域判定枠１０００、舌領域判定枠１０１０を生成する。本ステップＳ５７０の具体的な処理内容について、図１０に基づき、舌領域判定枠１０１０を例にとって説明する。
【００５１】
エッジ抽出処理により舌の輪郭線を抽出した後、上述した図３の登録画像撮影処理フローの特徴点検出ステップＳ３５０で説明したのと同様な方法で、舌特徴点Ａ(xa,ya)、舌特徴点Ｂ(xb,yb)、舌特徴点Ｃ(xc,yc)、舌特徴点Ｄ(xd,yd)を求める。この４つの特徴点を頂点とする方形の中心を原点として、撮影時の余白を持たせるため舌の輪郭線を特定の倍率で拡大した輪郭線を舌領域判定枠１０１０として新たに生成する。
【００５２】
そして、同様の方法により鼻領域判定枠１０００の生成も行ない、鼻領域判定枠１０００、舌領域判定枠１０１０を一つの画像とすることで領域判定枠画像の生成を行う。また、この余白を持たせるための倍率は、変更可能とする。次に、特徴量解析ステップＳ５８０では、画像記録ステップＳ５６０にて撮影したモデル画像から特徴量などを抽出する。特徴量解析ステップＳ５８０の詳細は図７、図９を用いて以下に説明する。
【００５３】
特徴量解析ステップＳ５８０にて抽出した値は図２のメインフローにおける登録画像撮影ステップＳ２３０及び個人画像補正ステップＳ２４０にて利用するため、図７（Ｂ）の個人モデル画像特徴データテーブル７２０と図９の個人画像補正入力データテーブル９１０に格納される。以下にこの２つのテーブルへ格納するデータの抽出手段について説明する。
エッジ抽出処理によりモデル画像の舌の輪郭線を抽出した後、上述した図３の登録画像撮影処理フローの特徴点検出ステップＳ３５０で説明したのと同様な方法で、舌特徴点Ａ(xa,ya)、舌特徴点Ｂ(xb,yb)、舌特徴点Ｃ(xc,yc)、舌特徴点Ｄ(xd,yd)を求める。
【００５４】
その後、輪郭線の外接矩形ＡＢＣＤの面積を求めてその値を個人モデル画像特徴データテーブル７２０の面積７２２に、xaの値を特徴点Ａ_x座標７２３に、yaの値を特徴点Ａ_y座標７２４に、xbの値を特徴点Ｂ_x座標７２５に、ybの値を特徴点Ｂ_y座標に、xcの値を特徴点Ｃ_x座標に、ycの値を特徴点Ｃ_y座標に、xdの値を特徴点Ｄ_x座標に、ydの値を特徴点Ｄ_y座標７２６に、xeの値を中心特徴点Ｅ_x座標７２７に、yeの値を中心特徴点Ｅ_y座標７２８に格納する。
【００５５】
また、特徴点の抽出方法は鼻に関しても上述と同様であるとする。次に、図９の個人画像補正入力データテーブル９１０に登録されるデータであるユーザＩＤ７１２、中切歯特徴点Ｖ_x座標９０１、中切歯特徴点Ｖ_y座標９０２、中切歯特徴点Ｗ_x座標９０３、中切歯特徴点Ｗ_ｙ座標９０４についても特徴量解析ステップＳ５８０で抽出し、個人画像補正入力データテーブル９１０にレコードを登録する。
【００５６】
次に、個人画像補正入力データテーブル９１０に登録する値の抽出手段について、図１１を用いて以下に説明する。図５の画像記録ステップＳ５６０にて撮影した図１１のモデル画像において、デジタル舌画像のx座標が0に近い中切歯を中切歯Ａ、他方の中切歯を中切歯Ｂとする。中切歯Ａ、中切歯Ｂの特徴点は、エッジ抽出処理により中切歯の輪郭線を抽出し、上述の図４の登録画像構図変換ステップＳ４４０で説明した方法と同じ方法で、中切歯特徴点Ｖ(xv,yv)と中切歯特徴点Ｗ(xw,yw)を求める。
【００５７】
そして、図９の個人画像補正入力データテーブル９１０において、xvの値を中切歯特徴点Ｖ_x座標９０１、yvの値を中切歯特徴点Ｖ_y座標９０２、xwの値を中切歯特徴点Ｗ_x座標９０３、ywの値を中切歯特徴点Ｗ_ｙ座標９０４に格納する。モデルデータ登録ステップＳ５９０では、画像記録ステップＳ５６０で撮影したモデル画像と領域判定枠生成ステップＳ５７０で生成した領域判定枠を図７（Ａ）の個人モデル画像テーブルに格納する。
【００５８】
モデル画像は、初回撮影後に撮影した舌画像データからの再登録が可能であり、モデル画像を撮影した際の健康状態により、撮影者の通常の舌の形状、大きさが通常時と異なっていた場合や、治療などにより中切歯の形状が変わってしまった際にモデル画像データを変更することを可能にしてもよい。幼児期から学童期までの間は乳歯から永久歯への生え変わりなど、歯の形状が変化し易いため、モデル画像の再撮影を促すコメントを本装置稼動時に定期的に表示することにしてもよい。
【００５９】
なお、本装置の中で、一部の機能（診断機能、又は、画像補正機能と診断機能）を外部のサーバ等に分担させるような構成にしてもよい。また、舌画像撮影診断プログラム３０は元々内蔵としないで、市販のパッケージアプリケーションソフトをインストールすることにより実現しても良い。
【符号の説明】
【００６０】
１  撮影装置、１１  撮像部、１２  画面表示部、１３  操作部、１４  CPU
２０  記憶部、３０  舌画像撮影診断プログラム、４０  画像データベース
【図１】
2015226154.tif 000003
【図２】
2015226154.tif 000004
【図３】
2015226154.tif 000005
【図４】
2015226154.tif 000006
【図５】
2015226154.tif 000007
【図６】
2015226154.tif 000008
【図７】
2015226154.tif 000009
【図８】
2015226154.tif 000010
【図９】
2015226154.tif 000011
【図１０】
2015226154.tif 000012
【図１１】
2015226154.tif 000013