情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B2-3
2014/2/28

TongueDx: スマートフォンのための舌診システム
劉維尼1,a)

椎尾一郎1,b)

概要：TongueDx システムは，ユーザが日々撮影した舌の写真から，舌の本体と舌苔の色を記録し，中国伝統医学の手法にもとづきユーザの健康管理を手助けするシステムである．本システムでは，舌写真の色に対する環境光の影響を排除する目的で，長期間にわたって色が変化しないユーザの歯の色を用いたホワイトバランス調整を行っている．色調整された写真から，舌の本体と舌苔部分を分離する過程では K-means法を用いている．こうして得られた舌本体と舌苔の色から，健康状態を表すグラフを作成し，ユーザが健康状態を自己診断することの手助けを行う．また，本システムで集めた長期間の舌写真を元に，医師の診断を受けることも可能である．

TongueDx: A Tongue Diagnosis System for
Personal Health Care on Smartphones
Ryu Ini1,a)Siio Itiro1,b)Abstract: On the TongueDx system, users can keep track of their health condition by recording the color of
tongue coating and body on smartphones. In fact, this method is based on the Traditional Chinese Medicine(TCM) theories. Tongue diagnosis is one of the important diagnosing techniques in TCM. In order to avoid
color error aﬀected by surrounding light, a tongue color calibration by using teeth color as a standard isproposed in this paper. K-means algorithm is used to separate tongue coating from body. From the line
graph of tongue coating and body color displayed on smartphones, people could know their health conditions
timely and early discovery of some diseases without going to the hospital comes to be possible. If necessary,
the personal tongue images can be sent to TCM practitioners to get further diagnosis.

1. はじめに
近年，スマートフォンを用いた健康管理アプリケーションが利用されつつある．筆者らは，舌を使った健康診断である舌診が，スマートフォンによる健康管理の手法として有効ションを用いて毎日舌の写真を撮影し，この写真から得られた舌診断結果により健康状態を知り，その結果を健康管理に役立てることができる．

2. 関連研究であると考えた．舌診は中国伝統医学 (TCM, Traditional

TCM における伝統的な舌診は主に医師の判断により診

Chinese Medicine)[1] における重要な健康診断手法の一つ断されていたため，医師の経験，視力などにより結果にばらであり，舌本体と舌苔の色，形，状況などから健康状態をつきが出ることがあった．この問題を解決するために，コ診断する [2]．

ンピュータを利用した舌診システムが研究されている [3]．

本論文では，舌本体と舌苔の色から健康状態を診断する

Xu らは，舌本体と舌苔部分の色を検出して自動的に診断手法に注目し，スマートフォン上で舌診を行うアプリケーするシステムを開発した．このシステムでは，色の類似を利ション TongueDx を開発した．ユーザは，本アプリケー用して連続する 2 つの部分を分離する “splitting-merging”
アルゴリズムにより，舌本体と舌苔を識別している [4]．こ1a)b)

お茶の水女子大学大学院人間文化創成科学研究科
Ochanomizu University, Bunkyo, Tokyo 112-8610, Japanini@is.ocha.ac.jp
siio@acm.org© 2014 Information Processing Society of Japan

れに対して本システムでは，舌本体と舌苔部分には孤立した部分もあり得ることを考慮し，手法の確立している

405

たって変化しないため，正しい舌の色を取得するためには，歯の色を利用したホワイトバランス調整が有効である．
歯の色を基準として使う本方式を評価するために次の実験を行った．まず，グレイカードと人の歯を同時に撮影して，その結果から歯の正確な色を求めた．次に，デジタルカメラのホワイトバランスを環境光と異なる値に設定し，意図的にホワイトバランスを崩した状態で，グレイカード，人の歯，舌の色に近いピンク色のカラーチャートを一緒に撮影した．次に，グレイカードと人の歯の色を利用して，カラーチャートの色調整を試みた．その結果，歯の色によ
図 1

写真撮影のための画面．使用の最初に一度だけグレイカードと歯を撮影し（左），その後，歯と舌を毎日撮影する（右）．

Fig. 1 Screen for taking pictures. Prior to the use, gray cardand teeth picture is taken once (left), and then, teeth
and tongue pictures are taken everyday (right).

り，グレイカードと同等の正しいカラー調整が可能である
事を確認した．この結果から，歯を使ったホワイトバラン
ス調整は手軽で効果的であることが示された．
歯を使ったホワイトバランス調整を実施するために，次のような歯検出アルゴリズムをアプリケーションに実装しK-means 法を用いて舌本体と舌苔を識別する．

た．まず，図 1 右の画面で歯が撮影される部分の一部を矩

また Xu らは診療に使われた舌写真をもとに，舌の本体形に切り出す．次に，ある R, G, B 値の画素の明るさ B をと舌苔の色を RGB および HSI 値によりグループ分けしB = 0.229R + 0.587G + 0.114B として，B の値がある閾て，健康状態の指標とした．本システムの舌色変化グラフ

値 b0 を超えた場合，この場所を青色でマークする．b0 をによる健康状態表示機能では，Xu らの分類手法を採用し50 から 200 まで変化させて，2 列以上の青色画素列が矩形ている．

領域に存在したとき，この矩形領域に歯が撮影されている

3. TongueDx
TongueDx は，スマートフォン上でユーザの舌を日々撮影し，その色から舌診を行う健康管理アプリケーションでと判定した．7 人の被験者 (20 代女性) に本システムで撮影をしてもらい，歯の検出を試みたところ，環境光が特殊な場合や写真撮影に失敗した場合を除いて，ほぼ正しく歯を検出できた．

ある (図 1)．撮影した舌の写真の色キャリブレーションには，色が変化しにくい歯の色を利用する．次に，色調整し3.2 舌色の取得と分離た舌の写真を，K-means 法により分析し，舌本体と舌苔の健康な舌の色は，舌の 2 つの主な部分である本体と舌苔部分に分割する．そして，この結果を日々の舌色グラフとによって異なる．そこでアプリケーションは，取得した舌して提示し，ユーザの健康管理の手助けをする．

画像から舌の本体と舌苔を特定する．舌苔と本体部は，わずかに色が違うため，色で区別する事ができる．

3.1 歯を利用した色調整

舌苔と舌本体の分離には K-means 法を用いる．なお，舌写真が撮影される場所の環境光波長スペクトラムが偏っ部写真は図 1 右に示した舌の形をした枠で抜き取られていている場合，撮影された写真の色が不正確になることがあるため，それ以外の余白部分は白色である．システムは最る．そこで正確な色の写真を撮影する場合には，ホワイト初に，3 (k = 3) もしくは 4 (k = 4) グループに画素をクラバランス調整と呼ばれる色キャリブレーションが，一般的スタリングする．に実施される．ホワイトバランス調整を行う一つの方法

舌写真の画素が，舌苔，本体，白色の背景に分離されるに，色が既知のカラーチャートやグレイカード (灰色の紙ことを期待して，k = 3 のクラスタリングを行っている．

片) を被写体と共に写し込み，これを基準に色調整を行う

ところが，いくつかの舌写真では，歯の影が写り込むこと手法がある．グレーカードを使用した場合は，撮影されたがある．このような写真に対しては，，k = 4 のクラスタリ

カードの色がグレイになるよう (R, G, B 値が同一になるよ

ング（舌苔，本体，背景，影）が適している．

う) 写真の色を調整する．

そこで次のステップでは，k = 3, k = 4 のクラスタリン

グレイカードを利用した手法は，カードを取り出して写グで得た画素から構成される 7 枚の写真のうち，背景を除し込む操作が煩雑であるうえに，カードを紛失する可能性いた 5 枚の写真を比較して，舌苔と舌本体にもっとも近いも高く，日常の様々な状況で使用されるスマートフォンア画像を選び出す．舌苔と舌本体の識別は次のようにして行プリケーションには適していない．本研究では舌写真のホう．まず写真を 3x3 の領域に 9 等分割する．舌苔が一般的

ワイトバランス調整に，グレイカードの代わりにユーザのに舌の中央に位置することを利用して，9 分割された中央歯を利用することを提案する．歯の色は比較的長期間にわ区画に最も画素が多い写真を舌苔の写真とする．同様に，© 2014 Information Processing Society of Japan406

録によると，食べ過ぎとストレスのために消化器系不全に陥り，不快を訴えていたことが記されている．このように，舌色変化のグラフは，ユーザと医師の双方に対して，身体健康に関する有用な情報になると考えられる．現在，4 人の被験者（いずれも 20 代女性）に依頼して，TongueDx アプリケーションの評価実験を進めている．

図 3

図 2 舌本体と舌苔の分離例．

Fig. 2 Samples of separated tongue body and coating.

舌本体（左）と舌苔（右）の色変化グラフの例．

Fig. 3 The tongue body (left) and coating (right) color graphreflecting health condition.

舌本体部分はその周囲にあることを利用して，9 分割された中央以外の 8 区画に最も画素が多い写真を舌本体の写真とする．このようにして得られた舌苔と舌本体の写真を図2 に示す．
3.3 健康状態の表示
ユーザがより良い健康状態を保つ事を支援するために，日々の舌色グラフ表示機能を実装した．スマートフォンに表示された舌苔と舌本体の色の記録から，ユーザは健康状態を知る事ができる (図 3)．グラフの変化が滑らかで，舌本体と舌苔の色がそれぞれピンクと淡い白である場合，健康である事を示している．一方，グラフの線が大きく変動

5. まとめ人々の健康管理を支援する目的で，スマートフォンで稼働する舌診断アプリケーション TangueDx を開発した．今後の研究においては，TongueDx の診断結果の精度を改善し，ユーザによる評価実験をすすめ，さらには TCM 研究者からの意見も得たいと考えている．
参考文献
[1]

し，舌の色がピンク色から大きく外れた場合，身体に何か問題があることを示しているので，医師の助言を求めるべきかもしれない．

4. 動作検証[2][3]

動作を検証するために，筆者の一人（20 代女性）がTongueDx を 1 ヶ月使用し，健康状況をノートに記録した．
図 3 は，著者の実際の舌色変化グラフである．このグラフ
は，11 月 9 日以降に舌の本体の色が Pale から Purple へ変化していることを示している．このときの本人の健康記© 2014 Information Processing Society of Japan[4]

Backgrounder Traditional Chinese Medicine, National
Center for Complementary and Alternative Medicine(NCCAM), National Institute of Health, USA, D428
(2013).
張 立也: 舌診の研, 埼玉医科大学雑誌, 第 30 巻, 第 3 号別頁, pp. T29–T45, (2003.7)
M.Dhanalakshmi, P.Premchand, A.Govardhan: Tongue
Diagnosing With Sequential Image Enhancement Methods, IJEAT, ISSN: 2249-8958, Volume-2, Issue-4, pp. 831–835, April 2013.
Xu Jiatuo, Zhou Changle, Fang Zhaoqin, Zhang Zhifeng,Wang Zhiguo, Sun Yang: Computerized Analysis andRecognition of Tongue and Its Coating Color in Tongue
Diagnosis (舌像顔色特徴的計算機分析与識別研究), 上海中医薬大学学報, Vol. 18, No. 3, pp.43–47, Sep. 2004

407