15 February, 2018
Digital Biocolor Society
http://biocolor.umin.ac.jp/

5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical andclinical applications”

Proceedings
＠Nishi-Chiba Campus in Chiba University
Keynote lecture and invited lectures: Engineering buildings 2-103
General presentations (Poster), Reception:
Engineering Research Building II 2nd floor, Experimental room

Organized by Digital Biocolor Society
Co-organized by Global Prominent

Programin

Chiba University,

Japan

Co-sponsored by International Society of Artificial Life and Robotics
Co-sponsored by Group of Information Photonics, The Optical Society of Japan< Statement of Digital Biocolor Society: Second Stage>
Digital Biocolor Society is established in 1999, and the purpose of this Society is topromote the study of digitization, record and reproduction of the colors pertaining toliving systems, to exchange related knowledge among its members and to recommit its
profits to the public. The society provides the planning and negotiation of international
and interdisciplinary collaboration for research, investigation and development from thetwo approaches: elemental technology and medical needs. In particular, the society play
an important rule for research presentations and researchers communications for
accurate color digitalization and record and reproduction for skin and facial images,
endoscopic images for large intestine and liver, and microscopic image for tissue
specimen. Specially, since multispectral imaging is blooming in those years, theresearches in engineering field and medical field deeply discussed about the contributionof multispectral imaging into medical and biomedical fields. After these experiences,each researcher in digital biocolor society works actively in his own society.
Recently, the field of digital biocolor is expected to perform a great contribution on
healthcare and medical applications because of the grow of computational resources andinnovation of high-level signal processing method.

For example, it can be introduced

that non-contact vital sensing for heart rate, respiration rate and oxygen saturation aremeasured from color video camera. This techniques is the application of hemoglobin
component extraction from skin color image into skin color video, which was presented
in the community of digital biocolor society. The pulse wave which is key information to
detect the vital information measured from the slight change of hemoglobin component
in the video. Since this is the non-contact measurement, vital information can bemeasured very easily and the measured big data by large scale cohort experiment can beanalyzed by artificial intelligence. This is expected to lead the innovation in the field ofhealthcare and medical applications. As other examples, it is expected to be strongly
developed that facial color and appearance reproduction and their diagnosis support
techniques which are becoming important with development of legal system for telemedicine, endoscopic image processing using the special lights, digital dyeing for tissue
specimen. However, since each researcher in these developing fields’ works only in his
own society, it is not achieved that enough communications in digital biocolor society andsharing results of researches for the common good.
Therefore, as the second stage of digital biocolor society, the 5th Symposium of the'Color' of Digital Imaging in Biomedicine will be organized.

<

Map

>

<

Program >Modulator:
9:00

Norimichi Tsumura, Chiba University~9:20

Opening remarks:“The load to second stage of Digital Biocolor Society”
Masahiro Nishibori, International University of Health and Welfare

9:20~10:00Invited talk #1“Biomedical imaging based on time-resolving CMOS
image sensors and compact compound-eye cameras”
Keiichiro Kagawa, Shizuoka University

10:00~10:40Invited talk #2“Non-Contact Video Based Estimation of

Biomedical Information”
Munenori Fukunishi, Chiba University
Break ( 5 mins )10:45~11:25Invited talk #3“Noncontact measurement of vascular compliance”
Kazuya Nakano, Chiba University

11:25 ~12:05

Invited talk #4“Contactless finger vein authentication system using moving images”
Hiroyuki Suzuki, Tokyo Institute of Technology

Lunch
13:00 ~14:00

KeynoteLecture“Bio Big Data and Precision Medicine”
Hiroshi Tanaka, Tokyo Medical and Dental University
14:00 ~14:40

Invited talk #5“Measurement of tissue oxygen saturation of webbing of fingers”
Hideaki Haneishi, Chiba University

Break ( 5 mins )14:45 ~15:25

Invited talk #6“Feature measurement and color standardizationin digital pathology imaging”
Masahiro Yamaguchi, Tokyo Institute of Technology

15:25 ~16:05

Invited talk #7“Non-Contact Biomedical Information andJapanese Traditional(Kampo) Medicine”
Keiko Ogawa, Kanazawa University Hospital

16:10~

General presentations (Poster) and Reception(at the same time)

List of posters
１．

Optimal design of illuminant spectra for improving intraoperative color

appearance of organ
Yoko Kurabuchi*1，Kina Murai*1
Toshiya Nakaguchi*2，

Kazuya Nakano*2，

Takashi Ohnishi*2，

Hideaki Haneishi*2*1: Graduate School of Engineering, Chiba University, JAPAN，*2: Center for Frontier Medical Engineering, Chiba University, JAPAN
２．Development of an estimation system for relevance between image of plant genetic
resources and environmental information of the collection point
Masaru Takeya, Fukuhiro Yamasaki
Genetic Resources Conservation and Information Team, Genetic Resources Center,
National Agriculture and Food Research Organization
３． Analysis of quantitative phase obtained by digital holography on H&E stained
pathological samples.，Syukran Hakim Bin Norazman1, Tomoya Nakamura1,2, Fumikazu Kimura3,
Masahiro Yamaguchi1
1 School of Engineering, Tokyo Institute of Technology，
2 PRESTO, Japan Science and Technology Agency，
3 Department of Health and Medical Sciences, Shinshu University
４．Dual-band Video-based Measurement for Non-contact Pulse Rate Estimation in
Infrared
Ryota Mitsuhashi 1), Genki Okada 2), Koki Kurita 2), Keiichiro Kagawa 3), Shoji
Kawahito 3), Chawan Koopipat 4), Norimichi Tsumura 5)1)Graduate School of Science and Engineering, Chiba University, CHIBA, JAPAN2)Graduate School of Advanced Integration Science, Chiba University, CHIBA,
JAPAN3)Research Institute of Electronics, Shizuoka University, HAMAMATSU, JAPAN
4)Department of Imaging and Printing Technology, Chulalongkorn University,
Thailand5)Graduate School of Science and Engineering, Chiba University, CHIBA, JAPAN５．Image-Based Non-Contact Monitoring of Skin Texture Changed by Piloerection for
Emotion Estimation
Mihiro Uchida*, Rina Akaho**, Keiko Ogawa-Ochiai***, Norimichi Tsumura*****：Graduate School of Science and Engineering, Chiba University, Chiba, JAPAN** ： Graduate School of Advanced Integration Science, Chiba University, Chiba,
JAPAN***：Department of Japanese-Traditional (Kampo) Medicine, Kanazawa University
Hospital, Ishikawa, JAPAN****：Graduate School of Engineering, Chiba University, Chiba, JAPAN６．System for Evaluating Disease state using Facial Image
Futa Matsushita1), Kaoru Kiyomitsu2), Keiko Ogawa3), Norimichi Tsumura4)
1) Graduate School of Science and Engineering, Chiba University, CHIBA, JAPAN
2) Graduate School of Advanced Integration Science, Chiba University, CHIBA,
JAPAN3) Department of Japanese-Traditional (Kampo) Medicine, Kanazawa University
Hospital, KANAZAWA, JAPAN
4) Graduate School of Engineering, Chiba University, CHIBA, JAPAN
Volume measurement of the lower limb by using the depth camera for７．

quantification of edema
Kaoru KIYOMITSU*1, Akihiro KAKINUMA*2, Hiroshi TAKAHASHI*2, Naohiro
KAMIJO*2, Keiko OGAWA*3, Norimichi TSUMURA*1*1:Chiba University, *2:Ricoh Company Ltd., *3:Kanazawa University

The Effect Evaluation of Acupuncture on Autonomic Nervous System Using

８．

Heart Rate Variability Measurement with RGB Camera
Kouki Kurita*1, Kaoru Kiyomitsu*1, Norimichi Tsumura*1, Mai Sugawara*2,
Chie Ogasawara*3, Rei Mishima*3, Keiko Ogawa-Ochiai*3*1:Chiba University, *2:University of Teacher Education Fukuoka, *3:
Kanazawa University
９．A Time-Resolved Near-Infrared Spectroscopy using Custom CMOS Lock-In Pixel
Image Sensor，
De Xing Lioe, Zhonghui Liu, Min-Woong Seo, Masatsugu Niwayama, Masashi

Hakamata, Keita Yasutomi, Keiichiro Kagawa, Yasuko Fukushi, Seiji Yamamoto,
Shoji Kawahito
Shizuoka University, Hamamatsu University School of Medicine
１０． Effectiveness of Color Correction on Quantitative Analysis of Histopathological
Images Acquired by Different Whole Slide Scanners ,Maulana Abdul Aziz 1, Tomoya Nakamura 2, 3, Masahiro Yamaguchi 2,
Tomoharu Kiyuna 4, Yoshiko Yamashita 4, Tokiya Abe 5, Akinori Hashiguchi 5,
Michiie Sakamoto 5
1) Interdisciplinary Graduate School of Science and Engineering, Tokyo Instituteof Technology

2) School of Engineering, Tokyo Institute of Technology

PRESTO, Japan Science and Technology Agency

3)4) Medical Solutions Division,

NEC Corporation
5) Department of Pathology, Keio University School of Medicine

KeynoteKeynote

LectureProceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

生体ビッグデータと Precision Medicine
Bio Big Data and Precision Medicine

田中 博
Hiroshi Tanaka

東北大学 東北メディカルメガバンク機構
東京医科歯科大学
Tohoku Medical Megabank Organization, Tohoku University
Tokyo Medical and Dental University

Abstract:
Recent studies of biomedical big data, such as omics data
including genome, metagenome and environment data, have

revealed that most diseases that have been grouped under thesame disease name, such as carcinomas and diabetes, actuallyconsist of multiple intrinsic subtypes, and at the same time, thatdifferent diseases, such as myocardial infarction and Duchenne
type dystrophy, have very close gene expression patterns.
Precision medicine requires bio big data, including the biocolor
data, to be analyzed with deep learning which does not rely onsupervised data of obsolete medicine and would discover the true
etiologies of every diseases.

2018/2/21

略歴

生体ビッグデータとPrecision Medicine
東京医科歯科大学 名誉教授 ・ 特任教授
東北大学 東北メディカル・メガバンク機構 特任教授
機構長特別補佐田中 博

1974 年 東京大学工学部計数工学科 卒業
1981 年 東京大学医学系大学院博士課程修了 医学博士
1982 年 東京大学 医学部 講師
1983 年 東京大学工学系大学院より 工学博士
1982 ～1983 年 スウェーデン ウプサラ・リンシェーピング大学客員研究員
1987 年 浜松医科大学 医学部附属病院 医療情報部 助教授
1990 年 米国マサチューセッツ工科大学 客員研究員
1991 年 東京医科歯科大学 難治疾患研究所 生命情報学 教授
1995 年～ 2009年 東京医科歯科大学 情報医科学センター センター長 併任
2003 年～ 東京医科歯科大学大学院 疾患生命科学研究部教授へ異動
2006 年～2010年 東京医科歯科大学大学院 生命情報科学教育部 教育部
長・大学評議員 併任
2015 年 東京医科歯科大学 名誉教授、東北大学 東北メディカル・メガバン
ク機構 特任教授 機構長特別補佐
2017年 東京医科歯科大学 医療データ科学推進室 室長・特任教授

我が国の社会経済的な推移
超低成長(super-low growth）社会へ

我が国の医療・介護・福祉を取り巻く状況と経緯

戦後日本の経済社会世代

高度成長期

１．終戦期
(1945〜1954）
２．高度成長期(1954〜1973）
３．安定成長期(1973〜1991）

安定成長期

超低成長期

４．停滞期
(1991〜現在）

これまでの医療・医療政策の体制の変遷
社会経済的推移と７〜８年遅れて推移
高度成長期医療政策（医療拡大政策：1961～1982年）– 国民皆保険制度導入から、1982まで。病床数２倍– 老人医療の無料化（1972-1982）、新設医大（1972-1979）

抑制期医療政策（医療抑制政策：1982～2010年まで）– 医療費・医師養成数抑制政策、「医療費亡国論」(1983)– 後半は「崩壊期」と重複
1961

医療全般

1982

医療拡大政策
1954

日本経済

成長型若齢社会高度成長期・ 安定成長期（54～91）「成長期にある若い人中心の国」*1
急性期疾患中心の医療「病院完結型医療」の無関連な集まり2000

医療抑制政策

1974

高度成長期

従来の日本型医療体制の確立と
成長期社会

1992

安定成長期

経済成長率約10％期

経済成長率約4％期 1992

高齢化率 約6％(1960）

高齢化率 約10％(1985)

日本型医療体制*2
フリーアクセス制、自由開業制（民間病院多在）現物（医療）給付・出来高払い制*1 80年代 高齢化10%以下 1970 7% →1994 14％* 2 国民会議「1970年代モデル」 1985年平均寿命世界一

1

2018/2/21

地域医療の崩壊

超低成長期における医療の崩壊と再生
1961 国民皆保険制
高度成長・安定成長期

1991

 絶対的医師不足とその加速
 長年に亙る「医師数抑制政策」(1986～98, 08)による絶対的な医師不足

日本型医療「病院完結型医療」の無関連な集まり

超低成長期（停滞期）

医療費抑制
小泉政権診療報酬低減

医師不足
2005〜

新臨床研修医制度
医師数抑制政策
戦中戦後医師退職

地域医療の崩壊

超高齢化
慢性疾患増大 戦中・戦後育成医師世代の高齢化による退職 「新医師臨床研修制度」(2004～)：都市集中，診療科偏在 医療費の長期にわたる抑制政策
 小泉政権下(2001/6)の医療費削減政策(OECD24位)

 国民の医療権利意識の増大
 医療過誤訴訟の増加 産科/小児科/外科医の減少

病院勤務医の負担増大と負のスパイラル
立去り型サボタージュ / 病院勤務医から開業医へ

医療再生へ

医師数抑制政策

診療報酬の抑制

医師不足を診療科別に見た場合、それが顕著なのは産婦人科である。
1990年から2006年までの16年間のあいだに、総医師数が増加しているなかで産婦人科の医師数はピークからの減少幅が15.6％にも達している。
次いで多いのが、小児科10.8％、外科8.1％の順である。

小泉政権
昭和56年（1981年）から平成22年（2010年）までの、約30年間に1.28%の増額。

少子超高齢化社会へ

高齢化がもたらす疾病構造の変化
 高齢化に伴う慢性疾患の増大
 国民医療費に占める65歳以上の医療負担50％超
 慢性疾患患者の増加とその負担
 糖尿病の増大と重症化患者の加速増加– 人工透析患者増加による国の負担増 30万人
– 国の負担 1兆5000億円– 人口当たりの人工透析患者が世界一多い

19
歳
以
下

急速な高齢化2倍以上の増加率

 脳卒中：急性期後の長い維持期・再発による重症化– 維持期における長期にわたる疾病管理– 高い再発率、寝たきり 在宅患者の約4割・医療費2兆円

従来の急性期医療に主眼を置いた医療制度だけでは「急性期疾患」から「慢性疾患」へ
支えきれない社会構造になった

65
歳
以
下

歳

2010

 治療から疾病管理への転換「急性期疾患」から「慢性疾患」へ

20
〜
64

1990

歳

75
歳
以
上

1954

高齢化率 約6％(1960) 高齢化率 約10％(1985)

65
〜
74

高齢化率23％(2010)

65
歳
以
上

30〜40％(2025以降）

2

2018/2/21

医療・医療政策の体制の変遷

慢性疾患患者の増加• 医療拡大政策（1961年から1982年）

医療費の年齢別比率と人工透析原因疾患– 国民皆保険制度の導入から1982まで続いた高度成長期の医療– 老人医療の無料化（1972-1982）、新設医大（1972-1979）病床数２倍• 医療抑制政策（1982年から2010年まで）– 1982から始まった医療費・医師養成数抑制政策の医療– 「医療費亡国論」(1983)、2000年初頭小泉政権下の激烈な診療報酬削減、• 医療崩壊（2005年頃から現在も）– 2000年代に顕現した絶対的医師不足と地域医療の崩壊– 2010年から再生期と重複、2006年第５次医療制度改革（地域医療連携）• 医療再生政策（2010年から始まる）– 2009年の政権交代とともに医療費抑制政策が一旦停止– 地域医療再生（基金09,10年）と勤務医負担軽減（10,12診療報酬改定）– 2025年、超高齢化社会の到来への対応を模索。
1961

医療全般

1982

高度成長期医療政策
医療拡大政策
1954

持続可能な新たな医療・ケア体制へ

病院完結型医療

日本経済

2010

2000

医療抑制政策
抑制期医療政策

1974

崩壊

再生

1992

高度成長期

安定成長期

超低成長期

経済成長率約10％期

経済成長率約4％期

経済成長率約0〜1％期

高齢化率 約6％(1960）

高齢化率 約10％(1985)

高齢化率 23％(2010)＞30％

介護 高齢者人口（65歳以上）の増加数
2005年 → 2025年

医療費抑制政策1982～2009
とくに小泉改革等 2001～09

国民皆保険1961
高度成長期医療医師数抑制

新設医大設置
1970～19791986～98
医
療
費
・
医
師
数
抑
制

1961

医療全般

日本経済

新研修医制度2004～
医療訴訟増加産科・小児科医減少

年
問
題

2010

2000
崩壊

抑制期医療政策

1974

再生

1992

高度成長期

安定成長期

超低成長期

経済成長率約10％期

経済成長率約4％期

経済成長率約0〜1％期

高齢化率 約6％(1960）

2
0
2
5

再
生
過
渡
期

超高齢化社会の到来
慢性疾患治療長期化

1982

高度成長期医療政策
1954

疾
患
構
造
変
化

日
本
型
医
療
の
破
綻

戦中戦後養成医師
退職2000代から高齢化率 約10％(1985)

高齢化率 23％(2010)＞30％

2012年の医療・介護保険同時改定
老人保健施設増設から在宅医療を担う診療所等の機能強化へ（往診診療報酬増加）
医療・介護・福祉・生活支援の地域包括型ケア

我が国が直面する医療・ケアの課題
 地域医療の崩壊
社会経済的要因 （超低成長・医療政策など）
疾患構造的要因 （慢性疾患増加・維持期など）
介護福祉の崩壊の到来
高齢者の将来の急激な増大（2025年問題）

我が国の医療・福祉の再生
我が国はこの現状に対応してどのようにして持続可能な医療・ケア体制をつくるのか3

2018/2/21

持続可能型医療・ケア体制 第１の基軸「地域で連携する」医療・ケアへ• ｢病院完結型医療｣から｢地域連携（完結）型医療｣へ• 医師不足/慢性疾患増加 希少医療資源の共有• 「急性期病院の無関連な集合」では対応できない• ｢地域医療｣が単位、｢病院｣「診療所」は要素• 総合病院指向ではなく専門病院化・分担機能化• 地域医療崩壊を防ぐ病院・診療所の地域連携• 地域へ拡張する診療連携パス（病院負荷集中防止）

持続可能型医療・ケア体制 第２基軸

「生涯を通じた」医療・ケア• 「生涯継続性」lifelong-continuity, life-log– 急性期治療中心から生涯継続的な健康/疾病管理への転換• 慢性疾患増大/超高齢化社会での医療の役目• カルテの保存期間に見られる急性期中心主義• 国民の疾病観の転換の必要性• 「生涯健康医療記録」（EHR）の不可欠性• 重症化・再発予防と医療費の適正化• むしろ重症化の予防(悪化抑制)→医療費の適正化• 「治す」から「重症化させない」疾患管理へ• 糖尿病・脳卒中の長い維持期（再発予防）「支える医療」

生涯継続的な健康/疾病管理

持続可能型医療・ケア体制 第３基軸

日常生活圏域を基点としたケア• 「地域（日常生活圏）包括ケア」• 在宅医療の基点化 daily life basis

わが国の健康医療ケア戦略のパラダイム変換
医療政策からは「連携医療・包括ケア」政策であるが、患者・生活者サイドからは– 維持期医療の在宅化• 在宅療養の重点化･往診の重装備化– 医療と介護のシームレスな連携• 退院病院と往診医・訪問介護との連携– 退院時コンファレンス等• 日常生活圏での健康/疾患管理– 慢性疾患管理と自己測定→「情報薬」• 生理計測モニターなどモバイル医療（mHealth）– 健康リスク管理と日常測定－健康長寿政策– 地域医療連携との連携「日常生活圏」での健康/疾患管理– 健康リスク管理と生理変量モニター(mHealth)– 疾患管理としての「情報薬」– 在宅医療・地域包括ケア「生涯にわたる」健康/疾病管理

施設中心医療から生活圏中心ケアへ– 疾患罹患可能性に対する「生涯的」perspective– life-long healthcare– 生涯型EHRの国規模での実験

これからの健康医療戦略

介護原因疾患から知る高齢化による罹患可能性の高い疾患の時系列

この2つの概念をまとめると医療施設に全面的に頼らない「患者参加型医療 (participatory medicine)」• 高齢化に従い主要罹患疾患推移 がん→脳卒中→認知症• 要介護原因疾患：男性 脳卒中→認知症• 要介護原因疾患：女性 関節・骨折（ロコモティブ症候群）→認知症

自らの健康は自らが守る– 定量化自己(Quantified Self)• 自らの健康状態を把握する– Intelligent Consumer:• 医療情報・知識を自ら収集する– 先制医療：• 継続的な自己健康状態把握に基づき疾患状態への過渡を認識して、疾患前に治療する– 3次予防：• 疾患に罹患しても重症化しないように疾患管理に努める「生涯にわたる日常生活圏における健康・疾病管理」

42018/2/21

生涯的Perspectiveへの
健康・疾病概念のパラダイム転換• ＜若い人中心－急性期疾患中心＞の疾病概念から• 慢性期疾患中心－「生涯にわたる」健康疾病概念へ
Life-long (course) healthcareの概念• 医療施設中心（施設医療）→
患者中心・日常生活圏・患者参加型（participatory medicine)

ライフコースと医療
これまでの認識をまとめると健康医療ライフコースは以下のようになる

life-long healthcare
健 康
生体モニタリング

発症直前
先制医療
先予
制知
治
療

疾 病
個別化医療
発
症

維持ケア
重症化予防
治維
癒持
期

ゲノム・オミックス・環境情報を含んだ

生涯型医療・先制医療への転換

ライフコースの予測に基づいた健康医療戦略•

慢性疾患の増加•

健康モニタリング– 日常的生体モニタリングによる健康状態観測による発症前管理。疾病へのトレンドの予測
発症リスク予測– ゲノム・オミックス医療の進展による発症リスクの（発症前）個別化予測の確度の上昇– ＜遺伝的素因と環境・生活習慣要因＞との相互作用の解明
オミックス・バイオマーカの進展– バイオマーカによる発症トレンド認識の上昇・先制医療の実現
疾病の個別化治療– ゲノム・オミックス医療の進展による発症罹患後の個別化医療・予後予測医
療の実施– ＜患者特異的ネットワーク調節不全＞の同定を基礎にシステム医学
オミックス・バイオマーカによる３次予防– 回復・維持期における再発・重症化予防オミックス日常モニタリング– 超高齢化による慢性疾患（一般のがん、脳卒中、認知症）の重要性の増加。この順で発症頻度の年齢分布ピークが継起する。

•

•
•

•

「生涯にわたって継続的な健康・医療電子記録（Omics PHR/EHR)」

継続的モニタリングの階層
第１種 表現型情報による生涯継続的な生理量モニタリング– Quantified Self (そとからの生体モニタリング)• モバイル・ウェアラブル生理モニタリング• 参加型医療・proactive professional consumer

第2種 分子情報も含めたパンオミックス・バイオマーカの継続的モニタ(内からの生体モニタリング）– 疾患発症を予知するオミックスバイオマーカを継続的に計測– SnyderらのiPOP (integrated Personal Omics Profiling)概念– 疾患予知オミックスは先制医療・先制医療薬へ– 液性バイオマーカ（Liquid Biomarker)– 分子システム医学的なマーカ• Dynamic Network Biomarker (L.Chen)

生涯にわたって継続的に電子記録するOmics EHR/PHR

mHealth/ healthcare IoTの概念

モバイル・ユビキタス,IoT情報の概念
Ubiquitous, IoT(Internet of Things)「どこでも」「いつでも」最良の医療
健康管理を受けられる情報環境

Wireless communication 技術に基づいた診療現場や日常生活圏における健康・医療の知能化環境

モバイル健康医療社会の実現

ユビキタス：「(神のごとく）遍在する」(Xerox社MarkWeiser1986)
大型コンピュータやパソコンと違った第3のコンピュータ利用形態

生活環境の中にコンピュータチップ・計測装置とネットワークが組み込まれ、ユーザーはその場所や存在を意識することなく利用できる情報環境■見えない (invisible)■区別がつかないほど日常生活に織り込まれている■しかし、観測され知的アドバイスを提供する

Network/Intelligenceの環境世界化

52018/2/21

モバイル健康医療(mHealth)の概念
環境世界と人間の関わり方の変革

人間

従来

情報・知能

mHealth概念

世界

日常生体モニタリング

行動•

Quantified Self

認識

環境世界の
情報化・知能化

主体の絶対知能性

環境
世界

人間

– 生理変量(血圧、心拍、運動、酸素飽和度、血糖値）などの表現型情報の測定

環境
世界

主体性
の分担

•

そのほか Wearable sensor

ECG; EEG; Skin Conductivity; EVG

東北大学COI 「さりげないセンシング」– 「さりげないセンシングと日常人間
ドックで実現する理想自己」
Apple watch– コンティニュアなど幾つかmHealthのプロジェ
クト

生涯型電子カルテ（EHR/PHR)
Sony
健康時計

第２段階 分子情報による日常
モニターリング

Dr. John Halamka• PGP#2– 患者に薦める前に自分で「人体埋め込み用
RFID」を体験し、あらゆ
る面から調査– 米粒ほどの大きさで、電波を使って外部の装置と情報をやり取り可能– データベースと照合することで、同RFIDを埋め込んだ人の医療情報などが取り出せるゲノム・オミックス医療の基軸概念
3世代区分
生得的
ゲノム

• パンオミックス・バイオマーカなどの分子情報の継続的モニタリング• 疾患発症を予知するオミックスバイオマーカ
を継続的に計測• SnyderらのiPOP (integrated Personal Omics
Profiling)概念• 液性バイオマーカ（Liquid Biomarker)• 分子システム医学的なマーカ– Dynamic Network Biomarker (L.Chen)

網羅的分子医学 第１パラダイム

ゲノム医療（1990〜現在）

Manolio (2009)• 「生得的な(germ-line)」ゲノム変異や多型性に基づいた個別化医療– 生得的ゲノム– 生得的ゲノム情報の変異・多型性– 後天的体細胞の網羅的分子プロファイル

東北大学‐東芝COI– EHR: 医療施設の診療記録の共有– PHR：自己入力のアレルギーなどのリスク情報を追加

Professor at Harvard Medical School

第３ システム分子(分子システム)医学••

Conscious-freeな生活 確実・安心・安全な社会

第２ （後天的）オミックス医療– 米国での運動、Wearable Computerと生体センシングを結合して自己の健康・行動をモニターする

客体の無知能性

機械知能と人間とのSymbiosis

第１ （生得的）ゲノム医療

第１段階 生体生理量センサリング•• 全細胞で生涯を通じて同一99.5%は共通
後天的
オミックス

• 疾患原因遺伝子(Disease causative gene)– 家系調査/Linkage解析
分子システム• 1980年代から: ハンチントン病

単一分子へ起因する方法の限界– CAGリピート,HTT遺伝子, 99%浸透率• その他にデシャンヌ型筋ジストロフィー,嚢胞性線維症• 当時400程度のDNAマーカ ヒトゲノム解読計画へ– 細胞分子ネットワークの歪み/構造変化• 疾患感受性遺伝子(Disease susceptibility gene)
H.Tanaka:”Genome and Omics Medicine―Principles, Clinical Implementation and BigData Approach―“

Springer 2016

現在の
ゲノム・オミックス医療– 多型性：一塩基多型(SNP),3000万位,• そのほかにマイクロサテライト、CNVなど– 全ゲノム関連解析（GWAS）患者対照分析– 薬剤代謝酵素の多型性（PGx）

6

2018/2/21

網羅的分子医学 第２パラダイム

オミックス医療（2000〜）

網羅的分子医学 第3パラダイム

システム分子（分子システム）医学（2010〜）
システムバイオロジーの疾患への応用「疾患をシステムとして理解する」• 「後天的・疾病依存的に変化する網羅的分子病態像」
後天的体細胞ゲノム変化＋ゲノム以外の疾患オミックスに基づく医療– 疾患 オミックスプロファイルによる分子的病態像

乳がんの亜型と治療・予後• 後天的ゲノム変異・遺伝子発現プロファイル・プロテオームなど、病態進行の段階に依存• 疾患の進行度の評価 →予測医療・先制医療– Ongoing state of disease progressionを表現– 臨床症状や病理変化より早く変化 Predictive Omics

Next generation
sequencer
DNA microarray

疾患オミックス（網羅的分子表現型
molecular phenome)
成り立たせる基底としての「細胞分子ネットワークの（分子システム）構造変化」
疾病の理解における第３のパラダイム

mass spectrometry

医療・創薬への超大なインパクト

ビッグデータ時代の到来
ゲノム・オミックス医療の現状
バイオテクノロジーの急速な進展による「ビッグデータ医療」時代の到来(1) 次世代シーケンサ（Clinical Sequencing)を始めとする「ゲノム/オミックス医療」における網羅的分子情報収集/蓄積(2) Biobank/ゲノムコホート普及による分子・環境情報の蓄積(3) モバイルヘルス(mHealth）によるWearable センサの連続計測による生理データの蓄積（unobstructed monitoring)

コストレスで良質なデータが大量に収集可能

治療医学の的確性の飛躍的進展:「精密医療」
医療の国民レベル・生涯ヘルスケアの進展

ゲノム・オミックス医療の２つの流れ

米国ゲノム・オミックス医療の流れ
2007年

米国でのゲノム医療– 「シーケンス革命」(2007）からの怒涛の展開（2010から）– 個々の患者の「治療医学」レベル質的向上:臨床実装の推進

先陣争い
の時代

• 稀少疾患の原因遺伝子変異の同定• がんのドライバー遺伝子変異の同定と分子標的薬の選択• 薬剤代謝酵素の多型性の同定と個別化投与

欧州でのゲノム医療– 「集合的遺伝情報」の価値⇒ゲノム・バイオバンクへ流れ– 国民医療（医療の国民レベル）の向上: 社会福祉国家の理念– 「予防医学」レベル質的向上のためにゲノム情報導入• 大規模前向きpopulation型バイオバンク/ゲノム・コホートの確立• 遺伝的素因と環境要因（生活習慣）との相互作用に基づいた「多因子疾患」の発症予測を通した「国民医療の向上」• 生涯的健康/疾病管理へ

急速な高速化と廉価化
ヒトゲノム解読計画13年,3500億円⇒1日,10万円

国家政策
の時代

精密医療
普及期

2016年
2017年

オバマ大前統領 Precision Medicine Initiativeを開始、2015年1月 大統領一般年頭教書演説

72018/2/21

個別化医療からPrecision Medicine

第2の流れ 欧州のバイオバンクの普及

個人の遺伝素因・環境要因に合わせた (tailored) 医療
One size fits for all のPopulation 医療とは異なる

疾患研究
稀少症例収集「集合的遺伝情報」による
国民レベルでの医療向上

趣旨：基本は、個別化医療 Personalized Medicine の概念と変わらないが診断/ 治療の個人化ではなく層別化を明確化。ゲノム一元論からの脱却
概念の革新：Personalized Medicineが標榜された時から10数年経っている

医療ビッグデータ時代の到来による個別化医療の拡張（１）遺伝素因 X 環境(生活習慣)要因のスキーマ重視
遺伝要因(SNPや変異：Genome) だけでなく環境・生活習慣要因(Exposome) の重視
疾患発症は2つの要因の相互作用と明示的に強調。電子カルテの臨床表現型情報（Clinical Phenome)情報の重要性認識。
（２）ゲノムコホート・Biobankの重視
Precision Medicineを実現する「情報基盤」として、ゲノムコホート/Biobankが不可欠であることを認識。
（３）日常生理モニタリング情報の包摂
モバイルヘルス(mHealth)・ wearableセンサーによる大量継続生理情報の価値認識

ビッグデータ医学/医療の第２の流れ

Biobankとゲノムコホートの世界的興隆

ビッグデータ医学/医療の２つの流れに起因する

大規模な生命情報DB/KBの出現と利用

バイオバンクの目的・機能の変化–––

従来は ：稀 少疾患組織標本や臨床研究の資料保存のため
最近は ：ビッグデータ時代での変換：ゲノム医療の情報基盤としての役割・世界的に普及
疾患BioBank：ゲノム・オミックス個別化医療／創薬の情報基盤：
•
•
•

–

従来の疾患バイオバンクが個別化医療の概念により変革、個別化医療の情報基盤としての役割
疾患罹患患者の網羅的分子情報とそれに対応する臨床表現型情報の収集。
疾病の個別化分子機序解明や治療戦略構築、予測医学・創薬科学への貢献

Population型BioBank：「集合的遺伝情報」国民医療レベルの向上、予防医学の情報基盤••「健常者」前向きコホート。網羅的分子情報（genome）と環境情報（exposome）収集
長期間（生涯）を追跡するゲノム・コホート
主に遺伝子素因情報も含めた「多因子疾患」の疾患の発症リスク予測、重症化予測• ヒトゲノム解読計画以降急速に進展– Hapmapプロジェクト,1000 genome,がんICGC,TCGA、TopMED– ゲノム変異・多様体• dbSNP, HGMD, Clinvar, Clingen, OMIM,GWAS catalog• 表現型との対応: dbGaP, EGA– 遺伝子発現プロファイル• 疾患特異的transcriptome: GEO, ArrayExpress,• 薬剤特異的trancriptome: c-Map, LINCS

欧米のBiobank–

英国 UK biobank••–

英国 Genomics England,–

欧州 BBMRI（Biobanking and Biomole Research. Infrastructure.)•••

250以上の欧州各国のBioBankを連携する

オランダ Lifeline–

米国 Precision Medicine Initiative, Genome Cohort：“All of Us”コホート•• ３次元構造：PDB, Swiss-Prot,• タンパク質間相互作用：HPRD, STRING, BIND

– 分子ネットワーク、パスウェイ

2013開始、2017年までに 10万人のゲノム 配列収集。全ゲノム次世代シーケンス
最初の対象は稀少疾患（患者・家族）、がん患者、最初はEnglandのみ。企業との協同重視–•– タンパク質

50万人の健常者。40〜69歳（2006-2010, 62Mポンド), 追加調査（2011-16, 25Mポンド）
健診データ（血液・尿・唾液サンプル、生活情報）とゲノム情報（SNPアレイを集め、健康医療状況を追跡する。アイスランド、deCODE社の「国民遺伝子情報データベース」の概念を新たに実現

165000人北部オランダ 2006年開始 30年間の追跡、家系情報・3世代コホートを世界初で実現• KEGG, TRANSFAC, BioCyc, Reactome• 各種バイオバンク症例ベース（制限アクセス）– UK biobank, BMBRI, 東北メディカル・メガバンク• これらの大規模DB/KBを組合せてゲノム医療/創薬を推進

これまでのBiobank（例えばBioVUなど）を集めて100 万人のゲノムを集める

医学/医療へのビッグデータの衝撃
次世代シーケンサの登場

シーケンス革命（2007)

わが国での現状「ゲノム医療元年 (2016)」■「ゲノム医学実現推進協議会」(中間報告）2015.7
研究費を用いた試行的ゲノム医療であるが、いくつかの医療施設でゲノム・オミックス医療が試行されていた●例：がんの網羅的分子診断と個別化治療– 国立がん研究センター（Top-gear、SCRUM-Japan)

コストレスで高精度な網羅的分子情報の出現••

ドライバー遺伝子の診断。分子標的薬の治験グループに割当て
がんのゲノムパネル：来年先進医療（7施設）– 岡大,京大, 北大,千葉大 病院併設型BB

1. ゲノム・オミックス医学/医療の進展– Clinical Sequencingによるゲノム・オミックス医療の臨床実装の急速な進展

2. Biobank/ゲノムコホートの世界的普及– 個別化医療/予防の情報基盤として普及

3. 大規模な生命情報DB/KBの出現– ゲノム・オミックスによるDB/KBの膨大化●予定：2018年度より「がんゲノムパネル」先進医療（7か所）開始■AMED（日本医療研究開発法人）がゲノム医療を推進に予算●IRUD（Initiative on Rare and Undiagnosed Disease)
未診断疾患の原因遺伝子をIRUD拠点病院が審査して解析セン
ターがシーケンシング。その後、DB化する。

●ゲノム医療実現推進プラットフォーム事業●臨床ゲノム情報統合DB事業
ゲノム医療臨床実装では、米国と水を空けられている。しかし、Biobank/Genomic Cohortでは我が国の状況は遅れていはいない。
米国とは異なったBiobank準拠のゲノム医療/創薬を推進するべき82018/2/21

医療の「新しいビッグデータの革命性」〜ゲノム・オミックスデータの基軸的な特徴〜＜目的もデータ特性も従来型と違う＞
属性数 p

従来の医療情報の「ビッグデータ」(n≫p)

ビッグデータ医療の課題

n

医療情報・疫学調査では 属性数：数十項目程度
個体数：近年電子化の流れ⇒個体数：膨大個
体数– 目的：Population （集合的）医学のBig Data
⇒個別を集めて「集合的法則」を見る

網羅的分子情報などのビッグデータ(p≫n)

属性数 p
個

n

１個体のデータ属性数が膨大（SNP4000千万）体数
ただし個体数は大規模biobankでも数十万属性(p)>> 個体数(n) :従来の多変量統計学が無効「新 np 問題」: GWASは単変量解析の羅列– 目的：医療の場合 個別化医療 Personalized Medicine⇒大量データを集めて「個別化パターン」の多様性を摘出

新しいデータ科学の必要性

医療の「ビッグデータ」革命は
どんな既存のパラダイムに変革しているか

課題１対応する非ゲノム病態データの検証的「情報化」– <One size fits for all>の集合的医療はもはや成り立たない– 個別化医療 “Personalized medicine”の概念• 個別化医療実現のために＜個別化・層別化パターン＞がどれだけ有るか
網羅的に調べる：どこまでの粒度で個別化・層別化すればよいか

発症
環境作用

疾患病態経過疾患経過のオントロジー

疾患分子発症進行機序（生体分子ネットワーク）
対応する非分子機序の明確化

環境発症要因 臨床表現型情報

臨床表現型との統合(phenotyping)electronic MEdical Records + GEnomics (NHRI-funded)phase I (2007-2011) EMR-bsedゲノム研究の探求– 全ゲノム配列の普及、多層オミックス情報の収集、分子画像の発展– ビッグデータ化：超多次元相関ネットワーク– 〈網羅的分子情報と臨床表現型情報〉の相関

開始時はGWAS全盛時代。ゲノム医療の臨床実装未着手– 電子カルテより臨床表現型情報抽出 phenotypingルール– 計画開始時参加施設：Mayo, Vanderbilt Univ, Marshfield,
Univ. Washington, Northwestern Univ.など５施設,•

phase II (2011-2015) 臨床実装へ舵を切る• 予防ゲノム医学– MCWの臨床実装のインパクト,Vanderbiltの先制PGｘ– 電子カルテと遺伝情報の統合••••

電子カルテへのゲノム情報の統合
PheKB (Phenotype Knowledge Base)
ゲノム医療の実装、PGxの臨床応用
結果回付 Return of Result, ELSI等– 4つのサイトが新しく加わる••

小児病院グループとMount Sinai, Geisinger

phase III （2015より始まる– NHGRIのコンソーシアムと連携– とくにCSER “Clinical Sequencing Exploratory Research”

課題２生命医療情報のビッグデータ化による• 臨床ゲノム医学– EMR(臨床phenotyping)とbiorepositoryに基づく
GWAS等（EMR-based GWAS）が可能か（LHS）。
•

治療介入効果「革新的(innovative)知識」発見の困難性

臨床表現型データ検証的抽出、「非構造化データ障壁」•

臨床転帰

臨床表現型病態• Clinical research（臨床研究）のパラダイム転換– 臨床研究の基礎：従来の範型RCTは,個別化概念を取扱えない– <EBM: (statistical) evidence based>の呪縛からの解放– 「標本」統計・「推測」統計学に制約されない臨床研究– Real World Data・ビッグリアルワールドデータからの知識生成– Learning Health System: 学習的医療実践

治療的介入

分子進行機序分子機序• Population （集合的）医学からパラダイム転換

PheKB: phenotyping ルール– バイオバンクの大規模化、国際連携によるバーチャル連携– 〈遺伝的素因と環境/生活様式要因〉の相互作用と発症の相関ネットワーク

いずれも超多次元複雑ネットワークの縮約理論

92018/2/21

人工知能 Deep Learning への期待

DLの革命点 Autoencoder• 機械学習のこれまでの限界– 「教師あり学習」• 分類対象の特徴と正解を与え学習機械（AI）を構築• Deep Learningの革命性– 「教師なし学習」

神経情報素子多層ニューロネットワーク• 対象の特徴表現や対象の高次特徴量を自ら学ぶ• 対象に固有な内在的特徴を学ぶ自己符号化の原理• 格段ごとに入力の少ない中間層を入力へ逆投影して復元できるか• 次元を圧縮され可及的に復元する（1000 nodes ⇒100nodes=?⇒1000nodes）→できるだけ復元に効果的な特徴量を探索する→内在的な特徴量を見出す• 最終層で人との対応「教師あり学習」
入力層と同じにする ｖ≑ v’

人が正解を
与えて訓練

従来の
機械学習

デ
ー
タ

v’

人
が
抽
出

中間層 n2(第２層)

v’=Θ(Wth+c) w11 w12 w
13hW’＝W tn1 > n2
w11 w12 w13

Deep
Learning

入力層 n1

デ
ー
タ

この層と
次の高次
層を繋ぐ

h

転置行列
重み共有

v
h=Θ(Wv+c) w
11 w 12 w 13

h=Θ(Wv+c)v

Deep Learningによる「ビッグデータ」のData 縮約原理
問題点

多次元ネットワーク縮約法(Hase, Tanaka 2017)

属性項目数(p)≫サンプル数(n)p: 数億になる場合あり、n: 多くても数万• 医療・創薬ビッグデータへの応用性は高い• 超多次元ネットワーク情報構造の急増

これら膨大な属性変数がすべて独立ならばビッグデータの構造解析は不可能。単変量解析の羅列（GWASのManhattan Plot)しか可能でない

ビッグデータ・スパース仮説– ゲノム医療＜網羅的分子情報－臨床表現型情報＞– ゲノムコホート＜遺伝素因－環境要因(生活習慣)＞
高次特徴

ビッグデータは、多数であるが属性値数より少ない独立成分が基底となって、相互にModificationして構成されている。
「構造」の存在：推定した結果で判明

データ構成性の原理
principle of compositionality

部品的特徴• Deep Learning-based Network Contraction「DLネットワーク縮約法」
超多次元ネットワーク情報構造⇒
少数の特徴的ネットワーク基底に分解• 線形分解ではない。非線形分解で基底への射影– 線形分解（特異値分解：SVD）との比較

構成性の推定（Google猫の例）

ゲノム医療の第2世代成功した臨床実装

1. 希少先天遺伝疾患の原因遺伝子を病院の現場でシーケンサにより同定
2. がんのドライバー遺伝子変異を同定、適切な分子標的薬を処方
3. 患者の薬剤の代謝酵素の多型性を先制的に同定し、副作用を防ぐ

第２世代のゲノム・オミックス医療

しかし

多因子疾患の機序/発症予測は無着手である「単一遺伝的原因」帰着アプローチの限界「行方不明の遺伝力」の主要な原因
複数の疾患関連遺伝子間の相互作用: G x G
環境と遺伝子の相互作用が：G x E

多因子疾患は個人の＜遺伝的体質と環境要因＞の＜相互作用の結果。シーケンスだけでは解明不能
疾患発症の遺伝要因と環境要因の相互作用は加算的 ( G  E )でもなく乗算的 ( G  E ) でもない＜(G,E) 組合せ特異的な効果＞である
例

大腸がんの遺伝要因と環境（生活習慣）要因

60

102018/2/21

大半の疾患の基礎としての「遺伝素因X環境要因」の相互作用

発達プログラム説 DOHaD
Developmental Origin of Health and Disease)• オランダ飢饉

一部の単一遺伝病を除き、大半の疾患（Common diseases)の発症は疾患発症の相対リスク=

遺伝要因(G:genome) X 環境要因(E:exposome)
相互作用は加算的 でもなく乗算的 でもない＜(G,E) 組合せ特異的な効果＞である– 第2次大戦末期、ナチスの封鎖、約半年間酷い飢饉– 飢饉の期間に胎児、戦後30年– 成人期:肥満,糖尿病,心筋梗塞,統合失調– 過度な低栄養：肝臓のPPARα/γ（倹約遺伝子）メ
チル化低下・遺伝子発現がオン– エピジェネティック変化は可変：短期的変化、
長期的「記憶」次の世代も腸内細菌叢microbiome：メタゲノム• 疾患の環境発症要因（exposome）

オランダ
飢饉 (1944)• Baker仮説：英国心筋梗塞増加• エピジェネティク機構

免疫ゲノム• 可変領域や相補性決定領域（特にCDR３）のDNAやRNAを次世代シーケンサ(HTS)で解析– 腸内microbiome：環境要因の最大の１つ• 腸管微生物叢（gut microbiome）– 約1000種類、100兆個、総重量１～1.5kg,「実質的な臓器」– 遺伝子数個人あたり約50万遺伝子、総数：数100万遺伝子• 免疫系、炎症系、粘膜免疫細胞群との相互作用– 食物の難消化性の食物繊維：腸内細菌によって嫌気的に代謝、酪酸などの「短鎖脂肪酸」がエネルギー源となる– 食事・栄養物質による環境要因は、腸内細菌叢の代謝物（短鎖脂肪酸やTMAOなど）から宿主の生体機構に相互作用• レパトア解析– 抗原受容体全体のプロファイルを俯瞰的に把握できる– V(D)Jなどの成分を基軸として3次元表示可能。
– 疾患罹患ともに瞬時に全体像が変化する。
– 網羅的病態全体像を提示する• VDJの使用頻度• 多様性(diversity)の変化• 疾病/加齢レパトア分布変化• 臨床シーケンスに含まれる• ３次元分布の特徴分析（レパトア・ジェネシス社）

メタゲノム
超生物ネットワーク

第2世代のゲノム・オミックス医療

ビッグデータ医療・ＡＩ創薬コンソーシアム• 生涯的全体性においてその個人の疾患可能性の全体性を把握し、個別化予防、個別化治療に取り組む• ゲノム・オミックス情報と医療・健康– Clinical Sequencingのインパクト• 第１世代ゲノム医療– ゲノムの変異・多型性の個別性に基づく• 第２世代のゲノム医療– 多因子疾患が対象、環境情報との相互作用– エピゲノム、メタゲノム・免疫ゲノムなど

疾患メタ・オミックス修飾

2018.2.23-25, Harvard/MIT/TMDU‐Datathon

11

2018/2/21

ご清聴ありがとうございました

12Invited Talks

Invited Talk #1
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

高時間分解 CMOS イメージセンサや小型複眼カメラを用いた生体イメージング
Biomedical imaging based on time-resolving CMOS
image sensors and compact compound-eye cameras
香川景一郎 1)
Keiichiro Kagawa 1)1) 静岡大学 電子工学研究所
1) Research Institute of Electronics, Shizuoka University,
SHIZUOKA, JAPAN

Abstract:
Time-resolved imaging provides rich information in biomedical
imaging, where laser pulses with a few to tens of pico-second

width excite tissues repeatedly and their temporal responses aremeasured. Conventionally, time-correlated single photon
counting[1], gated CCD with scanning the delay of excitation light,
and streak camera to observe a linear region are utilized. On theother hand, recent progress in time-resolving CMOS image
sensors for time-of-flight depth acquisition and fluorescence
lifetime imaging enables to realize scanningless wide-fieldtime-resolved biomedical imaging cameras.
There are two types of time-resolving CMOS image sensors
based on single photon avalanche diode[2] and charge modulation
pixels[3, 4]. Lateral electric field charge modulator (LEFM)[5, 6]
has
openedthepico-second
regimeultra-high-speed
computational imaging in a range of a few nano seconds or shorter,
whose charge handling speed is close to the limitation of chargetransfer speed in silicon. The charge modulation pixels are freefrom the drawbacks of TCSPC such as quite a few digitalelements for creating histograms and pile-up causing higher costand limited photon rate (namely, longer measurement time),
respectively. Furthermore, they are compatible with emerging
efficient computational methods with coded shutters[7]. In thispresentation, measurement of photon migration in tissues with
our time-resolving CMOS image sensors is discussed.
The second topic is the biomedical imaging technique based on
sinusoidal or rectangular pattern projection, which provide afunction to control the observation depth, have beendeveloped[8,9]. For accurate estimation of biochromophore
concentrations with a multi-layer model and observation of
dynamics of metabolism, real-time multi-spectral imaging isnecessary[10]. In this report, we propose a compact multi-spectral
compoud-eye camera with a fixed structured light projector forpre-clinical applications. A compact compound-eye camera
TOMBO, or thin observation module by bound optics, is thesmallest multi-camera system, which is composed of a single
image sensor, a cross-talk barrier, and a lens array[10]. Each lenscan be equipped with a variety of optical filters such as band-passfilters, polarizers, and so on to implement a small functional
camera. A multi-spectral camera based on TOMBO has beenreported[11]. A prototype of a small tissue imaging camera basedon TOMBO and a fixed pattern projector is being developed.

[1] W. Becker, Advanced time-correlated single photon counting
techniques, Springer (2005).
[2] J. Pavia et al., IEEE J. Solid-State Circuits 50 (2015) 2406.
[3] A. Esposito et al., Optics Express 13 (2005) 9812.
[4] A. Payne et al., ISSCC Dig. Tech. Papers (2014) 134.
[5] S. Kawahito et al., Proc. Image Sensor Workshop (2013) 1417.
[6] M. -W. Seo et al., ISSCC Dig. Tech. Papers (2015) 189.
[7] F. Mochizuki et al., ISSCC Dig. Tech. Papers (2015) 116.I. Brodie and
P. R. Schwoebel, Proc. IEEE 82 (1994) 1006.
[8] D. Cuccia et al.: J. Biomed. Opt. 14 (2009) 024012.
[9] M. Ghijsen et al.: Biomed. Opt. Exp. 7 (2016) 870.
[10] J. Tanida et al.: Appl. Opt. 40 (2001) 1806.
[11] J. Tanida et al.: Opt. Exp. 11 (2003) 2109.

小型・多機能生体イメージングカメラ【複眼カメラTOMBO】
偏光子・ 小型・多機能（クロスニコル）【正弦波パターン投影】2.4mm
・ 観察深さ制御
・ 吸収係数・減衰散乱係数分布【マルチスペクトル画像】
・ 色素濃度分布（酸素化／脱酸素化ヘモグロビン，
脂質，水）・ 表層の厚み
広帯域光源【レーザスペックルコントラスト法】（450‐1000nm,
・ 血液の流速785nm LD)

~150mm~100mm正弦波マスク
拡散板

Invited Talk #2
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

カメラを用いた非接触生体計測と医用応用
Non-Contact Video-based Measurement of Biological
Information for Medical Applications
福西 宗憲 1)
Munenori Fukunishi 1)1) 千葉大学 大学院 融合科学研究科
1) Graduate School of Advanced Integration Science,
Chiba University, CHIBA, JAPAN

Abstract:
In this talk, I introduce an accurate remote observation of theheart rate (HR) and heart rate variability spectrogram (HRVS)
using hemoglobin information which is extracted from RGB
image. Non-contact HR and HRVS measurement are getting
active research area since these have great potential for
health-care applications, medical diagnosis, and affective

computing. Many remote measurements for HR and HRVS havebeen proposed recently. However, these techniques are notsufficiently robust to be incorporated in practical use. Regarding
the situation, therefore, I propose a remote measurement of HR
and HRVS using extracted hemoglobin information from RGB
images based on a skin optics model. I performed experiments tomeasure subjects at rest and under cognitive stress with theproposed method to evaluate the principal of the framework
under stable environment. From the results of the experiments,
the proposed method showed high correlation with theelectrocardiograph (ECG) which is assumed as the ground truth.
We also evaluated the proposed method in simulation changing
the condition of illumination during the HR observation. The
proposed method eliminates the shading component through theprocess of the extraction of hemoglobin component. Therefore, I
confirmed that the proposed method can obtain accurate
measurements of HR and HRVS comparing with extisting otherprior arts robustly against illumination change.
I also propose two potential medical applications using theframework which utilize hemoglobin information.
As first application, I evaluated remote detection of pulse
transit time (PTT). It is known that PTT has inverse proportional
relation with blood pressure. I estimated PTT by using temporalfluctuation of hemoglobin information and confirmed that thePTT has high correlation with the blood pressure measurementwith sphygmomanometer cuff, whose R, correlation coefficient,
was between -0.5792 to -0.7801.
As the second application, I also proposed a video magnification
method based on separation of the chromophore component as
another novel medical application. I confirmed that the proposed
method can amplify subtle color fluctuation and it is helpful tovisualize distribution of blood flow.
Through the above experiments, I confirmed that the detailskin model is effective for the pulse detection. The framework has
much potential for medical applications.

非接触 心拍計測技術の分類

第５回デジタル生体医用画像の「色」シンポジウム
⽣体イメージングの⾰新とその実地・臨床応⽤

アクティブ法
2.マイクロ波・
ミリ波を用いる手法

1.電磁波による手法

3.レーザスペックル

カメラを用いた非接触生体計測と医用応用
Non-Contact Video-based Measurementof Biological Information for Medical Applications

原理①静脈位置の輝度変化②反射光の位置ずれ

原理: ドップラーレーダー

脈波の動きを検出

パッシブ法

計測できるのは心拍数のみ

4. カメラ画像の解析手法(本論⽂の対象技術)

心拍検出

心拍変動計測(心拍ゆらぎ)2018年2月15日

簡易的な光反射モデルによる計測ロバスト化

千葉⼤学⼤学院 融合科学研究科
福⻄ 宗憲

未だ研究段階（実用化へロバスト化必要）

2018/2/4

研究背景

4

研究目的

医療費抑制に向けて様々な施策・サービスが試⾏されている

１．非接触 心拍計測技術において、生体光学モデルを用いることによって①心拍・心拍変動 計測精度の向上②計測環境変動へのロバスト化に貢献すること。

連携

事例：地域包括ケアシステム（世⽥⾕区, ⻑岡市,他）

事例：石巻市

遠隔医療診断２． 生体光学モデルに基づく非接触生体計測技術の医用アプリケーションを提案すること。

在宅医療・在宅介護

2.1 ⾎圧推定に向けた非接触脈波伝播速度計測技術
モバイル ヘルスケア

グルコースモニタ

アップル社

アボット社

https://www.apple.com/jp/healthcare/

2.2 新規医用アプリケーション提案(下層⾎管配⾏の推定技術)

http://www.abbott.co.jp/media-center/pressreleases/09-04-2017.html

健康の⾃⼰管理2018/2/4

2

バイタルサイン2018/2/4

5

目次

バイタルサイン: 基本的な身体機能を表す. 健康管理の基本.
体温36.5℃±0.5℃

呼吸数

心拍数

血圧

12~15 bpm

60~85 bpm

120~129/80~84mmHg

１

背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術
Chromophore Component Separation

体温計

呼吸計測用バンド

心電図

脈波計

非接触心拍 ４
計測技術

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

血圧計

ECG：Electrocardiograph

基本的に、接触式で計測されているVideo Based Estimation of Pulse Transit Time

遠隔医療・在宅介護・健康の⾃⼰管理 など⾏うためには、「日常的, 連続的, 遠隔対応, 自動的な計測法」が望ましいが、接触式は不便である.

医用応用

６

3

2018/2/4

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

７

非接触式バイタル計測を検討する. 特に一般的な心拍計測から検討.
2018/2/4

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability Spectrogram

結論

Conclusion and Discussion

6

1

目次
背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術

Hemoglobin

Chromophore Component Separation

非接触心拍 ４
計測技術

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability Spectrogram

MelaninVideo Based Estimation of Pulse Transit Time６

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

７

結論

Shading

Conclusion and Discussion

ヘモグロビン成分は脈波に相当する周期変動が認められる

2018/2/4

7

2018/2/4

10

処理フロー 心拍検出,心拍変動スペクロトグラム

肌の色素成分分離技術

Step 1 各フレーム成分分離

肌の⾊素成分分離技術 (津村ら, 2003）

ヘモグロビン- v Blog

1,1,1்

肌色ベクトル
v log

メラニン
ベクトル

陰影成分

肌色平面

σm

σh

- v Gloge log

 独⽴成分分析により、

ヘモグロビンベクトル- v Rlog
バイアスベクトル

10.9
ピーク 0.8
間隔 0.7
0.6
0.5

61000
60800
60600
60400
60200

0
0

5

10

時間 [Sec]

15

50
-50
-150
0

5

10

時間 [Sec]

15

20

ヘモグロビン

メラニン

陰影

1.5
1
0.5
0
-0.5
-1
-1.5

8

0.8

0.4

0

2018/2/4

１

背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術

0.5m

5

10

時間 [Sec]

15

20

時間 [Sec]60

心拍変動ｽﾍﾟｸﾄﾛｸﾞﾗﾑ取得

11

非接触心拍 ４
計測技術

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

偏光板
ECG（正解データ用）

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability Spectrogram

被験者：
20代男子学生×4名
1回目：安静状態
2回目：ストレス状態(暗算)Video Based Estimation of Pulse Transit Time

６

RGBチャンネル
提案法, ICA(RGB)[1], rPPG[2]
RGBCOチャンネル
ICA(RGBCO)[1]
撮影時間：120秒（30枚/秒)

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

７

人工太陽灯
５バンドカメラ（RGBCO）
５バンドカメラ
3.0m

Chromophore Component Separation

2018/2/4

0.6

評価環境・評価条件

目次

医用応用

0.4

Frequency [Hz]0.002018/2/4

0.2(2) 1秒毎に繰返し解析
Freq.[Hz]正規化値

平⾯のベクトル量からヘモグロビン成分を推定

20

0.020
0.015
0.010
0.005
0.000

0

Step 3 バンドパスフィルタ
Step 4 ピーク検出 ⇒ 心拍検出
 肌ベクトル(RGB値)肌平面へ投影

1015Time [Sec]Step 6 ピーク間隔の周波数解析(1) 60秒ｳｲﾝﾄﾞｳで周波数解析

150

メラニン、ヘモグロビンベクトルを定義

520

Step 2 トレンド除去・正規化
正規化値

肌色平面を定義.

Step 5 ピーク間隔波形形成（へモグロビン成分抽出）

肌画像(RGB画像)から ヘモグロビン, メラニン, 陰影 成分へ分離 肌のRGB値を対数空間へプロット

Time [s]Amplitude

医用応用Time [s]Normalized
Unit

Input Image

Time [s]Normalized
Unit

１

Normalized
Unit

メラニン・ヘモグロビン・陰影成分の時間変化

結論①提案手法とECG(接触式正解）との結果比較②提案手法と従来手法（ICAベース、rPPG）との比較

Conclusion and Discussion[1] McDuff, D., Gontarek, S. & Picard, R. W., "Improvements in Remote Cardio-Pulmonary Measurement
Using a Five Band Digital Camera." IEEE Transactions on Biomedical Engineering, (2014)[2] G. De Haan, V. Jeanne. "Robust pulse rate from chrominance-based rPPG," (2013).
9

2018/2/4

12

2

評価3 照明変動に対するロバスト性評価（ｼﾐｭﾚｰｼｮﾝ）

評価１ 心拍検出結果(a) Relax

心拍数
[bpm]
*beat
per
Minute

計測精度[%](b) Cognitive StressSubject#1

Subject#2

Subject Subject Subject
#3
#4
#1

ECG※正解

83.63

64.40

60.78

72.75

ICA (RGB)

83.28

63.81

61.16

73.02

ICA
(RGBCO)

83.43

63.85

61.04

rPPG

83.58

63.85

61.17

Proposed

83.50

63.87

ICA (RGB)

99.58

ICA
(RGBCO)

99.76

rPPG
Proposed

⼊⼒動画へ時間的な照明変動を付加して、⼼拍検出処理を⽐較評価

Subject#2

Subject#3

Subject
#4

84.61

71.82

60.97

72.19

84.26

71.23

61.39

72.02

72.99

84.38

72.10

61.31

72.10

77.92

84.01

71.30

61.39

72.08

60.08

72.81

84.74

72.06

61.30

72.15

99.08

99.37

99.63

99.59

99.18

99.31

99.76

99.15

99.57

99.67

99.73

99.61

99.44

99.88

99.94

99.15

99.36

92.89

99.29

99.28

99.31

99.85

99.84

99.18

98.85

99.92

99.85

99.67

99.46

99.94

各⼿法とも⼼拍数の検出精度は99%を超えており、⼼拍数での差異は少ない
2018/2/4

13

時刻

⼊⼒フレームヘモグロビン成分

メラニン成分陰影成分ｎ2018/2/4

16

評価3 照明変動に対するロバスト性評価（ｼﾐｭﾚｰｼｮﾝ）

詳細解析:心拍変動波形データ

ICA (RGBCO)
心拍
変動
[Sec]

ピーク平均誤差 0.0240 [sec]標準偏差 0.0191 [sec]

時間 [Sec]

照明変動あり照明変動なし照明変動あり照明変動なし照明変動ありrPPG

時間 [Sec]

ピーク平均誤差 0.1590 [sec]標準偏差 0.2991 [sec]

心拍
変動
[Sec]

提案法
ピーク平均誤差 0.0084 [sec]標準偏差 0.0162 [sec]

時間 [Sec]

時間 [Sec]

心拍変動波形では、
提案法は、ECG(正解）との⼀致度が⾼く、優位性が顕著
2018/2/4

14

評価２ 心拍変動スペクトル検出結果
ICA(RGB)[1]⾊素成分分離《提案法》

リラックス ECG

《正解》

0.0
60 0

時間 [Sec]

60

0

時間 [Sec]

60 0

時間 [Sec]

ECG(正解)との⼀致度は⾼いICA
⾊素成分分離ECG(RGB)[1]
《正解》
《提案法》

ストレス

60

時間 [Sec]

0

ICA(RGBCO)[1]60

⽪膚の成分分離モデルに基づく非接触⼼拍計測技術を提案した。
評価実験を通じて、(1) 心拍計測では、99.18%以上の検出精度を確認した。

時間 [Sec](2) 心拍変動解析では、心拍ピーク誤差は0.0177秒であり、他の従来手法(ICA 0.0267秒)より優れていることを確認した。
(3) シミュレーション動画を用いた評価を通じて、提案法は従来手法に比べて、照明変動に対してロバストであることを確認した。

rPPG [2]

0.4

周波数
[Hz]
0.0

0

60 0

時間 [Sec]

60

0

時間 [Sec]

60 0

時間 [Sec]

17

まとめrPPG [2]

周波数
[Hz]
0

2018/2/4

提案法は照明変動あり/なしに関わらず波形が一致（陰影成分を除去しているので照明変動に対してロバスト）

４章 まとめICA(RGBCO)[1]

0.4

60

時間 [Sec]

060

時間 [Sec]

ECG(正解)との⼀致度は⾼い[1] McDuff, D., Gontarek, S. & Picard, R. W., "Improvements in Remote Cardio-Pulmonary Measurement
Using a Five Band Digital Camera." IEEE Transactions on Biomedical Engineering, (2014)[2] G. De Haan, V. Jeanne. "Robust pulse rate from chrominance-based rPPG," (2013).
2018/2/4

照明変動なし15

今後の課題
更なるロバスト性評価- 被写体動き、- 様々な照明変動（照明方向,スペクトル変動）- 異なる⼈種（肌タイプ）
2018/2/4

18

3

目次
背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術

Hemoglobin

Chromophore Component Separation

非接触心拍 ４
計測技術

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability Spectrogram

MelaninVideo Based Estimation of Pulse Transit Time

医用応用

６

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

７

結論Time [s]Normalized
Unit

Input Image

Time [s]Normalized
Unit

１

Normalized
Unit

メラニン・ヘモグロビン・陰影成分の時間変化

Shading

Conclusion and Discussion

Time [s]ヘモグロビン成分は脈波に相当する周期変動が認められる

2018/2/419

血圧と脈波伝播時間

2018/2/4

22

評価環境
Step1 動画撮影

メーンズ・コルテベークの式（式変換後）

640pixels

CameraGrasshopper3, 380fps

血管弾性
脈波伝播速度 血圧ଶ   ଶ 
Δ
2
血液密度

480
pixels0.6m

脈波伝播時間脈波伝播時間Δ 脈波伝播時間

1m

Input Image

血圧
時間



Artificial Solar Light×2

70x70
pixelsExperimental Setup

血圧120x120
pixelsStep2 血圧計を用いた正解用血圧計測

時間

脈波伝播速度   /Δ

ROIs for Hemoglobin

脈波伝播時間を計測することで血圧推定可能
2018/2/4

20

メーンズ・コルテベークの式（式変換後）
血管弾性


 血圧
()ଶ = ( )ଶ =
2
Δ
血液密度

脈波伝播時間先行研究② 血圧と脈波伝播速度の関係

2018/2/4

55

Corr. =0.788

Correlation Coef.
：-0.6050

25
95
145
90
135
Systolic Pressure[mmHg] Systolic Pressure[mmHg]

30

60

60

Corr.= 0.501

Kato (2012)
180 Corr. = 0.782

90
180

Corr.= 0.815

Correlation Coef.
：-0.6873

Correlation Coef.
：-0.6148

1080 Mean Arterial 110

90
15 Pulse Wave 40

9015
Pulse Wave 40

Velocity [m2/s2]

Velocity [m2/s2]

21

Subject 3 (male, 22y/o)
55

Pulse Transit
Time [ms]Maximum
Blood
Pressure
Maximum
Blood
Pressure

Blood Volume Pulse Sensor(mat – type device)

90
180

Subject 2 (female, 24y/o)

6010

接触式計測を用いて“脈波伝播速度”と血圧の関係を調査
180

Subject 1 (female, 24y/o)

Pulse Transit
Time [ms]脈波伝播速度Physiological
Information Monitor

23

評価結果

血圧と脈波伝播時間

Subject

2018/2/4

Pressure[mmHg]
2018/2/4

60

Correlation Coef.
：-0.7801

1070 Mean Arterial

145
110
Systolic Pressure[mmHg]

10105

Pressure[mmHg]

Correlation Coef.
：-0.7546

Correlation Coef.
：-0.5792

75 Mean Arterial

105

Pressure[mmHg]
24

4

６章 まとめ

先行研究

まとめ

Eulerian Video Magnification：EVM[G. Balakrishnan, et al., 2013]

画素レベルの追跡処理を⾏うことなく、微⼩変動を強調する技術

非接触脈波伝播速度計測技術ならびに⾎圧推定技術を提案.
血圧(正解)と非接触脈波伝播速度(提案法)との相関値-0.5792 to -0.7801を確認し、接触式と遜色ない計測結果を確認。

微小変動強調動画

⼊⼒動画

呼吸

今後の課題
EVM

今回の評価では、脈波伝播速度計測と⾎圧正解値の間に計測時間差があり、評価の誤差要因となっている。
連続⾎圧計を⽤いるなど、評価を改良する余地がある。

動き強調《課題》時間差あり

⼊⼒動画

脈波

EVM

血圧計測(正解用)

動画計測 15[sec](脈波伝播速度計測）)

微小変動強調動画

色変動強調

運動

2018/2/4

25

目次

2018/2/4

28

本研究の目的Video Magnificationのフレームワークは医用応用可能では？
１

背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術

内視鏡⼿術は、低侵襲であり、⼀般的な治療⽅法になっている。

Chromophore Component Separation

非接触心拍 ４
計測技術

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

Endoscope

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability Spectrogram

Laparoscope

課題：突発的な出血
医師は、下層の血管の有無を視認することは困難

Video Based Estimation of Pulse Transit Time

医用応用

６

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

７

結論

研究目的
EVMを用いて、下層血管の存在有無を知る手がかりを得ること

Conclusion and Discussion

2018/2/4

26

2018/2/4

29

Eulerian Video Magnification 法

研究背景

Eulerian Video Magnification：EVM

動画解析を通じた、
視認困難な微小変動の検出・解析技術が発展している。

⼊⼒動画[G. Balakrishnan, et al., 2013]

微小変動強調動画

呼吸検出
EVM
位置変動
時刻

脈波計測

・患者の⾒守り

顔色変化(脈波成分）

色
時刻・ヘルスケア・情動解析

照明光変動（フリッカなど）
pixel
value

+

time

局所的な動き(脈波起因)
強調される

微小変動解析技術は様々なアプリケーションへ応用可能
2018/2/4

全体的な体の動き

解決課題: アーチファクトを抑制しつつ脈波成分だけを強調
27

2018/2/430

5Eulerian Video Magnification 法

領域毎の⾊素成分の振る舞い

Eulerian Video Magnification：EVM[G. Balakrishnan, et al., 2013]

空間的な低周波(ぼけ)動画

時間的なバンドパスフィルタ

⼊⼒動画

Magnitude

×α
gain
ヘモグロビン成分

Time Frequency

Frame No.

肌領域では、ヘモグロビン成分に周期変動を認める

Σ
微小変動強調動画

Frame No.

ヘモグロビン成分

⾆裏領域では、ヘモグロビン成分に周期変動を認めない
2018/2/4

31

ヘモグロビン成分を用いたVideo Magnification法

2018/2/434

医⽤画像向け成分分離【仮説】 粘膜層の色素成分は、ヘモグロビン成分と非ヘモグロビン成分で構成される。

ヘモグロビン

EVM

 医用画像をヘモグロビン, 非ヘモグロビン, 陰影 成分へ分離
 舌色平面を定義し、独⽴成分分析により第１成分ベクトル、第２成分ベクトルを定義

×100

⼊⼒動画
メラニン

- v Blog

微小変動
強調動画

変化なし

v log 舌色ベクトル

第１成分
ベクトル
σm

陰影

舌色平面
σh

- v Glog

第２成分ベクトル
e log バイアスベクトル- v Rlog

変化なし

医用画像( ⾆裏 )2018/2/432

顔動画における⾎流可視化
従来法 EVM(×100)

第１ベクトル成分 第２ベクトル成分

陰影成分

2018/2/435

⾊素成分分離を⽤いたVideo Magnification 法
提案手法

Case1: 第１ベクトル成分強調(×100)[G. Balakrishnan, et al., 2013]

EVM
×200

第１ベクトル成分

変化なし
⼊⼒動画

微小変動
強調動画

第２ベクトル成分
変化なし

陰影成分を除去しヘモグロビン成分だけを強調することで、
アーチファクトを抑制しつつ脈波起因の色変化だけを強調。
2018/2/4

陰影成分
33

2018/2/4366

⾊素成分分離を⽤いたVideo Magnification 法

脈波強度分布

Case2: 第２ベクトル成分の強調

強調動画
変化なし

×200

⼊⼒動画

Component

微小変動
強調動画

EVM

Component

第１ベクトル成分

0Time [s]

10000

FFT

第２ベクトル成分

10

0

0

10

FFT

10000

Width : 0.4Hz

Width: 0.4Hz

5000

変化なし

Time [s]

5000

0

5

陰影成分

10
Frequency [Hz]

15

0

0

5

10
Frequency [Hz]15脈波周期変動の周波数パワーを⽤いて脈波強度分布を可視化できる
2018/2/4

37

Video Magnification結果比較
⼊⼒動画

2018/2/4

40

７章 まとめ

従来法

まとめ
⾊素成分分離技術に基づくvideo magnification法を提案した。
顔動画において、提案手法の有効性を確認。
⾆裏動画を⽤いて医⽤向け応⽤の検証実験実施。
脈波強調効果を確認。

提案法(第２成分)

提案法(第１成分)

脈波強度分布の可視化法を提案した.
今後の課題
微⼩変動強調効果の定量的な評価⽅法を考える必要あり。
科学的なエビデンスが必要。

従来法は陰影変化に伴うアーチファクトが認められる提案法(第１成分) 血管領域に周期変動が認められる
2018/2/438

脈波強度分布2018/2/4

41

目次

⼊⼒動画

色素成分分離１

背景と論⽂構成

Introduction

２

先⾏研究

Related Works３

⾊素成分分離技術

Component

Component

Chromophore Component Separation

第１ベクトル
成分

0Time [s]

10000

FFT

10

0

Width : 0.4Hz

02018/2/4

非接触心拍・心拍変動計測

５

非接触 脈波伝播速度計測

10

医用応用

Width: 0.4Hz

６10Frequency [Hz]

15

0

0

5

10
Frequency [Hz]

７

15

39

2018/2/4

生体動画向けVideo Magnification法
Video Magnification for Biomedical Dynamic Image
from Chromophore Component

5000

5

Non-Contact Video Based Estimation of Heart Rateand Heart Rate Variability SpectrogramVideo Based Estimation of Pulse Transit Time

FFT

10000

5000
0

Time [s]非接触心拍 ４
計測技術

結論

Conclusion and Discussion

42

7

まとめ①
⽪膚の成分分離モデルに基づく非接触⼼拍計測技術を提案した。
(1) 心拍計測では、99.18%以上の検出精度を確認した。
(2) 心拍変動解析では、心拍ピーク誤差は0.0177秒であり、他の従来手法(ICA 0.0267秒)より優れていることを確認した。
(3) シミュレーション動画を用いた評価を通じて、提案法は、成分分離課程で陰影成分を除去するので、照明変動に対してロバストであることを確認した。
メラニン
ヘモグロビン
陰影

2018/2/443まとめ②非接触脈波伝播速度計測技術ならびに⾎圧推定技術を提案.
血圧(正解)と非接触脈波伝播速度(提案法)との相関値-0.5792 to -0.7801を確認し、接触式と遜色ない計測結果を確認した。

Pulse Transit
Time [ms]60

10Correlation Coef.
：-0.6148

80 Mean Arterial 110
Pressure[mmHg]

60

Correlation Coef.
：-0.7801

1070 Mean Arterial

105

Pressure[mmHg]

60

10Correlation Coef.
：-0.5792

75 Mean Arterial

105

Pressure[mmHg]

2018/2/4

44

まとめ③
⾊素成分分離技術に基づくvideo magnification法を提案した。
・肌の⾊素成分分離⼿法で抽出したヘモグロビン成分のみ強調。
アーチファクトを抑制しつつ脈波を強調できることを確認した。

・⾆裏動画を⽤いて医⽤向け応⽤の検証実験実施。
脈波強調効果を確認。

・⾊素成分の周期変動を⽤いた脈波強度分布の可視化法を提案した.

2018/2/4

45

8

Poster #3
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

血管コンプライアンスの非接触計測
Contactless Measurement of Vascular Compliance中野和也 1)
Kazuya Nakano 1)
1) 千葉大学フロンティア医工学センター
1) Center for Frontier Medical Engineering, Chiba University,
CHIBA, JAPAN

Abstract:
Recently, vascular compliance has been attracted as anevaluation index for disease prevention regarding circulatory
conditions. In addition, there are both venous and arterial
compliance. Firstly, venous compliance (VC) is the ability of ablood vessel to stretch, which relates to various factors, such as
blood vessel disease. In general, VC is associated with venous
thromboembolism. Moreover, it also depends on physical activity,
age, and gender. Next, in arterial compliance, pulse wave velocity(PWV) has been used in clinical diagnosis for an evaluation ofarteriosclerosis. Pulse waves propagate from the heart toperipheral tissues and their speed is higher in a hardened arterythan in a healthy one. PWV can be determined by dividing lengthof the arterial by the pulse transit time (PTT) that can be obtained
from the time difference between two consecutive pulse waves.
However, these compliances have been measured using contact
sensors. As the conventional method for measuring VC, strain
gauge plethysmography (SPG) has been used. In SPG, thevolumetric change in a limb that caused by cuff pressure ismeasured by a mercury-filled rubber strain gauge attached to thelimb. On the other hand, PWV is measured using two sensors,
such as electrocardiogram (ECG), photoplethysmography (PPG),
and a pressure cuff. These abovementioned measurement require
sensors to be attached to the body. In contrast, digital color
camera-based measurement of vascular compliance has been
proposed. In this talk, I will mainly introduce the contactless
setup and the estimation method of vascular compliance from
RGB values

18/02/07

2

5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications” 2.15.2018

血管コンプライアンスの非接触計測
CONTACTLESS MEASUREMENT OFVASCULAR COMPLIANCE
中野 和也
千葉大学フロンティア医工学センター
Kazuya Nakano
Center for Frontier Medical Engineering, Chiba Univ., Japan概要
血管及びその硬化に関する一般的な話をさせて頂いた
後に，血管の硬さに関する指標である「血管コンプライア
ンス」の計測手法についてお話させて頂く

1. 血管に関するお話
2. 静脈コンプライアンスの評価について
3. 動脈コンプライアンスの評価について

3

4

循環系についてl 動脈（心臓 → 組織）の特徴

1. 血管に関するお話

ü 全身の組織に酸素，栄養を送るü 心臓から高い圧力により血液を全身に送る
ü 弾性血管と呼ばれる循環系及び血管に関する一般的なお話をさせて頂く．
またここでは，血管の硬化及びその評価指標の1つである血管コンプライアンスについても述べる

l 静脈（組織 → 心臓）の特徴
ü 筋ポンプ作用により血液を心臓に送る
ü 容量血管と呼ばれ，伸展性は動脈の8倍ü 大量の余分な血液を貯蔵する（貯蔵機能）
ü 静脈系は全身の血液の70%程度を貯蔵

56

血管構造（断面図）
動脈 (Artery)

静脈（Vein）
外膜

中膜
平滑筋
内膜

2. 静脈コンプライアンスの評価について
静脈は容量血管と呼ばれ伸展性に富んでいる．ここでは，その伸展性を計測及び評価する手法についてお話させて頂く．

内皮細胞
l 動脈の内径は小さく，血管壁（中膜の平滑筋）は厚い
l 静脈の内径は大きく，血管壁（中膜の平滑筋）は薄い
l 中膜の平滑筋は自律神経の支配を受ける
l 静脈には逆流を防ぐ静脈弁が存在する

1

18/02/07

7

ストレインゲージプレチスモグラフィ
SPG: strain-gauge plethysmography8

静脈コンプライアンスの評価プロトコル（1/2）
Halliwillのグループのプロトコル*1① 体肢をカフにより60 mmHgで8分間加圧（静脈の閉塞）

ラバーストレンゲージ② 1分間で漸近的に0 mmHgまで1mmHg/sで減圧（静脈の開放）
圧力カフ③ ②の間にSPGにより各圧に対する腕の容積変化を求める

ストレインゲージ
圧力カフ
ストレインゲージ

カフ

プレチスモグラフィ(EC6, Hokanson)l 体肢にストレンゲージを巻き, 静脈閉塞時の体肢容積（血液量）変化を記録
l ストレインゲージ内は水銀で満たされており，電流が流れているl 体肢の容積変化とゲージ内の抵抗値は比例関係にある

カフ圧の時間制御*3

減圧時における静脈血圧とカフ圧の関係*3*1 J.R. Halliwill, C.T. Minton, M.J. Joyner, Measurement of limb venous compliance in humans: technicalconsiderations and physiological findings. J. Appl. Physiol. 87(1999), 1555 (1985)910静脈コンプライアンスの評価プロトコル（2/2）

SPGの問題点④ 計測した圧-体肢容積のデータを二次回帰式に当てはめる

問題点

BV = β0 + β1P + β2 P 2

ü 非侵襲な計測ではあるが，体動の影響を受けやすいü 測定可能な部位が限定的である（四肢や指など）
ü １点計測であるため、広範囲な計測ができないü ストレインゲージの劣化が与える影響
ü 被験者ごとに適切なサイズのゲージの選択が必要

P：カフによる圧力（≒静脈血圧）
V：容積変化（≒血液の変化量）

β0 , β1, β2 ：回帰係数⑤ 求めた二次回帰式Vを圧力Pで微分し各圧力に対するVCを示した式を求める

VC ＝ ΔBV / ΔP

VC = dBV / dP = β1 + 2 β2 Pl このような問題に対して，RGBカメラを用いて，ヘモグロビ
ン濃度変化に基づいた非接触型計測を提案
l 本研究では，NCPG (Non-contact plethysmography) と呼ぶことにする

11

NCPG (Non-contact plethysmography)

12

RGB値から血液濃度の推定方法
R, G, B
Color transfromation
N1 (R,G,B → X,Y,Z)

X, Y, Z
Estimation of skin
chromophore concentration
N2 (X,Y,Z → Cm, Cob, Cdb)
! 1 $
! C $
#
&
# m &
X &
# Cob & = N 2 #
# Y &
#
&
#
&
#" Cdb &%" Z %Cm , Cob , Cdb
Estimated blood volume

Ctb (= Cob + Cdb )First transformation
matrix
! X $
! R $
#
&
#
&
# Y & = N1 # G &
# Z &
# B &
"
%
"
%

Cm, j , Cob, j , Cdb, j
INPUTMonte Carlo simulation oflight transport in skintissueOUTPUT
Reflectance

Response variables
Second transformation matrix（Multiple regression analysis）

Cm = a0 + a1 X + a2Y + a3 Z
Cob = b0 + b1 X + b2Y + b3 Z
Cdb = c0 + c1 X + c2Y + c3 Z

Predictor variables

Preprocessing

Oj (λ )

WavelengthλReflectance O(λ) → X,Y, Z! N$# k ∑ E ( λ ) ⋅ x ( λ ) ⋅ Oi ( λ ) &&! X $ # i=1&# i & # N
# Yi & = # k ∑ E ( λ ) ⋅ y ( λ ) ⋅ Oi ( λ ) &,&#& # i=1&#" Zi &% # N# k∑ E (λ ) ⋅ z (λ ) ⋅ O (λ ) &i#" i=1&%N

k = 100 ∑ E ( λ ) ⋅ y ( λ ),i=12

18/02/071413静脈コンプライアンスの画像化手順

SPGとNCPGとの違い (1/2)
毛細血管

細胞間隙 (6 ~ 7 nm)
血管壁
毛細血管径
（4 ~ 9 µm）

血圧

間質液

膠質浸透圧

毛細血管（網）赤血球（7 ~ 8 µm）細胞
動脈側 血圧 > 膠質浸透圧

静脈側 血圧 < 膠質浸透圧

血漿

15

16

SPGとNCPGとの違い (2/2)

実験条件

カフにより静脈のみ閉塞

RGBカメラストレインゲージ
圧力カフ
ストレインゲージ

静脈内の血圧上昇及び血管の拡張
細胞間隙を通して血漿が血管（静脈）外に漏出

カフ

プレチスモグラフィ(EC6,
Hokanson)

ストレインレインゲージ

l SPGは静脈の拡張と血漿を評価
l NCPGは，ヘモグロビン（赤血球）による静脈の拡張のみ評価
システム

評価

血漿の漏出の影響

SPG

四肢の容積変化受ける

NCPG

ヘモグロビン色素量

受けない

SPG

NCPG

計測部位：上腕サンプリング周波数：5 (Hz)
全データ数：3300
撮像領域：手の甲 画像サイズ：640×480 pixels）
光源：白色光源 (メタルハライドランプ)
フレームレート：1 fps (frame per second)
全フレーム数：660
被験者：血管疾患の病歴がない男性11名（24 ± 4 歳）

17

画像化した静脈コンプライアンス (VC)18

計測した静脈コンプライアンスの比較

VCは静脈内で血圧変化（ΔP）が生じた場合にどのくらい血液量（ΔBV）が変化し，血管が拡張するかを示したもの

SPGで計測した静脈コンプライアンス

静脈血圧

静脈コンプライアンス（VC）

静脈血圧が低い（例 0mmHg）

血管が血液を貯める余裕がある
VC（=ΔBV/ΔP）は高い

静脈血圧が高い（例 60mmHg）

血管が血液を貯める余裕がない
VC（=ΔBV/ΔP）は低い

NCPGで計測した静脈コンプライアンス

R = 0.797( p-value < 0.005 )173

18/02/07

19

運動習慣による被験者のグループ分け20

運動習慣によるVCの比較

11名の被験者対して実施した運動習慣に関するアンケートから被験者を以下の2つの条件にて２つグループに分けた
条件1：現在の運動習慣として週に2時間以上の運動をしている者
条件2：過去の運動習慣として 1年以内に日常的に運動をしていた
経験を有する者 （例 部活動を行っていた学生）

l Active group（日常的に運動をしている被験者）
ü 条件1又は条件2のいずれかに該当する被験者

l Sedentary group（日常的に運動をしていない被験者）
ü 条件1及び条件2のどちらも該当しない被験者

21

22

まとめ
1. 従来のSPGの課題に対して，非接触型のNCPGによるVC計測を提案
2. SPGとNCPGとの同時計測を行い以下を調査
1. SPGとのNCPGで評価したVCには正の相関有り（R =0.797）

3. 動脈コンプライアンスの評価について

2. 静脈外に漏出する血漿の影響の違いを明らかにした

3. NCPGを用いて運動習慣によるVCの違いを評価
1. 運動習慣の有無にて分けたグループ間でVCに有意差あり
システム

評価

血漿の漏出の影響

SPG

四肢の容積変化受ける

NCPG

ヘモグロビン色素量受けない

動脈は弾性に富んでおり，心臓からの高い圧力により血液を全身に送る．ここでは，その伸展性を計測及び評価する手法についてお話させて頂く．

*2 Nakano, K.; Satoh, R.; Hoshi, A.; Matsuda, R.; Suzuki, H.; Nishidate, I. “Non-contact imaging of venous compliance inhumans using an RGB camera,” Opt. Rev. 2015, 22(2), 335−341.
*3 Nakano, K.; Yuta A.; Satoh, R.; Suzuki, H.; Nishidate, I. “Visualization of venous compliance of superficial veins using noncontact plethysmography based on digital red-green-blue images,” SENSORS. 2016, 16(12).

2324

脈波伝播速度(PWV: Pulse Wave Velocity)l 脈波とは心臓から駆出され動脈壁に伝播する波
l 動脈硬化症の進行の尺度
l 大動脈のPWVは5 〜10 m/s
PWV = 距離 L / PTT (Pulse Transit Time)
点A

距離 L

L
E⋅h
=
PTT
2r ⋅ ρ

(carotid-femoral PWV : cfPWV)

baPWV

ü 大規模な臨床試験も数多く実施
ü PWVのゴールドスタンダート
ü 主に大動脈を評価

l 上腕-足首間PWV(brachial-ankle PWV : baPWV)

点A

点B

PWV =

cfPWV l 頸動脈-大腿動脈間PWV

点B

動脈

Moens-Korteweg’s equation*14

PWVの種類PTT
E : Young率（血管壁の硬さ）
h : 血管壁の厚さ
r : 血管の半径
ρ : 血液の密度*4. Korteweg, D. J. , Uber die fortpflanzungs-geschwindigkeit des schalles in elastischen rohren. Annalen der Physik und Chemie 5, 525-542 (1878).

ü 脱衣が不要の為，簡便な計測が可能
ü cfPWVとの相関も高い（r =0.76）*15
ü 大動脈と末梢動脈を評価ü cfPWVの値に比べ30−50%程度大きい*16,*17（参考値： baPWV = 5 〜 30 m/s）
*5. Sugawara J, et al. J Hum Hypertens 2005; 19(5):401-6*6. Tanaka H, et al. J Hypertens, 2009; 27:2022-2027.
*7. Munakata M, et al., Am J Hypertens2003; 16: 653-657.

4

18/02/07

26

25

PTTと収縮期血圧の関係

代表的なPWV計測装置

Moens–Korteweg equation1-4

E⋅h
VPWV ==
TPTT
2r ⋅ ρ

SphygmoCor EXCELPWA & PWV（AtCor Medical社）

L

E : Elastic modulus of arterial wallh : Arterial wall thicknessr : Vessel radiusρ : Blood density
Empirical equation between SBP and E

Relation between PTT
and SBP

血圧脈波検査装置
BP-203RPEⅢ（フクダコーリン株式会社）

Ps = α1 lnTPTT +α 2
α1 and α 2: constants specific to theblood vessel

E = E0 exp α Ps

E0 : Elastic modulus of the arterial wallwhen the SBP is zeroα : Coefficient depending on the blood vessel
Ps : Systolic blood pressure (SBP)
8. Moens, A. I., [Over de voortplantingssnelheid van den pols], Ph.D thesis, Leiden, The Netherlands: S. C. Van Doesburgh (1877). 9.
Moens, A. I., [Die Pulskurve], Leiden, The Netherlands: E. J. Brill (1878). 10. Korteweg, D. J., “Über die Fortpflanzungsgeschwindigkeit
des Schalles in Elastischen Röhren,” Annalen der Physik 241(12), 525−542 (1878). 11. Milnor, W., R., [Hemodynamics], Williams &Wilkins, Baltimore (1982)

AtCor Medica, Inc.(USA) http://atcormedical.com/

フクダコーリン株式会社 http://
www.fukuda.co.jp/colin/products/basic/128.html

l トノメトリセンサとカフによるcfPWV計測
l 中心血圧も計測可能

l カフによるbaPWV計測l ABI（足関節上腕血圧比）も計測

2728

PWV(PTT)非接触計測システム

SphygmoCor EXCEL

TriggerWhite light source (LED)

TriggersignalRGB camera
Analyzer

AtCor Medica, Inc. http://atcormedical.com/

トノメトリセンサで計測した頸動脈の圧脈波

Ring illuminator

Ring-shapedpolarizer

カフで計測した大腿動脈の圧脈波Measurement area

29

30

PTTの推定実験条件

FFT

Camera 2
Camera 1
Pressure cuff

Time change in blood volumeBand-pass filter(0.7-3.0 Hz)

Image size : 800 x 600 pixel (ROI: 100 x 100 pixels )Frame rate : 50 fps
Subjects : five male subjects (age: 26.4 ± 5.4 years
old) with no history or evidence of vascular diseases

Pulse wave

5

18/02/07

31

32

実験プロトコル

PWVの計測結果
非接触計測によるPWVの範囲は2.58 – 15.0 [m/s]となり，
ba-PWVの範囲（5 – 15 [m/s]）に近い
Measuring results of ffPWV
Subjects (age)Length [m]PTT [s]PWV [m/s]

Subject 1 (35)

0.48

0.032

15.0

Subject 2 (24)

0.45

0.17

2.58

Subject 3 (23)

0.47

0.14

3.29

Subject 4 (23)

0.50

0.11

4.72

Subject 5 (22)

0.44

0.042

10.2

Subject 6 (25)

0.51

0.10

5.04

Subject 7 (23)

0.55

0.089

6.20

l ハンドグリップ負荷前後でのPTTと収縮期血圧の関係を調査
l 60秒間のレストの後に右手により強くハンドグリップを握る
l ハンドグリップ負荷前の30秒間と負荷終了前の30秒間にてPTTと収縮期血圧を計測

Handgrip stress

Rest
0
Start

60
30
Measurementof PTT and SBP

Time

120
90
End [s]Measurementof PTT and SBP

33

ハンドグリップ負荷前後のPTTの変化(a)

34

PTTと収縮期血圧との関係(b)

Ps = α1 lnTPTT +α 2
R2 = 0.48

Comparison of before and after grasping for (a) SBP and (b) PTT.
*p < 0.05, n = 5.

Rest

StressSBP [mmHg]

113 ± 6.67

125 ± 6.11

PTT [s]0.0175 ± 0.008

0.0462 ± 0.021

R2 = 0.59

Relation between the SBP and PTT obtained from the measurementsof one subject during 14 trials of grasping and non-grasping

収縮期血圧とPTTの間のピアソンの積率相関 R = –0.72 (p < 0.05)

35

まとめ
l 2台のカメラ同期システムによるPWV（PTT）計測を提案
l 計測したPWVの範囲はba-PWVに近いものとなった
l 非接触で計測したPTTと収縮期血圧の関係を示した
l 精度向上から片方のセンサーを接触型にすることも検討（腕時計型，スマーフォン型）
Camera(Face)PPG sensor Camera(Wrist)(Face)

Contact sensor(Finger)

ACKNOWLEDGMENTS
This work was supported by JSPS KAKENHI, Grant-in-Aid for Young Scientists (B) (Grant No.
16K18117)

6

Invited Talk #4
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

非接触動画撮影による静脈認証システム
Contactless finger vein authentication system using
moving images
鈴木裕之 1)
Hiroyuki Suzuki 1)1) 東京工業大学未来産業技術研究所
1) Laboratory for Future Interdisciplinary Research of Scienceand Technology, Tokyo Institute of Technology, YOKOHAMA,JAPAN

Abstract:
It is well known that biometric information can provide convenient
and reliable user authentication. Recently, the application field ofbiometric authentication is expanding from small-scale service towide-scale one such as big event venue, theme park, and so on. In
these situations, high-speed calculation and smooth operation are
required because of a large number of users. In order to apply
finger vein authentication to above services, walkthrough finger

vein authentication system has been studied. In our study, we
propose a hand waving finger vein authentication system, inwhich a hand-waving movie is captured with a camera, and abiometric feature is obtained by processing some finger vein
patterns extracted from the movie.
In the proposed system, a finger is placed in the air in front of acamera without touching anywhere and a hand-waving movie oftransparent finger is captured using an infrared LED. A finger
vein region is automatically extracted from each frame of thehand-waving movie and some kinds of image processing includingemphasis of finger vein, binarization etc. are employed, and thenbiometric feature for user authentication is obtained. For user
authentication, a similarity between enroll and verification finger
vein patterns is calculated based on Normalized Cross Correlation(NCC) and Scale-Invariant Feature Transform (SIFT). With
experiments, we showed that the proposed system could obtain agood biometric feature for finger vein verification. Compared withtwo matching methods, SIFT had a good performance with higher
verification accuracy and higher speed computation.

1

はじめに

近年生体認証は，これまでに利用されてきた携帯電話
や銀行 ATM 等以外にも利用範囲が拡大し，イベント会
場やテーマパークなどの入場ゲートでも利用されるようになった[1]．このような場面では，大人数を短時間で処理する必要があるため，処理の高速性が求められるが，現在この要求に見合う生体認証技術としては，顔認証が主流である．しかし顔認証に用いる顔画像は，常に露出している情報であるため本人以外でも容易に入手可能であり，なりすましなどの危険性を抱えている．また認証精度としても，表情の違いや照明環境，メガネ等の装飾品などの影響を受けやすく，他の高精度な認証精度を有する生体認証に比べると課題が多く存在する．一方，指や手のひらなどの静脈パターンを利用して本人確認を行う静脈認証は，体の内部構造を生体特徴として認証に利用するため，顔や指紋と比べるとその情報漏えいの危険性は極めて低く，銀行 ATM など大人数のユーザーが対象となるサービスでの利用も実現している．また，照合精度についても高い精度を有することが示されていることから，前述のイベント会場のような場面でも安全性や精度の面で高いパフォーマンスが期待できる．
このような背景から，我々は，撮影装置付近に手を近づけるだけで指静脈画像を非接触で取得し，高速かつ高精度な静脈認証を実現するシステムを提案している[2]．
本発表では，このシステムで利用している非接触静脈撮像システムや静脈画像の照合手法について概説する．

2

非接触指静脈認証システム

2.1

撮像システム

今回の実験に用いた撮像システムを図 1 に示す．このシステムでは，カメラと光源の前にクロスニコル配向となるよう偏光板を設置し，これらの間にかざした指を透過する近赤外光を撮影する．カメラは近赤外対応のCMOS カメラ（xiQ: MQ013RG-E2）を利用し，光源には波長 850nm の LED（THORLABS: M850LP1）を用いた．また，この LED 光源は，パルス状のトリガ信号を入力することで，短時間に強い光が照射されるよう制御を行った．このように撮影することで，手に照射する
光の露光量は抑えつつ，ある程度高速に手を動かした場
合でも，鮮明な静脈画像を得ることができる．図 2 に撮影した静脈画像の例を示す．

図 2 撮影した指静脈画像の例

2.2

照合手法

提案システムにおける指静脈パターンの照合手法とし て は ， 正 規 化 相 互 相 関 (Normalized Cross
Correlation ： NCC) に よ る 照 合 [3] お よ び SIFT
（Scale-Invariant Feature Transform）[4]を利用した照合[5]の提案を行っている．NCC に基づく手法においては，まず一本の指がカメラの撮影範囲内に入ってきた際に指の先端部分を検出し，その情報をもとに指静脈が存在する領域を抽出する．そして，複数フレームから取得した指静脈領域画像を加算によって合成し，合成画像を生体特徴として照合を行う（図 3）．一方，SIFT に基づ
く照合手法においては，画像中で輝度変化が大きい点な
どを SIFT 特徴点として抽出し，特徴点周辺の勾配情報から算出した SIFT 特徴ベクトルを生体特徴として利用する．これら SIFT 特徴ベクトル同士の類似度を計算することで，登録・参照の二つの生体画像間で対応する（同じ位置の特徴点と思われる）SIFT 特徴ベクトルを求め，
この対応する SIFT 特徴ベクトル（対応点）の個数がある閾値以上の場合には，登録と参照用画像が同一人物の生体画像であると判定される．図 4 に SIFT に基づく照合の結果を示す．この図より，本人照合の場合には，対応する SIFT 特徴点の数が多いことが確認できる．SIFTに基づく照合における複数フレームの合成手法としては，
SIFT 特徴点で合成を行う特徴量レベル合成と，照合スコアである類似 SIFT 特徴点の個数の合成を行うスコア
レベル合成の 2 種類について検討を行った．

図 3 NCC に基づく照合手法
図 1 非接触指静脈撮像システム

(a) 本人照合時の対応点（b）他人照合時の対応点

図 4 SIFT に基づく照合手法の結果照合精度については，NCC に基づく手法，SIFT に基づく手法とも合成枚数を 3～5 枚程度に設定することで高い照合精度が得られることが確認できた．処理時間については，NCC に基づく照合手法では，指静脈領域の抽出のための指先検出に多くの時間を要する一方，SIFTに基づく照合では，指静脈領域抽出の厳密な精度は必要なく，簡便な領域抽出で対応が可能であり，処理時間については SIFT に基づく照合手法が優位と言える．

2.3

プロトタイプシステムの構築

非接触指静脈認証を行うプロトタイプシステムの構築を行った．NCC に基づく照合手法を実装したプロト
タイプシステムの処理画面を図 5 に，SIFT に基づく照合手法を実装したプロトタイプシステムの処理画面を図6 に示す．NCC に基づく照合では，厳密に指静脈領域の

図 5 NCC に基づく照合手法の処理画面

図 6 SIFT に基づく照合手法の処理画面

位置を特定し，正確な位置合わせを行う必要があるが，そのためには多くの演算を要するため，高速かつ高精度な照合を安定して実現することは難しい．また複数指を利用するためには，各指の対応付けを行う必要があるた
め，今回は一本指のみのシステムを構築している．これに対し SIFT に基づく照合手法では，複数指を利用した
場合でも，指の対応付けが不要であるため，高い照合精度が期待できる．また厳密な指静脈領域位置の特定も不要であるため，簡便な領域抽出処理で対応が可能であり，安定した高速処理が期待できる．

3

まとめ

本発表では，非接触静脈認証システムの撮像システム
および照合手法を紹介した．照合手法については，現時点では SIFT に基づく照合手法が良好な性能を示している．今後は手の形状や位置ずれに対してロバストな照合や，大人数を登録した場合でも高速な演算を可能とする
仕組みについて検討する予定である．

参考文献[1] も も ク ロ チ ケ ッ ト イ ン フ ォ メ ー シ ョ ン ，
https://momoclo-ticket.jp/mp/ae．
[2] 鈴木裕之他,“動画像撮影による手振り型指静脈認証システム”, OPJ2014 講演予稿集，5aDS13 (2014)．
[3] 諏訪佑介他,“動画像を用いた非接触指静脈認証における指静脈取得方法に関する研究”, OPJ2015 講演予稿集，30aES9 (2015)．
[4] Lowe, David G., "Object recognition from local
scale-invariant features", Proceedings of theInternational Conference on Computer Vision. 2. pp.
1150–1157(1999).
[5] 林宏樹他,“動画像を用いた指静脈認証における画像
マッチング手法の検討”, OPJ2016 講演予稿集，1pE1(2016)．

Invited Talk #5
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

指間膜の組織酸素飽和度計測

Tissue Oxygen Saturation Measurementof Human Webbing
羽石秀昭 1)
Hideaki Haneishi 1)1) 千葉大学フロンティア医工学センター
1) Center for Frontier Medical Engineering, Chiba University,
CHIBA, JAPAN

Abstract:
In emergency transportation using ambulance, monitoring ofvital signs of the patient is mandatory. Oxygen saturation is oneof such signs and the pulse oximeter is commonly used for thispurpose. The pulse oximeter measures arterial blood oxygen
saturation using pulsation, but it does not work for patients with
low-pulse. In such a case, tissue oxygen saturation (StO2) may

become an alternative. Although a few devices to monitor StO2 arecommercially available, they are too bulky to use in a narrowambulance.
So we develop a small device for StO2 measurement.
Measurement principle of the device is a transmitted typecontinuous-wave
near-infrared
spectroscopy.
Forthismeasurement we select a webbing of the hand as a target. Thispart is thin, simple in structure and thus suitable to measure
spectral transmittance.
The calculation of StO2 is based on the modified Beer-Lambertlaw. We assume that the measured spectral absorbance isrepresented by a linear combination of extinction coefficient
spectra of five absorbing materials and attenuation by scattering.
In this linear combination, the weight of each term of absorbing
materials is proportional to the concentration of the material. We
suppose that the possible absorbing materials are oxygenatedhemoglobin (HbO2), de-oxygenated hemoglobin (Hb), melanin,water and fat. Among them, the concentrations of HbO2 and Hb
are used to calculate StO2.
In order to calculate the concentrations of HbO2 and Hb, we
propose a two-step signal processing technique. In the first step,
we give a pressure to the upstream region of the measurement
point to perturb the concentration of HbO2 and Hb as remaining
the other components and measure the spectral signals. From themeasured data, spectral absorbance due to the components otherthan hemoglobin is calculated. In the second step, spectral
measurement is performed at arbitrary time instance and thespectral absorbance obtained in the step 1 is subtracted from themeasured absorbance. Then StO2 is calculated from the remained
data.
Although our final goal is to realize a compact device, as apreliminary study, we use a spectral measurement setup, that is
not necessarily compact, to confirm the effectiveness of the
proposed device. The method was evaluated on an arterial
occlusion test and a venous occlusion test. In the evaluation
experiment, reasonable values and those transition of StO2 wereobserved by the proposed method.

2018/2/4

Background
Need to assess oxygen saturation of patient in emergency transportation
 Pulse oximeter

第５回デジタル⽣体医⽤画像の「⾊」シンポジウム

 Near-infrared spectroscopy
https://quickassist.medtr
onic.com/products/invos-5100c-cerebral-somaticoximeter

指間膜の組織酸素飽和度計測
Tissue Oxygen Saturation Measurementof Human Webbinghttps://www.konicaminolta.jp/healt
hcare/products/pulseoximeters

 Evaluate arterial oxygen saturation
 Need detection of pulsation⇒Does not work for criticalpatients with low-pulsation

千葉⼤学 フロンティア医⼯学センター
⽻⽯ 秀昭

 Evaluate tissue oxygen saturation(StO2)
 Too bulky in ambulance

A compact device to measure tissue oxygen saturation (StO2)
without dependence on pulsation is needed.

千葉⼤学 ⼯学系総合研究棟２
2018年2⽉15⽇

2Contents

Our approach Transmission type measurement⇒Optical path is limited andmeasured data are more adequately
modeled by a modified Beer-Lambertlaw

BackgroundMeasurement setup
Estimation algorithm - First approach Estimation algorithm - Modification Vascular occlusion experiments
Summary Measure a human webbing⇒ Thin part of hand and suitable fortransmission measurement Spectral measurement⇒ can estimate concentration ofseveral components

human webbing

After building a method, the device will be miniaturizedwith LED and photodetector (under study).
3

4

Contents

Measurement setup
PCBackgroundMeasurement setup
Estimation algorithm - First approach Estimation algorithm - Modification Vascular occlusion experiments
Summary

Spectroscope

Light guideSpectroscope
Flame-S (Ocean Optics)

3-5mm

SpringClipping a webbing

Light guide

Trial product of probe

webbing

Halogen light

Overview

Halogen lightMHF-G150LR (MORITEX)

5

6

1

2018/2/4

First approach of estimation
 Use spectral absorbance

Estimation of StO2

 Organ absorbance model:

I in ( λ) : Incident light
I out ( λ) : Transmitted lightA( )   log I out ( λ) I in ( λ)

A and Cx are
functions of time t  melanin Cmelanin (t )   water Cwater (t )   fat Cfat (t )  G (t )A( , t )  A (t )   HbO
CHbO2 (t )   Hb
CHb (t )2 Build an organ absorbance model based on modified Beer-Lambert law
Organ materials
 oxygenated hemoglobin：HbO2
 de-oxygenated hemoglobin：Hb
 melanin
 water fatA( )  A   HbO
CHbO2   Hb
CHb
2

1

 A1 (t )   HbO2
 2   2
 A (t )    HbO2
    
 L   L
 A (t )   HbO2

HbO2
water
fat
Wavelength (nm)




 Hb
 melanin
 water
1

1

1




 Hb
 melanin
 water
2



2

2





 CHbO2 (t ) 1  C (t )  fat  Hb fat
1 Cmelanin (t ) 
1

2







 Hb
 melanin
 water
 fat
L

L

L

L

Measuredabsorbance   Cwater (t ) 1  Cfat (t )  G (t )  Solve Cx by a least squares method
CHbO2 (t ), CHb (t ), Cmelanin (t ), Cwater (t ), Cfat (t ), G(t )  melanin
Cmelanin   water
Cwater   fat
Cfat  G

   : molar extinction coefficient Known
C : concentration x optical length Unknown
G : attenuation by scattering Unknown
We estimate Cx of each component from measured spectral absorbanceStO 2 (t ) 

CHbO2 (t )CHbO2 (t )  CHb (t )Concentrations
To be solved

melaninHb
HbO2

 Calculate StO2

7

water
fat

 100

Wavelength (nm)8

Result of VOT: temporal change of Cx and StO2

Preliminary experiment: Vascular occlusion test (VOT)

Release%Occlusion
Give a pressure at
the arm using cuff
for 3 minutes

 Matrix representation

melanin

Hb



StO2

a.u.

>220 mm Hg

a.u.

HbO2
Hb

a.u.

cuff

ReleaseComponents which should be time-invariant are affectedfatattenuation by scattering

time (min)time (min)9Contents

water

a.u.

Occlusion

melanin

a.u.

a.u.

StO2 (%)

a.u.

(THb=Hb+HbO2)

10

Approach to reasonable estimation
Preparation
step

BackgroundMeasurement setup
Estimation algorithm - First approach Estimation algorithm - Modification Vascular occlusion experiments
Summary

1. Perturb the blood volume at measurement pointby giving a pressure to the upstream region

e.g. Cuff

2. Solve concentration of eachcomponent under the condition
that three components are constant.

Concentration of melanin, fat andwater should be constant.

Estimation step
3. Subtract the time-invariant absorbance from the measured
absorbance.
Then,
4. Estimate concentration of Hb and HbO2 to calculate StO2.
11

12

2

2018/2/4

Formula of the proposed method

Details of calculation (1)Cuff on Cuff off

Preparation step1

Perturb the blood volume andestimate time-invariant components

Cmelanin , Cwater , Cfat

Formula in the first approach
blood volume

t=0

time
Sampling pointsA (t )   HbO
CHbO2 (t )   Hb
CHb (t )  G (t ) Time-variant2 melanin
Cmelanin   water
Cwater   fat
Cfat Time-invariant

Estimation step
Estimation of time-variant componentsA
CHbO2 (t )   Hb
CHb (t )  G (t )  HbO2

CHbO2 (t ), CHb (t ), G (t )Then, calculate

StO 2 (t ) 

CHbO2 (t )CHbO2 (t )  CHb (t )

 100
13

Details of calculation (2)

1

0

0

0  ε melanin00 ε HbO2ε Hb

1  ε melanin


0


0


0

 

0  ε melaninLong column vector including
K measured absorbance CHbO2 ,1 time-  C Hb,1 variant
 G1 
ε water ε fat  CHbO ,2 2
ε water ε fat   CHb,2    G2 
ε water ε fat    Cmelanin time Cwater invariant  C fat e.g. for t=1
1
 A1 (t  1)   HbO2
 2
  2
 A (t  1)    HbO2

  

 L
  LAt(1)
  HbO
2

t=2

t=K

2







2

L

L

L

L

 Hb  melanin  water  fat   Cwater (t ) 1  Cfat (t )  G (t ) 


 Hb
1
1

 1
 CHbO2 (t  1)   melanin2  melanin CHb (t  1)       G (t  1)   L1 melanin


 Hb
1 
2



 Hb
L

time-variant water fatC   melanin  water  fat  

1

2




 water

ε waterL

1

2

Cwater   Cfat  fatL 

time-invariant

Cmelanin ε fat   Cwater  Cfat 

14A  (t )  A (t )  A A  (t )   HbO
CHbO2 (t )   Hb
CHb (t )  G (t )2

 The measured values of L band at the time t
1
1
 A1 (t )   HbO2  Hb 1 CHbO2 (t )  2   2
2

1 
(
)
A
t


HbO
Hb
2


 CHb (t )       
  G (t ) 
 L   L
 A (t )   HbO2  HbL 1

CHbO2 (t ), CHb (t ), G (t ) Calculate StO2
A   melanin
Cmelanin   water
Cwater   fat
Cfat

StO 2 (t ) 
15

Result of VOT: temporal change of Cx and StO2

CHbO2 (t )CHbO2 (t )  CHb (t )Occlusiona.u.

Hb
StO2 (%)

%
a.u.

HbO2

(THb=Hb+HbO2)

a.u.

melanin

a.u.

water

a.u.

fat

a.u.

attenuation by scattering

 100
16

Comparison of two approaches

Release
StO2

a.u.

2



 Solve Cx by a least squares method

 Calculate time-invariant components independent from blood flowtime (min)2

1

Obtained in the preparation step

CHbO2 ,1 , CHb,1 , G1 , CHbO2 ,2 , CHb,2 , G2 ,, Cmelanin , Cwater , Cfat

sampling points




 Hb
 melanin
 water CHbO2 (t ) 1  C (t )  fat  Hb1 Cmelanin (t )  fat Time-variant components dependent on blood flow

 Solve all Cx simultaneously by a least squares method

Occlusion

1

Simplification of notation CHbO2 ,1 
A1  ε HbO2 ε Hb 1  CHb,1   ε melanin G1 



t=1

…

ε Hb


0

1

Details of calculation (3) Spectral Absorbance at K different times

 A1  ε HbO2
A   0
A 2    A  
 K   0

1

Separation into time-variant and time-invariant components
Cuff
Cuff

A  (t )  A (t )  A

Solve




 Hb
 melanin
 water A1 (t )   HbO2
 2   2
 A (t )    HbO2
    
 L   L
 A (t )   HbO2

ReleaseFirst
approach

Modification

17

time (min)18

32018/2/4

Contents

Data acquisition
 Measure spectral absorbance of a healthy volunteer
releaseCuff onBase-line

BackgroundMeasurement setup
Estimation algorithm - First approach Estimation algorithm - Modification Vascular occlusion experiments
Summary0

for 1
minuteOcclusionfor 4 minutes

for 3 minutes
1

 Cuff pressure4
Time(min)

8

The same measurement
was done three times.

 Arterial occlusion test (AOT)
220 mmHg
 Venous occlusion test (VOT)

60 mmHg Data sampling rate
3.33 Hz(The data were smoothed every 3 seconds to eliminate
the influence of pulsation.)
19

Result of arterial occlusion test (AOT)20

Result of venous occlusion test (VOT)

returnreturnreturnreturnreturnreturn

StO2

Hb

HbO2

StO2
(a) (b): Transition of these data are similar
to the results shown in the previous slide.

These changes during the AOT seem to be all reasonable.
21

Hb
Because of
expansionof the bloodvessels

HbO2
After that, the bloodvessel could not be
expanded and turned
to decrease.

These phenomena during VOT are reasonable.

22

Conclusion Proposed a StO2 estimation method using a transmission typecontinuous-wave near-infrared spectroscopy The method was evaluated on an arterial occlusion test (AOT) anda venous occlusion test (VOT).
 Estimated StO2, Hb, HbO2 values, the observed phenomena of
those values were all reasonable.

Future work Collect more data from other subjects andconfirm that the proposed method works generally.
 Develop a more compact and simple system using
LED light source and photo detector for ambulance use.
Acknowledgement
This research was supported by Japan Agency for
Medical Research and Development (AMED)
under Grant Number JP16he1502001, JP17he1502001.

23

4

Invited Talk #6
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

デジタル病理画像における特徴量計測と色標準化
Feature measurement and color standardization in digitalpathology imaging
山口雅浩 1)Masahiro Yamaguchi 1)1) 東京工業大学工学院
1) School of Engineering, Tokyo Institute of Technology, Japan

Abstract:
Digital pathology is recently emerging thanks to the advancement of wholeslide imaging (WSI) technology, and it enables not only monitor-based
diagnosis but also the application of image analysis which will provide more
information useful for diagnosis and clinical decision making. The latter iscalled computational pathology, but currently it is based on the classification
established by conventional microscopic observation. Instead, it is expected
to explore new diagnostic classification by computational image analysis.
For this purpose, the feature quantification is very important, such as cellmorphology, tissue structure and textural features. The morphological or
textural feature quantification, however, depends on the image quality
obtained by WSI scanners, and it is a serious limitation in the application of

computerized image analysis. One of the most important factor is the color
variation. This paper introduces our attempts to overcome this limitation, thecolor calibration by scanning a color chart slide for device characterization,
and/or by color unmixing for correcting the stain variation.
近年、病理診断に用いられる標本スライドを高解像度のデジタル画像として入力する Whole Slide Imaging (WSI)の技術が進展し、デジタル画像管理やモニター上での診断、画像解析の適用などデジタル病理学と呼ばれる分野が注目されている。画像解析と機械学習などを融合（もしくはいわゆる AI 技術）すること
で、診断や治療方針の決定などを支援することが期待され、そのような技術「計算病理学」の研究開発が活発に行われている。深層学習の応用も数多く検討されているが、旧来からの顕微鏡観察下で確立されてきた判断基準または分類法によって与えられる教師データに基づくものである。今後、計算病理学が新たな診断基準・分類法を開拓してゆくことが望まれるが、そのためには病変の特徴と臨床経過や予後などの解析を行うことが必要であり、画像から得られる特徴と分子発現や遺伝子などの情報を総合的に解析することが今後の課題と言える。
上述のような目的のためには、画像から得られる細胞や組織の特徴は、画像入力機器やソフトウェアによらない汎用的なものでなければならない。ところが、現状では WSI スキャナによって鮮鋭度や色など画質が影響を受けるため、同じ標本を異なるスキャナでデジタル画像化して特徴量の算出を行うと、異なる結果が得られてしまう。今後膨大なデータを集積して解析を行うためには、デバイスに依存しない普遍的な特徴量の計測技術を確立する必要がある。
本研究ではこれまでに病理画像の色補正技術とその画像解析システムへの応用に関して検討してきた[1-3]。病理画像の色は染色プロセスとスキャナの特性により影響を受ける。染色の影響を補正する方法として、対数 RGB 空間において色補正を行う手法を提案し、EVG 染色による線維化の定量[2]や肝組織の HE
染色標本を用いた肝細胞癌計測・検出システム[4]に応用[5]した。また、スキャ
ナの個体差に関しては、色票スライドを用いた色補正[1,6]・色評価[6]に関して検討を進めている。
画像特徴量計測については、図に示すように、異なるスキャナで取得した WSI
データを同一の画像解析ソフトに入力し、細胞核面積・周囲長・N/C 比や各種テ
クスチャー特徴量などを算出した結果、色補正処理には処理結果がスキャナの種類により大きく影響を受けることが明らかになった[7]。色補正処理を行うことでばらつきを低減できるが、特徴量の種類によっては色補正だけでは不十分な場合もあり、今後は空間周波数特性（MTF）の補正などについても検討を行う
必要がある。

図

異なるスキャナで同一のスライドを入力し、画像解析で得られる特徴量計測結果が一致するか検証する実験システム構成。スキャナによりフォーマット・画素間隔が異なるので事前に変換を行ってから画像解析ソフトに入力する。

［参考文献］[1] Y. Murakami, et. al., "Color Correction in Whole Slide Digital Pathology," Proc. 20thColor and Imaging Conference, pp. 253-258, (2012).
[2] Y. Murakami, et. al., "Color correction for automatic fibrosis quantification in liverbiopsy specimens," Journal of Pathology Informatics, 4:36, (2013).
[3] Y. Murakami, et. al., "Color processing in pathology image analysis system for liverbiopsy," Proc. 22nd Color and Imaging Conference 2014, pp. 184-188, (2014).
[4] Y. Yamashita, et. al., "Development of a prototype for hepatocellular carcinoma
classification based on morphological features automatically measured in whole slide
images," 2nd Intern. Congress of IADP, Anal. Cell. Path., Vol. 2014, 817192, (2014)[5] 山口他, "同一被写体を撮影した複数の画像間の色差推定-病理スライドスキ
ャナにおける色補正評価への応用-", Optics & Photonics Japan 2017, 2aD3, (2017).
[6] 林部他, "カラーフィルタ製造技術を基にしたデジタル病理用カラーチャート", 第 16 回日本デジタルパソロジー研究会総会, (2017).
[7] M. A. Aziz, et. al., "Effectiveness of color correction on quantitative analysis of histopathologicalimages acquired by different whole slide scanners," 5th Symposium of the 'Color' of Digital Imaging
in Biomedicine “Renovation of Bioimaging and its practical and clinical applications” (2018)

Invited Talk #7
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

非接触生態情報と漢方医学
Measurement of Biological Non-Contact Information andKampo Medicine
小川恵子 1)
Keiko Ogawa 1)1) 金沢大学附属病院 漢方医学科
1) Department of Japanese-Traditional (Kampo)
Medicine, Kanazawa University Hospital, JAPAN
Abstract:
Kampo medicine, or Japanese traditional medicine, is the mostfrequently used alternative and complementary medicine in Japan.
Though its origin was in ancient China, Kampo Medicine has beendeveloped under the influence of Japanese nature and culture, andnowadays is working as an independent medical systemsignificantly different from Traditional Chinese Medicine (TCM).
Kampo therapy is unique because its focus is patient’s condition
not their disease. Patients are diagnosed from viewpoints of
Kampo medicine, and they are treated on the basis of Kampo
diagnosis. To make Kampo diagnosis, Kampo examination isusually made, and the first step of the examination is to watch

appearance of individuals called Boshin ( 望 診 ). In this way,
appearance is important in Kampo diagnosis.
Kampo diagnosis contains a number of traditional concepts which
are useful for preventive medicine. For example, the Oketsu status
is a pathological concept in Kampo medicine, primarily denoting
blood stasis / stagnation.
In former studies, we focused on oxygen saturation of skin as an
objective index of skin properties, and studied correlation with the
Oketsu score. The oxygen saturation showed large correlation withthe blood flow and the Oketsu score at dorsal surface of hand. It
was suggested that the oxygen saturation of skin will reflect
systemic blood flow and Oketsu status, and it would help objective
diagnosis by measuring skin color spectrum.
The other study investigated the effect of contact needle therapy(CNT) on cancer chemotherapy-induced peripheral neuropathy(CIPN) with symptom scores and information obtained from skincolor spectrum. CNT is one of the traditional Japanese methods ofacupuncture. Four patients with CIPN were treated with CNT.
The severity of CIPN, oxygen saturation, hemoglobin
concentration at fingertip of the right toe were measured. There
were significantly better differences in post-CNT than in pre-CNT
when comparing in FACT/GOG Ntx and oxygen saturation of theskin (p<0.05). The oxygen saturation showed large correlation (0.5<|r|<1 ) with the score improvements. In conclusion, CNT might
be considered as one of the safe and effective alternative methods
for CIPN. And our method of evaluation using skin color spectrum
information, in a sense, integrates the inspection of Kampo(Japanese traditional medicine) therapy and the scientificinformation.
The third study is the estimation of Kampo diagnosis using
applications that change facial appearance. The human face gives
us important information in Kampo diagnosis, Boshin (望診). We
made data base of feature of facial appearance, and an evaluation
system based on SVR was created using 60 kinds of total feature
quantity and evaluation value by a Kampo specialist, and effective
feature quantity could be selected.
It would be possible to support Kampo diagnosis, to establish
remote Kampo diagnosis and treatment, and to evaluate theefficacy of Kampo medicine by using biological non-contact
information.

講演内容

⾮接触⽣態情報と漢⽅医学• 漢⽅医学とは︖• 漢⽅診断について• スペクトラルイメージングの応⽤• 治療効果判定に応⽤できるか︖• 遠隔治療は可能か︖• まとめ

⾦沢⼤学附属病院漢⽅医学科

⼩川恵⼦

色彩･分光画像計測とその応用

2

ご存知ですか︖• 中国、インド、⼤韓⺠国、朝鮮⺠主主義⼈⺠共和国、ヴェトナムでは、現代医学と⾃国の伝統医学が⼆本⽴てになって並⽴している（パラレルシステ
ム）のに対して、⽇本は⼀本⽴て（⼀元化システム）• 医師が伝統薬（漢⽅）を含むすべての処⽅箋薬を処⽅• 薬剤師が伝統薬（漢⽅）を含むすべての処⽅箋薬を調剤する• 健康保険でカバーされている• ⼤学院教育についてはそれぞれに博⼠課程が設けられている• 伝統医学に関する専攻することができ、それぞれに医学博⼠、薬学博⼠を取得することができる• 医師に関しては、漢⽅の専⾨医認定制度があり、薬剤師に関しても漢⽅の専⾨認定制度ある• また伝統薬（漢⽅薬）は１４８のエキス剤と200種類以上の⽣薬が保険診療で処⽅可能

世界の主な伝統医学

漢⽅医学とは︖
湯液（漢⽅薬）鍼灸
按摩

3

WHO Traditional Medicine Strategy(2014-2023)
1) building the knowledge base and formulating national policies
知識の集積と国家戦略の形成
2) strengthening safety, quality and effectiveness throughregulation規定による、安全性、質、効果の強化
3) promoting universal health coverage by integrating
T&CM(Traditional and Complementary Medicine) services andself-health care into national health systems.
伝統・補完医学サービスと健康セルフケアを・世界の伝統医学︓欧⽶系、インド系、中国系
・世界三⼤伝統医学︓アーユルヴェーダ、中国医学、ユナニ
⾼度に体系化されている『エッセンシャル漢⽅医学』

国家健康制度の中で融合させることによる、
普遍的な健康適⽤範囲の拡⼤
より

1

百味箪笥

漢⽅医学と⾔う名称の起源

・漢⽅医学は、中国起源の伝統医学で、⽇本独⾃の発達を遂げたもの
・中医学、韓医学は、漢⽅医学と起源は同じですが、異なった医学⼤系を形成
・江⼾中期に伝来し、蘭⽅と呼ばれたオランダ医学と区別するために、漢⽅という呼称が使われるようになった
エッセンシャル漢⽅医学

より

煎じ薬作製

エキス顆粒タイプ

錠剤タイプ

カプセルタイプ

講演内容• 漢⽅医学とは︖• 漢⽅診断について• スペクトラルイメージングの応⽤• 治療効果判定に応⽤できるか︖• 遠隔治療は可能か︖• まとめ

ねえ、どうしたの︖
具合が悪そうだね。

112

「具合」とか「体調」って何︖
⾊々検査しました
が、異常はありませんでした。

そうですか…

漢⽅は五感の医学
顔⾊を観て体調がわかる
五感を駆使して診察
病態を推理

漢⽅の診察法︓四診（望聞問切）
望診︓視覚による情報収集
動作・歩容、眼光、顔⾊、⽪膚、⽖、頭髪、⼝唇・⻭齦、⾆（⾆診）
聞診︓聴覚・嗅覚による情報収集
⾔語・⾳声、咳嗽・呼吸⾳、グル⾳、
動脈雑⾳、便臭、尿量・尿臭と⾊調
問診︓病歴、⾃覚症状（問診票を活⽤）

脈診

⾆診

切診︓⾝体に触れることによる情報収集
触診（四肢、腰背部、⽪膚、浮腫）
脈診、腹診

主観的で、多くの経験を必要とする
客観的にできないか︖

16

顔⾊の診⽅

望診での寒熱寒熱⽪膚・粘膜の⾊

蒼⽩

⾚・鮮紅

⾆苔の⾊

⽩

⻩⾊・褐⾊

⾆質の⾊

⽩

淡⽩

腹診

淡紅

⾚・紅

④
③

①
①

⾚
あれ

胃熱
胃の陰虚

② 肝

⻘

肝うつ

③ 陰虚上亢
ピンク（特に⾼齢者）

⑤
②

① 胃

④ ②
③

④ ⽬の下のくま瘀⾎⑤ 眉間で基本の顔⾊を診る

3

⾆診のポイント① ⾊の分布は︖
全体的な⾊
⾆尖・⾆縁などの⾊② ⾆乳頭は観察できるか︖
⻲裂はないか︖
疼点・瘀斑はないか︖• 漢⽅医学的診断を、客観的に、数値化できないだろうか︖• 漢⽅医学的診断を応⽤して、新しい診断⽅法を確⽴できないだろうか︖③ ⾆形腫⼤・⻭痕はないか︖→“⾊”に着⽬④ 苔⾊と苔の厚さ

蛍光灯下

波長

X
Y
Z

X
Y
Z

反射率

波長

X
Y
Z

X
Y
Z

波⻑ (nm)

700

反射率

条件等色

400

波長

＝

波長

反射率

放射輝度

放射輝度

自然光

R

＝

G

放射輝度
反射率
透過率
etc.

B

メタメリックマッチ（条件等⾊）

波長

反射率

分光情報 VS RGB情報

波長21

異なる照明下における物体の⾊再現条件等⾊のベクトル空間における理解

D光源下

３次元XYZ空間

A光源下

22• 電⼦商取引（インターネットショッピング）• 遠隔医療• 電⼦美術館

D光源下
条件等⾊ A光源下

⾼次元 分光放射輝度空間

分光情報において（戻って）処理を⾏う必要がある
23

24

4

遠隔医療

講演内容
• 漢⽅医学とは︖• 漢⽅診断について• スペクトラルイメージングの応⽤• 治療効果判定に応⽤できるか︖• 遠隔治療は可能か︖• まとめ

色彩･分光画像計測とその応用

25

26

⽬的
漢⽅の所⾒は客観性に劣るという問題を解決するため、⾆の客観的計測および臨床所⾒との⽐較を⾏った

漢⽅診断を客観化する⾆診を考えてみよう

27

28

分光画像撮影システム

実験手順
分光画像の撮影
主成分分析(400-800nm, 81 bands)「瘀血」との相関解析

分光カメラと積分球および⼈⼯太陽光照明を使⽤
光沢成分の除去が可能
29

30

5

瘀⾎

実験手順

• 瘀⾎とは、漢⽅の診断基準の⼀つであり、⾎のよどみを表す

分光画像の撮影• 古典における多くの所⾒は多変量解析によってそれぞれの寄与が重み付けされ、「瘀⾎スコア」として解析されている

主成分分析「瘀血」との相関解析

色彩･分光画像計測とその応用

31

男

女

眼輪部の色素沈着1010

顔面の色素沈着

2

2

皮膚の甲錯

2

5

口唇の暗赤化22

歯肉の暗赤化105

舌の暗赤紫化

10

細絡

結果

腹診
症状

男

女

左

5

5

臍傍圧痛抵抗右1010

臍傍圧痛抵抗正中55

回盲部圧痛抵抗52

S状部圧痛抵抗5510

季肋部圧痛抵抗

5

5

5

5

痔疾

10

5

皮下溢血

2

10

月経障害

手掌紅斑

2

5

臍傍圧痛抵抗主成分と瘀血スコアの相関(Pearson’s correlation coefficient)

PC1
‐0.34

r

PC2
‐0.30

PC3
0.04

PC4
0.59

PC5
0.67

主成分4,5と瘀血スコアの相関が見られた

10

問診

強い症状には満点を、弱い症状にはその1/2を与える
33
合計 < 20 : 瘀血でない < 40 : 軽度瘀血 ≥ 40 : 重度瘀血

結果2

0

a

Principal component 5

望診

症状

Principal component 4

瘀⾎スコア

32

-0.1
-0.2
-0.3
-0.4

0

20

40

60

Oketsu score

80

0.2

b

0.1
0

20

40

60

Oketsu score80
34

⾆解析まとめPC 4 + PC 5

1.8

• 詳細な⾊解析によって瘀⾎と関連のある
主成分を特定した• この主成分は、従来多くの経験を必要とした漢⽅の望診の⼀部を再現したものであると⾔える• この装置、⼿法により「未病」の診断を広く⾏うことができると期待される

1.6
1.4
1.2
1

r = 0.72
020

40

Oketsu score

60

主成分4,5によって作られる超平⾯上を回転させたベクトルと瘀⾎スコアの相関
35

36

6

桂枝茯苓丸

化学療法に伴う末梢神経障害（瘀⾎治療の代表的薬）• 薬剤によっては、CTCAEのgrade１を含めると90％程度の症例に認める

桂⽪

桃仁• 末梢神経障害が重篤な場合、化学療法の継続が不可能となることも多い

牡丹⽪• 化学療法中⽌後も末梢神経障害が持続する症例
も認める
芍薬

茯苓
37

各薬剤の末梢神経障害の特徴
タキサン系（ドセタキセル、パクリタキセル、アブラキサン）• 神経軸索の微⼩管を傷害することにより発現• 感覚障害を中⼼とした末梢神経障害が⼿⾸・⾜⾸より先に好発（⼿袋靴下型）し、反射・振動覚の低下、筋⾁痛・筋⼒低下を伴うこともある

⽩⾦製剤• 神経細胞を直接傷害し、2次的に神経軸索も障害• シスプラチンは感覚性の末梢神経障害、振動覚の低下をきたし、運動機能の障害は少ない。下肢末梢から出現• オキサリプラチンは急性・蓄積性の症状を認め、寒冷刺激で誘発・増強される
CANCER Principles & Practice of Oncology, 7 th edition: p2603-2607

刺⼊鍼法と接触鍼法の違い

接触鍼法︓表⽪へ鍼を当てて押す（⽪下への刺⼊は⾏わない）

がんの鍼治療は、刺激の弱い治療が良い︖
鍼刺激の強さ︓⻑く、太い鍼、切⽪、刺⼊→刺激が強い
短く細い鍼、刺⼊しない鍼（接触鍼）→刺激が弱い
体格に応じて推奨される刺激︓
体格がよく⼤きい強壮な⼈には深刺・置鍼・⼤鍼・多鍼
痩せて⼩さい虚弱な⼈には浅刺・置鍼せず・⼩鍼・少鍼
また、10分間の置鍼による治療を⾏った場合、健常⼈や初期癌患者と、末期癌患者では異なる免疫反応を⽰すことが⽰されている（篠原, 1994）

⽬的
がん化学療法に伴う末梢神経障害（
Chemotherapy Induced Peripheral
Neuropathy 以下 CIPN）
に対する接触鍼の治療効果を評価する

刺⼊鍼法︓
表⽪を破り⽪下への刺⼊を⾏う

7

⽅法

経⽳の選択
• 2-3週間に1回の接触鍼法を⾏い、治療前後のCommon Terminology Criteria for Adverse
Events (CTCAE) ver.4と FACT/GOG-Ntx を⽐較した。
• 指先の⽪膚の分光情報を測定

全症例共通: 中脘(CV12), 関元(CV4),天枢(ST25), 然⾕(KI2), 四肢の井⽳
選択⽳: 曲泉(LR8), 期⾨(LR14), 太⽩(SP3),
章⾨(LR13), 太淵(LU9), 中府(LU1),
復溜(KI7), 京⾨(GB25), ⼤陵(PC7),
膻中(CV17), 気海(CV6), ⾜三⾥(ST36),
脾兪(BL20), 肺兪(BL13), 肝兪(BL18),
腎兪(BL23).

全体の結果• CTCAEでは、2例が改善を⽰した• FACT/GOG-Ntxでは、全員が改善を⽰した• 突出痛を訴えていた３⼈の患者全員が突出痛の改善を⽰した• 周辺症状（浮腫、倦怠感、便秘など）の改善も認められた。

結果

Table 2. Patient score and outcome
Case

Table 1. Patient characteristics
Case1
Age/sex
70/F
Performance0
statusPrimary lesion
colon
Chemotherapeutic
oxaliplatin
Agentsregimenof
XELOX+Bev
chemotherapy
Past operations
Yes
Tumor-baring
Yes

CTCAE

2
54/F

3
57/M

4
73/F

FACT/GOG-NTX

0

0

0

breakthrough pain

breastcolon
colon
docetaxel
oxaliplatin
oxaliplatin
paclitaxel
DOC
mFOLFOX+Bev XEROX+Bev
PAC
Yes
Yes
Yes
No
Yes
Yes

before
after

1
2
2

before

11

6

4

9

after

5

2

4

4

beforeafter

Patients' evaluation
last responsible
chemotherapy(month ago)
Adverse effectof CNT

4

2
1
1

0

3
1
1

3

4
1
0

0

0

0

1

0

Improved

Improved

Improved

Improvedconcurrent
1226

concurrent
16

concurrent
1

None

None

None

None

breakthrough pain : 0(None)～4(Very severe)8

考察• すべての患者に何らかの改善が認められた• 化学療法を継続していた2例では、症状の増悪認められず、CNTの予防効果を⽰唆• 症状改善が困難と⾔われている、化学療法終了後1年以上たった症例でも症状の改善が認められた• FACT/COGNtxと酸素飽和度に相関が認められたことから、指先の⾎流が改善していることにより、炎症が改善していると推察された。

Table3 Correlation among hemoglobin concentration (Hb),oxygen saturation (O2 sat), and FACT/COG Ntx score.
FACT
Hb

0.154

O2Sat

-0.559r: correlation coefficient

結論

神経線維の種類，生理学的作用，鍼鎮痛における役割，刺鍼感覚の関係
神経の種類

作用

Aα

筋紡錘

Aβ

触覚，振動覚Aγ

房状神経終末筋紡錘

鍼鎮痛における役割の
エビデンス
Lu, 1983
Lu, 1983;
Toda and Ichioka, 1978C

• CIPNには、まだ有効な標準治療はない• 接触鍼法は侵襲が少なく、CIPNに対する選択肢として有効かもしれない• RCTによる効果の検討と、その機序に対する基礎研究が必要である• ⽪膚の分光情報は、末梢神経障害の評価に有⽤である可能性がある

しびれ感１

Chungら, 1984;
Baldry, 1993;
ピンで刺す
冷覚；圧覚；筋エルゴ Bowsher, 1987;
Anderssom andレセプター
Lundeberg, 1995
深部痛，痒みLiuら, 1986

Aδ

刺鍼によって受ける感覚（Wang ら，1985）

緊張感，重だるさ

鈍痛１

訳注 ：刺鍼により受けるしびれ感をAγ線維の項に位置付けるのは，おそらく誤りである.
Wangらの論文では正中神経領域の刺激により記録が行われ，Ⅱ群線維（Aβ，Aγ）が興奮した時にしびれ感が起こったと記述されている.

講演内容

美容鍼による肌のきめの変化• 漢⽅医学とは︖• 漢⽅診断について• スペクトラルイメージングの応⽤• 治療効果判定に応⽤できるか︖• 遠隔治療は可能か︖• まとめ

色彩･分光画像計測とその応用

Poster#5と関連

53

54

9

実験環境

実験の流れ
鍼治療前後の肌表⾯のRGB画像と三次元データを取得する.
撮影

RGB画像の取得

鍼治療 (全⾝, 顔)

撮影

実験⾵景

暗室

⼈⼯太陽灯

被験者

使⽤機材
Nikon D5100

TAMRON SP 90mm

カメラの設定

カメラ

・男性

・Ｆ値
︓5.6
・露光時間 ︓1/4000
・ＩＳＯ感度︓800

⼈⼯太陽灯

・20代〜50代
・4名

特徴量の取得 (RGB画像)

前処理(十字二値化)

画像解析によりキメに関する特徴量を取得する.

グレイスケール
変換後十字二値化後短直線
マッチング後画像解析によりキメに関する特徴量を取得する.

特徴量
皮溝の総面積短直線の本数

グレイスケール
原画像
変換後

短直線
マッチング後十字二値化後皮溝の方向性
短直線の傾きの標準偏差

皮溝の方向性
短直線の傾きの
標準偏差

特徴量
皮溝の平均太さ
十字二値化後と細線化後の黒画素数の比2018/2/9

短直線マッチングの平均

 の画素値> 閾値
皮溝の平均太さ・の平均


 の画素値細線化後の
閾値

黒画素数の比58

細線化

十字二値化後短直線
マッチング後画像解析によりキメに関する特徴量を取得する.

特徴量
皮溝の総面積短直線の本数

グレイスケール
変換後十字二値化後短直線
マッチング後皮溝の方向性
短直線の傾きの標準偏差
皮溝を検出する処理
細線化後
キメには様々な太さや長さの皮溝が存在

黒画素上に短くて細い直線を配置して皮溝を検出
関東学生研究論文講演会(内田)特徴量
皮溝の総面積短直線の本数
皮溝の方向性
短直線の傾きの標準偏差

皮溝の太さを得る処理[小林ら，2010]
十字二値化後細線化

短直線マッチング
2018/2/9

十字二値化後と関東学生研究論文講演会(内田)画像解析によりキメに関する特徴量を取得する.
グレイスケール
変換後・→

2018/2/9

特徴量

細線化後

マスク

→
57

関東学生研究論文講演会(内田)皮溝を鮮明化するための二値化処理

十字二値化

細線化後

特徴量
皮溝の総面積短直線の本数

細線化前

細線化後

細線化後

特徴量
皮溝の平均太さ
十字二値化後と細線化後の黒画素数の比短直線

592018/2/9[竹前ら，2001]
関東学生研究論文講演会(内田)60

10解析に用いた画像の例
撮影画像

皮溝の面積

施術前

短直線の本数を用いて皮溝の面積を表す.

施術後

皮溝の面積

グラフ タイトル

施術前

施術後

見た目における比較

5500

短直線の本数 [本]300 px300 px

皮溝の方向のばらつき
短直線の傾きの標準偏差 [度]

グラフ タイトル
皮溝の方向のばらつき

被験者1
被験者2
被験者3
被験者4

38
37
36
35
34
33

全員が減少している.

31
30

施術前
1

系列1

系列2

施術後

キメが整うと⽩く⾒えるらしいので⾒てみたパラメータ
グラフ タイトル
グレイスケール画像の平均画素値

65
60

平均画素値

55
50

被験者1
被験者2
被験者3
被験者4

45
40

増加している人の
方が多い.

35
30
1

系列1

系列2

4900

全員が増加している.

4800

施術前
1

系列1

系列2

施術後
2

系列3

系列4

鍼治療によって皮溝の面積が増える傾向にある.

細線化前後の黒画素数比で皮溝の平均太さを表す.
グラフ タイトル
皮溝の平均太さ

2.1
2
1.9

被験者1
被験者2
被験者3
被験者4

1.8
1.7

全員が増加している.

1.6

施術前
1

系列1

グレイスケール画像の平均画素値

施術前

5000

系列4

鍼治療によって皮溝の方向がそろう傾向にある.

25

5100

1.5

2

系列3

5200

皮溝の平均太さ

短直線の傾きの標準偏差で皮溝の方向のばらつきを表す.

32

5300

4600

皮溝の平均太さ [pixel]※ 比較のために ※※明るさを上げたもの※

5400

4700

・肌のハリが増したような感じがする人が多い.
・キメがはっきりしたような感じがする人が多い.

被験者1
被験者2
被験者3
被験者4

5600

系列2

施術後
2

系列3

系列4

鍼治療によって皮溝が太くなる傾向にある.

講演内容• 漢⽅医学とは︖• 漢⽅診断について• スペクトラルイメージングの応⽤• 治療効果判定に応⽤できるか︖• 遠隔治療は可能か︖
• まとめ

施術後
2

系列3

系列4

鍼治療によって肌が明るくなる傾向にある.
色彩･分光画像計測とその応用

66

11

顔画像から3つの病態を評価するシステムを構築

目的

研究の流れ
データベースの構築

専門医による
3つの病態の評価

機械学習(SVR)による
評価値推定

顔画像

変調後顔画像変調後顔画像Poster#6より
特徴量抽出

肌の色素成分分離
表面反射光の抽出
ヘモグロビン
光沢変調
変調

顔画像の診断特徴量＋
評価値

専門医による
評価値

SVRによる
評価値推定67

医師による顔の診断

68

顔から診断可能な漢方医学における病態

顔色

瘀血

血虚

患者数

光沢・ヘモグロビン変調顔画像

7人

病態と関係する肌の成分

陰虚

瘀血
血虚

顔色や肌の状態を
見て診断

血の滞り

血の不足

水分の不足

例） 病態

漢方薬

瘀血

丹参

血虚

当帰

陰虚

地黄

×

ツムラ

自分で診断

漢方薬の処方

自分で顔を撮影し病態を診断できれば対応する漢方薬を処方できる
2016年度 卒業研究発表会（松下）．

ヘモグロビン

陰虚光沢

ヘモグロビン変調 5段階

艶ハリ

顔画像数

＝ 計175枚

光沢変調 5段階
70

69

評価値推定結果

ヘモグロビン・光沢変調手法

8割を教師データ2割をテストデータとして推定精度の検証を行う．

ヘモグロビン変調手法

病態の評価基準推定誤差の算出×h

色素成分分離 [津村ら, 2003]

h= 0.5

h = 1.5
瘀血

光沢あり

光沢なし

300

300

200

200

200

100

100

×g ＋
光沢画像

光沢なし

3

4

5

0
－3 －2 －1 0

g = 0.5 g = 1.5

陰虚

血虚

300

頻度

光沢変調手法＝重度
2

推定値と評価値の誤差の分布

ヘモグロビン成分に係数hを掛けて変調し再構成

－

1

陰影

頻度

原画像

メラニン

頻度

ヘモグロビン

健常

SVRによる推定値
専門医による評価値
－
(小数値)
(整数値)

1

2

3

0
－3 －2 －1 0

100

1

2

3

0
－3 －2 －1 0

1

2

3

誤差
誤差
誤差
推定誤差が±1.0の範囲に多くあり精度よく推定できた．

画像減算により抽出した光沢画像に係数gを掛けて変調し合成
71

72

12

血虚

陰虚

領域
ヘモグロビン濃度
範囲
眉間
ヘモグロビン濃度 標準偏差 左目下
ヘモグロビン濃度
範囲
右頬
ヘモグロビン濃度
範囲
右目下
ヘモグロビン濃度 最小値
全体

順位
1
2
3
4
5

ヘモグロビン濃度
光沢の輝度値
ヘモグロビン濃度
ヘモグロビン濃度
ヘモグロビン濃度

範囲
範囲
最小値
平均
平均

光沢の輝度値
光沢の輝度値
光沢の輝度値
光沢の輝度値
光沢の輝度値領域
標準偏差 右目下
範囲
右目下
平均
右頬
範囲
右頬
最大値 右目下

順位
1
2
3
4
5

2018/2/9

領域
眉間
左頬
眉間
左頬
右頬

2016年度 卒業研究発表会（松下）

漢方医による考察
瘀血

まとめ

血虚

顔画像から病態の評価システムを作成した．

・ヘモグロビン濃度が多い．
・漢方医が診断する際に注目する眉間が1位

300

瘀血

血虚

・光沢の輝度値が多い．

今後の課題

・光沢が現れやすい部分が選択されている．

被験者数を増やし，様々な場合に応じた評価システムを構築する．

・皮膚が薄く陰虚が表れやすい目の下が1位

自動で顔認識から診断まで行えるよう改良する．

有用な特徴量を選択できた．

200
100

0
300

3つの病態の評価値を精度よく推定することができた．

陰虚

誤差の頻度分布

頻度

瘀血

順位
1
2
3
4
5

頻度

各病態で選択された上位5種の特徴量

200
100
0
300

陰虚

頻度

有⽤な特徴量とその考察

200
100
0
－3

－1 0 1

73

まとめ

3

誤差
74

謝辞

• ⾮接触⽣態情報によって、本講演で紹介した研究の多くは千葉⼤学⼤学院 融合科学研究科 津村研究室と共同で⾏われました研究の成果です。研究の紹介を快諾いただいた津村徳道准教授と研究室の皆様に感謝いたします。

漢⽅医学的診断を補助・再現できる
治療効果を評価できる• 今後の課題

簡便化
コンパクト化

75

76

13

Posters

Poster #1
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

LED を用いた外科手術用照明スペクトルの最適設計
Optimal design of illuminant spectra for improving
intraoperative color appearance of organ
倉渕瑶子 1), 村井希名 1), 中野和也 2), 大西峻 2), 中口俊哉 2)，
羽石秀昭 2)
Yoko Kurabuchi 1), Kina Murai 1), Kazuya Nakano 2),
Takashi Ohnishi 2), Toshiya Nakaguchi 2), Hideaki Haneishi 2)1) 千葉大学大学院工学研究科
2) 千葉大学フロンティア医工学センター
1) Graduate School of Engineering, Chiba University, CHIBA,JAPAN
2) Center for Frontier Medical Engineering, Chiba University,
CHIBA, JAPANAbstract:
When surgeons evaluate the condition of the organs and makediagnosis, color difference is important information, but it ispossible too subtle to judge. Digestive surgical operation includes
transplant and anastomosis. In this situation, it is necessary tojudge whether the organ to be transplanted is healthy or not. To
obtain clearer view of blood circulation, we previously designed an
optimal white illuminant by combining with some kinds of LEDs
through computer simulation. However, the effect of the optimal
illuminant in real surgical space was unknown. In this study, we
improved the method of optimal illuminant design by using color
appearance model, CIECAM02 in order to take viewing condition
into account in calculating color difference. The optimal illuminant
was designed by weighting the intensities of LEDs properly andcombining them. We conducted an experiment with a rat’s cecumin order to investigate the effect of the optimal illuminant with aspectrally tunable light source. The optimal and a conventional
illuminant were irradiated and the color differences under each
illuminant were calculated. The color difference under the optimal
illuminant was greater than a conventional illuminant and theeffect of the optimal illuminant was confirmed.

Optimal design of illuminant spectra for improving
intraoperative color appearance of organ
Yoko Kurabuchi 1), Kina Murai 1), Kazuya Nakano 2),
Takashi Ohnishi 2), Toshiya Nakaguchi 2), Hideaki Haneishi 2)
1) Graduate School of Engineering, Chiba University, CHIBA, JAPAN
2) Center for Frontier Medical Engineering, Chiba University, CHIBA, JAPAN1 INTRODUCTION
Visual diagnosis has played an important role for the successful surgery when identifying conditions oforgans and recognizing target sites. However, visual diagnosis is difficult because color contrast is subtle
between noticed and peripheral regions. Recently, surgery assistance systems based on spectroscopic
analysis have been studied [1-3]. Optimizing the surgical illuminant is only means for improvement for
direct observation and the spectral design is a major task in the optimization. There are some works studying
the spectral design based on simulation, but evaluation experiment with a really fabricated light source isinsufficient in these works.
In this paper, we reproduced spectral characteristics of simulated illuminant with a spectrally tunable
light source and evaluated the effect of the illuminant. In this study, for the purpose of clarifying the blood
circulation, we designed an optimal white illuminant in consideration of metamerism of human vision. We
used light emitting diodes (LEDs) for designing the optimal illuminant. Then we conducted an in-vivo
experiment with a rat’s cecum in order to check the effect of the optimal illuminant. We compared color
differences under the optimal illuminant and a conventional illuminant by irradiating two illuminantconditions.

2 Method
We defined the optimal illuminant E op   by a combination of spectral radiations of commerciallyavailable LEDs. The spectral distribution E op   is expressed by the following equation:

E op   N w E  , 0  w  1, n  1,, N
n

n

n

(1)

n 1

Here N is the number of LEDs and E n   , n=1,..., N denotes the normalized spectral radiation of eachLED. wn denotes normalized weight for n-th LED, and its range is limited from 0 to 1. In the optimization,
the weight { wn are the parameters to be optimized. We used color difference ΔE’ based on color
appearance model, CIECAM02 as the evaluation index[4].
We defined the optimal illuminant as a white illuminant which can enhance color difference between
normal and ischemic blood circulation areas. Figure 1 shows the flow of the optimization. In this method,
we used two kinds of color differences,  E op   and  E op   . Color difference  E op  

Figure 1 : Flow chart of illumination optimization
expresses color difference between normal and ischemic circulation color, and color difference  E op  
for a white object under two illuminants is calculated using the spectral distribution E op   and aconventional illuminant distribution E com   . The optimal parameter cE op   is expressed asfollows:cE op     E op     E op  (2)

3 Experiment and result
3.1 Optimal illumination design
We collected reflectance spectra of blood circulation to simulate the optimal illuminant. A rat’s cecum
was set as the target of the evaluation experiment. The target was fixed on the jig and a half of it modeled
the ischemic area by blocking the blood flow (Figure 2(a)). We captured reflectance spectra every one
minutes during 4 minutes. Spectral radiance meter SR-LEDW (Topcon Co.) was used to measure the spectraof ischemic area. Figure 2(b) shows spectral reflectance of blood circulation. Time-dependent change wasremarkable in 600-720nm area.
In this paper, we used a programmable illuminator, Light Replicator (Telelumen Co.) for the evaluation
experiment which uses 16 kinds of LEDs. Figure 2(c) shows spectral distributions of the LEDs. We

designed optimal illuminant by using reflectance spectra of blood circulation and LED spectral
distributions. The spectral reflectance of normal circulation was defined by that at the beginning ofblocking the blood flow. The spectral reflectance of ischemic area was modeled by that at 4 minutes
after the blood vessel was blocked. Figure 2(d) shows the result of the optimal illuminant. The mostdominant spectrum was at around 650-720 nm where marked difference between normal and ischemic
reflectance existed.

Figure 2 (a) Experimental environment, (b) Reflectance spectra of blood circulation,(c) Spectral distribution of LEDs (d) Spectral distribution of the optimal illuminant

3.2 Evaluation experiment
We reproduced the optimal illuminant by the Light Replicator itself to evaluate its effect. A commercial
surgical lamp Skylux Crystal (Yamada Shadowless Lamp Co.) was set as a conventional illuminant. We
also reproduced the spectral distribution of the conventional illuminant by the Light Replicator. We definedcolor difference α as tissue color variation between before and after blocking the blood flow and measure
it as an index of the effect of the optimal illuminant. The target was set in the same environment as dataacquisition step of the reflectance spectra. The optimal illuminant and the conventional illuminant irradiatedthe target and color differences α were calculated from measured spectral radiance by a spectral radiancemeter (SR-LEDW, Topcpn Co.) every 2 minutes in 8 minutes.
Table 1 shows the color difference in 6 minutes after the block of the blood flow and simulated color
difference. This simulation result shows that the optimal illuminant enables to emphasize the blood circulatecondition. The color difference in the evaluation experiment with the Light Replicator shows the sametendency as the simulation result.
Table 1: Color contrast between normal and ischemic area
Color difference ΔE’Conventional illuminant

Optimal illuminant

Simulation

7.5

10.4

Evaluation experiment

8.0

9.1

4 Conclusion
The reflectance spectra of intraoperative organs were collected from a rat’s cecum by using spectra
radiance meter. The optimal illuminant was designed combining LEDs. The evaluation experiment wasperformed by using a programmable illuminator and the effect of the optimal illuminant was confirmed. In
the future, we will carry out subjective evaluation by surgeons.

5 References[1] Wang, H.C. and Yung-Tsan C. 2012. Optimal lighting of RGB LEDs for oral cavity detection,
Optics express 20(9) 10186-10199.
[2] Litorja, M., Brown, S. W., Lin, C., and Ohno, Y. 2009. Illuminants as visualization tool for clinicaldiagnostics and surgery, SPIE BiOS: Biomedical Optics, 71691B-71691B-9.
[3] Murai, K., Kawahira, H., and Haneishi, H. 2013. Improving color appearance of organ in surgery
by optimally designed LED illuminant, World Congress on Medical Physics and Biomedical
Engineering, 1010-1013.
[4] Luo, M. R., and Li, C., 2013. CIECAM02 and its recent developments.
Processing and Analysis, 19-58, printers to the Springer nature.

Advanced Color Image

Poster #2
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

植物遺伝資源の画像と収集地点の環境情報との関連性推定システムの開発
Development of an Estimation System for Relevance
Between Image of Plant Genetic Resources andEnvironmental Information of the Collection Point
竹谷勝 1)、山﨑福容 1)
Masaru Takeya 1), Fukuhiro Yamasaki 1)1) 農研機構 遺伝資源センター 保存技術・情報チーム
1) Genetic Resources Conservation and Information Team,
Genetic Resources Center, National Agriculture and Food
Research Organization, IBARAKI, JAPAN

Abstract:
Geographical information of the collection point of plant genetic
resources and photographs of the plant and habitat have beenaccumulated into the genetic resources database. Recently,
disclosure of weather data such as temperature and precipitation
is progressing on the internet. There are some cases thatcharacteristics of shape and color of plants and seeds are closely
related to environment of the habitat. If the relationship between
plant image and habitat environment can be evaluated as afeature quantity, knowledge to estimate the habitat of plant withsome morphological characteristics can be obtained. In this study,
estimation systems to classify species and weather environmentof the habitat are made by using a deep convolutional activation
feature derived from deep learning of seed images.
1. はじめに
植物遺伝資源の探索・収集により、収集地点の位置情報、及び植物体や生息地周辺の写真が多数蓄積され、データベース化が行われている。また近年、インターネット上では、地球各地の気温や降水量などの気象データの公開が進んでいる。植物体や種子の形態・色な
どの特性は生息地の環境と密接に関連している場合があり、植物画
像と生息地環境の関連性を解析して特徴量として評価することが可能になれば、任意の形態的特性を持つ遺伝資源の生息地を推定するための知見を得ることができる。
本研究では、画像認識の分野で近年目覚ましい成果をあげている
畳み込みニューラルネットワーク（CNN）を利用して種子画像を用いた収集地点の気象などの推定を行った。はじめに、植物の画像に対する CNN の適合度を検証するため、種子画像による植物種の分類システムを構築した。次に植物種子画像から収集地点の気象を推定するシステムを作成した。また、比較検討のため、植物の特性評
価データを用いた収集地点の気象を推定するシステムを構築した。
2. 関連性推定システム
2.1 植物種の分類システム
本研究で用いた種子画像は、農業生物資源ジーンバンク 3)で公開している画像データから得た 5 種の植物種の画像である（表 1）。被写体の数や向きによる差を除くため、4 粒が撮影され画像上部の 2 粒
はへそを上にし下部 2 粒はへそを中心に置いた画像を用いた（図1）。
2 種の植物種を分類するシステムにおいては、使用する画像数は少ない方の植物種数に合わせて、多い方の植物種からランダムに画像を抽出する。システム構築に用いた CNN は、大規模画像データ

ベース ImageNet1)の画像認識大会で 2012 年に優勝した Alex Net2)である。種子画像を Alex Net に入力し、1 つの画像当たり 4096 次
元の CNN 特徴量を抽出して転移学習に用いる。転移学習はサポー
トベクターマシン（SVM）により行った。CNN 特徴量を学習デー
タとテストデータに 7 対 3 でランダムに分割し、テストデータの正答率を算出する。一連の処理は Matlab のプログラミングで行った。同じ属の植物種を分類して 10 回ずつ分類システムを実行した
結果は表 2 のとおりである。
表1

本研究の種子画像に用いた植物種
植物名
学名
ダイズ
Glycine max Merrill
ツルマメ
Glycine soja Sieb. et Zucc.
アズキ
Vigna angularis (Wild.) Ohwi et Ohashi
ケツルアズキ Vigna mungo (L.) Hepper
ツルアズキ
Vigna umbellata (Thunb.) Ohwi et
Ohashi

ツルマメ
図1

ケツルアズキ

画像数
266
1048
584
83
86

ツルアズキ

種子画像の例

表2

植物種の分類システムの結果
植物種
不正解数 試行回数 正答率（%）
ダイズ・ツルマメ
5
3500
99.9
アズキ・ケツルアズキ
0
500
100
アズキ・ツルアズキ
2
520
99.6
ケツルアズキ・ツルアズキ
0
500
100

2.2 種子画像を用いた収集地点の気象推定
気象データとして、地球上各地点の気象情報を公開しているWorldClim ver.24)から年間平均気温と年間平均降水量を抽出して、

収集地点との対応表を作成した。次に、ケツルアズキを対象として
年間平均気温については 15.6℃以下と 23℃以上、年間降水量については 534mm 以下と 889mm 以上のそれぞれ 2 つのグループを用いた。2.1 の植物種の分類システムと同様に CNN 特徴量を用いて種子画像からの気象グループの推定を行った結果は表 3 のとおりである。4096 次元の CNN 特徴量と収集地点の気象データとの相関係数については、年間平均気温が-0.4923 から 0.4831、年間平均降水量が-0.5481 から 0.5841 の範囲であった。
表3

種子画像を用いた収集地点の気象推定の結果
気象データ
不正解数
試行回数
年間平均気温43180
年間平均降水量54180

正答率（%）
76.1
70.0

2.3 特性評価データを用いた取集地点の気象推定
2.2 の種子画像を用いた推定と比較・検討するため、特性評価デー
タを用いた収集地点の気象推定を行った。特性評価データとは、植物遺伝資源の形態や耐病性などの特性を計測・観察したデータである。今回は、ケツルアズキの特性評価データとして形態的特性に関連した主茎長(cm)・主茎節数・1 莢内粒数・100 粒重(g)・分枝数の5 項目を用いた。次に、特性評価データを有する遺伝資源の収集地
点を、サンプルの分布に合わせて年間平均気温については 16.3℃以
下と 17.2℃以上、年間降水量については 534mm 以下と 614mm 以
上のそれぞれ 2 つのグループを用いた。2.1 の植物種の分類システ
ムと同様に CNN 特徴量を用いて種子画像からの気象グループの推定を行った結果は表 4 のとおりである。
表4

特性評価データを用いた取集地点の気象推定の結果
気象データ
不正解数
試行回数
正答率（%）
年間平均気温31
100
69
年間平均降水量
36
100
64

3. 考察
種子画像を用いた植物種の分類システムでは、99.6%以上の正答率であったことから、CNN 特徴量を基にする分類の有効性が示され、実用化の可能性が高いことを確認できた。種子画像を用いた収集地点の気象推定では、70%以上の高い正答率が得られたことか
ら、種子画像と気象データの関連性が存在することが示された。特
性評価データを用いた推定においても、正答率は 64%以上程度であることから、種子画像を用いた推定の有効性が示された。また、種子画像と特性評価データを用いた推定において、双方とも年間平均気温が年間平均降水量に対して高い正答率であったことから、収集地点の年間平均気温の方が種子の形態的特徴との関連性が高いと推
察した。
4. 結論
種子画像から導出した CNN 特徴量を基にして、植物種の分類や収集地点の環境を推定することについて、実現の可能性があることを確認できた。今後は、サンプル数・環境項目・特性評価項目を増やすとともに、種子以外の部位や収集地点周辺の画像を用いて多様な条件でのシステムの精度の検証を進める。
参考文献等
1) http://www.image-net.org/
2) Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton"ImageNet Classification with Deep Convolutional Neural
Networks" In NIPS, pp.1106-1114, 20123) https://www.gene.affrc.go.jp/
4) http://www.worldclim.org/

Poster #3
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

Analysis of Quantitative Phase Obtained byDigital Holography on H&E Stained
Pathological Samples
Syukran Hakim Bin Norazman 1), Tomoya Nakamura1,2),
Fumikazu Kimura 3), Masahiro Yamaguchi 1)
1) School of Engineering, Tokyo Institute of Technology,
KANAGAWA, JAPAN
2) PRESTO, Japan Science and Technology Agency,
TOKYO, JAPAN3) Department of Health and Medical Sciences,
Shinshu University, NAGANO, JAPAN

Abstract:
The application of digital holography in cell imaging is gaining
attraction as it gives quantitative information related to optical
thickness without the need of staining. In contrast, therelationship between color information and quantitative phaseinside histopathology specimen is not yet well understood. In thisstudy, we captured the RGB image and digital hologram of H&E(Hematoxylin and Eosin) stained liver tissue. Then, we analyzed
the relationship between the RGB and quantitative phase fornuclei region. In addition, we calculated the textural featuresinside RGB and phase image for application in Hepatocellular
Carcinoma (HCC) grading. Upon experimental investigation, we
found that textural features in phase images are significantly
related to the color images, and varies between HCC grades
which bring the possibility to be utilized for HCC diagnosis orclassification without staining procedure.

Analysis of Quantitative Phase Obtained by Digital Holographyon H&E Stained Pathological Samples
Syukran Hakim Bin Norazman, Tomoya Nakamura, Fumikazu Kimura, Masahiro Yamaguchi
Backgroundprocedures are explained as follows; first, theRecently, digital imaging and computational

RGB image and hologram of liver tissue samples

power has been widely utilized in histopathology

were captured. Next, the phase image at the in-field where tissue samples are imaged andfocus plane was reconstructed from the hologram.

diagnosis process is conducted with computer

After that, nuclei segmentation was conducted onaid[1]. Moreover, color and morphologicalthe RGB image and the resulting contour was

information are utilized to get more accurate

later utilized as a mask. Then, both images are

diagnosis. Meanwhile, application of digitalconverted to grayscale and the Haralick featuresholography in cell imaging is gaining focus due toobtained by GLCM (Gray-Level Co-Occurrence

the fact that it can provide contrast in form of

Matrix) algorithm [4] (ASM, homogeneity,

quantitative phase without the need of staining

contrast) was used for the texture features

process[2][3]. However, the relationship between

calculation. The features were calculated atcolor and phase information inside histopathology

distance 0.335μm, 4 directions (0,45,90,135°) andspecimen is not yet well clarified. Our objective

the maximum value was used. Nearly 100of this study is to analyze the relationshiparbitrary nuclei were selected from each sample

between both information by comparing theand used for this calculation.

textural features between these two images.
Finally, we want to apply the calculated features

Resultsfor Hepatocellular Carcinoma (HCC) grading.

Figure1 below are the examples of RGB andphase image of the samples. The yellow line

Methodshows the nuclei region.

We developed an optical system which combines
an off-axis digital holographic and a bright-fieldmicroscopy. In holographic mode, the sample isilluminated with a red laser (632 nm). In brightfield mode, a white light-emitting diode (LED) isused. The image is magnified using an 40X
NA=0.75 objective lens. The hologram and RGB
image of the sample are captured using a chargedcoupled device (CCD) camera. Tissue micro arrayslide (Biomax LV723) containing HCC positive
liver tissues (grade 1-3 Edmondson and Steiner
Grading System) with adjacent normal livertissues were used. Samples were stained using
Hematoxylin and Eosin (H&E). A total of 12
samples were examined. The experimental(a) Normal nuclei(b) G1 nuclei

(b) G2

nuclei(b) G3 nuclei

Fig.1. Normal and HCC nuclei images.

(c) Contrast
Fig.2. GLCM features from phase image

The texture features of nuclei phase image areConclusion

depicted in Figure2. The distinction between

We measured the quantitative phase of normal

normal and cancer nuclei can be observed in theand HCC hepatocytes using digital holography.

GLCM contrast and homogeneity features. The

Upon experimental investigation, we found thatdifference between cancer grades is most apparent

the textural features inside RGB and phase image

in GLCM homogeneity feature.

are significantly related. Moreover, the feature
variation in phase image between the cancer
grades might bring the possibility to be exploitedfor HCC diagnosis or classification without
staining procedure.
References
1) S. Al-Janabi, A. Huisman, and P. J. Van Diest,"Digital pathology:current status and future(a) Angular Second Moment (ASM)

perspectives," Histopathology, vol. 61, no. 1,pp.
1-9, 2012.
2) X. Mo, B. Kemper, P. Langehanenberg, A.
Vollmer, J. Xie, and G. v.Bally, "Application ofcolor digital holographic microscopy for analysisof stained tissue sections," Proc. SPIE, vol. 7367,
p.736718,2009.
3)Hoa V. Pham et. al., “Quantitative phaseimaging to improve the diagnostic accuracy ofurine cytology”,Cancer ctyopathlogy 124:9, p(c) Homogeneity641-650, 2016
4)Haralick et. al., "Textural features for image
classification", IEEE Transactions on systems,
man, and cybernetics, vol. 3, no. 6, Nov 1973

Poster #4
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

２バンド近赤外動画像を用いた暗所における非接触脈波計測
Dual-band Video-based Measurement for noncontact
Pulse Rate Estimation in Infrared
三橋亮太 1), 岡田弦樹 2), 栗田幸樹 2)
川人昇二 3), 香川景一郎 3), Chawan Koopipat 4), 津村徳道 5)
Ryota Mitsuhashi 1), Genki Okada 2), Koki Kurita 2),
Shoji Kawahito 3), Keiichiro Kagawa 3), Chawan Koopipat 4),
Norimichi Tsumura 5)1) 千葉大学大学院融合理工学府
2) 千葉大学大学院融合科学研究科
3) 静岡大学電子工学研究所
4) 王立チュラロンコン大学理学部画像印刷学科

5) 千葉大学大学院工学研究院
1) Graduate School of Science and Engineering, Chiba
University, CHIBA, JAPAN
2) Graduate School of Advanced Integration Science, Chiba
University, CHIBA, JAPAN3) Research Institute of Electronics, Shizuoka University,JAPAN4) Department of Imaging and Printing Technology,
Chulalongkorn University, Bangkok, Thailand
5) Graduate School of Engineering, Chiba University, CHIBA,JAPAN

Abstract:
In this paper, we propose a non-contact pulse wave monitoring
method which is robust to fluctuation of illumination by using
dual-band infrared videos. The corresponding two-band pixel
values in the videos can be separated into hemoglobin andshading components by applying separation matrix inlogarithmic space for two pixel values. Since the shading
component is separated, the extracted hemoglobin will be robust
to the fluctuation of illumination. The pixel values of the regionof interest were spatially averaged all over the pixels for eachframe. The averaged values are used to form the raw trace
signal. Finally, the pulse wave and pulse rate were obtained fromraw trace signal through some signal processing such as detrend,
adaptive bandpass filter, and peak detection. We evaluated theabsolute error rate for pulse rate between the estimated value
and the ground truth obtained by the electrocardiogram. Fromthe experiment, we found that the performance of our method
was greatly improved in comparison with the conventional
method by means of one-band infrared video.

1pA13
２バンド近赤外画像を用いた暗所における非接触脈波計測
Two-Band Infrared Video-Based Measurement for NonContact Pulse Wave Detection on Face without Visible Lighting○

三橋亮太 1)，岡田弦樹 2) ，栗田幸樹 2) ，川人祥二 3) ，香川景一郎 3) ，Chawan Koopipat4) ，津村徳道 5)○
Ryota Mitsuhashi1) , Genki Okada2) , Koki Kurita2) , Shoji Kawahito3) ,Keiichiro Kagawa3) , Chawan Koopipat4) and Norimichi Tsumura5)
千葉大学大学院 融合理工学府 1)，千葉大学大学院 融合科学研究科 2) ，静岡大学 電子工学研究所 3) ，チュラロンコン大学 理学部印刷画像学科 4) ，千葉大学大学院 融合科学研究院 5)，
Graduate School of Science and Engineering, Chiba University1), Graduate School of
Advanced Integration Science, Chiba University2), Research Institute of Electronics, Shizuoka
University3), Department of Imaging and Printing Technology, Chulalongkorn University 4),
Department of Imaging Sciences, Graduate School of Engineering, Chiba University5)
E-mail: r.mitsuhashi@chiba-u.jp
In this paper, we propose a non-contact pulse wave monitoring method which is robust to fluctuationof illumination by using two-band infrared videos. The corresponding two-band pixel values in the videos
can be separated into hemoglobin and shading components by applying separation matrix in logarithmic
space for two pixel values. From the experiment, we found that the performance of our method was greatly
improved in comparison with the conventional method by means of one-band infrared video.
１．はじめに近年カメラを使った非接触による生体情報の検出に関する研究が報告されている[1]．Zeng らは，防犯カメラなどに用いられる 1 バンドの近赤外画像を用いて解析を行うことで，暗所においても心拍数を推定する手法を提案した[2]．この研究は，夜間における乳幼児のモニタリングやドライバーの眠気を検知するドライバーズモニタリングといった技術に応用できる可能性が挙げられる．
しかし，この手法は照明環境が変化することにより心拍数の推定精度が低下するという問題点が存在する．そこで，本研究では先行研究の 1 バンド近赤外画像に対して，2 バンド近赤外画像を用いることで照明環境の変動を受けにくい，暗所でも利用可能な生体情報の検出を目的とした．
２．実験方法
本研究では，2 バンド近赤外動画像測定システムを用いて，動画像の測定を行った．測定システムに入射した光はビームスプリッターにより分光され，2 つのモノクロカメラに記録される．それぞれのモノクロカメラの前方に，中心波長が 780nm( バ ン ド 幅 ± 10nm) の バ ン ド パ ス フ ィ ル タ と ，900nm(バンド幅±10nm)のバンドパスフィルタを取り付けることで Fig1 のような２バンド近赤外動画像を取得した．
Fig2 に測定環境を示す．実験は暗室下で行われ，被験者は２バンドカメラから 0.5m，人工太陽灯から 0.3m 離れた位置になるべく安静状態で座るよう指示した．測定した画像は 640
×480 ピクセルとし，30[fps]で 2 分間顔画像の撮影を行った．また，撮影された画像は 8bit ビットマップ画像として出力し，カメラでの撮影と同時に心電図で正解値を測定した．本研究では，点灯直後の人工太陽灯の照明状態が不安定であり，ちらつきが発生することから，このちらつきを照明
環境の変動であると仮定して撮影を行った．この照明環境の変動が含まれた入力動画像を用いて，照明環境の変動にロバストな脈波信号の計測を目指す．

(a) 780nm band(b) 900nm band

Fig1 Two-band infrared videos

Fig2 Experimental setup

Fig3 に提案手法の概要を示す．設定した関心領域の各画素値に対して対数をとることで，撮影した動画像は濃度空間へと変換される．このとき，照明成分は空間的に変化しな
いため，濃度空間上では(1,1)ベクトルに固定される．ヘモグ
ロビンベクトルの推定に関しては，基底ベクトルを 1 度ず
つ回転させ，その都度心拍数を推定することにより，推定した心拍数が正解値に最も近い基底ベクトルを本手法のヘモ
グロビンベクトルとして決定した．従って，入力動画像は基底変換行列により Fig4 に示すような陰影成分とヘモグロビ
ン成分に分離される．
分離された動画像の内，本研究ではヘモグロビン動画像に着目し，以後の解析を行う．ヘモグロビン動画像の額部分に関心領域を設定し，横軸を時間，縦軸を関心領域内の平均画素値として解析を行うことで，Fig5 に示すような脈波信号の原信号が得られる．この原信号は脈波信号以外のノイズも多く乗っているため，いくつかの信号処理が必要である．ここでは，最小二乗法を用いた信号の傾き除去と狭帯域でのバンドパスフィルタを用いた．得られた原信号に対してパワースペクトル密度推定を行うことで，取得した原信号の周波数分布を取得した．一般的な成人の心拍数は45[bpm]~180[bpm]であり，これに対応した周波数，即ち0.75[Hz]~3.0[Hz]の区間でバンド幅を決定した．本研究では，
0.75[Hz]~3.0[Hz]の区間の中で最もパワースペクトルが大きい周波数 f max を算出しその近傍 0.2[Hz]，即ち，[ f max －0.2,
f max +0.2 ]をバンド幅としてバンドパスフィルタを適用した．これらの信号処理により，Fig6 のような脈波信号を取得
した．最後に，ピーク検出を行い赤点で示されるピーク点を検出した後，隣り合ったピーク同士の差を取ることで，脈波間隔と呼ばれる特徴量を取得した．その後，脈波間隔を用いた以下の式により心拍数を推定した．
PR 

60
RR interval

Fig3 The concept of our proposed method(a) Hemoglobin(b) Shading
component
component
Fig4 Separation videos

Fig5 Raw trace of the pulse wave

(1)

ここで，RRinterval は取得した脈波間隔を示す．以上により，撮影した顔画像から心拍数を推定し，同時に測定した心電図から同様の手順で算出した心拍数との比較を行った．
３．実験結果Fig6 Pulse wave through detrend, bandpass
照明変動がある環境下で，従来手法である 1 バンド近赤filter, and peak detection
外カメラと，提案手法である 2 バンド近赤外カメラの 2 通りの方法で心拍数を推定した．それぞれの推定結果を心電 Table1 Absolute error rate of estimated pulserate
図から取得した心拍数との絶対誤差率で比較した結果をFig7 に示す．Fig7 より，従来手法に比べ提案手法の方がより高い精度で心拍数を推定していることを確認した．
４．まとめ
本研究では，2 バンド近赤外動画像を用いて，照明環境の変動にロバストな脈波信号の検出を行った．その結果，従来法と比較して，高い精度で心拍数を検出したが，ヘモグロビ
ンベクトルの推定手法の改善や，信号処理部のアルゴリズ
ムの改善により，さらなる推定精度の向上が期待できる．
文献1) Poh MZ, McDuff DJ, Picard RW：Non-contact, automated cardiac pulse measurements using video imaging andblind source separation, Opt express 18:10762-10774
2) Wei Z, Qi Z, Yimin Z, Guoqing X, Guoyuan L：Infrared video-based non-invasive heart rate measurement

Poster #5
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

カメラによる鳥肌生起に伴う肌のキメの変化の追跡
Image-Based Non-Contact Monitoring of Skin Texture
Changed by Piloerection for Emotion Estimation
内田美尋 1)，赤穂莉奈 2)，小川恵子 3)，津村徳道 4)Mihiro Uchida 1), Rina Akaho 2), Keiko Ogawa-Ochiai 3),
Norimichi Tsumura 4)1) 千葉大学大学院融合理工学府
2) 千葉大学大学院融合科学研究科
3) 金沢大学附属病院漢方医学科
4) 千葉大学大学院工学研究院
1) Graduate School of Science and Engineering, CHIBA
University, Chiba, JAPAN
2) Graduate School of Advanced Integration Science, Chiba
University, CHIBA, JAPAN3) Department of Japanese-Traditional (Kampo) Medicine,Kanazawa University Hospital, ISHIKAWA, JAPAN
4) Graduate School of Engineering, Chiba University, CHIBA,JAPAN

Abstract:
In this study, we find the effective feature values of skin textures
captured by non-contact camera to monitor piloerection on theskin for emotion estimation. Recently, emotion estimation isrequired for service robots to interact with human more naturally.
There are a lot of researches of estimating emotion and additional
methods are required to improve emotion estimation because
using only a few methods may not give enough information for
emotion estimation. In the previous study, it is necessary to fix adevice on the subject’s arm for detecting piloerection, but thecontact monitoring can be stress itself and distract the subject
from concentrating in the stimuli and evoking strong emotion. So,
we focused on the piloerection as the object obtained with noncontact methods. The piloerection is observed as goose bumps on
the skin when the subject is emotionally moved, scared and so on.
This phenomenon is caused by contraction of arrector pili muscles
with the activation of sympathetic nervous system. Thispiloerection changes skin texture. Skin texture is important in thecosmetic industry to evaluate skin condition. Therefore, wethought that it will be effective to evaluate the condition of skintexture for emotion estimation. The evaluations were performedby extracting the effective feature values from skin textures
captured with a high resolution camera. The effective feature
values should have high correlation with the degree of piloerection.
In this paper, we found that standard deviation of short-line
inclination angles in the texture is well correlated with the degreeof piloerection.

カメラによる鳥肌生起に伴う肌のキメの変化の追跡
Image-Based Non-Contact Monitoring of Skin Texture
Changed by Piloerection for Emotion Estimation○

内田美尋 1)，赤穂莉奈 2)，小川恵子 3)，津村徳道 4)○Mihiro Uchida1), Rina Akaho2), Keiko Ogawa-Ochiai3), and Norimichi Tsumura4)

千葉大学大学院融合理工学府 1)，千葉大学大学院融合科学研究科 2)，金沢大学病院
漢方医学科 3)，千葉大学大学院工学研究院 4)
Graduate School of Science and Engineering, Chiba University1), Graduate School of
Advanced Integration Science, Chiba University2), Department of Japanese-Traditional(Kampo) Medicine, Kanazawa University Hospital3), Graduate School of Engineering,
Chiba University4)
E-mail: uchda@chiba-u.jp
The piloerection is observed as goose bumps on the skin when the subject is emotionally moved and soon. This piloerection changes skin texture. Therefore, we thought that it will be effective to evaluate
the condition of skin texture for emotion estimation. The evaluations were performed by extracting thefeature values from skin textures captured with a high resolution camera. In this paper, we found thatparameters well correlated with the degree of piloerection.
1. はじめに
近年，接客業にロボットが導入されつつある．接客業において，客の感情の推測は良質なサービスを提供する上で重要であり，感情が認識できないとトラブルに繋がる可能性がある．接客ロボットの中には感情認識機能をもつものがあるが，話者の声色の変化や表情を解析しているため，常に声色や表情にあまり変化がない人の感情認識を誤る場合がある．
一方で生体情報から情動を推定する研究も盛んである．ロボットではマイクやカメラを用いたセンシン
グが自然であるため，本研究では視覚的にとらえることができる鳥肌に注目した．鳥肌と情動に関する研究として，Sumpf らはカメラを用いて鳥肌を検出し，音楽刺激や映像刺激に伴う鳥肌感と心電図特徴の関連を調査した[1]．これにより鳥肌は強い生体反応を伴う強烈な感情の発露であることがわかったが，腕に装置を固定するため被験者の刺激への集中を妨げ，情動喚起が阻害される．
ここで，鳥肌に伴う変化として，皮膚の隆起に伴う肌のキメの変化がある．美容業界では肌のキメの特徴量を取得し，状態を評価する研究が盛んである．しかし，主に老化や生活習慣による長期的な変化が対象とされており，情動に伴うキメの変化はあまり研究されていない．
そこで，本研究では高解像度カメラを用いて非接触に鳥肌生起に伴うキメの状態変化を明らかにする．
2. 解析手法
Benedek らが提案した Goose Cam システム[2]で鳥肌を解析する．まず，前腕を撮影し正方形画像になる
よう切り出す．その後，グレイスケール変換し HPF をかける．さらに DFT を行い，角度平均して 1 次周
波数スペクトルを得る．そのスペクトルの 6～20 cycle / picture における最大振幅を鳥肌強度として得る．
本研究で得た画像は解像度が高いため，縦横方向にそれぞれ 1/4 にダウンサンプリングしてから解析した．
また，肌のキメの特徴量を取得する．肌のグレイスケール画像に対して皮溝を鮮明化するため十字二値化処理[3]を行う．十字二値化画像に対して，最小二乗法による直線近似 [4]を用いてキメを表現し皮溝の平均太さなどの特徴量を取得する．同様に，十字二値化画像に対して短直線マッチング[3]を用いてキメを表現し短直線の本数などの特徴量を取得する．処理結果の例を図 1 に示す．図 1(a)の原画像とし，直線近似
後の画像を図 1(b)，短直線マッチング後の画像を図 1(c)に示す．

(a) 原画像(b) 十字二値化後
図 1 処理結果の一例(c) 短直線マッチング後3. 鳥肌に伴うキメの変化の観察と解析
暗室にて高解像度カメラを用いて鳥肌が生起した時から1秒間隔で6枚の前腕の画像を撮影した．実験環
境を図2に示す．また，Goose Camの手法で解析した結果を図3に示す．これより鳥肌が減衰したのが確認できる．鳥肌と通常の肌を視覚的に比較すると鳥肌時は鮮明だった赤枠内の皮溝が通常時では不鮮明になった．また，鳥肌時は肌が赤みを帯びていた肌の部分が通常時では白みを帯びていた．取得画像の毛穴付
近をクロップした画像，手動トリミングした画像，トリミングした画像のL*成分の3種類を解析した．L*
成分を解析したのは色みの変化に依存しない輝度を取得するためである．皮溝の面積の変動を図4，皮溝の方向のばらつきの変動を図5，皮溝の平均太さの変動を図6に示す．これらより鳥肌状態では皮溝が細く向
きがばらつく傾向にあることがわかった．よって，皮溝の方向のばらつきを計測することで鳥肌状態を定量化できることがわかった．また，位置ずれや肌色の変化が特徴量に大きな影響を与えることがわかった．

図3 Goose Camでの解析結果

図2 実験環境

図4 皮溝の面積

図5 皮溝の方向のばらつき

図6 皮溝の太さ

4. まとめと今後の課題
本研究では鳥肌減衰に伴うキメの変化の解析を行った．撮影画像を解析し特徴量を取得した．これより，
鳥肌時は皮溝が細く向きがばらつくことがわかった．
位置ずれの影響が特徴量に対してノイズとして表れたため，厳密なトラッキングが今後の課題として挙げられる．また，色みの変化を除去して解析したが，色みの変化は血液量の増加など情動に関わる情報の可能性があるので肌色変化の原因を突き止めることも必要である．さらに，本研究では生理現象に伴う鳥肌を解析したが，情動性の鳥肌の解析も課題となる．
参考文献[1] Maria Sumpf, Sebastian Jentschke, Stefan Koelsch, “Effects of Aesthetic Chills on a Cardiac Signature of
Emotionality”, PLoS ONE 10(6):e0130117, 2015[2] Mathias Benedek, Barbara Wilfling, Reingard Lukas-Wolfbauer, Bjorn H. Katzur, Christian Kaernbach,“Objective and continuous measurement of piloerection”, Psychophysiology 2010 Sep 47(5):989-993, 2010
[3] 小林宏, 橋本卓也, 山崎和弘, 平井義和, “画像解析による肌のキメの定量的指標と実用化”, 日本機械学会論文集(C 編)76 巻 764 号, 2010[4] 竹前嘉修, 斎藤英夫, 小沢慎治, “皮膚表面画像を用いた肌診断システム”, 計測自動制御学会論文集
Vol.37 No.11 1097/1103, 2001

Poster #6
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

顔画像における病態の評価値推定
Estimation of Evaluating Disease stateusing Facial Image
松下風太 1)，清光薫 2)，小川恵子 3)，津村徳道 4)
Futa Matsushita 1), Kaoru Kiyomitsu 2),
Keiko Ogawa 3), Norimichi Tsumura 4)1) 千葉大学融合理工学府，2) 千葉大学大学院融合科学研究科
3) 金沢大学大学附属病院漢方医学科，4) 千葉大学大学院工学研究院
1) Graduate School of Science Engineering, Chiba University,
CHIBA, JAPAN
2) Graduate School of Advanced Integration Science, Chiba
University, CHIBA, JAPAN3) Department of Japanese-Traditional (Kampo) Medicine,
Kanazawa University Hospital, KANAZAWA, JAPAN
4) Graduate School of Engineering, Chiba University, CHIBA,JAPAN

Abstract:
Facial diagnosis is an important diagnostic method in Japanesetraditional (Kampo) medicine. Major disease states by facial
diagnosis are blood stagnation, blood deficiency, and yin
deficiency. These facial diagnoses are subjective and empiricallyobtained. To solve these problems, we proposed to construct asystem to output the score (1 to 5) for evaluating pathophysiologyof the patient by using facial image obtained by RGB camera. We
evaluate this system by calculating mean squared error (MSE)
between the score given by medical doctor and estimated by thesystem. Our method achieved to estimate the score accurately as
the MSE is less than 1.0. From the results of construction of thesystem, we found the important regions of the face for diagnosing
disease states by medical doctor using the method of significant
feature selection.

顔画像における病態の評価値推定
Estimation of Evaluating Disease state using Facial Image
松下風太1)，清光薫2)，小川恵子3)，津村徳道4)
Futa Matsushita1), Kaoru Kiyomitsu2), Keiko Ogawa3), Norimichi Tsumura4)
千葉大学大学院融合理工学府1)，千葉大学大学院融合科学研究科2)，
金沢大学付属病院漢方医学科3)，千葉大学大学院工学研究院4)
Graduate School of Science and Engineering, Chiba University, CHIBA, JAPAN1),
Graduate School of Advanced Integration Science, Chiba University, CHIBA, JAPAN 2),
Department of Japanese-Traditional (Kampo) Medicine, Kanazawa University Hospital, KANAZAWA, JAPAN 3),
Graduate School of Engineering, Chiba University, CHIBA, JAPAN 4)
1.研究背景と目的
漢方医学とは，東洋医学の物の見方や考え方を中心に西洋医学の知識を取り入れることで発展した新たな医学である1)．漢方医学の診断法には，望診，聞診，問診，切診の4つの診断法がある．それぞれ，視覚，聴覚や嗅覚，患者に対する質問，直接触れることにより診断を行う．この中の望診では，顔色や肌の状態をみることで診断できる．望診により診断可能な漢方医学における病態に瘀血，血虚，陰虚がある．瘀血は血の滞り，血虚は血の不足によって起こり，顔色を見て診断できる．陰虚は顔の水分の不足によって起こり，顔の艶ハリにより診断できる．しかし，望診による診断は主観的であり，多くの経験を必要とする．そこで本
研究では，診断を定量化するために一般的に普及しているRGBカメラを用いて顔画像を撮影する．その顔画
像を漢方医に評価していただき，顔画像から取得可能な特徴量と漢方医による評価値を用いて機械学習を用いて評価値推定を行う．
2.顔画像データベースの構築
撮影した患者の顔画像数が少なかったため，瘀血，
血虚，陰虚に関係のあると考えられるヘモグロビン・
光沢を変調することで顔画像の枚数を増やす．撮影した内部反射画像である顔画像に対し，色素成分分離[2]を行うことでヘモグロビン色素濃度分布が得られる．
ヘモグロビン色素濃度分布に係数 h を掛けて顔画像を再構成することで，ヘモグロビンを変調した顔画像を作成する．また，表面反射画像を抽出するために偏光板をカメラ側と光源側に用いて内部反射画像を撮影する．表面反射光と内部反射光の両方を含む画像から，内部反射画像を減算することで光沢である表面反射画像を取得する．表面反射画像に係数gを掛けて内部反射画像と合成することで，光沢を変調した顔画像を作成する．図1にヘモグロビンを変調した顔画像を
図2に光沢を変調した顔画像を示す．本実験では20～60代女性6人と50代男性1人に対して変調を行った．ヘ
モグロビン成分と光沢成分をそれぞれ5段階変調させることで1枚の画像から25枚の画像を作成する．実際に作成した顔画像を図3に示す．これにより計175枚の顔画像を作成しデータベースとして用いた．
3.漢方医による3つの病態の評価
顔画像における3つの病態を漢方医学の専門医に評価していただいた．1枚の画像に対して瘀血，血虚，陰虚についてそれぞれ5段階評価を行う．評価の基準は，
1:健常～5:重度として評価する．暗室条件のもと，評価時間は自由とし，評価の合間に次の評価の影響をなくすために黒背景を5秒間表示する．作成した175枚の顔画像に対して専門医に繰り返し評価していただいた．この評価値を正解値として評価値推定に用いる．

a)h=0.4b)h=0.7 c)h=1.0 d)h=1.3 e)h=1.6
図1. ヘモグロビンを変調した顔画像例a)g=0.6b)g=0.8 c)g=1.0 d)g=1.2 e)g=1.4
図2. 光沢を変調した顔画像例

1.6
1.3

h 1.0
0.7

0.4
0.6

0.8

1.0

g

1.2

1.4

図3. 顔画像データベース作成例

a) ヘモグロビン成分b) 光沢成分図3. 特徴量抽出領域
4.各病態の評価値推定
各病態の評価値を推定するために，はじめに特徴量抽出を行う．図3に示すように，赤で囲まれた領域を関心領域として設定する．眉間，左目下，右目下，左頬，
右頬の5箇所と5箇所を合算した領域を関心領域とする．各領域内のヘモグロビン濃度，表面反射画像の輝度値それぞれに対する平均値，標準偏差，最大値，最小値，範囲を算出し，その値を特徴量とする．これらの特徴量と専門医よる評価値を用いて機械学習である サ ポ ー ト ベ ク タ 回 帰 (SVR:Support Vector
Regression)[3]による評価値推定を行う．k分割交差検定
により，k = 5として10回行い評価値を推定する．

300

300

250

250

200

200

頻度

頻度

150

150

100

100

50

50

0
－3

－2

－1

0

1

2

0
－3

3

－2

－1

0

1

2

3

誤差

誤差

a) 瘀血

b) 血虚

300
250
200

頻度

精度検証のために，推定した評価値から正解値である
漢方医による評価値を減算することで誤差を計算す
る．その値をヒストグラム化したものを図4に示す．また，同様に推定した評価値と専門医による評価値の平均二乗誤差(MSE: Mean Squared Error)を算出する．MSE
はシステムの悪さを表す指標であり，値が小さいほどシステムの精度が良いと評価できる．瘀血，血虚，陰虚の3つ病態のMSEを表1に示す．本研究での評価値の基準は1:健常～5:重度である．このことから，隣り合う
評価値は関連があると考えられる．よって，表1を見てわかるようにMSEが1.0よりかなり低いため精度よく推定できていることが分かる．また，図4を見てもわかるように，±1.0を超える範囲で推定されるものは少な
く，この結果からも精度よく推定できていることが分
かる．
5.特徴量の選択
どの特徴量が有効であるかを調べるために特徴量の選択を行う．本研究では個別最適化法を用いて特徴
量選択を行う．個別最適化法とは，各特徴量を個別に評価し，その評価に基づいて上位の特徴量を選ぶ手法である．各特徴量を1つずつ除いて個別に特徴量を評価する．その際，除かれたときに精度誤差が悪くな
る特徴量は推定するときに影響が高いと考えることができる．個別最適化法を用いてそれぞれの特徴量をMSEにより評価し，誤差の大きい順に順位付けを行った．各病態において，選択された特徴量のうち上位5種類を表2から表4に示す．瘀血と陰虚は上位の特徴量がそれぞれヘモグロビン濃度，光沢の輝度値の特徴量であったが，血虚は光沢の輝度値も含まれていた．これは血虚が肌のつやも関係していることを表している．
また，一番有効である特徴量として瘀血，血虚で選択された特徴量は眉間部分のヘモグロビン濃度の範囲であり，陰虚では右目下の光沢の輝度値の標準偏差であった．このことについて漢方医に考察してもらった
ところ，瘀血，血虚で選択された眉間部分は漢方医が病態等を診断するうえで注目する箇所であることがわかった．また，陰虚では光沢が現れやすい領域を選択しており，目の下は皮膚が薄いため陰虚を反映しやすいと考えられる．したがって，特徴量選択により有効な特徴量を正しく選択できたと考えられる．
6.まとめと今後の課題
漢方医による評価を行い，顔画像から特徴量を抽出することでSVRによる病態の評価値推定を行った．推定した評価値と専門医による評価値の誤差を調べる
ことで精度よく評価値を推定できたことが分かった．
特徴量の選択によりどの特徴量が有効であるかを調べた．結果的に，漢方医の知見と選択された特徴量が一致することがわかった．今後の課題として，評価するための患者数を増やすことや様々な状況に対応できるシステムを構築することなどが考えられる．

150
100

50
0
－3

－2

－1

0

1

2

3

誤差

c) 陰虚
図4. 各病態の誤差ヒストグラム

表1. 各病態のMSE
MSE瘀血
0.3401

血虚0.5216

陰虚
0.4352表2. 瘀血の特徴量の順位
順位
1
2
3
4
5

ヘモグロビン
ヘモグロビン
ヘモグロビン
ヘモグロビン
ヘモグロビン

計算値
範囲
標準偏差
範囲
範囲
最小値

領域
眉間
左目下
右頬
右目下
全領域

表3. 血虚の特徴量の順位
順位
1
2
3
4
5

ヘモグロビン光沢
ヘモグロビン
ヘモグロビン
ヘモグロビン

計算値
範囲
範囲
最小値
平均
平均

領域
眉間
左頬
眉間
左頬
右頬

表4. 陰虚の特徴量の順位
順位
1
2
3
4
5

光沢
光沢
光沢
光沢
光沢

計算値
標準偏差
範囲
平均
範囲
最大値

領域
右目下
右目下
右頬
右頬
右目下

参考文献
[1] 寺澤捷年, "絵で見る和漢診療学", 東洋学術出版, 2008.
[2] N. Tsumura et al., "Image-based skin color and texture
analysis/synthesis by extracting hemoglobin and melanin
information in the skin", ACM Transactions on Graphics(TOG), vol.22, pp.770-779, 2003.
[3] Alex J. Smola et al., "A tutorial on support vector regression",
Statistics and Computing 14: 199-222, 2004.

Poster #7
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

浮腫評価を目的としたデプスカメラによる下肢の体積測定
Volume measurement of the lower limb by using
the depth camera for quantification of edema
清光薫 1)，柿沼明宏 2)，高橋

浩 2)，

上条

直裕 2)，小川恵子 3)，津村

徳道 1)

Kaoru KIYOMITSU 1), Akihiro KAKINUMA 2),
Hiroshi TAKAHASHI 2), Naohiro KAMIJO 2),
Keiko OGAWA 3), Norimichi TSUMURA 1)1) 千葉大学

大学院融合科学研究科，2) 株式会社リコー，
3) 金沢大学附属病院

漢方医学科

1) Chiba University, 2)Ricoh Company Ltd.,
3)Kanazawa University

Abstract:
In this study, we propose to evaluate the edema of a leg by volume
measurement using Microsoft Kinect. The volume is calculated
from a measured point cloud by our improved voxelization
technique. Additionally, the depth camera of Microsoft Kinect isfeasible for use in home care systems due to its very low costcompared with other depth cameras. In an experiment, wemeasured the leg volumes of three healthy subjects in the morningand evening for three days. For each subject, the mean volume
values were obtained from five measured values. The increase ofvolume was confirmed in all experiments from morning to evening.
These experimental results meet the physiological expectation.
Because the change of leg volume is slight from morning to evening
compared to the change of volume in edema, we conclude that the
proposed system can appropriately evaluate leg edema.

浮腫評価を目的としたデプスカメラによる下肢の体積測定
清光

薫*1 柿沼 明宏*2
小川

恵子*3

高橋

浩*2

上条 直裕*2

津村 徳道*1

要旨
リンパ浮腫の経過観察において，四肢の体積測定は重要である．近年，深度カメラを用いて測定する手法が提案されているが，多くの深度カメラは非常に高価で在宅ケアなどに向けた普及は困難である．そこで
本研究では，
Microsoft Kinect を用いた体積測定手法を提案する．
本研究では Kinect Fusion を用いて撮影し，得られた点群から脚の部分を抽出する．次に，脚の長さ方向に座標軸を設定して測定範囲を決定し，ボクセル化により体積を算出する．以上の手法で，健常者 3 名に対し 3 日間の登校時・下校時における下肢の体積を測定した．1 回の測定につき 5 回の撮影を行い，平均値および変動係数を求めた．その結果，いずれの被験者・撮影日でも体積の増加が見られた．各測定における変動係数はおおむね 0.5%～2.5%の範囲であった．被験者の生活状況からは体積の増加が予想されており，変動係数には改善の余地があるものの，予想と合致した結果を得られた．
キーワード：医用画像処理（画像認識・理解、画像表示など）

1．はじめにような場合，医師の診察を受け，継続的な治療を

体内に水が溜まり，顔や手，腕，脚などが腫れ行っていくことが必要である．特に浮腫の治療にて膨張することを「浮腫」という．これは一般的

おいては，医師の施術による治療だけでなく，自に「むくみ」と呼ばれ，健常者にも日常的に現れ宅でマッサージを行うなど患者自身の根気強い努る症状であり，発症しても軽微な場合が多い．し力が必要である．

かし，乳癌や子宮癌，前立腺癌などで腕や脚に関わるリンパ節を切除した場合や放射線治療を受けた場合など，リンパの流れが滞り図 1 に示すように浮腫が重症化してしまうケースがある[1]．この――――――――――――――――――*1 千葉大学 大学院融合科学研究科
情報科学専攻 知能情報コース

図 1 リンパ浮腫患者の症状例[1]浮腫治療において，浮腫の程度を定量的に評価〔〒263-8522 千葉市稲毛区弥生町 1-33〕

し，症状の経過を観察することは非常に重要であe-mail : kiyomitsu@chiba-u.jp

る．浮腫がどの程度改善または悪化しているのか*2 株式会社リコー

を正確に把握することで，医師は適切な処置を選*3 金沢大学附属病院 漢方医学科

択できる．また，改善していることがわかれば患者のモチベーション向上につながり，悪化していと容易な操作で 3D モデルを作成できる．本研究

ることがわかれば合併症などを予測し早期に対処

は浮腫の経過観察が目的であるため，体積の“変ができる．

化”を正確に取得する必要がある．そのため，繰

浮腫の診察に用いられているパラメータのひり返し行われた測定に対する取得値のばらつきがとつに，四肢の体積がある．浮腫により四肢に水僅少となるような再現性の高いシステムの構築をが溜まると体積が増加する．そのため，体積が増目標とする．また，浮腫は身体の末端部，すなわ

加の傾向にあれば浮腫が悪化，減少の傾向にあれ

ち腕や脚において症状が顕著に表れるため，本研ば快方に向かっていると判断できる．現在，医療

究では脚を撮影対象部位とする．

現場で体積を測定する際にはメジャー，水槽など

本研究では，プログラミング言語として C++をが用いられている．
メジャーを使用した手法では，使用している．また，点群処理には Point Cloud

体積の代わりに脚や腕の周径を測定する．この手

Library (PCL) [7]および OpenCV[8]を使用している．

法は非常に手軽であるが，再現性や精細さに欠ける．水槽を用いた手法[2]は正確な計測が可能であるが，扱いが不便であり，寝たきりの患者など使用できない場合もある．
近年提案されている手法として，深度カメラを用いる手法がある．
深度カメラを用いた手法では，

図 2 Microsoft Kinect[4]カメラを被写体の周囲に沿って移動させるか，複数のカメラで被写体を囲んで被写体全体がカメラ

2．3D モデルの取得と測定領域の決定に写るようにし，得られた各方位からの深度デー

本研究では，はじめに 3D モデルを取得する．

タを組み合わせて腕または脚全体の 3D モデルを

その後，体積計算の前処理として撮影の際に写り作成する．続いて，作成した 3D モデルから体積込んだ背景物や床などの除去，および脚の測定領を推定する．
この手法を実践した先行研究として，域の決定を行う．これらの処理のフローチャート

平井らは三次元形状計測装置(GRASP, テクノアを図 3 に示す．

ーツ)を使用して下肢の体積測定を行った[3]．この手法では 0.1%未満の変化を計測することが可能であるが，使用機材が非常に高価であり，普及は困難である．
そこで，本研究では図 2 に示した Microsoft
Kinect[4]を利用した体積測定手法を提案する．
Kinect は色情報を取得できるだけでなく，深度情報も取得できる RGB-D カメラの一種である．また，ゲーム用のセンサとして既に一般に普及しているため導入は容易である．更に，「Kinect for
Windows SDK」 には Kinect Fusion[5][6]というア
プリケーションが付属しており，これを利用する

脚以外の部分を手動で削除した点群Aを作成

ッシュの削除，穴埋め，回転，移動といった加工を行うことができる．このソフトを用いて図 5 のように脚の周囲を選択して不要な点群を削除した．

点群Aからおおよそ平面以外の部分を削除した点群Bを作成

この段階では，脚の周囲の床面の点群が残ってしまっている．
床面は手作業で削除するのが難しく，

点群BとXZ平面を位置合わせする
剛体変換行列を計算して点群Aに適用

床面付近の脚の点群を余分に削除してしまうことがある．これを避けるため，本研究では床面の除去を平面検出アルゴリズムにより機械的に行う．

点群Aの平面を除去

また，点群中の床面は座標軸に対して傾いている
ため，
XZ平面と一致するように 3D モデルを移動，回転させる．

測定するY座標の範囲を入力

前述の処理を具体的に述べる．床面と脚の点群
を点群 A とする．はじめに，点群 A の平面以外の部分を手動でおおまかに除去する．この処理で得マスキング処理で測定対象外の点群を除去られた点群を点群 B とする．点群 B と XY 平面上

図 3 3D モデルの取得及び処理のフローチャートに配置した点群を，Iterative Closest Point (ICP)[10]1）3D モデルの取得

アルゴリズムを用いて位置合わせする．この位置

3D モデルを取得するために，本研究では Kinect

合わせによって得られた剛体変換行列を点群 Aに

Fusion[5][6]という「Kinect for Windows SDK」に付適用することで，床の点群を XZ 平面と一致させ属するアプリケーションを使用する．Kinect

る．

Fusion では，Kinect 本体を手持ちカメラとして使用し，被写体を様々な角度から撮影することでリアルタイムに 3D モデルを構築することができる．
撮影中の画面のスクリーンショットを図 4 に示す．
画面上で現在構築中の 3D モデルの状態を確認し

図 4 Kinect Fusion[5][6]ながら撮影できるため，欠損部分の有無を確認しながらカメラを動かすことができる．

2）脚の点群の抽出
Kinect Fusion で取得した 3D モデルには，椅子や床面などの不要な点群も含まれているため，測定対象である脚以外の部分を手動で削除する．医療現場で使用する際は，この作業を医師や看護師が 行 う ． 本 研 究 で は ， 3D モ デ ル の 編 集 に「MeshLab」[9]を使用した． MeshLab は 3D モデル編集用のフリーソフトウェアであり，点群やメ

図 5 不要な点群の削除

図 6 床面の削除

Garcia らの手法の改善案[12]を併用した手法を用いる．

1）Garcia らの手法
Garcia らが提案した従来手法[11]について述べ
図 7 測定領域の決定る．この手法では，3D モデルを構成するボクセルの数から体積を取得する．
まず，点群データを用いて 3D モデルの表面部

次に平面の除去を行う．平面の除去には Point

分をボクセル化する．
ボクセル化を行うにあたり，Cloud Library[7]に実装されている平面検出アルゴ

予め単位ボクセルのサイズを決定する必要がある．

リズムを使用した．図 5 に示した点群に対して平このサイズはカメラの解像度に合わせて設定する

面除去を行った結果を図 6 に示す．

のが適切であり，本研究では 1 辺 1mm の立方体とした．はじめに点群が存在する範囲を計算し，

3）測定領域の決定

図 9 のように得られた範囲にボクセル格子を当て測定する脚の高さの範囲を入力し，より詳細にはめる．このとき，ボクセル格子のサイズは単位測定領域を決定する．本研究の目的は体積の”変ボクセルと一致するように設定する．続いて，各動”の観察であるため，時間を空けて数回にわた

ボクセル内の点の有無を判断する．図 9 では点がり撮影を行う必要がある．変動率を正確に取得す存在するボクセルは白，点が存在しないボクセル

るためには，図 7 に示したように，使用する点群は黒で示している．

の範囲が撮影毎に異なっていると正確な測定ができないため測定領域を統一する必要がある．

これ以降の処理は，XYZ の各座標軸に沿って取り出した平面群に対して行われる．具体的には，

本研究では，取得した点群の脚の高さ方向に対X 軸方向に沿ってスライスして取り出した YZ 平

してマスキング処理を行うことで測定に用いる点

面，
Y 軸方向に沿ってスライスして取り出した ZX群を決定する．前項の処理で床面の点群と XZ 平

平面，Z 軸方向に沿ってスライスして取り出した面を一致させているため，脚のXY 平面それぞれに対して処理を行う．図 10 に Z

高さ方向は Y 軸方向に等しい．そのため，Y 軸方

軸方向に沿っ向に対するマスキング処理を行う．マスキング処理を行った結果を図 8 に示す．

3．点群の欠損部を考慮した体積測定手法
測定領域決定後の点群から体積を測定する．深度センサを用いて取得した点群は，モデル表面上に穴などの欠損を生じやすい傾向がある．そのため，点群の欠損部分を考慮した体積推定を行う必要がある．本研究では，Garcia らが提案した点群のボクセル化手法[11]，および斎藤らが提案した

図 8 マスキング処理

て先頭のボクセルから走査し，1 つ目の白いボク
セルを通過した後，次に白いボクセルを通過するまでの間にある黒いボクセルを白に反転させる．
図 11 に対してこの処理を行った結果を図 12 に示す．これを繰り返し，全ての行に対して行うこと

図 9 点群のボクセル化

で取り出した平面の内部ボクセル化が完了する．
表面および内部のボクセル化は，XYZ の各座標Z軸に沿って切り出した平面群に対して行った．そのため，3 通りの出力結果が存在し，それぞれの
Z=2
Z=1
Z=0

図 10 座標軸に沿った平面群の取り出し結果が食い違う場合がある．例えば，X 軸を基準とした処理では出力結果が白になったボクセルが，Y 軸を基準とした処理では黒になることがある．
この場合，最終的に白と黒のいずれを体積測定に用いるか決定しなくてはならない．そこで，Garcia
らの手法では X 軸，Y 軸，Z 軸のそれぞれに対する処理で得られた 3 つの結果に対し積集合をとった結果を最終的な出力とした．

図 11 Garcia らの手法による表面ボクセル化

2）斎藤らの手法
斎藤らは表面ボクセル化にはGarcia らの手法を用いたが，内部ボクセル化にはラベリング処理てスライスを行う場合のイメージ図を示す．

を用いる手法を提案した[12]．スライスして取り

図 9 で作成した白いボクセルの間を補間するこ出した平面に対してラベリング処理による領域分とで，連続した表面を生成する．平面中のある 1割を行い，一番左上の画素または右上の画素が含ボクセルを選択し，そのボクセルに番号 0 を与えまれている領域は物体の存在しない領域，それ以る．このボクセルの最近傍のボクセルに番号 1 を外の領域は物体が存在する領域とする．ラベリン

与え，更にその最近傍のボクセルへと順々に番号

グ処理による内部ボクセル化の例を図 13 に示す．

を与えていく．全てのボクセルに番号を振り終え

内部ボクセル化が完了したデータに対し，結果

たら，番号順にボクセル間を結ぶ直線を求め，こが白であるボクセルの個数を計算する．単位ボクの直線上にあるボクセルを黒から白に変える．以セルの各辺の長さは既知であるため，単位ボクセ

上の処理を図 9 の平面に対して行った結果を図 11ルの体積とボクセル数の積から体積の推定値を求に示す．以上で表面のボクセル化を完了する．

めることができる．

続いて，表面のボクセル化が完了したデータか
ら内部のボクセル化を行う．
内部のボクセル化は，座標軸に沿ってスライスして取り出した平面群に対して行単位で処理を行う．処理を行う行に対しす．このように内部に余計な直線が発生する場合
や，
図 14 の点群の上部のように欠損部の穴埋めが正しく行われない場合がある．なお，表面ボクセ
ル化は Y 軸方向，すなわち脚の高さ方向のスライ
図 12 Garcia らの手法による内部ボクセル化

スのみ実行する．
内部ボクセル化も表面ボクセル化と同様に，内部に点が存在する場合は従来手法では不十分である．
図 14 に示した内部に点が存在する点群に対して Garcia らの従来手法を適応した結果を図 15(a)に示す．Garcia らの手法では行ごとにボクセル化を行ったが，内部に点が存在すると白いボクセル

図 13 斎藤らの手法による表面ボクセル化の個数が奇数となる行が現れ，誤差の原因となる．
そのため，白いボクセルが奇数個の行の場合は，行の最後の白いボクセル以降は全て黒のままとす
る．この改善手法を用いて処理した結果を図 15(b)に示す．この改善により，内部に空洞が残るものの物体の外側が誤って判定されてしまう現象を防図 14 Kinect で取得した点群の表面ボクセル化

ぐことができる．この内部ボクセル化も表面ボク
セル化と同様に Y 軸方向のみに対して行う．
続いて，空洞部分を修正する．本研究では空洞部分の修正方法として斎藤らの手法を用いる．斎藤らの手法では，スライスの左上および右上の画素を含む領域が物体の存在しない領域であると仮定した上で処理を行う．しかし，本研究で得たデ

(a)

(b)

図 15 Kinect で取得した点群の内部ボクセル化

ータには，物体の存在しない領域が右上の画素も左上の画素も含まない場合がある．そのため本研
究ではラベリング処理を実行する前に予め外周を付加する．外周の付加により，物体の存在しない

3）本研究の提案手法

領域は必ず左上の画素を含むようにすることがで前述した 2 つの従来手法は，入力に用いた点群

きる．そのため，ラベリング処理を行い，左上のデータの各点が物体の表面部分のみに存在し，物ボクセルを含む領域以外の全ての領域を物体が存体の内部に点は無いという仮定の元に成り立って在するボクセルに変更する処理を行う．

いる手法である．しかし，Kinect Fusion で取得し表面ボクセル化およびGarciaらの手法を用いたた点群データは内部にも点が入りこんだ状態にな

内部ボクセル化は Y 軸方向のスライスのみに対しってしまっている．内部に点が入り込んだ点群にて行ったが，ラベリング処理ははじめに Y 軸方向

対して表面ボクセル化を行った結果を図 14 に示に対して行い，続いて X 軸方向，最後に Z 軸方向

と，3 回処理を行う．このように 1 つのデータに証する．本研究では精度の指標として変動係数を

対して 3 方向のラベリングによる穴埋めを行うこ用いる．本研究では，変動係数が小さいほど精度とでより正確に穴埋めを行うことができる．

が良いものとして評価を行う．0 ~ 30 cm の領域に

最後に，得られたボクセル数と単位ボクセルの体積から脚の体積を求める．

おける変動係数は 1.04%であった．中村らの実験結果[2]から，健常者の脚の日中の体積の変化率は1%程度の場合があることがわかる．そのため，本30cmシステムでは被験者の浮腫の程度が軽微であった
場合は正確に推移を観察できない．そこで，変動20cm

係数が増加する原因の特定を行う．
得られた 3D モデルを 4 つの領域に分けて体積

10cm
5cm
0cm
図 16 脚マネキンの測定領域を求め，ばらつきが多く発生している部位の検証を行う．図 17 に示すように床からの高さが 0 ~ 5
cm，5 ~ 10 cm, 10 ~ 20 cm, 20 ~ 30 cm の領域に分割して求めた変動係数を図 17 に示す．
このグラフから，
0 ~ 5cm の領域において最も大きなばらつきが発生していることが分かる．0 ~ 5 cm の領域で大きなばらつきが発生するのは，脚マネキンの足裏

4．精度検証と日内体積変動の観察

は凹凸が激しく床と足の間に正しく測定できない

本研究では，はじめに脚マネキンを撮影し，提アンダーカット部分が存在するのが原因であると案手法の精度を検証した．続いて人間の脚に対し考えられる．そこで，0 ~ 5 cm の値を除いた 5 ~ 30て脚マネキンと同様の測定および精度の検証を行

cm の領域の変動係数を求めたところ 0.70%であい，健常者を対象に 3 日間の体積変動を観察した．

った．0 ~ 5 cm の領域を含めた場合と比較して0.34%減少した．

1）脚マネキンを対象とした測定

このように，Kinect Fusion で正確に撮影するのはじめに，提案した体積測定手法の精度検証をが困難な形状であり変動係数が相対的に大きくな行うが，本研究の測定対象である人間の脚は撮影ってしまう部位を除くことで，ばらつきを低減す

中にわずかに揺れることが想定される．この揺れることが可能である．

は測定値に影響を与えると考えられるため，脚ではなく静止した物体を用いて精度の検証を行う．

2）人間の脚を対象とした測定

本実験では，
図 16 に示した脚マネキンを被写体と脚マネキンで行った実験と同様の実験を人間のした．撮影者は Kinect を手で持ち，物体表面とカ右脚に対して行う．被験者は 20 代の男子学生 2

メラの距離を 50cm 前後に保って脚の周囲を 3 周

名と 20 代の女子学生 1 名である．
被験者には椅子する．この手順を 5 回繰り返し，総計 5 つの 3Dに腰かけてもらい素足の状態で膝からつま先にかモデルを取得する．

けて撮影した．このとき，膝を曲げる角度は極力

まず，得られた 3D モデルの床から 0 ~ 30 cm の90 度になるようにしてもらった．撮影環境は図 4

領域の体積を求め，5 回の測定に対する精度を検に示したものと同様である．実験は 3 日間行い，表 1 脚の測定に用いた床からの高さ (cm)
被験者 A

被験者 B

被験者 C

(A)

8

8

10

(B)

20

20

21

(C)

27

33

34

(D)

35

37

40

3
2
1
0

変動係数(%)

下
校

登
校

下
校

登
校

下
校

下
校

登
校

下
校

3

2
1
0

3

登
校

(b)
変動係数(%)

1 回の撮影につき 5 つの 3D モデルを取得し，撮影

変動係数(%)

それぞれの学生の登校時および下校時に撮影した．

登
校

下
校

登
校
(c)

2

図 19 足首の有無による変動係数の比較

100~5 cm5~10 cm 10~20 cm 20~30 cm(a)被験者 A (b)被験者 B (c)被験者 C

図 17 脚マネキンの領域別の変動係数

変動係数(%)0～(A)(A)～(B)(B)～(C)(C)～(D)

4毎にばらつきを求める．本実験でも領域別のばら3つきの大きさを検証するため，脚を 4 つの領域に2分ける．表 1 に示すように，事前に被験者の足首

1(A)，足首とふくらはぎの境目(B)，ふくらはぎの

0

登
校

下
校

登
校

下
校

登
校

下
校

図 18 被験者 B の領域別の変動係数

最も太い部分(C)，膝の下(D)の床からの高さを計測し，0 cm ~ (A), (A) ~ (B), (B) ~ (C), (C) ~ (D) の領域に分割して変動係数を求めた．被験者 B の結果を図 18 に示す．(A) ~ (B)の領域，すなわち足首の変動係数(%)

全領域を使用足首以外を使用

変動係数が大きい傾向があることがわかる．被験3
3
2

者 A，C でも同様の結果となった．足首の変動係1-2形状をしており正確な 3D モデル取得が困難であ0

数が大きいのは，くるぶしやアキレス腱が複雑な

登
校

下
校

登
校

下
校

(a)

登
校

下
校

るためだと考えられる．足首を除かず全ての領域を用いて得た変動係数と，足首を除いた場合の変動係数の比較結果を図 19 に示す．
この結果から足首を除くことで変動係数を低減できたことが分かる．そのため，体積の変動観察を行う際の増減の判定には足首以外の領域の体積の和を用いる．また，この結果から提案手法で人間の脚を計測した

場合の変動係数は 0.5% ~ 2.5%に集中することがなお，脚全体を撮影するのではなく，足首の周囲のみを重点的に撮影することで足首の変動係数

2400
体積(cm3)

分かる．

2300
2200
2100

を大幅に改善することができる．

登
1
校

下
2
校

登
3
校

測定で得られた 5 つの値は，2～3 箇所に局所的にソートすると，値が近いデータは連続して取得さ

下
6
校

下
4
校

登
5
校

下
6
校

2700

体積(cm3)

箇所に値が集中している．これらの値を撮影順に

登
5
校

(b)

ここで，ばらつきの原因について考察する．各

集中していることが多い．図 20 に示した例では 3

下
4
校

2600
2500
2400

れたものであることが分かる．ここから，図 20

登
1
校

下
2
校

登
3
校

(c)

の場合では 1 回目と 2 回目の撮影の間，および 2回目と 3 回目の撮影の間に被験者が脚をわずかに

図 21 脚の 3 日間の体積変動動かしたのではないかと推測できる． ここで，n(a)被験者 A (b)被験者 B (c)被験者 C

回目の撮影と n + 1 回目の撮影の間に体積が平均値の 1%以上変化した場合に脚を動かしたと判断

3）健常者の日内体積変動の観察

すると，脚を動かした回数が 1 回以下の場合は変健常者を対象に 3 日間の体積変動を観察した．

動係数が 1%未満，2 回以上の場合は変動係数が体積の増減の検証には前節で得た学生 3 名の登下1%以上であることがわかった．よって，脚の動き

校時のデータを用いる． 1 回の撮影につき 5 つのに対して脆弱であるといえる．

3D モデルを取得しているため，得られた 5 つの体積の平均値を用いて体積の増減を判定する．体積1440の算出には表 1 の(A) ~ (B)以外の領域の体積の和体積(cm3)

1430
撮
影
順
に
ソ
ー
ト

1420
1410
1400

それぞれの測定で得られた 5 つの体積とその平均値を図21に示す．
撮影を行った3日間の日中は，1390

被験者 3 名全員が座り作業をして過ごしていた．

0 2
0 1 2 3 4 5
図 20 撮影順にデータをソートした結果

通常，座り作業を続けていると浮腫が生じて体積が増加する．
図 21 の結果と照らし合わせると全て1600
体積(cm3)

を用いた．

平均値

の被験者がいずれの日にも増加していることが確

1500認できる．よって，提案手法では体積の増減の判

1400
1300

定を正しく行うことができた．
登
1
校

下
2
校

登
3
校

下
4
校

(a)

登
5
校

下
6
校

5．まとめ
本研究では Microsoft Kinect を用いた体積測定
によって脚の体積変動を測定した．
Kinect Fusion を用いて取得した 3D モデルから

脚の点群を抽出し，床面からの高さを利用して測pdp/Kinect-for-Windows/productID.295814900

定領域を決定した．
次に，測定領域内の点群から，(2016 年 1 月 20 日アクセス)

欠損部分を考慮した体積測定を行った．体積の計［5］

S. Izadi, and D.Kim, et al:KinectFusion:

算には，Garcia らの手法と斎藤らの手法をベース

Real-time 3D Reconstruction and Interactionにした手法を用いた．以上の提案手法を用いて，Using a Moving Depth Camera. Proceedings of

脚マネキンおよび健常者の右脚を測定し，開発しthe 24th annual ACM symposium on User

たシステムに対する評価を行った．最後に，健常interface software and technology:559-568, 2011

者の学生 3 名を対象とした体積変動の観察実験を［6］ Richard A. Newcombe, et al : KinectFusion:

行った．被験者は生活状況からの予想に合った結Real-Time Dense Surface Mapping and Tracking.

果を得ることができた．

Mixed and Augmented Reality (ISMAR) 2011

本研究の提案手法では変動係数が大きく十分な再現性が得られていない．そのため，脚のわずかな動きに対してロバストなシステムへの改良が10th IEEE International Symposium on : 127-136,
2011
［7］

PCL - Point Cloud Library (PCL),

最大の課題である．また，脚を屈曲させた場合な

http://pointclouds.org/ (2016 年 1 月 4 日アクセ

ど様々な姿勢での撮影への対応を目標とする．こス)

れが達成できた場合，寝たきりの患者が対象であっても測定が可能になる．最後に，形状データを利用して体積が増加している部分を視覚的に表示するなど，多角的な浮腫評価を可能とするシステ
ムへの発展を最終的な目標とする．

［8］ OpenCV.jp, http://opencv.jp/ (2016 年 1 月 4日アクセス)［9］

MeshLab, http://meshlab.sourceforge.net/(2016 年 1 月 20 日アクセス)［10］ Besl, P.J and McKay, Neil D : A method forregistration of 3-D shapes. Pattern Analysis and

文 献

Machine Intelligence IEEE Transactions on［1］ 都庁前血管外科・循環器内科, リンパ浮腫について,

14(2):239-256, 1992.
［11］

Garcia F and Ottersten B : CPU-Basedhttp://www.tvclinic.jp/treat/treat_05-3.html (2016Real-Time Surface and Solid Voxelization for

年 1 月 20 日アクセス)

Incomplete Point Cloud. Pattern Recognition［2］ 中村隆夫, 合田典子, 白井喜代子 他： 浮腫評価のための体肢容積計の開発．岡山大学
医学部保健学科 14(1):31-35, 2003

compression

stockings

on2757-2762, 2014［12］ 斎藤圭佑, 酒井道, 宮城茂幸：RGB-D カ［3］ M. Hirai, and Y. Nukumizu, et al : Effect ofelastic(ICPR) 2014 22nd International Conference on :oedemaprevention in healthy controls evaluated by athree-dimensional measurement system. Skin
Research and Technology 12(1): 32-35, 2006
［4］ Microsoft Kinect for Windows,
http://www.microsoftstore.com/store/msjp/ja_JP/

メラを用いた物体の体積推定手法の構築．
FIT2015（第 14 回情報科学技術フォーラム）3：143-146, 2015

Poster #8
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

RGB カメラによる心拍変動計測を用いた鍼治療の自律神経系への影響評価
The Effect Evaluation of Acupuncture on Autonomic
Nervous System Using Heart Rate Variability
Measurement with RGB Camera
清光薫 1) , 栗田幸樹 1)，津村徳道 1)，菅原麻衣 2)，
小笠原千絵 3)，三島怜 3)，小川恵子 3)
Kaoru Kiyomitsu 1) , Kouki Kurita 1) , Norimichi Tsumura 1),
Mai Sugawara 2), Chie Ogasawara 3), Rei Mishima 3),
Keiko Ogawa-Ochiai 3)1) 千葉大学
2) 福岡教育大学

大学院融合科学研究科，教育学部，3) 金沢大学附属病院

漢方医学科

1) Chiba University, 2) University of Teacher Education Fukuoka,
3) Kanazawa University

Abstract:
Many Researches show that sensory stimulation affects the
cardiovascular system. Especially, Acupuncture based on a form of
traditional medicine often gives good effects on autonomic nervous
system. We can use heart rate variability (HRV) to evaluate thesympathetic and parasympathetic nervous activity following
acupuncture. These activities are respectively reflected in highfrequency and low frequency components of HRV. Therefore power
spectral analysis are used for obtaining these components. The
effect of acupuncture has already been indicated by Haker et al.
They also used power spectral analysis. For that reason, they had
to use the electrocardiogram to obtain heart rate variability withelectrodes might give the stress to participants. Therefore weverified the effects of acupuncture using remote HRV
measurement system.

RGB カメラによる心拍変動計測を用いた鍼治療の自律神経系への影響評価○清光薫 栗田幸樹 津村徳道（千葉大学大学院融合科学研究科）
菅原麻衣（福岡教育大学教育学部）
小笠原千絵 三島怜 小川恵子（金沢大学附属病院漢方医学科）
概要 多くの研究で感覚刺激が自律神経系に影響を与えることが示されており，特に漢方医学に基づいた鍼治療は良い影響を与えやすい．自律神経活動の評価には，一般的に心電図を用いた心拍変動解析が用いられている．しかし，鍼治療の影響評価の際にも同様の手法が用いられたが，電極等の外的要因は心理的負担となる可能性があった．そこで，我々はデジタルカメラを用いた非接触の心拍変動計測を利用することによって，より自然な状態での鍼治療の自律神経系への影響評価を行った．
キーワード: 画像解析，鍼治療，心拍変動，非接触心拍変動計測

研究背景・目的2

実験内容

心拍変動の計測は，一人の人物に対して鍼治療の前後で1回ずつ，計2回行った．脈波を取得するために，
我々はデジタルカメラを使用した．被験者は診察台上に横になってリラックスしている状態で撮影は行われた．カメラは被験者から3m離れた状態で，顔の側面から撮影された．カメラを正面から向けていないのは，被験者のカメラに向ける意識を低減させるためである．
この実験は室内照明下で行われた．
3

光電脈波の取得

撮影で取得したカラー画像に対して色素成分分離 2)を行い，ヘモグロビン成分，メラニン成分，陰影成分の情報を持った画像を取得する．撮影画像と，色素成分分離によって取得した各画像を Fig.１に示す．心臓から送り出された血流が顔表面の毛細血管を通過する
際，顔画像のヘモグロビン濃度が増加する為，ヘモグ
ロビン成分の画像の特定領域の画素値の時間変化を取得した．得られた信号を傾き除去し，0.75~3Hz のバン(a) original image(b) hemoglobin image

normalized
unit(c) melanin image(d) shading image
Fig.1 image samples
100

－100

0

Time (s)30(a) the signal obtained from hemoglobin images.
normalizedunit

視覚，触覚，痛覚，温覚といった感覚刺激が心臓血管系に影響を与えることは多くの研究者によって示されている．特に，鍼治療は自律神経系に良い影響を与えると言われている．交感神経と副交感神経からなる自律神経の活動の評価は，心拍変動(Heart Rate Variability : HRV)を周波数解析することによって可能となる．心拍変動とは脈波間隔の周期的な変化を指し，これは大きく二つの影響を受けている．一つは呼吸，もう一つは，血管の収縮である．呼吸の周期はおよそ0.15~0.4Hzでありこの周期の変動は呼吸変動と呼ばれる．血管の収縮は0.05~0.15Hzの間で行われ，こちらは血圧変動と呼ばれている．これらの変動の様子から，
交感神経と副交感神経の活性の様子を判断できる．
鍼治療の自律神経への影響については既にHakerら1)によって示されている．彼らも同様に周波数解析を利用している．したがって，彼らは心拍変動を取得するためにポリグラフを使用して心電図を得る必要があった．ポリグラフに用いられる電極は，それ自体が被験者にストレスを与える要因となっている可能性があった．そこで我々は，非接触心拍変動計測システムを用いてより外的要因の少ない状態で鍼治療の自律神経系への影響の評価を行った．

100

－100

0

Time (s)30(b) the signal obtained from melanin images.
normalized
unit

1

100

－100

0

Time (s)30(c) the signal obtained from shading images.
Fig. 2 the difference between each component.
ドパスフィルタを適用してノイズを減らした．これらの周波数は，それぞれ平時の一般的な心拍数が必ず含まれる 45bpm から 180bpm の数値をもとに設定した．
得られた脈波波形を Fig.2 に示す．ヘモグロビン画像に脈波を示す大きな信号が現れているのに対し，メラニン，陰影はノイズを大きく含んでいる．これらの処理によって得た脈波間隔をパワースペクトル解析する
ことによって，
心拍変動スペクトログラムを取得する．

ストレス状態
交感神経活性

呼吸変動(High Frequency)
0.15 ～ 0.4 (Hz)

変動周波数 (Hz)リラックス状態
副交感神経活性変動周波数 (Hz)

0.4

血圧変動
(Low Frequency)
0.05 ～ 0.15 (Hz)

呼吸

0.2

血圧

0
0.4

0.2
血圧
0

0

時間 (s)

60

Fig.3 Relationship between the sympathetic nervous system and HRV spectrogram

心拍変動スペクトログラム

Fig.3 の右側に，安静状態とストレス状態の心拍変動スペクトログラムを示す．この図は心拍変動周波数の時間軸の変化を可視化したものである．安静状
態では副交感神経が活性化し，呼吸変動と血圧変動の影響を受ける．ストレス状態では，交感神経が活性化し，呼吸変動の影響を受けにくくなり，血圧変動のみの影響を受ける． 呼吸変動，血圧変動それぞれのスペクトルのバランスを見ることによって，安静状態とストレス状態を判別することが可能となる．
5(a) Camera(b) PolygraphFig.4 Accuracy verification

精度検証

本実験を行う前に，この手法で正確な心拍変動を取得できるかどうかを確かめるための精度検証を行った．これは，先に述べた撮影手法と同様の環境で顔画像群を撮影すると同時に，ポリグラフを用いて心電図を取得することによって行った．心電図のピークから得られる脈波間隔を用いて，心拍変動スペ
クトログラムを作成し，カメラから得られた結果と比較した．得られた心拍変動スペクトログラムを
Fig.4 に示す．カメラによって作成した図が，ポリグ
ラフから取得した結果を高い精度で再現していることが分かる．
6

Power(a) Before acupuncture(b) After acupuncture
Fig.5 The difference of Heart Rate Variability Spectrogram

10

0
0
0
Frequency (Hz)04Frequency (Hz)(a) HRV “before”(b) HRV “after”
Fig.6 The difference of power spectral intensity

実験結果

鍼治療前後で撮影した心拍変動スペクトログラムの結果を Fig.5 に示す．これを見ると，どちらも呼吸変動の 1.5Hz〜4Hz の間に大きなスペクトルが現れており，0.05~0.15Hz の血圧変動にはスペクトルがほとんど現れていないため，安静状態だと判断することができる．しかし，鍼治療前後の差を明確に得ることができなかったため，周波数解析によるパワースペクトルの絶対値を比較することにした．取得
した２分間の脈波間隔から取得したパワースペクト
ルを Fig.6 に示す．鍼治療後のスペクトルは，鍼治療前に比べて呼吸変動により大きなスペクトルが現れており，スペクトルの乱れが少なく安定した周期で脈波間隔が変動していることが分かる．これにより，鍼治療によってリラックス効果を得られたことを，カメラを用いた非接触の心拍変動計測によって示すことができた．

10

Power

4

7

4

今後の課題

今回の実験では，健康な被験者に対して実験を行ったため，鍼治療前の時点でリラックスしている結果が現れた．鍼治療の効果をより明確に示すため，ストレス状態にある被験者なども含めて，対象を増やした
い．また，心電図の電極を貼っていることの影響について考慮するために，電極を貼っている状態と，貼っていない状態での心拍変動の影響について検証したい．

参考文献
1) E. Haker, H. Egekvist, and P. Bjerring, “Effect of sensory
stimulation (acupuncture) on sympathetic and parasympathetic
activities in healthy subjects,” Journal of the Autonomic
Nervous System, Elsevier, Amsterdam, 79-1, 52-59, (2000).
N. Tsumura et al., "Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin", ACM Transactions on Graphics(TOG), .22,.770-779, (2003).

Poster #9
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

CMOS ロックインイメージセンサを用いた
時間分解近赤外分光法
A Time-Resolved Near-Infrared Spectroscopy using
Custom CMOS Lock-In Pixel Image Sensor
劉得新

劉忠慧

香川景一郎 1)

徐珉雄

庭山雅嗣

福司康子

袴田正志

山本清二 2)

安富啓太

川人祥二 1)De Xing Lioe, Zhonghui Liu, Min-Woong Seo,
Masatsugu Niwayama, Masashi Hakamata, Keita Yasutomi,
Keiichiro Kagawa 1), Yasuko Fukushi, Seiji Yamamoto 2), Shoji
Kawahito1)
1) 静岡大学電子工学研究所
2) 浜松医科大学フォトニクス医学研究部
1) Research Institute of Electronics, Shizuoka University,
SHIZUOKA, JAPAN
2) Medical Photonics Research Center, Hamamatsu University
School of Medicine, SHIZUOKA, JAPANAbstract:
Near-infrared spectroscopy (NIRS) offers non-invasive clinicalapplications in monitoring the blood oxygenation. NIRS can berealized using several approaches, such as continuous-wave (CW),
spatially-resolved (SR), and time-resolved (TR) methods. TR NIRS
offersbetteradvantages
whereabsolute
valuesofoxygenated/deoxygenated hemoglobin and absorption/scattering
coefficient, can be obtained. A prototype NIRS device has beenassembled using a four-tap lock-in pixel CMOS image sensor basedon lateral electric field charge modulator (LEFM). Preliminary
experiments using a rat has been conducted where the device isheld on top of the rat’s head to detect the light scattered to thesensor. Three experiments with different conditions have been
performed using laser with 780nm and 850nm wavelengths. The
first condition supplies the rat with 5% of CO2 and 95% of O2 with
1.5% of Isoflurane (ISO) to induce anesthesia. The rat is thensupplied with 100% of O2 and 1.5% of ISO in the second condition.
The third condition is the measurement taken in post-mortem.
The slope of the response curve changes according to the changesof absorption coefficient based on the three conditions.

A Time-Resolved Near-Infrared Spectroscopy using Custom CMOS LockIn Pixel Image Sensor
De Xing Lioe1*, Zhonghui Liu1, Min-Woong Seo1, Masatsugu Niwayama1, Masashi Hakamata1,
Keita Yasutomi1, Keiichiro Kagawa1, Yasuko Fukushi2, Seiji Yamamoto2, Shoji Kawahito1
1Research Institute of Electronics, Shizuoka University, 3-5-1 Johoku, Nakaku, Hamamatsu, Shizuoka
432-8011, Japan
2
Medical Photonics Research Center, Hamamatsu University School of Medicine, 1-20-1 Handayama,
Higashi-ku, Hamamatsu, Shizuoka 431-3192, Japan
Email: lioe@idl.rie.shizuoka.ac.jp

Introduction: Near-infrared spectroscopy (NIRS) offers non-invasive clinical applications inmonitoring the blood oxygenation. NIRS can be realized using several approaches, such ascontinuous-wave (CW), spatially-resolved (SR), and time-resolved (TR) methods. TR-NIRS
offers better advantages where absolute values of absorption/scattering coefficient andoxygenated/deoxygenated hemoglobin, can be obtained [1, 2]. Currently, the available TRNIRS utilizes time-correlated single photon counting (TCSPC) method with a photomultipliertube. Although CW-NIRS and SR-NIRS can be implemented as a wearable device, TR-NIRS
using TCSPC is bulky and thus not suitable for real-time monitoring while not affecting theusers’ activities. In order to realize a wearable TR-NIRS device, we present an approach using
CMOS image sensor utilizing high-speed charge modulator to achieve high time resolution.
CMOS Lock-in Pixel: The lock-in pixel utilized in the CMOS image sensor (CIS) is based on
the pinned photodiode lateral electric field charge modulator (LEFM) [3]. The strong electricfield created by LEFM leads to the realization of very high transfer rate. Figure 1 shows thefour-tap CMOS lock-in pixel [4], in which the aperture is at the center and charges aretransferred to the four surrounding storage diodes sequentially before being read out.

Figure 1: Four-tap CMOS lock-in pixel using LEFM
Experimental Method: Figure 2(a) shows the prototype of the NIRS device assembled using
the four-tap CMOS lock-in pixel. The prototype device is fixed on top of the rat’s head to
conduct the measurement, as shown in Figure 2(b). The image sensor detects the light scatteredfrom the rat to the sensor. The block diagram of the overall experimental setup is shown in
Figure 2(c). The PC controls the NIRS device and performs data transfer. The delay controller
applies a certain delay to the trigger signal from the device before transmitting the signal to thelaser diode. The light goes to the brain of the rat and scattered to the image sensor. The
measurement data is obtained through three different conditions of the rat, with the laser sourcesof 780 nm and 850 nm. The first condition supplies the rat with 5% of CO2 and 95% of O2 with
1.5% of isoflurane (ISO) to induce anesthesia. The rat is then supplied with 100% of O2 and1.5% of ISO in the second condition. The third condition is the measurement taken in thepostmortem, where blood is replaced with saline by perfusion.

(a)

(b)

(c)

Figure 2: (a) The prototype of the NIRS device (b) NIRS device placed on top of the headof the rat (c) Block diagram of the experimental setup

(a)

(b)

Figure 3: Normalized measurement results for (a) 780 nm (b) 850 nm laser diode.
Results and Discussion: The results are shown in Figure 3. Figure 3(a) shows the normalized
result of the measurement using a 780 nm laser diode, while Figure 3(b) is using an 850 nm
laser diode. Both the results show that the effect of absorption coefficient in different
wavelength affects the falling slope. The absolute value, however, needs to take in considerationof the intrinsic response of the image sensor and to perform deconvolution.
Conclusions: The high time-resolution CMOS image sensor developed shows a promising
implementation in NIRS. The results suggest that a miniature wearable NIRS device using CIS
is feasible.
Acknowledgement: This work was supported in part by the Grant-in-Aid for Scientific
Research (S) under Grant 25220905 through the Ministry of Education, Culture, Sports, Scienceand Technology (MEXT), in part by the MEXT/JST COI-STREAM program, and in part by
the Regional-Innovation Ecosystem Program.
References:
1. J. Steinbrink, et al., Phys. Med. Biol., 2001 46, 879.896.
2. M. Patterson, et al., Appl. Opt., 1989, 28, 2331-2336.
3. S. Kawahito, et al., Int. Image Sens. Work., 2013, 2.
4. M. W. Seo, et al., ISSCC, 2017, 70-72.

Poster #10
Proceedings of the 5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
2.15.2018
http://biocolor.umin.ac.jp/
第５回デジタル生体医用画像の「色」シンポジウム
生体イメージングの革新とその実地・臨床応用

Effectiveness of Color Correction on Quantitative
Analysis of Histopathological Images Acquired byDifferent Whole Slide Scanners
Maulana Abdul Aziz 1), Tomoya Nakamura 2, 3), Masahiro
Yamaguchi 2), Tomoharu Kiyuna 4), Yoshiko Yamashita 4),
Tokiya Abe 5), Akinori Hashiguchi 5), Michiie Sakamoto 5)
1) Interdisciplinary Graduate School of Science andEngineering, Tokyo Institute of Technology, KANAGAWA,
JAPAN2) School of Engineering, Tokyo Institute of Technology,
KANAGAWA, JAPAN3) PRESTO, Japan Science and Technology Agency, TOKYO,
JAPAN4) Medical Solutions Division, NEC Corporation, TOKYO,
JAPAN
5) Department of Pathology, Keio University School of
Medicine, TOKYO, JAPANAbstract:
This work intends to observe the effectiveness of a color correction
method by applying the method on histopathology images
obtained by different whole slide scanners and analyzing thequantified histopathological features. The results shows thatfeature quantification on color corrected images are more reliable.

Background
The advancement of whole slide scanner (wss) had
lead into various works on digital pathology,
including monitor-based diagnosis, feature
quantification, and computer-aided diagnosis [1,2].
The color variation due to staining process andscanning device is a serious issue that should be
solved in whole slide imaging applications, andmethods for color correction have been studied[3,4]. Nevertheless, the effectiveness of a color
correction method in quantitative analysis ofhistopathological images acquired by different
whole slide scanners have not been confirmed. In
this work, several liver tissue samples were
scanned by different whole slide scanners and a
WSI-basis color correction method was applied on
the digitized tissue specimens. A set of histologicalfeatures were extracted from the histopathologicalimages, both without and with color correction, inorder to analyze the effectiveness of the color
correction method in feature quantification andcancer identification.

MethodWhole slide images (WSIs) of 3 liver tissue slides
were obtained by using three different whole slide
scanners. Two sets of 13 region of interest (ROI)
were selected from the WSIs and required imagetransformation processes were applied on theselected regions in order to equalize the samplinginterval of the images, producing 1024×1024 pixel
ROI images. Stain-based color correction was thenperformed on the ROI image sets. A set of 93 tissue
features (6 statistical distribution of 12 nuclei
features, 11 tissue changes features, and 10
trabecular features) extracted from each ROI
images by using the method in [5] were comparedin the cases with and without color correction.

Results
Table 1 shows the number of nuclei detected oneach ROI images, before and after color correction.
The algorithm for feature measurement [2] wasdesigned for the scanner wss-A after the color
correction. The number of detected nuclei are
increased in most of the color corrected images,
especially in the case of A, B, C and D. In fact, theemployment of color correction improves thereliability of the feature measurement algorithm
since the statistical distribution of nuclei features
cannot be calculated if the number of detectednuclei is less than 100, as shown in Figure 1(a) and
1(b). Both histograms show the standard deviationof nuclei’s peripheral on each ROI images without
and with color correction respectively. The wsi-A1,

Table 1. Number of detected nuclei on each caseCase

w/o color correction

with color correction

wss-A wss-B wss-C wss-A wss-B wss-C

A

73

112

35

466

440

522

B

56

100

43

467

466

556

C

77

148

70

495

511

578

D

59

135

45

477

467

519

E

804

659

695

916

871

958

F

733

877

864

700

642

898

G

751

826

667

746

1049

972

H

908

1005

868

961

1069

1057

I

525

600

412

881

859

877

J

645

744

524

466

819

1016

K

804

956

737

1157

1142

1072

L

641

642

575

803

859

1012

M

347

486

349

393

608

780

wsi-B1, and wsi-C1 labels refer to non-color
corrected ROI images captured by wss-A, wssB,
and wss-C respectively. Meanwhile, wsi-A2, wsiB2, and wsi-C2 labels are for color-correctedversion of the ROI images. The effectiveness ofcolor correction can also be observed on features
related to tissue changes and trabecular features.
Figure 1 (c) and 1(d) show the nuclei-cytoplasm
ratio, which is one of the trabecular features,without and with color correction respectively.
Even so, variations on the quantified features canstill be observed on several cases, such as shown inthe case of G, H, J and K of the nuclei-cytoplasm
ratio.

Conclusion
Color correction on WSI is important to reduce thecolor difference on tissue samples due to staining
process. This work shows that the stain-based color
correction method applied in the experiment works
well even on WSIs captured by different wholeslide scanners. Applying the color correction on
histopathological image analysis software
improves the reliability on the quantification
process of the tissue features. Nevertheless,variations of the quantified features are still exist,
especially on certain type of features. For this,further investigations on the image quality, such as
on image sharpness and device-based color
different, are necessary.

References[1] Saito A, Cosatto E, Kiyuna T, et al. Dawn of
the digital diagnosis assisting system, can it
open a new age for pathology? Proc. SPIE

8676, Medical Imaging 2013:
Pathology, 867602 (29 March 2013)

Digital[2] Yamashita K, Kiyuna T, Sakamoto M, et al.
Development of a prototype for hepatocellular
carcinomaclassification
basedonmorphologicalfeaturesautomaticallymeasured in whole slide images. Anal Cell
Pathol 2014;2014:2.
(a) Standard deviation of nuclei’s peripheral
without color correction(b) Standard deviation of nuclei’s peripheral
with color correction(c) Nuclei-cytoplasm ratio without color
correction(d) Nuclei-cytoplasm ratio with color correction
Fig. 1. Histogram of a nuclei and a trabecularfeature measurements from the ROI images
without and with color corrections.

[3] Bautista PA, Hashimoto N, Yagi Y. Color
standardization in whole slide imaging using acolor calibration slide. J Pathol Inform. 2014
Jan 31;5(1):4.
[4] Murakami Y, Abe T, Yamashita Y, Yamaguchi
M, Ishikawa M, Hashiguchi A, et al. Color
Processing in Pathology Image Analysis
System for Liver Biopsy. Color and Imaging
Conference, 22nd Color and Imaging
Conference Final Program and Proceedings,
Society for Imaging Science and Technology;
2014. p. 184‑8.
[5] Aziz MA, Kanazawa H, Murakami H, et al.
Enhancing automatic classification ofhepatocellular carcinoma images throughimage masking, tissue changes and trabecularfeatures. J Pathol Inform. 2015 Jun 3;6:26.

5th Symposium of the 'Color' of Digital Imaging in Biomedicine“Renovation of Bio-imaging and its practical and clinical applications”
15 February, 2018

シンポジウム実行委員

Digital Biocolor Society, Second Stage：

津村徳道（千葉大学）
西堀眞弘（国際医療福祉大学）
Debu

MUKHOPADHYAY(Saha Institute of Nuclear Physics)

沼原利彦 (沼原皮膚科，元香川医大)香川景一郎（静岡大学）
中野和也（千葉大学）
鈴木裕之（東京工業大学）
羽石秀昭（千葉大学）
山口雅浩（東京工業大学）
小川恵子（金沢大学）

Committee of the Symposium:
Norimichi Tsumura (Chiba University)
Masahiro Nishibori (International University of Health and Welfare)Debu

MUKHOPADHYAY(Saha Institute of Nuclear Physics)

Toshihiko NUMAHARA (Numahara Hifuka)
Keiichiro Kagawa (Shizuoka University)
Munenori Fukunishi (Chiba University)
Kazuya Nakano (Chiba University)
Hiroyuki Suzuki (Tokyo Institute of Technology)
Hideaki Haneishi (Chiba University)
Masahiro Yamaguchi (Tokyo Institute of Technology)
Keiko Ogawa (Kanazawa University Hospital)By Digital Biocolor Society