眼底の血中酸素飽和度の遠隔かつ巨視的無自覚計測
静岡大学

大学院総合科学技術研究科工学専攻教授 海老澤嘉伸
2021年11月11日

1

はじめに
⚫ 近年，糖尿病性網膜症等の目の疾患による失明が増加しており、眼底病変の早期発見が望まれている。

⚫ 自覚症状がなく、病状が進行し、時には取り返しがつかない状況になってしまってからの受診が散見される。
⚫ 眼底は、人体外部より直接血管の観察を可能とする部位でもあるため、眼底血管の状態を非侵襲に計測することができれば、眼科領域の診断に加え、様々な疾患の予兆を早期に察知することができるようになる。

⚫ 当該研究室では，これまで、人間の瞳孔検出技術の基礎的研究と応用研究を行ってきたが、本発表では、眼底の血中酸素飽和度の計測に注目して述べる。

2

背景
COVID-19の重症化の目安となる酸素飽和度の計測が注目• 指先などにプローブを装着し（接触型）、経皮的に脈動する動脈中の酸素飽和度（SpO2）を計測．
• 一般的に，可視光線の赤色光（660 nm付近）と，近赤外光（940 nm付近）を使用．

吸光係数 (cm-1mM-1)

パルスオキシメータ[1][2]660 nm
940 nm4.0
3.5
脱酸化ヘモグロビン
3.0（Hb）
2.5
酸化ヘモグロビン
2.0（HbO2）
1.5
1.0
0.5
0.0
600
700
800
900 1000 1100
波長 (nm)ヘモグロビンの吸光特性[2]• プローブを装着している部位を測定中に動かすと，計測の精度や安定度が低下．
• 長時間の使用で皮膚がただれる場合も．
[1] 青柳卓雄：パルスオキシメータの誕生とその理論，日本臨床麻酔学会誌，Vol.10，No.1 (1990)[2] 山田幸生：近赤外分光法による脳機能計測の基礎，歴史と 最近の動向，応用物理学会分科会日本光会，Vol.36，No.12,
pp. 676-685 (2007)3

背景
眼底の酸素飽和度（SO2）測定の先行研究（装置）
被験者にカメラをのぞき込ませて眼底の静脈や動脈をミクロ的に観察する可視光線を用いた接触型装置[3][4]．
・被験者への身体的拘束、散瞳剤の使用や可視光線による負担
頻繁あるいは連続的な計測が困難

眼底カメラでの測定の様子

一方で、パルスオキシメータと同様の仕組みで，10cm離れた位置から非接触で指先のSpO2を計測する装置開発の試み[5]・被験者に息を止めさせた際のSpO2の計測で最大で約20%減少が見られた[3] A. Geirsdottir, O. Palsson, S.H. Hardarson, O.B. Olafsdottir, J.V. Kristjansdottir, and E. Stefansson, Retinal Vessel Oxygen Saturation in Healthy Individuals, Investigative
Ophthalmology & Visual Science, Vol. 53, No. 9, pp. 5433-5442, 2012.
[4] 松岡昇, 竜口賢一, 中村大輔, 岡田龍雄, 吉永幸靖,江内田寛, 石橋達朗, 分光イメージングによるリアルタイム眼底血管酸素飽和度測定装置の開発と臨床応用, 電気関係学会九州支部連合大会, 2009.
[5] 日野燦一, 仮屋謙吾, 丸山恵佑, 田村仁, 秋元俊成, 非接触酸素飽和度計測を目的とした簡易計測システム, 生体医工学, Vol. 57, No. 6, pp. 230-235, 2019.

4ラットの眼底画像から酸素飽和度SO2推定を試みた研究[6]• 微視的（ミクロ的）に眼底の動脈、静脈、その他領域を区別してのSO2を計測• 吸入酸素割合が低下させると、全体的に眼底SO2が低下が見られた。
0100[%]

ラットA
（広域）

ラットB
（詳細）
吸入
酸素

40%

30%

21%

18%

16%

14%

12%

0%

[6] K. Nakano, R. Hirofuji, T. Ohnishi, M. Hauta-Kasari, I. Nishidate, and H. Haneishi, RGB Camera-BasedImaging of Oxygen Saturation and Hemoglobin Concentration in Ocular Fundus, IEEE Access, Vol. 7, pp.
56469-56479, 2019.
5本研究の目的
スマートフォンや洗面台の使用中などといった日常生活の中で，ほぼ無意識のうちに眼底SO2を計測することを想定した装置の開発

6

本研究の概要
約50cmの遠隔からビデオカメラを用いて非接触で瞳孔を検出する技術を基に，今回，2種類の波長の（810，940nm）の近赤外線LEDを発光させた際に得られる眼底からの反射光強度（瞳孔輝度）を取得．
• 眼底自体にはカメラのピントが合わない．

吸光係数 (cm-1mM-1)• 本研究室でこれまでに開発してきた例えば

4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0
600

810 nm

940 nm

脱酸化ヘモグロビン（Hb）
酸化ヘモグロビン
（HbO2）

700800900
波長 (nm)

10001100

ヘモグロビンの吸光特性[2]→ 眼底から反射光を、瞳孔の輝度平均として、巨視的（マクロ的）に捉える計測．

瞳孔画像の様子7

本研究の概要• 使用する波長の近赤外光は，網膜を通り過ぎ、その後ろの、脈絡膜（血管が多く存在する）まで到達するため，脈絡膜中の血中酸素飽和度をマクロ的観察できると考えられる．
• 瞳孔輝度は瞳孔面積に比例するため，瞳孔輝度の補正のために瞳孔輝度と同時に瞳孔面積も取得して補正する．
• 被験者に息を止めてもらい、瞳孔輝度比が変化することを確かめた．
8

開発した装置の外観

・ 左右両方の光学系：
ステレオマッチングによる瞳孔3次元座標の計測

瞳孔までの距離，注視点検出

扇風機は、LED光源の発9光量の安定化のための温度調整に利用
9開発した装置の外観

・ 左の光学系：
瞳孔輝度，瞳孔面積の取得

扇風機は、LED光源の発10光量の安定化のための温度調整に利用
10明瞳孔・暗瞳孔画像の取得原理• 眼底で反射した光は強い指向性をもって光源に戻る性質がある。戻り光がカメラの開口部に入射すると瞳孔は明るく光って見える傾向がある
光源のLED
開口部

眼底

瞳孔
眼球
810 nm 明瞳孔画像（輝度調整済）

LED光源

カメラ

光源のLED

開口部

眼底

瞳孔
眼球
940 nm 暗瞳孔画像（輝度調整済）

LED光源

カメラ

1111

瞳孔領域の取得• 810 nm明瞳孔画像から940 nm暗瞳孔画像を差分．

• 差分画像を2値化して瞳孔像（瞳孔領域）を取得．
：810 nm明瞳孔用LED：940 nm暗瞳孔用LED

２値化

810nm明瞳孔画像

940nm暗瞳孔画像

差分瞳孔画像瞳孔領域の取得12

瞳孔輝度の取得：810 nm明瞳孔用LED：940 nm明瞳孔用LED：940 nm暗瞳孔用LED• 外乱光の影響を除去するため，810 nm明瞳孔画像と，940 nm明瞳孔画像から無照明画像をそれぞれ差分．
差分940nm明瞳孔画像
940nm明瞳孔画像

無照明画像

差分810nm明瞳孔画像
810nm明瞳孔画像

無照明画像• 先の求めた瞳孔領域における差分940nm明瞳孔画像と差分810nm明瞳孔画像の輝度平均をそれぞれ算出する。
13

瞳孔領域の取得の際の角膜領域の除外• 810nm明瞳孔画像における角膜反射（光源の光が角膜上で反射した像）を中心とした周辺領域の画素を，2波長の明瞳孔画像領域からそれぞれ除外．

：810 nm明瞳孔用LED：940 nm明瞳孔用LED

角膜反射810nm明瞳孔画像

角膜反射
940nm明瞳孔画像

輝度値[-]

輝度値[-]

810nm明瞳孔画像

水平方向[pix]

瞳孔輝度

水平方向[pix]• 外部光の影響を除くため，角膜反射を除外した瞳孔領域の平均輝度値から無照明画像の平均輝度値を減算し，瞳孔輝度を取得．
14

高速度カメラ（2,000 fps）を用いた画像の取得

左光学系• 瞳孔検出，瞳孔輝度，瞳孔面積の測定，注視点検出に必要なカメラ画像7枚を順次撮影．
• 7枚を1セットとして1秒間に30セットの頻度で撮影．

810 nm明瞳孔画像

差分瞳孔画像瞳孔領域，注視点検出に使用

940 nm暗瞳孔画像

940 nm暗瞳孔画像

差分940nm
明瞳孔画像

右光学系

差分瞳孔画像無照明画像 (940nm用)

瞳孔輝度の取得に使用
940 nm明瞳孔画像

差分810nm
明瞳孔画像

無照明画像 (810nm用)

810 nm明瞳孔画像

15

瞳孔面積の取得• 差分画像の2値化画像において，角膜反射により瞳孔像の内部に欠損が生じる．
• 膨張処理で欠損を塞ぎ，収縮処理で元のおおよその瞳孔サイズに戻す．
2値化・
孤立点除去

差分瞳孔画像（拡大）膨張+ 収縮2値化画像

膨張収縮画像• 瞳孔までの距離が分かっているため（ステレオマッチングにより），ピンホールカメラモデルに基づき瞳孔像の画素数から実物大の瞳孔面積 [mm2]を算出．
• ここで得られる瞳孔面積を瞳孔輝度比を求める際の補正に使用した。
16

切片較正による瞳孔輝度比𝐵𝑐• 一般に瞳孔面積と瞳孔輝度は比例関係．
• 理想的には近似直線は原点を通るはずであるが，切片が存在した．
• 瞳孔の大きさは被験者の周囲の明るさや心理状態で変化．
100

瞳孔輝度 [-]

80

810 nm明瞳孔940 nm明瞳孔線形近似
𝑓𝑙 𝑥 = 𝑎𝑙 𝑥 + 𝑐𝑙
𝑔𝑙 𝑥 = 𝑏𝑙 𝑥 + 𝑑𝑙

60𝑖はフレーム番号40
2001525
瞳孔面積 [mm2]
瞳孔輝度と瞳孔面積の関係

瞳孔輝度比𝐵𝑐 を定義
𝐿810𝑖 − 𝑐𝑙
𝐵𝑐𝑖 =𝐿940𝑖 − 𝑑𝑙35

𝑓𝑙 (𝑥)：810nm明瞳孔輝度の近似直線𝑔𝑙 (𝑥)：940nm明瞳孔輝度の近似直線
𝑥：瞳孔面積𝐿810𝑖 ： 各フレームでの810nm明瞳孔輝度
𝐿940𝑖 ： 各フレームでの940nm明瞳孔輝度
𝑎𝑙 , 𝑏𝑙 , 𝑐𝑙 , 𝑑𝑙 ：係数

瞳孔面積が与える影響を抑える
17

近似式での較正による瞳孔輝度比𝐵𝑛
前頁の瞳孔輝度比𝐵𝑐 では瞳孔輝度・面積の関係が線形と仮定し，面積の影響を除外した

しかし、曲線近似がふさわしい場合も存在した．
80
瞳孔輝度 [-]

瞳孔輝度 [-]

10060402001525
瞳孔面積 [mm2](a) 線形関数35 152
瞳孔面積25 [mm ]瞳孔面積 [mm2]35 1525
瞳孔面積 [mm2](b) 二次関数(c) 指数関数

35

瞳孔輝度と瞳孔面積の関係

決定係数を用いて、補正に最適な近似式を 𝑓(𝑥) ： 810nm明瞳孔輝度の近似曲線選び、瞳孔輝度の正規化を行い，2波長間で 𝑔(𝑥) ： 940nm明瞳孔輝度の近似曲線の輝度比を得た．
𝐿810 𝑖 ： 810nm明瞳孔輝度
𝐿940 𝑖 ： 940nm明瞳孔輝度
𝑙810 𝑖
𝐿810 𝑖
𝐿940 𝑖𝐵𝑛𝑖 =𝑙810 𝑖 =, 𝑙940 𝑖 =𝑙810 𝑖 ： 正規化810nm明瞳孔輝度
𝑙940 𝑖𝑓(𝑥𝑖 )𝑔(𝑥𝑖 )
瞳孔輝度比𝐵𝑛 と定義

𝑙940 𝑖 ： 正規化940nm明瞳孔輝度
𝑥, 𝑥𝑖 ： 瞳孔面積18実験 無呼吸を伴う瞳孔輝度比の計測
目的• 無呼吸状態にして眼底酸素飽和度（SO2）を低下させ， 瞳孔輝度比を計測• パルスオキシメータの経皮的動脈血酸素飽和濃度（SpO2）と比較

方法• 被験者4名（4名×2回で，計8回の実験）• 頭部を顎台で固定し，眼球と画面との距離は約55cm．

• 計測開始直後後の10秒間で，瞳孔輝度の較正式を算出するための画像を撮影した．

• 被験者にはディスプレイ画面の中央に表示した視標を注視．
• 画面を点滅させ、瞳孔面積を大きく変化させた。

モニタ
プローブ

• 被験者には無理のない程度で息を止めるように指示．
• SpO2 の最大値と最小値の平均を閾値とし，閾値よりも低い時間区間を低SpO2 時，SpO2 が閾値を上回った以降の区間を高SpO2時として定義．
• 全被験者で左眼の瞳孔輝度比を計測．

19

Checkme Pro B ADV（三栄メディシス株式会社製）

19

実験 結果 注視点分布（被験者C）⚫ 被験者Cの注視点分布（6分間）
視標

両眼の平均注視点

垂直方向 [mm]200
1000-100-200-300-200-1000100
水平方向 [mm]200300

計測中，被験者Cは中央の視標を注視していたことを確認．

20

実験 結果 瞳孔輝度比の時間変化（被験者C）100

低SpO2SpO[%]
SpO22 [%]

95

高SpO290.59085

無呼吸呼吸80060120180240
経過時間 [s]
経過時間[s]300360

パルスオキシメータによるSpO2の時間変化
2.0

低SpO2

瞳孔輝度比
輝度比 [-]

1.5

瞳孔輝度比
正規化輝度比 [-] [-]

[-]

2.0

高SpO2

1.00.5

低SpO21.5

高SpO2

1.00.50.00.0060120180240
経過時間 [s]
経過時間[s]300

瞳孔輝度比 の時間変化

360

060

瞳孔輝度比

120180240
経過時間 [s]
経過時間[s]300360（二次関数での補正）の時間変化• 瞳孔輝度比𝐵𝑛 は，810nmと940nmの2つの波長の決定係数の平均値が最も高かった二次関数を用いて較正．
• いずれの瞳孔輝度比でも，低SpO2よりも高SpO2の方が高い値を示した．

21

実験 低SpO2時と高SpO2時の瞳孔輝度比の比較
左：1回目

10

右：2回目

81.2623.5
2.5

1.6 1.7

2.3

1.3

0.4

1.6[-]

40
12345
被験者A
被験者B
被験者C
被験者D
平均
10.0(二次)

瞳孔輝度比 の増減率 [%]128.0(二次)1086
42

1.1-0.6-25.6(二次)1.9(線形)

4.5(指数)

6.6(二次)

瞳孔輝度比

瞳孔輝度比 の増減率 [%]121.00.9

4.50.80.9(指数)0.7 低SpO2時

高SpO2時0-2-1.5 (指数)12345
被験者A 被験者B 被験者C 被験者D 平均• 8回の計測のうち，7回の計測で高SpO2時の方が低SpO2時よりも𝐵𝑐 ，𝐵𝑛 が増加．
• 被験者Dの2回目の計測で，瞳孔輝度比𝐵𝑛 の増加率が最も高く，約10 %上昇．
• 𝑡検定を行ったところ，被験者Cの2回目以外の測定において，いずれの値も高SpO2時の方が低SpO2時よりも有意に高い値を示した．
22

実験 考察𝑙810 𝑖
瞳孔輝度比が大きくなるはずで
𝑙940 𝑖であり、実験結果と一致している。

吸光係数 (cm-1mM-1)

酸素飽和度が上昇する場合

4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0
600

810 nm

940 nm

脱酸化ヘモグロビン（Hb）
酸化ヘモグロビン
（HbO2）

700

800900波長 (nm)

1000

1100

ヘモグロビンの吸光特性[2]23従来技術とその問題点• 従来の眼底の血中酸素飽和度の計測では、眼底の動脈、静脈、その他の領域の細部の酸素飽和度を計測するが、散瞳剤点眼の上、覗き窓の覗くようにした状態で計測される。さらに、一般に、可視光を利用するために眩しく、ユーザにとって大きな負担があり、そのため、日常的なヘルスケアモニタリングには不向きであった。

24

新技術の特徴・従来技術との比較
本方法では、• 50㎝など遠く離れたところから、不可視の近赤外線を顔に照射し、眼底からも戻ってくる光をマクロ的に計測する。

• その際に、必要な瞳孔検出は、2波長光源と画像差分法を用いているため高ロバストである。
• 瞳孔サイズに依存せず、散瞳剤が不要で、無自覚かつ連続的に眼底の血中酸素飽和度が計測可能である。

25

新技術の特徴・従来技術との比較• また、同じハードウェアで我々の瞳孔検出に基づいて可能となる他のこと（下に示す）が同時にできる可能性が高い。

– 頭部姿勢（顔の位置と向き）の計測– 瞳孔形状による個人認証（眼球認証）– 瞳孔径や瞳孔面積の実寸での計測– 視線・注視点計測– 目と目が合う遠隔コミュニケーションシステム
26

想定される用途• スマートフォンや洗面台など、頻繁に使用する対象に備え付けて、身体や眼の病気の早期発見のための連続的ヘルスケアモニタリング• ドライバー・操縦士などの勤務前の健康状態チェック（非接触の体温計測などと同時に）

27

実用化に向けた課題
現在、高速度カメラを使用して、瞳孔の移動を無視できる短い期間内に、複数の波長の光源を発光させたり、無照明の画像を短時間に取得している。高速度カメラは高額なため、例えば偏光センサカメラ※を用いて、２波長画像同時取得[7][8]をすることで低価格化と高性能化ができると考えられる。
※偏光センサカメラとは、例えば、近隣の4画素で45°ずつ偏光方向を変えたイメージセンサを持つカメラ[7]小野修司(富士フイルム）：“Xin1 カメラ～偏光センサでマルチスペクトルを1ショット撮影～”，SSII2019，
IS2-05 (2019)[8]清水凌雅, 福元清剛, 小野修司, 海老澤嘉伸: “偏光センサカメラを用いた明・暗瞳孔顔画像同時取得による 注視点検出のための特徴点検出の検討”, SSII2020, IS3-10 (2020)28実用化に向けた課題•LEDの少数化と光源の小型化
カメラやレンズによるが、光学系の顔までの距離が近ければ、少数のLEDの瞳孔が明るく光ることを確かめている．

使用したカメラ29

実用化に向けた課題
まだ不明点が多く、眼底SO2の計測感度を向上させるための試作と実験が必要

30

企業への期待• 適したカメラ（イメージセンサ）、レンズ、LED等があれば、我々の蓄積してきたノウハウを利用することで、瞳孔検出による様々な機能の性能は簡単に向上すると確信しています。これら部品関連企業やスマートフォン開発に関連する企業を求めます。

• ヘルスケアモニタリングに興味のある企業・研究者を求めます。
発表者は、静岡大学プロジェクト研究所「正視覚力研究所」の所長として、“瞳孔検出時に観察される眼球内変化に基づく病気予兆検知に関する研究”に従事しています。賛同される企業、研究者を求めます。
https://project-kenkyu.shizuoka.ac.jp/introduction-pj-labo/y2019/1-004• 基礎実験に協力していただける研究者を求めます。

• インターネットを通しての瞳孔から得られる情報収集と機械学習等に関連する企業を求めます。
31

本技術に関する知的財産権• 発明の名称 ：生体情報解析装置• 出願番号 ：特願2021-030242
• 出願人
：静岡大学
• 発明者
：海老澤嘉伸偏光センサカメラを用いた瞳孔検出••••

発明の名称：瞳孔検出装置
出願番号 ：特願2020-100416
出願人
：静岡大学
発明者
：海老澤嘉伸32

お問い合わせ先
静岡大学
イノベーション社会連携推進機構
コーディネータ 大場 弘行
ＴＥＬ
０５３－４７８－１７０1
ＦＡＸ
０５３－４７８－１７１１
e-mail sangakucd@cjr.shizuoka.ac.jp33