3D 映像 Vol.33 No.4, pp 4 – 10 (2021)

独自のカラーチャートを用いた質の高い遠隔診療システムの開発
高橋 雅人 1,3，高橋 凌 1，森原 康博 2，金 一石 4，小川 恵子 5，津村 徳道 1
1）千葉大学大学院，2）DIC グラフィックス株式会社，3）DIC 株式会社，
4）株式会社センシング，5）金沢大学医学部附属病院

１．はじめに遠隔診療関連のサービスは伸張しており，世界規模で 2016 年に 26.8 億米ドル，2025 年には 227.1億米ドルと予想されている 1)。一方，日本では 2025 年に 250 億円と予想され 2)規模が小さい．遠隔医療関連のサービスとして挙げられているのは，医師相互のコミュニケーション，医師に対する専門医のアドバイス，慢性疾患の在宅モニタリング，理学療法指導などであり，日本では，対面で行っている内容であることから，国民皆保険制度など，医療サービスへのアクセスの容易さや，診療報酬の違いが影響していると考えられる。
日本での遠隔医療関連のサービス伸張は少ないと見られていたが，Covid-19 拡大により，感染防止の観点から，遠隔医療の必要性が急速に高まり，国も Covid-19 対応として，診療報酬の改定や，初診からの利用を認めるなど，オンライン診療を推進する施策を打ち出している。
日本におけるオンライン診療に関する指針の最新版は，厚生労働省が，2019 年 3 月に改定した「オンライン診療の適切な実施に関する指針」3)であり，その中には，「オンライン診療を実施する前に，直接の対面で，実際に使用する情報通信機器を用いた試験を実施し，情報通信機器を通して得られる画像の色彩や動作等について確認しておくことが望ましい」と記載され，色情報の重要性を示している。
医療における色再現が重要であることは，文献 4）に記載されているが，現在行われている市販の携帯端末を利用した遠隔医療では，忠実な色再現が十分に出来ていない。これは，携帯端末が好ましい色再現を目的とした処理を行っている事にも起因している。忠実な色再現を良好な精度で行うには，照明，撮影装置，表示装置などの調整が必要となるが，現状では専門の知識や器具が必要となる。このため，視覚を重視する診療（望診）を行う医師からは，簡易で忠実な色再現システムが求められている。
実用的な色再現系は，CIE によって標準化が行われてきているが 5)，実際に色再現を行う場合は，校正機器の使用など，容易には出来ない．色再現における要素は，撮影側（患者側）では，光源の分光放射輝度，患者の分光吸収，撮影するカメラの特性が必要で，観察側（医師側）では，モニターの補正が必要となる。
このうち，観察側のモニター補正は，市販の表示装置のプロファイル作成ツールを用いれば，比較的容易に行う事が出来る。しかし，患者側の補正は，光源の分光放射強度やカメラ性能を考慮した補正が必要で，難しい。加えて，技術の進歩により，携帯端末では，自動的な色補正，例えばオートホワイトバランスだけでなく，美肌効果などの処理が行われているため，補正が一層困難となる。
そこで，本節では，Covid-19 拡大に対応するために開発している遠隔医療システム(図 1)について，
1）カラーチャートを指標に医師の知覚に頼る色補正，2）カラーチャットを利用した色の自動色補正の部分について説明する。フェーズ 3 については，Mitsuhashi ら 6)，Fukunishi ら 7,8)，を基に開発を進めている段階のため，本稿では割愛した。
なお，本稿の内容は，著者らが AROB 誌に記した内容 9)をベースに，現在進めている改良を踏まえて記載する。
4

3D 映像 Vol.33 No.4, pp 4 – 10 (2021)

図1

遠隔診療システムの開発フェーズ

２．カラーチャートを指標に医師の知覚に頼る色補正開発したカラーチャート(図 2)は，名刺大の大きさで，左側にグレースケール，中央部に自動色補正に必要な各色，右側に，医師の知覚にもとづく診療のための舌色と肌の色を含んでいる。色の選定は，医師（漢方）の意見を基に行った。カラーチャートの利用方法の概念を図 3 に示す。
色補正は，医師と患者が同じカラーチャートを持ち，医師が，同じ色のパッチの色変化を確認することで，患者の実際の色を認識する手法である。その手順は，1）患者がカラーチャートと自身の顔を撮影し，医師に送付する。2）医師は送付された画像と手許のカラーチャートを目視で比較する。
3）医師の知覚をもとに，患者の色を推定するというプロセスとなっている。当初開発したカラーチャートは，8 人の医師によって評価された。その結果，カラーチャートが無い状態と比較して，診断に有効である事が示唆された 9)。

図2

医師の意見を取り入れて開発した，遠隔医療用カラーチャート

図3

医師の知覚に頼るカラーチャートの使用方法

なお，医師の評価実験では，使用したカラーチャートについて，否定的な意見は無かったが，改良の要望が出された。具体的には，色の配置が系統立っていないため，見づらいとの事で，3 名の医師（漢53D 映像 Vol.33 No.4, pp 4 – 10 (2021)方）の意見をもとに，色の配置を改良した。現在使用している改良されたカラーチャートを図 4 に示す。

図4

色配置を見やすく変更したカラーチャート

３．カラーチャートを利用した色の自動色補正
医師の知覚に頼る色補正の手法は，一定の評価が得られたが，実際の診療に使う場合は，自動補正が好ましい。複数の照明環境，複数の携帯端末で撮影した画像(図 5)を示すが，色の状態が大きく異なっていることから，補正の必要性は明確である。

図5

複数条件による色の違い

そこで，自動色補正について，我々の提案した手法を図 6 に示す。
色補正を行う際のターゲットとなる色は，医師の手許のチャート色とした。そのため，患者側のチャートの色をターゲットの色に合わせる色変換を行う。そして，色変換に用いた関係式を，画像全体に実施する事で色補正が完結する。

図6

色補正の手法6

3D 映像 Vol.33 No.4, pp 4 – 10 (2021)
3-1 医師側表示装置の補正
医師側の表示装置の補正(図 6 の左側)について説明する。はじめに，医師側の照明環境におけるカラーチャートの色を色彩輝度計で測定する。次に，表示装置に R,G,B 値を変化させて入力し，その結果出力される画面の色を，色彩輝度計を用いて測定し，Imai らの方法 10)により変換式を求める。輝度と R,G,B 入力値の関係は
𝐿′𝑅 = 𝑎0 𝑅2 + 𝑎1 𝑅 + 𝑎2
𝐿′𝐺 = 𝑏0 𝐺 2 + 𝑏1 𝐺 + 𝑏2
𝐿′𝐵 = 𝑐0 𝐵2 + 𝑐1 𝐵 + 𝑐2(1)と書ける。ここで L’R, L’G, L’B は，R,G,B の輝度値を示し，R/G/B は入力信号のレベル，ai, bi, ci(i = 0–2)は係数である．表示装置の 3 刺激値 X，Y，Z は，次の式に示すように R，G，B 信号の寄与項に分離できる。
𝑋′𝑅 + 𝑋′𝐺 + 𝑋′𝐵𝑋′(𝑌′) = ( 𝑌′𝑅 + 𝑌′𝐺 + 𝑌′𝐵 ),𝑍′
𝑍′𝑅 + 𝑍′𝐺 + 𝑍′𝐵(2)

ここで，X'i, Y'i, Z'i (i = R, G, B)は，それぞれ赤，緑，青の発光の三刺激値であり，各発光に対応する
三刺激値は，表示装置を測色する際のL，x，yから計算できる。
各発光のX-YとY-Zの関係は，次の式(3)のような，線形方程式で表すことができる。
𝑋′𝑅 = 𝑎𝑅 𝑌′𝑅 + 𝑏𝑅
𝑋′𝐺 = 𝑎𝐺 𝑌′𝐺 + 𝑏𝐺
𝑋′𝐵 = 𝑎𝐵 𝑌′𝐵 + 𝑏𝐵
𝑍′𝑅 = 𝑐𝑅 𝑌′𝑅 + 𝑑𝑅
𝑍′𝐺 = 𝑐𝐺 𝑌′𝐺 + 𝑑𝐺
𝑍′𝐵 = 𝑐𝐵 𝑌′𝐵 + 𝑑𝐵 ,(3)ここで，ai, bi, ci, ,di (i = R, G, B)は係数である。
上記の式(2)，(3)から式(4)が得られる。
𝑎𝑅 𝑌′𝑅 + 𝑎𝐺 𝑌′𝐺 + 𝑎𝐵 𝑌′𝐵 + 𝑏𝑅 + 𝑏𝐺 + 𝑏𝐵
𝑋′𝑌′𝑅 + 𝑌′𝐺 + 𝑌′𝐵(𝑌′) = ()𝑍′𝑐𝑅 𝑌′𝑅 + 𝑐𝐺 𝑌′𝐺 + 𝑐𝐵 𝑌′𝐵 + 𝑑𝑅 + 𝑑𝐺 + 𝑑𝐵
𝑌′𝑅
𝑏𝑅 + 𝑏𝐺 + 𝑏𝐵
0
= 𝑨 (𝑌′𝐺 ) + ()𝑑+𝑑+𝑑𝑌′𝐵
𝑅𝐺𝐵𝑎𝑅 𝑎𝐺 𝑎𝐵
𝑨 = (1.0 1.0 1.0)
𝑐𝑅 𝑐𝐺 𝑐𝐵(4)

式(4)から，ある3刺激値X'Y'Z 'を表示装置に表示したい時の，RGB入力値は，式(5)を使用して求めることが出来る。
𝐿′𝑅
𝑌′𝑅
𝑋′ − 𝑏𝑅 − 𝑏𝐺 − 𝑏𝐵
(𝐿′𝐺 ) = (𝑌′𝐺 ) = 𝑨−𝟏 ()𝑌′
𝑍′ − 𝑑𝑅 − 𝑑𝐺 − 𝑑𝐵
𝐿′𝐵
𝑌′𝐵

(5)

式(5)から，R，G，Bは，式(2)によって得られた輝度を適用することによって計算することができる。これにより，医師側の表示装置の補正が完了する。
7

3D 映像 Vol.33 No.4, pp 4 – 10 (2021)
具体的には，医師側の表示装置に対して，入力値Rを0から8刻みで255まで変化させ，測色計を用いて輝度を測定する。次にG，Bについても同様に行う。測定された輝度をもとに式(1)のパラメータを重回帰により求める。次に，医師側の照明環境下で測定されたカラーパッチのXYZ値を式(5)に入力する事により，XYZ値を出力するために必要なRGB値が求められる。
3-2 患者側撮影データの補正
撮影データの補正(図 5 の右側)について説明する。補正の手法は，医師側の環境におけるカラーチ
ャートの測色データを正解値として，患者を撮影した画像のカラーチャートを正解値に補正する。次に，カラーチャートを補正したパラメータを用いて，画像全体を補正する事により，患者の色が補正される。具体的な手順は，1）患者は，カラーチャートと患者自身を同一の画像に収めて撮影する（自撮り）。2）その後，携帯端末のソフトウエアで，画像変換を行う。変換のプロセスは，撮影された画像のカラーチャート部分を AR マーカを利用して取り出し，カラーチャートの各パッチの RGB 値を取得。撮影・抽出した各パッチの色を正解値に合わせるための関係式を重回帰で求める。関係式が出来たので，これを用いて，全画素を変換。これにより，補正が完了する。
3-3 自動色補正の結果（定性的）上記の自動色補正を行った画像について，3 名の医師により，色の補正の正しさについて，検証を行った。その結果，診療に十分利用できる状態との評価を得た。
なお，今回改良したカラーチャートを用いた自動色補正例を図 7 に示す。
図7自動補正の実施例

3-4 自動色補正の結果（定量的）
自動色補正の結果について，測色計により検証した結果を 図 8 に示す。検証は，表示装置に表示されたカラーパッチを測色し，医師の照明環境下のカラーチャートの測色値と比較する事により行った。比較した色のパッチは，診断に重要な舌，炎症皮膚の色のパッチ 7 色を用いて行った。その結果，図 2 に示す E-d，E-eの濃い色の部分を除いて，ヒトが同等と感じる ΔE が 5 以内に収まっていた。一般に使用されるカラーチャートでは，舌色や炎症皮膚の色を含まない。これを除いた 24 色を用いて自動色補正を行った結果と比較すると，30 色を使用した補正が有効であることがわかった 9)。
図88

自動補正の検証

3D 映像 Vol.33 No.4, pp 4 – 10 (2021)
3-5 考察我々の開発したヒトの肌色，舌色を含んだカラーチャートを用いた自動補正は，3名の医師の目視では十分使用に耐えることが示された。一方，定量的な比較では，濃い色の部分に相違が見られた。今
回我々が提案したカラーチャートを用いた色補正は，Covid-19対応として緊急的に開発したものであるため，今後，精度の向上を図っていく所存である。
なお，今回提案したカラーチャートの色は対象を日本人として設定している。舌の色は粘膜なので，世界共通で通用する可能性があるが，肌の色は人種で異なるため，グローバル展開の際は，カラーパッチの色について検討する必要がある。
医師側の表示装置補正の手法は，測色計を用いるなど，機器の使用や手間がかかるため，実用的に十分ではない。そこで，我々は図9に示した，鏡を使用した簡易な補正方法について，開発を進めている。これは，カラーチャートと，医師の表示装置（携帯図9 鏡を利用した出力装置の補正端末の画面）を同時に撮影することにより，色補正を行うものである。
４．おわりに本稿では，Covid-19 拡大に対応するために著者らが開発した遠隔医療システムについて解説した。
医師の知覚に頼る手法では，患者と医師双方がカラーチャートを持つことによって，携帯端末においても，患者の状態を従来より正確に診断出来る事がわかった。カラーチャートを使用した自動補正では，医師側の照明を，一般的に使用されている D50 光源として補正を行い，一定の結果を得たが，実用面では医師側の照明も多様であることから，対応が求められる。現在，鏡を用いて携帯端末を自撮りする色補正の検証を行っている。この技術が活用できれば，各種照明下においても精度が向上出来ると考える。
謝辞
本研究の評価では，三重大学病院漢方外来 助教 髙村光幸先生，地方職員共済組合 静岡県庁診療所 所長 本川哲也先生，広瀬クリニック 院長 木許 泉先生，真生会富山病院 原田樹先生，
平名浩史得先生のご協力を頂きました。ここに感謝の意を表します。
参考文献
1) Kenneth Research，’Global Telehealth Market Size, Growth, Opportunity and Forecast’ , Mass（2020,8-September）
2) 公益社団法人日本医師会,日本医師会総合政策研究機構,’令和元年度商取引・サービス環境の適正化に係る事業（公的保険外・医療周辺サービス実態調査）調査報告書’, 2020 年 2 月 リンク
3) 厚生労働省,’オンライン診療の適切な実施に関する指針’,平成 30 年 3 月（令和元年７月一部改訂）
リンク4) Nishibori, M, ‘Problems and solutions in medical color imaging’, In Proceedings of the SecondInternational Symposium on Multi-Spectral Imaging and High Accurate Color Reproduction,
pp. 9-17 (2000, October). リンク
5) Schanda, J. (Ed.),’Colorimetry: understanding the CIE system’, John Wiley & Sons (2007)
6) Ryota Mitsuhashi, Keiichiro Kagawa, Shoji Kawahito, Chawan Koopipat, Norimichi Tsumura,‘Dual-Band Infrared Video-Based Measurement Using Pulse Wave Maps to Analyze Heart
93D 映像 Vol.33 No.4, pp 4 – 10 (2021)
Rate Variability’, Journal of Imaging Science and Technology, Volume 62, Number 5 pp. 504051-50405-7(7) (2018,September).
7) Munenori Fukunishi, Daniel McDuff, Norimichi Tsumura, ‘Improvements in Remote Video
based Estimation of Heart Rate Variabilityusing the Welch FFT Method’, Artificial Life andRobotics, March 2018, Volume 23, Issue 1, pp 15-22 https://doi.org/10.1007/s10015. (2017).
8) Munenori Fukunishi,Kouki Kurita, Shoji Yamamoto and Norimichi Tsumura, ‘Non-contact
Video Based Estimation of Heart Rate Variability Spectrogramfrom Hemoglobin Composition’,
Artificial Life and Robotics, December 2017, Volume 22, Issue 4, pp 457-463
https://doi.org/10.1007/s10015-017-0382-1(2017).
9) Takahashi, M., Takahashi, R., Morihara, Y. et al. ‘Development of a camera-based remote diagnosticsystem focused on color reproduction using color charts’. Artif Life Robotics 25, 370–376 (2020).
10) Imai, Francisco Hideki, et al. ‘Principal component analysis of skin color and its application
to colorimetric color reproduction on CRT display and hardcopy.’ Journal of Imaging Scienceand Technology 40.5,pp422-430 (1996).
高橋雅人 TAKAHASHI, Masato
千葉大学 大学院工学研究院 融合理工学府 津村研究室〒263-8522 千葉市稲毛区弥生町 1-33
DIC 株式会社〒103-8233 東京都中央区日本橋 3-7-20 ディーアイシービル
執筆者の高橋凌 Takahashi, Ryo
顔写真千葉大学 大学院工学研究院 融合理工学府 津村研究室(20×25mm)〒263-8522
千葉市稲毛区弥生町 1-33森原康博 Morihara, Yasuhiro
DIC グラフィックス株式会社〒103-8233 東京都中央区日本橋 3-7-20 ディーアイシービル
金 一石 Kin, Isseki
株式会社センシング〒105-6234
東京都港区愛宕２丁目５番１号
愛宕グリーンヒルズ MORI タワー３４F
小川恵子 Ogawa-Ochiai, Keiko
金沢大学 医学部附属病院 漢方医学科 特任准教授〒920-8641 石川県金沢市宝町 13-1

執筆者の顔写真(20×25mm)

津村徳道 TSUMURA, Norimichi
千葉大学 大学院工学研究院 准教授〒263-8522 千葉市稲毛区弥生町 1-33

執筆者の顔写真
注：本稿は，“高橋雅人，高橋 凌，森原康博，金 一石，小川恵子，津村徳道：「質の高い遠隔(20×25mm)
医療用カラーチャートの開発と自動補正」，光技術コンタクト，Vol.59，No.1, pp 22 (2021) ”
に対し追記・修正を行ったものである。
（版組みとリンクの責任は 3D フォーラムにある。
）

10