匠の技の定量化 ─ Deep Learning による先駆的顎顔面補綴支援システムの開発
広島大学大学院医系科学研究科医療システム工学

峯裕一

Maxillofacial prosthetic rehabilitation replaces missing structures to recover the function and aesthetics relating to facial
defects or injuries. Deep learning is rapidly expanding with respect to applications in medical fields. In this study, we apply
the artificial neural network (ANN)-based deep learning approach to coloration support for fabricating maxillofacial prostheses. We prepared 52 silicone elastomer specimens of varying colors and measured the CIE 1976 L* a* b* color space information using a spectrophotometer and an application for mobile device. We constructed the deep ANN using Python and implemented it using the Keras with TensorFlow as the backend. The deep ANN architecture consisted of three input variables,
two hidden layers with 1000 nodes, and four output variables. The output of these algorithms indicated the compounding
amount of four pigments. According to the algorithms’ pigment compounding predictions, we prepared the specimens forvalidation analysis and measured the CIE 1976 L* a* b* values. We determined the color differences between the real skincolor of ten research participants and that of the silicone elastomer specimens fabricated based on the algorithm predictions
using the CIEDE00 ΔE00 color system. The color differences (ΔE00 value) between the real skin color and silicone elastomer
validation specimens were 3.45±0.87 (the algorithm trained using values of specimens measured with a spectrophotometer)and 8.93±3.65 (the algorithm trained using values of specimens measured with an application for mobile device), whichindicates that the deep ANN approach produced superior results with respect to the ΔE00 value. These results suggest that applying deep ANN is a promising technique for the coloration of maxillofacial prostheses.

1．緒

シリコーン樹脂用の顔料を混ぜ合わせ、試行錯誤を重ね最言終的な配合量を決定する。

顎顔面領域の欠損は、外傷や悪性腫瘍に対する切除手術

少子高齢化社会を迎えた本邦では、労働力の不足やワーなどにより生じる。症例によっては、咀嚼・嚥下・発音なクライフバランスへの対応など喫緊の課題に直面している。

どの機能性のみならず、審美性に大きな障害をきたす場合

このような状況の中で、人工知能があらゆる分野の業務のが多い。また、外出を控えるようになるなど精神心理的苦効率化に寄与することが期待されている。特に医療は、国痛を惹起し、著しい QOL の低下を招く。エピテーゼは、民の健康福祉の増進はもとより、社会保障費用の増加を抑このような人体の一部に欠損が生じた症例に対し、補綴物

制し社会保障制度の持続可能性を担保する観点でも、患者を用いて形態的・審美的・心理的なリハビリテーションをと医療従事者の双方をサポートする人工知能の技術導入が1）行う治療法の一つである 。本邦はもちろんのこと、発展期待されている分野である。米国においては糖尿病網膜症

途上国などのリソースの限られた国々においてもその需要の画像診断などが、日本においては大腸がんの前がん病変は高く 2）、技術者の養成が期待されている。一般的には医である腫瘍性ポリープの画像診断などが、それぞれ医療機療用シリコーン樹脂を用いて製作されるが、患者の欠損部器として規制当局から認可されている 6 , 7）。人工知能の一を正確に再現するには熟練を要する 3）。これらを解決する手法である機械学習は、「データから規則性や判断基準をために、3 D スキャナや 3 D プリンタといったデジタル技学習し、それに基づき未知のものを予測、判断する技術」8）術の応用が試みられており、その有用性に関する知見が蓄とされており、客観的には伝え難い技術を定量することを積されつつある

4 , 5）。しかしながら、これらにより効率化可能とする。

が期待できるのはエピテーゼの形状設計および製作工程のそこで本研究課題では、いわゆる「匠の技」に依存してい一部であり、エピテーゼ治療の成功に大きな影響を与えるたエピテーゼの製作に対し、人工知能の分析技術である機着色に関しては製作者の技術に依るところが大きい。エピ

械学習の中でも、Deep Learning と呼ばれる研究手法を応テーゼの着色は一般的に、患者の肌の色を再現するために用することで、一般的な歯科技工士やエピテーゼ製作技術者であれば均質なエピテーゼ製作が可能となる手法を構築

Development of innovative support
system for maxillofacial prosthesis
using deep learning
Yuichi Mine
Department of Medical System Engineering,
Graduate School of Biomedical and Health
Sciences, Hiroshima Universityすることを最終目的とする。

２．方法

２. 1. シリコーン試料の作製
医療用シリコーンとしてジーシーシルフィ（株式会社ジーシー、東京）
を、顔料として Functional IntrinsicⅡ（FactorII− 217 −コスメトロジー研究報告 Vol. 30, 2022lnc.、米国）の White、Monastral Red、Yellow および Blue

験では、Intel Core i 7 - 9750 H 2 . 60 GHz CPU（Intel、米国）、を用いた。以下、顔料は白、赤、黄、青と表記する。

16 . 0 GB RAM および NVIDIA GeForce RTX 2070 MAX-Q9）

8 . 0 GB GPU（NVIDIA、米国）を搭載した PC を使用し実施

Kiat-Amnuay らの報告 を参考に、シリコーン試料を作製した。ジーシーシルフィのシリコーンベース 50 g、キした。

ャタリスト 5 g および Functional Intrinsic II の白、赤、黄および青を、電子天秤（UniBloc；株式会社島津製作所、京2. 4. 人工知能アルゴリズム有用性の検証

都）を用いて秤量し混合した。顔料は、異なる分量（白、本研究は、広島大学疫学研究倫理審査委員会の承認のも

1 . 17 - 1 . 23 g； 赤、0 . 07 - 0 . 13 g； 黄、0 . 14 - 0 . 18 g； 青、と実施した（承認番号：E- 1597）。構築した人工知能アル0 . 03 - 0 . 07 g）を組み合わせ、合計 1 . 5 g になるよう秤量しゴリズムの有用性を検証するために、計 10 名の研究協力混合した。これらを真空攪拌器（モリタ東京製作所、埼玉）者の皮膚（第一および第二中手骨間）の L*、a* および b* のにより真空下で練和し、縦 3 cm ×横 4 . 5 cm ×高さ 0 . 7 cm

値を、分光色差計を使用し取得した。トレーニングデータのプラスチック容器に流し込み、室温で 24 時間放置するセット（色差計）で学習した人工知能アルゴリズムの評価のことで硬化させた。本研究では白、赤、黄および青の顔料ために 5 名、トレーニングデータセット（App）で学習させの配合量を変えることにより、52 通りのシリコーン試料たアルゴリズムの評価のために 5 名の L*、a* および b* のを作製した。

値を取得した。学習済人工知能アルゴリズムは、取得した研究協力者の L*、a* および b* の値を入力することにより、

2. 2. トレーニングデータセットの構築

対象者の皮膚色を再現するための白、赤、黄および青の顔

アルゴリズム学習のためのトレーニングデータセットの構築を目的として、シリコーン試料の色を、CIE 1976 L*料配合量が出力される。
2 . 4 . 1. 検証用シリコーンの作製

a* b* 色空間 10）により定量化した。測定には分光色差計

学習済人工知能アルゴリズムが予測した、研究協力者の（NF 333；日本電色工業株式会社、東京）とモバイルデバ

皮膚色を再現するための白、赤、黄および青の顔料配合量

イス向けの色差計アプリケーションである ColorMeterをもとに、（2 . 1 .）の方法で、検証用シリコーンを作製した。

RGB Colorimeter（White Marten GmbH、ドイツ）を使用

これらを（2 . 2 .）の方法で、分光色差計を使用して、それぞし、それぞれ L*、a* および b* の値を取得した。得られた

れ L*、a* および b* の値を取得した。

L*、a* および b* の値と対応するシリコーン試料作製のため

2 . 4 . 2 . 色差の算出に使用した顔料の配合量を対応させた値を、トレーニング人工知能アルゴリズムの有用性を検証するために、作製データセットとした。分光色差計とアプリケーションで取した検証用シリコーンと研究協力者の皮膚から得られた

得した値を使用してデータセットを以下、トレーニングデL*、a* お よ び b* の 値 を 使 用 し、 以 下 の 式 を 用 い て 色 差ータセット（色差計）およびトレーニングデータセット

ΔE 00 を算出した 11 , 12）。

（App）と表記する。

2. 3. 人工知能アルゴリズムの構築

ここで、変数 ΔL’、ΔC’、ΔH’は、それぞれ 2 つの物体間人工知能アルゴリズムとして、Deep Artificial Neuralの明度、彩度、色相の差を表す。変数 kL、kC、kH は実験Network（Deep ANN）を構築した。ANN は生体の神経系条件に応じて調整される係数である。これらの係数は 1 にのネットワークを模したモデルであり、階層型 ANN は入設定した。SL、SC、SH はそれぞれ、明度、彩度、色相に力層、出力層とそれら層の間にある隠れ層と呼ばれる 1 層対する重み付け関数である。RT は彩度差と色相差の相互以上の中間層で構成される。構築には Python を使用し、作用に依存する重み付け関数である。

ニ ュ ー ラ ル ネ ッ ト ワ ー ク ラ イ ブ ラ リ と し て Keras を、TensorFlow をバックエンドとし使用した。構築した Deep

2. 5. 統計解析

ANN は、入力層が L*、a* および b* の値を入力する 3 ユニ

統計解析は IBM SPSS Statistics version 21 . 0 software

ット、出力層が白、赤、黄および青の顔料配合量を出力す（日本 IBM 株式会社、東京）を用いて、Mann-Whitney Uる 4 ユニットとし、隠れ層は 1000 ユニットを 2 層とした。

検定により 2 値群の比較を行った。

また、オプティマイザーは Stochastic gradient descent を3. 結採用した。これらに、トレーニングデータセット（色差計）

果ック数 1 , 000 にて学習させ、患者の皮膚色を再現するため

3. 1. 異なるデバイスによるトレーニングデータセットの取得値の差異の顔料の配合量を決定するアルゴリズムを構築した。本実

分光色差計とモバイルデバイス向けアプリケーションでおよびトレーニングデータセット（App）を使用して、エポ− 218 −匠の技の定量化 ─ Deep Learning による先駆的顎顔面補綴支援システムの開発影響を与えることが明らかとなった。トレーニングデータ取得した L*、a* および b* 値の比較を図 1 に示す。
分光色差計とモバイルデバイス向けアプリケーションでセットの取得に分光色差計を用いた場合、作製した検証シa* および b* 値を取得した結果、いずれも分光色差計によリコーンと研究協力者の皮膚の平均色差は 3 . 45 ± 0 . 87 でる取得値が低く、モバイルアプリケーションで取得した値あったのに対し、モバイルデバイス向けアプリケーションが高い傾向を示した。一方、L* 値は同程度もしくは分光を使用した場合の作製した検証シリコーンと研究協力者の色差計による取得値が高い傾向を示した。

皮膚の平均色差は 8 . 93 ± 3 . 65 であり高い値を示した。
近年、途上国においても、癌の発症率の増加や事故によ3. 2. 検証用シリコーンと研究協力者の皮膚との色差る外傷によりエピテーゼ治療のニーズが増加している。し予測された顔料配合量をもとに検証用シリコーンを作製し、研究協力者の皮膚との色差 ΔE 00 を算出した（表 1）。

かしながらリソースの限られた国々においては、使用できる材料の不足やエピテーゼの製作者・教育者の不在から満トレーニングデータセットの取得に分光色差計を用いた足な治療を受けることはできておらず、このようなリソー場合、作製した検証シリコーンと研究協力者の皮膚の平均スの限られた国においてもエピテーゼの提供や技術者の養色差は 3 . 45 ± 0 . 87 であり、良好な値を示した。一方、ト成が期待される。

レーニングデータセットの取得にモバイルデバイス向けア

現在、スマートフォンをはじめとしたデジタルデバイスプリケーションを使用した場合の作製した検証シリコーン

は、その普及率と相まって医療用途での応用が検討されてと研究協力者の皮膚の平均色差は 8 . 93 ± 3 . 65 であり、分いる。特に、途上国においてもスマートフォンの普及は目光色差計を用いた場合と比較して有意に高い値を示した。

覚ましく 14）、電子マネー決済などを目的としインフラと4. 考して普及しており、医療応用の期待も大きい。

察

本研究では、アルゴリズム学習のデータセットを取得す

一般的に機械学習の精度はトレーニングデータとアルゴるために分光色差計とモバイルデバイス向けアプリケーシ

リズムに強く依存するとされ、どのような手法を用いるかョンを用いた。分光色差計は、高精度に CIE 1976 L* a* b*13）。本研究では Deep ANN を採

色空間を含む各種表色系の測定が可能であること、また、用し、一定の条件において皮膚色再現のために良好な結果常に同条件の測定が可能であるなど、優れた性能を示すとが得られた。また、Deep ANN はネットワーク構造やハ考えられる。一方、モバイルデバイス向けアプリケーショ

イパーパラメーターを最適化することでさらなる精度の向ンに関する文献的考察はほとんどなされていないのが現状上が期待できる。

である。本研究では分光色差計を用いて取得したトレーニは試行錯誤が求められる

一方、トレーニングデータセットの取得に用いたデバイングデータセットを利用して学習したアルゴリズムにおいスの違いが、検証用シリコーンと皮膚色との色差に大きくて、良好に皮膚色を再現することができたものの、分光色図1

分光色差計とモバイルアプリケーションで取得したL*、a*およびb*値

表1
取得デバイス

検証用シリコーンと研究協力者の皮膚との平均色差
平均色差

E 00（±標準偏差）最小値

P値*0 . 016

色差計

3 . 45±0 . 87

4 . 922 . 75

App8 . 93±3 . 65

13 . 61

4 . 21* Mann–Whitney U検定

色差計；分光色差計、App；モバイルデバイス向けアプリケーション− 219 −

E 00

最大値

コスメトロジー研究報告 Vol. 30, 2022

差計は一般的な医療機関に普及しているとは言い難く、患based medical devices in the USA and Europe（2015-者の皮膚色の取得に使用するには一定の障壁が存在すると20）: a comparative analysis. Lancet Digit Health. 2021;

考えられる。分光色差計と比較して皮膚色の再現性に劣る

3: e195-e203.

ものの、スマートフォンやタブレットなどのモバイルデバ

7） Aisu N, Miyake M, Takeshita K, Akiyama M,

イス向けの色差計アプリケーションを使用した計測補正法

Kawasaki R, Kashiwagi K, et al. Regulatory-approvedを検討することにより、低廉で精度の高い顎顔面補綴支援

deep learning/machine learning-based medical devices

システムの構築が可能になると考える。

in Japan as of 2020: A systematic review. PLOS Digit
Health. 2022; 1: e0000001.

（引用文献）

8） 総務省 ICT スキル総合習得教材 3 - 5 : 人工知能と機械

1） Dings JPJ, Merkx MAW, de Clonie Maclennan-学習 .

Naphausen MTP, van de Pol P, Maal TJJ, Meijer GJ.

9） Kiat-Amnuay S, Lemon JC, Powers JM. Effect ofMaxillofacial prosthetic rehabilitation: A survey on theopacifiers on color stability of pigmented maxillofacial

quality of life. J Prosthet Dent. 2018; 120: 780-786.

silicone A-2 1 8 6 subjected to artificial aging. J

2） Tetteh S, Bibb RJ, Martin SJ. Maxillofacial prostheses
challenges in resource constrained regions. Disabil

Prosthodont. 2002; 11: 109-116.
10）International Commission on Illumination. ISO 116644:2 0 0 8（E）/CIE S 0 1 4-4/E:2 0 0 7: joint ISO/CIE

Rehabil. 2019; 41（3）: 348-356.
3） M o h a m m e d M I , C a d d B , P e a r t G , G i b s o n I .
Augmented patient-specific facial prosthesis production

standard: colourimetry — part 4: CIE 1976 l*a*b* colourspace. 1976.

using medical imaging modelling and 3D printing11）Luo MR, Cui G, Rigg B. The development of the CIE

technologies for improved patient outcomes. Virtual2000 colour-difference formula: CIEDE2000. Color Res

Phys Prototyp. 2018; 13: 164-176.

Appl. 2001; 26: 340-50.

4） Unkovskiy A, Spintzyk S, Brom J, Huettig F, Keutel12）Sharma G, Wu W, Dalal EN. The CIEDE2000 colour-C. Direct 3D printing of silicone facial prostheses: Adifference formula: implementation notes,preliminary experience in digital workflow. J Prosthet

supplementary test data, and mathematicalDent. 2018; 120: 303-308.

observations. Color Res Appl. 2005; 30: 21‒30.

5） Jazayeri HE, Kang S, Masri RM, et al. Advancements

13）Waring J, Lindvall C, Umeton R. Automated machinein craniofacial prosthesis fabrication: A narrative

learning: Review of the state-of-the-art andreview of holistic treatment. J Adv Prosthodont. 2018;

opportunities for healthcare. Artif Intell Med. 2020; 104:

10: 430-439.

101822.

6） Muehlematter UJ, Daniore P, Vokinger KN.

14）Newzoo Global Mobile Market Report 2021.

Approval of artificial intelligence and machine learning-− 220 −