深層学習による整形外科手術の診断技術獲得
代表研究者
共同研究者
共同研究者
共同研究者
共同研究者

土井 章男
一戸 貞文
馬渡 太郎
進 訓央
菅原 卓

岩手県立大学ソフトウェア情報学部 教授
岩手医科大学附属花巻温泉病院 医師
浜の町病院 医師
済生会八幡総合病院・医師
秋田県脳血管研究センター・医師

1 はじめに
急激な高齢化により，骨粗鬆症による骨折や擦り減りによる変形性関節症等の発生件数が増加している.
治療には，主に骨切り術や人工関節置換術が行われる. 大腿骨頭壊死症に対する大腿骨頭回転骨切り術（ARO：Anterior Rotational Osteotomy），内側型変形性膝関節症に対する高位脛骨骨切り術（HTO：High TibialOsteotomy）のような骨切り術１）は，生体関節を温存可能で，人工関節の耐久性やゆるみの問題がないため，患者の QOL(Quality Of Life)向上が期待される.しかしながら，手術の難易度が高いため，入念に術前計画を立案する必要がある.上記の試みには，最初に CT，MRI 画像から，骨や軟骨，筋肉を抽出する必要があり，現状では対話作業が中心であり，その自動化が困難であった.また，高度な骨切り術の技術習得には時間がかかり，熟達した医師が必要であるため，手術可能な病院も限られている.これらの問題を解決するために，
我々は，CT 画像の画像認識と理想的な骨切り手順を深層学習で行うことにより，医師の負担を軽減し，熟練した医師の手術手技を蓄積しながら，より精度の高い画像認識と術前計画策定の自動化を可能とする.特に，高度な骨切り術の手順を教師学習により自動作成する試みは，他の手術手技にも応用可能であり，経験の浅い医師の不安を減少させ，手術の安全度を高めることが可能である.

2 骨切ライン自動抽出法
2.1 アルゴリズムの概要
膝の骨切ラインの抽出を FCN（Fully Convolutional Network）２）を用いた深層学習によって行う. FCNとは CNN（Convolutional Neural Network）の 1 つであり，主に画像のセグメンテーションに用いられる．
CNN が畳み込み層とプーリング層で構成されているのに対し，FCN はすべて畳み込み層で構築されており，位置情報を保持しながら画像を認識していくことで高精度のセグメンテーションが可能となる.入力として元画像と正解データとして作成したラベルデータを用いている.学習時に入力された元画像に対し鏡像反転を行い，データの水増しを行っている.また AT(Adversarial Training)を用いて汎化性能を向上させている.ATとはモデルが最も誤分類しやすいように計算された摂動（AE：Adversarial Example）を元データに加えたものに対して学習を行ったものである.パラメータを更新する最適化手法として AdamOptimizer を使用している.これは，期待値計算に指数移動平均を使っており，そのバイアスを打ち消す工夫がなされているため，パラメータ毎に適切な重み更新ができる最適化手法である．
損失関数は以下の数式で求められる．
(1)
ここで X は入力画像を表し，ｒは AE，ｙはラベルデータ，S は FCN を表しており，s(x)はセグメンテーシ
ョン結果である.
2.2 CNN（Convolutional Neural Network）
CNN とは画像認識で使われているディープラーニングの手法の一種である．CNN は入力層，隠れ層，全結合層と出力層で構成されており，隠れ層はフィルタを適応し画像の局所的な特徴（特徴マップ）の抽出を行っている Convolution 層と特徴として重要な情報を残しながら元の画像の縮小を行っている Pooling 層で構成されている．

1

各層は次の層へと意味のあるデータを順に受け渡すため，層が進むにつれて，ネットワークはより高レベルな特徴を学習できるようになる．また，局所領域からフィルタを適応して検出を実行するため，物体の位置のズレに頑健になる．つまり，特徴を検出する対象が入力データのどの位置にある場合でも検出が可能となる移動不変性を有している．全結合層は出力層の手前で使用されることが多く，この層が検出された特徴の組み合わせから予測結果に分類する識別部となっている．
2.3 FCN（Fully Convolutional Network）
CNN では層を重ねるに連れて，特徴量が抽出されていくが，一方でそれが元の画像の Location 情報が失われてしまう．これは画像認識の分野において不利に働き，出力層ウィ元の画像と対応した画素の並びと考え学習しても，きわめて荒い精度しか得られない．FCN は全てが Convolution 層で構成される CNN モデルである．学習の際に，空間的情報を前の層から引継ぎ，特徴量と統合し画素ごとの属性を推測する．これにより，セグメンテーションタスクにおいて高い精度を示すことが報告されている．正解画像の画素ごとにラベル付けが必要となるが，条件付確率場などの従来手法よりも高い精度を示すことが報告されている．
2.4 FCN ネットワーク構造使用した FCN ネットワーク構造は，U-net や V-net と言われる医用画像のセグメンテーションに適したネットワークを参考にした．U-net は encoder-decoder 型の FCN で，Encoder 部分で画像に対して，畳み込みとダウンサンプリングを繰り返し適用し高次の特徴抽出を実行する．Decoder 部分では畳み込みとアップサンプリングを繰り返し適用して，特徴マップの解像度を向上させセグメンテーション結果を得る．このとき同一解像度の特徴マップを encoder から decoder に渡すことで正確な位置やエッジの情報を得ることを実現している．
V-net は 3 次元ボリュームデータに対して適用したものである．ボリュームデータに対して 3 次元畳み込みを用いることで，奥行き方向に対する情報を考慮した特徴抽出を行う．AT は Adversarial Example（AE）に対して学習を行い，汎化性能を向上させる手法である．AE は元データに対して，モデルが最も誤分類しやすいように計算された摂動を加えたものである．
AE は線形性に着目した誤差逆伝播法を用いた Fast gradientsign method によって高速に計算される．

3 骨切ライン自動抽出法の評価
3.1 トレーニングデータ作成
下肢全長の CT 画像を左膝・右膝それぞれの領域に対して 128×128×128 のサイズとなるようにクリッピングを行う．クリッピング後の画像には，CT 装置の機材などの不要な部分（ノイズ）が含まれているため，Volume．
Extractor 注 1) を用いて，除去を行う（図 1－4）
注 1)
Volume Extractor は岩手県立大学ソフトウェア情報学部で研究開発された 3 次元画像の編集，可視化，計測機能を有した 3 次元画像処理システムである．除去後の画像に対し：
骨切り線①（赤）：膝正正面像に対して， 外側は腓骨頭頂点付近， 内側は脛骨関節面から 35 ㎜以上の変曲点もしくは 35 ㎜地点の 2 点を通る線．
骨切り線②（ピンク）：膝正側面像に対して， 上は脛骨隆起頂点（膝蓋靱帯付着部 上縁）， 下はその地点から骨切り線①に下ろした点の２点を通る線．
骨切り線➂（緑）：膝正側面像に対して，脛骨内側縁を通り，脛骨軸に対して垂直か，あるいは脛骨関節面に平行な線．
以上の 3 本の線を引き，以下の骨切り面 2 つを作成する（図 5）．
・骨切り線①と骨切り線③のつくる面
・骨切り線②を正側面で切った面

2

図 1：クリッピング後の正正面

図 2：クリッピング後の正側面

図 3：ノイズ除去後の正正面

図 4：ノイズ除去後の正側面

図 5：骨切り線①～➂と骨切り面3

3.2. テスト結果
今回，右膝 20 症例，左膝 20 症例の計 40 症例を用いて実験を行った.右膝・左膝のみでのトレーニングと両膝同時にトレーニングにかけた計 3 パターンでの制度の検証を行った.右膝・左膝でのトレーニングでは各膝 18 症例，テストに 2 症例ずつ使用し，両膝でのトレーニングでは各膝 19 症例ずつ，テストに 1 症例ずつ使用した.トレーニング期間はそれぞれ１週間ずつ，テストにかかった時間は 30 秒弱であった.テスト結果の平均 Accuracy は以下の表のようになっている. それぞれの出力画像は以下のようになる（図 6）.

右膝症例 1

右膝症
例2

Accuracy

0.88100.746
9左膝症例 2cy0.956
4

両膝症
例1

Accura左膝症
例10.9488

両膝症例20.749
30.8835

表１ 各症例の平均 Accuracyａ）右膝正解画像ｂ）右膝テスト結果

ｃ）左膝正解画像ｄ）左膝テスト結果
図 6：出力結果
両膝での出力画像は以下のようになる（図 7）.

ｅ) 右膝正解画像ｆ）右膝テスト結果

4ｇ）左膝正解画像ｈ）左膝テスト結果

図 7：出力結果

3. 考察と今後の課題
今回のテスト結果の各症例の平均 Accuracy と出力画像から良好な結果を得られた.しかし右膝のみの場合と，両膝でのトレーニング結果を右膝に適応したものは左膝のみの場合と比べると Accuracy が 0.06～0.2程度低下している.これは，右膝のトレーニングに使用した画像が左膝時に使用した画像と比べるとノイズや骨の変形が強かった点が挙げられると想定される.これはトレーニング画像の症例数の増加，画像の水増しを行っていくことで対策が可能であると考えている.
現段階では各部位の評価のみであり、骨切ライン自体の評価を行えていない．今後はラベル境界部から線分データの取り出しと比較評価を行っていく予定である.また別の骨切り術の ARO についても良好な精度が得られるのではないかと考えており，トレーニングデータの作成及び FCN の改良が今後の課題である.

4. おわりに
本論文では FCN を用いて 3 次元膝 CT 画像から膝 HTO のための骨切ライン自動抽出に関する研究を行った.
結果として，各膝単体の場合と両膝同時の場合でも良好な平均 Accuracy が得られた.しかし，元画像のノイズや骨の変形によって精度にばらつきがみられた.今後はトレーニング画像の症例数の増加，画像の水増しと課題として残っている項目の解決を図っていく．

謝辞
本研究では，電気通信普及財団の助成・援助による「深層学習による整形外科手術の診断技術獲得」の研究助成、公益財団法人 JKA による「平成 29 年度心臓カテーテル手術を支援する心臓定量化ソフトウェアの研究開発補助事業」の研究助成を得ました.
CT 画像取得では，浜の町病院整形外科馬渡太郎先生，岩手医科大学医学部一戸貞文先生，および秋田県脳血管研究センター菅原卓先生の多大なる協力を得ました.

【参考文献】
1) S. Sekimura, T. Kato, H. Takahashi, A. Doi, T. Mawatari, and T. Sugawara,“Development of automatic bone extraction tool from CT images using deep neural network”,
The 2019 International Conference on Artificial Life and Robotics (AROB2019), 2019.
2) 加藤徹, 関村匠斗, 土井章男, 馬渡太郎, 菅原卓，”深層学習を用いた CT 画像からの自動骨抽出ツールの開発”，第２回ビジュアライザーションワークショップ，ポスター発表，2019.
3) 関村匠斗,土井章男, 加藤 徹, 朴澤麻衣子, 森野禎浩，”半教師学習による心臓のセマンティックセグメンテーションの基礎検討”，電子情報通信学会医用画像研究会，メディカルイメージング連合フォーラム，2019.
4) 高屋敷至, 関村匠斗, 加藤徹, 高橋弘毅, 土井章男, 馬渡太郎, 菅原卓, “FCN を用いた高解像度な 3 次元画像のセグメンテーション手法の研究開発”, 平成 30 年度芸術科学会東北支部大会,

5大会論文, 2019.
5) 小原崇裕, 関村匠斗, 加藤徹, 高橋弘毅, 土井章男, 馬渡太郎，”3 次元膝 CT 画像から骨切ライン自動抽出に関する研究”, 平成 30 年度芸術科学会東北支部大会, 大会論文，2019.
6) 関村匠斗，加藤徹，高橋弘毅，土井章男，馬渡太郎，一戸貞文，”FCN を用いたインスタンスセ
グメンテーションによる脊椎の抽出”，電子情報通信学会医用画像研究会，ポスター発表，2018.
7) 関村匠斗，加藤徹，高橋弘毅，土井章男，馬渡太郎，一戸貞文，”Fully Convolutional Networkによる整形外科手術の診断技術獲得”，情報処理学会第 80 回全国大会, “発表資料，2018.
8) 高橋弘毅，加藤徹，関村匠斗，土井章男, 朴澤麻衣子, 森野禎浩，”経食道心エコーシミュレーションソフトウェアの開発”，可視化情報学会第一回ビジュアライゼーションワークショップ，2018.
9) 加藤徹、高橋弘毅、土井章男、馬渡太郎、一戸貞文, “大腿骨と骨盤の自動抽出および自動分類手法”，可視化情報学会第一回ビジュアライゼーションワークショップ，2018.

〈発 表 資 料〉
題名

3 次元膝 CT 画像から骨切ライン自動抽出に関する研究
FCN を用いたインスタンスセグメンテーシ
ョンによる脊椎の抽出
半教師学習による心臓のセマンティック
セグメンテーションの基礎検討
Development of automatic bone extraction
tool from CT images using deep neuralnetwork

掲載誌・学会名等

発表年月

平成 30 年度芸術科学会東北支部大会, 大会論文

2019 年 1 月

電子情報通信学会医用画像研究会

2018 年 3 月

電子情報通信学会医用画像研究会

2019 年 1 月

The2019InternationalConference on Artificial Lifeand Robotics (AROB2019)2019 年 1 月

6