Y
LOG
L

A

IC

E

D

A

M

NO

G

IN

G

ECH

学会長ご挨拶
第 38 回日本医用画像工学会大会は奈良先端科学技術大学院大学教授 佐藤嘉伸大会長の運営のもとで，2019 年 7 月 24
日（水）から 26 日（金）の 3 日間，奈良春日野国際フォーラムにて開催されることになりました．一年以上前から準備をされてきた大会関係者や事務局の皆様，そして企業の業務委員会の皆様のご尽力に厚く御礼申し上げます．
医用画像工学の領域においても人工知能（Artificial Intelligence: AI）は有力な技術となるため，診断支援，画像処理，
画像再構成をはじめとして多くの応用研究が盛んに行われております．今回の大会でも「AI 時代の医用画像工学」というテーマで様々なアプローチでの研究が報告されることとなりますので大変楽しみです．また，特別講演では，今の AI時代の礎を築かれた福島邦彦先生のネオコグニトロンのご講演を拝聴できるのでとても期待しております．このようなAI 技術と密接な関係があるのはビッグデータですが，国立情報学研究所（National Institute of Informatics: NII）では
医療ビッグデータ研究センターを立ち上げ，国家レベルで匿名化された医療画像情報を収集して医療画像ビッグデータ
クラウド基盤の構築を始めています．このような最新の動向もシンポジウムの中で聞くことができるようになっていますので，医用画像データと AI の今後も俯瞰できるのではないかと期待しております．また，もう一つの特別講演では奈良県立医科大学学長の細井裕司先生から，医学とまちづくりをテーマとするお話もうかがえることになっており，新しい切り口の医学のあり方のご提案とも推察され，とても興味があります．
今回の大会では佐藤嘉伸大会長のご提案で，すべての一般演題において２分程度の口頭発表（ティーザー）とポスター発表の両方を行う事になっています．今までの JAMIT とは違った形式での発表となりますが，すべての研究論文の要点を聞くことができると共に，興味ある内容はポスターでじっくり議論できるという，いいとこ取りの斬新な試みも取り入れられています．
今大会の中では，上記のような企画の他，恒例となりましたハンズオンによる AI 講習会をはじめとして，盛りだくさんの企画が用意されていますので，会員の皆様には実りの大きい大会となると思っております．この大会における皆様の活発な意見交換により，医用画像工学の研究が大きく進展することを期待しています．
日本医用画像工学会会長

尾川浩一（法政大学）

大会長ご挨拶
第 38 回日本医用画像工学会 (JAMIT) 大会を 2019 年 7 月 24 ～ 26 日に奈良にて開催させていただくことになりました．
大会のテーマは「ＡＩ時代の医用画像工学」としました．
ＡＩ（人工知能）は，もはや単なるブームでなく，ＡＩ以前の方法では達成できない，人間を上回りうる高性能を得るための必要不可欠な技術として定着し，さらに発展を続けています．JAMIT 大会では，2016 年の千葉大会の頃から，
ＡＩが大会のメイントピックとなってきました．医用画像を専門としない一般の方々からみても，今や医用画像診断は，自動運転などと並んで，ＡＩの社会実装が最も期待される分野となっています．イメージングにおいてもＡＩを利用した画像再構成，超解像，モダリティ変換など，その影響力は多大です．
本大会では，ＡＩに関する特別企画として，ＡＩの中心技術である深層学習，その中でも，中心的方法である畳み込
みニューラルネット（ＣＮＮ）の基礎を与えた「ネオコグニトロン」を開発された福島邦彦先生に，特別講演をしていただきます．さらに，シンポジウムでは，国立情報学研究所と医学系各学会の連携による国家規模の医用画像ビッグ
データＡＩ解析に関する AMED プロジェクトを取り上げます．これら歴史的研究や最新の大型プロジェクトに加えて，2017 年の岐阜大会から始まり，例年，好評を博しております深層学習ハンズオンもさらに強化され，参加者一人一人がＡＩの基礎を勉強する場を設けています．今年は，一般演題についても，ＡＩに関係する演題が半数に達しており，まさしく医用画像工学はＡＩ時代に突入しています．
本学会は，医工連携，医療ＩＴ，産学連携などとも密接に関係しております．ここ奈良の地で，それらに加えて，「まちづくり」という視点を加えた「医学を基礎とするまちづくり，Medicine-Based Town (MBT) 」のプロジェクトが進行しています．このプロジェクトを推進している奈良県立医大・学長の細井裕司先生に特別講演をしていただきます．「まち」に，医科大学や医師等が持つ医学の知識・叡智を注ぎ込んで，付加価値の高いまち MBT をつくります．また，この過程が新産業創生，地方創生の原動力となります．このプロジェクトは，実際に，種々の連携体制の下，奈良県橿原市において実践されており，今後の展開が大いに期待されます．
その他の話題については，２つめのシンポジウムにおいて，医用画像を中心として，時空間多重スケール，病理，機能の多元データを統合することにより人体の総合理解を目指す，科研費・新学術領域「多元計算解剖学」の成果報告を行います．ミニシンポジウムにおいては，生きた状態を４次元でイメージングする最新のバイオ顕微鏡画像を，ＡＩを含む情報技術によって解析し新しい生命科学の創成を目指すプロジェクトを紹介します．もう一つのミニシンポジウム
では，本学会のメイントピックの一つであるＣＴやＭＲのイメージングと深層学習を統合した新しい研究の流れに焦点を当てます．2017 年岐阜大会，2018 年筑波大会に引き続き，企業協賛のランチョンセミナーも企画されています．ラン
チョンセミナーでは研究病院の臨床現場のＡＩ導入に関する興味深い話が聞けるものと思います．
開催場所である奈良春日野国際フォーラム甍〜 I・RA・KA 〜は，奈良公園内にあり，また，世界遺産である東大寺と春日大社の中間地点に位置しており，奈良観光にも大変便利な場所にあります．奈良において，医用画像工学の将来と共に，奈良時代の歴史にも思いを馳せていただければと思います．
第 38 回日本医用画像工学会大会
大会長 佐藤 嘉伸（奈良先端科学技術大学院大学）
1

1

交通案内
徒

歩
近鉄奈良駅 2 番出口より徒歩 20 分

バス（1）近鉄奈良駅 5 番出口より奈良交通バス 1 番のりば
（2）JR 奈良駅より奈良交通バス東口 2 番のりば
（1），（2）とも「春日大社本殿」行き「奈良春日野国際フォーラム甍前」下車すぐ又は，「市内循環（外回り）」バス「東大寺大仏殿・春日大社前」下車，
大仏殿交差点東 へ徒歩 3 分

22

会場案内図奈良春日野国際フォーラム甍～ I・RA・KA ～33

奈良市春日野町 101

参 加 者へ のご案内
1．会期：2019 年 7 月 24 日（水）～ 7 月 26 日（金）2．会

場：奈良春日野国際フォーラム

甍～ I・RA・KA ～〒 630-8212 奈良市春日野町 101
TEL:0742-27-2630（問い合わせ先）
http://www.i-ra-ka.jp/iraka/access/
講演会場： メイン会場：本館 2 階 レセプションホール 1
ポスター会場：本館 2 階 会議室 3・4
展示会場：本館 2 階 ロビー
ハンズオンセミナー：本館 1 階 会議室 2
ご参加いただくには参加証の提示が必要です．

3．参加登録１） 登録：当日
7 月 24 日（水） 12：40 ～ 18：00
7 月 25 日（木） 8：30 ～ 17：00
7 月 26 日（金） 8：30 ～ 15：00

本館 1 階エントランスホール

２） 参加費
正会員（賛助会員含む）：10,000 円
学生会員：4,000 円（会場での受付のみ／事前登録はありません）

4．総

非会員：20,000 円

会

日時：7 月 25 日（木） 13：00 ～ 14：00

会場：メイン会場（レセプションホール１）

5．予稿集について印刷物としての「予稿集」は作成しません．ダウンロード（PDF）形式で当日，参加者に配布します．
会場で予稿集をご覧になるにはノート PC などを各自ご持参下さい．

6．発表者へのご案内１）	一般演題の発表は，発表時間前半にメイン会場（レセプションホール１）にて各演題口演 2 分，後半にポスター
会場（会議室 3・4）にてインタラクティブセッションです．
２） ポスターは W1200㎜× H1800㎜のパネルに収まるサイズにて作成してください．
ポスターの貼付と撤去は下記の時間内に行ってください．
		
一般演題セッション 1・2：
貼付：7 月 24 日（水）12：30 ～ 16：10
			
撤去：7 月 25 日（木）10：30 ～ 12：00
		
一般演題セッション 3・4・5： 貼付：7 月 25 日（木）12：30 ～ 16：10
			
撤去：7 月 26 日（金）15：20 ～ 17：15
３） 口演用のスライド（3 枚以内程度．口演は 2 分で打ち切ります）を定められた期日までにご提出ください．
	スライドの作成，提出の仕方，提出期日，その他注意点につきましては，大会ホームページ「参加者へのご案内」
をご確認ください．

7．座長へのご案内
担当セッションが始まる 10 分前までに，座長席近くにお越しになり待機してください．

8．発表者資格
一般演題の筆頭発表者は，日本医用画像工学会の会員に限ります．非会員の方は必ず 6 月末日までに入会申込
みをし，7 月 20 日までに会費を納入してください．

9．入会手続き及びお問い合わせ
日本医用画像工学会事務局（http://www.jamit.jp/）〒 104-0033 東京都中央区新川 1-5-19 6 階 （株）メイプロジェクト内
TEL: 03-6264-9071 FAX: 03-6264-8344 E-mail: jamit ＠ may-pro.net

44

10．利益相反（COI）について筆頭発表者が，日本医用画像工学会における「利益相反の取扱いに関する規程」において開示の対象となる場合，
この規定に基づいて，発表者の申告した利益相反の状態が予稿集に開示されます．また，発表の際には発表者本人が開示します．

11．各種役員会
１） 広報委員会

7 月 24 日（水） 12：30 ～ 13：00

会場：サブ会場（1 階 会議室 2）２） 幹事会

7 月 25 日（木） 11：45 ～ 12：45

会場：サブ会場（1 階 会議室 2）３） 編集委員会

7 月 26 日（金） 11：45 ～ 12：45

会場：サブ会場（1 階 会議室 2）

12．特別講演特別講演１：7 月 25 日（木） 14：00 ～ 14：50
会場：メイン会場
軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ
細井 裕司（奈良県立医科大学 理事長・学長）
座 長：佐藤 嘉伸（奈良先端科学技術大学院大学／ JAMIT2019 大会長）
特別講演２：7 月 26 日（金） 13：00 ～ 13：50
会場：メイン会場
ネオコグニトロンと畳み込みニューラルネットワーク
福島 邦彦（ファジィシステム研究所 特別研究員）
座 長：尾川 浩一（法政大学／日本医用画像工学会 会長）

13．第９回 JAMIT チュートリアル講演会（教育委員会企画）（コニカミノルタ科学技術振興財団 JAMIT ハンズオンセミナー 連携企画）「Beyond Deep Learning」
第 38 回日本医用画像工学会大会のプログラムの一環として「第 9 回日本医用画像工学会 (JAMIT)
チュートリアル講演会～ Beyond Deep Learning ～」を第１日目の午後に開催いたします．チュートリアルでは，
医用画像工学に携わる若手研究者や最新の動向を得たい第一線の研究者を対象として，現在の研究に役立つテーマを専門の研究者が講演します．
日 時：7 月 24 日（水） 13：20 ～ 16：10
会 場：メイン会場
座 長：中田 典生（東京慈恵会医科大学）／小田 昌宏（名古屋大学）
講演１：世間の流行に左右されない深層学習所感		
鈴木 賢治 （東京工業大学／イリノイ工科大学）
講演２：様々な大規模計算環境の得手・不得手 ～何ができて何ができない？～
		平野靖（山口大学）
講演３：医師が取り組んだ深層学習：臨床からスパコンまで		
花岡 昇平（東京大学）

14．コニカミノルタ科学技術振興財団

JAMIT ハンズオンセミナー

深層学習の実行環境は，比較的簡単に構築できます．本ハンズオンでは，参加者は，事前に提供されるセットアップ資料に基づいて，自分自身のコンピュータに TensorFlow ／ Keras ／ Python による実行環境を構築し，その上で画像分類／領域分割／回帰について，医用画像を利用した基本的な課題を実行します．また，DICOM ファ
イルの読み込みなどの前処理の方法や，構築したモデルの保存／読み込みといった実践的な方法についても触れます．そして，課題に応じた評価方法についても考え方と処理方法を実践的に習得します．なお，本ハンズオンは，
コニカミノルタ科学技術振興財団助成事業として，学生／若手研究者の支援を目的として実施します．（注意：参加には，事前のセットアップとコンピュータの持ち込みが必要です）
7 月 24 日水曜日のチュートリアル講演の受講後は，90 分のハンズオンセミナーに参加していただきます．セミ
ナーは，学会期間中５回開催します（すべて同一内容です）．いずれかの中でご都合のよい時間に１回受講してください．ここでは，深層学習の習得を目的として，課題に取り組んでいただきます．
課題１：画像分類／胸部単純 X 線画像の方向を認識する
課題２：領域分割／胸部単純 X 線画像のセグメンテーション
課題３：回帰／胸部単純 X 線画像から年齢を推定する
課題４：Python で DICOM ファイルを読んでみよう！
（実験対象の画像や課題は，変更の可能性があります）
GPU なしでも操作できる程度の画像と学習枚数を使い，スクリプトの書き方，評価方法などを学んでいただきます．詳細は，「コニカミノルタ科学技術振興財団 JAMIT ハンズオンセミナー」の専用ウェブページをご覧く
ださい．

5

5

開催スケジュール： 5 月 1 日 募集ページオープン／予約開始
7 月 1 日 セットアップ資料公開
7 月 10 日 募集締め切り
7 月 23 日 当日資料の事前公開
7 月 24 日〜 26 日 大会
受講スケジュール： 7 月 24 日水曜日：チュートリアル講演の受講をお願いします．
第 1 回：7 月 24 日（水）16：25 〜
第 2 回：7 月 25 日（木） 9：00 〜
第 3 回：7 月 25 日（木）16：25 〜
第 4 回：7 月 26 日（金） 9：00 〜
第 5 回：超初級者編 7 月 26 日 ( 金 ) 14：00 〜（各回 90 分．第 1 回〜第 4 回は同じ内容，第 5 回は重複受講可能です．）
会
場： サブ会場（1 階 会議室 2）
運 営 ス タ ッ フ： 原武史（岐阜大学）／中田 典生（東京慈恵会医科大学）／小田 昌宏（名古屋大学）
福岡 大輔（岐阜大学）／田中 利恵（金沢大学）／中山 良平（立命館大学）
本セミナーは，コニカミノルタ科学技術振興財団の支援を得て実施しています．また，岐阜大学人工知能推進センターの協力で実施します．

15．シンポジウム・ミニシンポジウム
ミニシンポジウム１：7 月 25 日（木） 10：40 ～ 11：30
会場：メイン会場
CT・MR イメージングにおける深層学習
世話人／座長：増谷 佳孝（広島市立大学）
講演１：深層学習を用いた CT 及び PET/SPECT の画像再構成
		工藤 博幸（筑波大学）
講演２：深層学習を用いた CT 画像の金属アーチファクト低減処理		
大竹 義人（奈良先端科学技術大学院大学）
講演３：深層学習を利用した MR イメージング		
伊藤 聡志（宇都宮大学）
講演４：生成型 Q 空間学習による拡散 MR イメージング
		
増谷 佳孝（広島市立大学）
シンポジウム１：7 月 25 日（木） 15：05 ～ 16：25
会場：メイン会場
医用画像のビッグデータと AI 開発の展望
世話人／座長：村尾 晃平（国立情報学研究所）／中田 典生（東京慈恵会医科大学）
講演１：医療画像ビッグデータクラウド基盤		
合田 憲人（国立情報学研究所）
講演２：AMED プロジェクトにおける画像解析タスク俯瞰，眼科画像の解析
		佐藤 真一（国立情報学研究所）
講演３：病理と内視鏡画像における胃がん検知システムの開発
		原田 達也／黒瀬 優介（東京大学）
講演４：大腸の画像診断：大腸生検の病理画像解析および大腸の内視鏡画像解析
		内田 誠一／備瀬 竜馬（九州大学）
講演５：AMED 大規模データベースを用いた CT 画像解析と病変検出への応用		
森健策／小田 昌宏（名古屋大学）
講演６：大規模ＣＴデータ解析による骨格解剖知識の抽出		
大竹 義人／日朝 祐太（奈良先端科学技術大学院大学）
		
高尾 正樹／菅野 伸彦（大阪大学）
		
佐藤 嘉伸（奈良先端科学技術大学院大学）
講演７：超音波画像データベース構築と AI 開発の取り組み		
椎名毅（京都大学）／目加田慶人（中京大学）
講演８：OpenAI と TradeAI		
中田 典生（東京慈恵会医科大学）
総合討論：臨床診断の立場からの特別発言と総合討論		
縄野繁（国際医療福祉大学）／シンポジウム１演者全員

6

6

ミニシンポジウム２：7 月 26 日（金） 10：40 ～ 11：30
会場：メイン会場
生命機能イメージングの革新：今後の課題と展望
世話人／座長：清末 優子（理化学研究所）／末次 志郎（奈良先端科学技術大学院大学）
講演１：イントロ：JST CREST 情報計測領域について		
清末 優子（理化学研究所）
講演２：クライオ電子顕微鏡法による生体分子の構造解析		光岡薫（大阪大学）講演３：高速原子間力顕微鏡による生体分子イメージングと機械学習・データ同化
		
高田 彰二（京都大学）
講演４：細胞活動の高精度 3D 計測と画像情報解析の次世代化に向けて		
清末 優子（理化学研究所）
シンポジウム２：7 月 26 日（金） 15：35 ～ 16：55
会場：メイン会場
多元計算解剖学のこれから - さらなる飛躍を目指して
世話人／座長：森健策（名古屋大学）／清水 昭伸（東京農工大学）
講演１：多元計算解剖学において生み出されたもの		橋爪誠（九州大学）講演２：多元計算解剖学における数理		
本谷 秀堅（名古屋工業大学）
講演３：多元計算解剖学における多元モデリング		佐藤 嘉伸（奈良先端科学技術大学院大学）
講演４：多元計算解剖学と人工知能ブーム
		藤田 広志（岐阜大学）
講演５：多元計算解剖学のその先にあるもの		森
健策（名古屋大学）
パネル討論：多元計算解剖学の今後の発展に向けて

16．NVIDIA ／ GDEP アドバンス

共催ランチョンセミナー

7 月 26 日（金） 11：50 ～ 12：40
会 場：メイン会場
DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム
小林 和馬（国立研究開発法人国立がん研究センター研究所 がん分子修飾制御学分野）
座 長：中田 典生（東京慈恵会医科大学）
参加者の皆様にお弁当をご用意いたしますが，数に限りがございます．

17．懇親会
参加者相互の情報交換のため，懇親会を企画いたしました．ぜひご参加ください．
日 時：7 月 25 日（木） 18：30 ～ 20：00
会 場：奈良国立博物館 B1 レストラン『葉風泰夢（ハーフタイム）』
参加費：無料（大会参加費に含まれます．参加は大会参加者に限ります．）

7

7

ご

協

力

団

体

本大会は下記企業及び団体にご協力いただきました．心より感謝申し上げます．

共催セミナー： NVIDIA 合同会社
株式会社 GDEP アドバンス

助

成 ： 公益財団法人 コニカミノルタ科学技術振興財団

企 業 展 示 ： アプライド株式会社
株式会社 HPC テック
株式会社エクセル・クリエイツ
株式会社 GDEP アドバンス

協 賛 金 ： 株式会社メディアーク

広 告 掲 載 ： PSP 株式会社
医歯薬出版株式会社
富士通株式会社
富士フイルムメディカル株式会社
株式会社インナービジョン
株式会社オーム社
株式会社オプティム株式会社 島津製作所
株式会社メディアーク

88

第１日目 / 7 月 24 日（水）メイン会場（レセプションホール 1）

ポスター会場（会議室 3・4） 展示会場（ロビー）
12:30 － 16:10
OP1 ／ OP2 ポスター貼付

12:30
13:10
13:20

13:10 － 13:20

開会式

サブ会場（1 階 会議室 2）
12:30 － 13:00

広報委員会

展示

第 9 回 JAMIT チュートリアル講演会 ( 教育委員会企画）（コニカミノルタ科学技術振興財団、JAMIT ハンズオンセミナー連携企画）
TL「Beyond Deep Learning」

13:20-14:20

TL1「世間の流行に左右されない深層学習所感」
鈴木 賢治

14:30 － 15:20

TL2「様々な大規模計算環境の得手・不得手～ 何ができて何ができない？ ～」平野
靖

15:20 － 16:10

TL3「医師が取り組んだ深層学習：臨床からスパコンまで」
花岡 昇平
座長：中田 典生／小田 昌宏

16:10
16:25

コーヒーブレイク
16:25 － 18:00

一般演題セッション１（前半：メイン会場にて口頭発表

後半：ポスターセッション）

16:25 － 17:55

OP1「イメージング / 画質改善」「画像解析 / モデリング」「CAD/ 臨床応用」（OP1-1 ～ 25）
座長：湯浅 哲也／健山 智子／石田 隆行

ハンズオンセミナー 1
HS1「Deep Learning」

18:00

第 2 日目 / 7 月 25 日（木）メイン会場（レセプションホール 1）
9:00

9:00 － 10:30

一般演題セッション２（前半：メイン会場にて口頭発表

ポスター会場（会議室 3・4） 展示会場（ロビー）
展示

後半：ポスターセッション）

OP2「イメージング / 画質改善」「画像解析 / モデリング」「CAD/ 臨床応用」（OP2-1 ～ 24）
座長：小尾 高史／中口 俊哉／花岡 昇平
10:30
10:40

ハンズオンセミナー 2
HS2「Deep Learning」

10:30 － 12:00

コーヒーブレイク
10:40 － 11:30

サブ会場（1 階 会議室 2）
9:00 － 10:30

OP1 ／ OP2

ミニシンポジウム 1

ポスター撤去MS1「CT・MR イメージングにおける深層学習」
工藤 博幸／大竹 義人／伊藤 聡志／増谷 佳孝
座長：増谷 佳孝
11:30

昼食

11:45 － 12:45

13:00 － 14:00

総会

14:00

14:00 － 14:50

特別講演 1

OP3 ／ OP4 ／ OP5
ター貼付

SL1「軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ」
細井 裕司
座長：佐藤 嘉伸
14:50
15:05

ポス

コーヒーブレイク
15:05 － 16:25

シンポジウム 1

SY1「医用画像ビッグデータと AI 開発の展望」
合田 憲人／佐藤 真一／原田 達也／黒瀬 優介／内田森健策／小田 昌宏／佐藤 嘉伸／大竹 義人／椎名中田 典生／縄野繁
座長：村尾 晃平／中田 典生
16:25

幹事会

12:30 － 16:10

13:00

16:25 － 17:55

誠一／備瀬 竜馬／
毅／目加田慶人／

一般演題セッション３（前半：メイン会場にて口頭発表

後半：ポスターセッション）

16:25 － 17:55

OP3「イメージング / 画質改善」「画像解析 / モデリング」「CAD/ 臨床応用」（OP3-1 〜 24)
座長：伊藤 聡志／上村 幸司／内山 良一
18:30

18:30 － 20:00

懇親会（会場：奈良国立博物館 B1

ハンズオンセミナー 3
HS3「Deep Learning」
レストラン＜葉風泰夢（ハーフタイム）＞）

第 3 日目 / 7 月 26 日（金）メイン会場（レセプションホール 1）
9:00

9:00 － 10:30

一般演題セッション４（前半：メイン会場にて口頭発表

ポスター会場（会議室 3・4） 展示会場（ロビー）
後半：ポスターセッション）

OP4「イメージング / 画質改善」「画像解析 / モデリング」「CAD/ 臨床応用」（OP4-1 ～ 24）
座長：山谷 泰賀／本谷 秀堅／畑中 裕司
10:30
10:40

展示

サブ会場（1 階 会議室 2）
9:00 － 10:30

ハンズオンセミナー 4
HS4「Deep Learning」

コーヒーブレイク
10:40 － 11:30

ミニシンポジウム２

MS ２「生命機能イメージングの革新：今後の課題と展望」
光岡薫／高田 彰二／清末 優子
座長：清末 優子／末次 志郎
11:50

11:50 － 12:40

ランチョンセミナー

11:45 － 12:45

編集委員会

LS「DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラット
フォーム」
小林 和馬
座長：中田 典生
13:00

13:00 － 13:50

特別講演 2

SL2「ネオコグニトロンと畳み込みニューラルネットワーク」
福島 邦彦
座長：尾川 浩一
13:50

13:50 － 15:20

一般演題セッション５（前半：メイン会場にて口頭発表

後半：ポスターセッション）

OP5「イメージング / 画質改善」「画像解析 / モデリング」「CAD/ 臨床応用」（OP5-1 〜 24)
座長：菅幹生／滝沢 穂高／野村 行弘
15:20

コーヒーブレイク

15:35

15:35 － 16:55

15:20 － 17:15

OP3 ／ OP4 ／ OP5
ポスター撤去シンポジウム 2

SY2「多元計算解剖学のこれから - さらなる飛躍を目指して」
橋爪誠／本谷 秀堅／佐藤 嘉伸／藤田 広志／森健策
座長：森健策／清水 昭伸
16:55

16:55 － 17:00

閉会式

9

9

14:00 － 15:30

ハンズオンセミナー 5 超初級者編
HS5「Deep Learning」

特別講演
7 月 25 日（木）14:00 〜 14:50

メイン会場（レセプションホール１）

SL1「軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ」
座長：佐藤

嘉伸

（奈良先端科学技術大学院大学／ JAMIT2019 大会長）

SL1

軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ
細井裕司（奈良県立医科大学 理事長・学長）

7 月 26 日（金）13:00 〜 13:50

メイン会場（レセプションホール１）

SL2「ネオコグニトロンと畳み込みニューラルネットワーク」
座長： 尾川SL2

浩一（法政大学／ JAMIT 学会長）

ネオコグニトロンと畳み込みニューラルネットワーク
福島

邦彦（ファジィシステム研究所 特別研究員）

第 9 回 J A M I T チュート リ ア ル 講 演 会（教育委員会企画）
7 月 24 日（水）13:20 〜 16:10

メイン会場（レセプションホール１）

TL「Beyond Deep Learning」
座長： 中田小田TL1

世間の流行に左右されない深層学習所感TL2

様々な大規模計算環境の得手・不得手

TL3

医師が取り組んだ深層学習：臨床からスパコンまで

鈴木

平野

花岡

典生（東京慈恵会医科大学）
昌宏（名古屋大学）

賢治（東京工業大学／イリノイ工科大学（Illinois Institute of Technology））

靖（山口大学）～何ができて何ができない？～

昇平（東京大学）

1010

シ ン ポ ジ ウム
7 月 25 日（木）15:05 〜 16:25

メイン会場（レセプションホール１）

SY1「医用画像のビッグデータと AI 開発の展望」
座長： 村尾中田晃平（国立情報学研究所）
典生（東京慈恵会医科大学）

SY1-1

医療画像ビッグデータクラウド基盤

SY1-2

AMED プロジェクトにおける画像解析タスク俯瞰，眼科画像の解析

SY1-3

病理と内視鏡画像における胃がん検知システムの開発

SY1-4

SY1-5

SY1-6

SY1-7

合田

佐藤

憲人（国立情報学研究所）

真一（国立情報学研究所）

原田

達也（東京大学）

黒瀬優介（東京大学）

大腸の画像診断：大腸生検の病理画像解析および大腸の内視鏡画像解析内田誠一（九州大学）

備瀬竜馬（九州大学）

AMED 大規模データベースを用いた CT 画像解析と病変検出への応用森

健策（名古屋大学）

小田昌宏（名古屋大学）

大規模ＣＴデータ解析による骨格解剖知識の抽出大竹義人（奈良先端科学技術大学院大学）

日朝

祐太（奈良先端科学技術大学院大学）

高尾

正樹（大阪大学）

菅野伸彦（大阪大学）

佐藤嘉伸（奈良先端科学技術大学院大学）

超音波画像データベース構築と AI 開発の取り組み
椎名毅（京都大学）

目加田慶人（中京大学）

SY1-8

OpenAI と TradeAI

SY1-9

臨床診断の立場からの特別発言と総合討論中田

縄野

典生（東京慈恵会医科大学）

繁（国際医療福祉大学）

シンポジウム 1 演者全員

11

11

メイン会場（レセプションホール１）

7 月 26 日（金）15:35 〜 16:55

SY2「多元計算解剖学のこれから - さらなる飛躍を目指して」
座長： 森
清水

SY2-1

多元計算解剖学において生み出されたもの

SY2-2

多元計算解剖学における数理

SY2-3

多元計算解剖学における多元モデリング

SY2-4

多元計算解剖学と人工知能ブーム

SY2-5

多元計算解剖学のその先にあるもの

橋爪

本谷

佐藤

藤田

森

SY2-6

健策（名古屋大学）
昭伸（東京農工大学）

誠（九州大学）秀堅（名古屋工業大学）

嘉伸（奈良先端科学技術大学院大学）

広志（岐阜大学）

健策（名古屋大学）

パネル討論

多元計算解剖学の今後の発展に向けて

ミ ニ シ ン ポ ジ ウム
7 月 25 日（木）10:40 〜 11:30

メイン会場（レセプションホール１）

MS1「CT・MR イメージングにおける深層学習」
座長： 増谷MS1-1

深層学習を用いた CT 及び PET/SPECT の画像再構成
工藤博幸（筑波大学）

MS1-2

深層学習を用いた CT 画像の金属アーチファクト低減処理

MS1-3

深層学習を利用した MR イメージング

MS1-4

生成型 Q 空間学習による拡散 MR イメージング

MS1-5

質疑応答および全体討論

大竹

伊藤

増谷

義人（奈良先端科学技術大学院大学）

聡志（宇都宮大学）佳孝（広島市立大学）

1212

佳孝（広島市立大学）

メイン会場（レセプションホール１）

7 月 26 日（金）10:40 〜 11:30

MS2「生命機能イメージングの革新：今後の課題と展望」
座長： 清末優子（理化学研究所）

末次 志郎（奈良先端科学技術大学院大学）

MS2-1

イントロ：JST CREST 情報計測領域について

MS2-2

クライオ電子顕微鏡法による生体分子の構造解析

MS2-3

高速原子間力顕微鏡による生体分子イメージングと機械学習・データ同化

MS2-4

細胞活動の高精度 3D 計測と画像情報解析の次世代化に向けて

清末

光岡

高田

清末

優子（理化学研究所）

薫（大阪大学）彰二（京都大学）

優子（理化学研究所）

ラ ン チ ョン セ ミ ナ ー
7 月 26 日（金）11:50 〜 12:40

メイン会場（レセプションホール１）

LS「DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム」
座長： 中田LS

典生（東京慈恵会医科大学）

DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム小林

和馬（国立研究開発法人国立がん研究センター研究所

がん分子修飾制御学分野）

ハンズオン セミナー
7 月 24 日（水）16:25 〜 17:55

サブ会場（1 階 会議室 2）

HS1「Deep Learning」

7 月 25 日（木）9:00 〜 10:30

サブ会場（1 階 会議室 2）

HS2「Deep Learning」

7 月 25 日（木）16:25 〜 17:55

サブ会場（1 階 会議室 2）

HS3「Deep Learning」

13

13

7 月 26 日（金）9:00 〜 10:30

サブ会場（1 階 会議室 2）

HS4「Deep Learning」

7 月 26 日（金）14:00 〜 15:30

サブ会場（1 階 会議室 2）

HS5「Deep Learning」 超初級者編

14

14

プログラム第1日

7 月 24 日（水）メイン会場（レセプションホール１）
13:00 〜 13:20

開会式

チュートリアル講演会
13:20 〜 16:10

TL1「Beyond Deep Learning」
座長： 中田小田TL1

世間の流行に左右されない深層学習所感TL2

様々な大規模計算環境の得手・不得手

TL3

医師が取り組んだ深層学習：臨床からスパコンまで

第1日

鈴木

平野

花岡

典生（東京慈恵会医科大学）
昌宏（名古屋大学）

賢治（東京工業大学／イリノイ工科大学（Illinois Institute of Technology））

靖（山口大学）～何ができて何ができない？～

昇平（東京大学）

7 月 24 日（水）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション１
16:25 〜 18:00

OP1「イメージング / 画質改善」
座長： 湯浅哲也（山形大学）

OP1-01

制約付きアンサンブル学習を用いた事後平均解の近似による MR 画像再構成

OP1-02X 線 CT 画像上の雑音分散に対する検出器モデルの影響

OP1-03

スパース化空間の類似性を利用した単一画像超解像

OP1-04

微小金属のアーチファクト補正を目的とした X 線トモシンセシス装置の検討

久保田菜々子（早稲田大学大学院

先進理工学研究科

電気・情報生命専攻）

田之上和矢（名古屋大学大学院医学系研究科）

竹間山川

康浩（宇都宮大学 大学院工学研究科 情報システム科学専攻）

恵介（株式会社日立製作所

研究開発グループ）15

15

OP1-05

敵対的生成ネットワークを利用した MR 圧縮センシング再構成の基礎検討

OP1-06

Simulation study of a novel brain PET scanner using 100 ps TOF-DOI sub-millimeter
resolution detectors

大内李OP1-07翔平（宇都宮大学

大学院

工学研究科

情報システム科学専攻）

英英（浙江大学）

サイクル損失を用いた 3 次元胸部 CT 像の超解像
河合良亮（東京農工大学大学院工学研究院）「画像解析 / モデリング」
座長： 健山智子（広島工業大学）

OP1-08CycleGAN を用いた胸部 CT 画像のドメイン変換とその識別システムへの応用

OP1-09楕円フーリエ記述子を用いた乳房 X 線像における石灰化クラスタの解析とデータ拡張への応用

OP1-10

演題取り下げOP1-11

単眼腹腔鏡映像からの奥行き推定を利用した術具セグメンテーション

三宅

志村

鈴木

将司（山口大学）

一男（駒澤大学医療健康科学部）

拓矢（中京大学 大学院工学研究科）

OP1-12

深層学習を用いた骨密度測定時の X 線画像における大腿骨セグメンテーション

OP1-13金属表面の画像照合に基づく手術器具の個品管理システム押川牧野翔太（株式会社島津製作所 医用機器事業部 技術部）

賢吾（日本電気株式会社 データサイエンス研究所）

OP1-14

舌診断支援システムの自動化に向けた舌検出と領域抽出の検討

OP1-15

少量のラベルデータを用いた学習によるイレウス症例 CT 像における拡張腸管の自動抽出

OP1-16

高解像度連続切片標本画像による股関節周辺領域における神経筋骨格構造のモデル化のための線維トラクトグラフィーの応用

唐

小田

時末

啓超（千葉大学大学院融合理工学府）

紘久（名古屋大学情報学研究科）

尚悟（奈良先端科学技術大学院大学）「CAD/ 臨床応用」
座長： 石田隆行（大阪大学）

OP1-17

画像認識技術によるうつ病診断の定量化

OP1-18

肝細胞癌に対する選択的 TACE 施行時の Angio-CT を用いた栄養血管同定ナビゲーションソフト
（Embolization plan）の初期使用成績と注入造影剤濃度の影響について牧

葛和OP1-19優太（神奈川工科大学）

剛（奈良県立医科大学連携大学院

先端画像下治療開発応用学講座）

敵対的生成ネットワークを用いた硬性白斑画像の生成と検証
藤田真穂（滋賀県立大学大学院工学研究科電子システム工学専攻）

16

16

OP1-20

液状細胞診画像と患者情報の併用による肺癌組織型自動分類の基礎的検討

OP1-21ResSENet を用いたオートエンコーダによる認知症の疾患鑑別

OP1-22

ドメイン敵対的学習を用いる病理画像からの悪性リンパ腫候補領域の抽出と病型識別

OP1-23

造影 CT 画像における 2 段階閾値処理及びテクスチャ解析による外傷出血自動検出の検討

OP1-24

深層学習における学習データセット規模拡大に応じた分類精度向上に関する実験的検討～超拡大大腸内視鏡画像における腫瘍性病変分類に向けた特徴量抽出～山田あゆみ（藤田医科大学 医療科学部）

藤林

古賀

木村

伊東

OP1-25第1日

大毅（株式会社 Splink）

諒一（名古屋工業大学）

拓貴（千葉大学

大学院融合理工学府）

隼人（名古屋大学大学院 情報学研究科）

CNN を用いた人工股関節全置換術術後 CT 画像からの自動インプラント姿勢推定
阪本充輝（奈良先端科学技術大学院大学先端科学技術研究科）

7 月 24 日（水）サブ会場（1 階 会議室 2）

ハンズオンセミナー１
16:25 〜 17:55

HS1「Deep Learning」

17

17

第2日

7 月 25 日（木）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション２
OP2

9：00 〜 10：30「イメージング / 画質改善」
座長： 小尾OP2-01

MR 圧縮センシングにおける ADMM-Net を利用した深層学習再構成の検討
植松OP2-02高史（東京工業大学）

駿（宇都宮大学 大学院地域創生科学研究科 工農総合科学専攻）

Electron-Tracking Compton Camera を用いた異なるエネルギー帯でのリストモード MLEM 画像の画質評価
稲垣将史（法政大学大学院 理工学研究科）

OP2-03コンプトン検出器を組み合わせた部分リング PET ジオメトリの提案

OP2-04

被写体スキャン方式による X 線位相イメージング法の開発

OP2-05

学習データセットを必要としない畳み込みニューラルネットワークを用いた Dynamic PET 画像のノイズ除去手法

田島

堀場

英朗（量子科学技術研究開発機構

日明（株式会社島津製作所

基盤技術研究所）

橋本二三生（浜松ホトニクス株式会社

OP2-06

中央研究所）

畳み込みニューラルネットワークを用いた低線量 CT 画像再構成法の多時相 CT イメージングへの拡張
森OP2-07

放射線医学総合研究所）

和希（筑波大学システム情報工学研究科コンピュータサイエンス専攻）

FDTD による Shear wave elastography の不安定要因の検証伊藤大貴（千葉大学

大学院

融合理工学府）「画像解析 / モデリング」
座長： 中口俊哉（千葉大学）

OP2-08

表現学習と SVM による胃壁マイクロ CT 像の半教師ありセグメンテーション手法

OP2-09MR 画像と病理画像の統合による膵癌腫瘍の多重解像度モデルの構築

OP2-10

機械学習を用いた人工膝関節画像からの機種の同定
CNN の適用～御手洗下村翠（名古屋大学大学院情報学研究科）

智茂（名古屋工業大学生）～マハラノビス距離による識別効果と岸野万由子（埼玉工業大学 工学部 情報システム学科）

OP2-11

所見テキスト解析を用いる H&E 染色病理画像からの免疫染色群推定
黄果葡（名古屋工業大学）

18

18

OP2-12

深層学習を用いた術野映像内肺領域抽出

OP2-13

高難易度画素用の損失関数を用いたセマンティックセグメンテーション

OP2-14

Polyp size classification in colorectal cancer using a Siamese networkOP2-15病変検出支援アルゴリズムにおける局所画像特徴量の汎用的な自動生成
学習による特徴量生成の検討 -今西松月

大輔（名城大学）

ヴィラードベンジャミン（名古屋大学大学院情報学研究科）

牛房

OP2-16勁峰（イーグロース株式会社）- 健常データのみの和之（近畿大学大学院 生物理工学研究科）

X 線単純投影と流体構造連成解析を用いた狭窄柔軟管内流れにおける造影剤濃度勾配の評価
金子凌太朗（東京大学工学部）「CAD/ 臨床応用」
座長： 花岡OP2-17

Coxnet と NMF を用いた非小細胞肺癌の組織学的分類

OP2-18CNN を用いた CAD 開発における段階的学習法の提案

山田安倍

OP2-19真大（九州大学大学院

医学系学府

保健学専攻）

和弥（神奈川工科大学）

Coxnet によって選択されたレディオミクスシグネチャによる SVM を用いた頭頚部癌患者の 5 年
生存確率の予測Le CuongQuoc（九州大学大学院

OP2-20

昇平（東京大学）

医学系学府

保健学専攻）

Kinect を用いた効率的な３次元顔面腫れ顔の形態変化の観測と可視化
健山

智子（広島工業大学

情報学部

知的情報可視化研究室）

OP2-21GAN による CT 肺結節画像の生成

OP2-22

AutoEncoder の正常症例訓練モデルによる FDG-PET 画像中の悪性腫瘍検出手法に関する研究

OP2-23

低線量 CT 画像を用いた肺結節の経時変化による良悪性鑑別

OP2-24

造影 MR 画像における部分最小二乗法による肝臓形状解析及びテクスチャ解析を用いた肝線維化のステージ分類濵口前田

東拓真（山口大学大学院創成科学研究科）

健宏（岐阜大学大学院自然科学技術研究科知能理工学専攻）

勇太（徳島大学大学院先端技術科学教育部）

スーフィーマーゼン（奈良先端科学技術大学院大学）

19

19

第2日

7 月 25 日（木）メイン会場（レセプションホール１）

ミニシンポジウム１MS1「CT・MR イメージングにおける深層学習」

10:40 〜 11:30

座長： 増谷MS1-1

深層学習を用いた CT 及び PET/SPECT の画像再構成

MS1-2

深層学習を用いた CT 画像の金属アーチファクト低減処理

MS1-3

深層学習を利用した MR イメージング

工藤

大竹

伊藤

博幸（筑波大学）

義人（奈良先端科学技術大学院大学）

聡志（宇都宮大学）

MS1-4

生成型 Q 空間学習による拡散 MR イメージング

MS1-5

質疑応答および全体討論

第2日

増谷

佳孝（広島市立大学）

佳孝（広島市立大学）

7 月 25 日（木）メイン会場（レセプションホール１）

特別講演１
SL1「軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ」

14:00 〜 14:50

座長：佐藤

嘉伸

（奈良先端科学技術大学院大学／ JAMIT2019 大会長）

SL1

軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ
細井裕司（奈良県立医科大学 理事長・学長）

シンポジウム１
15:05 〜 16:25

SY1「医用画像のビッグデータと AI 開発の展望」
座長： 村尾中田晃平（国立情報学研究所）
典生（東京慈恵会医科大学）

SY1-1

医療画像ビッグデータクラウド基盤

SY1-2

AMED プロジェクトにおける画像解析タスク俯瞰，眼科画像の解析

SY1-3

病理と内視鏡画像における胃がん検知システムの開発

合田佐藤憲人（国立情報学研究所）

真一（国立情報学研究所）

原田

達也（東京大学）

黒瀬優介（東京大学）
20

20

SY1-4

SY1-5

SY1-6

SY1-7

大腸の画像診断：大腸生検の病理画像解析および大腸の内視鏡画像解析内田誠一（九州大学）

備瀬竜馬（九州大学）

AMED 大規模データベースを用いた CT 画像解析と病変検出への応用森

健策（名古屋大学）

小田昌宏（名古屋大学）

大規模ＣＴデータ解析による骨格解剖知識の抽出大竹義人（奈良先端科学技術大学院大学）

日朝

祐太（奈良先端科学技術大学院大学）

高尾

正樹（大阪大学）

菅野伸彦（大阪大学）

佐藤嘉伸（奈良先端科学技術大学院大学）

超音波画像データベース構築と AI 開発の取り組み
椎名毅（京都大学）

目加田慶人（中京大学）

SY1-8

OpenAI と TradeAI

SY1-9

臨床診断の立場からの特別発言と総合討論中田

縄野

典生（東京慈恵会医科大学）

繁（国際医療福祉大学）

シンポジウム演者全員

第2日

7 月 25 日（木）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション３
16：25 〜 17：55

OP3「イメージング / 画質改善」
座長： 伊藤聡志（宇都宮大学）

OP3-01

少数方向トモシンセシスにおける正則化項を用いた画像再構成

OP3-02

超音波造影剤の動態情報を利用した模擬リンパ管の可視化

OP3-03EM-TV アルゴリズムを用いた少数投影での骨 SPECT 画像再構成の検討

OP3-04

頭部専用 PET における放射能・減弱補正係数同時推定法の深層学習を用いた精度向上手法の検討

堀

齋藤

金澤

呉

拳輔（杏林大学大学院保健学研究科）

勝也（千葉大学大学院 融合理工学府）

道和（弘前大学大学院理工学研究科）

博文（東京工業大学）

21

21

OP3-05膵癌腫瘍病理顕微鏡画像の染色変換

OP3-06

MR エラストグラフィによる内包ファントムの粘弾性分布の評価

OP3-07

Generative Adversarial Frameworks を用いた腹部 CT 像における非造影像からの造影像の推定

足立

菅

小田

秀雄（名古屋工業大学）

幹生（千葉大学）

昌宏（名古屋大学大学院情報学研究科）「画像解析 / モデリング」
座長： 上村幸司（国立循環器病研究センター）

OP3-08

マルチチャンネル化処理と CNN を用いた嚥下時 X 線透視動画における頸椎椎間板の抽出

OP3-09CT におけるアトラス誘導による肝抽出に関する比較研究

OP3-10屈折コントラスト X 線 CT を用いた乳頭組織の 3 次元可視化および解析

OP3-11

深層学習による超音波画像からの肝腫瘍検出に関する初期的検討

藤中

王

砂口

堤

彩乃（筑波大学大学院）進科（大阪大学大学院医学系研究科放射線統合医学）

尚輝（名古屋大学）

一晴（中京大学 工学部）OP3-12

腹腔鏡動画像からの Fully Convolutional Network による血管領域抽出

OP3-13

非接触型微小循環観察環境の構築と敗血症モデルラットの血行動態解析

盛満慎太郎（名古屋大学大学院情報学研究科）

川崎真未（千葉大学大学院融合理工学府基幹工学専攻医工学コース）

OP3-14

手術の多視点動画撮影および画像認識による自動視点切替表示

OP3-15

覚醒下脳腫瘍摘出術における術中情報を用いた脳機能マッピング工程同定手法の提案梶田佐藤大樹（慶應義塾大学医学部

形成外科）

生馬（公立はこだて未来大学大学院

システム情報科学研究科）「CAD/ 臨床応用」
座長： 内山良一（熊本大学）OP3-16GAN を用いた病理組織画像における異常組織の自動同定法

OP3-173 次元 CT 画像を用いたじん肺の重症度診断支援システム

OP3-18Generative adversarial network を用いた肺結節の 3 次元 CT 画像の生成

OP3-19眼底画像における OCT 検査結果を用いた CNN による網膜神経線維層欠損解析

OP3-20

小児腸閉塞患者の CT 像における CycleGAN を用いた電子洗浄手法の検討

林

森

西尾

渡邊

西尾

大誠（立命館大学理工学部）

奈々（徳島大学大学院 先端技術科学教育部）

瑞穂（京都大学附属病院

先制医療・生活習慣病研究センター）

颯友（岐阜大学大学院自然科学技術研究科知能理工学専攻）

光平（名古屋大学大学院情報学研究科）

22

22

OP3-21

低線量 CT 画像に基づいた骨ミネラル量の推定法

OP3-22胸部 CT 像中の肺結節の良悪性鑑別における自動抽出された画像特徴の可視化

OP3-23

CT 画像を用いた脊柱海綿骨内の骨密度定量化

OP3-24

二段階分類による胸部 X 線画像を用いた異常部位検出システムの検討

第2日

山田

平島

李

堂園

凌大（岐阜大学大学院自然科学技術研究科知能理工学専攻）

翔（山口大学大学院創成科学研究科）

新（大阪電気通信大学大学院）

貴弘（千葉大学

大学院

融合理工学府

基幹工学専攻医工学コース）7 月 25 日（木）サブ会場（1 階 会議室 2）

ハンズオンセミナー２
9:00 〜 10:30

HS2「Deep Learning」（1 と同一内容）

ハンズオンセミナー３
16:25 〜 17:55

HS3「Deep Learning」（1 と同一内容）

23

23

第3日

7 月 26 日（金）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション４
9：00 〜 10：30

OP4「イメージング / 画質改善」
座長：山谷

泰賀

（量子科学技術研究開発機構 放射線医学総合研究所）

OP4-01

ブロックマッチング 5D フィルターを用いたダイナミック PET スキャンのための画像ノイズ除去

OP4-02μ CT を用いた改良版 Cycle-GAN による臨床用 CT 像の超解像処理大手鄭希望（浜松ホトニクス株式会社 中央研究所）通（名古屋大学大学院情報学研究科）

OP4-03

視覚情報提示による頭部 PET 体動抑制手法の開発

OP4-04

静止型 SPECT システムを用いた心筋画像再構成

OP4-05

マルチ CNN による MRI 画像におけるノイズ低減

OP4-06

全身撮影が可能な立位 CT の開発：ファントムスタディ、人体に対する重力の影響

OP4-07GAN を用いた人工股関節全置換術術後 CT 画像の金属アーチファクト低減

鈴木

藤代

金子

横山

阪本

海斗（千葉大学

鷹平（法政大学

大学院融合理工学府）

理工学研究科）幸生（株式会社日立製作所

研究開発グループ）陽一（慶應義塾大学医学部放射線科学教室（診断））

充輝（奈良先端科学技術大学院大学先端科学技術研究科）「画像解析 / モデリング」
座長： 本谷秀堅（名古屋工業大学）

OP4-08複数の皮膚毛細血管に対する血流速度推定の自動化

OP4-09

TMS 検査のための脳 MRI 画像からの誘導電流強度の回帰とその推定誤差分散推定

OP4-10

開腹手術映像における遮蔽物除去システムの VR 化

OP4-11

手術器具検出を用いた整形外科手術の工程認識における最適な Data Augmentation の検討

OP4-12

敵対的生成ネットワークによる MRI 脳画像の頭蓋骨除去の提案

塚本

牧

北坂

西尾

藤山

唯斗（千葉大学大学院融合理工学府）

豊大（名古屋工業大学）

孝幸（愛知工業大学情報科学部）

祥一（兵庫県立大学）

眞梧（法政大学理工学研究科応用情報工学専攻）

24

24

OP4-13

深層学習を用いた腹腔鏡手術動画像の出血領域自動セグメンテーション

OP4-14

血管仮想操作のための脳血管描画方法の検討

OP4-15

転移学習を用いた腹部 thick-slice CT 像における多臓器領域の自動抽出の初期検討

OP4-16

歯科的個人識別のための Relation Networks for Object Detection を用いた歯科用 Cone-beam CT
における歯牙の検出

山本

田中

申

沓名

翔太（名古屋大学大学院情報学研究科）

康太（近畿大学大学院生物理工学研究科）

忱（名古屋大学大学院情報学研究科）

将太（岐阜大学大学院自然科学技術研究科知能理工学専攻知能情報学領域）「CAD/ 臨床応用」
座長： 畑中裕司（滋賀県立大学）

OP4-17時間－周波数解析と CNN を用いた呼吸音の自動分類手法の開発

OP4-18HE 染色標本画像と診断テキストデータを併用する免疫染色パターン推定

OP4-19舌の表面特徴に基づく機械学習を用いた舌苔分布推定手法の検討

南橋本弘毅（九州工業大学）

典明（名古屋工業大学）

吉村裕一郎（千葉大学フロンティア医工学センター）

OP4-20肺がん体幹部定位放射線治療における３次元計画 CT 画像上の肉眼的腫瘍体積の Dense V-net
自動抽出法
中野

OP4-21里彩（九州大学大学院医学系学府保健学専攻）

半教師あり学習を用いた根拠提示可能なメラノーマ識別
村林

誠也（法政大学大学院理工学研究科）

OP4-22

転移性肝がん検出のための Conditional GAN による学習画像生成

OP4-23

Deep CNN における分類器のアテンションメカニズムを利用した CT 画像からの乳腺領域の自動
抽出法

池田

山岸

OP4-24

裕亮（中京大学 大学院工学研究科）

誠也（岐阜大学大学院自然科学技術研究科知能理工学専攻）

Automated approach for estimation of sizes of lung cancer on planning CT images using deeplearning with non-negative matrix factorization
MaZhuangfei（Department of Health Sciences, Graduate School of Medical Sciences,
Kyushu University, Fukuoka, Japan）

25

25

第3日

7 月 26 日（金）メイン会場（レセプションホール１）

ミニシンポジウム２
10:40 〜 11:30

MS2「生命機能イメージングの革新：今後の課題と展望」
座長： 清末優子（理化学研究所）

末次 志郎（奈良先端科学技術大学院大学）

MS2-1

イントロ：JST CREST 情報計測領域について

MS2-2

クライオ電子顕微鏡法による生体分子の構造解析

MS2-3

高速原子間力顕微鏡による生体分子イメージングと機械学習・データ同化

MS2-4

細胞活動の高精度 3D 計測と画像情報解析の次世代化に向けて

清末

光岡

高田

清末

優子（理化学研究所）

薫（大阪大学）彰二（京都大学）

優子（理化学研究所）

ランチョンセミナー
11:50 〜 12:40

LS「 DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム」
座長： 中田LS

典生（東京慈恵会医科大学）

DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム小林

和馬（国立研究開発法人国立がん研究センター研究所

がん分子修飾制御学分野）

特別講演２
13:00 〜 13:50

SL2「ネオコグニトロンと畳み込みニューラルネットワーク」
座長： 尾川

SL2

ネオコグニトロンと畳み込みニューラルネットワーク
福島

邦彦（ファジィシステム研究所 特別研究員）

26

26

浩一（法政大学／ JAMIT 学会長）

第3日

7 月 26 日（金）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション５
13:50 〜 15:20

OP5「イメージング / 画質改善」
座長： 菅

OP5-01

幹生（千葉大学）

非ランダム間引き収集による MR 圧縮センシングの深層学習再構成佐藤佑紀（宇都宮大学 大学院地域創生科学研究科 工農総合科学専攻）

OP5-02

CT 画像再構成におけるメタルアーティファクト除去の新手法

OP5-03

2D U-Net の畳み込みネットワークを用いた隣接スライスからの CT 画像再構成

OP5-04

TV 正則化と辞書学習を用いた OS-EM 法における PET 画像再構成

OP5-05

拡散尖度撮像法のパラメタ推定のための生成型 Q 空間学習における最適雑音量の自動決定に
向けて

千北

武

一期（筑波大学大学院 システム情報工学研究科）

奥村

淑ケイ（京都大学情報学研究科）

内濱

OP5-06

直裕（電気通信大学情報理工学研究科）

良介（広島市立大学）

カラー腹腔鏡画像診断のためのコントラスト強調と SRCNN 超解像処理の最適条件に関する考察
河畑則文（東京理科大学理工学部）「画像解析 / モデリング」
座長： 滝沢穂高（筑波大学）

OP5-07

動作計測による顔の粘弾性シミュレーション

OP5-08対称性解析に基づく 3 次元データから顔の対称面検出

OP5-09放射光 CT を用いた肺 3 次元ミクロ血管解析

OP5-10CT 画像と顎運動情報を用いた VR 咬合器の開発

OP5-11グラフ畳み込みニューラルネットワークを用いた腹部動脈血管名自動命名の初期検討

OP5-12Btrfly 型 CAE を用いた骨シンチグラムにおける骨格認識処理の改良

黒田

細木

島谷

伊藤

日比

星野

嘉宏（大阪大学 大学院基礎工学研究科）

大祐（九州工業大学）

崚平（徳島大学大学院先端技術科学教育部システム創生工学専攻）

崇弘（鶴見大学歯学部クラウンブリッジ補綴学講座）

裕太（名古屋大学大学院情報学研究科）

ゆり（東京農工大学

大学院

工学研究院）

27

27

OP5-13

Mask R-CNN を用いた小児胸部 X 線画像における肺領域の自動抽出

OP5-14

深層学習を用いた非造影 CT 画像からの複数臓器領域の抽出に関する検討

OP5-15顎口腔領域の CT 画像における金属アーチファクト低減を用いた筋骨格セグメンテーション－金属アーチファクトのシミュレーションによる精度検証－

魚住林

春日（藤田医科大学大学院 保健学研究科）

森谷

雄一郎（名古屋大学大学院情報学研究科）

友香（奈良先端科学技術大学院大学

先端科学技術研究科）「CAD/ 臨床応用」
座長： 野村行弘（東京大学）OP5-16

Faster R-CNN による肝臓がん候補領域の抽出法

OP5-17マクロ病理マルチスペクトル画像からの再構成反射率を⽤いた⽪膚組織の⼆元悪性腫瘍分類

OP5-18FDG PET-CT の腫瘍領域教師データを半自動的に作成するアルゴリズムの提案と性能評価

OP5-19

乳腺領域の自動抽出を用いた深層ニューラルネットワークによる乳房超音波画像における腫瘤検出

古月夢奇（九州工業大学）

アルポヤニエレニ（東京工業大学

平田

楊

工学院

情報通信系）

健司（北海道大学大学院医学研究院核医学教室）

凱文（産業技術総合研究所）

OP5-20

レディオミクスによる肺がんの再発リスクの予測 - レディオミクス特徴量の比例ハザード性の検証 -OP5-21

深層学習を用いた胃 X 線検査画像における腫瘍領域自動検出の試み吉岡

市川拓弥（熊本大学大学院保健学教育部）

梨沙（法政大学理工学部）

OP5-22

疾患股関節の CEA の自動計測と大規模データベース解析への有用性の検討

OP5-23

3D fully convolutional network を用いた腎腫瘍の定量評価における初期検討

OP5-24

網膜動脈硬化症分類のための静脈口径計測

田中

王

畑中

雄基（奈良先端科学技術大学院大学情報科学領域）

成龍（名古屋大学情報科学研究科）

裕司（滋賀県立大学工学部電子システム工学科）

28

28

第3日

7 月 26 日（金）メイン会場（レセプションホール１）

シンポジウム２
SY2「多元計算解剖学のこれから - さらなる飛躍を目指して」

15:35 〜 16:55

座長： 森
清水

SY2-1

多元計算解剖学において生み出されたもの

SY2-2

多元計算解剖学における数理

SY2-3

多元計算解剖学における多元モデリング

SY2-4

多元計算解剖学と人工知能ブーム

橋爪

本谷

佐藤

藤田

秀堅（名古屋工業大学）

嘉伸（奈良先端科学技術大学院大学）

広志（岐阜大学）

多元計算解剖学のその先にあるもの

SY2-6

パネル討論

16:55 〜 17:00

第3日

昭伸（東京農工大学）

誠（九州大学）SY2-5

森健策（名古屋大学）

健策（名古屋大学）

多元計算解剖学の今後の発展に向けて

閉会式

7 月 26 日（金）サブ会場（1 階 会議室 2）

ハンズオンセミナー４
9:00 〜 10:30

HS4「Deep Learning」（1 と同一内容）

ハンズオンセミナー５：超初級者編
14:00 〜 15:30

HS5「Deep Learning」（第1回〜第4回は同じ内容，第5回は重複受講可能です．
）

29

29

録

第

抄
7 月 24 日（水）

(月

第1日

7

開会式

チュートリアル講演会
TL1「Beyond Deep Learning」

13:20 〜 16:10

座長： 中田典生（東京慈恵会医科大学）（概要）深層学習を利用した論文が数多く報告されている．今後研究を進めるためには，最新の深層学習の動向を把握するだけではなく，過去との差異を明確にし，データ収集や実行環境の効率化などの観点が必要である．今回のJAMIT チュートリアルは，大会期間中に会場で開催される「コニカミノルタ科学技術振興財団 JAMIT ハンズオ
ンセミナー」と一部連携して，医用画像における深層学習の実際について集中的に講演を企画した．講演１では，人工ニューラルネットワーク利用した画像処理の過去から現在，そして，将来への展望を，国際的な観点から幅広く講演いただく．講演２では，スパコンや大容量ストレージが必須となる研究を実行するための環境としてのクラウドサー
ビスの実際とその見積について，講演いただく．講演３では，正解データの作成，プログラム構築，その評価，論文
化と，ともすれば一人ですべてをワンオペのように解決できる深層学習の研究状況において，研究者が共同研究を行う新たな環境について講演いただく．

TL1

世間の流行に左右されない深層学習所感○鈴木賢治

東京工業大学／イリノイ工科大学（Illinois Institute of Technology）

深層学習が革新的な技術として世界的な話題となり，学会，産業界，そして世間を騒がしている．革新的な技術分野に加わることは大変良いことである．しかしながら，世間全体がブームに踊らされている感じがあることは否めない．本講演では，
24 年間深層学習の研究開発を続けてきた講演者の深層学習所感について述べる．深層学習は，従来の機械学習と本質的に何が違うのか？学習には大量の症例が本当に必要か？層は深ければ深いほど良いのか？大規模計算，大規模メモリは必須か？などの疑問について，講演者独自の深層学習モデル（MTANN）の研究開発，AI 支援診断や仮想画像化への応用，実用化を交えながら解説する．

TL2

様々な大規模計算環境の得手・不得手○平野～何ができて何ができない？～

靖

山口大学

スパコン，PC クラスタ，クラウドコンピューティングなど，様々な大規模計算環境があり，さらに演算装置には CPU や
GPU などいくつかの種類がある．この講演では，それぞれの計算環境・演算装置を紹介し，どのような処理をどのような計算環境で行えばよいかを解説する．また，医用画像処理の分野ではストレージ環境も重要であるため，有償のストレージ環境の概要や独自のストレージ環境を構築する際の概要などについても紹介する．

TL3

医師が取り組んだ深層学習：臨床からスパコンまで
○花岡

昇平

東京大学

講演者は放射線科診断専門医であり，Keras や Tensorflow を扱う深層学習の研究者でもある．その立場から，(1) 今の医用画像処理において深層学習が与えたショック，(2) 臨床医が今考えていること，(3) 医用画像工学者の「中抜き」の危険性，そして(4) これからの工学者と医学者の役割分担と競争，について私見を述べさせていただければと考えている．(1) では深層学習が工学者の職人芸を奪った，いわば「産業革命」となったのではないか，という観点から歴史をおさらいする．(2) では幾人かの深層学習を使いこなして業績を上げつつある放射線科医を紹介し，また彼らにとって律速段階がなにになっているかを提示した
い．特にデータ収集や正解入力の実際について例示するつもりである．(3) は私がいま焦っているところでもあるが，これまで
パタレコからの新アルゴリズムを医用画像というニッチに適用してご飯の種にしてきた医用画像工学者が，データと正解ラベ
ルさえあれば研究が成り立ってしまうような時代に，どうやって生き残れるのかを論じたい．(4) は，医師が supercomputer でpython を扱うような時代に，工学者と医学者がどのような協働関係を作っていけるかを模索して結びとしたい．

31

30

24

日）

メイン会場（レセプションホール１）
13:10 〜 13:20

1日（著者から提出された内容をそのまま掲載します）

第1日

7 月 24 日（水）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション１
16:25 〜 18:00

OP1「イメージング / 画質改善」
座長： 湯浅OP1-01哲也（山形大学）

制約付きアンサンブル学習を用いた事後平均解の近似による MR 画像再構成○久保田菜々子 1，原田賢 2，藤本晃司 3，岡田知久 3，井上

真郷 1

1
早稲田大学大学院 先進理工学研究科 電気・情報生命専攻，2 早稲田大学 理工学術院総合研究所，3 京都大学大学院
医学研究科 脳機能総合研究センター

MR 画像再構成においては，複数の画像事前分布を組み合わせることで精度が向上することが知られているが，最適な重みの組み合わせを交差検証法により求めることは，組み合わせ数が指数的に増加するため大変であった．以前の我々の研究では
制約付きアンサンブル学習を用いることで，複数の画像事前分布の組み合わせを線形オーダーの計算量で実現した．また，推定解に事後平均の近似解という意味づけを行うことで，本手法による再構成の精度向上の理論的裏付けを行った．本研究ではさらに画像事前分布の種類を増やした際に本手法が有用であることを報告する．

OP1-02X 線 CT 画像上の雑音分散に対する検出器モデルの影響○田之上和矢，池田

充，梅田

祐司，藤井

啓輔，川浦

稚代，今井

國治

名古屋大学大学院医学系研究科

雑音を量子雑音に限定した場合における X 線 CT 画像上の関心領域内の雑音分散の（アンサンブル領域における）期待値について，X 線検出器のモデル（quantum counter と energy integrating detector）の差が与える影響について検討した．両検出器モデルの出力が類似した結果を与える条件下で，CT 画像上の関心領域内の雑音分散の期待値について，解析的に計算した結果と仮想的な撮影系を使用したシミュレーション画像から推定した値について検討した．両モデルにおいて，解析的に計算した期待値はシミュレーション画像から推定した値とよく一致した．また，両モデル間で，雑音分散の値の差は少ない結果となった．今回の検討結果からは，両モデルの CT 画像上の関心領域内の雑音分散に与える影響は少なく，同雑音分散に関する検討において，簡易な quantum counter model での検討の有効性が示唆された．

OP1-03

スパース化空間の類似性を利用した単一画像超解像
○竹間

康浩，大内

翔平，伊藤

聡志

宇都宮大学 大学院工学研究科 情報システム科学専攻

MR 画像など画素数が少ない画像を観察する場合は，画像を補間拡大することが多い．このとき，単なる補間ではなく，超解像の効果があれば生体の構造をより認識しやすくなり，画像診断の精度を高めることが期待できる．eFREBAS 変換によりスパース展開された像は全て同サイズであり，かつ，周波数帯域別に分離した像は互いに相似性を持っている．そこで，
eFREBAS 空間における展開像の相似性を利用し，eFREBAS 空間にて信号を外挿する画像補間法について検討を行った．学習型超解像や深層学習を利用する方法と比較した結果，比較した深層学習の方法と同等の近い補間誤差と鮮鋭さを有する補間像が得られることが示された．

32

31

OP1-04

微小金属のアーチファクト補正を目的とした X 線トモシンセシス装置の検討○山川1

恵介 1，高橋

株式会社日立製作所

啓子 2，中村正2

研究開発グループ，2 日立製作所

ヘルスケアビジネスユニット

近年，乳房や整形で用いられる X 線トモシンセシスにおいて，代表的な FBP 画像では投影データの角度欠損により，金属と軟部組織間等の吸収値差が大きい条件で金属アーチファクトが増加する．これを低減するため，断層画像撮影では画像の金属位置に基づく投影データの補間法が用いられるが，トモシンセシスでは位置毎のアーチファクトのばらつきが大きく画像上の金属抽出が困難であった．報告者は JAMIT2018 にて，全ての投影角度の投影データを仮想 3 次元データとし，3 次元領域拡張法を用いた投影データ金属抽出法を報告したが，ピン等の微小金属になるほど角度方向の領域拡張の精度が低下する課題があった．そこで微小金属の抽出精度向上を目的として，投影角度間の金属の相関情報を用いる方法を提案する．整形用固定具を模擬したファントム実験において，周辺領域の画質を維持し高いアーチファクト低減効果が得られたので報告する．

OP1-05

敵対的生成ネットワークを利用した MR 圧縮センシング再構成の基礎検討
○大内

翔平，伊藤

宇都宮大学

大学院

聡志
工学研究科

情報システム科学専攻

MRI の撮像時間の短縮を目的として，圧縮センシングが応用されている．圧縮センシングによれば，収集する信号量の削減が可能であり，撮像時間が短縮される．しかし，画像再構成では L1-L2 ノルム最小化問題を反復的に解くため時間を要し，再構成像には人工的な様相が生じる場合がある．
近年では，CNN を利用した MR 画像の再構成法が提案されており，再構成像の品質と再構成時間の面で従前の反復的な手法よりも優れることから，大きな注目を集めている．
本研究では，2 つのネットワークを敵対的に学習させることで解の推定を目指す，敵対的生成ネットワーク (Generative
Adversarial Network: GAN) を使用した再構成法について検討を行った．また，既存の反復的解法と比較を行った．再構成シミュ
レーションによって得られた結果を報告する．

OP1-06

Simulation study of a novel brain PET scanner using 100 ps TOF-DOI sub-millimeter
resolution detectors○李劉1

英英 1，渡辺華鋒 1

光男 2，磯部浙江大学，2 浜松ホトニクス株式会社

卓志 2，大手希望 2，森谷隆広 2，得居

葵 2，大村

知秀 2，

中央研究所

A novel brain PET scanner using 100 ps TOF-DOI sub-millimeter resolution detectors has been proposed and simulation
study was performed using the GATE (Geant4 application for tomographic emission) to estimate physical properties and theimage quality of the scanner. The detector consists of four layers of independent scintillation detector having an outstanding
TOF capability and true first interaction point (FIP) detection ability. The spatial resolution, sensitivity, and scatter fraction
were estimated according to NEMA standards. To evaluate the image quality of the scanner implemented not only excellent
spatial and timing resolution but also DOI detection with FIP information added, 3D Hoffman, Hot-Derenzo, and NEMA image
quality phantom were simulated and analyzed reconstructed images. Our proposed PET scanner will have potential to open a
new field of brain study.

OP1-07サイクル損失を用いた 3 次元胸部 CT 像の超解像○河合1

良亮 1，斉藤

篤 1，木戸尚治 2，稲井2

邦博 3，木村浩彦 3，清水昭伸 1

3

東京農工大学大学院工学研究院， 大阪大学大学院医学系研究科， 福井大学医学部

教師あり学習に基づく超解像では，低解像度（Low Resolution ; LR）画像とそれに対応する高解像度（High-Resolution ;HR）画像の組を用いる方法が一般的である．しかし，この画像の組を得るためには生前に臨床用 CT，死後に作成した摘出標
本に MicroCT を適用する必要があり，大量に用意するのが困難である．本稿では，対応付けの無い LR 画像と HR 画像から，サイクル損失を用いて超解像を実現する方法について報告する．具体的には，ResNet を超解像のための生成器，CNN を偽物と本物の高解像度画像を識別する識別器とし，GAN の枠組みを利用して最適化するが，提案法では新しく定義するサイクル損
失（低解像度画像の再構成損失）を含む損失の最小化により ResNet を訓練した．この方法を実際の胸部 CT 像に適用して 8 倍の超解像を行い，PSNR などを用いて結果を評価した．本稿では，対応付けのある画像組を用いた超解像の結果との比較も行いながら，提案法の有効性と限界について議論する．

33

32

「画像解析 / モデリング」
座長： 健山OP1-08智子（広島工業大学）

CycleGAN を用いた胸部 CT 画像のドメイン変換とその識別システムへの応用
○三宅

将司，間普

真吾，木戸

尚治，呉本

尭，平野

靖

山口大学

機械学習を用いた CAD システムの研究が活発に行われているが，ある医療機関で良い性能を示した CAD システムを他の医療機関に転用する場合，医療機関によって画像の撮影条件が異なるため，CAD の診断精度が変動する可能性がある．その場合，
CAD の再学習には医療機関ごとに大量の訓練データを作成する必要がある．これでは，様々な医療機関で広く使いやすいシス
テムとは言えず，本問題の解決が必要である．本研究では，びまん性肺疾患の陰影分類を例に，CycleGAN を用いて上記の問題を解決する手法を提案する．具体的には，医療機関 A で撮影された胸部 CT 画像の条件を標準と定義し，医療機関 B で撮影された CT 画像を CycleGAN によって A の条件に変換する方式 ( 標準化 ) を研究する．標準化後の画像に適用する陰影識別器
として Residual Network(ResNet) を用い，まず医療機関 A の画像データで学習する．その後，標準化の有無によって医療機関
B の画像の診断精度に差があるかを検証する．同様に，B を標準とした場合も検証する．

OP1-09楕円フーリエ記述子を用いた乳房 X 線像における石灰化クラスタの解析とデータ拡張への応用○志村1

一男 1，安中奨 1，近藤啓介 1，縄野繁2

駒澤大学医療健康科学部，2 国際医療福祉大学三田病院

医療分野において，深層学習の性能向上のキーとなる教師データの確保は容易ではなく，データ拡張技術が注目されている．
今回，輪郭情報の定量的評価法のひとつである楕円フーリエ記述子を用い，石灰化クラスタの輪郭を解析し，データ拡張に応用する手法を検討した．楕円フーリエ記述子とは輪郭等の閉曲線を周波数解析する手法であり，円形度やアスペクト比といった既存の特徴量と比較し，より詳細な形状の特徴を表現可能である．
データベースから得た石灰化クラスタ形状を楕円フーリエ記述子に変換し，得られた特徴量空間から新たな石灰化クラスタ
分布の輪郭形状を生成する．別途，抽出した石灰化陰影を生成された石灰化クラスタ分布に応じ配置し，別の乳房 X 線画像に埋め込むことにより新たな教師画像を生成する．
以上の方法を乳房 X 線画像の公開データベースである CBIS-DDSM を用いて検証した結果について報告する予定である．

OP1-10

演題取り下げOP1-11

単眼腹腔鏡映像からの奥行き推定を利用した術具セグメンテーション○鈴木1

拓矢 1，道満恵介 1，目加田慶人 1，三澤一成 2，森健策 3

中京大学 大学院工学研究科，2 愛知県がんセンター，3 名古屋大学 大学院情報学研究科

腹腔鏡下手術の手術支援システムでは手術の安全性向上のために，腹腔鏡映像に映る術具領域の正確な抽出が必要である．
近年では FCN を用いた術具領域抽出手法が効果を挙げている．色情報に加えて奥行き情報を学習することで，抽出精度が向上すると報告されている．本研究では，深層学習による単眼腹腔鏡映像からの奥行き推定と，推定した奥行きと色情報を学習することで，術具領域抽出の精度向上を目指す．MICCAI2017 のロボット器具データセットを対象に実験した．4 分割交差検証の実験結果は平均 IOU が 89%，平均 Dice 係数が 94% となった．推定した奥行き情報を学習に追加することで，誤抽出の低減と輪郭の抽出精度が向上した．

OP1-12

深層学習を用いた骨密度測定時の X 線画像における大腿骨セグメンテーション○押川1

翔太 1，胡尓重 1，中矢知宏 1，髙橋

渉2

株式会社島津製作所 医用機器事業部 技術部，2 株式会社島津製作所 基盤技術研究所 AI ソリューションユニット

骨粗鬆症の診断では DXA（dual-energy X-ray absorptiometry）法を用いた骨密度の測定が重要視されている．DXA 法による骨密度測定では，骨部の正確なセグメンテーションが再現性の高い骨密度の測定に重要である．そこで本研究では，骨密度測定時の大腿骨 X 線画像の骨部を，深層学習を用いて高精度にセグメンテーションする手法を提案する．骨密度測定時の臨床
X 線画像を用いて学習を行い，学習に使用していない評価用データ 100 枚を用いて性能評価を行った．結果として骨密度測定に重要な大腿骨頸部を中心とした領域において平均 IoU(Intersection over Union) 96.5% となり，高精度にセグメンテーション可能であることを確認した．

34

33

OP1-13金属表面の画像照合に基づく手術器具の個品管理システム
○牧野

賢吾，高橋

徹，工藤

佑太，石山

塁

日本電気株式会社 データサイエンス研究所

本稿では，画像照合による手術器具の個品管理システムを提案する．
資産管理や作業履歴の管理のために，手術器具の個品管理が必要である．
一般に，マーキングやタグによる個体識別が使われているが，器具によっては付与が不可能であり，タグの脱落や付与のコストの問題もある．
本稿では，物体表面の微細なランダム凹凸パターンをマクロ撮影によって画像化し，画像照合で個体識別を行う物体指紋認
証技術の適用を提案する．
器具そのものの物体表面を撮影するだけでよいため，タグ付与が困難で管理できなかった器具についても，写真を撮るだけで容易に個品管理を実現できる．
実験では，メス，ピンセット，ハサミの 3 種類の金属製手術器具を各 5 個体用いて，ある特定部位の画像を撮影し，画像照合によって照合精度 100% で個体識別が可能であることを確認した．
また，読取の手間を無くすため，物体認識技術とロボットアームを活用した自動撮影システムを試作した．

OP1-14

舌診断支援システムの自動化に向けた舌検出と領域抽出の検討○唐啓超 1，ヤンテイショウ 1，吉村裕一郎 2，長谷川
中口 俊哉 2

豊 1，森康久仁 3，須鎗

弘樹 3，並木隆雄 4，1

千葉大学大学院融合理工学府，2 千葉大学フロンティア医工学センター，3 千葉大学大学院工学研究院，4 千葉大学大学院医学研究院和漢診療学

我々はこれまで舌撮影装置 TIAS を開発し，舌色診断支援システムを構築してきた．
この舌色診断支援システムのクリニックや家庭への普及に向けて使用手順の自動化が求められている．そこで本研究ではシステム自動化に向けた舌検出と領域抽出の手法を検討した．舌検出について，先行研究の結果では感度と精度は 0.9 以上に達したが特異度は 0.4 未満と誤検出が多発していた．そこで MobileNets 深層学習モデルを用いた舌検出手法を提案した．TIAS で撮影した舌画像 798 枚を用いてモデルを学習させたところ，舌検出特異度と精度の大幅な向上を確認した．舌の領域抽出について，SLIC と GrabCut を用いた先行研究の結果では平均 IoU 値が 0.75 未満と精度に課題があった．そこで本研究では Pix2Pix
深層学習モデルと領域拡張法を組み合わせた舌領域抽出法を提案した．関連手法との比較評価実験の結果，提案手法の優位性を確認した．

OP1-15

少量のラベルデータを用いた学習によるイレウス症例 CT 像における拡張腸管の自動抽出○小 田 紘久 1，西尾 光平 1，北坂 孝幸 1，天野
伊東 隼人 1，小田 昌宏 1，森
健策 1,4,5
1
5

日出 2，千馬耕亮 2，内田広夫 2，鈴木耕次郞 3，

名古屋大学情報学研究科，2 名古屋大学医学系研究科，3 愛知医科大学放射線医学講座，4 名古屋大学情報基盤センター，
国立情報学研究所医療ビッグデータ研究センター

本研究では，Fully convolutional network を用いたイレウス患者の CT 像における腸管領域の抽出において，手塗りされた教師データが少量であっても精度よく抽出を行う手法を提案する．イレウス症例においては，小腸が直径 30 ミリ程度まで拡張することが多い． 一般に Fully convolutional networks の学習を行う場合には大量の学習データが必要であるが，小腸は複雑に入り組んでいるほか非常に長く，手動でのラベル作成は容易でない．提案する腸抽出手法のネットワークを学習するための教師データとして，症例ごと数枚のスライスを手塗りするほか，手塗りの行われていないスライスの一部ではフィルタベースの手法により抽出したラベルを一部修正して併用する．ネットワークは U-net をベースとして入出力サイズ等の変更を施したものを用い，Keras にて実装する．学習したネットワークを用いて，イレウス患者の腹部 CT 像全体において腸領域を抽出する．

OP1-16

高解像度連続切片標本画像による股関節周辺領域における神経筋骨格構造のモデル化のための線
維トラクトグラフィーの応用○時末 尚悟 1，大竹 義人 1，Mazen Soufi1，福田 紀生 1，高尾 正樹 2，菅野 伸彦 2，BeomSun Chun3，
JinSeo Park4，佐藤 嘉伸 1
1

奈良先端科学技術大学院大学，2 大阪大学，3Ajou University，4Dongguk University

整形外科での診断精度向上などの観点から，正確な筋骨格モデルの構築が求められている．しかし，現状のモダリティでの腱・靭帯領域の撮像や解剖での骨格筋の内部構造把握は困難とされており，骨格筋の起始から停止に至る正確な 3 次元構造のモデ
ル化はなされていない．そこで本研究では，遺体から得られる股関節周辺領域の高解像度の標本画像を用いることで，骨格筋の起始から停止までの正確な 3 次元構造のモデル化を目指す．先行研究では大臀筋を対象にその周辺の腱・靭帯組織をマニュ
アルトレースにより抽出し筋腱線維の構造解析を行った．本研究では解析領域を拡大するために CNN を用いて，データセット
全体から腱・靭帯組織を自動抽出し，マニュアルトレースとの線維構造の比較・検討を行う．また，解析した腱・靭帯線維をクラスタリングすることで周辺の骨や骨格筋とのコネクティビティを検証し，解剖学的知見からモデルの整合性の向上を行う．

35

34

「CAD/ 臨床応用」
座長： 石田OP1-17隆行（大阪大学）

画像認識技術によるうつ病診断の定量化○牧1

優太 1，和田昇太 1，安倍和弥 1，武尾

英哉 1，永井優一 2

2

神奈川工科大学， 国立がん研究センター東病院

近年の精神病の診断は主に DSM-5 や ICD-10 などの国際疾病分類を用いており，これらによってうつ病は当て嵌まる症状の数による診断が行われている．この診断方法は医者の主観や患者のその日の体調によって診断結果が左右されてしまうため，
科学的，客観的な評価による診断ができていないという問題がある．そのため，うつ病の客観的な評価を行うために，うつ病であるかどうか画像工学技術を利用して，うつ病の定量化 ( 重症度の算出 ) とうつ病であるかどうかの判定を行うシステムの開発を行った．
定量化には主に視線方向と顔表情に着目した．うつ病患者及び健常者の動画像から，視線方向と顔表情を CNN を用いて検出し，各々の時系列データを得る．そして，それらのデータを機械学習によって定量化し，算出された重症度の評価を行った．
その結果，得られた重症度にはうつ病との関連性が見られた．

OP1-18

肝細胞癌に対する選択的 TACE 施行時の Angio-CT を用いた栄養血管同定ナビゲーションソフト（Embolization plan）の初期使用成績と注入造影剤濃度の影響について○葛 和
剛 1，前原 健吾 1,2，新家
広瀬 聖史 4，前田 達郎 4

睦巳 2，秋山

敬純 2，小西佳之 2，穴井洋 3，小屋敷誠 4，1

奈良県立医科大学連携大学院 先端画像下治療開発応用学講座，2 市立奈良病院 医療技術部放射線室，3 市立奈良病院
放射線科・IVR 研究センター，4 キヤノンメディカルシステムズ【背景】肝細胞癌の選択的 TACE に対し，Angio-CT(ACT) を使用した automated feeder detection system (AFD) の開発(Embolization plan; EP)，造影剤濃度に着目して初期臨床評価を行った．
【方法】対象は肝細胞癌 29 患者 33 結節 ( 腫瘍径 ; 平均 11.4(5.0-23.0）mm）．総肝もしくは固有肝動脈より秒間 1.0-2.0ml で造影剤 185(L:8 結節 ) もしくは 295㎎ I/ml(H:25) で注入し CT hepatic angiography(CTHA) を施行．DSA をゴールデンスタンダー
ドとして EP による栄養血管同定評価を行い，完全一致：Excellent(E)，ほぼ一致：good(G)，臨床上許容可能：fair(F)，許容不可能：poor(P) とした．
【結果】E;2（L0,H2）結節，G;19（4,15）結節，F;7（1,6）結節，P;5（3,2）結節で，F 以上は 28（5,23）結節 84.8(62.5，92)％であった．
【結語】ACT を用いた EP による栄養血管同定は臨床的有用性が示唆された．更なる精度向上には造影剤の注入条件のみならず，EP ソフトウエアなど他条件の検討を要する．

OP1-19

敵対的生成ネットワークを用いた硬性白斑画像の生成と検証○藤田真穂 1，畑中裕司 2，砂山

渡 2，村松千左子 3，藤田

広志 3

1

滋賀県立大学大学院工学研究科電子システム工学専攻，2 滋賀県立大学電子システム工学科，3 岐阜大学工学部電気電子・情報工学科

糖尿病網膜症は中途失明の原因となる病であるが，早期発見と治療によって失明を防ぐことができる病でもある．近年は眼底画像からの初期病変の検出に，畳み込みニューラルネットワーク (CNN:Convolutional Neural Network) が成果を挙げている．一方で CNN を用いる際には，病変データと非病変データとの不均衡が課題となる．現在は敵対的生成ネットワーク(GAN:Generative Adversarial Nets) を用いて病変データ数を増加させ，上記の問題の解決を図る研究が行われている．これらを踏まえて本研究では，初期病変の一つである硬性白斑の画像を生成した．白斑には硬性白斑と軟性白斑があるが，硬性白斑
は糖尿病網膜症の初期段階にあらわれる境界が明瞭な白斑である．また生成データと実データ間との分布の差異について，複数の指標を用いて検証を行った．当日は生成したデータに関する検証結果と，生成したデータが CNN に与える影響について報告する予定である．

OP1-20

液状細胞診画像と患者情報の併用による肺癌組織型自動分類の基礎的検討○山 田あゆみ 1，寺本
藤田 広志 4

篤司 1，桐山

諭和 3，塚本徹哉 3，今泉和良 3，星雅人 1，齋藤邦明 1,2，

1

藤田医科大学 医療科学部，2 藤田医科大学大学院 保健学研究科，3 藤田医科大学 医学部，4 岐阜大学 工学部 電気電子・情報工学科

病理診断において，肺癌の組織型やサブタイプを正確に把握することは，治療方針を決定するために重要である．本研究では，
液状細胞診 (LBC) 画像と患者臨床情報を用いた肺癌組織型分類手法を開発し，基礎評価を行った．はじめに，深層畳み込みニュー
ラルネットワークを用いて，液状細胞診画像から肺癌組織型に関する画像特徴量を抽出した．次に，電子カルテより患者臨床
情報 ( 喫煙情報，腫瘍マーカー値等 ) を収集し，主成分分析により次元圧縮を行った．得られた画像特徴量とその画像に対応す
る患者臨床情報の主成分を識別器に入力し，3 種類の肺癌組織型の分類結果を得た．149 症例の臨床データを用いて，3-fold 交
差検証にて評価を行ったところ，細胞診画像単体での分類精度は，82.9% であった．画像特徴に喫煙情報・腫瘍マーカー値を加えて，SVM で識別を行ったところ，それぞれ総合識別率は向上した．これらの結果から，提案手法の有用性が示唆された．

36

35

OP1-21ResSENet を用いたオートエンコーダによる認知症の疾患鑑別○藤林大毅株式会社 Splink

深層学習の活用で医療画像解析におけるニューラルネットワークモデルの有効性が近年多数報告されている．本研究報告では 3 次元 T1 強調 MRI 画像によるアルツハイマー病の疾患鑑別において，全脳の大域的なコンテキストの特徴化を考慮したモデル構築を行い，本課題においても深層学習が高い精度を実現することを報告する．提案するモデルは画像の Encoding /Decoding を行う U-net における Encoder ネットワークの畳み込み部分に Squeeze-and-Excitation ブロックを用いた ResNet を用いるものである．学習には北米の ADNI データセットから脳画像の特性を利用したデータ増強処理を行いこれを用いた．学習後のモデル評価は external validation としてオーストラリアの AIBL データベースを用い，従来手法より高い精度が確認された．

OP1-22

ドメイン敵対的学習を用いる病理画像からの悪性リンパ腫候補領域の抽出と病型識別○古 賀 諒一 1，橋本
本谷 秀堅 11

典明 1，横田達也 1，中黒匡人 2，高野

桂 2，中村栄男 2，竹内一郎 1，

名古屋工業大学，2 名古屋大学医学部付属病院

本研究では , 悪性リンパ腫の薄切切片の HE 染色病理顕微鏡画像より , 病名を推定する手法を提案する . 悪性リンパ腫には 70
種類以上の病型があり , その病型に依存して治療法や治療後の経過が異なるうえに , その病型を病理画像より診断することは専門の病理医であっても容易ではない . この病型識別を支援するシステムを構築するために , 切片全体を含む病理画像中より悪性腫瘍領域の部位を選択的に取り出し , そのうえで病型を推定する手法を提案する . この際 , 施設や染色を行った技師ごとに異なる HE 染色の色味の違いを積極的に無視するために , ドメイン敵対的学習を採用する . これにより , 切片全体の病理画像から悪性腫瘍領域の抽出ができるようになり , 病理画像における腫瘍領域の可視化が可能となった . また , 選択的に取り出された悪性腫瘍を含むパッチのみを用いて病型を推定することで , 病型推定の精度向上が確認できた .

OP1-23

造影 CT 画像における 2 段階閾値処理及びテクスチャ解析による外傷出血自動検出の検討○木村1

拓貴 1，吉村裕一郎 2，田中久美子 3，中田

千葉大学
治療医学

孝明 3，中口俊哉 2

2

大学院融合理工学府， 千葉大学 フロンティア医工学センター，3 千葉大学大学院医学研究院

救急集中現在の外傷治療では救急医による造影 CT 画像を用いた読影診断が行われているが，1000 枚以上の CT 画像を迅速かつ正確に読影する必要があることから医師の負担は大きい．本研究では，医師の負担軽減を目的に外傷出血の自動検出を検討する．
外傷出血候補領域の抽出においては，各組織の CT 値分布を参考に，骨領域の除去及び抽出範囲を限定した 2 段階の閾値処理によって出血領域の候補を抽出する．抽出した候補領域のテクスチャ特徴量からランダムフォレスト学習器を用いて候補領域を分類することで誤検出領域の低減を行った．実験として外傷 29 例の全身 CT 像を用意し，計 153 箇所の外傷出血の検出を試みた．読影医によって抽出された正解領域との重心間距離が 7.5mm 以下を正解として評価したところ，感度 96% の出血領域の検出に成功し，候補領域分類を行うことで偽陽性を約 70% 低減した．

OP1-24

深層学習における学習データセット規模拡大に応じた分類精度向上に関する実験的検討～超拡大大腸内視鏡画像における腫瘍性病変分類に向けた特徴量抽出～○伊東1
4

隼人 1，森

悠一 2，三澤将史 2，小田昌宏 1，工藤進英 2，森健策 1,3,4

名古屋大学大学院 情報学研究科，2 昭和大学横浜市北部病院 消化器センター，3 名古屋大学
国立情報学研究所 医療ビッグデータ研究センター

情報基盤センター，

超拡大大腸内視鏡による超倍率の拡大観察はリアルタイムなポリープの組織学的分類を実現しうる . この新しいモダリティ
による高精度な実時間診断の達成に向け , 内視鏡医には高度な知識と十分な知識が要求される . 超拡大大腸内視鏡の普及と人材確保に向け , 非熟練医の教育・サポートを対象とした CAD システムが求められている . CAD システムにおいては高精度な画像分類器がその中核をなす . 特に機械学習に基づく分類器の構成においては大規模な学習データセットが不可欠である . 中でも
深層学習はデータセットから分類に適したパターン表現を自動的に学習して特徴量抽出を行い , それらの分類を行う . したがって , 深層学習においては良質なデータセットの構築は非常に重要となる . 本研究では大規模データセットを構築し , 深層学習に基づく分類器構築における症例数・画像数・分類精度の関係を実験的に調査する .

OP1-25

CNN を用いた人工股関節全置換術術後 CT 画像からの自動インプラント姿勢推定○阪本1

充輝 1，槇野大樹 1，大竹義人 1，日朝

祐太 1，高尾正樹 2，菅野伸彦 2，佐藤嘉伸 1

2

奈良先端科学技術大学院大学先端科学技術研究科， 大阪大学大学院医学研究科

人工股関節全置換術において，カップ位置・角度といった置換されたインプラント姿勢は術後評価のにおいて重要な役割を果たす．従来，術後 CT 画像からの解析が行われているが，金属アーチファクトによる画像の乱れが原因となり自動解析は容易ではなく，半自動での解析が行われてきた．しかし，大規模データセットでの解析には高速かつ自動で解析を行い，インプラント姿勢を推定する手法が求められる．そこで本研究では，CNN（Convolutional Neural Network）を用いて，術後 CT 画
像からのインプラントのセグメンテーション・ランドマーク検出により自動でインプラント姿勢を推定する手法を提案する．

37

36

第2日

7 月 25 日（木）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション２
9：00 〜 10：30

OP2「イメージング / 画質改善」
座長： 小尾OP2-01

高史（東京工業大学）

MR 圧縮センシングにおける ADMM-Net を利用した深層学習再構成の検討
○植松

駿，伊藤

聡志

宇都宮大学 大学院地域創生科学研究科 工農総合科学専攻

圧縮センシングを MRI の撮像時間に応用することにより，撮像時間を短縮することができるが , 画像再構成に多くの時間を要する問題がある . 再構成時間の短縮と高画質化のいずれにも効果的として深層学習を利用した再構成法が注目されている .
深層学習再構成として , L1-L2 ノルム最小化問題を解く一解法である ADMM を CNN で実現した ADMM-Net が提案されている．本研究では，ADMM-Net において CNN のレイヤー数，学習する画像数，学習画像とテスト画像の関係などについて検討を行った．また，従来法である反復的解法と再構成時間および画質を比較し，ADMM-Net の優位性を確認した．

OP2-02

Electron-Tracking Compton Camera を用いた異なるエネルギー帯でのリストモード MLEM 画像
の画質評価
○稲垣
1

将史 1，尾川浩一 1，谷森達2

法政大学大学院 理工学研究科，2 京都大学大学院 理学研究科

ETCC は機械的なコリメータを使用せず，ガンマ線を観測することが可能であり，空間的に自由な位置にカメラを設置して計測し 3 次元画像を再構成することが可能である．このため，放射線治療装置と組み合わせて治療を行いながら，リアルタ
イムで治療部位などを観測可能である．本研究では異なるエネルギーの光子を使用したときに，得られる光子と画質の関係を検討する．光子の発生および被検体内での光子輸送計算には geant コードを用い，発生光子エネルギーは 300keV，511keV，4438keV と変化させ，実験系とほぼ同等のジオメトリでデータ収集を行うものとした．ファントムとしては解像度等を評価できる数値ファントムを用い，リストモード ML-EM 法を適用し，画像再構成を行った．高エネルギーでの再構成結果の方が低エネルギーでの再構成結果に比べて高画質の結果となり，単純なファントムであれば低エネルギーでも再構成可能であることが確認できた．

OP2-03コンプトン検出器を組み合わせた部分リング PET ジオメトリの提案
○田島

英朗，山谷

泰賀

量子科学技術研究開発機構

放射線医学総合研究所

リングの一部を開放化した部分リング PET は，リングの体軸方向のみならず開放部からも患者にアクセスでき，また，MRI
コイル一体型の頭部用 PET インサートとして開放部を下にすれば，患者の頭部に被せるようにセットアップができるなど利便性が向上する．一方で，測定可能な投影データには欠損が生じ，画像に強いアーチファクトが生じてしまうという問題がある．
本研究では，開放部と対向する部分の検出器をコンプトン検出器とすることで，欠損方向の情報をコンプトンイメージングの原理を用いて補い，投影データの欠損によるアーチファクトを低減可能な新しい部分リング PET ジオメトリを提案する．計算機シミュレーションとして，システムマトリクスを用いた順投影によって投影データを作成し，MLEM 法によって画像再構成を行った．その結果，通常の部分リング PET で生じてしまうアーチファクトが，コンプトン検出器を組み合わせることによって低減できることが示された．

38

37

OP2-04

被写体スキャン方式による X 線位相イメージング法の開発○堀 場 日明 1，佐野
哲 1，和田1
田邊 晃一 ，北村 圭司 1
1

幸久 1，徳田

敏 1，池田

基盤技術研究所，2 東京大学大学院

株式会社島津製作所

凡子 2，衛藤翔太郎 2，中川農学生命科学研究科

貴之 2，

獣医外科学研究室1

希望 1，寺本

浜松ホトニクス株式会社

篤司 2中央研究所，2 藤田医科大学

医療科学部

深層学習を医用画像処理に応用する場合，多数の教師ラベル付き臨床データセットを用意する必要がある．しかし，症例数の不足や倫理的な制約等により，大規模で高品質な臨床データセットを構築することは容易ではない．本研究では，学習デー
タセットを必要としない畳み込みニューラルネットワーク（CNN）を用いることで，多数の教師ラベル付き臨床データセットを用意することなく Dynamic PET 画像のノイズを除去する手法を提案する．本手法は，当該の計測 PET データのみを CNNの学習に利用する．まず，教師ラベルとして Dynamic PET 画像を，入力画像として計測データすべてを用いて再構成した
Static PET 画像を用意する．これら一対のデータペアを Encoder-decoder 型の CNN を用いて逐次学習させることにより，大幅にノイズが除去された Dynamic PET 画像を取得する．定量評価の結果，本手法を用いることで，従来使用されていたノイズ除去手法と比較し，大幅なノイズ除去性能の向上がみられ，本手法の有効性が示された．

OP2-06

畳み込みニューラルネットワークを用いた低線量 CT 画像再構成法の多時相 CT イメージングへ
の拡張
○森
1

和希 1，千北

一期 1，工藤博幸 2

筑波大学システム情報工学研究科コンピュータサイエンス専攻，2 筑波大学

システム情報系

近年，低線量 CT を目的とした深層学習画像再構成法の研究が精力的に行われている．これらの研究では，フィルタ補正逆投影（FBP）法で再構成した劣化画像をコンボリューション層とデコンボリューション層からなる畳み込みニューラルネット
ワーク（CNN）に入力して雑音を低減した高画質の画像を得る画像再構成法を提案している．本研究では，この画像再構成法
を腹部 CT 撮影（4 時相）に代表される多時相 CT イメージングに拡張した新手法を提案する．提案手法では，M 時相の画像のうち M-N 枚を通常線量で撮影しそれ以外の N 枚を低線量で撮影することで低被曝での CT 撮影を実現する．そして，M 時
相全ての画像を入力とし低線量で撮影した N 枚の画像を出力とする CNN を用いて，雑音を除去した高画質の再構成画像を得る．
M 時相全ての画像を CNN の入力とすることにより，CNN は通常線量画像を先験情報として低線量画像の画質を改善するように動作して，1 入力 1 出力の CNN で各時相の画像を独立に処理する単純な手法と比較して，より上手く雑音除去することが可能となることがキーである．CNN の学習は，位置合わせした多数患者の CT 画像から CT イメージング過程をシミュレーショ
ンしたデータセットを用いて行う．腹部 CT 実画像データセットを用いたシミュレーション実験により提案手法の有効性を評価した．具体的には，4 時相のうち何枚のどの時相を低線量で撮影するかの組み合わせを変化させた幾つかの典型的な撮影プ
ロトコルについて，深層学習を用いた手法の有効性を示す．提案手法は，MRI など他のマルチチャンネルイメージングにおいても有効と考えられる．

OP2-07

FDTD による Shear wave elastography の不安定要因の検証○伊藤1

大貴 1，大栗千葉大学

大学院

拓真 1，山田2

敦子 1，吉田融合理工学府， 千葉大学

憲司 2，山口匡2

フロンティア医工学センター

超音波で生体組織の硬さを評価する手法として，音響放射力によって組織内に発生するせん断波の伝播速度（shear wave
velocity; SWV）を利用する方法である Shear wave elastography（SWE）が臨床で実用化されている．しかし，メーカ間でSWV の評価結果に差を有することや，計測部位によっては評価結果が不安定になることが示されている．前者の主な要因は，音響放射力の空間的および時間的特性がメーカによって異なることや，せん断波の波形を判定するための処理および解析に使用されるアルゴリズムの違いによると考えられるが，生体内の組織構造や物性による不安定性も含めた検証が必要である．
本研究では，SWE の標準化のアプローチのために，有限差分時間領域法（Finite-Difference Time-Domain method; FDTD）
を用いて，実際の診断装置から送信される音響放射力の分布を模擬した送信条件下において，任意の生体組織性状におけるせん断波の伝播シミュレートし，送信条件や各種の信号処理が SWV の評価に与える影響について検証する．

39

38

7

25

日）

○橋本二三生 1，大手

(月

学習データセットを必要としない畳み込みニューラルネットワークを用いた Dynamic PET 画像のノイズ除去手法

2日

OP2-05

第Talbot 干渉計をはじめとする X 線位相イメージング法は，従来の X 線の吸収像では検出が困難であった軟組織でも視認性良く描出できることから，リウマチや乳がんなどを早期発見するための有用な手法として医療への応用が期待されている．しかしながら Talbot 干渉計の医療応用にあたっては，被写体の視野範囲が回折格子のサイズによって制限されるという課題がある．
そこで，我々は視野サイズを拡大するため，Talbot 干渉計をベースとして被写体をスキャン撮影する光学系を開発した．本光
学系は格子なしの吸収像と位相イメージング画像を同時に取得することが可能であり，さらに格子方向に対して被写体を回転させて撮影することで位相像を取得する方法も開発した．この光学系を用いて動物の乳がん検体を撮影し，従来の吸収法では得られなかった腫瘍のコントラストが描出できることを確認した．

「画像解析 / モデリング」
座長： 中口OP2-08俊哉（千葉大学）

表現学習と SVM による胃壁マイクロ CT 像の半教師ありセグメンテーション手法○御 手洗 翠 1，小田 紘久 1，杉野
森雅樹 3，高畠 博嗣 4，名取

貴明 1，守谷 享泰 1，伊東博 5，森健策 1,6,7

隼人 1，小田昌宏 1，小宮山琢真 2，

1

名古屋大学大学院情報学研究科，2 名古屋大学大学院医学系研究科，3 札幌厚生病院，4 札幌南三条病院，5 恵和会西岡
病院，6 名古屋大学情報基盤センター，7 国立情報学研究所医療ビッグデータ研究センター

本稿では，Spherical K-means (SpK) による表現学習と SVM を用いた胃壁μ CT 像の解剖学的構造に基づいた半教師あり抽
出手法について報告する．μ CT 画像はμ m オーダーで標本を 3 次元で観察可能であり，胃壁μ CT 像から腫瘍及び層構造を抽出することで腫瘍の立体的構造把握が可能である．しかし，豊富なラベルデータを作成するのは容易ではないため , 教師ありの抽出手法を用いるのは難しい．また，胃壁μ CT 像はコントラストが低いことから，教師なしの抽出手法で精度良く抽出することは困難である．そこで本手法では，対象画像とごく少量のラベルデータを利用する半教師ありの抽出手法により問題の解決，抽出精度の向上を図った．本手法は (1): SpK による表現学習 , (2): 特徴抽出 , (3): SVM を用いたラベルの割り当ての 3 段
階から成る．本手法を胃壁μ CT 像に適用した結果，良好な結果が得られた．

OP2-09MR 画像と病理画像の統合による膵癌腫瘍の多重解像度モデルの構築○下村 智茂 1，クグレマウリシオ 1，岩本 千佳 2，大内田研宇 2，橋爪
1

誠 2，横田 達也 1，本谷 秀堅 1

名古屋工業大学，2 九州大学

本研究では膵癌腫瘍の多重解像度モデルを構築する．多重解像度モデルは膵癌腫瘍の MRI 画像のボクセルと，対応した
Hematoxylin-Eosin 染色顕微鏡病理画像のパッチとの同時確率分布を表現するモデルである．このモデルにより MRI 画像中の各位置において観察されるであろう病理画像のパターンを予測し，これら MRI 画像と病理画像との関係を明らかにすることが本研究の目的である．この多重解像度モデルは，MRI 画像の各ボクセルから確率分布に従い対応する顕微鏡病理画像のパッチ群を予測する生成モデルでもある．この生成モデルを Neural Network を用いて構築し，MRI 画像と顕微鏡病理画像とを位置合わせすることで作成したデータセットを用いて学習した．この生成モデルを用いて MRI 画像の各ボクセルから対応する顕微鏡病理画像のパッチ群を推定することで同時確率分布を近似したので，その結果を報告する．

OP2-10

機械学習を用いた人工膝関節画像からの機種の同定
CNN の適用～○岸野万由子 1，山崎隆治 1，冨田

哲也 2，佐藤～マハラノビス距離による識別効果と嘉伸 3，菅本一臣 21

埼玉工業大学 工学部 情報システム学科，2 大阪大学大学院 医学系研究科 運動器バイオマテリアル学，3 奈良先端科
学技術大学院大学 情報科学研究科

術後人工膝関節の 3 次元的な運動情報を正確かつ定量的に把握するために，我々はこれまで，1 方向 X 線透視画像と人工膝関節 CAD（Computer Aided Design）モデルを用いた 2D/3D レジストレーション手法を開発してきた．現在，その 3 次元運動計測の全自動化に向けていくつかの要素技術の開発を行っており，その一つとして，X 線画像から人工膝関節の種類（タイプ）を識別，同定することは重要である．そこで本研究では，多種類の人工膝関節のシルエット画像（シミュレーション画像）を用いて機械学習による識別性能の基礎的な検討を行った．具体的には，①マハラノビス距離による識別効果と，②畳み込みニュー
ラルネットワーク（CNN：Convolutional Neural Network）による識別性能について検証を行った．結果として，マハラノビ
ス距離による識別では，誤識別が減少，識別性能が向上することが分かった．また，CNN による識別では，少ない特徴量の場合においても識別率が 100％と興味深い結果が得られ，ヒトの感覚とは異なる最適な特徴量が存在，選択されることが示唆された．

OP2-11

所見テキスト解析を用いる H&E 染色病理画像からの免疫染色群推定
○黄
本谷
1

果葡 1，橋本秀堅 1

典明 1，横田達也 1，中黒匡人 2，高野

桂 2，中村栄男 2，竹内一郎 1，

名古屋工業大学，2 名古屋大学医学部附属病院

悪性リンパ腫は形態や性質によって 70 種類以上のタイプに分類され，タイプごとに大きく治療方針が異なる . このため悪性リンパ腫のタイプを病理画像に基づき正確に同定することが治療には不可欠であり，タイプの同定には多数の免疫染色を施した病理画像を観察しなければならない．タイプの同定に必要な免疫染色は症例ごとに異なり，病理医はまず HE 染色画像を観察し，その結果に基づきタイプの同定に必要な免疫染色群を推定する．本研究では，悪性リンパ腫の診断に使用した免疫染色の結果を示す所見テキストデータと HE 画像を併用することにより，免疫染色推定器を構築する．所見データを解析すると，同一タイプの悪性リンパ腫であっても，施した免疫染色群が互いに異なる症例がある．このことに注目することにより，HE 染
色画像からの免疫染色群の推定がどの程度容易であるかを症例毎に定量評価する試みについても紹介する．

40

39

OP2-12

深層学習を用いた術野映像内肺領域抽出○今西1

勁峰 1，武淑瓊 2，中尾

恵 2，松田哲也 2

イーグロース株式会社，2 京都大学大学院 情報学研究科

外科手術の安全性向上において，血管および腫瘍の三次元構造を把握することは不可欠であるため，術中における臓器の変形推定に関する研究が進められており，カメラ画像内における二次元臓器領域が抽出できれば，臓器の三次元変形推定が可能であることが従来の研究によって示されている．しかし，呼吸性移動を伴う時系列な変化が大きい臓器に対するカメラ画像内領域を精度よく自動抽出する手法が確立できていない．本研究では，深層学習を用いて，肺手術の術中カメラ画像に対し，肺領域を自動抽出可能なモデルを構築した．実際の肺がん切除術の術中カメラ画像を用いて本モデルを訓練し，検証用症例の画像を用いて有効性を検証した結果，初期画像に対する肺領域の自動抽出精度，および時系列的な領域変化を伴う連続画像に対しての自動抽出精度がともに良好であったので報告する．

OP2-13

高難易度画素用の損失関数を用いたセマンティックセグメンテーション
○松月

大輔，堀田

一弘

名城大学

セマンティックセグメンテーションは画像を 1 画素ずつ識別，ラベル付けを行う．当然，画像の画素毎に識別の難易度の高い箇所もあれば，簡単な箇所もある．通常，セマンティックセグメンテーションのラベル付けは，出力層で出力したいチャン
ネル数まで次元削減した後に softmax 関数を適用し，チャンネル毎に確率に変換する．その際，チャンネル毎の確率値が均等に与えられるような箇所は，一般的に識別が難しい箇所であることが多い．そこで我々は，チャンネル毎の確率値に基づき，識別の難しい箇所を強く学習するような学習法を提案する．評価実験では，「細胞膜」，「細胞核」，「細胞質」を含むデータセッ
トを用い，従来の学習方法と我々の提案する学習方法の精度比較を行った．その結果，Intersection over Union を用いた精度評価において提案手法が従来法を上回ることを確認した．

OP2-14

Polyp size classification in colorectal cancer using a Siamese network○ヴ ィラードベンジャミン 1，伊東工藤 進英 2，森健策 1,3,4

隼人 1，小田昌宏 1，森

悠一 2，一政克朗 2，三澤将史 2，

1

名古屋大学大学院情報学研究科，2 昭和大学横浜市北部病院消化器センター，3 名古屋大学情報基盤センター，4 国立
情報学研究所医療ビッグデータ研究センター

Colorectal cancer is one of the leading cause of cancer related deaths with increasing prevalence. One key factor in
the likelihood of adenomatous cell differentiation is polyp diameter. Much research has shown polyp size to be a major
characteristic contributor to the risk of colorectal cancer. There exist a significant cut-off value of 10 mm which clinicians
use regarding their treatment diagnosis and patient surveillance. However, polyp measurement is highly variable and there
exist a high variance between clinician measurement surrounding this threshold value. We propose a novel method to classify
polyp size into above or below 10 mm classes based on a Siamese network. In a first step, a Siamese networks is trained tobuild a high dimensional embedding of features extracted for each polyp size. In as second step, we train an feed-forward
neural network that classifies the polyp size based on the distance between the feature embedding of the input image, andthe whole embedding space learned by the Siamese network. This method allows for better binary classification of thesub- and sup- 10 mm polyp size classes. Furthermore, our method can be used in a real time classification system as theclassification relies only on computing the distances between feature embeddings. Our data consist of around 33,000 images
from 129 movies classified into various polyp sizes ranging from 1-15 mm. We trained our model on 23,000 images, and tested
on 10,000 images equally split into each binary category. We obtained 89.2% in feature classification.

OP2-15病変検出支援アルゴリズムにおける局所画像特徴量の汎用的な自動生成
学習による特徴量生成の検討 ○牛房1

和之 1，根本充貴 2，木村裕一 1，永岡2

隆 1，山田誉大 1，林- 健常データのみの

直人 3

3

近畿大学大学院 生物理工学研究科， 近畿大学 生物理工学部， 東京大学 医学部附属病院 22 世紀医療センター

様々な病変検出支援 (CADe) アルゴリズムにおいて適用が可能な，局所画像特徴量の汎用的自動生成法について検討する．
特に，不十分量の病変データで CADe アルゴリズムの研究が行われることが少なくないことから，健常部の局所画像パッチデー
タのみで学習が可能な手法を検討する．教師無し学習法である深層畳み込みオートエンコーダと主成分分析を用いて画像パッチから得た特徴量の比較，およびそれらを併用した際の識別性能を検証する．特徴量は，局所画像パッチのアピアランスベク
トルから得られる潜在変数と，潜在変数から再現した画像パッチと本画像との誤差とする．胸部 CT から自動検出した肺結節候補データセットおよび頭部 MRA から自動抽出した脳動脈瘤候補データセットを用いて自動生成された画像特徴量について実験的に検証したので，その結果を報告する．

4140

OP2-16X 線単純投影と流体構造連成解析を用いた狭窄柔軟管内流れにおける造影剤濃度勾配の評価○金子凌太朗，高本聡，波田野明日可，泉聡志

東京大学工学部

冠動脈の狭窄は心筋梗塞などの重大な病気を引き起こす原因となっている．狭窄の機能的重症度を低侵襲かつ簡易に診断する方法として造影剤濃度勾配を指標とする TAG（Transluminal Attenuation Gradient）が挙げられるが，精度の向上が求められている．狭窄後に生じる再循環領域における造影剤の拡散は，TAG に大きく影響すると考えられる．そこで本研究では造影剤拡散動態を明らかにするため，狭窄血管を模擬したシリコンゴム製の柔軟管に流した造影剤を X 線単純投影により撮影した．
流体は水及び血液を用い定常流及び拍動流の条件で流した．また実験を模した流体構造連成解析を行い比較を行った．
定常流で流体に水を用いた実験では，狭窄後の造影剤は管断面全体に広がり一様に拡散する様子が観察された．一方，血液を用いた実験では，造影剤濃度の高い領域が管壁を伝いらせん状に回転しながら流れていた．血液を想定した解析では狭窄率が高い場合に噴流が軸中央を外れ管壁を伝う様子が観測され傾向は一致したが，拡散に伴う濃度勾配の定量的な一致には課題が残った．

「CAD/ 臨床応用」
座長： 花岡OP2-17

昇平（東京大学）

Coxnet と NMF を用いた非小細胞肺癌の組織学的分類○山田1

真大 1，有村九州大学大学院

秀孝 2，二宮

医学系学府

健太 1

保健学専攻，2 九州大学大学院

医学研究院

保健学部門

Histological classification of non-small cell lung cancer (NSCLC) affects the decision making of treatment policies.
However, histological subtypes, i.e. adenocarcinoma (ADN) and squamous cell carcinoma (SCC), identified from a single
biopsy occasionally differ from actual subtypes decided by surgical resections for NSCLC. We aim to explore classification
approaches of histological subtypes of NSCLC using three support vector machines (SVMs) with radiomic signatures
determined by Coxnet and non-negative matrix factorization (NMF). Classification models of Gaussian, linear and polynomial
SVMs constructed with radiomic signatures achieved the areas under the curves (AUCs) of 0.7021, 0.6803, 0.7131 using
Coxnet, and 0.7128, 0.6660, 0.7143 using NMF, respectively. The polynomial SVM with the radiomic signature determined by
NMF could more correctly classify histological subtypes of NSCLC into ADN and SCC.

OP2-18CNN を用いた CAD 開発における段階的学習法の提案○安倍1

和弥 1，武尾

英哉 1，永井優一 2，縄野繁3

神奈川工科大学，2 国立がん研究センター東病院，3 国際医療福祉大学三田病院

近年，CAD の研究分野にも CNN が積極的に用いられるようになった．一般的に，機械学習には様々なバリエーションを有する症例画像を網羅的に与えて学習することで，汎用的で高性能な判別器を設計する．しかし，CNN の学習データを構成する
中で，データを一様に与えるのではなく，複数のサブセットに分け，その比率を調整することで効果的な学習ができることが実験的にわかった． CNN が持つ学習データの補間的な特性を検証するとともに，その理由を分析し報告する．
本研究では，乳がん腫瘤の学習データを腫瘤の大きさと濃淡をもとに個々のサブセットを作成し，学習した CNN を評価用として複数用意したデータセットを用いて最適比率を検討し，実際の未知データで性能評価を行う．そして，評価データで検出ミスの多かったサブセットの比率を上げて再学習を行う．これを AUC の上昇が見られる間複数回繰り返し，性能の高い CNNを設計した．この CNN を未知データへ適用した結果，単純に網羅的に学習データを与えた CNN と比べて AUC が高いことが確認でき，本学習法の有効性が確認できた．
また，本学習法を肝腫瘍にも適用したところ，同様の結果が得られ，この学習法の汎化性も確認できた．

OP2-19Coxnet によって選択されたレディオミクスシグネチャによる SVM を用いた頭頚部癌患者の 5
年生存確率の予測○ Le CuongQuoc1，有村1

九州大学大学院
診療放射線学科

秀孝 2，山田医学系学府

真大 1，亀澤秀美 3

保健学専攻，2 九州大学大学院

医学研究院

保健学部門，3 帝京大学

医療技術学部

Five-year survival probability may affect the choices of treatment policies for head-and-neck (H&N) cancer patients.
The aim of this study was to investigate an automated approach to predict of 5-year survival probabilities of H&N cancer
patients using a support vector machine (SVM). Engineered features representing tumor heterogeneity of cancer patientswere extracted from gray-level histogram and texture matrices within cancer regions. The signatures, i.e., sets of significant
features, were constructed using a Coxnet algorithm. The signatures were fed into the SVM with a polynomial kernel toestimate the 5-year survival probabilities. The polynomial SVM learning with radiomic signatures archived an area under the
curve of 0.665 for stratification of patients based on 5-year survival. The polynomial SVM could be feasible to estimate the5-year survival probabilities of H&N cancer patients.

42

41

OP2-20

Kinect を用いた効率的な３次元顔面腫れ顔の形態変化の観測と可視化○健山智子 1，大野1
広島工業大学学専攻

瑛史 1，松本情報学部

慎平 2，澤本尚哉 3

知的情報可視化研究室，2 広島工業大学

情報学部，3 東京大学医学系研究科 公共健康医

顔面浮腫の診断は，医師の目視による主観的観測が一般的であり，客観的な評価手法の確立が切望されている．本研究では，顔面浮腫の形態変化の数値化より，浮腫具合を評価する計算機診断支援 (CAD) の確立を目指す．顔面浮腫の形態観測として，高精度レーザスキャナを用いた顔形状の３次元形状情報の取得などが挙げられるが，使用する機材が高価，キャリブレーショ
ンのための計算コストが高いことなどの問題点がある．そのことから，安易な撮像方法で顔形状情報を取得するデバイスの導入として，我々は，汎用性のある RGB-D センサとして，Kinect を導入し，顔面浮腫の形態変化の観測が可能であるかを検証する．
検証では，正常１０名に擬似腫れ顔として頬を膨らまし，その差分についての可視化を解析することで検証をおこなう．その可視化について，臨床医から評価を行い，顔面浮腫の形態変化の診断支援に有効であるかについて議論する．

OP2-21GAN による CT 肺結節画像の生成○濵口1

拓真 1，木戸尚治 2，平野

靖 1，岩野信吾 3

2

山口大学大学院創成科学研究科， 大阪大学大学院医学系研究科，3 名古屋大学大学院医学系研究科

近年，CT 画像中の肺結節の解析を Convolutional Neural Network (CNN) を用いて行う手法が数多く提案されており，高い性能を示すことが報告されている．一方で，このような解析に用いる学習画像を大量に用意できないことが原因で汎化性能を向上させることができない場合が多いという問題がある．この問題を解決するため，一般的には画像に対して回転や鏡映などを行って学習画像数を増加させる手法 ( 水増し ) がとられているが，根本的な解決にはなっていない．そこで本研究では，2 次
元画像に対して Deep Convolutional Generative Adversarial Networks (DCGAN) を用いた画像水増し手法を開発することを目的とした．
具体的には，DCGAN によって肺結節画像を生成するモデルを作成し，このモデルを用いて学習画像の生成を行った．比較対象として，水増しを行わなかった場合，および平行移動や回転・鏡映によって水増しを行った場合 ( 従来法 ) のそれぞれで
CNN の学習を行い，それらの良悪性鑑別精度を比較した．
5 分割交差検証を行った結果，提案法，水増しを行わなかった場合，および従来法の良悪性鑑別の精度は，それぞれ 75.81 ±6.36[%]，76.38 ± 4.32[%] および 76.57 ± 4.40[%] であった．
結果として本手法の優位性は得られなかったが，本手法では従来法と比較して大量の画像を生成できる可能性が示唆された．

OP2-22

AutoEncoder の正常症例訓練モデルによる FDG-PET 画像中の悪性腫瘍検出手法に関する研究○前田1

健宏 1，原武史 1，周向栄 1，片渕哲朗 2，藤田広志 1

岐阜大学大学院自然科学技術研究科知能理工学専攻，2 岐阜医療科学大学保健科学部

本研究の目的は，医師の負担軽減や見落としを防ぐために，体幹部 FDG-PET 画像における悪性腫瘍の自動検出手法の開発を目的とする．ここでは，異常症例より収集が容易な正常症例を利用して，異常検知の観点から検出を行う．PET スライス画
像を 12 × 12 画素のパッチ画像へ分割する．正常症例のみで訓練した AutoEncoder モデルによるパッチ画像の特徴量抽出を行う．再構成誤差を特徴量として加え，外れた傾向を持つパッチ画像を抽出する．抽出されたパッチ画像群を k-means 法により2 クラスタへ分割し，PCA による第一，第二主成分をそれぞれ軸とする 2 次元空間上にプロットする．クラスタ重心との距離を基にパッチ画像にスコア付けをし，スコアの集積する部位を腫瘍領域とする．腫瘍を含む 33 症例を対象に検出精度を求める．
検出率 95.1%，1 症例あたりの偽陽性領域数は 53 領域となり，正常症例のみで訓練した AutoEncoder モデルは腫瘍検出に有用である可能性を示唆した．

OP2-23

低線量 CT 画像を用いた肺結節の経時変化による良悪性鑑別○東金子勇太 1，鈴木 秀宣 2，河田昌弘 6，江口 研二 7

佳樹 2，仁木

登 2，楠本昌彦 3，土田敬明 4，中野恭幸 5，1

徳島大学大学院先端技術科学教育部，2 徳島大学大学院理工学研究部，3 国立がん研究センター東病院，4 国立がん研究センター中央病院，5 滋賀医科大学，6 東京都予防医学協会，7 帝京大学医学部

日本における死因別死亡率はがんが第一位であり，現在もがんによる死亡率は上昇しつづけている．その中でも部分別に見たとき肺がんは，がん死亡者数第一位を占め，こちらも増加傾向にある．肺がんの治療には，早期発見が必須であり，その方法のひとつとして，胸部 3 次元 CT 画像を用いた肺がん CT スクリーニングが施行されているが，これには被爆の影響が大き
いため低線量 CT 肺がん検診が取り入れられている．また，NLST や NELSON trial により低線量 CT 検診は肺がん死亡率の減少に効果があることが示されたことにより，低線量 CT 肺がんによる検診の有用性が示されたほか，これからどのように病状が進行していくかを示す特徴が存在している可能性があることがわかった．本研究では，肺結節の経時変化から病状の悪化に伴いどのような特徴量が変化しているのかを明らかにし肺結節の良悪性鑑別を行う．

43

42

OP2-24

造影 MR 画像における部分最小二乗法による肝臓形状解析及びテクスチャ解析を用いた肝線維化のステージ分類○スーフィーマーゼン 1，大竹佐藤 嘉伸 11

義人 1，堀雅敏 2，今井康陽 3，澤井良之 3，太田崇詞 2，富山憲幸 2，

奈良先端科学技術大学院大学，2 大阪大学，3 市立池田病院

We aimed at the staging of liver fibrosis by using image features derived from partial least squares regression (PLSR)-based
statistical shape and texture analyses applied to contrast-enhanced MR images. MR images of 51 patients were used. Fiftyfour texture features were derived from the image histogram and 4 texture analysis matrices. A statistical shape model wasconstructed by using PLSR. The fibrosis stage was estimated by using a support vector machine (SVM) based on texture
features and PLSR scores. The accuracy (in terms of the AUC) at the classifications F0/1 vs. F2‒4 (early), F0‒2 vs. F3‒4 andF0‒3 vs. F4 (cirrhosis) were 0.93 ± 0.03, 0.77 ± 0.05 and 0.84 ± 0.05, respectively, thus showing the feasibility of the proposed
approach for staging of liver fibrosis.

第2日

7 月 25 日（木）メイン会場（レセプションホール１）

ミニシンポジウム１MS1「CT・MR イメージングにおける深層学習」

10:40 〜 11:30

座長： 増谷佳孝（広島市立大学）

深層学習による医用イメージング技術，特に CT や MRI の画像再構成を中心に最新の研究成果を紹介する．

MS1-1

深層学習を用いた CT 及び PET/SPECT の画像再構成
○工藤

博幸

筑波大学

CT や PET/SPECT の画像再構成は，歴史的に解析的手法（第 1 世代）・逐次近似法（第 2 世代）という順序で研究や実用が進んできた．深層学習を用いた画像再構成法は，これらに続く第 3 世代と呼ばれる．本発表では，深層学習を用いた CT 及び
PET/SPECT の画像再構成に関する発表者らの研究事例を紹介し，これらに基づき私見も含むが期待できる点・問題点・今後の展望などに言及したい．

MS1-2

深層学習を用いた CT 画像の金属アーチファクト低減処理○大竹義人

奈良先端科学技術大学院大学

我々は，人工股関節手術における術前計画，術中支援，術後の予後予測を目的として，CT・MRI・X 線画像から患者個別の筋骨格モデルを構築することを目指している．本発表では，術後 CT 画像の解析に着目し，人工股関節部品の CAD モデルを学習データした深層学習モデルによる金属アーチファクト低減処理，およびアーチファクト低減後画像からの股関節周辺筋骨格のセグメンテーションについて報告する．

MS1-3

深層学習を利用した MR イメージング
○伊藤

聡志

宇都宮大学

MRI の画像処理に深層学習を利用する方法が注目されている．圧縮センシングの再構成に利用すると方法によってはスパー
ス化関数を用いずとも良質な画像を再構成することが可能となる．人工的な画像になりにくく，かつ反復的計算を必要としないので，短時間で再構成を行うことができるのも魅力である．雑音処理に利用すると，従来の非線形フィルタでは困難であった生体内の構造を十分に反映した良質な雑音除去フィルタを構成できる．超解像に応用すると従来の学習型解像度を超える高解像度の画像を生成する．本講演では深層学習を利用したいくつかの事例を紹介する．

44

43

MS1-4

生成型 Q 空間学習による拡散 MR イメージング○増谷佳孝

広島市立大学

拡散 MRI とは，単一あるいは異なる複数の撮像設定による拡散強調イメージングの手法およびデータの総称である . 様々な
信号値モデルのパラメタにより脳白質神経などの生体構造の定量化が可能となるが，そのパラメタ推定はこれまでのフィッティ
ングに加え，近年では機械学習によるアプローチによって行われる．本発表では，特に学習を合成データのみで行う生成型 Q
空間学習に注目し，DTI, DKI や NODDI などのモデルに対し深層学習を適用した結果を紹介するとともに，その利点や注目すべき特性を議論する．

MS1-5

質疑応答および全体討論

特別講演１
SL1「軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ」

14:00 〜 14:50

座長：佐藤

嘉伸

（奈良先端科学技術大学院大学／ JAMIT2019 大会長）

SL1

軟骨伝導の発見から MBT（医学を基礎とするまちづくり）へ○細井裕司

奈良県立医科大学 理事長・学長【MBE，MBT とは】対象が医療産業だけではなく，すべての産業に医学の光を当て，医学による産業の創生・再生を図る
MBE をまちづくりの中で実現するのが MBT である．現在，奈良医大を中心に 104 の企業・団体がコンソーシアムを形成し，この理念の実現を目指している．
【MBE，MBT の発想】MBE は，CT や MRI のように工学が医学を助ける ME( 医用工学 ) の逆の発想で，医学的知見を工学や産業の発展に生かすものである．2004 年に私が「軟骨伝導聴覚現象」を発見したことが発想の原点となったので，MBT と合わせて軟骨伝導を紹介する．

シンポジウム１
SY1「医用画像のビッグデータと AI 開発の展望」

15:05 〜 16:25

座長： 村尾中田晃平（国立情報学研究所）
典生（東京慈恵会医科大学）

国立研究開発法人日本医療研究開発機構（AMED）により「臨床研究等 ICT 基盤構築・人工知能実装研究事業」が開始されており，順次採択された医学系の学会と国立情報学研究所（NII）を中心とする国内の画像解析のエキスパー
トの研究室が連携して医用画像の収集・解析に取り組んでいる．現在参画している医学系の学会は，日本消化器内視鏡学会，日本病理学会，日本医学放射線学会，日本眼科学会，日本超音波医学会，日本皮膚科学会であり，画像解析に参加している組織は，NII のほか，東京大学，名古屋大学，九州大学，奈良先端科学技術大学院大学，中京大学である．
本シンポジウムでは，データの収集・解析の基盤の仕組みについて NII から紹介し，様々な具体的な解析タスクについて各組織から事例を紹介する．一方，海外でのデータ収集の状況についても俯瞰し，我が国における今後の研究から社会実現までについて展望を議論する．

SY1-1

医療画像ビッグデータクラウド基盤○合田憲人

国立情報学研究所

医療の質・安全性の向上，高度化，効率化，均てん化のため，ICT を活用して医療画像に代表される医療ビッグデータを収集・利活用するための仕組みが求められている．国立情報学研究所では，全国規模で収集される大量の医療画像データの受入・解析が可能な医療画像ビッグデータクラウド基盤を整備・運用している．本クラウド基盤には，現在，医学系 6 学会が全国の病院から収集した医療画像が匿名加工された上で収集され，AI を用いた画像解析研究に活用されている．本講演では，医療画
像ビッグデータクラウド基盤の概要および活用状況について紹介する．

45

44

SY1-2

AMED プロジェクトにおける画像解析タスク俯瞰，眼科画像の解析○佐藤真一

国立情報学研究所

国立研究開発法人日本医療研究開発機構（AMED）の支援のもと「臨床研究等 ICT 基盤構築・人工知能実装研究事業」が2017 年より開始されており，先の講演で紹介したクラウド基盤の中で各医学系学会から提起されたタスクに取り組んでいる．
これらのタスクについて全体を俯瞰し，その中から眼科画像を用いた解析として，緑内障の検出，緑内障を含めた複数疾患の識別を例に取組みを紹介する．

SY1-3

病理と内視鏡画像における胃がん検知システムの開発
○原田

達也，黒瀬

優介

東京大学

国立研究開発法人日本医療研究開発機構（AMED）の支援のもと「臨床研究等 ICT 基盤構築・人工知能実装研究事業」が2017 年より開始されており，我々は医学系の学会と連携して画像診断支援アルゴリズムの開発に取り組んでいる．本発表では，
日本病理学会から提供された Whole slide image (WSI) と日本消化器内視鏡学会から提供された内視鏡画像それぞれに対して開発した胃がん検知アルゴリズムについて報告する．

SY1-4

大腸の画像診断：大腸生検の病理画像解析および大腸の内視鏡画像解析
○内田

誠一，備瀬

竜馬

九州大学

本発表では，内視鏡学会及び病理学会との取り組みについて報告する．内視鏡で撮影した大腸画像において，部位や炎症のクラス分類を行うことは臨床応用上重要である．本発表では，このような課題を実現するための機械学習に必須の学習データ
収集を簡易にするクラスタリング手法について報告する．また，病理画像解析としては，大腸の病理画像における「正常」「良性腫瘍」「悪性腫瘍」の 3 領域分割課題に関して報告する．

SY1-5

AMED 大規模データベースを用いた CT 画像解析と病変検出への応用
○森

健策，小田

昌宏

名古屋大学

本講演では，AMED 大規模データベースを用いた CT 画像解析と病変検出への応用について紹介する．AMED 研究プロジェ
クト「医療ビッグデータ利活用を促進するクラウド基盤・AI 画像解析に関する研究」では，全国の臨床関係学会から医用画像デー
タを収集し，得られた画像データベースを用いて，機械学習等を用いた画像診断アルゴリズムの開発を進めている．本講演では，その中でも放射線領域のデータベースに注目し，クモ膜下出血などの病変の自動検出，異なる機関から収集されたダイバシティの高い画像を用いた解剖学構造自動認識などについて，事例を挙げながら紹介したい．

SY1-6

大規模ＣＴデータ解析による骨格解剖知識の抽出○大竹1

義人 1，日朝

祐太 1，高尾正樹 2，菅野伸彦 2，佐藤嘉伸 1

奈良先端科学技術大学院大学，2 大阪大学大学院医学系研究科

我々は，本プロジェクトで日本医学放射線学会が収集している大規模 CT 画像データベースから，整形外科手術の術前計画・術後評価に有用な骨格解剖に関する新たな知識の抽出を目指している．本発表では，股関節手術支援のため，未整理の CT 画
像データベースから深層学習を用いて骨盤を含む画像を抽出し，骨盤上の解剖学的特徴点の抽出を行う事で，男女差や加齢に伴う骨盤傾斜角の変化を解析した結果について報告する．

SY1-7

超音波画像データベース構築と AI 開発の取り組み○椎名
1

毅 1，目加田慶人 2京都大学，2 中京大学

日本超音波医学会では，AMED の事業として昨年度から肝腫瘤と乳腺腫瘤を対象に超音波画像データベース構築を開始し，同時にそれらを利用した AI 診断支援システムの開発に取り組んでいる．超音波検査はプローブの操作と読影が同時に要求される検査であり，瞬時の画像認識による診断支援ツールが期待されている．講演では，超音波画像特有の問題の難しさと肝腫瘍の AI 診断システムの開発状況について述べる．

46

45

SY1-8OpenAI と TradeAI○中田

典生

東京慈恵会医科大学

画像診断 AI の活用は世界的に急速に加速が進んでいる．しかし欧州諸国では，AI 技術はあるが医用画像データが少なく，
日本は医用画像があっても，AI 開発が遅れた国もある．画像データを鉱山資源に例えると，日本は膨大な埋蔵資源があるのに，
例えば「鉄鉱石を鉄に加工して売る技術」が乏しい後進国の状態である．日本は，「鉄鉱石を鉄に加工する殖産興業と貿易促進」
を進めて OpenAI と TradeAI へと変化する必要がある．

SY1-9

臨床診断の立場からの特別発言と総合討論○縄野繁

国際医療福祉大学

第2日

7 月 25 日（木）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション３
16：25 〜 17：55

OP3「イメージング / 画質改善」
座長： 伊藤OP3-01

聡志（宇都宮大学）

少数方向トモシンセシスにおける正則化項を用いた画像再構成○堀1

拳輔 1，齊藤

典生 2，王波 2，橋本雄幸 1

杏林大学大学院保健学研究科，2 つくばテクノロジー株式会社

トモシンセシスは，制限された角度から得られた投影像を用い，断層像を再構成する技術である．臨床機では，X 線管を
機械的に動作させ，60 投影 /30°の収集を 10 秒程度で行う．一方，現在開発中の装置は 4 投影 /20°しか収集しないため，1 秒以内の検査が可能であるが，ストリークアーチファクトが出現する．近年，CT や MRI の画像再構成では正則化項を組み込
むことにより，スパースな情報からの再構成を可能にしている．本検討では，4 方向トモシンセシスの画像再構成に正則化
項を組み込むことでアーチファクトの軽減を試みた．実験は，数値シミュレーションおよび実測データを用い，従来用いてきた Maximum likelihood expectation maximization (ML-EM) 法と，それに正則化を組み込んだ手法との比較検討を行った．
ML-EM 法では顕著なストリークアーチファクトが出現したが，Total Variation 正則化を組み込むことで，大幅にアーチファ
クトを軽減することができ，RMSE も向上した．

OP3-02

超音波造影剤の動態情報を利用した模擬リンパ管の可視化○齋藤1

勝也 1，吉田憲司 2，大村眞朗 1，田村2

和輝 3，山口匡2
3

千葉大学大学院 融合理工学府， 千葉大学 フロンティア医工学センター， 浜松医科大学 光尖端医学教育研究センター

超音波画像診断において検出が困難とされているリンパ管を対象として，従来の生体組織の形態情報に超音波造影剤の動的情報を加えた描出法を提案する．本手法では，造影剤が皮下注射を介してリンパ管内に吸収され，ほぼ静止している状態を想定しており，超音波照射に伴う音響放射力により生じる造影剤の動態をドプラ法により定量する．実験では，皮膚組織の散乱・減衰特性を模擬した散乱体を含有した寒天ゲルファントム内に円筒形チャンバを形成することでリンパ管を模擬した．チャン
バ内に超音波造影剤（Sonazoid）の懸濁液を充填し，その上部に設置した単一凹面振動子を方位方向に走査させながら超音波の送受信を行うことで，模擬リンパ管断面の可視化を試みた．提案法を用いることで，形態（エコー強度）情報のみでは弁別が困難である場合においても，位相（動態）情報を用いることで模擬リンパ管を高コントラストに描出可能であることを確認
した．

47

46

OP3-03

EM-TV アルゴリズムを用いた少数投影での骨 SPECT 画像再構成の検討○金澤

道和 1，笹谷典太 2，細川翔太 3，渡部浩司 4，湯浅哲也 2，高橋康幸 3，銭谷勉11
弘前大学大学院理工学研究科，2 山形大学大学院理工学研究科，3 弘前大学大学院保健学研究科，4 東北大学サイクロ
トロン・ラジオアイソトープセンター

悪性腫瘍の骨転移などの骨に関する画像診断において，SPECT 装置を用いる骨 SPECT 検査は，2 次元骨シンチグラフィ
では解剖学的な位置関係の把握が困難な胸郭や骨盤などの部位について有用となる．しかし，患者への負担などの様々な要因
により撮像時間の短縮が望まれている．そこで本研究では，統計的逐次近似再構成法である ML-EM 法と圧縮センシングを組み合わせた EM-TV アルゴリズムでの画像再構成法を骨 SPECT へ応用し，少数投影での骨 SPECT 画像再構成を検討した．
EM-TV アルゴリズムによる画像再構成は，観測データにおける統計的な尤度に関する更新と画像のトータルバリエーション(TV) に基づく正則化を交互に行うことにより実現する．少数投影の骨 SPECT 投影データについて EM-TV アルゴリズムでの画像再構成を行い，従来法として ML-EM 法との比較を行ったところ，アーチファクトおよび定量性を大きく改善することができた．これより，EM-TV アルゴリズムを用いた骨 SPECT における少数投影での画像再構成の可能性が示唆された．

OP3-04

頭部専用 PET における放射能・減弱補正係数同時推定法の深層学習を用いた精度向上手法の検討○呉1

博文 1，田島英朗 2，山谷泰賀 2，小尾高史 1

東京工業大学，2 量子科学技術研究開発機構 放射線医学総合研究所

高齢化社会の進展により，認知症患者の増加が大きな問題となっているが，陽電子放出型断層像撮像装置（PET）はアルツ
ハイマー型認知症の原因物質である特定のタンパク質の蓄積状況を画像として測定することが可能であることから，認知症の早期発見を目的とした検診での利用への期待が高まっている．しかし，現在開発を進めている頭部専用 PET は，コンパクトな筐体を目指した PET 専用機であり，吸収補正を行うための機構がないため，良好な画質の PET 画像を得るためには，別途撮影した CT や MRI などを位置合わせして補正用のデータを生成する必要がある．これに対して，本研究では，頭部専用 PETの測定のみから診断に十分な画質を得るために，PET 画像再構成に必要となる吸収補正画像を同時推定する手法と深層学習を利用した画像補正手法を組み合わせた再構成手法を提案し，計算機シミュレーションにより，その有効性を示した．

OP3-05膵癌腫瘍病理顕微鏡画像の染色変換○足立 秀雄 1，クグレマウリシオ 1，岩本 千佳 2，大内田研宙 2，橋爪
1

誠 2，横田 達也 1，本谷 秀堅 1

名古屋工業大学，2 九州大学

本研究の目的は膵臓癌病理画像の 3 次元多チャンネル画像を生成することである．本発表では病理画像の染色変換について報告する．空間的に連続する病理切片の顕微鏡画像より 3 次元画像を再構成する．すべての切片を HE など単一の染色で染めれば，その染色の 3 次元病理画像を得ることができる．この 3 次元病理画像は生体のミクロな 3 次元解剖構造を観察する上で有用である．ただし，観察できる構造は病理切片を染める染色液に依存して変化するが，単一の切片は単一の染色でしか染めることが出来ない．このため，同一の生体標本を異なる染色で染めたときに得られるであろう複数の 3 次元病理画像を同時に観察することは，実現できれば解剖構造の理解にとって有用であるにも関わらず容易ではない．そこで，(1) 連続する切片を異なる染色で染めることにより様々な染色病理画像を獲得し，(2) それら病理画像を用い染色変換を行う Neural Network を構築する手法を提案する．

OP3-06

MR エラストグラフィによる内包ファントムの粘弾性分布の評価○菅1

幹生 1,2，石井孝樹 1，岸本理和 2，小畠隆行 22

千葉大学， 量子科学技術研究開発機構 放射線医学総合研究所

Magnetic resonance imaging (MRI) を利用して，生体内の粘弾性率を非侵襲的に評価する手法として magnetic resonanceelastography (MRE) がある．MRE は外部加振装置により撮像対象内部に発生させた弾性波を MRI で画像化し，弾性波画像か
ら逆問題を解くことで粘弾性率を推定する．本研究では生体組織の粘弾性率と周波数特性を模擬した内包ファントムを使用して，MR エラストグラフィによる内包領域の検出可能な撮像条件を検討することを目的とした．硬さの異なる内包領域を有す
るファントムを用いた実験結果より，小領域の検出には小領域内に半波長以上の弾性波が伝播し，弾性波の波長が 4 pixel 以上となる条件を満たす必要があると考えられた．

OP3-07

Generative Adversarial Frameworks を用いた腹部 CT 像における非造影像からの造影像の推定○小田1

昌宏 1，隈丸加奈子 2，青木茂樹 2，森健策 1,32

名古屋大学大学院情報学研究科， 順天堂大学医学部放射線医学講座，3 国立情報学研究所医療ビッグデータ研究センター

本稿では，深層学習を用いて腹部領域の非造影 CT 像から造影 CT 像を推定する方法について述べる．診断及び治療時における血管を含む解剖構造や異常の確認を目的として，血管造影下での CT 像撮影が広く行われている．しかし造影剤の影響で呼吸困難や心停止といった重大な合併症を引き起こす場合が存在し，患者によって造影剤が使用できないことがある．本稿では深層学習による画像処理を用いて，腹部 CT 像の非造影像から造影像を推定する方法を提案する．Fully convolutional
network（FCN）を用いた学習データの直接的学習，generative adversarial framework における FCN の間接的学習等を用い，非造影から造影像への変換ネットワーク構築を行う．腹部 CT 像における推定実験を行ったところ，血管等が強調された造影
CT 像に近い画像を推定可能であった．

48

47

「画像解析 / モデリング」
座長： 上村OP3-08幸司（国立循環器病研究センター）

マルチチャンネル化処理と CNN を用いた嚥下時 X 線透視動画における頸椎椎間板の抽出○藤中1

彩乃 1，目片幸二郎 2，滝沢
2

穂高 3，工藤博幸 3

3

筑波大学大学院， 神戸赤十字病院， 筑波大学システム情報系

嚥下時の頸部動態解析において，頸椎椎間板の同定は嚥下障害の原因疾患の病態理解のために重要である．本報告では，嚥
下時 X 線透視動画 (Videofluorography, VF) から CNN を用いて椎間板を自動抽出する手法を提案する．X 線透視動画の各フレー
ムは濃淡画像である．その濃淡画像に濃度正規化，トップハット変換，ソーベルフィルタ，Local Binary Pattern 処理をそれぞれ適用して 4 つの中間画像を生成する．それらの中間画像から 3 つの画像を選択し，RGB の各チャンネルに保存した 1 つのカラー画像を生成する．このカラー画像にパッチベースの CNN を適用し，椎間板候補領域を抽出する．小領域削除などの後処理を適用し，椎間板領域を抽出する．中間画像の組み合わせの中から最適なものを選択する．実際の X 線透視動画に本手法を適用した結果を示す．

OP3-09CT におけるアトラス誘導による肝抽出に関する比較研究○王進科 1,2，程遠志 3，田村進一 4，富山憲幸 1

1

大阪大学大学院医学系研究科放射線統合医学，2 ハルビン理工大学ソフトウェア工学部，3 ハルビン工業大学コンピュータ
科学技術学部，4 株式会社 NBL 研究所

Atlas-guided approaches have shown good prospects on automatic medical image segmentation, in which probabilistic atlas(PA) and multi-atlas segmentation (MAS) have become the most popular models. This paper provides a comparative study
between PA and MAS on liver segmentation in CT. For PA, a single atlas is built for spatial correspondence purpose, via
co-registrations of all the training images, and segmentation is implemented by registering the resulting atlas to the target
image. For MAS, no atlas building process is needed. Each pairwise registration between the target image and the training
atlas is performed, followed by propagating all the atlas labels to the target coordinate, the segmentation result is thenachieved. In the experiments, a set of 30 abdominal CT images from cooperative hospital was used, and comparative results
showed distinct superiorities of the two atlas-guided models on liver segmentation.

OP3-10屈折コントラスト X 線 CT を用いた乳頭組織の 3 次元可視化および解析○砂 口 尚輝 1，島雄 大介 2，市原
湯浅 哲也 4，安藤 正海 51

周 3，西村理恵子 3，渡邊

彩 1，丹羽輝久子 1，黄卓然 1，

名古屋大学，2 北海道科学大学，3 名古屋医療センター，4 山形大学，5 総合科学研究機構

非浸潤性乳管癌 (DCIS) は癌細胞が乳管内に留まって増殖し，乳管に沿って進展する特徴を持つ．DCIS が乳管から周囲の結合組織へ浸潤すると，浸潤性乳癌となり，リンパ管や血管に進入する可能性が出てくる．浸潤のない，純粋な DCIS は，癌細胞が乳管内に存在するため，手術により DCIS を完全に除去し，DCIS を残さなければ完治する．DCIS の標準的な治療としては，
一般的には乳房全摘出か温存術が行われる．乳房全摘を行うとしても，術前に乳頭部の DCIS の有無が分かれば外観を維持した乳頭温存術が可能になるが，現在の臨床画像（マンモグラフィ，超音波，MRI）では，乳頭内の DCIS の有無を術前に判定することは困難である．乳管は，いくつかの葉（セグメント）に分かれているが，これらを集約する主乳管が集合する乳頭の詳細な解剖学的構造は，主乳管同士の吻合の有無など不明な点が多い．
本研究では，染色なしで組織標本と同等のコントラストと約 10 μ m の空間分解能により生体組織の 3 次元構造を可視化できるＸ線暗視野法による屈折コントラスト CT を用いて，乳頭内の乳管構造を詳細に解析する．具体的には，53 症例の乳頭から乳管数，乳管面積，乳管断面形状などを調査する．また，本研究で乳頭内の乳管同士が吻合する様子が多数確認されており，
詳細について報告する．

OP3-11

深層学習による超音波画像からの肝腫瘍検出に関する初期的検討○堤1

一晴 1，中島崇博 1，道満恵介 1，目加田慶人 1，西田直生志 2，工藤

正俊 2

2

中京大学 工学部， 近畿大学 医学部

本研究では，腹部超音波画像を対象として深層学習による肝腫瘍検出の初期的検討結果について報告する．腹部超音波における検査水準は実施者の経験に影響され，その均てん化にはコンピュータ支援診断が期待されている．本報告では，肝細胞がん領域とそれ以外の領域を分類する畳み込みニューラルネットワークによる肝腫瘍領域検出について述べる．学習データとして，肝細胞がん領域 61 例にデータ増強を施したものと非腫瘍領域をそれぞれ用いて CNN の学習をし，学習に利用しなかった
データによる評価をおこなった．実験の結果，腫瘍の領域を正しく検出できているが，腫瘍以外の領域を過検出する傾向が見られた．今後，学習データを追加することで検出精度の改善を試みる．

49

48

OP3-12

腹腔鏡動画像からの Fully Convolutional Network による血管領域抽出○盛 満慎太郎 1，小澤 卓也 1，北坂
三澤 一成 4，森
健策 1,5,6
1
5

孝幸 2，林雄一郎 1，小田昌宏 1，伊藤雅昭 3，竹下修由 3，

名古屋大学大学院情報学研究科，2 愛知工業大学情報科学部，3 国立がん研究センター東病院，4 愛知県がんセンター，
名古屋大学情報基盤センター，6 国立情報学研究所医療ビッグデータ研究センター

本稿では内視鏡動画からの血管領域の自動抽出手法について述べる．腹腔鏡手術は難易度の高い手術であるため，腹腔鏡などで撮影した動画の自動解析による手術支援システムの開発が進められている．動画からの術具や臓器の自動認識は，コン
ピュータに手術工程を理解させ，術者の手技を適切に支援させることにつながる．手術工程の理解において，体内構造を表す
血管の抽出は重要である．しかし，血管は手術中の把持や切断などにより形が変化するため，単純な処理で抽出することは困難である．そこで本研究では，深層学習を用いることにより，腹腔鏡動画像から血管領域を自動的に認識する手法の初期検討を行った．モデルには 2D U-net を用い，動画中の各フレーム画像に対応する血管領域ラベルを手動で作成し，学習を行った．
実験の結果から，腹腔鏡手術動画からの血管領域の抽出が可能であることが確認された．

OP3-13

非接触型微小循環観察環境の構築と敗血症モデルラットの血行動態解析○川崎1

真未 1，中野和也 2，大西峻 2，羽石秀昭 2

千葉大学大学院融合理工学府基幹工学専攻医工学コース，2 千葉大学フロンティア医工学センター

敗血症は感染症に起因して発症し，生命に危機を及ぼす臓器障害である．発症初期には 100 μ m 以下の血管径である微小循
環が障害される．よって敗血症に対する薬効の調査では，微小循環の変化を観察することが重要となる．先行研究では，生体の微小循環が観察可能な Sidestream Dark-Field (SDF) 撮影法を用い，敗血症モデルラットの血流速度低下を確認した．しかしSDF 撮影法は装置を組織に接触させる必要があり，組織圧迫の影響や衛生面で懸念がある．そこで本発表では，非接触型撮影装置を構築し，敗血症モデルラットの微小循環の観察及び血流速度解析を行った．非接触型撮影装置による取得動画像から敗血症モデルラットの血流や血管密度の減少が確認された．また血流速度を算出した結果，健常ラットの血流速度は減少しなかったのに対して敗血症モデルラットの血流速度は減少傾向が確認された．これらの結果から，非接触型撮影装置により微小循環の変化を取得可能であることが示唆された．

OP3-14

手術の多視点動画撮影および画像認識による自動視点切替表示○梶田
1

大樹 1，大石慶應義塾大学医学部

圭 2，高詰佳史 3，斎藤

形成外科，2 慶應義塾大学大学院

英雄 2，杉本麻樹 2

理工学研究科，3 慶應義塾大学医学部

解剖学教室

手術の動画撮影の有用性は以前から認識されており，多くの手術室には天吊式の術野カメラが設置されている．しかし，従来は外科医の頭部や体によって術野が隠れてしまう問題あった．
そこで我々は，無影灯の光源に対応して複数のカメラを設置し，術野が明るい限りは少なくとも 1 台のカメラからは，術野の映像が記録可能な「マルチカメラ搭載型無影灯」を試作した．
ただし，同時に多数の映像を見るのは大変であるので，術野が良好に映っている映像を画像認識によって識別し，自動的に映像を切り替える手法を作成した．術野は，人体の色やテクスチャの情報からセグメンテーションを行う機械学習の手法によって認識し，この領域が大きい映像を選択して表示させた．これにより，カメラが自動で切り替わりながら，常に術野を視認できる術野映像の表示が可能となった．
本技術によって，あらゆる場面における術野映像の活用が促進されることが期待される．

OP3-15

覚醒下脳腫瘍摘出術における術中情報を用いた脳機能マッピング工程同定手法の提案
○佐 藤
正宗
1

生馬 1，南部賢2

優太 1，藤野

公立はこだて未来大学大学院

雄一 1，堀瀬友貴 2，楠田佳緒 2，田村システム情報科学研究科，2 東京女子医科大学

学 2，村垣善浩 2，

先端生命医科学研究所

脳腫瘍摘出手術において，熟練医は最大限の腫瘍摘出と最小限の術後合併症リスクを実現するため，患者の脳構造や機能を把握し，独自の判断プロセスにより腫瘍を切除する．この判断プロセスは，熟練医が培った知識や経験にもとづく暗黙知とされており，医療の質の向上や若手医師教育のために可視化が望まれている．本研究では，覚醒下脳腫瘍摘出術において患者毎に異なる腫瘍付近の脳機能を把握する脳機能マッピング時の暗黙知の可視化に向け，術中情報を用いた脳機能マッピング工程
同定手法を提案する．本提案手法では，術中 MRI やナビゲーションシステムからの位置情報および顕微鏡などからの動画より
特徴量を抽出し，これらの特徴量を用いて 2 階層からなる階層型隠れマルコフモデルより，手術の流れと脳機能マッピング時の工程を可視化する．そして，過去の臨床データを用いて，本手法により手術工程を同定し，その精度を評価したので報告する．

50

49

「CAD/ 臨床応用」
座長： 内山OP3-16

良一（熊本大学）

GAN を用いた病理組織画像における異常組織の自動同定法○林1

大誠 1，中山良平 1，檜作

彰良 1，黒住眞史 2，真鍋俊明 22

立命館大学理工学部， 滋賀県立総合病院研究所

本研究の目的は，異常組織の病理組織型を推定する診断システム開発の前段階として，アノテーションが不必要な腫瘍を含まない病理組織像のみを，人工知能の一つである GAN（Generative Adversarial Nets）に学習させることで，病理組織像から異常組織を自動同定するアルゴリズムを開発することである．実験試料は，HE 染色された腫瘍を含む病理組織像，腫瘍を含まない病理組織像を 20 倍率でデジタル化した画像を用いた．GAN の学習では，学習用の腫瘍を含まない病理組織像から抽出した関心領域を GAN に入力することにより，正常組織構造をネットワークに学習させた．そして，学習済みネットワークを用いて，正常組織構造とは異なる構造を有すると評価された関心領域を異常組織として同定した．学習した GAN を評価用画像デー
タの関心領域に適用した結果，正答率 91.6% が得られ，提案手法の有効性が示唆された．

OP3-173 次元 CT 画像を用いたじん肺の重症度診断支援システム
○森
岸本
1
5

奈々 1，日野 公貴 1，松廣卓巳 4，芦澤 和人 5

幹雄 2，鈴木秀宣 2，河田

佳樹 2，仁木登 2，加藤勝也 3，

徳島大学大学院 先端技術科学教育部，2 徳島大学大学院 社会産業理工学研究部，3 川崎医科大学，4 岡山ろうさい病院，
長崎大学

じん肺は，粉じんを肺に吸入することによって生じる職業性呼吸器疾患である．日本では毎年 24 万人前後の粉じん作業従事
労働者がじん肺健康診断を受診している．近年では歯科技工じん肺など新たな症例が発生しており，粉じん労働者数は増加傾向となっている．
じん肺健康診断では胸部単純 X 線写真を用いて診断され，第 0 型，第 1 型，第 2 型，第 3 型，第 4 型に分類される．ここで，第 1 型以上の患者は労災認定となるが第 0 型の患者は労災認定の対象とならないため正確に診断しなければならない．また，
CT 画像は胸部単純 X 線写真に比べて第 1 型の微小な病変を検出することができるため，胸部 CT 検査による診断法が検討されている．
本報告では，3 次元じん肺 CT 画像からマニュアル処理によって粒状影を抽出し，じん肺 CT 画像データベースを作成する．
このデータベースを用いて X 線写真の診断結果と粒状影の個数・大きさを重症度別に解析・比較・評価・診断支援システムの開発を行う．

OP3-18Generative adversarial network を用いた肺結節の 3 次元 CT 画像の生成○西尾 瑞穂 1,2，野口峻二郎 3，尾上
富樫かおり 2

宏治 2，子安翔 2，八上

全弘 1,2，村松千左子 4，藤田

広志 4，

1

京都大学附属病院 先制医療・生活習慣病研究センター，2 京都大学大学院医学研究科 放射線医学講座（画像診断学・核医学），3 大阪赤十字病院 放射線診断科，4 岐阜大学工学部電気電子・情報工学科

目的
GAN による肺結節の 3 次元 CT 画像の生成を行い，放射線科医による評価を行った．
方法
LUNA16 のデータセットの 888 セットの 3 次元 CT 画像，1415 個の肺結節を用いた．肺結節に対し 40x40x40 voxels の VOIをセットして，CT 画像を切り出し，その CT 値を 1000 で除算して正規化を行った．改変した 3 次元 Resnet を generator，
改変した 3 次元 VGG を discriminator とし，GAN を構成した．トレーニングには 1281 個，テストには 134 個の肺結節を利用し，L1 loss と GAN loss を混合したものを最適化のためのロスとした．学習時には random erasing をベースにした data
augmentation を行った．テスト用の 134 個の肺結節につき，ランダムに真の肺結節と生成された肺結節を提示し，二名の放射線科医が評価した．放射線科医には真の肺結節である確信度を入力させ，それを用いて ROC 解析による Area under the curve(AUC) を計算した．
結果
放射線科医の AUC は 0.717 と 0.814 であった．正診率は 71.6% と 81.3%，
感度は 71.0% と 78.3％，
特異度は 72.3% と 84.6% であった．
考察
GAN によって，放射線科医による真偽の判断が難しい肺結節の 3 次元 CT 画像の肺結節を生成できる可能性が示された．

51

50

OP3-19

眼底画像における OCT 検査結果を用いた CNN による網膜神経線維層欠損解析○渡邊颯友 1，村松千左子 2,3，周向栄 2,3，畑中裕司 4，原武史 2,3，藤田

広志 2,31
岐阜大学大学院自然科学技術研究科知能理工学専攻，2 岐阜大学工学部電気電子情報工学科，3 岐阜大学大学院医学系
研究科知能イメージ情報分野，4 滋賀県立大学工学部電子システム工学科

緑内障は日本における中途失明原因の第 1 位とされており，40 歳以上の 20 人に 1 人が緑内障と推定されている．しかし，早期の緑内障は自覚症状が非常に少ないため，早期発見のためには定期検査が必要である．定期検査の中でも特に眼底検査では，緑内障診断の指標の一つとして網膜神経線維層欠損（NFLD）の有無を調べる．また，OCT 検査は精密検査であり，網膜神経線維層の厚みを定量する．しかし，定期検査においては一般的に OCT 検査ではなく眼底検査が行われる．そこで，我々は同時期に得られた眼底画像と OCT 検査結果をそれぞれ学習データ，教師データとして全畳み込みニューラルネットワークの学習を行い，眼底画像単体から NFLD を検出するコンピュータ支援診断システムを構築した．評価方法は，視神経乳頭中心部から眼底画像を 8 方向に分割し，各領域の NFLD の一致率を調べた．結果として，眼底画像単体から OCT 検査結果を用いて NFLDを解析することに成功した．

OP3-20

小児腸閉塞患者の CT 像における CycleGAN を用いた電子洗浄手法の検討○西 尾 光平 1，小田 紘久 1，千馬
内田 広夫 2，森健策 1,4,5

耕亮 2，北坂

孝幸 3，伊東隼人 1，小田昌宏 1，檜顕成 2，

1名古屋大学大学院情報学研究科，2 名古屋大学大学院医学系研究科，3 愛知工業大学情報科学部，4 名古屋大学情報基盤センター，5 国立情報学研究所 医療ビッグデータ研究センター

本研究では，血管造影された小児腸閉塞患者の CT 像における CycleGAN を用いた電子洗浄手法の検討について報告する．
これまでの腸管閉塞部位検出手法は，腹水等と濃度値の差が小さい残渣が含まれていることから精度が低下する問題があった．
そこで，電子的に腸管内を洗浄し，残渣が含まれていない CT 像を生成することで腸管閉塞部位検出精度向上を目指す．しかし，多くの電子洗浄手法は残渣が造影された CT 像に対する手法であり，小児腸閉塞患者の CT 像に適用することが困難である．
そこで，本研究では CycleGAN を用いた電子洗浄手法について検討する．残渣の多い小児腸閉塞患者の CT 像と残渣の少ない
大腸 CT 検査画像を学習データとして，CycleGAN による双方向それぞれの画像生成モデルを学習する．その後，残渣の多い
画像から残渣の少ない画像への生成モデルを小児腸閉塞患者の CT 像に適用する．実験の結果，小児腸閉塞患者の CT 像から残渣の少ない良好な CT 像を得ることができた．

OP3-21

低線量 CT 画像に基づいた骨ミネラル量の推定法○山田凌大 1，石原匡彦 2，原武史 1，周1

向栄 1，片渕哲朗 3，藤田広志 1

2

岐阜大学大学院自然科学技術研究科知能理工学専攻， 岐阜大学医学部附属病院放射線部，3 岐阜医療科学大学保健科
学部

核医学画像の定量解析の中で，骨に集積する放射性薬剤の SUV の計算では，全身の骨ミネラル量の測定が重要である．本研
究は，低線量 CT 画像を用いた骨ミネラル量の推定法の開発を目的とした．等方化した CT 画像に閾値処理や空間フィルタを利用し，骨格抽出を行う．骨格の MIP 画像を基に骨面積を定める．骨面積に骨密度を乗じた値を骨ミネラル量の推定値とする．
日本人健常者 2411 人に対し行われた体組成計測における DXA の測定データにより，全身の骨ミネラル量の回帰式が定められている．この回帰式から算出される症例の全身の骨ミネラル量と，123 症例の CT 画像に基づき推定した胴部骨ミネラル量の相関係数は 0.88 であった．また，骨格を解剖学的構造に基づき，大腿骨，骨盤（寛骨，仙骨・尾骨），脊柱，頭蓋骨，腕部骨に自動分類し，部位ごとの骨ミネラル量の推定も可能である．以上より，CT 画像に基づく骨ミネラル量の定量解析の有用性が示唆された．

OP3-22胸部 CT 像中の肺結節の良悪性鑑別における自動抽出された画像特徴の可視化○平島1

翔 1，平野靖 1，木戸尚治 1，岩野2

信吾 2，本田

健 3，関

順彦 3

3

山口大学大学院創成科学研究科， 名古屋大学大学院医学系研究科， 帝京大学医学部附属病院

肺結節は CT 像上に高 CT 値の陰影として写し出され，医師は肺結節やその周辺の画像所見を基に肺結節の良悪性を判断する．
また，近年では Deep Learning を用いた CADx(Computer-Aided Diagnosis) システムの研究が行われており，従来の手法に比べて高い性能を示すことが報告されている．しかし，Deep Learning の判断過程は解釈が難しい．
本研究では Deep Learning で構築された CADx システムの判断結果の根拠を明示的にするために，Deep Learning が抽出した画像特徴の可視化を目的とする．具体的には，肺結節周辺の 3 次元画像を用いて CNN (Convolutional Neural Network) の学
習と識別を行い，Guided Grad-CAM(Guided Gradient-weighted Class Activation Mapping) を用いて CNN の抽出した画像特徴を可視化した．

52

51

OP3-23

CT 画像を用いた脊柱海綿骨内の骨密度定量化○李1

新 1，光本浩士 1，平野雅嗣 2，山崎克人 3，田村進一 4

大阪電気通信大学大学院，2 新居浜工業高等専門学校，3 栄宏会小野病院，4( 株 )NBL 研究所

近年，高齢化に伴い，骨粗鬆症患者が年々増加している．その影響により医師による CT 像の読影が膨大化し多大な時間と労力が必要になり見落としが危惧されている．このため，骨粗鬆症患者の CT 画像を対象としたコンピュータ支援システムの開発がなされ骨密度の計測が報告されている．先行研究のシステムにおいて，骨密度の計測は，脊柱スライスデータ内の椎体を囲む矩形を求め，その各辺の 1/3 の長さを持つ楕円形の ROI 内の平均 CT 値を骨密度としている．また，Snakes 手法を用い海綿骨を抽出し骨密度を計測する研究もあるが，Snakes 手法には初期値の設定が必要である．
本稿では抽出した脊柱の各スライスに対し，海綿骨と皮質骨の境界を検出し海綿骨領域のデータ値を用いた CT 値の平均を求める．その結果，骨密度の脊柱に沿った変化，椎骨ごとの変化を計測することができた

OP3-24

二段階分類による胸部 X 線画像を用いた異常部位検出システムの検討○堂園

貴弘 1，吉村裕一郎 2，田中久美子 3，エズムトルスン 2，中田

1

千葉大学 大学院 融合理工学府 基幹工学専攻
大学 大学院医学研究院 救急集中治療医学

2

医工学コース， 千葉大学

孝明 3，織田

成人 3，中口俊哉 2

フロンティア医工学センター，3 千葉

集中治療室における移動困難な重症患者の経過観察のため X 線ポータブル撮影が用いられる．しかし，座位や仰臥位などの様々な体位での撮影となるため，通常時と臓器状態に差異が生じることで読影困難となり，読影精度の低下が課題となっている．そこで本研究では胸部 X 線ポータブル画像からの肺疾患の診断能を向上するため深層学習の適用を試みた．提案システム
は，まず無気肺と肺炎を 1 クラスとして，異常なし，胸水の 3 クラスで分類後，無気肺または肺炎と分類された画像を 2 クラス分類する 2 段階分類を行う．評価実験に千葉大学医学部附属病院で収集されたデータと米国立衛生研究所のオープンデータの 2 種類を用いた．その際，左右反転と± 7 度回転処理を行い，データ数を 14 倍に拡張，評価方法に 3 分割交差検証法を用いた．
実験の結果，提案する 2 段階分類手法は 4 クラス同時分類時よりもモデル全体の分類精度が向上し，有効性が示唆された．

53

52

第3日

7 月 26 日（金）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション４
9：00 〜 10：30

OP4「イメージング / 画質改善」
座長：山谷

泰賀

（量子科学技術研究開発機構 放射線医学総合研究所）

OP4-01

ブロックマッチング 5D フィルターを用いたダイナミック PET スキャンのための画像ノイズ除去○大 手 希望 1，橋本二三生 1，垣本大村 知秀 1，尾内 康臣 2
1

晃宏 1，磯部卓志 1，犬伏知生 1，得居

葵 1，吉川悦次 1，

浜松ホトニクス株式会社 中央研究所，2 浜松医科大学 生体機能イメージング研究室

PET リガンドの取込みの定量には，PET 検査において連続的なスキャン計画が必要となる．しかし，連続的な PET（ダイナミック PET）画像は，データ収集が複数の短時間フレームよりなるため，ノイジーになりやすい．この欠点を克服するため，ダイ
ナミック PET スキャンのための新しいエッジ保存型平滑化フィルターによる画像復元法を開発した．既に 3D 医用画像のノイズ除去のためにブロックマッチング 4D フィルター（BM4D）が提案されている．そこで，ワンショットの BM4D を，連続的な画像をまとめて処理する BM5D に拡張した．ピーク信号対雑音比，構造化類似度を指標として，数値シミュレーションにより性能を評価した．加えて，臨床条件での被検者データ 1 例により画質を評価した．結論として，ダイナミック PET 画像のノイズ除去において BM5D は，BM4D，ガウシアンフィルターより，定量的・定性的に比較的高い性能を示した．

OP4-02μ CT を用いた改良版 Cycle-GAN による臨床用 CT 像の超解像処理○鄭高畠

通 1，小田博嗣 5，名取紘久 2，守谷 享泰 1，杉野博 6，森健策 1,7,8

貴明 1，中村彰太 3，小田昌弘 1，森雅樹 4，

1

名古屋大学大学院情報学研究科，2 名古屋大学大学院情報科学研究科，3 名古屋大学大学院医学系研究科，4 札幌厚生病院，
札幌南三条病院，6 恵和会西岡病院，7 国立情報学研究所医療ビッグデータ研究センター，8 名古屋大学情報連携統括
本部情報戦略室5This paper presents a novel super-resolution method with unpaired training dataset of clinical CT and micro CT volumes.
For obtaining very detailed information such as cancer invasion from pre-operative clinical CT volumes of lung cancer
patients, super-resolution of clinical CT volumes to μ CT-level is desired. While most super-resolution methods require paired
low- and high- resolution images for training, it is infeasible to obtain paired clinical CT and μ CT volumes. We propose
a novel training approach based on Cycle-GAN, which does not need paired clinical CT and μ CT volumes. Experimental
results demonstrated that our proposed method successfully performed super-resolution of clinical CT into μ CT-level.

OP4-03

視覚情報提示による頭部 PET 体動抑制手法の開発○鈴木

海斗 1，岩男

悠真 2，高橋美和子 2，山谷

1

泰賀 2,3

千葉大学 大学院融合理工学府， 2 国立研究開発法人量子科学技術研究開発機構
大学 フロンティア医工学センター

放射線医学総合研究所， 3 千葉

現在注目されている 頭部専用 PET 装置では，体動による取得画像の劣化を防ぐことが課題の一つとなっている．
従来手法として，バンド等を用いて物理的に被験者を拘束する手法や，画像再構成時に体動を補正する手法があげられる．
しかし，被験者への負担増や，既存の装置への組み込みが困難などの理由により多くの課題が残されているのが現状である．
そこで，本研究では非拘束かつ撮影システムに依存しない体動抑制法の開発を目的とした検討を行う．具体的には，Kinect を用いて被験者の体動を取得し，体動をリアルタイムに可視化することで被験者自らが体動を抑制できるシステムを開発した．
人間の頭部の体動の特性を分析し，認識が容易な体動の可視化手法についての検討を行うとともに，システムの有効性を複数の被験者を対象としたボランティア試験により検証した．結果として開発システムにより体動の標準偏差が 50.1% まで抑制できることを確認した．

54

53

OP4-04

静止型 SPECT システムを用いた心筋画像再構成○藤代1

鷹平 1，村田法政大学

一心 1，本村

信篤 2，尾川浩一 1

理工学研究科，2 キヤノンメディカルシステムズ

マルチピンホールコリメータを装着した SPECT システムは，検出器を回転させることなく多方向から検出器へ進入するガ
ンマ線の飛来方向を推定可能であり，静止型 SPECT システムとして使用できる．静止 SPECT システムを用いた心筋画像再構
成おける問題点は，データ収集角度が一定程度，限定されることと肝臓等の他の臓器による散乱線の影響などである．本研究では，静止型 SPECT におけるこれらの問題を検討するために，モンテカルロ法による光子輸送計算を用い，臨床に近い状態で収集された投影データを作成し，心筋画像の評価を行った．ファントムとしては MCAT ファントムを用い，3 検出器（11 ピンホール）のジオメトリを想定し，画像再構成には ML-EM 法を用いた．この結果，ピンホール投影データには散乱線が含まれるものの，適正な散乱線除去を実施することで，臨床上使用可能と思われる画像を得ることができた．

OP4-05

マルチ CNN による MRI 画像におけるノイズ低減○金子

幸生 1，野口

株式会社日立製作所

喜実 1，尾藤良孝 2，荻野2

昌宏 1

研究開発グループ， 株式会社日立製作所

ヘルスケアビジネスユニット

第1○横 山 陽一 1，山田 祥岳 1，名倉
荻原 直道 4，陣崎 雅弘 1
1
4

武雄 2，中原健裕 1，成田啓一 1，山田稔 1，南島一也 3，慶應義塾大学医学部放射線科学教室（診断），2 慶應義塾大学医学部整形外科学教室，3 慶應義塾大学病院放射線技術室，
慶應義塾大学理工学部機械工学科[Objective] The purpose of this study was to evaluate the performance of upright CT in a phantom study and the effectof gravity on large vessels and the pelvic floor. [Methods] We compared the physical characteristics in a phantom between
upright and supine CT. Asymptomatic volunteers underwent both CT examinations. The area of vena cava and aorta andthe changes of pelvic floor were evaluated. [Results] The performance of upright CT was comparable to that of supine CT.
In the upright position compared with the supine position, the area of SVC was significantly smaller, the area at the levelof the diaphragm was similar, and the area of IVC was significantly larger, while the areas of aortas were not significantly
different; the pelvic floor descended in the upright position. [Conclusion] Upright CT was comparable to supine CT in physicalcharacteristics and useful in clarifying the effect of gravity on human body.

OP4-07GAN を用いた人工股関節全置換術術後 CT 画像の金属アーチファクト低減○阪本1

充輝 1，日朝

祐太 1，大竹義人 1，高尾正樹 2，菅野伸彦 2，佐藤嘉伸 1

2

奈良先端科学技術大学院大学先端科学技術研究科， 大阪大学大学院医学研究科

人工股関節全置換術において，術後 CT 画像の解析は人工股関節設置位置や筋骨格形状の評価に重要な役割を果たす．しかし術後 CT 画像では，金属製のインプラントによって発生するアーチファクトが画像解析の精度を大幅に低下させる要因となる．
我々はこれまでに，術前 CT 画像とシミュレーション画像を用いて学習した CNN（Convolutional Neural Network）によるアー
チファクト低減を用いて，術後 CT 画像での筋肉セグメンテーション精度を向上させる手法を提案してきた．しかし，学習に用いたシミュレーション画像と実術後 CT 画像には乖離があり，それが実画像でのセグメンテーション誤差の原因であると考えている．そこで本研究では，GAN(Generative Adversarial Network) の一種である pix2pix の拡張によって，シミュレーショ
ン画像と術後 CT 画像からの変換結果の分布が近づくような画像変換の学習手法について検討した．

55

54

7

26

日）

全身撮影が可能な立位 CT の開発：ファントムスタディ、人体に対する重力の影響(月

OP4-063日

MRI（核磁気共鳴撮像装置）は，頭部をはじめ様々な部位の検査に用いられているが，撮像時間が長い点が課題である．近年，撮像時間の短縮に関する研究が進んでおり，画像再構成に対して畳み込みニューラルネットワーク（CNN）を適用する研究が注目されている．本研究では，MRI 撮像の高速化を目指して，少数の計測データから再構成された低画質画像に対するノイズ低減について検討を行った．MRI 装置を用いて通常撮像および撮像時間を 1/2 とした撮像実験を行い，撮像画像データから約90,000 枚の学習パッチを作成した．学習パッチに含まれる輝度情報の特徴を基にサブセットに分類し，各サブセットに対してネットワークを作成した．撮像時間 1/2 の画像を領域分割し，各領域ごとに最適なネットワークを選択し，画像を出力した．結果，単一 CNN の場合と比べ，本手法では PSNR が約 0.5 dB 向上し，ノイズ低減効果を確認した．

「画像解析 / モデリング」
座長： 本谷OP4-08

秀堅（名古屋工業大学）

複数の皮膚毛細血管に対する血流速度推定の自動化○塚本1

唯斗 1，瀧本

麦 2，中野和也 3，大西2

峻 3，羽石秀昭 3

3

千葉大学大学院融合理工学府， 花王株式会社， 千葉大学フロンティア医工学センター

皮膚毛細血管は，組織の健常性に関わる重要な血管系である．毛細血管のモニタリングにより組織状態の把握が可能となるが，このための定量評価手法は発展途上にある．当研究室では，皮膚毛細血管の定量評価に向け，撮影装置及び血流速度推定手法の開発を進めてきた．しかし，従来手法は血管内の局所的な画素値に着目したオプティカルフローに基づいた手法であるため，体動やノイズの影響を受けやすい問題があった．そこで本研究では，血管内全域の画素値を考慮することで，ノイズや血球動態にロバストな手法構築を行った．被験者 3 名の前腕部内側の皮膚毛細血管に対して提案手法を適用し，血流速度の推定を行った．提案手法による血流速度推定値の妥当性検証のため，手動追跡及び従来手法で推定した血流速度との比較を行った．その結果，従来手法と比較し推定誤差の低減を確認した．提案手法の有効性が示唆された．

OP4-09

TMS 検査のための脳 MRI 画像からの誘導電流強度の回帰とその推定誤差分散推定○牧
豊大 1，酒井本谷 秀堅 11

隆志 1，ラークソイルッカ 2，宇川義一 3，村上丈伸 3，横田達也 1，平田晃正 1，

名古屋工業大学，2 アールト大学，3 福島県立医科大学

TMS 検査において，脳内に誘発される電流強度を高速に高い精度で推定することは必須である．電流強度を推定するために
は VCM(Volume Conductor Modeling) を用いた電磁気学的な手法が用いられてきたが，推定に数時間必要で医療の現場では実用的ではない．そこで本研究は，DNN(Deep Neural Network) を用いる高速な電流強度回帰手法を開発した．さらに DNN で推定した電流強度の曖昧性を推定する手法も合わせて提案する．本研究では，頭部 MRI 画像と脳に磁場を与えるコイルの位置と姿勢からそのコイルによって誘発される誘導電流強度を，DNN を用いて回帰する．本研究では，DNN のアーキテクチャとして U-Net を採用する．DNN の推定の誤差を定量化するためにベイズアプローチを用いた手法を用いる．この手法では DNNの信頼度を各ボクセル単位で評価できる．曖昧性の分布から，DNN の推定の信頼度が脳溝とコイルの円の中心で悪くなることが発見できた．しかし医学的に重要なのは皮質であるため，提案法の有効性が確認できた．

OP4-10

開腹手術映像における遮蔽物除去システムの VR 化
○北坂1

孝幸 1，伊藤幹也 1，駒形

和哉 1，三澤一成 2，森健策 3

愛知工業大学情報科学部，2 愛知県がんセンター，3 名古屋大学情報連携統括本部

本稿では，開腹手術映像における遮蔽物除去システムの VR 化に関して報告する．

OP4-11

手術器具検出を用いた整形外科手術の工程認識における最適な Data Augmentation の検討○西尾1

祥一 1，ホセインベライアット 1，八木直美 1,2，新居学 1，平中崇文 3，小橋昌司 1

兵庫県立大学，2 姫路独協大学，3 高槻病院

整形外科手術は腹膣鏡手術や開腹手術と比較して手術工程及び使用する手術器具が多く，外科手術中に医療器具の受け渡しを行う看護師は大きな負担を強いられている．
私たちの以前の研究では人工膝関節置換術を対象とした整形外科手術における手術室看護師を支援するためのナビゲーションシステムを提案した．この研究では畳み込みニューラルネットワークを用いて手術画像全体に基づいた画像認識により手術工程の認識を試みたが，実用化に必要とされる精度には及ばなかった．
本研究では整形外科手術における手術工程の認識精度の改善を実現するために，手術映像から取得したフレーム毎に物体検出 (YOLO) を行い，器具のクラス情報と位置座標を検出する．スマートグラス ( 眼鏡型のデバイス ) を用いて記録した整形外科
手術映像は手術間で照明環境や撮影角度が大きく異なっており，それらの影響を低減させるための最適なデータの前処理法やデータ拡張法を検討する．

OP4-12

敵対的生成ネットワークによる MRI 脳画像の頭蓋骨除去の提案○藤山1

眞梧 1，茶山

祐亮 1，彌冨仁 1，大石健一 2

2

法政大学理工学研究科応用情報工学専攻， ジョンズホプキンス大学医学部放射線科

神経障害の診断のために MRI による撮影が日々行われ，MRI 画像は診断ならび研究に多く用いられている．MRI 画像を用いた研究において，特に自動診断支援，類似症例検索実現のためには MRI 画像から頭蓋骨，皮膚のような非脳組織を取り除
く skull-stripping と呼ばれる処理が必要不可欠である．しかし既存の skull-stripping 手法は処理時間，除去精度において問題が存在する．本研究は高速かつ正確な skull-stripping を実現する adversarial generative skull-stripping (AGSS) 法を提案する．
AGSS は，deep learning 分野において近年多くの成果を挙げている generative adversarial networks (GANs) を応用し，限られた数の脳抽出データの学習を元に，優れた skull-stripping 画像を生成する．

5655

OP4-13

深層学習を用いた腹腔鏡手術動画像の出血領域自動セグメンテーション○山 本 翔太 1，小田森
健策 1,4,5

紘久 1，林雄一郎 1，北坂

孝幸 2，小田昌宏 1，伊藤雅昭 3，竹下修由 3，

1
名古屋大学大学院情報学研究科，2 愛知工業大学情報科学部，3 国立がん研究センター東病院，4 名古屋大学情報基盤センター，5 国立情報学研究所医療ビッグデータ研究センター

本稿では，腹腔鏡手術動画像に対して，深層学習を用い出血領域のセグメンテーションを自動的に行う手法について検討する．
出血領域のセグメンテーション結果は，内視鏡手術の安全性を高める研究において利用価値が高い．しかし，手術映像中における出血領域を手動でセグメンテーションするのは困難であるため，効率的にセグメンテーションを行う手法が求められている．本研究では，深層学習を用いた出血領域の自動セグメンテーションを行う．出血領域は画像全体に対して小領域であるため，出血領域を含む局所領域を切り出したデータで学習したモデル（局所モデル）と，広範囲を切り出したデータで学習したモデル（広域モデル）を用意し，広域モデルの推定結果に局所モデルの推定結果を統合することでセグメンテーション結果を得る．
実験により，腹腔鏡動画像における微小な出血領域の自動抽出には，局所領域に着目することが有効であるという知見が得られた．

OP4-14

血管仮想操作のための脳血管描画方法の検討
○田中

康太，篠原

寿広，中迫

昇

近畿大学大学院生物理工学研究科

現代の日本人の主な死因の１つに脳血管疾患がある．脳血管構造は複雑であるため 3 次元で可視化する際に死角ができ，手前の血管に隠れる血管は観察しにくい．そこで，著者らは ，脳血管をより直感的に観察できるようにすることを目的に，注目する血管を隠す血管を仮想的に操作し，注目する血管を観察できるようにする血管仮想操作を提案している．本稿では，血管仮想操作を実現するための脳血管描画方法を提案する．具体的には，はじめに Computed Tomography Angiography (CTA) 画
像から抽出した脳血管をサーフェイスレンダリング法で描画する．つぎに，注目血管を隠す血管に対し，同じ CTA 画像から推定した血管の心線データ，すなわち，血管の心線位置情報，半径情報を用いて，チューブ状の簡易血管描画に切り替え，心線デー
タを操作することによって，血管の仮想操作を実現する．実際の CTA 画像から抽出された脳血管および推定した血管の心線デー
タを用いて，本描画手法の有効性の一端を確認した．

OP4-15

転移学習を用いた腹部 thick-slice CT 像における多臓器領域の自動抽出の初期検討○申1

忱 1，ロスホルガー 1，林雄一郎 1，小田2

紘久 1，小田昌宏 1，三澤一成 2，森健策 1,33

名古屋大学大学院情報学研究科， 愛知県がんセンター中央病院， 国立情報学研究所医療ビッグデータ研究センター

本稿では，転移学習を用いた腹部 thick-slice CT 像における多臓器領域の自動抽出に関して検討する．臓器領域の自動抽出は
医用画像処理において重要な役割を果たしている．近年，スライス厚が 0.5mm 程度の thin-slice CT 像を用いた臓器領域の自動抽出が多く行われているが，スライス厚が 5mm 程度の thick-slice CT 像も医用現場において多く利用されている．そのため，スライス厚が厚い CT 像においても臓器領域の自動抽出ができれば有用である．しかし，CT 像の体軸方向の解像度が低いため，
従来の 3 次元 fully convolutional networks (FCNs) を用いた thick-slice CT 像における臓器領域の自動抽出手法をそのまま適用することは困難である．本研究では，thin-slice CT 像の学習済みモデルを用いて転移学習を行うことにより，thick-slice CT 像
における腹部多臓器の自動抽出を行う．実験により，thick-slice CT 像からも腹部多臓器を抽出することが可能であることを確認した．

OP4-16

歯科的個人識別のための Relation Networks for Object Detection を用いた歯科用 Cone-beam
CT における歯牙の検出○沓 名 将太 1，村松千左子 2，林勝又 明敏 4，有地榮一郎 5，藤田1
3

達郎 3，周広志 2

向栄 2，西山航 4，有地淑子 5，原武史 2，

岐阜大学大学院自然科学技術研究科知能理工学専攻知能情報学領域，2 岐阜大学工学部電気電子・情報工学科情報コース，
メディア株式会社，4 朝日大学歯学部口腔病態医療学講座放射線学分野，5 愛知学院大学歯学部歯科放射線学講座

地震や津波などの大災害時には，多数の身元不明の遺体が生じる．その身元確認のために歯科情報が用いられることがあり，歯科的個人識別と呼ぶ．歯科的個人識別にはデンタルチャートと呼ばれる用紙に遺体の口腔内の所見を記録する必要があ
るが，一般の歯科医師も記録に協力する際，遺体を対象とした記録の経験に乏しいため，記録ミスや精神的負担が危惧される．
そのため X 線写真から自動的にデンタルチャートの作成に必要な情報を取得する手法の開発が望まれている．本研究では，歯科用 Cone- beam CT を対象とし，情報の取得の前段階として画像上の歯牙領域を検出する．検出ネットワークとして Relation
Networks for Object Detection を使用する．オブジェクト同士の関係性を学習できるとされ，歯列の順序が歯種を判別する際の大きな要素であるため，本研究に有効であると考えられる．ひとつの症例に対し，CT スライスにおける検出ネットワークからの検出結果を統合することにより検出率の向上を図る．

57

56

「CAD/ 臨床応用」
座長： 畑中OP4-17裕司（滋賀県立大学）

時間－周波数解析と CNN を用いた呼吸音の自動分類手法の開発○南1

弘毅 1，陸慧敏 1，金亨燮 1，間普真吾 2，平野

靖 2，木戸尚治 22九州工業大学， 山口大学

呼吸器疾患の診断方法として，聴診器を用いた呼吸音の聴診が簡便で安全な診断方法として長年用いられてきた．一方，聴診音の診断には定量的な評価基準がないため，医師の診断支援を行うシステムの開発が必要である．そこで本論文では，畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を用いた呼吸音の自動分類手法の提案を行う．主な手法の流れとしては，呼吸音データに対して短時間フーリエ変換と連続ウェーブレット変換を適用し，スペクトログラム画像およびスカログラム画像を生成する．その後，生成した画像を用いて CNN による正常呼吸音，連続性ラ音，断続性ラ音の識別を行う．提案手法を呼吸音データ 22 症例に適用した結果，Accuracy=79.44[%]，AUC=0.942 を得た．

OP4-18HE 染色標本画像と診断テキストデータを併用する免疫染色パターン推定○橋本1

典明 1，横田達也 1，中黒匡人 2，高野2

桂 2，中村3

栄男 2，竹内一郎 1,3,4，本谷

秀堅 1

4

名古屋工業大学， 名古屋大学医学部附属病院， 理化学研究所， 物質・材料研究機構

悪性リンパ腫は血液細胞に由来するがんで，白血球の 1 種であるリンパ球ががん化した病気である．これらの病気は多くのサブタイプに細分され，病理診断ではヘマトキシリン・エオジン (HE) 染色標本を観察したのち複数の免疫染色標本を観察することで最終的な病名の決定が行われる．病理画像解析技術を用いた悪性リンパ腫の診断支援応用として HE 染色標本画像からのサブタイプ分類などが考えられるが，実際の診断においてもサブタイプ分類には複数の免疫染色の施行が必要であることから，HE 染色標本画像からの病名の同定は困難であることが予想される．本研究では，病理診断テキストデータが持つ免疫染色情報を解析し，HE 染色画像と組合わせることにより，各症例の HE 染色標本画像に対するサブタイプの候補群を推定し，病気を一意に決定するための免疫染色の組み合わせを求める手法を提案する．

OP4-19舌の表面特徴に基づく機械学習を用いた舌苔分布推定手法の検討○吉 村 裕 一 郎 1， 太 田
中口 俊哉 1
1
5

雄 大 2，Bochko Vladmir3，Falt Pauli4，Hauta-Kasari Markku3， 並 木隆 雄 5，

千葉大学フロンティア医工学センター，2 千葉大学大学院融合理工学府，3 ヴァーサ大学，4 東フィンランド大学，
千葉大学医学部和漢診療科

近年コンピュータ支援による定量的な舌診断に関する研究が進められている．舌診は漢方の診断法の一種であり，舌の色彩，
形状，湿潤，舌苔の状態等から患者の体調を診断するが，計測の難しさから舌苔を解析する研究は少ない．そこで，本研究では RGB 画像からの機械学習を用いた舌苔推定を試みた．具体的には，舌苔に関する指標である舌苔の物理量と被覆領域を推定した．教師データとしては，先行研究で舌苔計測における有効性が示された，蛍光撮影画像を用いる．回帰型学習器を用いて蛍光量を推定し，蛍光量と物理量との関係式から物理量を推定した．また被覆領域推定においては，分類型学習器を用いて蛍光撮影画像から小領域単位で被覆有無のラベルを作成した．実験では学習器として Random Forest と深層学習を用いて性能を比較評価した．13 名の舌画像から 2725 サンプルを抽出し交差検証を行った結果，通常撮影された RGB 画像からの舌苔推定の有効性が示唆された．

OP4-20肺がん体幹部定位放射線治療における３次元計画 CT 画像上の肉眼的腫瘍体積の Dense V-net
自動抽出法
○中野
1

里彩 1，有村秀孝 2，Mohammad Haekal3，大賀

才路 4

2

九州大学大学院医学系学府保健学専攻， 九州大学大学院医学研究院保健学部門，3Department of Physics, Faculty ofMathematics and Natural Sciences, Institut Teknologi Bandung，4 九州大学大学院医学研究院臨床放射線科学

Automated segmentation of gross tumor volumes (GTVs) are demanded to reduce intra- and inter-observer variabilities in
GTV contours, which affect to treatment dose distributions. Hence, we attempted to develop an automated approach using a
dense V-Net deep learning, which can segment small structures.
Datasets of 3D planning CT images and GTV contours for 194 lung cancer cases determined by radiation oncologists were
fed into the dense V-Net as input and teacher data, respectively.
The proposed approach achieved an average Dice’s similarity coefficient (DSC) of 0.792. The average DSCs for solid andpart solid GGO types were 0.807 and 0.782, respectively.
The proposed approach could be useful to delineate the various types of GTVs in treatment planning.

58

57

OP4-21半教師あり学習を用いた根拠提示可能なメラノーマ識別
○村林

誠也，彌冨

仁

法政大学大学院理工学研究科

診断が難しい悪性度の高い皮膚がんであるメラノーマ（悪性黒色腫）の早期発見と高精度な診断実現のため，画像認識による自動診断手法の開発が行われている．近年の深層学習を用いた手法は，複雑な特徴量抽出・設計を伴うことなく専門医に匹敵する高い識別精度を実現しているが，識別根拠を提示できず信頼性の面で改善の余地が残されていた．我々はこれまでメラ
ノーマ自動診断における識別根拠の提示について一連の検討を行い一定の成果を実現したが，臨床現場で利用される指標に基づく可読性の高い教師データは作成を医師に依頼する必要からコストが高く，それに起因する予測器の過学習，精度面での改善の必要性が残されていた．そこで本研究では，診断指標予測の精度向上を目的として，深層学習技術をベースに非ラベルデー
タの知識移転・共有による改良を検討した．また，システム注目領域の推定により得られた視覚的表示との整合性についても比較，評価した．

OP4-22

転移性肝がん検出のための Conditional GAN による学習画像生成○池田1

裕亮 1，道満恵介 1，目加田慶人 1，縄野繁2

2

中京大学 大学院工学研究科， 国際医療福祉大学三田病院

現在，肝がんの読影は医師の目視で行われている．医師の負担を軽減するために機械学習による読影支援が望まれているが学習のために必要な多様な症例画像を収集することは困難である．そのため，健常症例に病変を埋め込む症例画像生成が行われている．従来研究である DCGAN を用いた人工病変画像生成手法では特徴が異なる病変の画像を混ぜて学習に使用した．そのため異なる特徴が混ざった不自然な病変画像を生成してしまう問題があった．
本研究では辺縁部の病変画像と非辺縁部の病変画像のラベルを付与した学習データを用いた Conditional GAN による画像生成法を提案する．生成した病変画像を CNN で構築した肝がん検出器の学習に用い，学習に使用していない 20 症例を適用した．
実験の結果，従来手法より検出精度が向上し本手法の有効性を確認した．

OP4-23

Deep CNN における分類器のアテンションメカニズムを利用した CT 画像からの乳腺領域の自動
抽出法
○山岸
1

誠也 1，周向栄 1，原武史 1，加賀徹郎 2，加藤博基 2，松尾

政之 2，藤田広志 1

岐阜大学大学院自然科学技術研究科知能理工学専攻，2 岐阜大学医学部附属病院放射線科

本研究の目的は，様々な検査の目的で撮影された体幹部 CT 画像から乳腺領域を抽出し，空間的な分布を把握することである．
深層学習で構築した乳腺領域のカテゴリ分類器の Attention Map を利用して，乳腺領域の自動抽出を行う．分類器の学習とテストには，それぞれ 80 症例と 16 症例を利用する．3 次元 CT 画像から切り出した乳房領域において，乳頭方向を回転軸とする断面画像を１度ごとに生成する．Attention Map は学習用の 80 症例に基づいて作成される．角度ごとに定められた Attention
Map を 2 次元で作成し，Attention Map 上で画素値が 122 以上の領域を乳腺領域の抽出結果とする．Attention Map による抽出結果と手動で作成した乳腺領域の 16 症例から求めた平均 Dice 値は 49.6% であった．Dice 値の低い症例は乳腺領域が散在していることを確認した．Attention Map は乳腺領域の空間的な分布を特定できると考えられるため，乳腺領域の確率アトラスの作成に利用できる可能性がある．

OP4-24

Automated approach for estimation of sizes of lung cancer on planning CT images using deeplearning with non-negative matrix factorization○ Ma Zhuangfei1，Arimura Hidetaka2，Nakano Risa1，Yoshitake Tadamasa2，Shioyama Yoshiyuki2
1

Department of Health Sciences, Graduate School of Medical Sciences, Kyushu University, Fukuoka, Japan，2Facultyof Medical Sciences, Kyushu University, Fukuoka, Japan

Assessment of the change in tumor volume is a substantial factor in the clinical evaluation of cancer treatment. However, it
is tedious and difficult for medical doctors to manually measure lung tumor longest diameters ( ≥ 10mm) in three-dimensional
computed tomography (CT) images, and evaluate tumor responses such as complete response and progressive disease. We
have developed an automated approach to estimate lung cancer sizes on planning CT images using a deep learning with
non-negative matrix factorization (NMF). The longest, middle and shortest diameters of lung cancer were estimated by thelargest, middle and smallest standard deviations in the coefficient matrices in NMF, respectively. The errors of estimatedlung cancer sizes in the longest, middle and shortest diameters were 17.53%, 21.14% and 20.58%. The NMF would have apotential for estimating the longest diameters in the lung cancer sizes.

59

58

第3日

7 月 26 日（金）メイン会場（レセプションホール１）

ミニシンポジウム２
MS2「生命機能イメージングの革新：今後の課題と展望」

10:40 〜 11:30

座長： 清末優子（理化学研究所）

末次 志郎（奈良先端科学技術大学院大学）
近年，生命科学研究における各種イメージング技術が革新的に進歩し，得られるデータの質と量が飛躍的に向上した．これに伴い，生命科学の異なる分野において共通して，データを解析する手段の刷新を迫られている．この課題を解決するために，JST CREST 情報計測領域に参画し，ディープラーニングをはじめとする最近の情報学の手法を導入することで分子や細胞の機能をデータから読み解く技術の開発を目指している 3 チームの研究を紹介する．生体分子内部の構造をとらえるクライオ電子顕微鏡法，分子の 3 次元構造の経時変化をとらえる高速原子間力顕微鏡 ( 高速 AFM)，及び，生体内で活動する細胞の 3 次元動態を高時空間分解能でとらえる格子光シート顕微鏡まで，幅広いスケールにまたがる生命機能イメージング技術について議論する．

MS2-1

イントロ：JST CREST 情報計測領域について○清末優子

理化学研究所MS2-2

クライオ電子顕微鏡法による生体分子の構造解析
○光岡

薫

大阪大学

最近，クライオ電子顕微鏡法による生体高分子やその複合体の構造解析の分解能が著しく向上し，X 線結晶構造解析や NMRと並んで，原子モデルを決定できる構造解析法の１つとして利用が進んでいる．その単粒子クライオ電子顕微鏡法について，
実際の解析例を含めて簡単に紹介する．さらに，同様の高分解能構造解析を細胞内にある生体高分子に応用することができる
クライオ電子線トモグラフィー法とサブトモグラム平均化についても述べる．

MS2-3高速原子間力顕微鏡による生体分子イメージングと機械学習・データ同化
○高田

彰二

京都大学

高速原子間力顕微鏡 ( 高速 AFM) は，わが国で開発され，単一のタンパク質や DNA 分子の 3 次元構造の経時変化を観察できる唯一の計測技術です．中程度の分解能をもつ高速 AFM 計測から高精度情報を得るために情報科学との融合研究が必要です．
我々は，データ同化と分子シミュレーション法によって，高速 AFM 計測からの生体分子の高精度 4 次元構造解析法を開発しています．本講演では，機械学習による AFM 画像からの超解像度化，データ同化による高速 AFM 計測と分子シミュレーショ
ンの融合の取り組みを紹介します．

MS2-4

細胞活動の高精度 3D 計測と画像情報解析の次世代化に向けて○清末優子

理化学研究所

我々が運用する「格子光シート顕微鏡」は，2014 年に初めて発表された高解像型ライトシート顕微鏡で，三次元的な細胞活動をかつてない時空間分解能で計測することができる．本技術により得られる細胞情報が質的にも量的にも劇的に向上したが，従来の技術のみでは解析が不可能となり，情報科学との高度融合によって画像とデータの解析手法を次世代化する必要が生じた．本講演では格子光シート顕微鏡の実際と，情報科学との融合における我々の取り組みを紹介する．

60

59

ランチョンセミナー
LS「DGX-2 によって加速されるメディカル AI 開発のための

11:50 〜 12:40

データ構造化プラットフォーム」
座長： 中田LS

典生（東京慈恵会医科大学）

DGX-2 によって加速されるメディカル AI 開発のためのデータ構造化プラットフォーム○小林和馬

国立研究開発法人国立がん研究センター研究所

がん分子修飾制御学分野

人工知能技術を用いた臨床支援システムを確立することは，個別化された医療に寄与するのみならず，高齢化で逼迫する医療の持続可能性からも急務である．国立がんセンター中央病院・研究所におけるプロジェクトでは，臨床データを構造化するためのプラットフォームを構築すると共に，メディカル AI 開発を加速するための NVIDIA DGX-2 を本邦の医療機関として先駆けて導入した．その最新の成果について紹介する．

特別講演２
SL2「ネオコグニトロンと畳み込みニューラルネットワーク」

13:00 〜 13:50

座長： 尾川SL2

浩一（法政大学／ JAMIT 学会長）

ネオコグニトロンと畳み込みニューラルネットワーク○福島邦彦

ファジィシステム研究所 特別研究員

高いパターン認識能力を学習によって獲得することができる手法として，深層学習（deep learning）や CNN（convolutional
neural network）が最近注目を集めている．福島が 1979 年に発表したネオコグニトロンもそのような階層型多層神経回路の一種で，文字認識をはじめとする視覚パターン認識に高い能力を発揮する．ネオコグニトロンの歴史は古いが，現在に至るまで種々の改良が加えられ発展を続けている．現在広く用いられている deep CNN との相違点に重点を置きながら，最近のネオコグニ
トロンを紹介する．
ネオコグニトロンの考え方を更に発展させた種々のシステム，例えば，部分的に遮蔽されたパターンを認識する神経回路なども開発されている．top-down 型の信号の流れを導入した選択的注意のモデルでは，複数のパターンに順番に注意を向けながら，パターンを切り出し認識することができる．

61

60

第3日

7 月 26 日（金）前半（口演）：メイン会場（レセプションホール１）
後半：ポスター会場（会議室３・４）

一般演題セッション５
13:50 〜 15:20

OP5「イメージング / 画質改善」
座長： 菅

OP5-01

幹生（千葉大学）

非ランダム間引き収集による MR 圧縮センシングの深層学習再構成
○佐藤

佑紀，伊藤

聡志

宇都宮大学 大学院地域創生科学研究科 工農総合科学専攻

MRI は撮像高速化が課題であり，近年では圧縮センシング (Compressed Sensing : CS) を用いた高速撮像が利用され始めている．CS はサンプリングのランダム性による画質変動，反復処理に伴う計算時間の大きさなどの課題がある．ランダム性による画質変動という課題に対し我々は，CS における画質変動を抑制する方法として信号収集を規則的に行う非ランダムサンプリングの検討を行ってきた．
本研究では再構成の高速化と再構成像の高品質化を目的とし，非ランダムサンプリングによる CS 再構成に畳み込みニュー
ラルネットワークを利用する方法について検討を行った．その結果，信号間引きによるアーティファクトをほぼ除去したランダム間引きに匹敵する良好な再生像を得ることができた．本研究により深層学習の利用によって圧縮センシングの間引き法に関して新たな可能性が示された．

OP5-02

CT 画像再構成におけるメタルアーティファクト除去の新手法
○千北

一期，工藤

博幸，森

和希，金

鎔采

筑波大学大学院 システム情報工学研究科

CT 画像再構成における未解決問題としてメタルアーティファクトの除去がある．通常のメタルアーティファクトの除去は，まず予備的な画像再構成を⾏い吸収率が⼤きい⾦属部分を同定して ( 第 1 ステップ )，⾦属部位を通過する投影データを補間で埋めて画像再構成を⾏う ( 第 2 ステップ ) ⼆段階法が商⽤ CT 装置では実⽤されている．本研究では全く新しい上記の 1，2 ステップを統合した新⼿法を提案する．提案⼿法は Kudo らが提案いたフォルトトレラント画像再構成法 (SPIE,
Optics+Photonics, 2016) に基づいている．⾦属部位を通過する投影データをビームハードニングや過度な Poisson 雑⾳の影響を受けた異常データとして捉え，異常データの除外に有効な L1 ノルムを評価関数として画像再構成を⾏う．通常の CT 画像
再構成では，評価関数として最⼩ 2 乗誤差が使⽤されるが，最⼩ 2 乗誤差は異常データに敏感で⾦属部位の影響を受けやすく
ストリークアーティファクトが強く発⽣する．そこで，L1 ノルム誤差を評価関数に使⽤して⾦属通過する異常投影データの場所を同定してデータフィッティングから除外する．更に，除外した投影データの情報をうまく埋める効果 ( 従来⼿法の補間に相当 ) を持たせるためのトータルバリエーション (TV) を正則化項として加えた式を最終的な評価関数として画像再構成を⾏う．
このように，単⼀の最⼩化問題を解くだけで従来⼿法の⼆段階を⼀つのステップに統合できる点がキーである．評価関数の最⼩化⼿法としては，上記の評価関数を数学的に厳密に最⼩化でき更に収束速度が早い Row-Action 型の近接スプリッティングに基づく反復⼿法を構築して使⽤した．⻭科⽤ CT 実画像と腹部 CT 実画像を⽤いたシミュレーション実験を⾏った結果 ( ビー
ムハードニングと Poisson 雑⾳を考慮して計測過程を正しくシミュレーションしたデータを使⽤ )，本⼿法は従来のメタルアー
ティファクト除去⼿法に匹敵する ( またはそれ以上の ) 性能を有することが⽰され，メタルアーティファクト問題に対する新しい⽅向性の枠組みであると考える．

62

61

OP5-03

2D U-Net の畳み込みネットワークを用いた隣接スライスからの CT 画像再構成
淑ケイ 1，中尾○武
1

恵 1，今西勁峰 2，中村

光宏 3，松田哲也 1

京都大学情報学研究科，2 イーグロース株式会社，3 京都大学大学院医学研究科

Usually, Computed Tomography (CT) image reconstruction refers to a process of creating tomographic images from X-ray
projection at various directions. To reduce the radiation dose, many algorithms were proposed to improve the reconstruction
process. Generally, they can be divided into two categories: analytical and iterative approaches. Analytical methods are
difficult to achieve high accuracy, whereas iterative algorithms suffer from high computation cost. To solve the problem,
we apply 2D U-Net convolutional networks to the CT image reconstruction. In contrast to the conventional methods, theproposed approach realizes the reconstruction from the already created CT slices, not the X-ray projection. Using the U-Net,
we can create a new middle slice between two adjacent CT slices. This means that we can decrease the number of CT slices
to reduce the radiation. We compared the proposed algorithm with interpolation method. Experiment results show that the
U-Net based reconstruction totally outperforms the linear interpolation.

OP5-04

TV 正則化と辞書学習を用いた OS-EM 法における PET 画像再構成
○奥村

直裕，庄野

逸

電気通信大学情報理工学研究科

陽電子放射撮影 (Positron Emission Tomography:PET) スキャンは，癌の発見などの病理診断で重要な役割を果たす．PET
スキャンでは，トレーサと呼ばれる陽電子を放射する放射性物質を患者に注入し，サイノグラムと呼ばれる観測データが得る．
PET 画像は，このサイノグラムから元の空間でのトレーサ濃度を再構成することで得られる．鮮明な PET 画像を得るためには，
S/N 比をあげる必要があるが，被曝量を増加させないことも重要であり，適切なノイズ除去手段の開発は重要である．本研究ではこの問題に対して，2 つのノイズ除去手法を組み合わせた手法を適用した．一つは，サイノグラム表現に対するノイズ除去で，
ここでは辞書学習を用いた手法を適用した．もう一つは，実画像表現に対するノイズ除去で，これには正則化アプローチに基づいた手法を適用した．このような 2 種類のノイズ除去手法を組合わせたアプローチは，従来手法と比較して有効であることがわかった．

OP5-05

拡散尖度撮像法のパラメタ推定のための生成型 Q 空間学習における最適雑音量の自動決定に向けて○内濱良介，河野智奈美，佐々木

公，増谷

佳孝

広島市立大学

我々は，深層ニューラルネットワークの学習に合成データのみを用いる生成型 Q 空間学習による拡散 MRI パラメタ推定の研究を行っている．これまでに学習用の合成データと推定対象のデータの雑音量が同等の場合，最も頑健な推定が可能である
ことが実験により示唆されているが，実画像の雑音量を測定することは容易ではない．そこで本研究では，拡散尖度撮像法 (DKI)のパラメタ推定を例として，与えられた実画像に対して最適な雑音量の学習データを決定するための方法を検討した．具体的には，学習用の合成データおよび DKI の実画像について，それぞれ様々な雑音量のものを用いて以下の実験を行った．まず，実画像の生体領域と空気領域の領域分割の後，両者の信号値の統計により雑音量の推定を試みた．また，推定結果の統計について最小二乗法との比較を行った．これらの結果より，与えられた実画像に対する最適な学習データ決定の可能性が示唆された．

OP5-06カラー腹腔鏡画像診断のためのコントラスト強調と SRCNN 超解像処理の最適条件に関する考察○河畑1

則文 1，中口俊哉 2

東京理科大学理工学部，2 千葉大学フロンティア医工学センター

医用画像診断におけるコントラスト処理は，各部位の領域を強調させ，異常が無いかを分類・認識することを目的としている．これらの処理の多くは，コントラスト強調に加えて，超解像処理を用いて画像解像度を上げてから分類・認識することで精度が上がるとされる．一方で，医用画像分野における深層学習の普及により，超解像処理においても精度が上がってきたが，多種多様なパラメータが存在し，それらの調整によっては十分な性能が発揮されるとは限らないことがある．そのため，どのパラメータをどのように調整すればよいかを実験により検証し，実用化する必要がある．そこで，本研究では，カラー腹腔鏡
画像のコントラスト強調と超解像処理の関係について，超解像に特化した深層畳み込みニューラルネットワークである SRCNNに基づいた waifu2x-caffe (UpResNet10) で実験を行い，最終的に PSNR を測定し，どの程度，精度よく画像が生成できているのかを検証した．

63

62

「画像解析 / モデリング」
座長： 滝沢OP5-07穂高（筑波大学）

動作計測による顔の粘弾性シミュレーション○黒田嘉宏 1，加藤弘樹 1，⾕川1

千尋 2,3，吉元

俊輔 1，大城2

理 1，⾼⽥健治 2,43

大阪大学 大学院基礎工学研究科， 大阪大学 国際医工情報センター， 大阪大学 大学院歯学研究科，4 シンガポール
国立大学

顔の動きは感情を身体的に表出することから，コミュニケーションにおいて重要な役割を担う．生体組織のもつ粘弾性的な性質は年齢や傷によって変化し，動きに大きく影響する．しかし，従来は顔の動きの表現に着目した医療支援システムは少ない．
本研究では，加齢や手術による顔の運動様態の変化を表現することを目的として，顔の粘弾性特性の計測を行うとともに粘弾性モデルに基づく顔の変形シミュレーションを再現するシステムを構築した．実際に計測した運動を元に，顔の運動する様子
を計算して表現することを可能とする．発表では，本研究における粘弾性モデルおよびシミュレーション結果について報告する．

OP5-08対称性解析に基づく 3 次元データから顔の対称面検出○細木1

大祐 1，陸慧敏 1，金亨燮 1，木村菜美子 2，大河内孝子 2，野添悦郎 2，中村典史 22

九州工業大学， 鹿児島大学

口唇裂とは，胎児の顔面が癒合する過程において唇が完全に形成されない場合に生じる先天異常で，日本においては約 500
人に 1 人の割合で発生する．左右対称な外鼻を形成することを目的として治療が行われているが，医師の主観に依存した判断基準に基づいているため，手術部位の対称度合を定量的に判断する必要がある．本論文では，手術部位の対称性を解析するための顔の対称基準となる基準面を検出する手法を提案する．提案法では被験者の顔を撮影した 3 次元点群データに対し，顔器官を点として検出したのち，口唇裂による形状変化の影響が顕著とされる上唇から鼻尖点までの領域を除外した鏡像反転点群との位置合わせを行う．次に，元の点群内の 1 点と鏡像反転像内の対応点の間を垂直 2 等分する平面を求めることにより対称基準面を設定する．提案法を実 3 次元点群データに適用した結果，良好な精度で対象基準面を検出することができた．

OP5-09放射光 CT を用いた肺 3 次元ミクロ血管解析○島 谷 崚平 1，斉藤くるみ 1，泓田 彰汰 1，河田
中野 恭幸 5，岡本 俊宏 6，伊藤 春海 7

佳樹 2，仁木登 2，梅谷啓二 3，阪井宏彰 4，1

徳島大学大学院先端技術科学教育部システム創生工学専攻，2 徳島大学大学院社会産業理工学研究部，3( 財 ) 高輝
度光科学研究センター，4 兵庫県立尼崎総合医療センター，5 滋賀医科大学，6Cleveland Clinic Heart and Vascular
Institute，7 福井大学 高エネルギー医学研究センター

次世代の画像診断に向けてミクロ形態を観察して疾患の極初期段階を診断することは極めて重要な課題である．特に，肺の正常形態，極早期の疾患病態のミクロレベルでの画像化とその定量的解析の実現は，未知分野である肺ミクロ形態の画像診断学を拓き，次世代の胸部画像診断への貢献が期待できる．従来，末梢肺野構造をより正確に理解するために，肺小葉の解剖とそれに基づいた病態解析が行われてきた．しかし，一断面の画像で解析を行っているため立体構造の把握が困難であるとされている．本研究では，高輝度放射光 CT で撮影しその画像から気管支系，血管系の微細構造を 3 次元的に可視化し解析をする .

OP5-10CT 画像と顎運動情報を用いた VR 咬合器の開発
○伊藤

崇弘，重本

修伺，伊藤

光彦，木原

琢也，井川

知子，重田

優子，小川

匠

鶴見大学歯学部クラウンブリッジ補綴学講座

歯科臨床においては，咬合および咀嚼機能を正しく検査，診断することは非常に重要である．
これらは顎口腔系の一部の形態と機能を単純化して再現する咬合器を用いて評価されることが一般的である．しかし咬合器
は患者の形態や，顎運動を直線近似的に表現するもので，全ての患者情報を再現するものではない．そこで我々は，患者個々の形態と機能をより正確に再現できる VR 咬合器（Virtural Reality Articulator）の開発を進めている．VR 咬合器は CT 画像
から得られる形態情報と，顎運動測定により得られる機能情報を同一座標系にて統合することで，従来は観察する手段のなかった患者の実際の顎口腔系の形態と機能を仮想空間上で可視化することができる．
今回，VR 咬合器を用いて顎変形性関節症症例の術前術中の顎位の妥当性や機能評価に応用した結果，高い有用性が認められたので報告する．

64

63

OP5-11グラフ畳み込みニューラルネットワークを用いた腹部動脈血管名自動命名の初期検討○日比1
5

裕太 1，林雄一郎 1，北坂

孝幸 2，伊東隼人 1，小田昌宏 1，三澤一成 3，森健策 1,4,5

名古屋大学大学院情報学研究科，2 愛知工業大学情報科学部，3 愛知県がんセンター，4 名古屋大学情報基盤センター，
国立情報学研究所 医療ビッグデータ研究センター

本稿では，3 次元腹部 CT 像から抽出された腹部動脈領域に対してグラフ畳み込みニューラルネットワークを用いた血管名自動命名についての検討を行ったので報告する．血管は構造が複雑で個人差が大きいため，その構造の把握は困難である．血管名を自動命名することにより医師が外科手術の際に患者の血管構造を把握する助けとなり，医師の負担を軽減することができる．そのため，これまで腹部動脈領域に対して機械学習を用いた血管名自動命名を行う手法がいくつか提案されてきた．また，
近年ではグラフ構造に対する機械学習が盛んに行われており，その有用性が示されている．そこで本稿では，血管構造をグラフ構造と捉え，血管が持つ太さや長さ，腹部臓器との位置関係などを特徴量としてグラフ畳み込みニューラルネットワークを用いた機械学習による血管名自動命名について検討した．実験の結果，平均 85.3% の精度で命名することができた．

OP5-12Btrfly 型 CAE を用いた骨シンチグラムにおける骨格認識処理の改良
ゆり 1，斉藤○星野

篤 1，大﨑1

洋充 2，吉田2

敦史 3，東山

東京農工大学 大学院 工学研究院， 群馬県立県民健康科学大学
医学部附属病院核医学科

滋明 3，河邉大学院

讓治 3，清水昭伸 1

3

診療放射線学研究科， 大阪市立大学

骨シンチグラム上の骨格認識処理は，骨の SN 比が低いこと，高濃度の異常集積により濃度値が正常と大きく異なる場合が良くあること，骨の大きさや形状の個人差が大きいなどの問題により，しばしば処理に失敗する．本報告では，Btrfly 型のConvolutional AutoEncoder (CAE) を用いた骨格認識処理の改良について報告する．提案手法では，従来の手法により認識された前後面の骨格ラベルと確率マップの画像を入力とし，正解ラベルを教師ラベルとして Btrfly 型の CAE の学習を行う．この学
習済みネットワークに未知症例に対する従来の骨格認識ラベル（前後面）を入力することで，ラベルに含まれる誤りを訂正する．
本稿では，提案手法を実際の 246 症例に対する従来手法による骨格認識ラベルに適用し，性能を評価した結果について報告する．
評価値には正解ラベルと改良された認識結果の間の Dice score に加え，正解ラベルと認識結果の連結成分数や穴の数の差を用いることで，提案手法の有効性や限界について議論する．

OP5-13

Mask R-CNN を用いた小児胸部 X 線画像における肺領域の自動抽出○魚 住 春日 1，松原
藤田 広志 4

尚輝 1，寺本

篤司 1，大森あゆみ 2，本元

強 2，河野達夫 3，斎藤邦明 1，

1

藤田医科大学大学院 保健学研究科，2 茨城県立こども病院，3 東京都立小児総合医療センター 診療放射線科，4 岐阜大学
工学部 電気電子・情報工学科 情報コース[ 目的 ]
診断に高い専門性が必要な小児医療では，小児科医が少ないため，医師にかかる大きな負担や見逃し，誤診が課題となっている．本研究では小児に好発する肺炎などの胸部疾患の診断を支援することを目的に，解析領域である肺野の抽出を行なった
結果について報告する．肺野の抽出には人工知能の一種で，物体検出と領域抽出を同時に高い精度で行うことができる Mask
RCNN を用いて行う．
[ 方法 ]
NIH が公開した‘ChestX-ray8’から小児と成人の胸部 X 線画像を選択し，肺野領域をラベル付けすることで 1000 枚の学習
データを作成した．Mask RCNN に 1000 ペアの胸部 X 線画像とラベル画像の学習データを用いて学習を行なった．
[ 結果 ]
学習に用いていない 0 〜 15 歳の正常 8 枚，肺炎と診断された 17 枚の胸部 X 線画像を用いて，画像の類似度を表す Jaccard
index，Dice index で評価した結果，共に 90% 以上となった．

OP5-14

深層学習を用いた非造影 CT 画像からの複数臓器領域の抽出に関する検討○林雄一郎 1，申忱 1，Roth Holger1，小田昌宏 1，三澤一成 2，森健策 1,31

名古屋大学大学院情報学研究科，2 愛知県がんセンター中央病院消化器外科，3 国立情報学研究所医療ビッグデータ研究センター

本稿では深層学習を用いた非造影 CT 画像からの複数臓器領域の抽出について述べる．医用画像解析において医用画像から人体の解剖学的構造を自動認識することは重要な処理である．我々はこれまで深層学習を用いて造影 CT 画像から複数の臓器領域を自動抽出する研究を行ってきた．医療現場では，非造影の CT 画像も数多く使用されているため，非造影の CT 画像からも複数臓器領域を自動抽出することができれば非常に有用である．本研究では，従来研究と同様に 3D U-net を用いて非造影
CT 画像から複数臓器領域を自動抽出する．学習の際に，従来研究において造影 CT 画像を用いて学習したモデルを初期値とし，非造影 CT 画像を用いてファインチューニングを行う．実験の結果，ファインチューニングした 3D U-net により非造影 CT 画
像から複数臓器領域を抽出できることを確認した．

65

64

OP5-15

顎口腔領域の CT 画像における金属アーチファクト低減を用いた筋骨格セグメンテーション－金属アーチファクトのシミュレーションによる精度検証－○森谷 友香 1，Abdolali Fatemeh2，阪本小川
匠 3，佐藤 嘉伸 1

充輝 1，大竹義人 1，重田

優子 3，井川

知子 3，三島章 3，

1

奈良先端科学技術大学院大学 先端科学技術研究科，2Department of Radiology and Diagnostic Imaging atUniversity of Alberta，3 鶴見大学歯学部

顎口腔機能異常の一つである顎変形症は，複合的な理由により生じる疾患であることや，手術により急な位置変化を生じた顎骨には術前の状態に戻ろうとする性質があることから正確な診断および手術計画において課題がある．このため，筋骨格構
造の自動セグメンテーションによる診断や手術計画の支援が求められている．しかし，CT の撮影範囲内に金属製の歯科充填物
等が存在する場合，画像上には金属アーチファクトが生じ，筋骨格構造の認識が困難である．我々は，金属アーチファクトのある CT 画像において，筋骨格セグメンテーションの精度を向上させる研究を進めてきた．しかし，これまではアーチファク
ト低減後の画像から作成した正解データを用いて精度評価を行っており，真に正確な評価ができていないことが問題であった．
そこで本研究では，金属アーチファクトをシミュレーションして得られた CT 画像によって精度検証実験を行ったため，その結果を報告する．

「CAD/ 臨床応用」
座長： 野村OP5-16

行弘（東京大学）

Faster R-CNN による肝臓がん候補領域の抽出法○古月1

夢奇 1，陸慧敏 1，金亨燮 1，平野

靖 2，木戸尚治 2，田辺昌寛 2

2

九州工業大学， 山口大学

近年，肝臓がんは男女計で世界第 4 位の死亡者数となっている．肝臓がんの治療には，主に手術によるがんとその周囲の肝臓組織の切除がある．そのため，手術を行うには，事前にがんの個数やその大きさの情報を知る必要がある．その際に利用されるのが X 線 CT をはじめとする画像診断である．これらの診断では，得られた CT 像から肝臓の領域やがんの領域を抽出（セグメンテーション）することにより，最終的に 3 次元でその形状を復元することができる．本論文では，ダイナミック CTにおけるがん領域を効率的に抽出するための画像解析法を構築するための前段階として，画像上に大まかながんの関心領域としての矩形領域を初期領域として求める手法を提案する．手法としては入力画像に前処理を施した後，Faster R-CNN を用い，がん領域を含む関心領域を矩形で抽出する．本手法をダイナミック CT の動脈相 11 症例に適応した結果，Recall：71.72[%]，
AP：64.60[%] という結果が得られた．

OP5-17マクロ病理マルチスペクトル画像からの再構成反射率を⽤いた⽪膚組織の⼆元悪性腫瘍分類○アルポヤニエレニ 1，鈴木 裕之 2，市村
小林 直樹 4，小尾 高史 2

孝也 3，佐々木1

東京工業大学 工学院 情報通信系，2 東京⼯業⼤学
医学部，4 埼玉医科大学 保健医療学部

惇 3，柳澤宏人 3，土田

哲也 3，石川正弘 4，

科学技術創成研究院 未来産業技術研究所，3 埼玉医科大学

This study investigates whether reconstructed spectral reﬂectance from macropathology multi-spectral images (macroMSI)
can assist binary classiﬁcation of tissue malignancy to identify excised tissue margin during skin cancer diagnosis.
We captured high resolution 7-channel macroMSI of 10 samples before and after formalin ﬁxing and a pathologist labelled
115 regions of interest. We reconstructed spectral reﬂectance by adaptive Wiener Estimation. Subsets of reconstructed
spectra were input to k-Nearest Neighbors (kNN) and Support Vector Machine (SVM) classiﬁers and evaluated by averagearea under curve of stratiﬁed 5-fold cross validation.
Results revealed that inclusion of unfixed spectra improved classification results. SVM outperformed kNN classiﬁer.

OP5-18FDG PET-CT の腫瘍領域教師データを半自動的に作成するアルゴリズムの提案と性能評価○平 田 健司 1，古家
玉木 長良 3，志賀1

翔 1，真鍋哲1

治 1，孫田恵一 1，小林健太郎 1，渡邊史郎 1，豊永拓哉 2，

北海道大学大学院医学研究院核医学教室，2 イェール大学 PET センター，3 京都府立医科大学放射線医学教室

FDG PET-CT での悪性病変のセグメンテーションは深層学習に期待される課題であるが，放射線科医に定義された膨大な教師データを必要とする．PET では閾値処理により教師データ作成が比較的容易ではあるが，腫瘍集積と生理的集積が隣接する
とき用手的作業を要する．この作業を効率化し再現性を高めるアルゴリズムを考案し，実装および操作者間の再現性を確認したので報告する．このアルゴリズムでは，最初に SUV ≧ 2.5 を満たすボクセルを自動で抽出し，操作者は確実に腫瘍内である
ボクセルを指定する．非腫瘍部分が結合している場合には，確実に腫瘍外であるボクセルを追加で指定する．次に 2 点を分離できる最小閾値を探索し，これで解決できない場合は最急降下法および最近傍法を用いる．頭頸部癌と婦人科癌の計 23 例に対して 2 人の核医学医師が本法で教師データを作成したところ，Dice similarity coefficient が 0.98 ± 0.03 と高い一致率が得られた．
今後の教師データの作成に有用であると考えられた．

66

65

OP5-19

乳腺領域の自動抽出を用いた深層ニューラルネットワークによる乳房超音波画像における腫瘤検出
○楊

凱文，叶

嘉星，鈴木

藍雅，坂無

英徳

産業技術総合研究所

乳房超音波検査における腫瘤の発見率向上のために，機械学習技術を用いた診断支援システムの実現が期待されている．従来の手法では，画像中のノイズと乳腺以外の脂肪や筋肉の影響で，腫瘤の過検出することが多い．そこで本稿では，乳腺領域の自動抽出と腫瘤候補領域の検出を組み合わせ，深層ニューラルネットワークによる腫瘤検出手法を提案する．提案手法では，画素単位の領域分割 を行う深層学習モデルである U-Net を用いて，乳房超音波画像から腫瘤が発生しうる乳腺領域の抽出を行う．また，畳み込みニューラルネットワークにより画像中の腫瘤像を検出するモデルを作成する．U-Net による乳腺領域の抽出結果と腫瘤検出モデルの出力を統合し，乳腺以外の腫瘤候補を抑制することで過検出を低減する．実験では，実際の乳腺超音波検査にて取得されたデータセットを用いて，従来手法と比べ検出精度が向上し，過検出が削減されることを確認した．

OP5-20

レディオミクスによる肺がんの再発リスクの予測 - レディオミクス特徴量の比例ハザード性の検証 ○吉岡1

拓弥 1，内山良一 2

熊本大学大学院保健学教育部，2 熊本大学大学院生命科学研究部

医療は存在診断，鑑別診断，治療の順に行われる．コンピュータ支援診断（CAD）は存在診断や鑑別診断の支援に用いられてきた．よって，CAD は，医療の前半を支援するシステムと考えることができる．一方，Radiomics は医療の後半を支援するシステムであり，再発リスクなどの予後予測に関する研究が行われている．Radiomics による再発リスクの予測では，コックス回帰モデルが用いられることが多い．しかし，病変から取得した高次元画像特徴量は，コックス回帰モデル構築の仮定となる比例ハザード性を満たしている可能性が低く，推定精度の信頼性に問題がある．そこで本研究では，肺がんの再発リスクの予測を例に，肺がんから得た Radiomics 特徴量の比例ハザード性を検討し，コックス回帰モデルと比例ハザード性を仮定しな
い生存時間分析のモデルの予測性能を比較する．

OP5-21

深層学習を用いた胃 X 線検査画像における腫瘍領域自動検出の試み○市川1

梨沙 1，野村

敬清 2，彌冨仁 1，橋本順2

2

法政大学理工学部， 東海大学医学部専門診療学系画像診断学

がんのスクリーニングにおいて，X 線検査は CT や MRI，内視鏡検査などの専門的検査方法と比べて容易なため，集団検診で広く利用され検診者母数が極めて大きい．一方で X 線検査における病気の検出感度は専門的検査に比べて低いという問題がある．機械学習を用いた自動診断支援に関する研究も主に後者の専門的検査結果を対象としたものがほとんどであり，特に検診者母数の多い胃 X 線検査に対する近年の成果は極めて数少ない．そこで本研究では X 線検査を診断する医師への診断支援を目的として胃 X 線画像を元に，腫瘍領域の自動検出システムを試作した．システムは物体検出と識別を同時に行えるアルゴリ
ズムである Single Shot Multibox Detector (SSD) を用い検証を行った．

OP5-22

疾患股関節の CEA の自動計測と大規模データベース解析への有用性の検討○田中
1

雄基 1，日朝

祐太 1，大竹義人 1，高尾正樹 2，上村圭亮 2，菅野伸彦 2，佐藤嘉伸 1

2

奈良先端科学技術大学院大学情報科学領域， 大阪大学大学院医学系研究科

大規模医用画像データベースに対する病態解析の必要性が高まっている．そこで我々は股関節変形症に着目し，大規模医用画像データベースに対する股関節変形症の分類である一次性と二次性の自動分類を目標とする．本研究ではそのための第一歩として三次元 CT 画像から CNN を用いて解剖学的特徴点を特定し，臨床で用いられている CEA(Center Edge Angle) を自動で計測する．また診療科を問わず網羅的に収集された約一万症例の CT データベースから股関節変形症の有病率の測定に利用できるかを検討する．

OP5-23

3D fully convolutional network を用いた腎腫瘍の定量評価における初期検討○王

成龍 1，小田昌宏 2，林雄一郎 2，佐々直人 3，山本

徳則 3，森健策 2,41

名古屋大学情報科学研究科，2 名古屋大学情報学研究科，3 名古屋大学医学系研究科，4 国立情報学研究所医療ビッグデータ研究センター

Partial nephrectomy is a common treatment for kidney tumors. Due to the wide variety of tumor’ s anatomical structures,
relations between tumor’ s morphology and surgical outcomes have gained a lot of research interests. Quantitative evaluationof kidney tumor can help physicians to have a beter understand of tumor status. Manual segmentation of kidney and tumor
is a time-consuming and expensive task. In this work, we used a 3D fully convolutional network to automatically segment
kidneys and tumors, and then use traditional statistical analysis methods to quantitatively evaluate the kidney tumor. By
using deep-learning based method, kidneys and tumors can be precisely extracted from 3D CT scans. The quantitative
analysis can be used for further surgical planning, such as renal clamping strategy. Our segmentation accuracies of kidney
and tumor are 93.4% and 42.3%.

67

66

OP5-24

網膜動脈硬化症分類のための静脈口径計測○畑中

裕司 1，立木宏和 2，川崎良 3，齋藤公子 4，村松千左子 5，藤田広志 6

1
滋賀県立大学工学部電子システム工学科，2 滋賀県立大学大学院工学研究科電子システム工学専攻，3 大阪大学大学院
医学系研究科視覚情報制御学，4 篠田総合病院眼科，5 滋賀大学データサイエンス学部，6 岐阜大学工学部電気電子・情報工学科

網膜動脈硬化症の代表的な所見である網膜動静脈血管狭窄の診断を支援するために，網膜動脈と網膜静脈のなす交差点（AV交差）近くの静脈径の測定処理の開発を目的とする．これまでに提案されてきた手法では，交差点付近で蛇行する静脈の誤検
出が多い問題があり，蛇行する静脈径の計測に失敗していた．本研究では，血管骨格をスプライン補間と P 型フーリエ記述子を用いて平滑化した．最後に，血管のセグメンテーション処理で得たエッジを使用することによって静脈直径を測定した．提案した方法を 95 枚の眼底画像に適用したとき，手動計測した静脈径との平均誤差と標準偏差は 1.39 ± 1.11 画素であった．

第3日

7 月 26 日（金）メイン会場（レセプションホール１）

シンポジウム２
SY2「多元計算解剖学のこれから - さらなる飛躍を目指して」

15:35 〜 16:55

座長： 森
清水

健策（名古屋大学）
昭伸（東京農工大学）

本シンポジウムでは，文科省科研費新学術領域「多元計算解剖学」において行われてきた研究を振り返るとともに，今後の発展について議論する．多元計算解剖学は，(1) 細胞レベルから臓器レベルまでの空間軸，(2) 胎児から死亡時までの時間軸，(3) 撮像モダリティ，生理，代謝などの機能軸，(4) 正常から疾患までの病理軸といった種々の軸にまたがる医用画像情報に基づき，「生きた人体の総合理解」のための数理的解析基盤を確立し，早期発見や治療困難な疾患に対する高度に知能化された診断治療法実現のための数理的諸手法を開拓する研究領域として設定された．本シンポジウムでは，多元計算解剖学における研究を振り返り，今後の発展に向けてどのように研究を展開するのか議論
する．

SY2-1

多元計算解剖学において生み出されたもの
○橋爪

誠

九州大学

本プロジェクトは 2014 年文部科学省「新学術領域」として採択されたものです．多種多様な医用画像を動的な生体解剖として総合的に理解できるように数理学的理論体系を確立し，革新的診断・治療の創出と健康増進に寄与することを目的としています．時間軸，空間軸，機能軸，病理軸の 4 つの軸上にある各個人の生体情報と医用画像の統合を目指した多元計算解剖モデ
ルを確立し，若手の育成や世界への普及に貢献できましたので報告します．

SY2-2

多元計算解剖学における数理○本谷秀堅

名古屋工業大学

多元計算解剖学の目標のひとつは，(1) 細胞レベルから臓器レベルまでの空間軸，(2) 胎児から死亡時までの時間軸，(3) 撮像
モダリティ，生理，代謝などの機能軸，(4) 正常から疾患までの病理軸の各軸をまたがる医用画像群を統合し，人体モデルを構築する方法論を確立することであった．ここでは，撮像からデータの統合とモデル化に至る一連の手続きにおける，問題点の数理的側面と我々の取り組みならびに今後の課題を述べる．

SY2-3

多元計算解剖学における多元モデリング○佐藤嘉伸

奈良先端科学技術大学院大学

多元計算解剖学では，医用画像を中心として，ミクロからマクロまで多重スケールで得られる，様々なモダリティの解剖・機能（生理）・病理等の時空間データ，言わば，多元データを統合しモデリングすることにより，人体の総合理解を目指す．本
発表では，このような，人体多元データの統合・モデリングを行う研究開発の枠組み，および，脳，胸部，腹部，筋骨格，ヒトの一生涯のそれぞれにおいて多元データから構築された多元モデルの具体例の紹介を通して，多元モデリングの達成点と波及効果について述べる．

68

67

SY2-4

多元計算解剖学と人工知能ブーム
○藤田

広志

岐阜大学

本プロジェクトは 2014 年６月に開始したが，2 年程遅れて人工知能（AI）ブームが医用画像領域にも到来している．AI ブー
ムを牽引するディープラーニングにより，これまでの画像認識の手法が置き換わるところも多々ある．しかし，ディープラー
ニングのブラックボックス性の問題や，医用画像のもつ特殊性もあり，多元計算解剖学の枠組みの重要性が否定されるものでは決してない．むしろ，多元計算解剖学に AI（特にディープラーニング技術）が取り込まれることにより，より完成度の高いものになると言えよう．

SY2-5

多元計算解剖学のその先にあるもの
○森

健策

名古屋大学

本講演では，2019 年度をもって研究活動を終了した科研費新学術領域研究「多元計算解剖学」を振り返り，この新学術領域が築き上げた基盤的研究，応用的研究，そして，研究者間の人的ネットワークを振り返りながら，多元計算解剖学のその先にあるものについて論じたい．多元計算解剖学では，空間軸，病理軸，機能軸，時間軸の 4 つの側面から多元的に人体の構造情報を捉え，そのモデルを確立することで新しい医用画像解析手法の確立とその臨床的応用を目指してきた．今後は，これらのより深いレベルでの探求や，異分野領域の融合も，その発展の視野に入ってくる．また，研究コミュニティの維持と発展も重要である．これらの点を踏まえて，本講演では多元計算解剖学のその先にあるものについて議論したい．

SY2-6

パネル討論

16:55 〜 17:00

多元計算解剖学の今後の発展に向けて

閉会式

69

68

以降の予稿は，著者から提出された原稿を査読なしで，そのまま掲載しています．

著者らが自らの内容を MEDICAL IMAGING TECHNOLOGY（MIT）誌へ投稿する場合，その原稿にこの PDF に類似した内容が含まれていても，二重投稿とは判断しません．

発行日：２０１９年７月２３日
発行者：佐藤嘉伸
製作所：トーヨー企画株式会社

69OP1-01

制約付きアンサンブル学習を用いた事後平均解の近似による MR 画像再構成
久保田 菜々子*1

原田 賢*2

岡田 知久*3

藤本 晃司*3

井上 真郷*1

要旨
MR 画像再構成においては，複数の画像事前分布を組み合わせることで精度が向上することが知られているが，最適な重みの組み合わせを交差検証法により求めることは，組み合わせ数が指数的に増加するため大変であった．以前の我々の研究では制約付きアンサンブル学習を用いることで，複数の画像事前分布の組み合わせを線形オーダーの計算量で実現した．また推定解に事後平均の近似解という意味づけを行うことで，本手法による再構成の精度向上の理論的裏付けを行った．本研究では理論的根拠を洗練させると共に，更に画像事前分布の数を増やした際にも本手法が有用であることを報告する．
キーワード：アンサンブル学習，MR 画像再構成， 圧縮センシング，事後平均推定

1．はじめに信号から観測対象の信号の実空間分布（＝MR

Magnetic resonance imaging (MRI) はコイルに画像）を復元するということが一般的に行われより発生させた磁場を用いて患者の体内を撮ている．撮像時間を短縮して測定されたデータ像する手法である．健康被害がないことが利点

から診断に十分高精度な画像を再構成するにであるが，データの収集に時間がかかることがは工夫が必要であり，そのような手法は広く研患者の負担となることや，モーションアーチフ

究されている．MRI による観測は Fourier 変換ァクトなどが問題となっているため，撮像時間

であり，ランダム行列を用いた観測からの信号を短縮することが必要となる．

復元理論（圧縮センシング）の良い対象となる．

MRI では複数のコイルを用いて信号を受信

MRI の撮像・再構成手法には観測データの間することが一般的であるが，異なるコイルで観引き方やデータの補間方法により GRAPPA[1]，測される信号にはある程度の空間的相関が存

SENSE[2,3,4] ， SAKE[5] な ど 様 々 な 手 法

在するため，（周波数空間で）間引き収集された[6,7,8,9,10]が考案されており，その中の一つである CS-SENSE 法[11,12]では，画像事前分布と――――――――――――――――――

呼ばれる事前知識を利用し圧縮センシングと*1 早稲田大学大学院先進理工学研究科

いう理論を用いて複数コイルで観測された間

電気・情報生命専攻

引かれたデータから画像を推定する．画像事前〔〒169-8555 新宿区大久保 3-4-1〕

分布は複数組み合わせて用いることで MR 画像

e-mail: nanako329@fuji.waseda.jp

が持つ複数の特徴を考慮することができるた*2 早稲田大学理工学術院総合研究所

め精度が向上することが知られている[13,14]．

*3 京都大学大学院医学研究科放射線医

しかし，複数種類の画像事前分布を組み合わせ

学講座

る場合，それぞれの画像事前分布の重要度を表

投稿受付：2019 年 5 月 19 日

す重み係数を決定する必要があるが，これを交差検証法で決める場合，事前分布の種類数の増70

加に伴い計算量が指数的に増加するという欠複数コイルで間引き観測されたデータから
MR 画像を再構成する手法は複数提案されてい点がある．

る．また，未観測部分を単に 0 が観測されたもそこで我々の研究[15]では，アンサンブル学
習を用いることでこの問題を解決した．更にアのとして算出したンサンブル学習に制約をつけることで，アンサンブル学習による精度向上に事後平均（PM）解[𝒙(3)̌]𝑖 ≡ √∑𝐶𝑐=1|[𝐅u∗ 𝒚𝑐 ]𝑖 |2を zerofill 画像と呼び，ベンチマークとする．この近似という理論的な意味づけを行った．

のとき𝑖は要素番号を表す．また，全観測かつ観本研究では我々の提案手法に関し，理論的根̌ = 𝒙となり，元画像を正測ノイズが無い場合は𝒙拠をより整理すると共に，画像事前分布の数を確に算出できる．ただし本研究では観測ノイズ大幅に増やした際に も計算量のオーダーを変が含まれた実際の全観測データから式(3)で求化させることなく，更なる精度向上が可能であめた画像を正解画像として扱う．

ることを示す．

2）CS-SENSE 法

2．問題設定・既存手法

Compressed sensing SENSE（CS-SENSE 法）は

本節でははじめに MR 画像再構成に関する問

複数コイルでの MR 画像再構成手法の一つであ

題設定と既存手法である CS-SENSE 法に関して

る．zerofill 画像では感度マップの推定を回避し述べる．なお，本論文では 2 次元の観測データて元画像を推定したが，この手法は感度マップ

について述べるが，3 次元 MR 画像等への拡張

を高い空間解像度で正確に求めようとすると，も容易である．

通常の MRI 撮像と同程度の長い時間を要する

1）複数コイル MRIが，この感度マップの空間分布は滑らかである

2 次元の真の断面画像をベクトル化したものという仮定を置くことが可能であるため，MRIを𝒙 = [𝑥1 , 𝑥2 , … , 𝑥𝑁 ]⊤ ∈ ℂ𝑁（説明の都合で複素ベ撮像に用いられた観測データ 𝒚𝑐 とローパスフ

クトルとするが，虚数成分は 0 である），画素数

ィルタ𝐐を用いて次式で陽に点推定する[2,3,4]．

を𝑁とし，これを𝑐 ∈ {1, … , 𝐶}番目の MRI コイル[𝒔𝑐 ]𝑖 ≡により観測した 2 次元 k-space(周波数空間)デー
タ を ベ ク ト ル 化 し た も の を 𝒚𝑐 ≡
[𝑦𝑐,1 , 𝑦𝑐,2 , … , 𝑦𝑐,𝑀 ]⊤ ∈ ℂ𝑀 ，これを𝐶個のコイル全𝐶𝑀部について纏めたものを𝒚 ∈ ℂ[𝐅u∗ 𝐐𝒚𝑐 ]𝑖[√∑𝐶𝑐=1|[𝐅u∗ 𝐐𝒚𝑐 ]𝑖 |2 ](4)𝑖

更にこの感度マップを用いて次式を解き，とする．𝑀 = 𝑁

𝐶

𝐾

𝑐=1

𝑘=1

1
𝒙́ ≡ argmin { 2 ∑‖𝒚𝑐 − 𝐅u 𝐒𝑐 𝒙‖𝟐𝟐 + ∑ 𝑓𝑘 (𝒙)} (5)2𝜎𝒙∈ℂ𝑁の場合全観測，𝑀 < 𝑁の場合部分観測と呼ぶ．
2 次元離散 Fourier 変換行列を𝐅 ∈ ℂ𝑁×𝑁（本研究ではユニタリ行列で定義する），部分観測にも得られた複素画像𝒙́ ∈ ℂ𝑁 の各要素の絶対値をと対応できる離散 Fourier 変換行列を𝐅u ∈ ℂ𝑀×𝑁 ，

̂ ∈ ℝ𝑁 を求める．
ることで推定画像𝒙[𝒙̂]𝑖 ≡ |[𝒙́ 𝑖 ]|加法的 Gauss 観測ノイズを𝝐𝑐 ∈ ℂ𝑀 として，次式でモデル化する．

(6)

正則化項が複数ある場合の最適化は，
FCSA[16]などのアルゴリズムによ り可能であ(1)

𝒚𝑐 = 𝐅u 𝐒𝑐 𝒙 + 𝝐𝑐

各々のコイルが持つ信号受信感度（強度およびる．

相対的な位相）の空間分布を感度マップと呼び，𝑁

𝑓𝑘 (𝒙)は複素画像に対する𝑘 ∈ {1, … , 𝐾}番目の感度マップ𝐒𝑐 ≡ diag(𝒔𝑐 )（但し𝒔𝑐 ∈ ℂ ）は対角正則化項である．正則化項には，TV-norm の複行列で，次式を満たすように調整されているも素画像版である BV-norm[17]

のとする．

2

2

(2)

‖𝒙‖BV ≡ ∑𝑝 ∑𝑞 √|𝑥𝑝,𝑞 − 𝑥𝑝+1,𝑞 | + |𝑥𝑝,𝑞 − 𝑥𝑝,𝑞+1 |但し，I は単位行列，*付きの行列は随伴行列を(7)∑𝐶𝑐=1 𝐒𝑐∗ 𝐒𝑐 ≡ 𝐈（𝑝, 𝑞は 2 次元画像の縦横の要素番号を表す）

表す．

71

や，複素画像の wavelet 係数に対し L1 ノルム

𝑍𝑘 は正規化定数，𝑓𝑘 (𝒙)は重み係数付き正則化をとるものなどがある．

項である．ここでは，アンサンブル学習の用‖𝒙‖wavelet ≡ ‖𝚽𝒙‖1
𝚽∈ℝ

𝑁×𝑁

語に倣って，個々の事前分布𝑝(𝒙|𝑘)を弱事前分(8)は各種の wavelet 変換行列を表す．ま布と呼ぶ．事前分布全体としては弱事前分布

2た，通常，観測誤差の係数1/(2𝜎 )に対する相対を組み合わせたものになる．

的な重み係数が掛けられ，その正則化項をどの𝐾程度重んじるのかを指定する．

𝑝(𝒙) = ∑正則化項に含まれる重み係数は一般に未知

𝑘=1𝑤𝑘
exp{−𝑓𝑘 (𝒙)}𝑍𝑘であるため推定する必要があるが，正則化項の更に，式(5)では，重み係数が異なるだけの同種類が多い場合，交差検証法等でこれを推定す

種類の正則化項は，一つに纏められてしまう

ることは計算量が指数的に増加する ため一般が（例：𝑓1 (𝒙) ≡ 2‖𝒙‖BV ，𝑓2 (𝒙) ≡ 3‖𝒙‖BV の場に困難である．

合，5‖𝒙‖BV を一つ指定したものと同じ），このCS-SENSE 法は確率モデルによる解釈をする

事前分布は同様に纏めることができないたと最大事後確率推定（MAP）解の推定している

め，事前分布の表現力が増すと考えられる．
観測モデル𝑝(𝒚|𝒙, 𝑘)を，加法的白色 Gauss ノことと同義である．
3．提案手法イズを想定し，次式で定義する．

本節では，初めに確率モデルを示し，その後𝑝(𝒚|𝒙, 𝑘) ≡本手法が事後平均推定（PM）解を推定している𝐶

1
1
exp {− 2 ∑‖𝒚𝑐 − 𝐅u 𝐒𝑐 𝒙‖22} (12)(2𝜋𝜎 2 )𝑁𝐶
2𝜎

ことと同義であることを示す．
1）提案モデルの概要

𝑐=1

3）推定量

前節で述べたように，画像事前分布の種類が画像𝒙の PM 解を求めることとする．

増えた際の，正則化項の重み係数の決定は困難である．そこでアンサンブル学習によりその問𝐾題を解決する．係数を変化させたものや，性質̃ ≡ 〈𝒙〉𝑝(𝒙|𝒚) = ∑ 𝑝(𝑘|𝒚)〈𝒙〉𝑝(𝒙|𝒚,𝑘) = 𝐗 𝝎 (13)𝒙の異なる画像事前分布を複数用意し，それぞれ

𝑘=1

𝐗 ≡ [〈𝒙〉𝑝(𝒙|𝒚,1) , … , 〈𝒙〉𝑝(𝒙|𝒚,𝐾) ] ∈ ℂ𝑁×𝐾 ，単独の画像事前分布として再構成を行う．その

但し，後，各画像事前分布で再構成した画像の線形和𝝎 ≡ [𝜔1 , … , 𝜔𝐾 ]⊤ ，𝜔𝑘 ≡ 𝑝(𝑘|𝒚)である．この式は，

により画像の推定を行う．

弱事前分布毎に求めた PM 解〈𝒙〉𝑝(𝒙|𝒚,𝑘)

この解は PM 解となるため，既存手法である

2
1 𝐶∑ ‖𝒚 − 𝐅u 𝐒𝑐 𝒙‖ − 𝑓𝑘 (𝒙)} d𝒙22𝜎2 𝑐=1 𝑐=
2
1 𝐶∫ exp {− 2 ∑𝑐=1‖𝒚𝑐 − 𝐅u 𝐒𝑐 𝒙‖2 − 𝑓𝑘 (𝒙)} d𝒙
2𝜎MAP 解よりも二乗誤差を最小化する手法であ∫ 𝒙 exp {−ることを理論的に示すことができる．
2）確率モデルの線形結合で全体の PM 解が求まることを示す．

同時確率を次式で定義する．
𝑝(𝒙, 𝒚, 𝑘; 𝒘) ≡ 𝑝(𝑘; 𝒘)𝑝(𝒙|𝑘)𝑝(𝒚|𝒙, 𝑘)

また，正規化定数𝑍𝑘 を求める必要がないことが

(9)

分かる．

𝑝(𝑘; 𝒘)は𝐾個の事前分布に対するカテゴリカ

PM 解は一般に真の解との平均二乗誤差を最ル分布であり，次式で定義する．
𝑝(𝑘; 𝒘) ≡ 𝑤𝑘⊤

𝒘 ≡ [𝑤1 , … , 𝑤𝐾 ]小にするため，この意味において Bayes 最適で(10)，𝒘 ≥ 𝟎，∑𝐾
𝑘=1 𝑤𝑘 ≡ 1である．𝑘ある．

番目の画像事前分布 𝑝(𝒙|𝑘)を正則化項𝑓𝑘 (𝒙)を

しかしながら，𝝎を正確に算出することは一用いて次式で定義する．
𝑝(𝒙|𝑘) ≡1
exp{−𝑓𝑘 (𝒙)}𝑍𝑘

般に困難であるため，本手法では，評価指標である二乗誤差を最小化するものを，正解画像を(11)

用いて逆算することとする．予め用意した全観

72

測データ𝐿個の独立同分布標本{𝒚(𝑙) , 𝒙(𝑙) }𝐿𝑙=1 を用いることとし，標本番号を𝑙 ∈ {1, … , 𝐿}とすると，同時分布は次式に拡張される．なお，𝒙𝐿 , 𝒚𝐿 は𝐿

{𝒙(𝑙) , 𝒚(𝑙) }𝑙=1 を表す．
𝑝(𝒙𝐿 , 𝒚𝐿 , 𝑘; 𝒘) ≡図 1 観測マスク

𝐿
(𝑙)

(𝑙)

(𝑙)

𝑝(𝑘; 𝒘) ∏ 𝑝(𝒙 |𝑘) 𝑝(𝒚 |𝒙 , 𝑘)

(14)

𝑙=1

これを用いて，𝝎を次式で近似推定する．
𝐿𝐾2

̂ ≡ argmin ∑‖𝐗 (𝑙) 𝝎 − 𝒙(𝑙) ‖2 s. t. ∑ 𝜔𝑘 = 1 (15)
𝝎
𝝎≥𝟎

𝑙=1

𝑘=1

𝝎は事後確 率値の 集まりで あるので ， 当然に

図 2 zerofill 画像

図 3 正解画像𝝎 ≥ 𝟎 ， ∑𝐾
𝑘=1 𝜔𝑘 = 1と い う 制 約 が 付 く ． 特 に
2）弱事前分布̂ は疎ベクトルになり，𝝎 ≥ 𝟎 により，結果的に𝝎
多くの弱事前分布が不要になると予想される．

𝐾個の弱事前分布𝑝(𝒙|𝑘)については，BV-prior，

̂ の推定に暗に含
尚，ハイパーパラメータ𝒘は，𝝎

DCT-prior，各種 wavelet-prior（Doubechies（長さまれるため，陽に決める必要がなくなる．

4，6，8，深さ 3，4，5），Haar（深さ 3，4，5），

̂ を用いて，新しい部分観測
以上より求めた𝝎

CDF9/7（深さ 3，4，5））の全 17 種類に，それ̂を次式で求めるものとデータ𝒚から，推定画像𝒙

ぞれ重み係数を 50 通り設定した，𝐾 = 850個をする．

用 意 し た ． 具 体 的 に は ， 𝑓𝑘 (𝒙) ≡ 𝜆𝑘 ‖𝒙‖BV ，̂,𝒙́ ≡ 𝐗 𝝎[𝒙̂]𝑖 ≡ |[𝒙́ 𝑖 ]|𝑓𝑘 (𝒙) ≡ 𝜆𝑘 ‖𝒙‖wavelet などの形をとる．DCT-prior

(16)

4．実験

についても，wavelet-prior と同様に，複素画像

今回の実験で用いたデータや実験設定，実験に対する DCT 係数に対し L1 ノルムを計算しの方法，比較する手法に関して述べる．

た．以降，wavelet に関しては Doubechies(長さ,1）実験設定深さ)，Haar(深さ)，CDF9/7(深さ)と記載する．
3）他の設定𝑁 = 256 × 256サイズの𝐶 = 32チャネル複数
コイルデータを用いた．k-space 上の部分観測位

ローパスフィルタ𝐐には，必ず測定すること

置は，低周波数成分の半径 24 ピクセル相当のとした低周波数成分の半径 24 ピクセル相当の領域は必ず観測することとし，残りは平均が低領域をそのまま採用するだけのものを用いた．

周波数領域の中心，標準偏差が縦横 50 ピクセ

観測ノイズの分散パラメータ 𝜎 2 は 1 とし，違ル相当の二次元正規 乱数に従って，観測率がいは画像事前分布のハイパーパラメータに含20%になるまでランダムに行った（𝑀 = 0.2𝑁）．

めた．

実際に使用したサンプリングマスクを図 1 に，弱事前分布毎の PM 解〈𝒙〉𝑝(𝒙|𝒚,𝑘) については，

̌の例と正解画像𝒙の例を図 2，3 にzerofill 画像𝒙

実際に算出することは困難であったため，弱事示す．

前分布毎の MAP 解（正確にはこれを絶対値をIntel Core i7-6700K 64GB のマシンを用いた．

とって実画像に変換したもの，以下も同じ，既存手法と一致する）で代用した．
𝐶

1𝒙́ 𝑘 ≡ argmin { 2 ∑‖𝒚𝑐 − 𝐅u 𝐒𝑐 𝒙‖𝟐𝟐 + 𝑓𝑘 (𝒙)}
𝑁
2𝜎
𝒙∈ℂ
𝑐=1

73

(17)

は本質的ではないため，学習データに対し評価

最適化には FISTA[18] や，FGP[19]を複素画像指標が最もよい定数を掛けることで縮小推定に拡張したものを用いた．また，この MAP 解の影響を緩和させた値で評価するためのものについても正規化定数𝑍𝑘 を求める必要はない．

である．

[𝒙
̂𝑘 ]𝑖 ≡ |[𝒙́ 𝑘 ]𝑖 |

̂ の算出については，式(15)の制約を𝜔𝑘 ≥ 0𝝎

評価指標には関心領域の相対 RMSE およびのみに緩めた．これは，ここで使われる弱事前

mSSIM[21]を用いた．相対 RMSE は，推定画像

分布はノルムベースであり，ノルムの劣加法性

̂，正解画像を𝒙としたとき次式で定義した．
を𝒙により縮小推定されるところを，結果的に∑𝐾
̂𝑘 > 1となることで相殺して，推定精度を
𝑘=1 𝜔

‖𝒙
̂ − 𝒙‖2‖𝒙‖2̂の上げられると考えたためである．さらに，𝝎

mSSIM は二乗誤差よりもヒトの視覚に近い類

算出では学習データの関心領域外を 0 とした．

似度を与えるとされる指標である．また，評価

関心領域とは図 4 のような画像中で被写体が写の際，非関心領域の画素値を推定画像，正解画っている場所を指す．医師の診断に必要なのは像，共に強制的に 0 とし，医師の診断に近い評

関心領域のみであり，関心領域外のノイズの再価を行った[20]．
上記評価指標を用いて提案手法の PM 近似解

現性は重要でないと考えるためである[20]．
(𝑙)と，zerofill 画像，弱事前分布毎の MAP 解（既̂ の算出の際に，行列𝐗 のサイズは𝑁 × 𝐾と𝝎
非常に大きい．しかし，式(15)の目的関数を変存手法）を比較した．
5．結果・考察

形すると，定数和を除いて次式であり，
𝐿⊤𝝎 (∑ 𝐗
𝑙=1

MAP 解の画像 1 枚当たりの再構成時間は 15𝐿(𝑙) ∗ (𝑙)⊤𝐗 ) 𝝎 − 2𝝎 ℜ (∑ 𝐗

(18)

(𝑙) ∗

(𝑙)

̂ の計算時間は 15 秒程度であった．
秒程度，𝝎

𝒙 )

テストデータに対する評価指標の結果を表 1

𝑙=1

𝐾 × 𝐾の相関行列，長さ𝐾のベクトルを事前に計に示す． mSSIM は分かり易くするため，1 か算しておくことで省メモリ省コストの推定をら引いた値で比較する．いずれの指標も値が小行える．

さくゼロに近い方が正解画像に近い．相対RMSE を比較すると，提案手法がいずれの既存手法よりも推定画像の精度が良かった．提案手法は二乗誤差を最小にするよう設計したため，期待通りである．弱事前分布毎の MAP 解で最も良かったのは BV-prior であり，wavelet-priorの中で最も良かった CDF9/7(5)が続いた．DCTprior は最も精度が悪かった．
mSSIM を比較すると，こちらも提案手法が一

図 4 関心領域の例

5）評価

番良い結果となった．これは直接意図した結果同一の MR 装置で観測された多スライスの水ではないが，好ましい特徴である．弱事前分布

平断の観測データ 4 人分各 10 スライスを用い，毎の MAP 解についても，二乗誤差と同様の順

3 人分のデータ（つまり𝐿 = 30）で PM 近似解位であった．

に関しては𝝎
̂ を，MAP 解に関しては全 17 種類の弱事前分布毎の最適な重み係数𝜆𝑘 と縮小推定の補正のための定数を学習し，一人分でテストを行う人物間での 4-fold cross validation 法により評価した．縮小推定の補正とは，既存手法は縮小推定されることで指標が悪化するが，これ74

表 1 評価指標の結果．
手法

相対 RMSE−2

1 −mSSIM(× 10 )(× 10−3 )zerofill

22.10

17.81

Doubechies(4,3)

7.349

2.808

Doubechies(4,4)

7.347

2.807

Doubechies(4,5)

7.347

2.806

Doubechies(6,3)

7.304

2.770

Doubechies(6,4)

7.304

2.768

Doubechies(6,5)

7.304

2.767

Doubechies(8,3)

7.313

2.760

Doubechies(8,4)

7.313

2.758

Doubechies(8,5)

7.313

2.758

Haar(3)

7.589

2.908

Haar(4)

7.583

2.904

Haar(5)

7.582

2.902

CDF9/7(3)

7.231

2.734

CDF9/7(4)

7.231

2.732

CDF9/7(5)

7.231

2.731

BV

6.780

2.616

DCT

8.655

3.520

提案手法

6.568

2.176

̂ の例
図 5 学習した𝝎(a) Doube(6,4)(b)DCT

図 6 ボケた画像の例

推定画像の例を図 7，正解画像との差分画像
̂ の例を図 5 に示す．横軸は弱事前学習した𝝎を図 8 に示す．図 8 をみると，提案手法が既存

分布の重み係数𝜆𝑘 の対数を取ったもの，縦軸は手法に比べ平均的に良い推定が行われている．

学習により算出した𝜔
̂𝑘 である．全体の大きな傾向を見ると，𝜔
̂𝑘 が非ゼロで生き残った弱事前分
布の割合は約 13%で，期待通り疎な解が得られた．また，弱事前分布の種類毎に，最良の MAP解が存在する 重み係数 10−4 付近に大きなピークが得られた．加えて，図 6 のような粗いボケ
た画像である100 付近にもピークが得られた．
10−4 付近の最も大きなピークは既存手法の精度が最も良かった BV-prior であり，BV-prior は
100 付近にピークがなかった．反対に最も精度が悪かった DCT-prior は10−4 付近にピークがな
く，100 付近のみであった．この原因に関しては引き続き考察を行う．
∑𝐾
̂𝑘 の値は約 1.15 であり，期待通りに弱𝑘=1 𝜔
事前分布による縮小推定を補ったものと考える．

図 7 推定画像75

acquisitions (GRAPPA). Magnetic resonance in
medicine 47(6): 1202-1210, 2002
［2］ Pruessmann KP, Weiger M, Scheidegger MB
et al: Sense: sensitivity encoding for fast MRI.
Magnetic resonance in medicine 42(5): 952962, 1999
［3］ Pruessmann KP, Weiger M, Börnert P et al:
Advances in sensitivity encoding with arbitrary
k-space trajectories. Magnetic resonance in
medicine 46(4): 638-651, 2001
［4］

Ying L, Sheng J: Joint image reconstruction

and sensitivity estimation in SENSE (JSENSE)．
Magnetic resonance in medicine 57(6): 11961202, 2007
［ 5 ］ Shin PJ, Larson PE, Ohliger MA et al:
Calibrationless parallel imaging reconstruction

図 8 差分画像

based

on

structured

low-rankmatrixcompletion. Magnetic resonance in medicine

以上の結果から，提案手法は多数の弱画像事

72(4): 959-970, 2014

前分布を組み合わせることで，既存手法より精［6］ Lustig M, Donoho D, Pauly JM: Sparse MRI:

度の高い推定が可能であると考える．

The application of compressed sensing for
6．まとめ

rapid MR imaging ． Magnetic resonance in

アンサンブル学習により，画像事前分布の種

medicine 58(6): 1182-1195, 2007

類を増加させた際に計算量のオーダーを変化［7］ Lustig M, Pauly JM: SPIRiT: Iterative self-

させることなく精度の向上が可能であること

consistent parallel imaging reconstruction fromを示した．今回のように 17 種類もの画像事前

arbitrary k-space. Magnetic resonance in

分布を組み合わせた再構成を従来のように交

medicine 64(2): 457-471, 2010

差検証法でパラメータチューニングを行 うこ［8］ She H, Chen RR, Liang D et al：Sparse BLIP:とは，計算量的に不可能である．しかしアンサ

BLind Iterative Parallel imaging reconstruction

ンブル学習を用いることで，短時間で多数の画

using compressed sensing. Magnetic resonancein medicine 71(2): 645-660, 2014

像事前分布を組み合わせた高精度の再構成が可能となった．さらに従来手法では重み係数が［9］ 笠原勇布,井上真郷，富樫かおり：アンサ

異なるだけの画像事前分布は組み合わせるこ

ンブル学習を用いた MR 画像再構成 信学とに意味がなかったが，提案手法により組み合技報 116(300) IBISML2016-58: 87-91, 2016

わせることが可能となり，画像事前分布として［ 10］ 原田 賢 ，井 上真郷 ， 富樫 かお り : CSSENSE 法における感度マップの不確実性の表現力が向上した．

を考慮した事後平均推定近似解信学技報 117(211) IBISML2017-21: 75-82, 2017

利益相反の有無［ 11 ］なし
文

Jiang M, Jin J, Liu F et al: Sparsity-

constrained

献［1］ Griswold MA, Jakob PM, Nittka M et al:

SENSE

reconstruction:Anefficient implementation using a fast composite

Generalized autocalibrating partially parallel

splitting76

algorithm.

Magnetic

resonanceimaging 31(7): 1218-1227, 2013

REFINED TOTAL VARIATION METHOD.

Liang D, Liu B, Wang J et al: Accelerating

IEEE International Symposium on Biomedical

SENSE using compressed sensing. Magnetic

Imaging: From Nano to Macro: 121-124, 2007

［12］resonance imaging 62(6): 1574-1584, 2009［ 18 ］

Beck A, Teboulle M: A Fast Iterative［13］ Liang D, Wang H, Chang Y et al: Sensitivity

Shrinkage-Thresholding Algorithm for Linear

encoding reconstruction with nonlocal total

Inverse Problems. SIAM journal on imaging

variation regularization．Magnetic resonance insciences 2(1): 183-202, 2009

medicine 65(5): 1384-1392, 2011［14］ Zhou J, J. Li,［19］ A. Beck, M. Teboulle: Fast Gradient-Based

J.C. Gombaniro：Combining

Algorithms for Constrained Total Variation

SENSE and compressed sensing MRI With a

Image Denoising and Deblurring problems.

fast iterative contourlet thresholding algorithm．

IEEE Transactionsth2015 12 International Conference on Fuzzy

on

Image

Processing

18(11): 2419-2434, 2009

Systems and Knowledge Discovery (FSKD):［20］1123-1127, 2015

T. Akasaka, K. Fujimoto, T. Yamamoto et

al: Optimization of Regularization Parameters

久保田菜々子，原田賢，藤本晃司 他:

in Compressed Sensing of Magnetic Resonance

MR 画像再構成における複数の画像事前分

Angiography: Can Statistical Image Metrics

布を組み合わせた事後平均近似解 信学技

Mimic Radiologists' Perception? PLoS ONE

報 118(284) IBISML2018-47: 23-28, 2018

13(5): e0197140, 2018［15］

［16］ Huang J, Zhang S, Metaxas D: Efficient MR［21］

Z. Wang, A. C. Bovik, H. R. Sheikh et al:image reconstruction for compressed MR

Imageimaging. Medical Image Analysis 15(5): 670-

measurement to structural similarity. IEEE

679, 2011

Transactions on Image Processing 13(4): 600-

［ 17 ］

B. Liu, L. Ying, M. Steckner et al:

REGULARIZED

quality612, 2004

SENSE

RECONSTRUCTION USING ITERATIVELY

77

assessment:

From

error

MR image reconstruction by approximation of posterior mean
solution using constrained ensemble learning
Nanako KUBOTA*1, Ken HARADA*2, Koji FUJIMOTO*3, Tomohiro OKADA*3, Masato INOUE*1*1 Waseda University*2 Waseda Research Institute for Science and Engineering*3 Kyoto University

In MR image reconstruction, its accuracy is expected to be improved by combining multiple image prior distributions.
However, finding the optimal combination of prior weights by cross-validation method is usually intractable in termsof the exponential calculation cost. In our previous study, we introduced a constrained ensemble learning method torealize using such multiple priors with the linear order computational cost. Moreover, we made theoretical justificationof the proposed method, which approximates the posterior mean estimate. In this research, we refine the theoreticaljustification and validate the method with more image priors.

Key words: ensemble learning，MR image reconstruction，compressed sensing，posterior mean estimate78OP1-02

X 線 CT 画像上の雑音分散に対する検出器モデルの影響
田之上
藤井

和矢*1
啓輔*1

充*1

梅田

祐司*1

稚代*1

今井

國治*1

池田
川浦

要旨
雑音を量子雑音に限定した場合における X 線 CT 画像上の関心領域内の（「空間平均」の意味での）雑音分
散の（「集団平均」の意味での）)期待値について，X 線検出器のモデル（quantum counter と energy integrating
detector）の差が与える影響について検討した．両検出器モデルの出力が類似した結果を与える条件下で，CT 画像上の関心領域内の雑音分散の期待値について，解析的に計算した結果と仮想的な撮影系を使用したシミュレーション画像から推定した値について検討した．両モデルにおいて，解析的に計算した期待値はシミュレーション画像から推定した値とよく一致した．また，両モデル間で，雑音分散の値の差は少ない結果となった．今回の検討結果からは，両モデルの CT 画像上の関心領域内の雑音分散に与える影響は少なく，同雑音分散に関する検討において簡易な quantum counter モデルでの検討の高い頑健性が示唆された．
キーワード：CT，画質評価，被ばく線量

1．はじめに文献[1, 2]と同様な方法を使用して解析的に計

現在，X 線 CT（Computed Tomography）検査

算することについての検討を行い，同方法の精は臨床の場において医学診断に大きな貢献を度がよいことを確認してきた[3]．しかし，これしているが，使用される機会が非常に増加し被までの検討において対象とした仮想的な X 線

ばく線量が大きな問題となっている．同画像のCT 撮影系の X 線検出器のモデルは，すべて画質評価に関する検討もこれまで数多くなさ

quantum counter としていた．この場合，被写体

れているが，均一な CT 値を有することが期待

透過後の X 線検出器で検出される X 線光子数される画像領域における CT 値の変動の分散でのゆらぎはポアソン分布に従うことになる．一ある X 線 CT 画像上の雑音分散は，最も基本的方で，現在臨床の場で使用されている X 線 CT

な指標であるとともに最も多用されているもにおける X 線検出器により近いモデルは energyのの一つである．我々はこれまでに，雑音を量

integrating detector として知られているものであ

子雑音に限定した場合における X 線 CT 画像上る．energy integrating detector モデルでは，X 線の関心領域内の（確率過程論での「空間平均」

検出器の出力の X 線量のゆらぎはポアソン分の意味での）雑音分散の［確率過程論での「集布とは異なるものとなることもよく知られて団（集合）平均」の意味での］期待値について，いる．今回，雑音を量子雑音に限定した場合における X 線 CT 画像上の関心領域内の（「空間――――――――――――――――――

平均」の意味での）雑音分散の（「集団平均」の*1 名古屋大学大学院医学系研究科

意味での）期待値について，仮想的な X 線 CT〔〒461-8673 名古屋市東区大幸南一丁目 1

撮影系の X 線検出器にこれらの 2 種類の検出器

番 20 号〕のモデルを適応した場合に生じる差について

e-mail: tanoue.kazuya@e.mbox.nagoya-u.ac.jp

検討したので報告する．今回は，両検出器モデ

79

ルの出力が類似した結果を与える条件下で，解energy integrating detector モデルの場合は，同検析的に計算した値と仮想的な撮影系を使用し出器の出力のゆらぎは，単純なポアソン分布でたシミュレーション画像から推定した値につは な く 複 合 ポ ア ソ ン 分 布 （ compound Poisson

いての検討を実施した．

distribution）に従うことが知られている[4]．

2．方法

2.4. 解析対象画像

2.1. 仮想的な X 線 CT 撮影系

今回，水で満たされた直径 15.3 cm の円柱に今回使用した仮想的な X 線 CT 撮影装置は,相当する数値ファントムを被写体とし，上記のファンビーム投影方式とし，各ビームの X 線雑仮想的な X 線 CT 撮影装置で撮影した際の再構

音に関する性状は常に同一であるものとし，か成画像を解析対象画像とした（図 1 参照）．

つ，ビーム間で相関はないものとした．X 線入射光子数は空気を通過した際に 1 検出器あたり2.5. 関心領域の設定

６10 個とし，管電圧 120 kV，ファン角 27.3°，検

今回の検討では，既述の解析対象画像内に，出器数 720 個，FOV （field of view）は 19.2 cm，同再構成画像の中心から等距離（100 pixels）のX 線焦点－回転中心間距離を 60 cm，再構成画

4 箇所の位置を中心とする, 11  11 pixels の正像の画素数を 512  512 pixels とした．

方形の関心領域を設定した（図 1 参照）．そして，これらの関心領域内における（「空間平均」

2.2. X 線検出器モデルの意味での）雑音分散の値について検討した．

quantum counter モデルを使用した際の X 線検出器の出力は X 線検出器に到達した光子数とした．
energy integrating detector モデルを使用した際の X 線検出器の出力は，以下のようにモデル化した[4]．エネルギが E の X 線光子が検出器に到達した際，同光子数に係数𝑔(𝐸) = 𝐺𝐸を掛けたものを X 線検出器の出力をとし，エネルギ・
ビンごとにこのようにして計算した値の和を最終的な出力とした．ここで，G は変換係数と図 1 解析対象画像と設定した関心領域の位置呼ばれる定数である．今回の検討では，X 線のエネルギ・ビンを 10 keV として区分化して実施

2.6. 雑音分散の値の検討方法した．また，変換係数 G の値は，X 線光子のゆ

X 線 CT 画像上の関心領域内の（「空間平均」

らぎがない場合において，quantum counter モデの意味での）雑音分散（不偏分散に相当するもルの出力と energy integrating detector モデルののとする）の値の（「集団平均」の意味での）出力が検討した範囲内で最も類似したものと期待値は，関心領域内の確率変数としての CTなる値とした．

値を𝑋𝑖 (𝑖 = 1, ⋯ , 𝑁),E(𝑋𝑖 )を𝑋𝑖 の（「集団平均」の意味での）期待値，Var(𝑋𝑖 )を𝑋𝑖 の（「集団平均」

2.3. X 線光子のゆらぎの意味での）分散，Cov(𝑋𝑖 , 𝑋𝑗 )を𝑋𝑖 と𝑋𝑗 の（「集X 線検出器に到達した X 線光子数のゆらぎが団平均」の意味での）共分散，とそれぞれ表記

ポアソン分布に従うことはよく知られているした際に，式(1)のように与えられる．雑音を量が，X 線検出器が quantum counter モデルの場合，子雑音に限定した場合の関心領域における同検出器の出力のゆらぎは（そのまま）ポアソ（「空間平均」の意味での）雑音分散の値の（「集ン分布に従うことになる．一方，X 線検出器が団平均」の意味での）期待値と各画素における80

（「集団平均」の意味での）雑音分散について，
X 線検出器に到達した X 線光子数のゆらぎが単
純なポアソン分布に従うものとして，既述の数
値ファントムに対して同値の（「集団平均」の意味での）期待値を与える式(1)から文献[1, 2]と同様な方法を使用して計算した．一方，既述の X 線 CT 画像上の関心領域内の（「空間平均」の意味での）雑音分散の値の（「集団平均」の意味での）期待値と各画素における（「集団平均」の意味での）雑音分散を，既述の数値ファントムを 2 種類の X 線検出器モデルを使用して

図2

仮想的な X 線 CT 撮影系で撮影した 300 枚のシに計算した値

ミュレーション画像を使用して，bootstrap 標本
𝑁

𝑖=1

𝑖<𝑗

versus シ ミ ュ レ ー シ ョ ン（quantum counter モデル）からの推定値

数を 2000 とする bootstrap 法によって推定した．
𝑁

CT 画像上の各画素における雑音分散: 解析的

1
2∑ Var(𝑋𝑖 ) −∑ Cov(𝑋𝑖 , 𝑋𝑗 )(𝑁 − 1)𝑁
𝑁
(1)
+

𝑁

𝑁

𝑖=1

𝑖<𝑗

1
2
∑ E2 (𝑋𝑖 ) −∑ E(𝑋𝑖 ) E(𝑋𝑗 )(𝑁 − 1)𝑁𝑁

3．結果
3.1. CT 画像上の各画素における「集団平均」の意味での雑音分散に関する検討結果

図3

X 線 CT 画像上の各画素における（「集団平均」

CT 画像上の各画素における雑音分散: 解析的に計算した値 versus シミュレーション（energyの意味での）雑音分散について，X 線検出器に

integrating detector モデル）からの推定値到達した X 線光子数のゆらぎが単純なポアソン分布に従うものとして解析的に計算した値

3.2. 関心領域における「空間平均」の意味でに対する，2 種類の各検出器モデルを使用したの雑音分散に関する検討

仮想的な X 線 CT 撮影系によって作成した X 線
画像から推定した値との散布図を図 2・図 3 に既述の関心領域における（「空間平均」の意味示す．また，図中の線形回帰式は，X 線光子数での）雑音分散について，これらの 4 か所の関のゆらぎが単純なポアソン分布に従うものと心領域における結果は，2 種類の X 線検出器モ

して解析的に計算した値を独立変数とし，各検デルについて，いずれも同様なものとなった．

出器モデルを使用した仮想的な X 線 CT 撮影系

以下，上部に設定した関心領域に関する結果のによって作成した X 線画像から推定した値をみを示す．X 線 CT 画像上の関心領域内の（「空従属変数としたものである．各検出器モデルに間平均」の意味での）雑音分散の値の（「集団おいて，両者の間には強い正の線形相関が認め平均」の意味での）期待値について，解析的にられ，また，回帰式の傾きは 1 に近い値となっ計算した値と 2 種類の X 線検出器モデルを使用た．

してシミュレーションによって作成した X 線
CT 画像から bootstrap 法によって推定した値の81

平均値を表 1 に示す．また，図 4 に，X 線 CTことから，現在臨床の場で使用されている X 線

画像上の関心領域内の（「空間平均」の意味で

CT の検出器により近いモデルである energyの）雑音分散の値の（「集団平均」の意味での）integrating detector モデルを使用したシミュレー

期待値について，シミュレーション画像からのションによっても，X 線検出器に到達した X 線

個々の推定値のヒストグラムを X 線検出器モ

光子数のゆらぎが単純なポアソン分布に従う

デル別に示す．

ものとして解析的に計算する方法の精度が高いことが確認された．さらに，今回検討した 2

表 2 上部に設定した関心領域内の雑音分散解析的に計算した期待値
quantum counter
モデルによる推定値
energy integrating detector
モデルによる推定値

種類の X 線検出器モデル間で，雑音を量子雑音

Varianceに限定した場合における（「空間平均」の意味

57.31

での）雑音分散の値の差は少ない結果となった．
今回の検討結果からは，今回検討した 2 種類の

57.43

X 線検出器モデル間で CT 画像上の関心領域内の（「空間平均」の意味での）雑音分散に与え54.56

る影響は少なく，同雑音分散に関する検討において簡易な quantum counter モデルは高い頑健性を有することが示唆される結果となった．
謝辞
本研究は，JSPS 科研費 18K07748［基盤研究(C)］の助成を受けた．
利益相反の有無
なし
文
［1］

図 4

X 線 CT 画像上の関心領域内の雑音分散の値

献Gore J C, Tofts P S: Statistical limitations
in computed tomography. Phys Med Biol 23の推定値のヒストグラム(6): 1176-1182, 1978
［2］

Wunderlich A, Noo F: Image covariance

4．まとめ

and lesion detectability in direct fan-beam

今回の検討結果からは，雑音を量子雑音に限

x-ray computed tomography. Phys Med

定した場合の関心領域における（「空間平均」

Biol 53 (10): 2471-2493, 2008の意味での）雑音分散の値の（「集団平均」の［3］

梅田祐司，池田充，西尾俊貴 他：X 線

意味での）期待値について，X 線検出器に到達

CT 画像上の雑音分散に関する検討. 平

した X 線光子数のゆらぎが単純なポアソン分

成 28 年度日本生体医工学会東海支部学布に従うものとして解析的に計算した値は，

術大会（予稿集）: A3-5, 2016

quantum counter モ デ ル の み な ら ず ， energy［4］

Whiting BR, Massoumzadeh P, Earl OA, etintegrating detector モデルを使用したシミュレー

al. Properties of preprocessed sinogram

ション画像から推定した値ともよく一致した．

data in x-ray computed tomography. Med

また，各画素における（「集団平均」の意味で

Phys 33 (9): 3290-3303, 2006の）雑音分散についても，同様に解析的に計算した値は，両モデルを使用したシミュレーショ
ン画像から推定した値とよく一致した．以上の82

Effects of detector models on noise variancein X-ray computed tomography images
Kazuya Tanoue*1, Mitsuru Ikeda*1, Yuuji Umeda*1
Chiyo Yamauchi-Kawaura*1, Keisuke Fujii*1, Kuniharu Imai*1*1 Department of Radiological and Medical Laboratory Sciences, Nagoya University Graduate Schoolof Medicine
We have studied the effects of two detector models, quantum counter and energy integrating detector
models, on the ensemble expectation of spatial noise variance in X-ray computed tomography (CT)images, under the assumption that noise is confined to the statistical fluctuations of X-ray photons. In thisstudy, we compared the estimated values of spatial noise variance from the simulation studies of using thetwo detector models and its analytically-calculated values, when the two detector models output similarvalues. For the two detector models, the analytically-calculated ensemble expectations of spatial noise
variance were well agreed with their estimated values from the simulation studies of using a virtual X-ray
CT system. Further, the difference of spatial noise variance was small between the two detector models.
The results of this study show that the effects of the two detector models effects were small on spatial
noise variance in X-ray computed tomography images, and that the quantum counter model was
suggested to have high robustness in the studies of noise variance.
Key words: Computed tomography, Image quality evaluation, Radiation exposure dose83

OP1-03

スパース化空間の類似性を利用した単一画像超解像∗∗∗

竹間 康浩 1) ，大内 翔平 1) ，伊藤 聡志 1)

要旨

MR 画像など画素数が少ない画像を観察する場合は，画像を補間拡大することが多い．このとき，単なる補間ではなく，超解像の効果があれば生体の構造をより認識しやすくなり，画像診断の精度を高めることが期待できる．eFREBAS 変換によりスパース展開された像は全て同サイズであり，かつ，周波数帯域別に分離した像は互いに類似性を持っている．そこで，eFREBAS 空間像の類似性を利用し，eFREBAS 空間にて信号を外挿する画像補間法について検討を行った．結果，学習を必要としない提案法による補間像は，深層学習を利用した超解像法と同等の補間誤差と鮮鋭さを有することが示された．
キーワード: 超解像, 補間，多重解像度解析, eFREBAS 変換

1

はじめに

像度画像を生成することも可能である [1, 2]．しか

低解像度画像から高解像度画像を生成する超解しながら，高解像度画像の全画素数を未知数とす

像は，光学的な撮像処理により解像度の限界を超る問題を解くので画像生成に多くの時間を要する

える意味から近年のディジタル信号処理による ぼ問題がある．

け を伴わない画像拡大処理までさまざまな意味が2010 年に Yang らは新たな超解像として学習型

ある．ハードウェアの性能限界を超える解像度が得

超解像 (Sparse coding Super Resolution: ScSR)られる超解像への期待は大きく，高解像度ディスプを提案した．ScSR は，まず，スパースコーディン

レイが普及している現代ではその応用範囲も広い．

グにより得られた基底に関して低解像度パッチと高超解像を医用画像に応用することができれば，画解像度パッチとの対応関係を学習する．そして，入像の細部構造の観察がより容易になり，画像診断の力された低解像度画像をパッチに分解し，それぞれ精度向上につながるため，その意義は大きいもののパッチに対し高解像度パッチを割り当てて高解像がある．

度画像を推定する方法である [3]．学習型超解像は 1枚の入力画像に対し，高解像度画像を推定するので超解像には使用する画像の数より大別すると，観

単一画像超解像と考えることもできるが，学習され測された 1 枚の画像から超解像画像を生成する単たパッチの対応関係には単一画像を超える情報量が一画像超解像と複数の低解像度画像を合成して高含まれているので，補間を超えた解像度の画像を生解像度画像を生成する再構成型超解像がある．単成できる可能性がある．一般に補間処理により画像

一画像超解像では，情報量が増えるわけではないを拡大すると輝度値が大きく変化するエッジは補間ので，一般的に画像のぼけを抑えつつ補間拡大すに伴いぼやける傾向がある．それに対し，学習型超る手法となる．

解像ではパッチの対応関係を用いて補間画像を生成

一方，再構成型超解像は，複数の異なる画像を利するので，エッジ部に鮮鋭さが保たれる．また，近用する方法が多く，周波数空間の補間により高解年ではニューラルネットワークを使用して超解像を行う方法が注目されている．Dong らは，3 層の畳∗

1 宇都宮大学 大学院工学研究科
情報システム科学専攻[〒 321-8585 栃木県宇都宮市陽東 7-1-2]
e-mail:itohst@is.utsunomiya-u.ac.jp

み込みニューラルネットワーク (Super-Resolution

Convolutional Neural Network : SRCNN)[4] を使用して自然画像の超解像を試み，Yang らの方法を84

超える信号対雑音比を持つ画像の生成に成功してうものとする．変数 ∆x を入力画像の画素サイズ，

いる．Dong らの研究を契機としてさらに多くの層

N をデータ数，m をフレネル変換された信号の折り返しの次数を表す整数，D を画像のスケーリン
グ係数とすると，eFREBAS 展開像 Iscale は以下の式により表現することができる [9, 10]．eFREBAS
変換では展開スケール D として任意の実数を選択できる．

からなるネットワークを使用した超解像法が提案されるようになった．Dong らは，ネットワークの層を増やし，最終層のデコンボリューションにより画像拡大を行うとともに高速化を図る方法 [5] を，

Shi らは，デコンボリューションで生じることのある格子状のアーティファクトを低減する方法 [6] を，Zhang らは，画像の劣化プロセスを考慮した方法[7] を提案している．深層学習により超解像は様々な方法が提案され，その性能は年々改善されたものとなっている．学習型超解像やニューラルネット
ワークを使用した方法は，従来の補間法では得られない鮮鋭な画像が得られるが，一方で学習に大量の画像と膨大な時間を必要とする問題がある．

Iscale (x) =

∞
∞
( x )
1 ∑ ∑
I(m, x) comb
DN∆xs=−∞m=−∞D∆x∗δ(x−sDN∆x)

I(m, x) =
{
(
)
}
2πx
−j ( 2mπx)D∆xI(x−mDN∆x)∗sinc
e
(2)
D∆x

本研究では，医用画像でも比較的画素数が少な式 (1) の comb(·) はくし形関数，式 (2) の sinc(·)

く補間拡大処理がしばしば行われる磁気共鳴画像

は sinc 関数を意味する．画像 I(x − mN ∆x) が(MR 画像) を対象とし，学習を必要としない単一画像超解像を提案する．MR 画像では，従来より
sinc 関数を利用した補間処理が利用されている [8]．
本研究では画像に対し一種の多重解像度解析を適用し，画像に由来する特徴成分の類似性を利用し，多重解像度空間で信号を外挿することによる超解像効果を含んだ画像補間法を提案する．単一画像超解像であるが，学習を必要としないため直ちに画像補間を行うことができる利点がある．これまで，
128 × 128 画素の MR 画像を 2 倍に拡大する処理について基本的な検討を行ってきたが [11]，本研究では，128 × 128 画素と 256 × 256 画素の画像を 2倍に拡大する場合について詳細に検討し，そして，提案法による補間画像を従来法および学習型超解像と比較することにより提案法を有効性を検証することを目的とする．

2

スパース表現を利用した画像補間

2.1

eFREBAS 変換(1)

異なる帯域幅を有するバンドパスフィルタ関数

sinc{2πx/(D∆x)}e−j2πmx/(D∆x) によって畳み込まれた形となっている．eFREBAS 変換により展開された像（サブ画像と称する）の位置と周波数空間の領域には対応関係があり，サブ画像群は一種のフィルタバンクを構成する．
2.2

画像補間アルゴリズム

入力画像を I ，フーリエ変換とその逆変換を F ，F −1 ，スケーリング係数 D による eFREBAS 変換とその逆変換を ΨD ，Ψ−1
D ，拡大倍率を r とする補間拡大処理を Lr とする．まず，画像 I に対しスケー
リング係数を D と D + 2 とした eFREBAS 変換
ΨD I と ΨD+2 I をそれぞれ求める．次に，ΨD+2 I
を (D + 2)/D 倍に補間拡大し， L(D+2)/D ΨD+2 ILを得る．式 (3) により，ΨD+2 I の最も外側の帯域
像を切り出し，ΨD I の外側に外挿する処理 Rp を行う．(D + 2)/D 倍に拡大された eFREBAS 変換
像をスケーリング係数 D + 2 で逆変換すると補間拡大された像 IL を得る [11]．
[]IL = Ψ−1(3)
D+2 ΨD I + Rp L(D+2)/D ΨD+2 I

eFREBAS 変換はアルゴリズムの異なる 2 通りのフレネル変換が実質的に異なる標本化間隔を持
つ性質を利用し，入力画像を任意のサイズにスケーリングした画像群（サブ画像と称する）に展開する方法である．入力画像と同サイズの画素数からなり，スケーリング係数は任意の実数を取ることができる．ここで，簡単化のため，一次元信号を扱

図 1 を使用して D = 3 とした場合で式 (3) のアルゴ
リズムを説明する．(a) に示す入力画像 I をスケー
リング係数 D = 3 で eFREBAS 変換した像が (d)であり，D × D の数のサブ画像に分離される．

85

図 1: eFREBAS 変換を利用した画像の補間拡大アルゴ
リズム

Algorithm 1

Image interpoaltion by CSA

1: Input ρ = 1/L, α, β, J0 = IL
2: for i = 1 to number of iteration do
3:
Ig = J k − ρF −1 (v − EF Rk )4:
I1 = proxρ (2α||I||BM 3D )(Ig )5:
I2 = proxρ (2β||ΨIL ||1 )(Ig )6:
I k = (I1 + I2 )/2
7:
J k+1 = I k

図 2: サイズの異なる入力画像に対する eFREBAS 展
開像の相似性: (a) 256×256 画素の画像, (b) 画像 (a) の
eFREBAS 展開像 (D=5), (c) 180×180 画素の画像, (d)画像 (c) の eFREBAS 展開像 (D=5), (e), (f) それぞれ(b) と (d) の黄線上の信号強度分布

8: end for関数がよく，本研究では，スケーリング係数の異なる eFREBAS 変換を使用した．式 (3) により得ら

図 (d) の外側のサブ画像を推定できれば，超解像れた像を下記の制約付き最小化問題を適用する．
{}
1||v−EFIL ||22 +α||ΨIL ||1 +β||IL ||BM3D
argmin2(4)効果を持った画像拡大が可能となる．サブ画像を
展開像の両端に外挿すると，結果として展開像は(D + 2) × (D + 2) のサブ画像から構成されるから，スケーリング係数は D + 2 となる．本研究では，入力画像を D + 2 で eFREBAS 展開した像 (b) の最外郭のサブ画像は，(e) の最外郭に入るべきサブ画像の分布に類似している特徴を利用する．すなわ
ち，サブ画像のサイズを揃えるために (b) の画像を
(D + 2)/D 倍に拡大し．L(D+2)/D ΨD+2 I を作成す
る．次に，緑色の枠で囲んだ最も外側のサブバンド像を抽出する操作 Rp により Rp L(D+2)/D ΨD+2 I を(e) の eFREBAS 信号の外側に外挿する．そして，(e) の信号をスケーリング係数 D + 2 で逆 eFREBAS 変換 (Ψ−1
D+2 ) すれば，補間拡大された像を得ることができる．以後，2 種類のスケーリング係
数 D1 = D と D2 = D + 2 を使用した提案法を
eFREB-SR(D1 , D2 ) と表すことにする．
補間外挿した eFREBAS 信号は，誤差を含むため，スパース性を利用した誤差の軽減を式 (4) により行う．スパース性を与える Ψ の基底は，アーティファ
クト除去の観点から式 (3) で使用したものと異なる

ここで，v は MR 信号，Ψ はスパース化関数，|| · ||BM 3D は Block Matching and 3 Dimensional
Collabolative filter (BM3D)[12] によるノルム，Eは，フーリエ変換空間の信号のうち原点を中心として元画像と同じデータ数だけ抽出する処理を意
味する．
．式 (4) は，異なるノルムを含んだ最小化問題となっている．この複合ノルム最小化問題を解く方法として本研究では，CSA(Composit Split
Algorithm)[13] を用いた．CSA のアルゴリズムを
Algorithm 1 に示す．L は，リプシッツ係数，α, とβ は，L1 ノルムと BM3D ノルムに対する重みである．

3

補間拡大実験

eFREBAS 変換によりスパース化された空間の類似性をみるために，異なる画像サイズの eFREBAS 展開像を比較した．画素サイズが 256×256 と86

180×180 の同種の MR 画像をそれぞれを D=5 で
eFREBAS 展開した像を図 2(b),(d) に示す．なお，
180 点は 256 点のおよそ 5/7 に相当する．eFREBAS
展開図の黄線上の強度分布を図示したものが (e) と(f) である．元画像のサイズは異なるが，eFREBAS
展開したサブ画像は，高信号が現れる位置等で相似性があることがわかる．これは，式 (2) にあるようにバンドパスフィルタ関数で入力画像を畳み込み積分した結果が eFREBAS 展開のサブ画像になることからわかる．入力画像のサイズが異なっても，展開像の輪郭を周波数成分別に分離するサブ画像の分布は相似的な分布になる性質がある．本研究では，図 2(b) の最も外側のサブ画像が未知であるという問題設定において，画像サイズが小さいが同じ展開スケールの eFREBAS 展開像 (d) の最外郭のサブ画像を利用し，拡大画像を生成するものである．
提案手法を使用し，画像中央からの距離に応じて振幅振動の周波数が大きくなるガボールレンズに似たチャート画像の補間拡大を行った．図 3(a) に示
す 256×256 画素の画像を用意し，そのフーリエ変
換信号のうち，中央 128 ×128 点の信号から構成される帯域制限像 (b) を入力の低解像度画像とする画像の補間拡大を行った．画像 (b) アルゴリズム 1 に従い eFREBAS 変換の D = 3 で展開した像の外側に，D = 5 で展開し補間拡大した eFREB-SR(3,5)

図 3: 評価画像の補間拡大結果: (a) 目標とする高分解能
画像 (256×256 画素), (b) 入力画像として使用した (a) の低解像度画像 (128×128), (c) SRCNN, (d) SRMD, (e)sinc 関数補間 (zerofill), (f) eFREBAS-SR (3,5), (a) の赤枠の拡大図と (a) 図の黄線上の振幅分布を示す．

像を作成した．α と β は，スパース化空間と BM3D
処理のしきい値処理にかかわる値である．入力画
像の最大輝度値を 1.0 とするとき，しきい値の終値
は 1.96 × 10−3 (= 0.5 × 1/255) とした．式 (4) の Ψには，画像拡大に使用した基底と異なる eFREBASSRCNN と MS-D-Net では MR 画像ではなく，自然画像で学習したモデルを使用して拡大を行った．
結果を図 3 に示す．細部の構造を見やすくするために，各画像において図 (a) の赤枠部に対応する拡大図を左上に示す．また，図 (a) の黄線部上の振幅分布を下部に示す．拡大図の矢印 A の部分をみると SRCNN は，入力画像 (b) では認識できない細かい縞模様を復元できているが，入力画像のジャギーをそのまま拡大した形となっており縞模様の輝度値変化が滑らかでない．sinc 関数補間は滑らかな補間像が得られているが，縞模様に解像度は
入力画像の (b) と同程度である．(d) の MS-D-Net

変換の D = 4 と 7 の基底を交互に使用した．展開
スケール D = 3 と 5 を使用した場合に 128×128 画
素の拡大像は，214(≈ 128 × 5/3 ) 画素となるが，拡大率を 2 倍とするために補間像のフーリエ変換空間においてゼロフィル外挿を行い，256×256 画素の画像とした．比較のために，MR 信号の外側にゼロ
データを外挿し，逆フーリエ変換することにより得られる sinc 関数補間，ニューラルネットワークを使用した超解像法して SRCNN(Super-Resolution

Convolutional Neural Network) [4] を，深層学習を使用した方法として MS-D-Net(The mixed-scaledense convolutional network)[7] を使用した補間を実施した．このチャート図は人工的な画像なので

87

表1
methodり高い PSNR と SSIM 値を示した．MS-D-Net は，各画像補間法の PSNR と SSIM
128 → 256
256 → 512

比較した補間法の中で平均的に最も高い PSNR で

PSNR

SSIM

PSNR

SSIM

あり，補間に伴う誤差が少ないことがわかる．提案

28.08
26.56
28.38
28.48
29.32
29.21
28.63

0.95350.93790.95730.95490.9621
0.96140.9556

31.73
30.38
31.77
31.81
32.38
32.26
31.83

0.94880.93650.95000.9516
0.95230.95270.9500法では，eFREB-SR(1,3) が eFREB-SR(3,5) とも

eF-SR(1,3) と eF-SR(3,5) は，それぞれ eFREB-SR(1,3) と用し，スパース化された空間における分布の相似

eFREB-SR(3,5) を示す．

性を利用した画像拡大法について検討を行った．分

Sinc
Bicubic
ScSR
SRCNN
MS-D-NeteF-SR(1,3)
eF-SR(3,5)

高い PSNR 値であったが，eFREB-SR(1,3) の方がやや高い PSNR と SSIM 値を示し，MD-D-Net に近い値が得られた．

まとめ

4

画像のスパース表現として eFREBAS 変換を利

解能評価用に使用した実験と MR 画像を使用した
は (c) のようなジャギーは殆どみられず，細かい振実験とから提案法は sinc 関数補間よりも鮮鋭であ動が復元されている．(f) の提案法による像は sincり，ディープラーニングを使用する MS-D-Net に

関数補間に似て滑らかに補間処理が行われ，かつ比肩する高い PSNR と分解能を有する画像が得ら

sinc 関数補間よりも解像度の高い画像が得られた．
振幅分布の比較では，赤い破線枠の中で SRCNNと MS-D-Net は sinc 関数補間に比べて高い振動成分の復元精度が高く，(b) を超える振動成分が復元されている．(f) の eFREB-SR では，赤枠内 B とC の画像端で振動成分の振幅が (d) や (e) の画像より大きく，さらに良好な復元が行われていることがわかる．
次に MR 像を対象とした画像拡大実験を行った．
学習と評価に使用した画像はすべて文書により同意を得たボランティア像である．ScSR と SRCNN ではキャノンメディカル製 1.5T MRI を使用して撮像された 100 枚の画像を学習に使用した．評価には学習に使用していない 10 枚の画像を使用した．比較法として図 3 で使用した方法に ScSR[3] を加えて画像補間を行った．実験は 256×256 画素と 512×512画素の高解像度画像からそれぞれ 128×128 画素と256×256 画素の低解像度画像を作成し，低解像度画
像を 2 倍に拡大する処理を行った．評価方法は，高解像度画像と補間拡大像の平方平均二乗誤差を画素値の最大値との比を取る PSNR(peak signal-to-noise
ratio)，および画像が持つ構造的な特徴の保存性を評価する SSIM (structural similarity index)[14] を使用した．

れることが示された．今後は，拡大率の変更やさらPSNR = 20 log10

max[IL ]RMSE

なる高分解能化について検討を行う予定である．
謝

辞本研究の一部は，科学研究費助成金 (16K06379,

19K04423) により実施された．また，MR 画像を提供いただいたキャノンメディカルシステムズに感謝の意を表します．
利益相反の有無なし．

文

献[1] Tsai R, Huang T: Multiframe Image Restoration and Registration. Adv Comput Vis Image Process, 1: 317–339, 1984
[2] Stark H, Oskoui P: High-resolution Image
Recovery from Image Plane Arrays, using
Convex Projections. J Opt Soc Am A, Opt
Image Sci, 6: 1715–1726, 1989
[3] Yang J, Wright J, Huang T et al.: Image
Super-resolution via Sparse Representation.
IEEE Trans Image Process, 19: 2861–2873,
2010[4] Dong C, Loy CC, He K et al. : Image
Super-resolution using Deep Convolutional
Networks. IEEE Trans on PAMI, 38: 295–
307, 2015[5] Dong C, Loy CC, Tang X : Accelerating theSuper-Resolution Convolutional Neural Network. European Conference on Computer Vision (ECCV): 391–407, 2016

(5)

PSNR と SSIM の評価結果を表 1 に示す．ScSR とSRCNN は，いずれも Bicubic や sinc 関数補間よ88[10] 伊藤聡志, 山田芳文: 拡張 FREBAS 変換を利用した雑音画像の多段階鮮鋭化. 信学論 J93D: 999–1008, 2010[11] 竹間康浩, 柴田光貴, 伊藤聡志: スパースコー
ディングを利用した単一画像超解像に関する検討. 第 37 回日本医用画像工学会大会, OP7-3:
262–268, 2018[12] Davov K, Foi A, Katkovnik V et al.: Eﬃcient
MR image reconstruction for compressed MR
imaging. Medical Image Analysis 15: 2080–
2095, 2007[13] Huan J, Zhang S, Metaxas D: Image denoising by sparse 3D transform-domain collaborative filtering. IEEE Trans Image Proc 16:
2080–2095, 2007[14] Wang Z, Bovik AC, Sheikh HR et al. : Image Quality Assessment :From Error Visibility to Structural Similarity. IEEE Trans. Image Process 13: 600–612, 2004

[6] Shi W, Caballero J, Hszar F et al. :Real-Time Single Image and Video SuperResolution Using an Eﬃcient Sub-Pixel Convolutional Neural Network. 2016 IEEE Conference on Computer Vision and Pattern
Recognition (CVPR): 1874–1883, 2016[7] K Zhang, W Zuo, L Zhang : Learning aSingle Convolutional Super-resolution Network for Multiple Degradations. 2016 IEEE
Conference on Computer Vision and Pattern
Recognition (CVPR): 3262–3271, 2018[8] 高橋哲彦, 瀧澤将宏: MRI 画像再構成のオー
バービュー. Medical Imaging Technology 31:
26–31, 2013[9] Ito S, Yamada Y: Multiresolution Image
analysis using dual Fresnel transform Pairs
and Application to Medical Image Denoising.
IEEE ICIP2003 Map8.7, Barcelona, Spain,
2003

89

Single-image Super Resolution using the Similarity of Sparsified Space

Yasuhiro CHIKUMA*1, Shohei OUCHI, Satoshi ITO*1*1 Graduate School of Engineering, Utsunomiya University

Higher spatial resolution is required in many image processing applications, therefore, super-resolution
has attracted attentions in recent years. If super-resolution can be applied to the sectional image of a living
tissue, it will improve the accuracy of image diagnosis. In this study, a new image magnification method
is proposed and demonstrated, in which the eFREBAS transform is used as sparse coding. Obtained
images were compared with learning based super-resolution method (ScSR) in terms of PSNR and SSIM.
Experiments showed that obtained images in proposed method showed comparative PSNRs and SSIMs
to Deep Learning based method for MR images. In addition, interpolated images have higher resolution
and have much more details of the subject than that of Dictionary based method. These studies indicatethat proposed method is eﬀective for image magnification of medical images.

90OP1-04

微小金属のアーチファクト補正を目的とした
X 線トモシンセシス装置の検討
山川

恵介*1

高橋 啓子*2 中村 正*2

要旨
近年，乳房や整形で用いられる X 線トモシンセシスにおいて，代表的なフィルタ補正逆投影法（Filtered Back
Projection method：以下，FBP 法）[1]では投影データの角度欠損により，金属と軟部組織間等の吸収値差が大きい条件で金属アーチファクトが増加する．これを低減するため，断層画像撮影では画像の金属位置に基づく投影データの補間法が用いられるが，トモシンセシスでは位置毎のアーチファクトのばらつきが大きく画像上の金属抽出が困難であった．報告者は JAMIT2018 にて，全ての投影角度の投影データを仮想 3
次元データとし，3 次元領域拡張法を用いた投影データ金属抽出法を提案したが，ピン等の小さな金属になるほど角度方向の領域拡張の精度が低下する課題があった．そこで小さい金属の抽出精度向上を目的として，投影角度間の金属の相関情報を用いる方法を提案する．整形用固定具を模擬したファントム実験において，周辺領域の画質を維持し高いアーチファクト低減効果が得られたので報告する．
キーワード：トモシンセシス，金属アーチファクト補正

1．はじめにの投影角度で収集される為，角度欠損により近年，乳房や整形外科領域において，X 線

アーチファクトが発生する課題がある．FBP

デジタルトモシンセシス（以下，トモ）装置

法によるトモ画像では，特に金属と骨梁間等が用いられている．DT 装置は，X 線診断装の吸収値差が大きい条件で金属アーチファク

置の検出器を固定または移動させながら，被トが増加する．これを低減する為，X 線 CT

写体を一部の投影角度から撮影し，X 線投影

では画像の金属位置に基づく投影データの補データから被写体の X 線吸収係数を示す断層間法[3]が用いられるが，トモ装置では位置毎像（以下，トモ画像）を得る装置である．DTの金属アーチファクトのばらつきが大きく画装置は近年 CT で用いられる FBP 法の応用に

像上の金属抽出が困難で，境界部の金属アーより，各種診断で臨床応用されている[2]．

チファクト低減が不十分な場合がある．これ

トモ装置は，180 度以上の方向から撮影すまで 3 次元領域拡張法を用いた投影データ金る X 線 CT と比較して，20 度や 40 度の一部

属抽出法を提案している[4]が，ピン等の小さな金属になるほど角度方向の領域拡張の精度――――――――――――――――――が低下する課題があった．そこで小さい金属*1 日立製作所の抽出精度向上を目的として，投影角度間の研究開発グループ〔〒185-8601 国分寺市東恋ヶ窪 1-280〕

金属の相関情報を用いる方法を提案する．整e-mail: keisuke.yamakawa.fd@hitachi.com

形用固定具を模擬したファントム実験におい*2 日立製作所て，周辺領域の画質を維持し高いアーチファ

ヘルスケアビジネスユ

ニット

クト低減効果が得られたので報告する．

91

2．方法

分（矢印 2 箇所）が大きいが，図 2（b）の提従来法[4]では，全ての投影角度θの投影デ案法により低減でき，金属アーチファクトにータ(x, y)から成る仮想 3 次元データ(x, y, θ)

埋もれた組織情報を確認できた．

上で，操作者が金属の一部を代表開始点として選択し，領域拡張法により金属を抽出する．
次に抽出後の金属に対して，周辺情報との差が小さくなるよう投影データの値を抑制する．
金属抑制後の投影データに FBP 再構成を実施後，別途作成した金属画像の位置に基づき，(a) 従来法

トモ画像上の抑制された金属の値を復元する．

(b) 提案法

図 2 ファントムにおける従来法，提案法の比較

これにより FBP 再構成時，金属と周辺情報の差が小さくなる為，金属アーチファクトを低4．まとめ減できる．一方，ピン等の小さな金属になる

本報告では従来の領域拡張ベースの金属抽ほど隣接する投影角度間の金属が不連続とな出法に加えて，相関係数を用いたパターンマることで，角度方向の領域拡張の精度が低下

ッチングにより連続体に変換する角度マッチ

する課題があった．そこで抽出精度を向上す

ング処理法を提案した．本方法により挿入するため，投影角度方向に不連続な金属を擬似る金属の大小によらず，高精度な金属アーチ

的な連続体に変換する．従来法に加えて，零ファクト低減効果を期待できる．

平均正規化相互相関[5]を用いたパターンマ
ッチングにより連続体に変換する角度マッチ

利益相反の有無

ング処理法を提案した．

山川恵介，高橋啓子，中村正は㈱日立製作

X 線透視診断装置 EXAVISTA（日立製）の所の社員である．

トモ機能を用い，X 線の照射条件は管電圧70kV，管電流 160mA，撮影時間 14msec/投影，

販売名：汎用 X 線透視診断装置 EXAVISTA

投影角度 40 度，投影数 75 とした．画像評価

医療機器認証番号：220ABBZX00236000の為，図 1 に示すように整形外科用の人工股

文

献

関節の装着に必要なスクリューとピンを想定［1］Feldkamp, L. A., et al: Practical cone-beam

し，豚の骨に固定したファントムを用いた．

algorithm. J. Opt. Soc. Am, A1, pp612-619,

Pig leg bone Water Pig rib bone

1984［2］H. Machida, et al: Whole-Body Clinical

Screw

Applications

of

DigitalTomosynthesis.

Radiographics, 36(3), pp735-750, 2016［3］W. A. Kalender, et al: Reduction of CT
Metal pin Metal cylindrical column(a) ファントム概観

Artifacts Caused by Metallic Implants.
(b) トモ画像

Radiology, pp576-577, 1987
［4］山川恵介他：X 線トモシンセシス装置に

図 1 ファントム実験

おける金属アーチファクト補正技術の検3．結果

討．第 37 回日本医用画像工学会大会予稿

従来の金属抽出法，提案法において，ピン集：225-226, 2018

周辺を拡大したトモ画像を図 2 に示す．図 2［5］橋本学：テンプレートマッチングの魅力．

（a）の従来法では，X 線源の回転方向に相当

第 19 回画像センシングシンポジウムチする横方向への負値の金属アーチファクト成ュートリアル講演会, 201392

Evaluation of Artifact Correction for Small Metal in X-ray
Tomosynthesis
Keisuke YAMAKAWA*1, Keiko TAKAHASHI*2, Tadashi NAKAMURA*2*1 Hitachi, Ltd. Research & Development Group*2 Hitachi, Ltd. Healthcare Business Unit

The X-ray digital tomosynthesis (DT) image reconstructed by limited projection angles causes severe metal artifacts
compared with CT acquired at over 180 degrees. The region growing (RG) was applied to detect metal in the
projection data. The conventional method which we proposed in 2018 needs accurate metal extraction based on 3D
region growing. The method cannot extract small metals such as pins, because of discontinuity of the metal in 3D
projection data. A novel method is proposed to separate the metal from projection data by combining pattern matching
between neighboring projection angle. The proposed method was compared with the conventional method based on
3D region growing. In the phantom, the proposed method reduced the metal artifact close to metals.

Key words: Tomosynthesis, Metal Artifact Correction93OP1-05

敵対的生成ネットワークを利用した MR 圧縮センシング
再構成の基礎検討大内 翔平*1，伊藤 聡志*1
要旨
MRI の撮像高速化を目的として圧縮センシングが応用されているが，画像再構成には L1-L2 ノルム最小化問題を解く
ための反復処理が必要であり，極めて多くの時間を要する．また，再構成像に人工的な様相が生じる場合がある．
近年では CNN を利用した圧縮センシング再構成が提案されており，再構成像の品質および，再構成時間の面で従前の反復処理を伴う解法よりも優れることから，大きな注目を集めている．本研究では，2 つの CNN を敵対的に学習させる生成モデルである，敵対的生成ネットワーク(Generative Adversarial Network : GAN)を圧縮センシング再構成に適用し，既存の反復的再構成法と比較した画質評価を行った．

キーワード： GAN，圧縮センシング，再構成，CNN

1． はじめに

Network)を利用した CS 再構成の研究が進められ

MRI(Magnetic Resonance Imaging)では，X 線 CTている[4]．CNN による再構成法は，学習に時間と比較して患者への負担を最小限に留めながら，を要することが課題であるが，一度学習を行え

高品質な画像を得ることが可能である．しかし，ば，反復処理を伴わない高速な再構成が可能で撮像には極めて多くの時間を要する問題がある．

あり，これまでに種々の方式が提案されている

これは信号収集に時間を要することに起因して[5][6][7][8]．また，CNN による再構成法は，再構

おり，撮像時間を高速化するための数々の手法

成像の品質と再構成時間の面で，従来の反復的が提案されている．なかでも，圧縮センシング

再構成法よりも優れた性能を示すことが報告さ(Compressed Sensing : CS)[1][2]を MRI の画像再構れており，大きな注目を集めている[9][10]．

成に応用する手法[3]は，大きな注目を集めてい加えて，近年の一般的な画像処理問題では，敵る．CS によれば，サンプリング定理を満足しな

対 的 生 成 ネ ッ ト ワ ー ク (Generative Adversarial

い少数信号からの画像再構成が可能なため撮像

Network : GAN)を利用した研究が盛んである[11]．

時間が短縮化される．しかし，再構成では L1-L2

GAN は元来，ランダムノイズを元に画像を生成

ノルム最小化問題を反復的に解くことから，再する，生成モデルの一種であるが，拘束条件を与構成処理に極めて多くの時間を要する．

えることで生成データの制御を可能とした

一方で，近年では CNN(Convolutional Neuralconditional GAN[12]も存在する．conditional GAN――――――――――――――――――――*1 宇都宮大学大学院 工学研究科
情報システム科学専攻[〒321-8585 栃木県宇都宮市陽東 7-1-2]
e-mail: mt186504@cc.utsunomiya-u.ac.jpの登場により，画像間の変換処理にも GAN が応用[13]され始め，従来の CNN よりも優れた性能を発揮することから GAN の利用が急速に拡大し

94

ている．

て提案されている．

そこで，本研究では再構成像の品質を改善す

3． 圧縮センシング再構成への応用ることを目的として conditional GAN をベースと本研究では，Yang ら[15]が提案した手法をベーした， CS 再構成の基礎検討を行った．既存の反スに，conditional GAN による CS 再構成を行う．

復的再構成法および他の CNN による再構成法と本手法の概要を図 1 に示す．
generator は U-Net[16]の比較検討を通して，本手法の有効性を検討すをベースとした全 16 層の CNN である．前半 8

ることを目的とする．

層が畳み込み，後半 8 層が逆畳み込みであり，各層が Batch Normalization と leaky ReLU を持つ構

2． 敵対的生成ネットワーク(GAN)成である．
一方の discriminator は，
全 11 層の CNN

敵対的生成ネットワーク(GAN)は，Goodfellow

であり，各層が畳み込み・Batch Normalization・ら[11]が提案した，ニューラルネットワーク(NN)leaky ReLU を持つ構成である．各 CNN の出力層を用いた生成モデルであり，generator（生成器）の活性化関数には，generator に hyperbolic tangentと discriminator（識別器）の 2 つの NN から構成

関数を，discriminator に sigmoid 関数を使用してされる．generator は，与えられた教師データに類いる．本手法では，generator にエイリアシングア

似したデータを生成できるように学習を行う．

ーチファクトが重畳されたゼロフィル再構成像

一方の discriminator には，generator が生成したデを与え，アーチファクトを除去した再構成像をータと教師データが共に与えられ，それらを正生成する．discriminator が，この再構成像を教師

しく識別できるように学習を行う．2 つの NN をデータとして与えたフルデータ像と誤認識する

敵対的に学習させることで，最終的にはまで学習を行う．conditional GAN をベースとしdiscriminator が教師データと誤認識するような精た本手法の損失関数は以下で与えられる．𝜃𝐷 , 𝜃𝐺

度のデータを generator で生成することを目指す．

は CNN のパラメータを，𝑥𝑡 はフルデータ像を，

NN による画像処理問題では，CNN を用いる

𝑥𝑢 はゼロフィル再構成像を示している．また，ことが一般的である．GAN においても，画像処

D(x)は discriminator が，xを教師データと識別す

理問題に応用するために，ネットワークに CNNる確率を示している．したがって，generator は式を利用する DCGAN(Deep Convolutional GAN)が(1)を最小化することを目指し，discriminator は式

Radford ら[14]によって提案された．

(1)を最大化することを目指す．
min max ℒ𝐺𝐴𝑁 (𝜃𝐷 , 𝜃𝐺 )また，GAN の NN にテキストや画像などの情𝜃𝐺

𝜃𝐷報を拘束条件として与えることで，特定の入力= 𝔼𝑥𝑡~𝑝𝑡𝑟𝑎𝑖𝑛(𝑥𝑡) [log 𝐷𝜃𝐷 (𝑥𝑡 )]データに対して所望の処理を施した出力が得ら+ 𝔼𝑥𝑢 ~𝑝𝐺 (𝑥𝑢 ) [− log(𝐷𝜃𝐷 (𝐺𝜃𝐺 (𝑥𝑢 )))]れる GAN(conditional GAN)が Mirza ら[12]によっ(1)

本手法の generator では式(1)の右辺第 2 項に加え，フルデータ像と generator による再構成像の画像
空間・信号空間での平均二乗誤差と perceptualloss[17]の計 4 要素の和を損失関数として用いる．
perceptual loss の導出には，ImageNet で学習を行った VGG16[18]を使用した．

図 1 GAN による再構成ネットワークの概要図

95

4． 画像再構成シミュレーション
4.1 学習・検証および再構成用画像
本研究では GAN の学習・検証および再構成のテストに IXIdataset[19]に含まれる頭部のプロトン密度強調像を使用した．使用した画像はいず
れも Philips 製の 1.5T の MRI を用いて撮像され

図 2 信号収集点分布: (a)2 次元ランダム収集，ており，画像サイズが 256×256 の位相情報を持(b)1 次元ランダム収集

たない絶対値画像である．また，学習と検証には

4.3 画像再構成

100 名分の計 12,955 枚の画像（学習用に 70%,

2 次元ランダム収集を適用した際の再構成結検証用に 30%を使用）を，再構成には 1 名分の果を図 3 に，1 次元ランダム収集を適用した際の計 40 枚の画像を使用した．

再構成結果を図 4 に示す．
また，再構成像の PSNR,SSIM を表 2 に示す．

学習時のデータセットは，入力データをゼロ
フィル再構成像，教師データをフルデータ像と2 次元ランダム収集を適用した場合，ISTA でする．ゼロフィル再構成像は，フルデータ像の k

は被写体構造を概ね復元できたが，平滑化が目空間に対して図 2 に示す 2 次元ランダム収集お立っていた．GAN による再構成では，アーチフ

よび 1 次元ランダム収集を適用し，信号の非収ァクトの残留および，被写体構造の損失が見ら集点にゼロデータを挿入して作成した．いずれれたが，ISTA よりも再構成像が鮮鋭であった．

の信号収集点分布も，信号量は 40%である．

1 次元ランダム収集を適用した場合，ISTA では
平滑化処理の影響が強く，脳溝が潰れている箇所も見られた．GAN による再構成では，アーチ

4.2 既存手法との比較

ファクトの残留が僅かに見られるものの，被写本研究では，GAN による再構成法との比較として，既存の反復的再構成法である，反復的ソフ体構造は良好に描出できていた．

トしきい値法(ISTA)[3]による再構成を行った．再表 2 より，1 次元ランダム収集では GAN によ

構成像の画質評価には PSNR(Peak Signal-to-Noise

る再構成像の PSNR, SSIM が ISTA を上回る結果

Ratio)と SSIM(Structural SIMilarity index)[20]を使

となった．

用した．

5． 考察

また，本研究では表 1 に示す環境の計算機を使

図 3 および図 4 の再構成結果より，反復的再構用しており，GAN の学習・再構成には GPU を使成法である ISTA では，平滑化が目立っていた．

用した．GAN の学習には，約 8 時間を要した．

反復的再構成法では，再構成処理の際に Total
Variation を行うが，この影響が強く現れたことに起因する．

表 1 計算機環境
CPUIntel Core i7-7700 (3.6GHz)

RAM

32GB (DDR4-2400)

GPU

NVIDIA GeForce GTX1080Ti

Software

Python 3.5
Tensorflow 1.10.0
CUDA Toolkit 9.0 / cuDNN 7.0.5

GAN では，
2 次元ランダム収集を適用した場合，被写体構造の保存性が 1 次元ランダム収集を適用した場合より劣っていた．これは，CNN に入力したゼロフィル再構成像の被写体構造の消失度合いに依存することが原因である．ゼロフィ

96

[5] Han Y, Ye JC : k-Space Deep Learning for
Accelerated MRI, arXiv:1805.03779v1

ル再構成像に生じるアーチファクトは，2 次元ランダム収集ではインコヒーレントであるが，1 次[6] Lee D, Yoo J, Tak S et al: Deep Residual Learning
for Accelerated MRI Using Magnitude and Phase
Networks. IEEE Transactions on Biomedical
Engineering, 65 : 1985-1995, 2018

元ランダム収集ではコヒーレントである．生じるアーチファクトの性質の違いにより，ゼロフィル再構成像における被写体構造の保持に関し[7] Zhu B, Liu JZ, Cauley SF et al: Image
reconstruction by domain-transform manifold
learning. Nature, 555 : 487-492, 2018ては，1 次元ランダム収集を適用した方が良好であり，CNN での再構成処理が 2 次元ランダム収[8] Akҫakaya M, Moeller S, Weingärtner S et al:
Scan-specific Robust Artificial-neural-networks
for k-space Interpolation (RAKI) reconstruction:
Database-free Deep Learning Reconstruction for
Fast Imaging. Magnetic Resonance in Medicine,
81 : 439-453, 2019

集よりも容易であったと考えられる．
6． まとめ本研究では，敵対的生成ネットワーク(GAN)を用いた Image Domain Learning による圧縮センシ[9] Han Y, Yoo J, Kim HK et al: Deep Learning with
Domain Adaptation for Accelerated ProjectionReconstruction MR. Magnetic Resonance in
Medicine, 80 : 1189-1205, 2018

ング再構成について，基礎検討を行った．シミュレーションの結果，再構成に成功し，GAN による再構成法の有効性を確認できた．今後は画質[10] Schlemper J, Caballero J, Hajnal JV et al: A Deep
Cascade of Convolutional Neural Networks for
Dynamic MR Image Reconstruction. IEEE
transactions on Medical Imaging, 37 : 491–503,
2018の改善に向けた CNN の調整や学習枚数の増加，様々な信号量での学習等を行う予定である．

[11] Goodfellow IJ, Pouget-Abadie J, Mirza M et al:
Generative Adversarial Nets. the 27th
International Conference on Neural Information
Processing Systems, Montreal, Canada, 2016,
pp.2672-2680

謝 辞本研究の一部は，科学研究費助成(16K06379,
19K04423)により実施された. また, 本研究を遂[12] Mirza M, Osindero S: Conditional Generative
Adversarial Nets, arXiv:1411.1784v1

行する際に利用した IXI Dataset を提供する
Information eXtraction from Images プロジェクト

なし[13] Isola P, Zhu JY, Zhou T et al: Image-to-Image
Translation with Convolutional Adversarial
Networks. the 2017 IEEE Conference on
Computer Vision and Pattern Recognition,
Honolulu, USA, 2017

文 献[1] Donoho DL: Compressed sensing. IEEE
Transactions on Information Theory, 52 : 12891306, 2006[14] Radford A, Metz L, Chintala S: Unsupervised
Representation
Learning
with
Deep
Convolutional Generative Adversarial Networks,
the 4th International Conference on Learning
Representation, San Juan, Puerto Rico, 2016に感謝の意を表する．
利益相反の有無[2] Candès EJ, Wakin MB: An Introduction To
Compressive Sampling. IEEE Signal Processing
Magazine, 25 : 21-30, 2008[15] Yang G, Yu S, Dong H: DAGAN: Deep DeAliasing Generative Adversarial Networks for
Fast Compressed Sensing MRI Reconstruction,
IEEE Transactions on Medical Imaging, 37 :
1310-1321, 2018

[3] Lustig M, Donoho DL, Pauly JM: Sparse MRI:The application of compressed sensing for rapid
MR imaging. Magnetic Resonance in Medicine,
58 : 1182-1195, 2007[16] Ronneberger O, Fischer P, Brox T: U-Net:
Convolutional Networks for Biomedical Image
Segmentation. Medical Image Computing andComputer-Assisted
Intervention,
Munich,Germany, 2015, pp.234-241[4] Wang S, Su Z, Ying L et al: Accelerating
magnetic resonance imaging via deep learning.
IEEE 13th International Symposium on
Biomedical Imaging, Prague, Czech Republic,
2016, pp.514–517

97

[20] Wang Z, Bovik AC, Sheikh HR et al : Image
Quality Assessment: From Error Visibility to
Structural Similarity. IEEE Transactions on
Image Processing, 13: 600-612, 2004[17] Johnson J, Alahi A, Fei-Fei L: Perceptual Losses
for Real-Time Style Transfer and SuperResolution, European Conference on Computer
Vision 2018, Amsterdam, The Netherlands, 2018[18] Simonyan K, Zisserman A: Very deep
convolutional networks for large-scale image
recognition, the 3th International Conference forLearning Representations, San Diego, USA, 2015[19] IXI dataset. https://brain-development.org/ixidataset/

表 2 再構成像の PSNR, SSIM

図 3 2 次元ランダム収集適用時の再構成結果 : (a)フルデータ像，(b)ゼロフィル再構成像，(c)ISTA による再構成像，(d)GAN による再構成像，注目箇所の拡大図を(a)-(d)の右上に示す

図 4 1 次元ランダム収集適用時の再構成結果 : (a)フルデータ像，(b)ゼロフィル再構成像，(c)ISTA による再構成像，(d)GAN による再構成像，注目箇所の拡大図を(a)-(d)の右上に示す

98

MR Compressed Sensing Reconstruction using
Generative Adversarial Network
Shohei OUCHI*1, Satoshi ITO*1*1 Graduate School of Engineering, Utsunomiya University

Compressed Sensing (CS) has been applied to reduce the scan time of MR acquisition. CS image reconstruction requires
an iterative process to solve the L1-L2 minimization problem, so it is more computationally intensive than traditional
inverse Fourier reconstruction. In addition, the obtained image tends to have artificial appearances.
Recently, CNN-CS (Convolutional Neural Network based CS reconstruction) has been proposed. CNN-CS outperforms
traditional CS methods in terms of image quality and reconstruction time.
In this study, we examined CNN-CS using Generative Adversarial Network (GAN) that trains two adversarial CNNs.
Reconstruction experiments showed that proposed method outperforms traditional CS methods.

99OP1-06

Simulation Study of a Novel Brain PET Scanner Using 100-ps
TOF-DOI Sub-millimeter Resolution Detectors
Yingying LI*1，Mitsuo WATANABE*2，Takashi ISOBE*2，Kibo OTE*2，
Takahiro MORIYA*2，Aoi TOKUI*2，Tomohide OMURA*2，Huafeng LIU*1
Abstract
A novel brain PET scanner using 100-ps TOF-DOI sub-millimeter resolution detectors is proposed, and a simulation study is
performed using the Geant4 application for tomographic emission to estimate the physical properties and the image quality ofthe scanner. The detector consists of four layers of independent scintillation detectors with an outstanding TOF capability of
100 ps and true first interaction point (FIP) detection ability. The spatial resolution was measured according to NEMA
standards. To evaluate the image quality of the scanner, we implemented not only excellent spatial and timing resolution, butalso DOI detection with the addition of FIP information. Hot-Derenzo, and NEMA image quality phantom were simulated
and analyzed reconstructed images in terms of image quality. Our proposed PET scanner has the potential to open a new fieldof brain study.

Keywords：brain PET, time-of-flight, depth-of-interaction, first interaction point detection

1. Introduction
Positron emission tomography (PET) is an essential in vivo molecular imaging tool that plays a key role in bothresearch and clinical studies. PET scanners are currently popular in clinical studies, and many efforts have been madeto further improve the performance by using various strategies. An ideal PET scanner is expected to have both ahigh-resolution—less than 0.5 mm full width at half maximum (FWHM) and very close to the limiting spatial
resolution—and as high a sensitivity as possible to achieve excellent image quality.
We developed a brain PET scanner, using independent four-layer depth-of-interaction (DOI) detectors [1]. The
spatial resolution was approximately 0.9 mm over the whole field of view (FOV). The imaging performance wasdemonstrated in a study of the human brain and in preclinical studies, and excellent images were obtained. However,there remains room for improvement and for realizing an ideal PET scanner. To further improve the excellent image
quality, we propose a novel brain PET scanner using 100-ps time-of-flight depth-of-interaction (TOF-DOI)
sub-millimeter resolution detectors with multilayer independent readout structures. This paper describes the proposed
concept and the performance evaluation results of the simulation studies.
―――――――――――――――――――――――――――――――――――――*1 College of Optical Science and Engineering, Zhejiang University〔866 Yuhangtang Rd, Hangzhou 310058, P.R. China〕
E-mail: liyingying@hpk.co.jp*2 Central Research Laboratory, Hamamatsu Photonics K. K., Japan100

2. Materials and Methods
2.1. Brain PET scanner design
A brain PET scanner using 100-ps TOF-DOI sub-millimeter resolution detectors is proposed. The TOF-DOI
detector consists of four layers of a LYSO scintillator array coupled with a multi-pixel photon counter (MPPC) array,
where the scintillator array has 1.0-mm2 crystal segments of 50×50 and the MPPC array has 3.0-mm2 chips of 16×16.
The scintillator thicknesses of the four layers are designed to be 2.5, 3.0, 4.0, and 6.0 mm, respectively, toward thebottom, to achieve not only a higher DOI resolution, but also a coincidence timing resolution (CTR) capability of lessthan 100 ps because the photon transfer time spread in the scintillator decreases. The four-layer structure withindependent readout also allows us to detect the first interaction point (FIP) by analyzing Compton scatterings acrossand between the layers. The brain PET scanner has 96 TOF-DOI detectors arranged in a shape with a
400-mm-diameter detector ring and a 206-mm axial FOV. The major characteristics of the brain PET scanner are
listed in Table 1.
Table 1 Major characteristics of a brain PET
Detector
Detector material
Crystal size (mm)Number of layers
Number of crystals

Photodetector
Number of MPPCs
Ring geometry
Number of detector rings
Ring diameter (mm)Ring pitch (mm)Number of bank
Transaxial FOV (mm)Axial FOV (mm)

LYSO:Ce
1.0×1.0×2.5, 3, 4,and 6 (50×50 array/unit)
4960,000

3.0 mm square MPPC(16×16 array/unit)
98,304206
400
1.0
24 (4 detectors axially)300
206

2.2. Image reconstruction
The reconstruction method for this study is a list-mode dynamic RAMLA (LM-DRAMA) algorithm. Datacorrections, including attenuation and scatter correction, were applied. Images were reconstructed using two iterations
and 40 subsets. To evaluate the influence of TOF and FIP on image quality, the reconstruction images were comparedin four categories, namely TOF and non-TOF for both winner-takes-all (WTA) and FIP. Moreover, to evaluate thebenefit of DOI detection, reconstructed images with and without DOI were also compared. The image matrix size is
120×120×81 with a voxel size of 2.5×2.5×2.5 mm3 unless otherwise noted.
2.3. Simulation studies
All phantoms were estimated by means of a Geant4 application for tomographic emission (GATE) simulation
toolkit [2]. An energy resolution of 10% FWHM at 511 keV and a coincidence time resolution of 100 ps FWHM were
set in the simulation. The energy window and timing window were set to 425-600 keV and 1.5 ns, respectively. As for101

data analysis, ASCII-format Hits and Coincidences were collected, as well as delayed data used for random correction.
Both the WTA policy as the default mode and true FIP achieved using the Hits and Coincidences data were used forthe position of γ-ray detection.
2.3. 1. Reconstructed spatial resolution
Spatial resolution was performed following the NEMA NU2 2018 protocol, but data was reconstructed by
LM-DRAMA instead of the FBP method. The image matrix size is 600×600×411 with a voxel size of 0.5×0.5×0.5
mm3. An 18F point source of 1-MBq activity was placed into each 0.25-mm-diameter water sphere, and the spheres
were placed into a cylinder phantom filled with low-activity as a hot background. According to NEMA,
approximately 200k coincidences were collected at each sphere. The source was placed in six different positions i.e.,
at radial offsets of 10, 25, 50, 75, 100, and 125 mm from the center of the FOV, where two axial positions, namely thecenter and three-eighths of the axial FOV from the center of the FOV, were measured. The FWHM values of the point
source images were determined by fitting the radial profile using a Gaussian function.
2.3. 2. Contrast recovery and noise
The required activity of 18F radioactive water in the NEMA body phantom is approximately 50 MBq to simulate abackground concentration of 5.3 Bq/ml. The phantom includes six spherical water lesions with an activity
concentration eight times that of the background; it was placed in the center of the FOV. A total of 30M coincidences
was collected.
The contrast recovery coefficient (CRC) is defined as:
𝑄𝐻,𝑗 =(

𝐶𝐻,𝑗⁄𝐶 )−1
𝐵,𝑗
× 100%𝛼( 𝐻⁄𝛼𝐵 )−1(1)

where CH,j is the average count in the region of interest (ROI) for each sphere; CB,j the average background ROI countfor each sphere; and aH and aB the activity concentrations in the hot spheres and background, respectively. Following
NEMA, ROIs of the same size as those drawn on the hot spheres were drawn in the background of the phantom on theslices centered on the spheres. Twelve ROIs were drawn in the background of each sphere; thus, sixty ROIs were
calculated as the background value. The NEMA body phantom was reconstructed using LM-DRAMA with
TOF/non-TOF and WTA/ FIP. The CRC and background variabilities thereof were compared.
2.3. 3. Imaging phantom
A hot-Derenzo phantom was simulated; it was subdivided into six sectors with rod diameters of 1.7, 2.4, 3.5, 4.7,
6.0, and 7.1 mm built into a cylinder phantom with a diameter of 150 mm and height of 37 mm, the source wasback-to-back gamma with an energy of 511 keV, and the activity for each rod was 5 kBq. Images were reconstructedusing LM-DRAMA with not only TOF/non-TOF and WTA/ FIP, but also DOI/non-DOI.

102

3. Results
3. 1. Reconstructed spatial resolution
The spatial resolutions reconstructed with the LM-DRAMA for TOF of both WTA and FIP are shown in Fig. 1. Our
proposed brain PET system with FIP detection achieved an excellent spatial resolution of the sub-millimeter order inthe whole FOV, except for the 125-mm radial distance, especially of less than 0.5 mm FWHM within the 50-mm
radial distance.

Fig. 1 Spatial resolution of point sources at different radial and axial positions.
3. 2. Contrast recovery and noise
The percentage contrast recovery coefficients for each hot sphere and the percentage background variability values
are shown in Table 2. Comparison of the TOF with non-TOF values in both WTA and FIP shows that the TOF
reconstruction obviously reduced the background variability by more than half. Moreover, the TOF reconstruction led
to a better contrast recovery than non-TOF. In addition, the results show that FIP improved the contrast recovery andbackground uniformity for both TOF and non-TOF.
Table 2 Contrast recovery coefficient and background variability for 8:1 sphere-to-background ratio
Sphere
Size
(mm)
10
13
17
22
28
37

Contrast (%)
TOF
28.43
30.30
33.29
37.53
48.06
54.69

WTA
non-TOF
28.43
27.98
32.50
34.76
47.12
49.18

TOF
35.26
42.43
40.12
51.79
57.50
53.60

FIP
non-TOF
33.56
38.88
38.86
43.5
56.75
53.43

Background variability (%)
WTA
FIP
TOF
non-TOFTOF
non-TOF
10.68
22.99
8.23
17.34
9.81
17.07
7.54
14.09
10.76
18.02
7.16
14.75
8.49
14.95
7.91
16.09
7.68
14.43
7.99
14.56
5.79
14.15
6.31
13.23

3. 3. Imaging phantom
The TOF, non-TOF, and non-DOI images of the hot-Derenzo phantom centered at the FOV are shown in Fig. 2.
The DOI reconstruction significantly improved the image quality, which is easily observed in the smallest diameter103

rods of 1.7 mm, even in the peripheral region. Compared to non-TOF, TOF provided clear edge information,
particularly for rods with a radius of 7.1 mm, as indicated by the arrows in the image. From a visual perspective,
images with FIP information have a better image quality such that even the rods with a radius of 1.7 mm are moreclearly separated compared to the images with WTA.

Fig. 2 TOF, non-TOF, non-DOI reconstructed images of the hot-Derenzo phantom centered at FOV. Rod diametersare 1.7, 2.4, 3.5, 4.7, 6.0, and 7.1 mm.
4. Discussion and Conclusion
Simulation studies were performed to evaluate the spatial resolution and image quality of our proposed brain PET
scanner. The simulation studies confirm that the described system design achieved an excellent spatial resolution of
the sub-millimeter order, especially of less than 0.5 mm FWHM within a 50-mm radial distance. Furthermore, thehot-Derenzo phantom was reconstructed and the results show that the system was able to clearly resolve hot rods withradius of 1.7 mm up to a radial distance of 75 mm. For the NEMA body phantom, the TOF reconstruction with 100 ps
homogenized the background by more than half, and led to better contrast recovery than that with non-TOF.
Additionally, FIP detection improved the contrast recovery and background uniformity compared to that with WTA.
In conclusion, the results demonstrate that our proposed brain PET scanner using 100 ps TOF-DOI sub-millimeter
resolution detectors has the potential to realize high imaging performance.
Competing interests
The authors declare no competing interests associated with this manuscript.
References［1］Watanabe M, Saito A, Isobe T, et al.: Performance evaluation of a high-resolution brain PET scanner using four-layer MPPC
DOI detectors. Phys Med Biol 62: 7148-7166, 2017［2］Jan S, Santin G, Strul D, et al.: GATE - Geant4 Application for Tomographic Emission: a simulation toolkit for PET and
SPECT. Phys Med Biol 49: 4543-4561, 2004

104

OP1-07

サイクル損失を用いた 3 次元胸部 CT 像の超解像
河合良亮*1，斉藤篤*1，木戸尚治*2，稲井邦博*3，
木村浩彦*3，清水昭伸*1
要旨
多くの超解像技術では低解像度(Low Resolution ; LR)画像とそれに対応した高解像度(High Resolution ; HR)
画像を用いている．しかしこの画像組を大量に用意することは困難である．本稿では，深層学習ベースの超解像処理にサイクル損失を定義し，対応付けのない LR 画像と HR 画像を用いて超解像を実現する方法について報告する．従来の超解像処理では，ResNet を超解像のための生成器，CNN を偽物と本物の HR を識別する識別器とし，GAN の枠組みを利用して最適化するが，提案法では LR の再構成損失をサイクル損
失とし，それを含む損失全体の最小化により ResNet を訓練した．この方法を実際の胸部 CT 像に適用して8 倍の超解像を行い，結果を評価した．本稿では，対応付けのある画像組を用いた超解像との比較も行いな
がら，提案法の有効性と限界について議論する．
キーワード：超解像，非対応画像組，サイクル損失，GAN，CT 画像

1．はじめに3 次元 CT 像は胸部の診断や治療において重要な情報源である[1]．正確な画像診断のためには，解像度が高いことが望まれるが，撮影装置の制約により十分な解像度が得られるとは限らない．そこで，低解像度（Low-Resolution : LR）
画像から高解像度（High-Resolution : HR）画像
を復元する超解像技術が注目されている．
超解像技術には辞書ベースの手法[2][3]と深層学習ベースの手法[4][5]が存在する．一般に深層学習を用いた手法の性能が高く，例えば，3DSRGAN[4]は辞書ベースの手法での問題点であるボケを抑制し，精度を向上させている．しかし，多くの手法では，LR 画像とそれに対応する
HR 画像の画像組を必要とし，この画像組を得るためには，生前に臨床用 CT，死後に摘出標本のマイクロ CT を撮影する必要があり，容易ではない．

本稿では LR と HR の画像組を用いない超解像処理について述べる．具体的には，従来の 3DSRGAN[4]の生成器である ResNet の損失関数に，
実 LR 画像と生成した LR 画像との差をサイク
ル損失[5]として組み込む．また，実際の CT 像に適用して性能を評価した結果について報告
する．
2．サイクル損失提案手法では，式(1)，(2)の損失関数を反復的に最適化する．
max [ 𝐸𝐼𝐻𝑅 ~𝑝𝑑𝑎𝑡𝑎(𝐼𝐻𝑅 ) [𝑙𝑜𝑔𝐷𝜃𝐷 (𝐼 𝐻𝑅 )] +𝜃𝐷𝐸𝐼𝑇𝑟𝑖~𝑝𝑑𝑎𝑡𝑎(𝐼𝑇𝑟𝑖) [𝑙𝑜𝑔 (1 − 𝐷𝜃𝐷 (𝐺𝜃𝐺 (𝐼 𝑇𝑟𝑖 )))]] (1)𝑆𝑅

min𝜃𝐺𝑆𝑅 ,𝜃𝐺𝑑𝑤

[𝐸𝐼𝑇𝑟𝑖 ~𝑝𝑑𝑎𝑡𝑎(𝐼𝑇𝑟𝑖) [log (1−𝐷𝜃𝐷 (𝐺𝜃𝐺 (𝐼 𝑇𝑟𝑖 ))) +𝑆𝑅

𝜆𝐴 ‖𝐺𝑑𝑤 (𝐺𝑆𝑅 (𝐼 𝑇𝑟𝑖 )) − 𝐼 𝑇𝑟𝑖 ‖ ]]1――――――――――――――――――(2)

式中の𝜃𝐷𝐻𝑅 ，𝜃𝐺𝑆𝑅 ，𝜃𝐺𝑑𝑤 はそれぞれ識別器，生成器のパラメータであり，𝐼 𝐻𝑅 ，𝐼 𝑇𝑟𝑖 は一辺のサイズが 32voxel の実 HR パッチ画像と実 LR パッチ画像である．ここでパッチ画像とは，一辺のサイズが 32voxel の部分画像であり，GPU のメ
モ リ の 制 約 な ど に よ り 用 い た ． 𝑝𝑑𝑎𝑡𝑎 (𝐼 𝐻𝑅 ) ，
𝑝𝑑𝑎𝑡𝑎 (𝐼 𝐿𝑅 )は𝐼 𝐻𝑅 ，𝐼 𝑇𝑟𝑖 の確率分布であり，𝐷𝜃𝐷 は実
HR 画像である確率[0,1]である．𝐺𝜃𝐺 は HR 画

*1 東京農工大学大学院工学研究院〔〒184-8588 東京都小金井市中町 2-2416〕
e-mail: s195357s@st.go.tuat.ac.jp*2 大阪大学大学院医学系研究科*3 福井大学医学部

𝑆𝑅

105

像の生成関数で𝐺𝑑𝑤 は LR 画像の生成関数，𝜆𝐴 は重みである．ここで式(2)の 2 項目がサイクル損失である．𝐼 𝑇𝑟𝑖 を入力とし，変換-逆変換を経た
生成 LR パッチ画像と𝐼 𝑇𝑟𝑖 の L1 ノルム最小化を目指している．
3．実験条件及び実験結果の学習画像には 8.3%含まれていたが，HR 用の学習画像には 0.53%の割合でしか含まれておらず，図 1 の様な構造は，HR の学習画像に特に不十分であることが分かった．このことが，超解像の精度が悪い理由の一つであると考えられる．

実験には，肺のマイクロ CT 像（一画素のサ

4．まとめ

イズ：0.070×0.066×0.070mm）使用した．LR 画
像はこの画像を一様平滑化後（8×8×8voxel），

本稿では，3DSRGAN にサイクル損失を新たに

8 画素おきにサンプリングした．また，学習用

組み込むことで，LR と HR の対応する画像組がの HR 画像と LR 画像は対応関係を持たないよ

不要の超解像処理について述べた．今後は，対うに異なる部位から収集した．テストでは同様

応組がある場合と比較して，不自然なアーチフの手順で作成した LR 画像を入力として 8 倍のァクトが見られる点や，解剖構造の正確な復元

超解像を行った．サイクル損失の重み𝜆𝐴 は 5 とができていない点が課題である．そのため，学10 を 試 行 し た ． 最 適 化 法 は Adam[6] (α =習データ数を増やす工夫や LR，HR に同程度の10−5 , β1 = 0.9, β2 = 0.999)を用いた．

解剖構造を含むような収集方法の改善，解剖構

実験結果を図 1，評価値（PSNR）を表 1 に示す．

造を多く含むパッチ画像に対して重みをつけて学習をする予定である．
謝辞
日頃から熱心にご討論いただく東京農工大
学(a)実 HR 画像

清水昭伸研究室の各位に深謝いたします．

利益相反の有無(b)提案手法(𝜆𝐴 = 10)

無
文
［1］

献

中村彰太:胸部外科への臨床応用;
MicroCT と肺．橋爪誠編:多元計算解剖学の基礎と臨床への応用．誠文堂新光(d)提案手法(𝜆𝐴 = 5)(c)画像組社，東京，2018, pp228-232

図 1 実験結果
表１

画像組
PSNR[dB]

24.9

［2］

評価値

提案手法
(𝜆𝐴 =10)23.7

石田純也 他: 肺の 3 次元 CT 像からの光学画像合成に関する研究. 東京農工

提案手法
(𝜆𝐴 = 5)23.5

大学，修士論文，2017［3］

H. Chang, D.-Y. Yeung, and Y. Xiong:
Super-resolution

図 1(b)(c)の矢印が示す通り，従来の超解像にthroughneighborembedding, In CVPR, 01:275-282, 2004.

比べて提案手法の超解像はエッジ付近にアー［4］チファクトが発生し，再構成精度が悪いことがTozawa K, et al. :Super resolution of a lung

わかる．そこで，テスト画像と学習画像の類似

CT volume using a generative adversarial

性を評価した．具体的には，まず，図 1 のテス

network”, in CARS., 2018［5］

ト画像の解剖構造を含む局所領域を解剖構造

Yuan Yuan et al., :Unsupervised Imageが約半分になるまで画像上で平行移動させなSuper-Resolution

がら，濃度値の標準偏差と平均の変化を測定しGenerative Adversarial Network ， CVPR

た．次に，その変化の範囲内に含まれる学習画

workshop,2018［6］

像の局所領域の割合を求めた．その結果，LR 用

using

Cycle-in-Cycle

D. Kingma and J. Ba, :Adam: A method forstochastic optimization,” In ICML, 2015.

106

Super-Resolution of a thoracic CT volume using cycle loss
Ryosuke KAWAI*1, Atsushi SAITO*1 , Shoji KIDO*2, Kunihiro INAI*3
Hirohiko KIMURA*3, Akinobu SHIMIZU*1*1 Institute of Engineering, Tokyo University of Agriculture and Technology*2 Graduate School of Medicine, Osaka University*3 Faculty of Medical Sciences, University of Fukui

It is difficult to collect a lot of paired images of low resolution (LR) and high resolution (HR) that are commonly usedin the most of the existing super resolution techniques. This paper presents a method that employs a cycle loss which
does not require paired LR and HR images. Our previously proposed super resolution method used GAN to train
ResNet as a generator and CNN as a discriminator. In contrast, the proposed method trains ResNet whose loss function
includes the cycle loss that evaluates reconstruction errors of LR image. We applied the proposed method to a thoracic
CT volume to achieve eight times super resolution and evaluated the performance. This paper compares the resultswith those using paired images and discusses the effectiveness and limitations of the proposed method.

Key words: Super-Resolution, unpaired images, Cycle loss, GANs, CT image107

OP1-08

Cycle GAN を用いた胸部 CT 画像のドメイン変換とその識別システムへの応用
三宅

将司*1

間普 真吾*1

呉本

木戸 尚治*2

尭*1 平野 靖*1

要旨
昨今，デジタル医用画像機器の発達により，膨大な量の医用画像が取得できるようになった．大量の医用画像を用いて機械学習を行い，医療診断のセカンドオピニオンとして利用するコンピュータ支援診断(Computer-Aided Diagnosis, CAD)の研究も活発に行われている．様々な医療機関で汎用的に使えるコンピュ
ータ支援診断システムを構築することは重要であるが，実際には医療機関によって画像の撮影条件が異なるため，診断の精度が変動する可能性がある．したがって，ある医療機関でよい診断性能を示したシステ
ムが他の医療機関で同じ性能を示すとは限らない．本研究では，ある医療機関で撮影された胸部 CT 画像
を用いて学習を行った画像診断システムを，他医療機関でも使えるようにするため，他医療機関で撮影された胸部 CT 画像のドメイン変換，すなわち学習済みの診断システムに適した画像に変換することを目的とする．
キーワード：深層学習，標準化，GAN， 胸部 CT，識別1．はじめにえるコンピュータ支援診断システム の開発が

近年 のデ ジタル医用画像機器 の発 達によっ望まれているが，医療機関によって画像の撮影て，膨大な量の医用画像が取得できるようにな

条件が異なるため診断の精度が変動 する可能った．それに伴い，大量の医用画像を用いて機性がある．

械学習を行い，医療診断のセカンドオピニオン

CAD システムの構築には画像処理や画像認として利用するコンピュータ支援診断

識の技術が使われているが，近年，画像認識の(Computer-Aided Diagnosis, CAD)の研究も活発

研究分野において畳込みニューラル ネットワに行われている．様々な医療機関で汎用的に使ークの研究が急速に発展し，CAD システムの構築にも応用が進んでいる[1]．しかし，ニューラ――――――――――――――――――

ルネットワークの学習には，大量の教師ラベル

連絡先:付き医用画像データが必要となる問題がある．

間普真吾，山口大学大学院創成科学研究科

また，医療機関によって医用画像の撮影条件は〔〒755-8611 宇部市常盤台 2-16-1〕

異なるため，CAD の診断精度が変動する可能性

Tel/Fax0836-85-9519，mabu@yamaguchi-u.ac.jpがある．例えば，CT 装置の違いや設定の違いに*1 山口大学大学院創成科学研究科電気電子

よって画素値が異なる．したがって，CAD があ

情報系専攻

る医療機関でよい診断性能を示したとしても，*2 大阪大学大学院医学系研究科人工知能画

他の医療機関で同じ性能を示すとは限らない．

像診断学共同研究講座

その場合，CAD の再学習が必要であり，学習の投稿受付：2019 年 5 月 15 日

108

ためには医療機関ごとに大量の訓練 データを作成する必要がある．これでは，様々な医療機関で広く使いやすいシステムとは言えず，本問題の解決が必要である．
本研究では，ある医療機関で撮影された胸部CT 画像を用いて学習を行った画像診断システ
ムを，他医療機関でもそのまま使えるようにするため，Cycle GAN を用いて胸部 CT 画像のドメイン変換を行うことを目的とする．

図 2 胸部 CT 画像の例
2．提案手法図 1 に提案手法の概要を示す．本研究では，び ま ん 性 肺 疾 患 の 陰 影 分 類 を 例 に ， Cycle

ドメイン A，B の胸部 CT 画像には 6 つの陰影パターン[浸潤影，粒状影，肺気腫，すりガラス
陰影，蜂巣肺，正常]が含まれている．

GAN[2]を用いて胸部 CT 画像のドメイン変換を

ドメイン A，B の胸部 CT 画像を 32×32[pixel]行う手法を提案する．具体的には，山口大学医学部附属病院で撮影された胸部 CT 画像(以降，
ドメイン A と呼ぶ)の条件を標準と定義し，大の関心領域 (Region of Interest, ROI)に分割し，これを Cycle GAN の学習に用いる． 各 CT 画
像には，各陰影の箇所を示したマスク画像が用

阪大学医学部附属病院で撮影された胸部 CT 画

意されている．なお，マスク画像は 3 名の放射像(以降，ドメイン B と呼ぶ)を Cycle GAN によ

線科医の指導のもと作成されている．マスク画ってドメイン A の条件に変換(標準化と呼ぶ)す

像の左上からストライドさせつつ 32×32[pixel]

る方式とする．ドメイン変換後の陰影識別器との領域を調査し，領域中に各陰影を示すマスク

して Residual Network (ResNet)[3]を用い，ResNet

領域が 5 割以上含まれる場合，対応する胸部 CTはドメイン A の画像データで学習を行う．標準

画像から同領域を抽出して ROI 画像とする．

化の有無によってドメイン B の画像の識別精度

2）Cycle GAN による標準化に差があるかを検証する．同様に，ドメイン B

Cycle GAN とは，2 つのドメイン間の変換をを標準にした場合も検証する．

行う生成モデルの一種である． Cycle GAN の

1）関心領域画像(ROI 画像)の作成

構 造 を 図 3 に 示 す ． Cycle GAN は 2 つ の本研究では，山口大学医学部附属病院で撮影

Generator と Discriminator から構成される．ここされた胸部 CT 画像 503 枚と，大阪大学医学部

で，変換に用いるデータ群をそれぞれドメイン附属病院で撮影された胸部 CT 画像 636 枚を使A，ドメイン B と呼ぶことにし，ドメイン A か用して画像の標準化を行う．それぞれの病院でらドメイン B に変換する Generator を G， ドメ

撮影された胸部 CT 画像の例を図 2 に示す．

イン B からドメイン A に変換する Generator をF， 本物の A か変換された偽の A かを見分ける Discriminator を DA， 本物の B か変換された
偽の B かを見分ける Discriminator を DB と定義する．Generator は Discriminator に正しく分類されないようにデータを生成するよう 学習し，
Discriminator は本物のデータか偽のデータかを正しく分類できるように学習していくことで，

図 1 提案手法の概要

109

ここで，λ1 と λ2 はバイアス項であり，本実験ではそれぞれ 10，5 と設定した．G と F は，式(5)で表される目的関数を満たすように 学習を行う．
𝐺 ∗ , 𝐹 ∗ = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝑚𝑎𝑥 𝐿(𝐺, 𝐹, 𝐷 , 𝐷 ),この Cycle GAN にドメイン A とドメイン B

図 3 Cycle GAN の構造(Unpaired Image-toImage Translation

using

(5)

の変換を学習させることで標準化を行う．Cycle

Cycle-Consistent

GAN への入力は作成した ROI 画像である．

Adversarial Networks より[1])3）ResNet による性能評価

ドメイン間の変換を学習していく．G ，F， DA，Cycle GAN によって標準化された画像を評価

DB の学習には，式(1)から式(3)に示す損失関数するために，ResNet を用いる．ドメイン A を標を用いる．

準とする場合，Cycle GAN による標準化の有効𝑳𝑮𝑨𝑵 (𝑮, 𝑫𝑩 , 𝑨, 𝑩) = 𝑬𝒃~𝒑𝒅𝒂𝒕𝒂(𝒃) [𝒍𝒐𝒈 𝑫𝑩 (𝒃)]性を確認するために，まず ResNet をドメイン A+𝑬𝒂~𝒑𝒅𝒂𝒕𝒂(𝒂) [𝐥𝐨𝐠( 𝟏 − 𝑫𝑩 (𝑮(𝒂)))]のデータを用いて学習を行う．そして，Cycle

𝑳𝑮𝑨𝑵 (𝑭, 𝑫𝑨 , 𝑩, 𝑨) = 𝑬𝒂~𝒑𝒅𝒂𝒕𝒂(𝒂) [𝒍𝒐𝒈 𝑫𝑨 (𝒂)]GAN で標準化を行ったドメイン B と標準化を+𝑬𝒃~𝒑𝒅𝒂𝒕𝒂(𝒃) [𝐥𝐨𝐠( 𝟏 − 𝑫𝑨 (𝑮(𝒃)))](1)

行っていないドメイン B の画像を，ドメイン A

𝑳𝒄𝒚𝒄 (𝑮, 𝑭) = 𝑬𝒂~𝒑𝒅𝒂𝒕𝒂 (𝒂) 𝑭 𝑮(𝒂) − 𝒂𝐿+𝑬𝒃~𝒑𝒅𝒂𝒕𝒂(𝒃) 𝑮 𝑭(𝒃) − 𝒃(𝐺, 𝐹) = 𝐸 ~( ) [‖𝐺(𝑏) − 𝑏‖]で学習した ResNet を用いて 6 クラス分類を行(2)

い，Accuracy，Precision，Recall，F 値に差があるかどうかを検証する．また，ResNet に入力す(3)

るデータの前処理として，z-score normalization

式(1)の損失関数を最小化することでドメイン

ま たは min-max normalization を 行う ．z-score

変換の学習を行っていくが，この損失関数だけ

normalization とは，データの平均を 0，標準偏ではどのような入力画像に対しても 同じ出力

差 を 1 と す る 正 規 化 法 で あ る ． min-max

パターンをマッピングするように学 習してしnormalization とは，全データの最小値を 0，最まうため，式(2)と式(3)の損失関数を導入する．

大値を 1 とする正規化法である．

( ) [‖𝐹(𝑎) − 𝑎‖]+𝐸式(2)は Cycle Consistency Loss と呼ばれるもの
で，Generator が生成したデータを入力として再3．実験結果構成された生成データと，元のデータが一致す

1）使用データセット

るように制約をかけている．これにより，ドメ

ROI 画像を生成する際にクラスごとのストラ

イン間に共通する構造をできるだけ 保つよう

イド幅を統一してしまうと，ROI 画像の枚数にに学習するようになる．式(3)は Identity Mapping

大きな偏りが生じてしまう．そのため，本研究Loss と呼ばれるもので，Generator に対象のドメ

では陰影パターンごとにストライド 幅を調整

インでないデータを入れた際に何も 変換しなすることで ROI の枚数を各クラス 3000 枚程度

いように制約をかけている．これにより，入力に揃えた．表 1 に陰影パターンごとに設定したと出力間の色の情報を維持すること ができる

ストライド幅と ROI 画像の枚数を示す．生成しようになる．

た ROI 画像には陰影パターンの教師ラベルを最終的な損失関数を式(4)に示す．
𝐿(𝐺, 𝐹, 𝐷 , 𝐷 ) = 𝐿+𝐿(𝐹, 𝐷 , 𝐵, 𝐴)+𝜆 𝐿(𝐺, 𝐹)

+𝜆 𝐿

付与した．

(𝐺, 𝐷 , 𝐴, 𝐵)(𝐺, 𝐹)

2） Cycle GAN による標準化
本研究では，Cycle GAN に入力する画像が 32
×32[pixel]と小さいサイズのため，Generator に(4)

おける ResNet の layer 数を 3 とした．また，使110表 1 生成したクラスごとの ROI 画像数と，生成時に設定したストライド幅
ROI 画像数(枚)ストライド幅(pixel)

ドメイン
A

ドメイン
B

ドメイン
A

ドメイン
B

浸潤影

3071

3447

8

11

粒状影

3023

3311

16

14

肺気腫

3122

3021

24

27

すりガラス

3460

3273

12

18

蜂巣肺

3236

3434

13

13

正常

3117

3035

29

32

図 4 ドメイン B の標準化の例

陰影表 2 Cycle GAN の学習に用いた訓練データとテ
ストデータの枚数
訓練データ

テストデータ

図 5 ドメイン A の標準化の例

ドメイン
A

ドメイン
B

ドメイン
A

ドメイン
B

浸潤影

1022

1027

2049

2420

粒状影

1018

1020

2005

2291

3） ResNet の学習結果

肺気腫

1020

962

2102

2059

使 用 し た ResNet の 構 造 は ， 図 6 に 示 す

すりガラス

989

996

2471

2277

Residual Block を 5 つ積層し，4 層目の入力の前に Average Pooling 層を加えたものである．

陰影

蜂巣肺

1003

1021

2233

2413

まず，ドメイン A を用いて ResNet の学習を

正常

1003

1024

2114

2011

行った結果を示す． Resnet の学習には，表 1 で示したドメイン A の粒状影の ROI 画像数に合わせて各クラス 3023 枚の画像を使用した．ま用するデータはグレースケールのため，入力チ

た，そのうち 9 割を訓練データ，1 割をバリデ

ャネルは 1 とし，最適化手法には Adam[4]を用いた．
Cycle GAN の学習に用いたクラス毎の訓練データとテストデータの枚数を表 2 に示す． 表 2に示した訓練データを用いて Cycle GAN を学習させた．ドメイン変換の学習を行った Cycle
GAN による標準化の例を図 4，5 に示す．図 4
はドメイン B をドメイン A に標準化（ドメイン
B→ドメイン A）した結果の例であり，図 5 はドメイン A をドメイン B に標準化（ドメイン A→ドメイン B）した結果の例である．

図 6 Residual Block の構成

111

図 7 ドメイン A を用いた ResNet の学習に

図 9 ドメイン B を用いた ResNet の学習において，min-max normalization を行った時のおいて，min-max normalization を行った時のResNet の Accuracy の推移

ResNet の Accuracy の推移

図 8 ドメイン A を用いた ResNet の学習に

図 10 ドメイン B を用いた ResNet の学習において，z-score normalization を行った時のおいて，z-score normalization を行った時のResNet の Accuracy の推移

ResNet の Accuracy の推移

ーションデータとし，epoch は 100 として学習

わせて各クラス 3021 枚の画像を使用した．まを行った．ResNet に入力するデータの前処理とた，そのうち 9 割を訓練データ，1 割をバリデ

し て min-max normalization を 行 っ た と き のーションデータとし，epoch は 100 として学習

Accuracy の推移を図 7 に示す．epoch100 時の訓を行った．ResNet に入力するデータの前処理と練データに対する accuracy は 0.953，バリデー

し て min-max normalization を 行 っ た と き のションデータに対する Accuracy は 0.894 となっAccuracy の推移を図 9 に示す．epoch100 時の訓

た ． z-score normalization を 行 っ た と き の練データに対する Accuracy は 0.977，バリデー

Accuracy の推移を図 8 に示す．epoch100 時の訓

ションデータに対する Accuracy は 0.933 となっ練データに対する Accuracy は 0.969，テストデた ． z-score normalization を 行 っ た と き のータに対する Accuracy は 0.910 となった．

Accuracy の推移を図 10 に示す．epoch100 時の次に，ドメイン B を用いて ResNet の学習を

訓練データに対する Accuracy は 0.986，テスト行った結果を示す．Resnet の学習には，表 1 でデータに対する Accuracy は 0.937 となった．

示したドメイン B の肺気腫の ROI 画像数に合4） ResNet による標準化前後の性能評価
まず，ドメイン A を標準として，ドメイン B

112

を Cycle GAN で標準化した場合の評価を行っ

表 3 ドメイン B に対する標準化における，min-

た．Cycle GAN で標準化を行っていないドメイ

max normalization を用いた ResNet によって測ン B と標準化を行ったドメイン B の画像を，ド定した性能評価値

メイン A で学習を行った ResNet の入力とし，識別率に差があるかどうか検証した．評価に使ドメイン B の標準化前ドメイン B の標準化後用したデータの枚数は，表 2 に示した Cycle

precision

recall

F値

precision

recallF値

GAN のドメイン B のテストデータに対応して

浸潤影

0.88

0.99

0.93

0．97

0.97

0.97

い る ． 入 力 デ ー タ の 前 処 理 で min-max

粒状影

0.01

0.00

0.00

0.51

0.81

0.63

normalization を用いた場合の性能評価値を表 3

肺気腫

1.00

0.00

0.00

0.56

0.37

0.45

に示す． 表 3 より，ドメイン B の標準化前と

すりガラ

0.13

0.30

0.18

0.89

0.60

0.72

標準化後を比較すると，すべてのクラスにおい

ス陰影

蜂巣肺

0.51

0.99

0.67

0.78

0.83

0.80

正常

0.01

0.00

0.00

0.53

0.53

0.53

Average

0.43

0.41

0.32

0.72

0.70

0.69

て標準化後の F 値が標準化前の値を上回ってい
ることがわかる．また，標準化後の Precision とRecall の値もほとんどが高くなっていることがわかる．標準化前のデータで測定した Accuracy

表 4 ドメイン B に対する標準化における，z-は 0.407，標準化後のデータで測定した Accuracy

score normalization を用いた ResNet によって測は 0.696 であった．入力データの前処理で z-

定した性能評価値

score normalization を用いた場合の性能評価値
を表 4 に示す． 表 4 より，標準化前と標準化ドメイン B の標準化前ドメイン B の標準化後

precision

recall

F値

precision

recallF値

後を比較すると，ほとんどのクラスで標準化後の F 値が標準化前の値を上回っているが，肺気

浸潤影

0.99

0.84

0.91

0.97

0.97

0.97

腫における F 値が低くなっていることがわかる．

粒状影

0.41

0.19

0.26

0.54

0.82

0.66

このことから，ドメイン A とドメイン B 間で肺

肺気腫

0.60

0.85

0.71

0.64

0.35

0.45

気腫の変換規則の獲得が困難であっ たと考え

すりガラ

0.53

0.01

0.02

0.91

0.61

0.72

られる．また，ドメイン B の標準化前のデータ

ス陰影

蜂巣肺

0.21

0.59

0.31

0.79

0.87

0.83

正常

0.12

0.05

0.07

0.52

0.59

0.55

Average

0.49

0.43

0.39

0.74

0.71

0.71

で測定した Accuracy は 0.426，標準化後のデータで測定した Accuracy は 0.713 であった．
次に，ドメイン B を標準として，ドメイン A
を Cycle GAN で標準化した場合の評価を行った．評価方法はドメイン B を Cycle GAN で標なっているといえる．入力データの前処理で z-

準化した場合と同様である．評価に使用したデscore normalization を用いた場合の性能評価値

ータの枚数は，表 2 に示した Cycle GAN のドメ

を表 6 に示す．ドメイン A の標準化前と標準化

イン A のテストデータに対応している． 入力

後を比較すると，粒状影，蜂巣肺，正常のクラデータの前処理で min-max normalization を用い

スでは標準化後の F 値が標準化前より高く，浸た場合の性能評価値を表 5 に示す． 表 5 より，潤影，肺気腫，すりガラス陰影のクラスでは標ドメイン A の標準化前と標準化後を比較する

準化前の F 値が標準化後より高くなっている．

と，すべてのクラスで標準化後の F 値が標準化

F 値の平均も標準化前と標準化後であまり変化前の値を上回っている．また，標準化前のデーがない．また，標準化前のデータで 測定した

タで測定した Accuracy は 0.450，標準化後のデAccuracy は 0.673，標準化後のデータで測定しータで測定した Accuracy は 0.571 であった．以

た Accuracy は 0.632 であった．以上より，標準上より，すべてのクラスにおいて標準化後のデ化後のデータによる識別性能が，標準化前と比ータによる識別性能が，標準前と比較して高く113

表 5 ドメイン A に対する標準化における，min-とし，Cycle GAN を用いてドメイン A をドメイ

max normalization を用いた ResNet によって測ン B に標準化した場合と，ドメイン B をドメイ定した性能評価値

ン A に標準化した場合のシミュレーションを

ドメイン B の標準化前ドメイン B の標準化後行った．ResNet を用いて標準化前と標準化後のprecision

recall

F値

precision

recall

F値

識別性能を比較した結果，標準化前の識別性能

浸潤影

1.00

0.75

0.85

0.99

0.84

0.91

粒状影

0.01

0.00

0.00

0.35

0.37

0.36

肺気腫

0.25

0.98

0.40

0.39

0.67

0.49

すりガラ

0.73

0.36

0.49

0.75

0.46

0.57

蜂巣肺

0.71

0.60

0.65

0.64

0.86

0.74

識別性能が Cycle GAN による特徴抽出に依存

正常

0.00

0.00

0.00

0.49

0.23

0.32

するため，識別に有用な特徴を獲得可能なAverage

0.46

0.45

0.41

0.61

0.57

0.57

Cycle GAN の構造に改良することが挙げられる．

が低い場合は Cycle GAN による標準化の有効性が確認できた．しかし，標準化前である程度の識別性能を示している場合は，標準化の有用性が確認できなかった．
今後の課題として，考察で記述したように，

ス陰影

具体的には，Cycle GAN の学習に，ResNet によ
表 6 ドメイン A に対する標準化における，z-る損失関数の値を考慮させることを 予定してscore normalization を用いた ResNet によって測いる．

定した性能評価値
ドメイン B の標準化前ドメイン B の標準化後

precision

precision

recall

F値

recall謝辞

F値

本研究は JSPS 科研費新学術領域研究 多元計

浸潤影

0.97

0.99

0.98

0.99

0.88

0.93

算 解剖 学 SP26108009，JSPS 科 研費 若 手 研究

粒状影

0.65

0.30

0.41

0.42

0.64

0.51

(B)JP16K16116 の助成を受けたものです．

肺気腫

0.45

0.94

0.61

0.53

0.34

0.42

すりガラ

0.64

0.99

0.77

0.74

0.61

0.67

蜂巣肺

0.88

0.58

0.70

0.76

0.78

0.77

正常

0.96

0.13

0.22

0.53

0.62

0.57

Average

0.76

0.66

0.62

0.67

0.64

0.65

利益相反の有無
なし．

ス陰影

文
［1］

献

Arnaud Arindra Adiyoso Setio, Francesco
Ciompi, Geert Litjens, et al: Pulmonary

較して高くなっているとはいえない．本ケース

Nodule Detection in CT Images: False

で は ， min-max normalization に よ る feature

Positive

scaling と比較して，z-score normalization による

Convolutionalfeature scaling の効果が大きく Cycle GAN によTransactions on Medical Imaging, 2016［2］

る標準化の効果が現れにくかったといえる．

Reduction

Using
Networks,

Multi-View
IEEE

Zhu， Jun-Yan and Park， Taesung andIsola ， et al: Unpaired Image-to-Image

4．まとめ

Translation

本研究では，ある医療機関で撮影された CT

Adversarial Networks． ICCV， 2017
［3］

画像を用いて学習を行った画像診断 システム

using

Cycle-Consistent

Kaiming He， Xiangyu Zhang， Shaoqing

を，他医療機関でも使えるようにす るため，

Ren， Jian Sun: Deep Residual Learning

Cycle GAN を用いて画像の標準化を行う研究をfor Image Recognition． CVPR， 2016
［4］

行った．山口大学医学部附属病院で撮影された

Diederik P. Kingma, Jimmy Lei Ba:

胸部 CT 画像をドメイン A，大阪大学医学部附ADAM:

属病院で撮影された胸部 CT 画像をドメイン B

optimization, ICLR, 2015

114

A

methodforstochastic

Domain Transformation of Chest CT Images Using Cycle GAN and Its
Application to Classification Systems
Masashi MIYAKE*1, Shingo MABU*1, Shoji KIDO*2, Takashi KUREMOTO*1, Yasushi HIRANO*1*1 Yamaguchi University*2 Osaka University

Recently, with the development of digital medical imaging devices, it has become possible to acquire an enormous
amount of medical images. Therefore, studies on computer-aided diagnosis (CAD) have been actively conducted,
where machine learning is applied to build CAD systems using a large amount of medical images. It is important toconstruct a CAD system that can be used at various medical institutions, however, there are possibilities that theaccuracy of diagnosis may fluctuate when the photography conditions of the images are different depending on the
medical institutions. Therefore, a CAD system showing good diagnostic performance in a certain medical institution
does not always show the same performance in other medical institutions. Therefore, the aim of this research is toperform image-to-image translation of chest CT images so that medical institutions can use the CAD system which istrained at another medical institution.
Key words: Deep Learning, Standardization, GAN, chest CT, Classification115

OP1-09

楕円フーリエ記述子を用いた乳房 X 線画像における石灰化クラスタの解析とデータ拡張への応用
志村

一男*1

安中 奨*2

近藤 啓介*1

縄野 繁*3

要旨
CAD（コンピュータ支援診断）システムの性能向上に重要となる教師データの確保は容易ではなく，データ拡張技術が注目されている．
今回，輪郭情報の定量的評価法のひとつである楕円フーリエ記述子を用い，石灰化クラスタの輪郭を解析するとともに，データ拡張に応用する手法を検討した．楕円フーリエ記述子とは輪郭等の閉曲線を周波数分解する手法であり，円形度やアスペクト比といった既存の特徴量と比較し，より詳細な形状の特徴を表現可能な技術である．
画像データから得た石灰化分布の形状を楕円フーリエ記述子に変換し，主成分分析を行なった後，得られた第１主成分と面積を特徴量とすることで，B-RADS の５つの石灰化分布タイプを分類できる可能性を確認した．
また，各主成分の値を変化させることで，様々な輪郭形状を生成できるため，あらかじめ抽出しておいた石灰化陰影を生成された輪郭形状を持つ石灰化分布に応じ配置し，別の乳房 X 線画像に埋め込むことにより様々な石灰化分布を有する教師画像を人工的に生成できる事が分かった．
以上の方法を乳房 X 線画像の公開データベースである CBIS-DDSM を用いて確認した結果について報告する．
キーワード：楕円フーリエ記述子，データ拡張，乳房 X 線画像

1．はじめにかし，CAD の認識性能，解析性能はまだまだ不近年，CR,DR,CT,MR 等の画像診断装置の進歩十分であり，本格的な普及には至っていないのと共に，日々生成される医療画像は年々増え続が実態である．

けている．コンピュータやネットワークの進歩

CAD の性能向上のために重要となるのは，教は，医師の読影環境を大きく変えたが，放射線師となる大量の症例データである．深層学習の医の読影負荷は増加し続けている．

登場により，一般写真画像分野の認識技術は急そんな中，コンピュータにより医師の診断を速に向上し，最近では，人間同等の認識性能を支援する CAD（コンピュータ支援診断）システ

達成している研究結果の報告も散見 されるよムに関する研究が進められ，いくつかの製品がうになった．人物や風景などの一般写真画像デ臨床現場で使われるようになった［1］［2］．しータは，インターネット等を通じて大量に収集可能であるということも，深層学習による性能――――――――――――――――――

向上に大きく寄与している．

*1 駒澤大学医療健康科学部

医療分野においては，コンピュータの認識性[〒305-8573 東京都世田谷区駒沢 1-23-1]

能は放射線医には遠く及ばない．性能向上のた

e-mail: shimura@komazawa-u.ac.jp

めには，新たな認識技術の研究開発と同様に，*2 NTT 東日本関東病院

質が高くバリエーションに富んだ大 量の症例

*3 国際医療福祉大学三田病院

収集が重要となる．しかし，医療分野において116

は，個人情報保護や倫理的な配慮が必要である

化陰影の分布形状を楕円フーリエ記 述子に変ため，症例データの収集は容易ではない．

換し，楕円フーリエ記述子の周波数成分を主成

最近では，米国の NIH に加え，日本国内で分分析し，得られた特徴量を用いて，石灰化分もこうした深層学習を想定したデー タベース

布の形状を解析，分類について検討した．

整備も開始されたが，まだまだ，質，量ともに

また，主成分を変化させることによる新たな圧倒的に不足していると言わざるを得ない．

石灰化分布形状を生成し，得られた分布形状に基づく人工石灰化症例画像の生成を検討した．

こうした背景の中，症例データを人工的に生成する研究として，CT 画像やマンモグラフィ
ー画像に，別の症例から腫瘍等の病変を抽出し，2．楕円フーリエ記述子

画像上に埋め込むことにより，新たな症例画像

本研究で用いた形状の数値化手法の一つでを人工的に埋め込む研究がおこなわ れているある楕円フーリエ記述子について以下，説明

［3］．

する．

例えば，日本画像工学会では，縄野らにより，

まず，輪郭を示す曲線上を点が時間 𝑡と共に肝臓腫瘍を埋め込んだ実症例と見分 けがつか移動したと考え，図１に示すように図形の輪ない人工 CT 症例画像生成のコンテストが実施

郭を𝑥, 𝑦 平面に投影する，このときの𝑥 座標とされ，関連する研究が複数の研究機関で行われ𝑦 座標は時間 𝑡の関数 𝑥(𝑡), 𝑦(𝑡) となり，輪郭た［4］．

上を移動する点が 1 周回って元の位置に戻っ

また，GAN (Generative Adversarial Network)やてくる時間 𝑇を周期とする周期関数と考えるこ

VAE（Variational Autoencoder）ように深層学習とができる．

により，教師データに似た新しいデータを生成する手法が提案され，様々な研究が進められている［10］．これらの取り組みは，医用画像処理分野における症例データ不足を補う 手法として CAD システムの開発への有効性が期待でき
る.

図1

輪郭上を移動する点と y 座標の関数 𝑦(𝑡)本研究では，こうした過去の取り組みと同じ
く，人工的な症例を生成する事を目的としてい周期 関数 はフーリエ級数展開 が可 能である

る．本研究では，過去の様々な研究と異なり，ため，𝑥(𝑡), 𝑦(𝑡) は以下のように周波数の異な

画像中の形状に着目し，形状を数式で表現する

る三角関数の線形結合として表現できる．

ことにより，数式を表すパラメータを特徴量として，形状を解析する可能性を示すとともに，

2𝑛𝜋𝑡
2𝑛𝜋𝑡
+ 𝑑 𝑠𝑖𝑛
𝑇
𝑇

(2)

𝑎 𝑐𝑜𝑠

𝑦(𝑡) =

𝑐
+
2

𝑐 𝑐𝑜𝑠

生成し，形状を元に，新たな病変を人工的に生
なお，本研究では形状の数式表現手法として

(1)

𝑎
+
2

パラメータを変更する事により新た な形状を成する検討を行った．

2𝑛𝜋𝑡
2𝑛𝜋𝑡
+ 𝑏 𝑠𝑖𝑛𝑇𝑇

𝑥(𝑡) =

Kuhl ら に よ る 楕 円 フ ー リ エ 記 述 子 （ Elliptic

このとき，フーリエ級数展開では N が∞のとFourier descriptors）に着目した［5］．楕円フーリき，輪郭は三角関数の線形結合として正確に表エ記述子はこれまで，動物や植物等の生物の形現できる．

状の解析や，ボトル等の人工物の形状解析に用

しかし，輪郭の形状を大まかに表現するのでいられているが，画像の生成に利用された例はあれば，N は有限で構わない．例えば，N=1,2,3,4

ない．

とした際に表現される輪郭を図 2 に示すが，N=4 でも元の輪郭を概ね表現できていることが本研究では，マンモグラフィー画像中の石灰

117

わかる．なお，本研究では N=20 として検討をより，輪郭形状の違いを表す主たる特徴量を求行った．

めることができる．
また，主成分の値を変化させることによって，様々な形状に対応したフーリエ記述 子を得る
事ができる．さらに，楕円フーリエ記述子に対し逆フーリエ変換を行うことにより，様々な形状の輪郭を生成することができるため，本研究では，こうして生成された輪郭形状を利用し新

図 2 N=1～4 の楕円フーリエ記述子に対応した形状

たな石灰化症例を生成する事を試みた．

次に，図形の輪郭から，楕円フーリエ記述子を求める具体的な方法について説明する．まず，

3．実験方法
1) 実験方法

輪郭をチェーンコードと呼ばれるコ ードに変換する．輪郭上の開始点を決め，開始点に隣接(a) 石灰化分布形状の解析

する輪郭上の点の方向によって図 3 に示す 8 方

BI-RADS の各石灰化分布タイプを図 4 に示向を示すチェーンコードラベルを用いて表す．

す ．Clustered distribution，Linear distribution，

このように隣接する輪郭上の点を次 々にチェ

Segmental distribution では悪性の可能性が高く，

ーンコードで表現することにより，1 周分の輪

Diffuse distribution や Regional distribution では良

郭をチェーンコードで表現することができる．

性の可能性が高いと言われている．

3

2

0

1

0

0
5

3

4

5

0

6

7

6

2

7

1

6

2

6

2
4

(a) chain code
図3

4

4

(b)Chain code による形状記述

図4

BI-RADS における石灰化分布タイプ

チェーンコードを用いた形状記述

楕円フーリエ記述子の応用として，石灰化
分 布の タイプ 分類 への 適用 可能 性につ いてまた，得られたチェーンコードから，時間と検討した．

ともに変化する輪郭上の点の 𝑥, 𝑦 座標の関数を求めることができ，その関数をフーリエ級数

まず，原画像中の各石灰化の位置を中心とに展開し，N 個までの高調波の各係数を算出すする円形領域を描き，その和集合を取ることることにより，楕円フーリエ記述子を得ること

により各症例の石灰化分布領域を得る．得らができる．

れた石灰化分布形状を対象に，楕円フーリエ
記 述子 及び外 接四 角形 の面 積を 用いて 解析

なお，N=1 の時，輪郭は楕円として表現されを行った．

るが，この楕円の半長軸を基準に，サイズ，輪

なお，Segmental distribution に関しては石灰

郭の向き，計測開始点を標準化している．
こう して 得られたフーリエ記 述子 は高次元化 分布 領域が 複数 領域 に分 離し ている 症例の特徴量であり，各輪郭は特徴空間の 1 点に対もあり，その場合は主たる石灰化分布領域の応する事になる．また，様々な輪郭から得られみを対象とした．

たフーリエ記述子に対し主成分分析を行い，高また，楕円フーリエ記述子への変換及び関次元の情報から低次元の特徴量を得 ることに連する解析は，岩田らにより開発された楕円

118

フ ーリ エ記述 子の 解析 ソフ トウ ェアで ある

るかの情報，腫瘤の場合は形や境界の情報，石SHAPE 及び SHAPE on R を用いて行った［6］

灰化の場合は石灰化の性状や分布タ イプさら

［7］．

には病理検査結果も付加されている．
CBIS-DDSM は DDSM をベースにした 753 例の石灰化症例と 891 例の腫瘤症例が含まれてい(b)人工石灰化分布画像の生成
前述した分布形状の解析で，得られた主成

るが，DDSM に含まれている不適切なデータの分 を利 用して 石灰 化分 布画 像を 人工的 に生削除や情報の修正に加え，セグメンテーション

成する。

情報，バウンディングボックス情報の追加，ト

まず、得られた主成分の内，第 1 第 2 主成

レーニング用症例とテスト用症例に 分離する

分を変化させ，様々な形状を示す楕円フーリなど，最近のコンピュータビジョン分野で主流

エ変換記述子を得る．その後，楕円フーリエとなっているデータベースに準じた フォーマ

変換記述子を元に，形状の大きさや，分布のットに整備されている．
なお，本研究では CBIS-DDSM のトレーニン

方 向及 び分布 を埋 め込 む位 置を 個別に 指定

グ用石灰化症例から，表 1 に示すように，石灰

し，石灰化分布形状を生成する．

化分布タイプ毎に石灰化症例数例を 選び実験

続いて，得られた石灰化分布領域内にランに用いた．

ダムに石灰化点を配置する座標を設定し，あらかじめ，抽出しておいた石灰化陰影を，埋表 1 実験に用いた症例数

め 込む ことに より 新し い石 灰化 症例画 像をDiffuse2

生成した．
2) 実験に用いた臨床データ

Regional
7

Clustered12

Linear6

Segmental
74．結果

本研究ではマンモグラフィー画像 の公開デ

1)石灰化分布の解析

ータベースである米国の CBIS-DDSM (Curated

マ ン モ グ ラ フ ィ ー 画 像 か ら 得 ら れ た Diffuse

Breast Imaging Subset of DDSM)の画像データ及

distribution ， Regional distribution ， Clustered

び付随する臨床データを 用いて行った［8］．

distribution ， Linear distribution ， Segmental

CBIS-DDSM は 1999 年に整備された DDSM (Thedistribution といった BI-RADS における 5 つのDigital Database for Screening Mammography)をベ

分布タイプに対応する石灰化分布形状を図 5 にースとしている［9］．

示す．分布タイプにより，分布の面積や形状が

DDSM はスクリーニングマンモグラフィーの異なることがわかる．

デジタルデータベースで，1988 年から 1999 年までにフィルムスクリーンシステムで 4 方向
（左 CC,左 MLO,右 CC,右 MLO）撮影された2620 画像のマンモ画像および付随する臨床情報からなる．マンモグラフィー画像はマサチュ
ーセッツ・ゼネラル・ホスピタル，ウェークフ
ォレスト大学，聖心病院，セントルイスワシントン大学で撮影されたもので，フィルムデジタ

図5

イザーを用いて 1 画素 42～50micron，12～16 ビ

各タイプの石灰化分布の例

ットでデジタル化されている．
また、DDSM データベースには画像データだ

次に，各分布の外接四角形の面積の分布を確

けでなく，BI-RADS をベースにした乳腺濃度情認した．分布タイプ毎の面積の分布が正規分布

報，病変の有無や腫瘤性病変か石灰化病変であに基づくと仮定し，平均と分散から算出した分119

布を図 6 に示す．
図 6 か ら Diffuse distribution ， Regional
distribution， Segmental distribution と そ れ 以外
（Linear distribution，Clustered distribution）はお
お む ね 分 離 で き る が ， Linear distribution とClustered distribution の分布は大きく重複し，面積だけでは分離できないことがわかる．

図6

各タイプの外接四角形の面積

図7

続いて，面積分布が比較的近く，分類しにく

第 1～4 主成分に対応した輪郭

続いて，各石灰化分布の特徴量を，面積をい Segmental distribution, Linear distribution,

横軸，第１主成分を縦軸に取った座標平面にClustered distribution の 3 つのタイプの各石灰化

プロットしたものを図 8 に示す．

分布を対象に分類手法を検討した．

Linear distribution および Clustered distribution

まず，前記 3 タイプの輪郭から楕円フーリエの石灰化分布は面積指標では大きくオーバー

記述子を算出し，主成分分析を行った．

ラップするが，楕円フーリエ記述子から得ら

表 2 に寄与率及び累積寄与率を示すが，第 1

れた第 1 主成分軸を導入する事により，分離主成分の寄与率 86.6％，第 4 主成分までの累積できることが確認された．

寄与率が 95.2％と比較的低次の主成分で分布形
状を概ね表現できることが確認できた．

表 2 各主成分の寄与率及び累積寄与率
第
1
主
成
分

また，図 7 に第 1～4 主成分の平均及び平均±標準偏差で表される形状を示す．第 1 主成分
は分布形状の縦横比に概ね対応し，第 2 主成分
以降は輪郭形状の比較的細かい凹凸 に対応し外接四角形の面積ていることがわかる．

図8

各タイプの特徴量分布2)データ拡張への応用
石灰 化分 布の形状を楕円フー リエ 記述子に変換し主成分分析を行い，得られた第 1，第 2120主成分からなる特徴量平面に各タイ プの分布

5．考察

形状をプロットしたものを図 9 に示す．

今回，我々は石灰化分布の形状に着目し，形状解析技術の一つである楕円フーリ エ記述子を適用し石灰化分布の形状特徴を解析し，面積
特徴量と組み合わせる事で，BI-RADS の５つの分布タイプに分類できる可能性を示した．
楕円 フー リエ記述子は従来の 形状 特徴量である円形度やアスペクト比といった 単一の特徴量と比較して，形状に関するより豊富な情報を表現できていると考えられ，今回用いた第１主成分だけではなく，より高次の主成分を用いることにより，形状のより細かい差異を分類できる可能性がある．
ただし，今回の解析は 34 例の症例に対して

図 9 第 1，第 2 主成分と輪郭形状実施したのみであり，より多くの症例画像にて確認する必要がある．

第 1 主成分に関しては値が正の方向に増大す

また，楕円フーリエ記述子といった形状を解るにしたがって概円形でやや縦長の 形状とな析する技術を用いて新しい画像を生 成するとり，負の方向になるにつれ，横長の形状を示す

いう今回のアプローチはこれまでに ない手法

ことが分かった．また，第 2 主成分に関してはである．形状という画像のメタ情報に着目した．

その絶対値が小さいと形状の凹凸が あまりな新たな形状を生成し，その形状に基づき，画像

い滑らかな形状を示し，正負どちらでもその絶を生成するアプローチをとっているため，より対値が大きくなるにつれ，輪郭形状の凹凸が大自然な人工症例画像を生成できる可 能性があ

きくなることが分かった．

る．

次に，このことを利用し，第 1，第 2 主成分

ただし，今回は，主成分分析に用いたサンプ

を変化させて得られた分布形状から生成されル及び生成サンプルの数は限られているため，た人工石灰化症例画像を図 10 に示す．図 10

今後，より多くの症例を用いた実験により確認に示すように Clustered distribution，Linear

していく必要がある．

distribution，Segmental distribution の分布を呈する人工石灰化症例を生成できることが確認

6．まとめ

できた．

楕円フーリエ記述子を応用し石灰 化分布の形状特徴を解析し，面積特徴量と組み合わせる事で，BI-RADS の５つの分布タイプに分類できる可能性を示した．
また，楕円フーリエ記述子からえられた第 1
第 2 主成分を変化させることで様々な形状の石
灰化分布を生成でき，新たに生成された分布形

人工 Clustered
図 10

人工 linear状に基づき石灰化陰影を配置することにより，人工 Segmental

様々な分布形状を持つ人工石灰化症 例を生成生成された人工石灰化症例の一例できることが分かった．
今後，生成された人工石灰化症例を用いた学習により，性能向上効果を確認するとともに，

121

楕円フーリエ記述子のさらなる応用 を検討しスト結果報告. JAMIT News Letter 16:5-ていきたい．

11, 2014［5］

Kuhl FP, Giardina CR: Elliptic Fourier

利益相反の有無features of a closed contour. Computer

利益相反なし．

Graphics and Image Processing 18: 236258, 1982

倫理規範の順守［6］

Iwata H, Ukai K: SHAPE: A computer
program

本研 究で 用いた全ての臨床デ ータ は米国のpackageforquantitative

医療機関で収集された公開データベース CBIS-

evaluation of biological shapes based on

DDSM (Curated Breast Imaging Subset of DDSM)のデ

elliptic Fourier descriptors. Journal ofータのみである．必要とされる患者同意は本データ

Heredity 93: 384-385, 2002

ベースの元となる DDSM (The Digital Database For［7］

Iwata H, Niikura S, Matsuura S, Takano Y,

Screening Mammography)の開発者によって取得

at el.: Interaction between genetic effects

されている．

and soil type in diallel analysis of root
shape

and

size

of

Japaneseradish(Raphanus sativus L.). Breeding Science
文
［1］

［2］

［3］

54: 313-318, 2004

献

Takeo H, Shimura K, Imamura T, at el.:［8］

Detection system of clustered micro-

curated mammography data set for use incalcifications on CR mammogram. IEICE

computer-aided detection and diagnosis

Trans Inf Syst E88-D: 2591-2601, 2005

research. Scientific Data 4: 1-9, 2016

小畑秀文，安藤裕，鴛田栄二，他：医療［9］

Heath M, Bowyer K, Kopans D, at el.: The

機器評価指標ガイドライン画像診断分

Digital野（コンピュータ診断支援装置）開発

Mammography. Proceedings of the Fifth

WG 報告書，平成 21 年度経済産業省委International

託事業，2010

Mammography, 212-218, 2001

Databasefor

Workshop

Screeningon

Digital安倍和弥，武尾英哉，黒木嘉典，也：乳［10］ 池田裕亮, 小西孝明，道満充恵介, 他:

がんを対象とした新しい人工石灰化陰肝臓がん検出器のための 3D-DCGAN を影の作成と実症例を全く用いない CAD

用いた学習用画像生成. 第 37 回医用画開発手法の有効性検証．Med Imag Tech

像工学会大会予稿集: 232-234, 201835: 268-272, 2017［4］

Lee RS, Gimenez F, Hoogi A, at el.: A

北阪孝幸：第 5 回

JAMIT CAD コンテ

122

Analysis of calcification cluster on mammograms and its application fordata augmentation using Elliptic Fourier Descriptors (EFD)
Kazuo SHIMURA*1, Sho YASUNAKA*2, Keisuke KONDO*1, Shigeru NAWANO*3*1 Faculty of Health Sciences, Komazawa University*2 NTT Medical Center Tokyo*3 International University of Health and Welfare, Mita HospitalIn the medical field, it is not easy to collect enough teaching data for deep learning. Data augmentation is getting
more important to improve the performance.
In this study, we analyzed the shapes of calcification distributions in mammograms using Elliptic Fourier Descriptors(EFD), which is one of the quantitative analyzing methods of the shapes, and we also applied EFD to data
augmentation of mammograms with calcifications for CAD research.
Elliptic Fourier descriptors (EFD) is frequency analysis method of closed curves such as contours, and more detailed
shaped features can be expressed as compared with conventional features such as circularity and aspect ratio.
The shapes of calcification distributions obtained from the mammograms are converted to EFD data, and a newcontour shape of a new calcification distribution is generated from the obtained feature space. According to thegenerated calcification distribution, a new simulated mammogram is generated by embedding the calcification
shadows of the calcification database on another normal mammograms.
We report the results of the verification of the proposed method using CBIS-DDSM, which is a publicmammography database.

Key words: Elliptic Fourier Descriptors, Data Augmentation, Mammography123OP1-11

単眼腹腔鏡映像からの奥行き推定を利用した
術具セグメンテーション
鈴木

拓矢*1

道満 恵介*1

三澤一成*2

目加田 慶人*1

森 健策*3要旨
腹腔鏡下手術の手術支援システムでは手術の安全性向上のために，腹腔鏡映像に映る術具領域の正確な抽出が必要である．近年では FCN を用いた術具領域抽出手法が効果を上げている．色情報に加えて奥行き情報を FCN が学習することで，腹腔鏡映像に映る術具領域の抽出精度が向上すると報告されている．本研究では，深層学習による単眼腹腔鏡映像からの奥行き推定と，推定した奥行きと色情報を学習することで，術具領域抽出の精度向上を目指す．MICCAI2017 のロボット器具データセットを対象に実験した．1,800 枚の画像に対して 4 分割交差検証をした結果，平均 IoU が 89%，平均 Dice 係数が 94%となった．推定した奥行き情報を学習に追加することで，誤抽出の低減と輪郭の抽出精度が向上することを確認した．
キーワード：腹腔鏡下手術，Fully Convolutional Network，奥行き推定，術具セグメンテーション

1．はじめに腹腔鏡下手術とは，患者にかかる負担が軽い治療方法である．しかし，医師の視野がモニタに限定されることや，術具の操作が制限されるため，医師にかかる負担は重い．このような限定された環境下では，術具の操作は高難度なため，
図 1 手術支援システムのイメージ

術具の誤操作による侵襲が発生してしまう．そこで，図 1 のように，術具の異常動作を自動検出し，医師にフィードバックするシステムがあれば，医師は術具の誤操作による侵襲を未然に防ぐことが可能である．異常動作の自動検出に――――――――――――――――――

は，腹腔鏡映像中の術具・臓器を自動で識別す*1 中京大学 大学院工学研究科

る必要がある．特に，術具によって侵襲が引き〔〒470-0397 豊田市貝津町床立 101〕起こされるため，術具の位置を正確に求めなけ

e-mail: suzuki.t@md.sist.chukyo-u.ac.jp

ればならない．したがって，術具領域はピクセ

e-mail: kdoman@sist.chukyo-u.ac.jp

ル単位で高精度に抽出する必要がある．近年で

e-mail: y-mekada@sist.chukyo-u.ac.jp

は，FCN を用いた術具領域の抽出手法が効果を*2 愛知県がんセンター

挙げている［1］．従来手法では，腹腔鏡映像のe-mail: misawakzn@aichi-cc.jp

色情報から術具領域を学習し，識別していた．

*3 名古屋大学 大学院情報学研究科

従来手法の術具領域の抽出精度は高いものの，e-mail: kensaku@is.nagoya-u.ac.jp

クリップや血液の領域を誤抽出していた．これ124

図 2 提案するネットワーク構造

らの物体は 3 次元的な形状が術具と類似してい行き推定手法［4］［5］等の精度よりも高い．

ないものの，色が術具と類似していることが誤

2）術具領域の抽出手法

抽出の原因であった．したがって，術具の領域

術具領域の抽出では U-Net［6］ベースのネッを正確に求めるには，色だけでなく，3 次元的トワークを使用する．提案するネットワークのな形状を考慮した術具領域の抽出が望まれる．

構造を図 2 に示す．提案するネットワークは色そこで本研究では，色情報と奥行き情報から術情報から特徴抽出するエンコーダと，奥行き情具領域を学習することにより，術具領域の抽出

報から特徴抽出するエンコーダ，デコーダから精度の向上を目指す．また，本研究では，最も構成されている．色情報のエンコーダは VGG16

普及した単眼腹腔鏡を用いた手術映像を対象［7］である．また，色情報のエンコーダはとする．

ImageNet［ 8］を用いて事前学習した重みを使用する．デコーダは，エンコーダの各層から抽出

2．提案手法された特徴を逆畳み込みする構造である．損失提案手法は奥行き推定と器具領域の抽出に関数には 2 値交差エントロピー誤差関数を使用し，最適化関数には Adam［9］を用いる．

分けられる．それぞれの詳細を述べる．
1）奥行き推定の手法

3．実験

単 眼 映 像 か ら の 奥 行 き 推 定 で は FCRNDepthPrediction ［ 2 ］ を 使 用 す る ． FCRN-

実験では，奥行きと術具領域を学習するため

DepthPrediction は，エンコーダとデコーダをものデータセット，奥行き推定の評価，術具領域

つネットワーク構造であり，教師あり学習手法の推定評価について詳細を述べる．

である．エンコーダでは ResNet［ 3］の構造を使

1）データセット用する．デコーダは，エンコーダの最終層から奥行き推定では NYU Depth V2 Dataset［10］得られる特徴を逆畳み込みする構造 である．

を用いた．また，術具領域の抽出では MICCAIFCRN-DepthPrediction の推定精度は，従来の奥2017 Robotic Instrument Segmentation Dataset［ 11］125を用いた．NYU Depth V2 Dataset は RGB 画像に対応する奥行きを持つ画像群である．データセ
ットは RGB-D カメラである Kinect を用いて屋内を撮影した画像で構成されている．画像枚数
は 1,449 枚，画像の解像度は 640×480 であっ（a）元画像（b）正解画像（c）推定結果た．
MICCAI 2017 Robotic Instrument Segmentation

図 3 推定した奥行き画像の例

Dataset（以降は MICCAI データセットと呼ぶ）
は一匹の豚の処置を RGB ステレオカメラで撮100%

影したものである．MICCAI データセットの画
像枚数は 1,800 枚あった．また，このデータセ

95%

ットは 8 つの手術シーンで構成されており，190%

つの手術シーンは 225 枚あった．これらの画像

85%の解像度は 1,920×1,080 であった．画像中に映80%る術具は人の手でラベル付けされた．このデー

従来

1, 3

2, 5

タセットは術具の種類ごとにラベル付けされ

提案

4, 8

6, 7

平均

6, 7

平均

手術シーン

ているが，今回は術具領域と背景領域でラベル付けされた 2 値の画像を教師データとして用い

図 4 IoU の評価結果

た．
2）奥行き推定の評価

100%

奥 行 き 推 定 の 評 価 で は ， FCRNDepthPrediction を用いて NYU Depth V2 Dataset95%を学習したモデルを使用した．このモデルを使90%用し MICCAI データセットから奥行き推定した85%

結果の例を図 3 に示す．また，モデルの精度は80%

推定値と正解値との二乗平均平方根誤差値を

従来

1, 3

用いて定量的に評価をした．奥行きの正解値は

2, 5

提案

4, 8

手術シーン

MICCAI データセットから Semi Global Block
Matching 法［12］と重み付き最小二乗フィルタ

図 5 Dice 係数の評価結果［13］によって計算して得た．推定結果と正解
値との二乗平均平方根誤差値は 4.2 であった．

の画像で提案手法の精度は従来手法の精度よ

3）術具領域の抽出評価

りも上回った．また，提案手法は画像中にクリ術具領域の推定では MICCAI データセットのップや血液が含まれる場合でも誤抽出するこ

画像の色情報と，FCRN-DepthPrediction を用いとなく，術具領域を抽出できた．クリップと血て画像から推定した奥行き情報を図 1 のネット液が含まれる画像から術具を抽出した結果例

ワークを用いて 4 分割交差検証をした．また，を図 6 に示す．このことから，提案手法の有効

我々は提案手法の結果と従来手法［1］の結果を性が確認された．しかし，画像の局所領域の精Intersection over Union（IoU）と Dice 係数を用い度が低下した例が確認された．画像の局所領域て比較した．実験結果を図 4，図 5 に示す．従の精度が低下した例を図 7 に示す．この例の誤来手法と比較すると提案手法は平均 IoU，平均抽出した領域には，臓器が映っていた．

Dice 係数共に約 1%向上した．色情報だけでなく，奥行き情報を学習に用いることで，すべて126

（a）元画像（b）ラベル画像（c）従来手法の結果（d）提案手法の結果（b）ラベル画像（c）従来手法の結果（d）提案手法の結果

図 6 誤抽出が低減した例（a）元画像図 7 局所領域の抽出精度が低下した例

4．考察

けでなく，映像から連続する複数の画像を用い提案手法によって得られた，MICCAI データて，物体の動作を解析し，術具を特定することで精度を向上する必要がある．

セットにおける，術具領域の抽出結果について考察する．
1）誤抽出を低減できた例

5．まとめ

提案手法は色だけでなく，物体の 3 次元的な形

本論文では，腹腔鏡下手術支援に向けた単眼状を学習したことにより，術具と類似しない形

腹腔鏡映像からの術具領域の抽出をした．提案

状を持つ物体，液体を分類できたと考える．特したネットワークが，色情報と推定した奥行きに，クリップは術具と形状が類似しておらず，

から術具領域を学習することにより，術具の抽

形状変化が起きにくい物体である．したがって，出精度が向上した．特に，従来では血液や，ク形状を考慮した領域抽出をする提案手法によリップを誤抽出していたが，提案手法では誤抽り，クリップの誤抽出は低減できたと考えられ出を低減することが出来た．しかし，提案手法

る．また，血液は血液が一か所に集中した場合，は，色と形状が類似している臓器に対して誤抽

術具と色が類似していた．血液が一か所に集中出した．今後の課題は，他のネットワークの利する場合は，術具のような棒状の形状をもたな用や，単一フレームだけでなく複数のフレームかったため，術具と血液を分類できたと考える．

を用いた術具領域の抽出により，抽出精度を向2）画像の局所領域の精度が低下した例

上する必要がある．

誤抽出した臓器の領域は，色と形状が術具と類似していることが確認できた．このことから単謝辞

一の画像からの術具領域の抽出は困難なパタ本研究の一部は，日本学術振興会科研費補助ーンがあると考えられる．したがって，術具領金の援助による．

域の抽出では，単一の画像から得られる情報だ127

Intervention(MICCAI), pp. 234–241, 2015

利益相反の有無なし［7］

Simonyan K, Zisserman A.: Very deep
convolutional networks for large-scale

文［1］(ICLR), 2015

Surgery

Proc.

Using

IEEE

Deep

［8］

HierarchicalConference on Machine Learning andImage Database. In Proceedings of the

Applications (ICMLA), 2018

IEEE

Laina I, Rupprecht C, Belagiannis V, et al.:

Recognition(CVPR), 2009depth

prediction

with

fully

［9］

Computer

VisionandPattern

Kingma D P, Ba J L.: ADAM: A METHOD

convolutional residual networks. Proc.

FORIEEE International Conference on 3D

Proc. International Conference on Learning

Vision (3DV), pp. 239-248, 2016

Representations (ICLR), 2015

STOCHASTIC

OPTIMIZATION.

He K, Zhang X, Ren S, et al.: Deep Residual［10］ Silberman N, Hoiem D, Kohli P, et al.:Learning for Image Recognition. Proc.

Indoor segmentation and support inference

IEEE Conference on Computer Vision andfrom RGBD images. Proc. European

Pattern Recognition (CVPR), pp. 770-778,

Conference on Computer Vision (ECCV),The IEEE Conference on Computer Vision

pp. 746-760, 2012［11］ Allan M, Shvets A, Kurmann T, et al.: 2017

2016

Robotic

Eigen D, Puhrsch C, Fergus R.: Depth map

Challenge.

prediction from a single image using a

https://arxiv.org/abs/1902.06426/, 2017

multi-scale deep network. Proc. Advances

Instrument

Segmentation［12］ Hirschmuller H.: Stereo processing by

of Neural Information Processing Systems

semiglobal(NIPS), pp. 2366–2374, 2014

information. Proc. IEEE Transactions on

Roy A, Todorovic S.: Monocular depth

pattern analysis and machine intelligenceestimation using neural regression forest.

(TPAMI), pp. 328-341, 2008

Proc. IEEE Conference on Computer Vision［6］

Deng J, Dong W, Socher R, et al.:ImageNet: A Large-Scale

Internationaland Pattern Recognition (CVPR), 2016,［5］

International

al..: Automatic Instrument Segmentation in

Deeper［4］

Proc.

Conference on Learning Representations

Learning.

［3］

recognition.

Shvets A. A, Rakhlin A, Kalinin A. A, et
Robot-Assisted

［2］

image

献

matching

andmutual［13］ Min D, Choi S, Lu J, et al.: Fast global

and Pattern Recognition (CVPR), 2016

image smoothing based on weighted least

Ronneberger O, Fischer P, Brox T.: U-net:

squares. Proc. IEEE Transactions on Image

Convolutional networks for biomedical

Processing (TIP), pp. 5638-5653, 2014

image segmentation. Proc. Medical Image
ComputingandComputer-Assisted

128

Surgical Instrument Segmentation using Estimated Depth from
Monocular Laparoscopic Images
Takuya SUZUKI*1, Keisuke DOMAN*1, Yoshito MEKADA*1, Kazunari MISAWA*2, Kensaku MORI*3*1 Graduate School of Engineering, Chukyo University*2 Aichi Cancer Center*3 Graduate School of Informatics, Nagoya University
It is necessary to extract surgical instruments from laparoscopic images in order to improve the safety of laparoscopic
surgery using a surgery support system. It is reported that the segmentation accuracy can be improved by using colorand depth information. In this paper, we propose a U-Net based image segmentation network using the estimateddepth information as well as color information for improving the accuracy. We conducted experiments using 4-foldcross validation with 1,800 images in the MICCAI challenge dataset, and confirmed that the proposed method
achieved the average IoU of 89% and the average Dice coefficient of 94%. The proposed method reduced theexcessive extraction and improved the extraction accuracy by using the estimated depth information as well as color
information.
Key words: Laparoscopic Surgery, Fully Convolutional Network, Depth Estimation, Surgical Segmentation129OP1-12

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

深層学習を用いた骨密度測定時の X 線画像における大腿骨セグメンテーション
押川 翔太*1

胡 尓重*1

中矢 知宏*1 髙橋 渉*2

要旨
骨粗鬆症の診断では DXA（dual-energy X-ray absorptiometry）法を用いた骨密度の測定が重要視されている．DXA 法による骨密度測定では，骨部の正確なセグメンテーションが再現性の高い骨密度の測定に重要である．そこで本研究では，骨密度測定時の⼤腿骨 X 線画像の骨部を，深層学習を用いて高精度にセグメ
ンテーションする手法を提案する．骨密度測定時の臨床 X 線画像を用いて学習を行い，学習に使用していない評価用データ 100 枚を用いて性能評価を行った．結果として骨密度測定に重要な大腿骨頸部を中心とした領域において平均 IoU(Intersection over Union) 96.5%となり，高精度にセグメンテーション可能であることを確認した．
キーワード：骨密度測定，大腿骨 X 線画像，深層学習，セグメンテーション

1．はじめにそこで本研究では，骨密度測定時に取得した大骨粗鬆症の診断に用いられる DXA 法による骨密腿骨 X 線画像の骨部を，深層学習を用いて高精度度の測定では，経過観察における再現性向上のたにセグメンテーションする手法を提案する．提案

め，骨部の正確なセグメンテーションが重要であ

手法の検証では，学習に使用していない大腿骨 Xる．また近年では深層学習によるセマンティック・

線画像に対する性能を確認する．

セグメンテーション(Semantic Segmentation)が注目されており，様々なタスクで高精度なセグメンテ

2．手法ーションが可能であることから，医用画像処理へ

本研究では U-Net[1]をベースとして深層学習モ
デルの設計を行い，対象とする大腿骨 X 線画像にの応用が進んでいる．

合わせてパラメータを設定する．大腿骨 X 線画像――――――――――――――――――

を入力し，骨領域ラベル画像を出力するように学*1 株式会社島津製作所 医用機器事業部 技

習を行う．

術部
〔〒604-8511 京都市中京区西ノ京桑原町１〕

3. 結果

e-mail: s-oshi@shimadzu.co.jp

学習・推論ともに骨密度測定時の大腿骨 X 線画

*2 株式会社島津製作所 基盤技術研究所 AI像を使用した．これら臨床画像の骨密度分布はおソリューションユニット

よそ 0.4~1.2 g/cm2 であり，幅広い骨密度分布を持
つデータセットで評価を行った．

130

5. まとめ

評価には画像セグメンテーションで一般的に使用されている IoU（Intersection over Union）を採用し本研究では深層学習によるセマンティック・セ

た．IoU が大きい程，推論結果の骨領域ラベルが正グメンテーションを用いた大腿骨 X 線画像の骨部

解ラベルと比較してはみ出しや欠けが少なく，抽領域の抽出を試行した．学習に使用していない 100

出精度が高いことを意味する．なお，性能評価は骨枚の評価用データに対して評価を行った結果，骨密度測定時に重要となる大腿骨頸部を中心とする密度測定に重要な大腿骨頸部を中心とした領域に領域を対象として評価を行った．

おいて平均 IoU 96.5％となり，高精度に大腿骨をセ学習に使用していない評価用データ 100 枚を学

グメンテーション可能であることを確認した．

習済みモデルに入力して性能評価を行った結果，
平均 IoU（Intersection over Union）96.5%となった．
利益相反の有無 なし
4. 考察
図 1 にセグメンテーション結果の例を示す．中央部の正方形の白枠内部が評価対象領域であり，

文 献

黄色が推論結果と正解ラベルが重なる領域，赤色［1］

Ronneberger O, Fischer P, Brox T: U-Netが推論結果のみの領域，緑色が正解ラベルのみの

convolutional networks for biomedical image

領域を表す．図 1 から精度良く大腿骨の骨部領域

segmentation. Medical Image Computing andが抽出されていることが確認できる．骨密度の計

Computer-Assisted Intervention (MICCAI),

測部位となる大腿骨頸部においては，大腿骨頸部

Springer, LNCS, Vol.9351: 234--241, 2015のエッジが比較的明瞭であるため，正解ラベルとの一致度が高いと考えられる．一方，評価対象外の骨盤の領域では正解ラベルとの不一致が散見された．X 線画像の骨部が不明瞭な領域であることから，
このような領域では骨部の判定精度が低下すると考えられる．

図 1 評価用データのセグメンテーション結果の例．中央部の正方形の白枠内部が評価対象領域．
(黄：推論結果と正解ラベルが重なる領域．赤：推論結果のみの領域．緑：正解ラベルのみの領域．)

131

Femoral segmentation with deep learning in X-ray images
for bone mineral density measurement.
Shota OSHIKAWA*1, Erzhong HU*1, Tomohiro NAKAYA*1, Wataru TAKAHASHI*2*1 R&D Department, Medical Systems Division, Shimadzu Corp.
*2 AI Solution Unit, Technology Research Laboratory, Shimadzu Corp.

Measurement of bone mineral density (BMD) by dual-energy X-ray absorptiometry (DXA) is commonly used in the
diagnosis of osteoporosis. In the DXA method, accurate bone segmentation is important for high reproducibility of
BMD measurement. In this study, we propose a method to accurately segment bones in femoral X-ray images using
deep learning. We trained the deep learning model by using clinical femoral X-ray images of BMD measurement, andevaluated segmentation accuracy by using 100 data which were not used for training. As a result, mean IoU(Intersection over Union) was 96.5% in the region centered on the femoral neck, and high enough.

Key words: bone mineral density measurement, femoral X-ray images, deep learning, segmentation132

OP1-13

金属表面紋様の画像照合による手術器具の個品管理
牧野 賢吾*1

Jesse de Wit*2 石山 塁*1

高橋 徹*1

工藤 佑太*1

要旨
本稿では，画像照合による手術器具の個品管理システムを提案する．資産や作業履歴の管理のために，一般的にマーキングやタグによる個体識別が行われる．しかしながら，器具によってはマーキングやタグの付与が不可能であり，個体識別が困難な場合がある．さらに，さらにマーキングやタグ付与にコストがかかる問題がある．そこで，本稿では，物体表面の微細なランダム凹凸パターンをマクロ撮影によって画像化し，それら画像を照合することで個体識別を行う物体指紋認証技術の適用を提案する．提案手法は，器具の表面を撮影するだけでよく，マーキングやタグの付与が困難な器具に対しても，個品管理を低コストかつ容易に実現できる．実験では，メス，ピンセット，ハサミの 3 種類の金属製手術器具各 5 個体に対し，特定部位をマクロ撮影した画像を照合することにより，誤りなく個体識別できることを確認した．さらに，ロボットアームを活用し，手術器具を置く操作のみで個品管理可能な自動撮影システムを試作した．
キーワード：画像照合，個体識別，手術器具，トレーサビリティ

1．はじめに(物体指紋認証技術)[3]を活用する．メス，ピン

近年，病院内での資産管理や作業履歴の管理

セット，ハサミの 3 種類の金属製手術器具（鋼のために，手術器具の個品管理の必要性が高ま製器具）各 5 個体に対し，特定部位をマクロ撮っている．個品管理の実現により，使用回数を影した画像を照合することにより，誤りなく個集計し，頻度の少ない器具の過剰在庫の防止や体識別できることを確認した．さらに，ロボッ

交換時期の予測など，効率化も可能となる．個

トアームを活用した自動撮影システムを試作品管理のためには，器具 1 つ 1 つに UDI(Unique

し，鋼製器具を置くだけの操作のみで個品管理

Device ID)を割り当て，付与する必要がある．こを実現できること示す．

れまで，RFID タグを器具に取り付ける方法[1]2．提案手法や，バーコードや QR コードを直接マーキング

微細な表面凹凸パターンを可視化させるたする方法[2]が用いられている．しかし，タグのめに，文献[4]の撮影法を用い，マクロ撮影する．

脱落のリスクや，付与に特別な加工を要し，在物体表面へ適切な角度で投光することで，微細庫器具への適用には コストが膨大にかかるとな表面凹凸が反射光の強度に対応付けられ，明いった課題がある．

瞭な物体指紋画像（以降，指紋画像と呼ぶ）がこれら課題に対し，本稿では，タグやマーキ得られる．個体識別を行うためには，まず，器ングに代わり，手術器具そのものを撮影して得具の個体毎に指紋画像を撮影し，UDI と紐づけられた画像を照合する個体識別手法を提案すてデータベースに登録しておく．次に，器具のる．具体的には，物体表面に存在する個体ごと

UDI を得る際には，再度，同一箇所を撮影し，に異なる微細な表面凹凸を撮影し，その表面凹

データベース中の画像と照合する．一致した画

凸のパターンを照合して 個体識別を行う手法

像に紐づけられた UDI を参照することで器具の個体識別を実現する．登録画像と照合画像間――――――――――――――――――には並進・回転・スケールの変動が生じるので，*1 NEC データサイエンス研究所

文献[5]の手法を用い，変動に対して頑健かつ高e-mail: k-makino@mb.jp.nec.com

速な画像照合を実現する．

*2 Delft University of Technology
Biomedical Engineering

133

3．実験
画像照合による個体識別 精度を検証するた
め，メス，ピンセット，ハサミのそれぞれについて物体指紋を撮影する箇所を決め，1 個体について 2 回ずつ撮影を行った．撮影には図 1(a)に示すカメラ，レンズ，照明を一体化した撮影装置を用いた．図 1(b)に各鋼製器具の外観と撮影箇所を，図 1(c)(d)に撮影した指紋画像の例を

図 1：(a)指紋画像を撮影するための撮影装置，(b)示す．各種類 5 個体分撮影し，1 枚目の指紋画

鋼製器具 の外観と撮影箇所(赤枠)，(c)撮影される像を登録画像，2 枚目の指紋画像を照合画像と指紋画像の例，(d)別の個体の指紋画像の例

した．実利用時を想定し，撮影位置・姿勢が変化するよう，1 枚目の撮影を終えた後，鋼製器具を置きなおしてから 2 枚目の撮影を行った．
照合の結果，同一個体間のスコアはすべて 0.5
以上，異なる個体間のスコアは 0.05 未満であり，閾値判定により照合精度は 100%となった．
4. 自動撮影システム
指紋画像の撮影はマクロ撮影であるため，物体指紋が視野に映るよう位置を微調整し，焦点

図 2：試作した自動撮影システムが合うよう高さを微調整する必要がある．この

利益相反の有無

調整作業は繊細で作業負荷が高いため，この作

なし

業を自動化する，ロボットアームを活用した撮文影システムを試作した（図 2）．試作撮影システ［1］

ムは，アームの先に図 1(a)の撮影装置を取り付

献S.L. Ting, et al.: Development of an RFIDbased Surgery Management System. J.

けており，置かれた鋼製器具の指紋画像を自動

Healthcare Engineering 3-3: 347-372, 2012

的に撮影できる．文献[6]と同様，別途設置した［2］

広角カメラの画像を用いて，器具の位置・種類

佐藤一史 他：総合滅菌リアルタイムト
レーサビリティシステムの導入と運用．

を認識し，器具の指紋箇所の位置に撮影装置を

医療機器学 86,(3): 347-352, 2016

動かす．本システムにより，利用者は鋼製器具を置くだけで，個体識別を行うことができる．
5. まとめ
本稿では，タグ付けやマーキングが不要な，［3］

石山塁：「物体指紋」を用いた個体識別と認証．ViEW 2018: OS1, 2018.

［4］

T.

Takahashi,R.

Ishiyama:

FIBAR:

Fingerprint imaging by binary angular

画像照合による鋼製器具 の個体識別手法を提

reﬂection for individual identiﬁcation of

案した．実験では，メス，ピンセット，ハサミ

metal parts. EST-2014: 46–51, 2014の 3 種類の鋼製器具を各 5 個体用いた照合実験［5］において，照合精度 100%で個体識別が可能で

牧野賢吾 他：Fourier-Mellin 特徴の相関による画像照合の高速化と特徴量削減．

あることを確認した．また，器具を置くだけで

MIRU2018: OS3–L1, 2018．

個体識別が行える自動撮影システムを試作し［6］

た．本システムにより，撮影作業コストを低減

K. Makino, et al.: Automated Scanning and

し，容易に器具の個品管理を実現できる．自動Individual Identification System for Parts

撮影による照合精度評価，器具の種類・数量を

without

増やしての検証が今後の課題である．

ICMR2018: 509-512, 2018134

Markingor

Tagging.

ACM

Medical Instruments Identification based on
Image Matching of Metal Surface
Kengo MAKINO*1, Jesse de Wit*2, Rui ISHIYAMA*1, Toru TAKAHASHI*1, Yuta KUDO*1*1 Data Science Research Labs. , NEC Corporation*2 Biomedical Engineering, Delft University of Technology

This paper proposes an individual identification system for medical instruments based on image matching. In general,
individual identification using marking or tagging is used to manage assets or work history. However, marking or tagging
cannot be applied with special instruments. In addition, they require additional cost. In this paper, we propose“Fingerprint of Things” identification technology for individual identification of medical instruments. The method
visualizes micro-scale bumps of the surfaces of medical instruments as unique patterns. Then, it identifies individual
instruments by matching them. Because the method only requires image capturing of the instruments, individual
management can be easily achieved at low cost, even with special instruments. In our experiments, our method
successfully identified five individual medical instruments correctly among three types of metal medical instruments(knives, tweezers, and scissors). In addition, we demonstrated that the individual identification system enables us tocapture the unique patterns of the medical instruments automatically using a robot arm.

Key words: Image Matching, Individual Identification, Medical Instruments, Traceability135OP1-14

舌診断支援システムの自動化に向けた
舌検出と領域抽出の検討
唐森

啓超*1 ヤン テイショウ*1康久仁*3

須鎗 弘樹*3

吉村 裕一郎*2

並木 隆雄*4

中口

俊哉*2

要旨
我々はこれまで舌撮影装置 TIAS を開発し，舌色診断支援システムを構築してきた．この舌色診断支援シス
テムのクリニックや家庭への普及に向けて使用手順の自動化が求められている．そこで本研究ではシステ
ム自動化に向けた舌検出と領域抽出の手法を検討した．舌検出について，先行研究の結果では感度と精度
は 0.9 以上に達したが特異度は 0.4 未満と誤検出が多発していた．そこで MobileNets 深層学習モデルを用いた舌検出手法を提案した．TIAS で撮影した舌画像 798 枚を用いてモデルを学習させたところ，舌検出特異度と精度の大幅な向上を確認した．舌の領域抽出について，SLIC と GrabCut を用いた先行研究の結果では
平均 IoU 値が 0.75 未満と精度に課題があった．そこで本研究では Pix2Pix 深層学習モデルと領域拡張法を組み合わせた舌領域抽出法を提案した．関連手法との比較評価実験の結果，提案手法の優位性を確認した．
キーワード：舌診，舌検出，領域抽出，深層学習

舌検出について，先行研究として，

1． 背景「舌診」とは東洋医学の診察法の一つであHaar-Like 特徴量に基づく機械学習を用いたり，舌の色彩，形状，湿潤，舌苔の状態等の舌検出手法がある．その結果では感度と精度所見から患者の体調を診断する．しかし，診は 0.9 以上に達したが，特異度は 0.4 未満と断結果は医師の主観や経験に大きく依存する

誤検出が多発していた [3]．そこで本研究では，ため，定性的である．この問題を解決するた

MobileNets 深層学習モデルを用いた舌検出手

め，我々は図 1 に示すような舌撮影装置 TIAS
を開発し，舌色診断支援システムを構築した[1] [2]．TIAS のクリニックや家庭への普及に向けて使用手順の自動化が求められている．自動化にはカメラのプレビュー動画像から挺舌の状態を検出するためリアルタイム処理が必要である．さらに，撮影後の静止画像 1 枚に対して領域抽出の必要がある．
――――――――――――――――――*1 千葉大学大学院融合理工学府〔〒263-8522 千葉市稲毛区弥生町 1-33〕*2 千葉大学フロンティア医工学センター*3 千葉大学大学院工学研究院*4 千葉大学大学院医学研究院和漢診療学

図 1 舌撮影装置 TIAS と舌色診断支援システム

136

法を提案した．
舌の領域抽出について，SLIC と GrabCutを用いた先行研究の結果では平均 IoU 値が0.75 未満と精度に課題があった [3]．そこで本研究では Pix2Pix 深層学習モデルと領域拡張法を組み合わせた舌領域抽出法を提案した．
2．提案手法TIAS のクリニックや家庭への普及に向けて使用手順の自動化が求められている．TIAS
撮影の手順と自動化に必要な措置を図 2 に示
す．カメラのプレビュー動画像から挺舌の状態を検出するためリアルタイム処理が求められる．一方，撮影後の静止画像 1 枚に対して領域抽出の必要がある．そこで本研究ではシステム自動化に向けた舌検出と領域抽出の手法を検討した．

図 2 TIAS 撮影の手順と自動化に必要な措置

2.1．舌検出手法
深層学習(Deep Learning)とは，多層のニュ
ーラルネットワークによる機械学習手法で，特徴量抽出を自動化できるという利点がある．
近年，画像を対象とした場合，非深層学習の手法より高い性能が示唆されている．
深層学習モデルの一種として MobileNets[4]は Depthwise Separable Convolution を用いることで，計算速度が一般的な深層学習モデル
より速い，リアルタイムでの物体検出が可能となる．また 2 つハイパーパラメータ Width
Multiplier と Resolution Multiplier を導入する
ことで，処理時間と精度を調節することがで

図 3 舌検出の例
緑色矩形領域：舌検出ボックス

きる．スマートフォンやノートパソコンなどの性能に制限があるデバイスにおいても認識小さいモデルを出力する．

や分類モデルへの応用が可能となる．本研究ではリアルタイムの舌検出処理に MobileNets

舌検出における提案手法の 有効性 を評価す

モデルを導入する．図 3 に本研究での提案手るために TIAS で撮影した 200 枚の舌画像と法による舌検出の例を示す．

33 枚の非舌画像に従来手法と提案手法をそれぞれ適用し，比較評価実験を行った．

TIAS で撮影した RGB 舌画像 798 枚を用いて MobileNets モデルを学習する．ネットワー

2.2．舌領域抽出手法

クに入力する学習画像の解像度は 300×300

Pix2Pix[5]モデルは GAN を利用した画像生で，バッチサイズは 24 である．データ数 798

成アルゴリズムの一種で，一対の画像から画枚の内 718 枚を訓練データ，80 枚を検証デー

像間の関係を学習することで，一方の画像入タとして 2000epoch を実行し，loss 値が最も力から他方の画像を生成することができる．

137

長谷川らは Pix2Pix モデルで二値化舌画像を生成する手法を提案した [6]．舌画像とそれに対応した二値化舌画像のペアを学習データとして Pix2Pix で学習させ，任意の舌画像を入力した際に対応した二値化舌画像を生成する
ことができる．
本研究では学習データとして TIAS で撮影した 14 人分の被験者の舌画像を用意し，各被験者につき 10~40 枚の舌画像，合計で 424 枚

図 4 学習データのペアの例
左側：TIAS で撮影された舌画像(画像を 256×256 にリサ
イズした)，右側：それに対応した二値化舌画像の舌画像を用いた．これらの舌画像と対応した二値化舌画像には，手作業で作成した二値化画像である．図 4 は作成した学習データのペアの一例である．
しかし，Pix2Pix による生成結果では学習データが不十分なため二値化舌画像の出力結果
は細かいノイズが発生することが多い．長谷川らは複数枚の出力画像群をピクセルごとに論理積を計算することでノイズ除去を行っているが，1 枚の二値化舌画像の生成に 10 分程
度要している．自動化処理を実現するためには，舌領域抽出の処理時間を短縮することは必要不可欠である．この問題を解決するために，領域拡張法 [7]を用いて短時間で小領域を除去することを提案する．図 5 に本研究での提案手法によるノイズ除去の例を示す．舌外部の過抽出ノイズを除去する処理と舌内部の欠損を埋める処理をそれぞれ領域拡張により

図 5 ノイズ除去の例
左側：ノイズ除去前，右側：ノイズ除去後実施した．
しかしながら，テストデータには学習デー
タとは撮影条件が異なる画像がふくまれており，そのような画像に対しては，精度の良い
二値化舌画像を生成できない可能性が高い．
そこで，本研究では元の 424 枚の舌画像に対して，左右反転と色変換を行うことで，この問題に対応するためのデータ拡張を試みた．
舌画像に対して-0.20 から+0.20 までのランダ
ムな輝度調整と 1.0 から 2.0 までのランダムな飽和度調整と 1.0 から 2.0 までのランダムなゲイン調整，異なる順番の組み合わせからランダムに一つを選ぶ，画像入力の 1 イテレ
ーションごとに色変換を行う．さらに，舌検出された検出ボックスをもとに舌画像と二値

図 6 訓練画像のペアの例(a)オリジナル舌画像，(b)左右反転した画像，(c)色変換
した画像，(d)左右反転と色変換した画像

138

化舌画像のラベルをトリミングすることで，Andrew G. Howard ら [4]の評価実験で使用され背景情報による学習精度の低下を防ぐことをた IoU 係数を用いた．

試みた．図 6 に示すような画像のペアは今回

今回舌検出成功の判定基準を検出ボックス

本研究の学習データとして使用する．

の IoU 値が 0.7 以上と設定した閾値をもとに入力画像の解像度は 256×256 で，バッチサ

233 枚の画像から舌検出の成否を判定し，感イズは 1 である．データ数 424 ペアの内 382

度，特異度，精度の評価を行った．

枚を訓練データ，42 枚を検証データとして

表 1 に従来手法と提案手法の検出評価結果

50epoch を実行し，loss 値が最も小さいモデルを示す．Haar-Like 特徴量を用いた舌検出の結を出力する．

果は感度と精度は 0.9 以上に達したが特異度

舌領域抽出における提案手法の優位性を示

は 0.4 未 満 と 誤 検 出 が 多 発 し て い た ．

唆するために異なるカメラ条件下で TIAS 撮

MobileNets 深層学習モデルを用いた舌検出の影した 165 人分の被験者の舌画像用意し，各結果のそれぞれ評価指標の平均が 1 となった

被験者につき 1~2 枚の舌画像，合計で 170 枚

ため検出特異度と精度の大幅な向上が確認さのテスト舌画像に関連手法と提案手法をそれれた．

ぞれ適用し，比較評価実験を行った．

3.2．舌領域抽出比較評価実験
学習データと異なるカメラ条件下で TIAS

3．実験

撮影した 165 人分の被験者の 170 枚テスト舌3.1．舌検出比較評価実験

画像に関連手法と提案手法をそれぞれ適用し，

TIAS で撮影した 200 枚の舌画像と 33 枚の比較評価実験を行った．

非舌画像に従来手法の Haar-Like 特徴量を用

テスト舌画像の各手法で生成した二値化舌

いた舌検出と提案手法の MobileNets 深層学習

画像と舌領域抽出画像の結果を図 7 に示す．1

モデルを用いた舌検出をそれぞれ適用し，比枚の二値化舌画像の生成に要した時間は約 2

較評価実験を行った． 本研究では評価指標に秒である．

表 1 舌検出の評価結果

図 7 テスト舌画像の各手法で出力結果の例(a)オリジナル舌画像，(b)舌抽出画像(ラベル)，(c)Pix2Pix 手法結果，(d)Pix2Pix+Seeded Region Growing 手法結果，(e)Data augmentation+Pix2Pix+Seeded Region Growing 手法結果，(f) Dataaugmentation+Crop+Pix2Pix+Seeded Region Growing 手法結果

139

表 2 舌領域抽出の評価結果

実際，提案手法の出力されたモデルのイテ

み合わせて，データ拡張と舌領域トリミング

レーション数は 43000 である．すなわちイテを前処理として追加した舌領域抽出手法を提レーション数と同じに合計 43000 枚舌画像が案した．関連手法との比較評価実験により提データ拡張後の入力画像をとして生成された．

案手法の優位性を確認した．

表 2 に関連手法と提案手法の領域分割評価
結果を示す．従来手法の Haar-Like 舌検出に

利益相反の有無基づく SLIC と GrabCut を用いた舌領域抽出なしの結果が平均 IoU 値は 0.75 未満である．舌検文出手法を MobileNets に変更後，舌検出精度が［1］

献Yamamoto S, Ishikawa Y, Nakaguchi T,向上したため，GrabCut 領域抽出結果の平均

et al.: Temporal Changes in Tongue

IoU 値が 0.819 に向上することが示された．

Color as Criterion for Tongue Diagnosis

一方，先行研究の Pix2Pix 深層学習モデル

inを用いた舌領域抽出の結果が平均 IoU 値は

Kampo

Medicine.

Forsch

Komplementmed 2012: 80-85, 2012

0.859 で あ る ． 領 域 拡 張 法 を 後 処 理 と し て［2］

Nakaguchi T, Takeda K, Ishikawa Y, etPix2Pix モデルと組み合わせた後，小領域ノイal.: Proposal for a new non-contact

ズを除去することで， 領域抽出結果の平均

method for measuring tongue moisture

IoU 値が 0.873 に向上するという改善が確認

to assist in tongue diagnosis, andされた．

development of the Tongue

Image

さらに，データ拡張と舌領域トリミングのAnalyzing System, which can separately

前処理手法を提案手法へ導入後，舌領域抽出

record the gloss components of the

結果の平均 IoU 値が 0.947 となったため提案

tongue. BioMed Research International

手法の優位性が確認された．

2015: Article ID 249609, 10 pages, 2015［3］

平野諒司，中口俊哉，貝沼茂三郎：大4．まとめ

規模画像処理による挺舌中の経時色

本研究は舌診断支援システムの自動化に向変化と医学所見との関連解析．電子情

けた舌検出と領域抽出の検討を行った．

報通信学会技術報告：vol.115，no.216，

MobileNets 深層学習モデルを用いた舌検出手

IMQ2015-14，9-14，2015

法を提案し，従来手法との比較評価実験によ［4］Andrew G. Howard, Menglong Zhu, Bo

り舌検出特異度と精度の大幅な向上を確認しChen, et al.: MobileNets: Efficient

た．Pix2Pix 深層学習モデルと領域拡張法を組

Convolutional

140

NeuralNetworks

forMobile［5］

VisionApplications.

arXival.: Generation of binarized tongue

preprint arXiv: 1704.04861, 2017

image

Phillip Isola, Jun-Yan Zhu, Tinghui

unification.

Zhou, et al.: Image-to-image translation

Technology, Fukuoka, 2018, pp343-346［7］with conditional adversarial networks.

［6］

using

pix2pix

Forum

on

for

shape

Information

Adams R, Bischof L: Seeded region

Proceedings of the IEEE conference on

growing. IEEE Transactions on patterncomputer vision and pattern recognition,

analysis and machine intelligence 16.6:

2017, pp1125-1134

641-647, 1994

Hasegawa Y, Tsunashima K, Mori Y, et141

Examination of tongue detection and region extraction
for automation of tongue diagnosis support system
Qichao TANG*1, Tingxiao YANG*1, Yuichiro YOSHIMURA*2, Yutaka HASEGAWA*1
Yasukuni MORI*3, Hiroki SUYARI*3, Takao NAMIKI*4, Toshiya NAKAGUCHI*2*1 Graduate School of Science and Engineering, Chiba University*2 Center for Frontier Medical Engineering, Chiba University*3 Graduate School of Engineering, Chiba University*4 Dept. of Japanese-Oriental (Kampo) Medicine,
Graduate School of Medicine, Chiba University

We have developed “Tongue Image Analyzing System (TIAS)” and constructed tongue color diagnosis support
system. In order to extend TIAS to clinics and personal homes, the operation of TIAS needs to be automated. In thisstudy, we explored tongue detection and region segmentation extraction methods for system automation. Regarding
tongue detection, according to the results of previous researches, sensitivity and accuracy can reach 0.9 or more,
however specificity is less than 0.4, and error detection occurred frequently. Therefore, we proposed a tongue
detection method using MobileNets deep learning model. The model was trained using 798 tongue images taken with
TIAS, and significant improvements in tongue detection specificity and accuracy were confirmed. Regarding region
segmentation extraction of tongue, the results of previous researches using SLIC and GrabCut had a problem inaccuracy with average IoU value less than 0.75. In this study, we proposed a tongue region segmentation extraction
method combining Pix2Pix deep learning model and seeded region growing method. Through a comparativeevaluation experiment of related methods, the superiority of proposed method in accuracy was confirmed.

Key words: Tongue diagnosis, Tongue detection, Region segmentation extraction, Deep Learning142

OP1-15

少量のラベルデータを用いた学習によるイレウス症例 CT 像における拡張腸管の自動抽出小田 紘久 ∗1 , 西尾 光平 ∗1 , 北坂 孝幸 ∗2 , 天野 日出 ∗3,4 ,千馬 耕亮 ∗4 , 内田 広夫 ∗4 , 鈴木 耕次郎 ∗5 ,伊東 隼人 ∗1 , 小田 昌宏 ∗1 , 森 健策 ∗1,6,7
要旨
本稿では，Fully convolutional network (FCN) を用いたイレウス患者の CT 像における腸管領域の抽出において，手塗りされた教師データが少量であっても精度よく抽出を行う手法を提案する．腸閉塞をはじめとするイレウス症例の緊急診断支援のため，腸管を抽出してその走行を提示するシステムの開発が必要である．一般に FCN の学習を行う場合には大量の学習データが必要であるが，小腸は複雑に入り組んでいるほか非常に長く，手動でのラベル作成は容易でない．本稿では症例ごと 7 枚の Axial スライスのみにラベルが作成された教師データを効率的に使用するためのデータ拡張として，回転・非剛体変形などの一般的な画像処理のほか，事前に教師データごとにラベルを他のスライスへ伝播する処理を行うことで，ラベルが手作業で作成されていないスライスも学習に使用可能とする．ネットワークは 3D U-net をもとに入出力サ
イズを変更を施した Suppressed 3D U-net を用いた．実験は他のスライスへの伝播処理の有効性を評価する
ため，伝播処理あり・なしの比較を行った．伝播あり・なしの抽出精度を表す Dice 係数はそれぞれ 0.744,

0.782 であり，伝播処理を行わないほうが高い抽出精度が得られることが知られた．
キーワード: Suppressed 3D U-net, スパースアノテーション, 腸管抽出, 簡易手動抽出

1. はじめにも低下し，抽出に漏れが生じた．

腸閉塞を含めたイレウス患者の緊急診断にお近年，Fully convolutional network (FCN) を含

いては，医師が CT 像において腸管をたどり，めた深層学習手法による各種臓器・組織の抽出

閉塞点を探す作業が求められる．とりわけ小腸が広く行われている．FCN の学習には画像おは腹部において複雑な走行を示すほか全長も長よび，抽出対象物のラベルが必要となるが，複い．閉塞点を探す作業は多大な労力と慣れを要

雑に入り組んだ腸管を抽出する作業は多大な労する．そのため，自動で腸管の閉塞点を探す手力を要すため現実的でない．そこで我々は，学法が求められている．

習用 CT 像における手作業でのラベル付け対象

西尾らは，ヘッセ行列に基づく面状構造強調を少数の Axial スライスのみに絞り，それらのフィルタを用いて腸管の壁を抽出し，そのフィル

ラベルのみを用いて学習した場合に正確な抽出

タ出力の小さな領域をたどるよう Fast marchingが行われることを目指す．とりわけ本稿では，algorithm を使用した [1]．この手法では，腸管本来の学習に先立つデータ拡張として，学習用の壁の一部が不明瞭である場合にフィルタ出力

CT 像においてラベルを近隣のスライスへ伝播しておき，多数のスライスを利用することの有∗1 名古屋大学大学院情報学研究科

効性について調査する．

〔〒 464-8601 名古屋市千種区不老町〕
email: hoda@mori.m.is.nagoya-u.ac.jp∗2 愛知工業大学情報科学部∗3 東京大学大学院医学系研究科∗4 名古屋大学大学院医学系研究科∗5 愛知医科大学放射線医学講座∗6 名古屋大学情報基盤センター∗7 国立情報学研究所医療ビッグデータ研究センター

2.

腸管抽出手法1) 概要
本手法は CT 像から腸管領域を抽出するものである．ネットワークの学習に用いられる CT
像はそれぞれ n 枚の Axial スライスをもつとす1434) 推論学習されたネットワークはパッチと同サイズ

ラベルをもつ Axial スライスの出力をもち，腸管内確率（0〜1 の実数で，腸管内において高い値，それ以外で低い値）を出

288

192

８

力するが，このうち 8 枚目の XY 平面のみが信８

頼できるものである．CT 像の各 Axial スライスについて，その周辺を含め 16 枚の Axial ス
ライスで構成されるパッチを学習時と同様に切り出し，ネットワークで腸管内確率とする．CTCT像

像全体において確率を得たうえで，確率が 0.5

パッチ

以上の領域を腸管抽出結果とする．
図 1 パッチの切り出し方．

3.

実験および考察

7 例の大人のイレウス症例 A〜G を {A, B, C},{D, E}, {F, G}と分け，3 分割交差検定を行った．
各症例では，腸管の映る Axial スライスのうちると，8 番目から (n − 9) 番目までの Axial スラ
イスのうち 1 枚以上において，腸管のラベルが与えられている必要がある．

7 枚を，およそ等間隔となるよう手動でラベルを作成し，小児外科医 1 名によるチェック・修2) ネットワーク構成および誤差関数
3D U-net [2] を改変し，入力・出力サイズを正を受けた．プログラムは Keras により実装し，288 × 192 × 16 画素としたもの (Suppressed 3D
U-net) を使用する．Z 軸方向は入力サイズが 16

学習・テストには Quadro P6000 (NVIDIA) GPU
を 1 基使用して，10,000 イテレーションの学習画素であるため，ネットワーク中での Z 軸方向を行った．事前に抽出結果を他のスライスへ伝に対する情報の過度な損失を防ぐよう，13 個の播する処理を行った実験を「伝播あり」，単に

畳み込み層のうち 7 個は XY 平面上のみの処理

各症例 7 枚のラベルを用いて学習を行った実験としている．

を「伝播なし」と記す．

図 1 に示すように，ラベルをもつ Axial スラ

表 1 は交差検定における抽出精度を表し，

イス付近をパッチとして切り出すが，その際にDice 係数ならびに接続数で評価している．接16 枚あるパッチ内の XY 平面のうち中央付近にあたる 8 枚目に，ラベルをもつ Axial スライ
スが来るようにする．誤差関数は Binary cross-

続数とは，手塗りされた複数のラベルにまたがentropy を使用し，その算出に用いるのも 8 枚
目の XY 平面のみとする．

よい．Dice 係数・接続数ともに，平均では伝播る自動抽出結果の数を表し，腸管の追跡処理への応用においてはこのような箇所が少ない方がなしの方が高い精度であった．
図 2 に結果例を示す．伝播あり（図 2 (b)）の

3) データ拡張
並進・回転等結果では伝播なしの場合（図 2 (c) ）に比べ，辺CT 像に並進・回転ならびに非剛縁まで十分に抽出されていない箇所や，離れた体変形をランダムに行った上でパッチを切り出ラベルが接続している箇所がみられた．また伝す．またパッチごと 0.95 ∼ 1.05 の係数をランダ

播なしでは全体に辺縁まで 1.0 に近い値がネッ

ムに生成し，パッチ内の全画素の CT 値 [H.U.]

トワークより出力されているのに対し，伝播あに対して係数値を乗算する．

りの場合は腸管内外でなめらかに出力値が変化

他スライスへの伝播 杉野ら [3] の手法を参考している箇所が多い傾向にあった．伝播ありのに，学習データそれぞれにおいて事前にラベル場合では，伝播の結果が正しいか否かを評価すを伝播しておくことで，多くのスライスを学習ることなくランダムに学習に使用しているため，に使用可能とする．

誤ったラベルでの学習が結果に悪影響を与えた可能性がある．明らかに誤ったラベルは使用し

144

1.0

1.0
腸管領域同士の接続辺縁付近の抽出不足

残渣

液体

空気

0.5

0.5

(b) 伝播あり(a) Ground-truth(c) 伝播なし

図 2 ネットワーク出力例．(a) Ground-truth. 残渣・液体・空気が色分けされているが，本手法ではこれらを単一クラスとして扱っている．(b) 「伝播あり」の出力．(c) 「伝播なし」の出力．

表 1 各症例の抽出精度．伝播あり・なしを比較．
症例
伝播
A
B
C
D
E
F
G
平均

Dice 係数ありなし
0.675 0.734
0.732 0.800
0.805 0.838
0.861 0.857
0.871 0.870
0.400 0.553
0.865 0.818
0.744 0.782

コンピュータ外科学会大会, 20(4): 348–349,
2018

接続数/スライス
あり
なし
0.143
0.000
1.429
0.714
0.571
0.571
0.000
0.143
0.714
0.857
0.333
0.167
0.571
0.000
0.534
0.354

[2] Cicek O, Abdulkadir A, Lienkamp S, et al.:
3D U-Net: Learning dense volumetric segmentation from sparse annotation, MICCAI2018 LNCS 0091: 424–432, 2016[3] Sugino T, Roth H, Oda M, et al.: Automatic segmentation of eyeball structures frommicro-CT images based on sparse annotation,
SPIE Medical Imaging 2018, 10578, 2018

ない，手作業で得たスライスと伝播処理で得たスライスの学習バッチ中の制約をつけるなどの改善が考えられる．

4. まとめ本稿では FCN による CT 像からの腸管自動抽出手法を提案し，そのデータ拡張として，ス
ライスの伝播処理により学習データ中における多くのスライスを使用可能となった反面，伝播処理の正確性を問わずにランダムにスライスを選定して学習に使用したために精度の低下を引き起こした．今後，手動作成されたラベルと伝播結果の，学習におけるバランスについて改善を図る予定である．
謝辞

本研究の一部は，堀科学芸術振興財団，

MEXT/JSPS 科研費 (17H00867, 17K20099, 26108006,
26560255)，JSPS 二国間交流事業ならびに AMED
(19lk1010036h0001) によった．
利益相反 なし
文献[1] 西尾光平, 小田紘久, 千馬耕亮 他：イレウス
診断支援システムにおける閉塞部位の誤検
出修正及び改善ツールの構築. 第 27 回日本

145

Automated Segmentation of Dilated Intestines inIleus Patients’ CT Volumes Using
Little Amount of Labeled Training Data
Hirohisa Oda∗1 , Kohei Nishio∗1 ,Takayuki Kitasaka∗2 , Hizuru Amano∗3,4 ,Kosuke Chiba∗4 , Hiroo Uchida∗4 , Kojiro Suzuki∗5 ,Hayato Itoh∗1 , Masahiro Oda∗1 , Kensaku Mori∗1,6,7∗ 1 Graduate School of Informatics, Nagoya University∗ 2 School of Information Science, Aichi Institute of Technology∗ 3 Graduate School of Medicine, The University of Tokyo∗ 4 Nagoya University Graduate School of Medicine∗ 5 Department of Radiology, Aichi Medical University Hospital∗ 6 Information Technology Center, Nagoya University∗ 7 Research Center for Medical Bigdata, National Institute of Informatics

In this paper, we propose an intestine segmentation method from CT volumes of ileus patients, which works wellwith a small number of manually-traced labels on training of fully convolutional network (FCN) for segmentation.
Generally, training FCNs requires much amount of training dataset. However, manual tracing of the intestines isvery diﬃcult because the intestines are long and have winding shape. We investigate eﬃcacy of data augmentation,that consists of not only general image processing like rotation or non-rigid registration but also propagation ofmanually-traced labels to other axial slices. By this approach, use of axial slices have no manually-traced labels
for training becomes possible. Our FCN network for segmentation named “suppressed 3D U-net” is a modified
version of the 3D U-net, whose input and output size are adjusted for our work. To investigate the eﬃcacy ofthe propagation, performances of w/ and w/o propagation are compared in the experiments. Dice coeﬃcients ofw/ and w/o propagation were 0.744 and 0.782, respectively. We found that propagation process decreases thesegmentation accuracy, which uses axial slices including incorrect labels for training.
Keywords: Suppressed 3D U-net, Sparse annotation, Intestine segmentation, Easy manual annotation146

OP1-16高解像度連続切片標本画像による股関節周辺領域における神経筋骨格構造のモデル化のための線維トラクトグラフィーの応用
時末

尚悟*1

大竹 義人*1

Mazen Soufi*1

福田

紀生*1

高尾 正樹*2

菅野 伸彦*2

Beom Sun Chun*3

Jin Seo Park*4

佐藤 嘉伸*1

要旨
整形外科での診断精度向上などの観点から，正確な筋骨格モデルの構築が求められている．しかし，現状のモダリティでの腱・靭帯領域の撮像や解剖での骨格筋の内部構造把握は困難とされており，骨格筋の起始から停止に至る正確な 3 次元構造のモデル化はなされていない．そこで本研
究では，遺体から得られる高解像度の標本画像を用いることで，骨格筋の起始から停止までの正確な 3 次元構造のモデル化を目指す．先行研究では大臀筋を対象にその周辺の腱・靭帯組織をマ
ニュアルトレースにより抽出し筋腱線維の構造解析を行った．本研究では CNN を用いて，デー
タセット全体から腱・靭帯組織を自動抽出し，そのラベルを用いて線維構造解析を行い，マニュ
アルトレースとの比較・検討を行う．また，解析した腱・靭帯線維をクラスタリングすることで解剖学的な整合性に基づいた領域分類を行い，周辺の骨や骨格筋とのコネクティビティの検証を行う．
キーワード：筋骨格モデル，トラクトグラフィー，筋腱線維解析

1. はじめにルが構築されており，OpenSim[1]や Anybody[2]

整形外科での診断精度向上，スポーツ医学でなどのシミュレーションシステムが開発されの運動解析などを目指して様々な筋骨格モデている．しかしながら，既存の骨格筋を線形ア
クチュエータで近似したモデル[3]では，シミュ――――――――――――――――――

レーションで不自然な挙動を示すことが問題*1 奈良先端科学技術大学院大学 先端科学とされている[4]．

技術研究科 情報科学領域

そこで我々のグループでは，骨格筋内部の筋〔〒630-0192 奈良県生駒市高山 8916-5〕

線維走向を解析するため，高解像度の標本画像

e-mail: {otake, yoshi}@is.naist.jp

を用いて，画素勾配から線維の走向を構造テン*2 大阪大学大学院 医学研究科

ソルとして取得し，fiber-tracking アルゴリズム*3 Ajou University School of Medicineを用いることで筋腱線維 の走向モデルを構築*4 Dongguk University college of Medicine

した[5]．本稿では，先行研究に加え，筋骨格モ

投稿受付：2019 年 5 月 22 日

147

デルの構築で重要視されている[6]骨格筋と骨表 1 データセットの詳細の付着部である腱および靭帯の線維構造を 解

本モデルの構築を目指す．実験では，CNN を用

領域
Image Size (voxel)
Voxel Size (mm3/voxel)
Color

いて自動抽出された腱および靭帯線維領域かす Dice 係数および ASD で行う．

剖学的構造に基づいて分類することで筋骨格シミュレーションに向けた下肢 3 次元筋骨格標ら得られる線維構造をマニュアルトレースに𝐷𝐶(𝐴, 𝐵) =より作成した正解ラベルから得られる線維構造と比較し，その抽出結果の妥当性を評価する．
また，それらの線維構造を周辺の骨・靭帯ラベ

𝐴𝑆𝐷(𝐴, 𝐵) =ルに基づいて分類することで，より忠実な線維

股関節
1943*3520*2501
0.1*0.1*0.1
24bit RGB

2|𝐴 ∩ 𝐵|
|𝐴| + |𝐵|(2)

1(∑ min 𝑑(𝑥, 𝑦)𝑦∈𝐵|𝐴| + |𝐵|𝑥∈𝐴

構造の解析を行う．
+ ∑ min 𝑑(𝑦, 𝑥)) (3)

2. 手法

𝑥∈𝐴

𝑦∈𝐵

2.1. 線維走向推定
先行研究[5]と同様の手法で線維走向を解析

また，予測ラベルによる線維構造の評価を行する．実験に用いたデータセットの詳細を表 1

うため，fiber distance[7]を用いる．fiber distanceに示す．計算速度向上のため，グレースケール

は次式(1)で表される．

へ変換し画素勾配から構造テンソルを取得す

𝑛1
𝑑𝑖𝑗 = ∑ 𝑑𝑘𝑛る．得られた構造テンソルにトラクトグラフィ
ーを適用し線維構造を取得する．

(1)

𝑘=1

ここで，𝑑𝑘 は線維𝑖上の点𝑘と線維𝑗上の最近傍

2.2. 腱・靭帯領域の自動抽出
表 1 に示す通り，実験に用いた高解像度の連点との距離であり，線維𝑖上の全ての点でその総続画像から全ての腱・靭帯組織を手動で抽出す和を取り，点数𝑛で割ることで得られる．評価にるには莫大な時間が必要となる．そこで，CNNは予測ラベルに基づく筋腱線維の全ての線維を用いて腱・靭帯組織の自動抽出を行う．用いについて正解ラベルに基づく筋腱線維とのたネットワークは U-Net[6]で，データセットか

fiber distance を求める．

ら 100 枚間隔で抽出した 25 枚の画像にマニュ
アルでアノテーションし，その画像からランダ

3. 実験

ムに 512×512 のパッチを 3000 枚取り出したも3.1. 大臀筋の筋腱線維解析のを訓練データとして用い る．予測ラベルは

実験は股関節周辺領域の骨格筋を対象に行

5*5*21 の Closing Filter でノイズを軽減する．

う．本稿では大臀筋を対象に停止部である大腿2.3. 筋腱線維の解剖学的構造に基づく分類

骨への腱および腸脛靭帯の線維走向をマニュ
アルトレースにより作成したラベルおよび 2.2

解析した筋腱線維をより解剖学的構造に忠実に再現するため，以下の手順で分類する．

の手法で自動抽出されたラベルをもとに解析

1. 周辺の骨および腱・靭帯に付着していない無し，その結果を比較・検討する．

効な線維の除去

3.2. 大臀筋の線維走向分類

2. 骨格筋の付着部による有効な線維の分類

大臀筋は浅層および深層の 2 層構造をもち，

3. 不確実な線維の抽出

浅層の停止部は腸脛靭帯，深層の停止部は大腿2.4. 予測ラベルの評価骨とされている[8]．この解剖学的知見をもとに正解ラベルと予測ラベルの評価を次式で示

3.1 で解析した線維構造の分類を行う．手法は148

2.3 にしたがい，実験は以下のように進めた．なお，線維は全て 100 点の点群として扱い，サー1.

Original

フェスモデルは全て頂点数 8000 に補間を行う．
仙骨・寛骨・起始部の周辺靭帯・腸脛靭帯を合わせたサーフェスモデルを作成し，解析した筋腱線維の端点との最短距離が 15mm以上の線維をいずれにも付着していない無効な線維として除去する．
線維の端点を k-means 法で起始側と停止

Predicted2.

側に分類し，停止側の全ての端点と大腿骨のサーフェスモデルとの最短距離を求め，全体の線維数の 1/4 番目の線維の最短距離を閾値として，その閾値以下の線維を深層と定義す
る．
3.

Back

2.で定義されなかった線維の停止側の端

図 1点と腸脛靭帯のサーフェスモデルとの最短Left

筋腱線維の解析結果．正解ラベルに基づく(上)，予測ラベルに基づく(下)距離が 3mm 以上のものを不確実な線維として抽出し，残りの線維を浅層と定義する．

(a)

4. 結果
4.1. 大臀筋筋腱構造の比較
図 1 に大臀筋の筋腱線維構造の解析を示す．
左側にマニュアルトレースにより作成したラベルを用いて解析した結果，右側に 2.2 の手法
により予測したラベルを用いて解析した結果(b)を示している．それぞれ大臀筋周辺の骨ラベルのサーフェスモデルと合わせて Back およびLeft からのビューを表示しており，線維上の点におけるベクトル方向に応じて RGB 値を割り当てることで線維の走向を色づけしている．

Back

4.2. 大臀筋の筋腱線維の分類

図 1

図 2 に大臀筋の予測ラベルに基づく筋腱線維

Left

予測ラベルに基づく線維構造の分類結果．

(a)無効な線維の抽出．(b)線維構造の分類．

の分類結果を示す．(a)は 3.2 の手順 1 の結果であり，有効な線維を緑，無効な線維を赤で色付けしている．(b)は手順 2 および 3 の結果で，浅層をシアン，深層を朱，不確実な線維を黄で色付けしている．

4.3. 予想ラベルの評価
予 測 ラ ベ ル の Dice 係 数 は 0.80 ， ASD は0.50(mm)であった．

図 3

また，予測ラベルと正解ラベルによる線維の予測ラベルと正解ラベルに基づく繊維間の fiber distance149

fiber distance の結果を図 3 に示す．横軸に fiberIEEE Trans Bio Eng, 63-10: 2068-2079,

distance(mm)，縦軸に線維数を示している． fiber

2016.

distance が 1mm 未満の線維数は全体の約 78%で［4］

Enrico P, Morten L, Anantharaman G, et al.:Refining muscle geometry and wrapping in

あった．

the TLEM 2 model for improved hip
contact force prediction, PLoS One, 13-9:

5. 考察とまとめ

2018.

3 次元筋骨格標本モデル構築に向けて， CNN［5］を用いて腱・靭帯を自動抽出し，筋腱線維の評

時末尚悟，大竹義人，Soufi M, et al.: 高価を行った．得られた筋腱線維を解剖学的知見

精細連続切片画像を用いた線維トラクに基づき，分類することで，図 2 のような結果

トグラフィーによる筋腱モデリング，Inを得た．図 2(a)において，起始および停止と接proceedings of 医 用 画 像 研 究 会 (MI) ，続していない線維はラベルの境界部に多く見Okinawa, 2019

られることが分かる．また図 2(b)で観察される［6］

Ronneberger, O, Fischer, P, Brox, T: U-Net:

不確実な線維の多くは浅層および深層の境界

Convolutional networks forにあり，テンソル場が両方の領域の影響を受け

image segmentation., MICCAI, Springer,ていることが原因であると考えられる．

LNCS, 9351: 234-241, 2015.

また，図 1 に示す通り，正解ラベルと予測ラ［7］biomedical

Lauren O, Carl-Fredrik W: Automatic

ベルで 顕著 な差 は見 られ ず，図 3 から fiber

Tractography Segmentation Using a High-distance もほとんどが 2mm 以内に収まっている

Dimensional White Matter Atlas, IEEE

ことが分かる．今後，誤差が 2mm 以上の線維をTrans Med Imag, 26-11, 1562-15752007［8］

抽出し，原因を追究する．

Keith L. Moore, Arthur F. Dalley.: 臨床のための解剖学, 佐藤 達夫(監訳), 坂井建雄(監訳)，メディカル･サイエンス・イ

謝辞

ンターナショナル，東京, 2008

本研究の一部は，KAKENHI 19H01176 および
KAKENHI 26108004 の支援による．
利益相反の有無
なし
文
［1］

献

Scott D, Frank A, Allison A, et al.:OpenSim: Open-source Software to Create
and Analyze Dynamic Simulations ofMovement. IEEE Trans

Bio Eng, 54-11,

1940-1950, 2007.
［2］

Michael D, John R, Søren C, et al.: Analysis
of musculoskeletal systems in the AnyBody
Modeling System, Simulation Modelling
Practice and Theory, 14-8: 1100-1111, 2006

［3］

Apoorva R, Christopher D, Matthew D, etal.: Full-body musculoskeletal model formuscle-driven simulation of human gait.,

150

An application of fiber tractography formodeling neuromusculoskeletal structures around the hip joint inhigh-resolution cryosectioned images
Shogo TOKISUE*1, Yoshito OTAKE*1, Mazen Soufi*1, Norio FUKUDA *1, Masaki TAKAO *2,
Nobuhiko SUGANO*2, Beom Sun CHUN*3, Jin Seo PARK*4, Yoshinobu SATO*1*1 Graduate School of Information Science, Nara Institute of Science and Technology*2 Graduate School of Medicine, Osaka University*3 Ajou University School of Medicine*4 Dongguk University college of Medicine

High-fidelity musculoskeletal models are necessary for improving the quality of musculoskeletal simulations and theorthopedic surgery planning. However, it is difficult to represent the internal muscle structure in detail by using thecurrent models, that is because the models for the structure from the origin to the insertion has not been accurately
developed yet. In our research, we aim to reconstruct the high-fidelity 3D musculoskeletal model containing the origin
to the insertion points by using high-resolution cryosectioned specimen images. In our previous study, we analyzed themusculotendinous structure of the gluteus maximus using the label of the manually-extracted ligaments and tendons.
In this research, we expand our model by automatically extracting the ligaments and tendons from the whole dataset
by using a CNN, and analyze the musculotendinous structures based on fiber tractography. In addition, we classify the
analyzed fibers based on the surrounding bone structures, and verify the connectivity between the bones and themuscles, thus obtaining improved models for the target structures.

Key words: musculoskeletal model, tractography, musculotendinous fiber analysis

151OP1-17

画像認識技術によるうつ病診断の定量化
牧 優太*1 和田 昇太*1 安倍 和弥*1 武尾 英哉*1 永井

優一*2

要旨
近年，うつ病等の精神病の診断は主に医師による問診によって行われており，病名は，DSM-5 や ICD-10などの診断基準にいくつ症状が当てはまっているかによって付けられている．しかしこの診断方法は，科学的，客観的な評価による診断ができていないという問題がある．そのため，うつ病の客観的な診断を行うために，うつ病であるかどうか画像工学技術を利用して，うつ病診断の定量化(重症度の算出)とうつ病であるかどうかの判定を行うシステムの開発を行った．
定量化には主に視線方向と顔表情に着目した．まずうつ病患者及び健常者の動画像から，視線方向と顔表情を CNN で検出し，各々の時系列データを得た．次にそれらのデータを SVM や NN(ニューラルネット
ワーク)によって定量化し，その重症度に閾値判別を行った．その結果，どちらも平均して約 77%の識別精度が得られた．また，両モデルの出力値にアンサンブル学習を行い，同様に重症度の閾値判別をしたとこ
ろ，平均して約 83%の識別精度となり，有意な判別性能を得ていると考えられる．
キーワード：うつ病，定量化，視線方向，顔表情，アンサンブル学習

1．はじめにン A1c）などといった客観的な指標[3]を用いた

WHO のうつ病に関するファクトシートによ診断は行えていないという問題がある．

ると， 3 億人を超える全年齢層の人々がうつ病

以上を踏まえ，本論文ではうつ病の客観的なに罹患しているとされている．一方，日本国内診断を行うために，うつ病であるかどうか画像

では， 2013 年にうつ病を含む精神疾患が，が工学技術を利用して，うつ病の重症度の算出とん，脳卒中，心筋梗塞，糖尿病の 4 大疾病に新うつ病の判別を行うシステムの開発を目的とたに加えられ，「5 大疾病」となるなど対策が必している．

要である病とされている[1]．

なお，一般的なうつ病の重症度の意味は，社

このうつ病等精神病の診断であるが，主とし会生活に対しうつ病がどのくらい障害をあたて医師による問診によって行われており，

えているかを指し，その度合いを QIDS(簡易抑DSM-5(精神障害の診断と統計マニュアル第 5

うつ症状尺度)や HAM-D（ハミルトンうつ病評版) や ICD-10(国際疾病分類第 10 版)などの診価尺）を基に，軽度や中等度，重度等に分類し断基準にいくつ症状が当て嵌まっているかにている[4]．しかしながら，本論文においてうつ

よって，診断をつけている[2]．しかしながら，病の重症度は，うつ病の度合いを指す値としてうつ病の診断は他の病気の診断，例えば悪性腫

用いており，うつ病患者である確率を正規化し瘍の診断で用いられる画像や，糖尿病を診断すたものと定義している．また，本論文は躁うつ――――――――――――――――――

病，気分変調性障害，大うつ病勢障害等に細分*1 神奈川工科大学大学院

工学研究科

電気

化される前の「抑うつ症候群」を「うつ病」と定義している[5]．

電子工学専攻〔〒243-0292 厚木市下荻野 1030〕

このうつ病の診断や定量化等の取り組みは

e-mail: maki2019@ele.kanagawa-it.ac.jp

日本のみならず海外でも研究が行われており，*2 国立がん研究センター東病院

例えば Alhanai ら[6]は日常会話(Text と音声)を利用した，宗ら[7]は音声と属性を利用した診断る際に用いられる血糖値，HbA1c（ヘモグロビ

152

を行う研究をしている．また，構造 MRI 画像をできなかった部分，つまり欠損値は前もしくは用いて Mwangni ら[8]はうつ病の重症度の推定

後の非欠損値で補間を行い，欠損値をなくしてを，Costafreda ら[9]はうつ病の診断を予想の研いる．

究を行っている．一般画像では，Reece ら[10]が

図 2，図 3 に解析の際に得た，健常者とうつInstagram に投稿された画像からうつ病の診断

病患者の視線方向と顔表情の時系列変化の例

をする研究を行っている．

をそれぞれ示す．図 2，図 3 を見てわかる通り，

本研究は，静止画像のみを用いるのでな

うつ病患者は健常者とは相対的に「視線の動き

く，時間という情報も利用したうつ病の定量が少ない(正面を見る)傾向にある」，「表情の表化と判別を行おうとしているのが，今までの出頻度が少ない(無表情である)傾向にある」こ

研究と異なる点である．

とが実際に確認できた．よって，上記の差異が本論文では，第 2 章で収集した動画と指全てのうつ病患者に存在すると仮定し，これを標，使用するデータについてを，第 3 章では指標とすればうつ病の重症度算出が可能なのそのデータを用いた定量化と判別の手法を説ではないかと考えた．後述する第 4 章の実験で明する．第 4 章では第 3 章の手法による結果

は，この解析時に得た秒単位の視線方向またはを，第 5 章は第 4 章の結果からの考察をまと顔表情の変化をプロットしたデータを使用し

めている．

た．

2．使用したデータ
2.1

3．手法

使用動画

定量化にあたって，重症度算出モデルの全本研究に使用する動画は，動画投稿サイト

体図を図 4 に示す．図 4 より，視線方向データ(youtube : https://www.youtube.com/?gl=JP&hl=ja)と SVM，顔表情データと LRN(層再帰型ニューに投稿されていた動画より，動画内で自身がう

ラルネットワーク)の組み合わせと，定量化デー

つ病だと明言しているうつ病患者の動画を，同

タと NN(ニューラルネットワーク)，SVM，アン様にうつ病および精神疾患を患っていない健

サンブル学習のそれぞれの組み合わせで定量

常者の動画を対象としている．また，条件とし化かつ重症度を得ている．この三つのプロセスて投稿者がカメラの正面に位置し，カメラに向を以下に示す．

かって話しかけている動画のみとしている．上記の条件を満たしていた動画の中で，うつ病患

1) 視線方向データを利用した定量化者 15 名と健常者 15 名の計 30 名の動画を選定

2) 顔表情データを利用した定量化

した．

3) 二つの手法の統合

2.2

データ解析

web や文献からうつ病の身体症状を調査した

これらの詳細を本章 3,1，3.2，3.3 にて述べる．

ところ，「視線が下がる」，「表情が少ない(硬い)」

3.1 視線方向データを利用した定量化[5 ]など，視線や表情等に特徴があることがわか

視線方向データからデータセットを作成，そった．そのため，集めた動画の視線方向と顔表のデータセットを 2-class SVM に入力し，出力情に着目しそれぞれの時系列変化を 秒単位でされたスコア (うつ病患者である確率)に正規調べた．視線方向と顔表情の解析にあたって，化を行い，得られた重症度とそれを閾値判別し

視線方向は図 1 に示す視線方向モデルのように，たときの判別精度を確認する．

上下左右と斜め方向の計 9 方向に定義しており，学習に用いるデータセットは，視線方向デー

顔表情は P.エクマンら[11]が定義した基本 6 表

タから特徴量を抽出したものである．2 章 2.2 で情と無表情の計 7 表情として定義している．ま得た視線方向データから全視線方向と正面方

た，再生時間中に視線方向または顔表情が確認

向以外の各場合における要約統計量(分散)や平153

均情報量，正面方向を見る確率，左方向から正面方向を見る確率，下方向から正面方向を見る
確率，縦軸が視線方向，x 軸が頻度(動画再生時
間内の回数)のグラフの線形近似曲線の傾き，x軸を動画の再生時間と変えたグラフの線形近(a) うつ病患者の表情変化サンプル

図 1 視線方向モデル(b) 健常者の表情変化サンプル
図 3 顔表情の時系列変化(a) うつ病患者の視線の動きサンプル(b) 健常者の視線の動きサンプル
図 2 視線方向の時系列変化

図 4 重症度算出モデルの全体図

154

似曲線の傾き，そのグラフに高速フーリエタに分け，学習させている．学習回数は変換(FFT)を行い，習得したパワースペクトル

1000Epoch としているが，6 回の反復の間にの第一周波数成分，前から 1/4 部分までの成検証誤差が減少しなくな ったときに学習を分の平均，1/4 から 2/4 部分までの成分の平均終了するようにし，学習関数はベイズ正則化と，計 12 個を特徴量としている．

に設定している．3.1 と同様に初期乱数を考SVM の学習には rbf カーネルと， Leave-慮して，同じ条件で 3 回実験を行い，各実験

one-out 交差検証を使用している．また，初期で得られた 1 人あたり 74 個のデータのスコ乱数による影響を考慮して，5 回同じ条件でアの平均を正規化する．

実験を行い，各実験で得られたスコアの平均

3.3 二つの手法の統合
3.1 と 3.2 で得られた出力値を特徴量としを正規化する．
3.2 顔表情データを利用した定量化て扱い，以降定量化データと呼ぶ．この定量

図 5 にこの 3.2 の手法の定量化の簡略図を化データで NN(ニューラルネットワーク)，示す．図 5 に示すように，顔表情データから

SVM，softvoting 型 アン サンブ ル学 習 (以降

データセット(時系列順の表情データ)を作成，

softvoting 型)，逐次選択型アンサンブル学習

そのデータセットを LRN(層再帰型ニューラ(以降逐次選択型)に学習を行い，得られたス

ルネットワーク)に入力し，出力されたスコア

コアを正規化して，各場合における重症度とに正規化を行い．重症度を得る．そして得ら

閾値判別による判別精度を確認する．
図 7 にアンサンブル学習(softvoting 型)の全れた重症度を閾値判別したときの判別精度を確認する．

体図を示す．この構成は逐次選択型も同様で

LRN とは単純再帰型ニューラルネットワ

ある．

ークを一般化したニューラルネットワーク
であり，図 5 にこの LRN が 2 層であるときのネットワークを示す[12]．
本実験に使用する LRN は，図 6 と同じ 2 層構成としており，隠れ層のノード数を 10，遅延は 10 とし，伝達関数は隠れ層に softmax を，出力層に purelin(線形伝達関数)を用いている．
学習に用いるデータセットは，2 章 2.2 で得た顔表情データに水増しを行い，サンプルを増やしている．水増しにはあるクラスの 1
人の対象者のデータから，0 秒から 180 秒ま図5

顔表情データ定量化の簡略図

でを区切り 1 つのデータに，次に 1 秒から 181
秒までを区切り別の 1 つのデータに，と始点と終点をずらして別のデータとして扱う方法を用いている．本実験では顔表情データは
0 秒から 254 秒までと一律にそろえているため，前述通り始点を 0 秒，終点を 180 秒とす
ると，1 人あたり 74 のデータが作成されている．
学習は 5 分割交差検証で，この方法によって分けられた学習データを更に 7:1:2 の割合
で train データと validation データ，test デー

図6

155

2 層 LRN

(Epanechnikov )，'triangle'(三角形)の計 4 種類としている．k 最近傍分類器は，最近傍検索法の'kdtree' (kd 木を作成および使用して最近傍を探索)と'exhaustive'(網羅的探索アルゴリズム)の 2 種類を，検出する最近傍の数を 5，
10，15 とした 3 種類の計 6 種類としている．
アンサンブル学習器は弱学習器の決定木，k
最近傍分類器，判別分析分類器の 3 種類を，適用できるアンサンブル集約法(AdaBoost，LogitBoost 等)毎に組み合わせて，計 24 種類となっている．決定木のアンサンブルをバギングするモデルを，弱学習器の個数ごとに 5種類作成している．
Softvoting 型は定量化データで学習等を行ったときの，全 60 個の識別器のスコアの平均を最終的なスコアとしている．一方，逐次選択型は同じ構成でも 識別器の中で最も良
図7

アンサンブル学習(softvoting 型)

い判別性能であった識別器を抽出し，他の識別器と組み合わせて，その判別性能が良くな

図 7 より，アンサンブル学習に用いる識別れば，この一連の流れを続け，この過程で判器は，NN，SVM，単純ベイズ，判別分析，k

別性能が変わらないもしくは悪化すれば，流近傍分析，アンサンブル学習の計 60 個の識れを打ち切り，その組み合わせ前のスコアを別器で構成している．表 1 にこれら識別器の最終的なスコアとしている．

個数と内容をまとめたものを示す．これらの

この Softvoting 型と逐次選択型のアンサン

識別器をひとつひとつ MATLAB R2018-a のブル学習に関して，学習は 5 分割交差検証で

関 数 を 用 い て 簡 単 に 説 明 す る ． NN は行う．当然のことながら初期乱数による影響

feedforwardnet 、

patternnet 、を考慮し，同条件で 5 回実験を行い，回毎のcascadeforwardnet, layrecnet を隠れ層は 1 層で最終的なスコアの平均を正規化する． SVM

10 ノード，SVM は 2-class SVM と 1-classと NN の学習では，SVM は 3.1 のデータセッ

SVM の 2 種類を，それぞれ linear(線形カーネ

トを定量化データに変更した以外同じ条件

ル ) ， gaussian( ガ ウ シ ア ン カ ー ネ ル ) ，で学習を行う．NN は 3.2 のデータセットを

polynomial(多項式カーネル)の 3 種類に分け

定量化データに， LRN を Cascade-forward

fitnet 、て，計 6 種類としている．なお，1-class SVM
表 1 識別器の内容と個数の異常値はうつ病のデータとしている．バイ
ナリ分類木は分割予測子の選択に使用する
アルゴリズム毎に分け，allsplits(標準 CART)と curvature(曲率検定)，interaction-curvature(交互作用検定)の計 3 種類としている．判別分析
分類器は，線形と 2 次の 2 種類を判別タイプ
ごとに計 6 種類としている．単純ベイズ分類
器は，カーネル平滑化のタイプは'normal'(ガウス)，'box'{ボックス(一様)}，'epanechnikov'

156

を記録しているが，特異度は約 70%を下回って
neural network に，実験回数を 15 回に変更いるため，判別精度は約 77%となっている．

して，学習を行った．
表 2 手法 3.1 による重症度
4．結果

健常者

うつ病患者

51.2

60.5

17.1

37.9

62.1

11.6

19.8

22.3

重症度は 71.2%，健常者の平均重症度は 28.8%

41.7

57.7

となり 42.4%の差がみられた．また，閾値以上

54.2

63.3

をうつ病だと判別する場合，閾値を 54%とする

66.6

90.6

と，うつ病患者側のマージンは 3.7，健常者側の

46

99.3

マージンは 2.8，そして判別精度，感度，特異度

6.7

98.8

はどれも 80%という結果となった．

14.4

91.2

4.2 顔表情データによる定量化の評価

28.3

62.2

10.2

91.3

3

96.3

7.4

87.2

3.9

97.3

4.1 視線方向データによる定量化の評価
表 2 に第 3 章 3.1 の手法によって得られた
重症度をまとめたものを示す．本図では閾値を超えうつ病であると判別されたものを赤く塗
りつぶしている．表 2 より，うつ病患者の平均

表 3 に第 3 章 3.2 の手法によって得られた重症度をまとめたものを示す．表 3 より，うつ病
患者の平均重症度は 58.2%，健常者の平均重症度は 46.2%となり 12.0%の差がみられた．また，
閾値以上をうつ病だと判別する場合，閾値を60%とすると，うつ病患者側のマージンは 1.3，
健常者側のマージンは 2.6，そして判別精度，感表 3 手法 3.2 による重症度度，特異度は順に 77%，86%，66%という結果

健常者

うつ病患者

38.6

63.4

20.8

47.7

57.4

61.3

33.5

64.7

28.3

24.3

表 5 に各場合の閾値とその閾値に対するマー

37.7

68.7

ジンを示す． 表 5 より，全体的に 4.1，4.2 のと

53.1

68.7

きのマージンよりは大きい値となっているこ

79.2

80.6

とがわかる．

42.9

54.3

55.2

70.6

43.3

63.4

42.5

3.8

68.1

79

えており，バランスが良いといえる．一方 NN

52

69.3

は感度だけみると逐次選択型と等しい約 86%

40.8

52.8

となった．
4.3 二つの手法統合の評価
表 4 に各場合のスコアを正規化した時の，うつ病患者と健常者の平均重症度とその差を示す． 表 4 より，平均重症度の差は逐次選択型が最も大きい値をとっている．

表 6 に各場合の重症度を表 3 の閾値で判別したときの，判別精度，感度，特異度を示す． 表
6 より，全体の判別精度は逐次選択型が 83%と最も高く， 次点の SVM は約 80%であった．この 2 つであるが，感度，特異度ともに 80%を越157

表 4 各場合の平均重症度とその差
モデル
SVM
NN
softvoting
逐次選択型

対象

平均重症度[%]

うつ病

58.6

健常者

41.4

うつ病

83.3

健常者

73.8

うつ病

58.5

健常者

37.3

うつ病

63.6

健常者

33.3

5．考察
4 章 4.3 節の結果より，逐次選択型が最も判

平均重症度の差[-]別精度が良く，同じモデルである softvoting と17.2

逐次選択型との間に性能の差が現れた という結果となった．Softvoting の判別精度が低いの

9.5は，判別精度の低いモデルのスコアもとってしまうからだと考えられる．

21.2

実験では逐次選択型は全て組み合わされず
識別器は単体のみとなっていたが，識別器の組

30.3

み合わせが識別器単体の性能を上回ることが表 5 各場合の閾値とマージン
モデル

閾値[%]

SVM

50

NN

53

softvoting

マージン[-]

表 7 は， 15 回逐次選択型の学習を行ったと

2.4

きの，識別器単体とそれ以外の識別器を組み合5.6

わせたときの判別精度を比較したものを示す．

4.1

表 7 より，単体の判別器の方が最大精度・平均

3.9

精度がともに高く，また標準偏差の値も大きい．

4.1

そのため，高い判別精度の値をとりうるのは識

3.9

別器単体の方であるとわかる．よって，識別器

3.9の組み合わせが識別器単体の性能を上回るこ

4.7とは少なく，識別器単体の方が良い判別性能を

53

逐次選択型

あるのか，更に 15 回学習してみて，確認した．

45

期待できると考えられる．
表6

各場合の判別精度，感度，特異度

モデル

判別精度[%]

感度[%]

特異度[%]

SVM

80

80

80

NN

77

86

66

softvoting

77

73

80

逐次選択型

83

86

80

逐次選択型が全て組み合わされず識別器単体の方が良い判別性能なのは，使用するデー
タは同じであるため，再び学習したとしても識別器のスコアは大きく変わらないからである．そのため，新しく選択された識別器は前に取り出した最高精度の識別器と比べて等し
いかあるいは低いままである．よって，組合それとは逆に softvoting は感度が約 73%と低い

わしても判別精度が変わらないもしくは下がため，判別精度は約 77%という結果となった．

ってしまうからだと考えられる．

また，同じアンサンブル学習でも，softvoting す表7

各場合の判別精度，感度，特異度

るよりも識別器を選択して組み合わせていく

平均精度[%]

最大精度[%]

方が，判別精度は良くなるという結果となった．

単体

82.3

85.8

最小精度[%] 標準偏差[%]
79.2

2.2

しかしながら，この中で最も高い判別精度を出

組み合わせ(2個)

81.6

82.5

79.2

1.5

した逐次選択型であるが，5 回の学習中全て，
表 8 誤判別が多かった対象者

単体で最も高い精度をもつ識別器に他の識別器を組み合わせても，その判別精度は変わらな

平均[-]

標準偏差[-]い，もしくは下がってしまうという結果となっうつ病患者1

-0.76

0.16

てしまった．そのため，逐次選択型は組み合わうつ病患者2

-0.05

0.17

せが行われず，事実上識別器単体の判別精度に

健常者1

1.11

0.04

なってしまった．

健常者2

1.52

0.01

158

全体平均[-]
0.96

0.24

倫理規範の順守
4 章 4.1 から 4.3 までの重症度において，閾値なし

判別によって判別できていなかった 共通の被験者が存在したため，なぜ判別できなかったの

文

か考える．表 8 にその対象者らの前述の逐次選［1］

択型実験時のスコアを示す．

片桐健志：うつ病とはどのような病気でしょうか

表 8 より，うつ病患者 1 とうつ病患者 2 の平献

早くうつ病と気付くにはどうすればよいのでしょうか．杏林医会誌 49 巻 1 号，pp.91，2018

均スコアは負の値をとっており，うつ病患者全体の平均スコアと比べてとても小さい．反対に［2］

健常者 1 と健常者 2 の平均スコアは健常者全体

大坪天平：うつ病を診る上で注意すべ
きこと 女性心身医 20 巻 3 号，pp.272，の平均スコアと比べてとても小さい．従って，［3］

二村隆史：うつ病治療薬開発の難しさ．
ファルマシア Vol. 53 No. 7，pp.696，2017

判別精度という点で 上記の被験者らがうまく判別されるように閾値を設定する ことができ［4］

坪井貴嗣：うつについて改めて知ってないからだと考えられる．また，データの基でみませんか?：うつ病の治療について 杏

ある被験者らの動画を確認したところ，視線方林医会誌 49 巻 1 号，pp.87，2018

向および顔表情が 2 章 2.2 で仮定した傾向がみ［5］

船津浩二，白川治：めまいとうつ―診療られないことがわかった．よって，仮定した傾の ポ イ ン ト ― Equilibrium Research 73

向と被験者らが合わなかったため，うまく判別

巻 4 号 pp. 246-249，2014

することができていなかったと考えられる．

［6］

Tuka A，Mohammad G，James G：Detecting
Depression

with Audio/Text Sequence

Modeling of Interviews : Interspeech 2018

6．まとめ
うつ病診断の客観的な評価を行うために，う［7］

宗 未来，竹林由武， 関沢洋一 他：“声”

つ病診断の定量化(重症度の算出)とうつ病であだけで、うつ病はどこまで診断可能

るかどうかの判定を行うシステムの開発を行か？～音声感情認識技術にアンサンブ

った．うつ病患者の視線方向と顔表情の特徴に

ル型機械学習モデルを応用したうつ病

着目し，データをとって様々な手法を用い定量

スクリーニング機能に関する精度の検化と判別を行った．最終的には 83%の精度を得

証 RIETI Discussion Paper Series 16-J-054.

ることができる判別方法が確認でき，有意な判

2016

別性能を得ることができた．しかし，本研究で［8］Benson M，Keith M，J. Douglas S：

使用したデータは総数や信頼性が十分とは言Prediction of illness severity in patients

えないため，病院等と連携し，医師の所見や鑑with major depression using structural MR

別済みのうつ病患者のデータ等を得ること がbrain scans

必要である．今後は，前述の信頼性の高いデー

Resonance Imaging 35(1):64-71 2011

タの確保とシステムの全自動化や実装を 進め［9］Journal of Magnetic

Sergi G. C，Carlton C，John A, et al.：ていく．また，一括りで定義したうつ病を細かPrognostic and Diagnostic Potential of theく，かつ他の精神障害も判別できるようになる

Structural Neuroanatomy of Depression．

ことも必要だと考えられる．

PLoS One. 2009 ; 4(7): e6353. 2009［10］ Andrew G R，Christopher M D：
Instagram photos reveal predictive markers

利益相反の有無利益相反of depression EPJ Data Science 2017なし

［11］ Ekman P，Friesen W. V，工藤力(訳)：表情分析入門．誠信書房，1987 pp 31-

159

161

networks.html?lang=en (2019 年 4 月 27

［12］ Design Layer-Recurrent Neural Networks

日現在)

https://jp.mathworks.com/help/deeplearnin
g/ug/design-layer-recurrent-neural-160

Quantification of the diagnosis of depression throughusing image recognition technology
Yuta MAKI*1, Syota WADA*1, Kazuya ABE*1, Hideya TAKEO*1, Yuuichi NAGAI*2*1 Kanagawa Institute of Technology*2 National Cancer Center Hospital East

In recent years, mental disorders such as depression have been diagnosed mainly by physician-patient interviews,
and the disorder named according to how symptoms apply to diagnostic criteria in DSM-5 and ICD-10. However,this diagnostic method has the drawback of not being a scientific or objective evaluation. To address this andperform objective evaluation, using image engineering technology for depression determination, we developed asystem that quantifies depression diagnosis (i.e. calculates its severity) to judge whether or not depression is present.
For quantification, we focused mainly on eye direction and facial expression. First, we used a CNN to detect theeye directions and facial expressions of subjects with depression and healthy subjects in video images in order toobtain time-series data for each. Next, we quantified this data using SVM and NN and then performed thresholddiscrimination to obtain severity. As a result, we obtained on average approximately 77% discrimination accuracy.
We also applied ensemble learning to the output values of both models, obtaining on average approximately 83%
discrimination accuracy when similar threshold discrimination of severity was performed. This result are thoughtof significant discrimination performance.

Key words: depression, quantification, eye direction, facial expression, ensemble learning

161

著者紹介
牧 優太 (まき ゆうた)2019 年神奈川工科大学工学部電気電子情報工学科卒．現在同大大学
院工学研究科電気電子工学専攻在学中．画像工学の研究に従事．本学会学生会員．

和田 昇太 (わだ しょうた)2019 年神奈川工科大学工学部電気電子情報工学科卒．現在同大大学
院工学研究科電気電子工学専攻在学中．画像工学の研究に従事．本学会学生会員．

安倍 和弥 (あべ かずや)
2010 年神奈川工科大工学部電気電子工学科卒，2012 年同大大学院博士前期課程修了，2015 年同大博士後期課程修了．2015 年同大日本人客員研究員．現在同大バイオメデ
ィカル研究センターのポスト・ドクター．博士（工学）．医用画
像・細胞培養画像などの画像工学の研究に従事．第 6 回および第 8
回 JAMIT-CAD コンテスト優勝．本学会，映像情報メディア学会各会
員．

武尾 英哉 (たけお ひでや)
1984 年神奈川大工学部卒，1986
年同大大学院修士課程了．同年富士フィルム株式会社に入社．医用
画像処理システムに関する研究・開発に従事．2005 年東京農工大大
学院博士後期課程了．博士（工学）．2006 年神奈川工科大工学部助教授．現在同大教授．医用・フォト・シネマ映像などの画像工学の研究に従事．2004 年度本学会論文賞．第 6 回および第 8 回 JAMITCAD コンテスト優勝．本学会，映像情報メディア学会，画像電子学会，電子情報通信学会，医用画像情報学会各会員．

永井 優一 (ながい ゆういち)
1991 年中央医療技術専門学校夜間部卒．1991 年より国立療養所松戸病院放射線科，1992 年より国立がんセンター東病院放射線部，2006
年より国立がんセンター中央病院（現独立行政法人国立がん研究センター中央病院）放射線診断部消化器官撮影主任，2015 年より東埼玉病院放射線科副診療放射線技師
長，中央医療技術専門学校非常勤講師（画像工学），全国国立病院
療養所放射線技師会常任理事，
2017 年より国立がん研究センター
東病院放射線部放射線診断技術室
副放射線診断技術室長，現在に至る．診療放射線技師．医用画像解析の研究に従事．日本放射線技術
学会会員．

162

OP1-18

肝細胞癌に対する選択的 TACE 施行時の Angio-CT を用いた栄養血管同定ナビゲーションソフト(Embolization plan®)の初期使用成績と注入造影剤濃度の影響について
葛和 剛*1,2 穴井 洋*1,3 前原 健吾*1,2 新家 睦巳*2
秋山 敬純*2 小西 佳之*2 小屋敷 誠*4
要旨【背景】肝細胞癌(HCC)の選択的肝動脈化学塞栓術（sTACE）における,Angio-CT を用いた automated feeder
detection である Embolization Plan®の評価,特に造影剤濃度に着目して初期臨床評価を行った.
【対象と方法】
sTACE を施行した HCC36 患者 41 結節. CT hepatic angiography(CTHA)は造影剤濃度 185mgI/ml (L 群:8 結節)又は 278 (H 群:33)で、秒間 1.0-2.0ml で注入し施行した. そのデータを用いた EP による栄養血管を同定した．選択的 DSA，CTHA と比較し，完全一致:Excellent(E),ほぼ一致:good(G),臨床上許容可能:fair(F),許容不可 能 :poor(P) の 4 群 で 評 価 し ， F 以 上 の 判 定 を 臨 床 的 有 効 と し た ．【 結 果 】 E;4(L0,H4) 結節,G;24(4,20),F;8(1,7),P;5(3,2)であった．結果は 36（5,31)結節，87.8(62.5,93.9)％で，L 群と比較し H 群の方が臨床的有効割合は有意に高かった(p<0.05).【結語】HCC に対する sTACE における EP による栄養血管同定の有用性が示唆された.
キーワード：HCC, automated feeder detection(AFD), Angio-CT(ACT)1．はじめにあ る . 近 年 Cone Beam Computed Tomography

肝細胞癌(Hepatocellular Carcinoma; HCC)に対（CBCT）搭載血管造影装置によるボリューム

す る 選 択 的 肝 動 脈 化 学 塞 栓 術 （ Transcatheter

デ ー タ を 活 用 し た automated feeder detection

arterial chemoembolization; TACE）は手術や局所

system（AFD）による栄養血管同定技術が開発

穿刺治療が困難な症例において局所 制御が期され臨床応用が始まっている.本邦では CBCT

待できる治療方法であるが,慢性肝障害をもつ

以前より Angio-CT（ACT）が汎用され普及して患者における栄養血管の同定は難しいことがおり,今回我々は ACT のボリュームデータを使用した AFD として開発されたキヤノンメディ――――――――――――――――――――

カルシステムズ株式会社製 Embolization plan;*1 奈良県立医科大学大学院

EP の臨床使用を評価し,特に使用した造影剤濃度による影響について検討した.

先端画像下治療開発応用学講座〔〒634-8522

2．対象と方法奈良県橿原市四条町 840 番地〕

2018 年 2 月 15 日より 2019 年 3 月 30 日まで

e-mail: sakishu31220@gmail.com*2 市立奈良病院

医療技術部放射線室に選択的 TACE を施行した肝細胞癌患者 36 人

*3 市立奈良病院

放射線科・IVR 研究センター

41 結節（平均年齢 76.3±9.90 歳）を対象とした.対象患者は男性 25 人（平均年齢 75.5±9.10*4 キヤノンメディカルシステムズ株式会社

163歳）,女性 11 人（平均年齢 79.1±10.92 歳）,対象

瘍は原則としてマージンを 0mm と設定し,検索の平均腫瘍径は 12.3±4.91（5.0－31.0）mm であ開始ポイントを CHA もしくは PHA のカテーテった.注入造影剤濃度別の患者背景を表１に示

ル先端からとして栄養血管を表示させた.このす . 使 用 機 器 は 血 管 撮 影 装 置 と し て INFX-

とき栄養血管を検索できなかった場合,マージ

8000C,CT 装置として Aquilion PRIME（いずれンを 1mm ずつ大きくし,栄養血管が検索可能なもキヤノンメディカルシステムズ株式会社,栃大きさまでマージンを大きくした.検索結果を木）を使用.造影剤は iopamidol 370mgI/ml を生

実 際 の 選 択 的

理食塩水で希釈して使用し,注入造影剤濃度を

angiography）像と比較を行い,完全一致したもの

185mgI/ml（L 群）と 278mgI/ml（H 群）に設定

を Excellent（E）,ほぼ一致したものを good(G),した.EP の臨床使用は L 群で 8 例,H 群で 33 例

臨床上許容可能な範囲を fair(F),許容不可能な施行した.CT hepatic angiography （CTHA）の方

ものを poor（P）とした.F 以上の判定を EP によ法としてカテーテル先端を主に総肝動脈（CHA）

る栄養血管同定の臨床的有効とし,臨床的有効もしくは固有肝動脈（PHA）に留置し,注入開始割合を評価した.また注入造影剤濃度の違いに

10 秒後より１相目スキャンを開始,30 秒後に 2よる臨床的有効割合を比較検討した.なお,マイ相 目 を ス キ ャ ン し , 造 影 剤 注 入 速 度 を 1.0-

クロソフト社製 Excel2016 版を用いて統計学的

2.0ml/sec とし,スキャン開始より１相目スキャ

解析を行い,P＜0.05 を有意差ありと判定した.

ン終了までを注入時間（平均 14 秒）として造影

DSA （ digital subtraction

なお本研究は市立奈良病院倫理委員会で承剤を注入した .CTHA 撮影時のプロトコールは,認されている.

管電圧：120kV,管電 流： Volume-EC SET SD11（5mm）,回転速度：0.5sec,収集スライス厚：

3．結果

0.5mm × 80, ヘ リ カ ル ピ ッ チ ： HP65(pitch-

HCC33 例 41 結節全てにおいて EP による栄f:0.813),S-FOV：320mm(M)とした.画像再構成に

養血管同定を施行した.なお,注入造影剤濃度 L

用いた再構成関数は FC11,逐次近似応用再構成

群と H 群の患者背景に有意差は認めなかった.

法 AIDR3D：Enhanced-Strong,再構 成スライス

栄 養 血 管 同 定 の 結 果 は E;4 結 節 ,G;24 結

厚 :0.5mm, 再 構 成 間 隔 :0.25mm で 拡 大 再 構 成

節,F;8 結節,P;5 結節で,臨床的有効割合は 41 結

（220mm～250mm）した.

節中 36 結節（87.8％）であった.注入造影剤濃CTHA1 相目の撮像データを主に用いて作成

度 L 群では E; 0 結節,G; 4 結節,F; 1 結節,P; 3 結した EP により解析した.CTHA2 相目のデータ

節,注入造影剤濃度 H 群では E; 4 結節,G;20 結は腫瘍のより正確な範囲の確認に使用した.腫節,F;7 結節,P;2 結節で,臨床的有効割合は L 群

表1

造影剤濃度別の対象患者の背景
造影剤濃度 185mgI/ml

造影剤濃度 278mgI/ml

患者数
年齢（歳）
性別（男/女）腫瘍個数
背景肝（HBV, HCV/other)
肝機能(Child-Pugh 分類 A/B, C)

878.6±7.57
5/3
8
4/4
5/3

28
75.7±10.16
20/8
33
19/9
18/10

P=0.651
P=0.996腫瘍径

12.88±4.15mm（8.0－18.0）

12.1±5.12mm（5.0－31.0）

P=0.694

腫瘍局在（右葉/左葉）

6/2

25/8

P=0.999

HBV:B 型肝炎ウイルス、HCV：C 型肝炎ウイルス、CHA:総肝動脈、PHA：固有肝動脈

164

P=0.46

表2

Excellent
Good
Fair
Poor

Embolization Plan による評価結果

total

造影剤濃度 185mgI/ml

造影剤濃度 278mgI/ml

N=41

N=8

N=33

4
24
8
5

0
4
1
3

4
20
7
2

で 8 結節中 5 結節 (62.5％)で,H 群で 33 結節中

4．考察

31 結節（93.9％）であった（表 2）.注入造影剤

選択的 TACE は手術や穿刺治療が困難な HCC

濃度の違いによる検討では L 群と比較して H 群

に対して有用性が報告され,本邦を中心に広く

で統計学的有意差をもって臨床的有効割合の普及している.しかしながら併存する肝疾患や評価が高かった（p=0.015）.

繰り返す治療などで血管解剖や血行動態は時に複雑で栄養血管の同定が困難なことがある.
近年,血管造影時の CBCT 撮影による 3 次元デ

a

c

b

e

d

図 1：76 歳,男性. EP による血管同定評価：Excellent．a: CTHA で S7 に 12.4mm の腫瘍
濃染を認めた(→). b:CHA からの DSA 像では栄養血管を同定することは困難であった(→). c:Embolization Plan(EP)では volume rendering(VR)像で表示された血管構築に赤線で腫瘍栄養血管として呈示された．d: EP で指摘された血管からの選択的 DSA 像で実際に腫瘍濃染(→)を認め、栄養血管であることを確認した.e;本血管から選択的 TACEを施行．直後の単純 CT で腫瘍への良好なリピオドールの集積を認めた(→).

165

a

d

b

c

e

f

図 2 61 歳，女性．EP による血管同定評価：Poor．a:CHA からの CTHA で S1 に 10.0mm の腫瘍
濃染を認めた（→）. b:CHA からの DSA 像で腫瘍を認めるが,この DSA 像のみで栄養血管を同定することは困難であった（→）. c:EP では VR 像で緑線が左肝動脈から腫瘍栄養血管として呈示された.d:左肝動脈からの選択的 DSA では腫瘍濃染を認めなかった. e,f:右肝動脈からの選択的 DSA
で腫瘍濃染を認めた（→）.

ータを利用し,栄養血管の同定を行う自動栄養に耐えうる結果評価とした Fair 判定以上の割合

血管同定システム（AFD）の報告が散見される.

（臨床的有効割合）は 87.8%であり,ほぼ同程度

本邦ではコーンビーム型血管 造影装置の普及といえる.しかしながら Fair の症例では得られより早くから CT と一体となった ACT システ

た結果を実際の 3D 血管表示や 3 方向断面像,まムが開発,普及している.ACT は通常の CT と同

た DSA などを参考に調整が必要となる,いわゆ様の撮影であり,また画像収集時間が非常に短るマニュアル操作と同じ過程を要することもく時間分解能に優れている.今回キヤノンメデ

多い．その原因の一つとして栄養血管の途中経ィカルシステムズ株式会社製 ACT を用いたボ路で異なる血管よりスキップして表示される

リュームデータを利用した AFD ソフトウエ

点が挙げられる.CT でのデータマトリックスがア,Embolization plan®を臨床的に試用し、評価す

512*512 と大きいため近接する血管分枝との区るとともに,AFD における注入造影剤濃度の影

別が解析上困難となったのではないかと考え

響を評価した.

る. またこのソフトウエアでは連続して造影さ従来の CBCT を用いた AFD による腫瘍栄養れた血管の CT 値を追従し栄養血管を表示して血管の同定率は,Miyayama らや Iwazawa らによいるが,近接するする血管の間の肝実質がまだると完全一致率が 87.7-88%と高い結果を報告

らに濃染され血管と誤認識している可能性もしている 1,2）が,今回の我々が検討した ACT の考えられる.

ボリュームデータを活用した AFD でも,実臨床

一方,今回の検討では造影剤濃度 H 群で造影

166

剤濃度 L 群と比較して高い臨床的有効割合が得利益相反の有無られた.肝実質と血管や,肝実質と腫瘍の造影コ

利益相反なし.

ントラストがより際立つことで,より正確に栄養血管のみならず血管全体の同定抽出が容易となるためと考えるが,前述したように全体と文して高い CT 値を呈することで,周辺マトリック［1］

献Miyayama S, Yamashiro M, Hashimoto M,

ス全体へ影響を及ぼし同定血管のスキップとet al. Identification of small hepatocellular

いった現象を惹起させる可能性もあると考え

carcinoma and tumor-feeding branches

る.

with cone-beam CT guidance technology

ACT のデータを用いた AFD は 512x512 のマ

duringtranscatheter

arterial

トリックスサイズであるが,今後は高精細デー

chemoembolization. J Vasc Interv Radiol.

タの収集がさらなる性能向上のポイントにな

24(4):501-8; 2013.

ると考える.また CBCT のデータを用いた AFD［2］Iwazawa J, Ohue S, Hashimoto N, et al.

では複数の腫瘍の栄養血管を同時に同定可能

Clinical utility and limitations of tumor-

であり,システムの完成度は先行している。しかfeeder detection software for liver cancer

し ACT の デ ー タ を 用 いた AFD の 利 点 も あembolization. Eur J Radiol 82(10):1665-71;

る.ACT におけるデータ収集においては 1 断面

2013

での撮影時間は最速で 0.35 秒以下と CBCT と比較し時間分解能で凌駕するため,心拍などの動きによる影響は少ないと考える.加えて造影タイミングを 1 相ではなく,多相でも容易に評価が可能であり,発展性が期待される.また今回は検討していないが CT の方が CBCT より放射線被ばくは低く,低侵襲であると考える.
今回の検討では,注入造影剤の濃度による臨床的有効割合を検討したが,具体的な腫瘍,血管および周辺肝実質の CT 値や差が EP において至適なのかを検討できておらず,今後課題である.また,今回は初期型 EP での評価であり 1 回の解析では 1 個の腫瘍の栄養血管しか同定できず,
今後はより実臨床での使用を踏まえて一度に複数の腫瘍の解析が行えるよう にする必要がある.
ACT を用いた AFD システムは,HCC における選択的 TACE において十分臨床に対応し,有用となると考えるが,より精度の高いシステムの開発は不可欠であり,加えて使用する造影剤
濃度を中心とする造影プロトコールの確立が必要であり，空間分解能の向上といった因子の改善,そして解析アルゴリズムの改善が必要であると考える.

167

An initial experience of automated feeder detection system(Embolization plan🄬) using Angio-CT data in the selective embolizationof hepatocellular carcinoma, especially on the influence of concentrationof contrast material
Takeshi KUZUWA*1,2, Hiroshi ANAI*3, Kengo MAEHARA*1,2, Mutsumi SHINYA*2
Takazumi AKIYAMA*2, Yoshiyuki KONISHI*2, Makoto KOYASHIKI*4*1 Laboratory of Advanced Technology for Interventional Radiology,
Nara Medical University Affiliated Graduate School Program*2 Radiation department of the medical engineering department, Nara City Hospital*3 Department of Radiology & IVR Research Center, Nara City Hospital*4 Canon Medical Systems Corporation【Purpose】To evaluate the utility of the automated tumor feeder detection system(AFD) by angio-CT (ACT) during
selective transcatheter arterial chemoembolization (sTACE) for hepatocellular carcinoma (HCC), especially the effectof the concentration of the contrast media.
【Materials and Methods】Thirty six patient with HCC were treated with sTACE. CT hepatic arteriography (CTHA)
with contrast material (L; 185mgI/ml or H; 278mgI/ml) was performed. The feeder arteries were identified byEmbolization plan🄬 (Canon, Tochigi) of AFD by CTHA and compared with the actual feeder arteries in selective DSA.
We divided the results into the following 4 categories; Excellent(E), good(G), fair(F), poor(P). The clinical utility wasdefined when the results showed F or higher.
【Result】Forty one nodules were evaluated. The results showed 4(L0, H4) nodules in E, 24(4,20) nodules in G, 8(1,7)
nodules in F, 5(3,2) nodules in P, respectively. The overall clinical utility was obtained in 87.8% (36/41). The clinicalutility of L and H were obtained in 62.5% (5/8) and 93.9% (31/33), respectively.
【Conclusion】It was suggested that AFD by Embolization Plan🄬 using ACT was useful during sTACE for HCC.
However, the further innovation of this software is still needed.
Key words: HCC, automated feeder detection (AFD), Angio-CT(ACT)168

OP1-19

敵対的生成ネットワークを用いた
硬性白斑画像の生成と検証
藤田

真穂*1
村松

畑中 裕司*2

千左子*3

砂山 渡*2

藤田 広志*4

要旨
糖尿病網膜症は中途失明の原因となる病であるが，早期発見と治療によって失明を防ぐことができる病でもある．近年は眼底画像からの初期病変の検出に，畳み込みニューラルネットワーク (CNN:Convolutional
Neural Network) が成果を挙げている．一方で CNN を用いる際には，病変データ数と非病変データ数との不均衡が課題となる．現在は敵対的生成ネットワーク (GAN:Generative Adversarial Nets) を用いて病変デー
タ数を増加させ，上記の課題の解決を図る研究が行われている．これらを踏まえて本研究では，糖尿病網膜症の初期病変の一つである硬性白斑の画像を生成した．白斑には硬性白斑と軟性白斑があるが，硬性白斑は糖尿病網膜症の初期段階にあらわれる境界が明瞭な白斑である．また生成データと実データ間との分
布の差異について，複数の指標を用いて検証を行った．さらに生成データを用いて病変データ数と非病変データ数との不均衡を改善することが，CNN を用いた硬性白斑の検出精度の向上に貢献するかを検証した．
キーワード：糖尿病網膜症，畳み込みニューラルネットワーク，敵対的生成ネットワーク，不均衡データ，
硬性白斑検出1．はじめに期症状の検出に成果を挙げている［2］．しかし糖尿病網膜症は中途失明の原因となる病で

機械学習で病変の検出を行うにあたって，得らあるが，早期発見と治療によって失明を防ぐこれる病変データ数と非病変データ数 とが不均とができる病でもある．眼底画像からの糖尿網衡であることが大きな障害となっている．これ

膜症の初期症状の検出と治療は，失明のリスクは不均衡なデータの場合，一般的に少数派に所の低減に貢献する［1］．

属する病変データの検出率が低くなる傾向に

近年は機械学習の一種である 畳み込みニュあるためである．

ーラルネットワーク(CNN:Convolutional Neural

不均衡データを扱うための対応策の一つとNetwork) が，眼底画像からの糖尿病網膜症の初して，オーバーサンプリングと呼ばれる手法がある．オーバーサンプリングにおいては，少数――――――――――――――――――

派のデータを用いてデータオーギュメンテー

*1 滋賀県立大学大学院工学研究科電子ションを行うことで 多数派とデータ数の均衡

システム工学専攻をとる．現在は新たなデータオーギュメンテー

〔〒522-0033 滋賀県彦根市八坂町 2500〕

ションの手法として，敵対的生成ネットワーク

e-mail: oi23mfujita@ec.usp.ac.jp(GAN:Generative Adversarial Nets) ［3］が注目さ*2 滋賀県立大学工学部電子システム工

れている．

学科

GAN は眼底画像の生成にも成功している［4］*3 滋賀大学データサイエンス学部［5］．先行研究においては，一枚の眼底画像全*4 岐阜大学工学部電気電子・情報工学科

体を生成している．本研究においては GAN に

169

よる生成画像を用いて，眼底画像から病変部分の検出を行う CNN の性能の向上を目指す．そのため，本研究では GAN を用いて CNN に入力する病変画像の生成を行った．対象とした病変
は，糖尿病網膜症の初期病変の一つである硬性白斑である．硬性白斑は糖尿病網膜症の初期段
階にあらわれる，境界が明瞭な白斑である．
本研究では生成データと実データ間の分布の差異について，複数の指標を用いて検証を行った．また生成データを用いてデータ数における不均衡を改善することが，硬性白斑を検出す(a) Generator

る CNN の精度向上に貢献するかについても検証を行った．
2．実験方法1）データベース，前処理と学習データの作成
本研究では硬性白斑の所見を含む眼底画像の デ ー タ ベ ー ス と し て ， Indian Diabetic
Retinopathy Image Dataset (IDRiD) ［6］を用いた．
IDRiD は 81 枚の眼底画像と，画像ごとに糖尿病網膜症の初期病変である血管瘤，硬性白斑，
軟性白斑と出血それぞれを画素単位でラベル付けした画像データを提供している．眼底画像の解像度は 2,8484,288 画素であり，jpg 形式で提供されている．
本研究では，前処理として 81 枚の眼底画像(b) Discriminator

に対して画像ごとに明るさの正規化を行った．

図 1 GAN の構造．C は RGB の 3 チャネルを，G は

その後，前処理後の画像を用いて 3232 画素のGreen チャネルのみを用いた際の構造である．

画像を学習データとして切り出した．作成した
画像は硬性白斑と非硬性白斑ともに，30,000 枚

ストライド 2，パディング 1，44 フィルタを適である．また検証データとして，硬性白斑と非用する畳み込み層である．活性化関数は

硬性白斑をそれぞれ 6,000 枚ずつ作成した．同Generator と Discriminator の出力層を除いた全様に評価データも 6,000 枚ずつ作成した．

層に Leaky Relu を用いた．Generator の出力層の活性化関数には，Sigmoid を用いた．

2）GAN の構造と学習方法
硬性白斑における自動検出の研究として，

図 1 に示した GAN の学習には，作成した硬RGB の 3 チャネルを用いたもの［2］と Green性白斑データのうち 3,000 枚を用いた．また損の 1 チャネルのみを用いる手法［7］がある．そ失関数として，WGAN-GP ［8］における損失関こで本研究では GAN を用いて，RGB と Green数を用いた．最適化手法および更新方法も，［8］

チャネルそれぞれの硬性白斑を生成した．構築

と同様のものを用いた．

した GAN の構造を図 1 に示す．Convolution1 は3）実データ分布と生成データ分布との比較

ストライド 1，パディング 1，33 フィルタを適学習させた GAN を用いて生成した 27,000 枚用する畳み込み層である．また Convolution2 はの画像データと，GAN の学習に用いた画像デー

170

タを合わせたものを以後，生成データと呼称する．また学習データとして作成 した硬性白斑30,000 枚を，実データと呼称する．実データと生成データにおいて，それぞれ t-SNE［9］を用いて分布図を描いた．また画像ごとに画素内の最大画素値，最小画素値とその差分を求め，各分布の差異を求めた．
さらに画像ごとに画素値が ［(画像内の最大画素値-5) , 画像内の最大画素値］ の値をとる
位置を記録し，それらの分布を求めた．
4）CNN の構造と学習方法
生成データが CNN に与える影響を検証するため，［2］を参考として硬性白斑と非硬性白斑の識別を行う CNN を構築した．構築した CNNの構造を，図 2 に示す．Convolution1 はストラ
イド 1，パディング 1，33 フィルタを適用する
畳み込み層である．活性化関数は出力層を除い

図 2 CNN の構造．C は RGB の 3 チャネルを，G はた全層に Leaky Relu を，出力層には Softmax をGreen チャネルのみを用いた際の構造である．

用いた．最適化手法には学習率を 0.01 としたStochastic Gradient Descent を適用し，学習回数は 60epoch とした．損失関数にはクロスエント(a) 学習データ［RGB］

ロピーを用いた．
CNN を学習するための硬性白斑データとして表 1 に示す 5 種類を用意し，GAN による生(b) 生成データ［RGB］

成データが CNN に与える影響を調べた．従来のデータオーギュメンテーション手法 である
回転，複製を用いて，3,000 枚の硬性白斑データ(c) 学習データ［Green］

から 27,000 枚のデータを作成した．また多数派のデータを削減することで，少数派との均衡をとるアンダーサンプリングも比較として用意した．また非硬性白斑の学習データはアンダー(d) 生成データ［Green］

サンプリングを除いて，眼底画像から切り出し

図 3 GAN の学習データと生成データ．

て作成した実データ 30,000 枚である．各手法により得た硬性白斑データを学習データに加えて，データ数の不均衡を改善したことによる

表 1 各学習データの硬性白斑データの内訳．
データの種類

実データ

実データ
生成データ
回転データ
複製データ
アンダー
サンプリング

30,000
3,000
3,000
3,000

各手法によるデータ
027,00027,00027,0003,000

0CNN の性能の変化を調べた．
3．実験結果と考察
1) 生成データ
GAN の学習に用いたデータの一部を，図 3 に示す．また 50,000epoch 学習させたモデルを用いて生成したデータの一部も図 3 に示す．

171

2) 実データ分布と生成データ分布との比較
図 4 に Green チャネルのみを用いた実データと，GAN による生成データに t-SNE を適用して得た分布図を示す．図 4 より t-SNE による分布
図では，実データと生成データ間に大きな差異は見受けられない．RGB の 3 チャネルを用いた場合も同様に，実データと生成データ間に大きな差異は見られなかった．
図 5 に Green チャネルのみを用いた各データ
において画像ごとに求めた，画素内の最大画素
値と最小画素値の差分の分布図を示す．図 5 か(a) 実データ

ら実データと生成データ間に大きな差異 は見受けられない．また最大画素値と最小画素値についても，分布図からは大きな差異は見受けられなかった．硬性白斑は周囲より明るいことから，最大画素値は硬性白斑の色合いを表していると捉える．また最小画素値は，硬性白斑の周辺部の色合いを表していると捉える．最大画素(b) 生成データ
図 5 画像内における，画素の差分値の分布図．

値，最小画素値との差分において実データと生成データ間に大きな差異が見受けられないことから，生成データは硬性白斑とその周辺部分の色合いについては再現できていると考える．
(a) 実データ

また RGB の 3 チャネル用いた場合にも，同様の傾向が見られた．
図 6 に Green チャネルのみを用いた各データ
において画像ごとに求めた，画素値が ［(画像内の最大画素値-5) , 画像内の最大画素値］ の値をとる位置の分布を示す．図 6 より実データと生成データ間に，差異が見受けられる．硬性
白斑部分は，画像内で大きな画素値をとる．このことから生成データは，硬性白斑の現れる位置について実データを再現できていないと考える．原因として GAN の学習に用いたデータ(b) 生成データ

が，実データの位置に関する情報を表現するに

図 4 t-SNE による分布図．

は情報が不足していることが考えられる．また

172

他の原因として，GAN の表現力や学習の不足が考えられる．
3）CNN に与える影響
図 7 に Green チャネルのみを用いた各学習データによって CNN を学習させた際の Sensitivity，Specificity と Average Accuracy の各指標値を示
す．図 7 に示した値は，各条件において 10 回ずつ試行を行った際の平均値である．図 7 から
実データ，生成データ，回転データ，複製デー(a) Sensitivity

タとアンダーサンプリングの全てにおいて，実データの硬性白斑 3,000 枚と非硬性白斑 30,000枚による不均衡データを用いた場合よりもSensitivity と Average Accuracy の値が向上していることがわかる．またこれら 2 つの値はアンダーサンプリングを除いた各データにおいて，データ数の不均衡が改善されるほど，大きくなる傾向にあることがわかる．また RGB の 3 チ(b) Specificity(c) Average Accuracy
図 7 各指標値と硬性白斑の学習データ数との関係．
(a) 実データ

ャネルを用いたデータにおいても，同様の傾向が見られた．
図 7 より GAN による生成データは，不均衡
デ ー タ と 比 較 し て Sensitivity と Average
Accuracy の値を向上させた．一方で回転や複製，
アンダーサンプリングと比較して，Sensitivityと Average Accuracy の伸びは小さなものとなった．これは上述したように，生成データは実データにおける硬性白斑の位置分布を再現できていないためだと考えられる．実データと異な(b) 生成データ

る位置分布について学習したため，傾向の異な図 6 画像内において，大きな画素値となる位置の分

る評価データに対する汎化性能が低 くなったと推測する．

布図．

173

4．まとめusing

本研究においては，GAN を用いて硬性白斑画

Network. Information Sciences 420: 66-76,像の生成を行った．複数の指標を用いて，生成SingleConvolutional

Neural2017

データ分布と実データ分布間の差異を求めた．

［3］

Goodfellow IJ, Pouget-Abadie J, Mehdi

今後は硬性白斑の位置分布をより忠実に再現

Mirza, et al.: Generative Adversarial Nets.

できるよう，GAN の構造や学習方法を見直す必arXiv: 1406.2661v1, 2014

要がある．またデータオーギュメンテーション［4］

Zheng R, Liu L, Zhang S, et al.: Detection

として GAN を用いた場合，硬性白斑の検出を

of exudates in fundus photographs with

行 う CNN に お け る Sensitivity と Average

imbalanced

Accuracy の向上が見られた．今後は生成データ

generative adversarial networks. Biomed

がより CNN に寄与できるように，生成データ

Opt Express 9: 4863-4878, 2018の質を高めていく必要がある．

［5］

learning using conditional

Guibas JT, Virdi TS, Li PS: Synthetic
Medical Images from Dual Generative

謝辞

Adversariak

研究遂行にあたり貴重なご助言を賜りました

arXiv:

Networks.

1709.01872v3, 2018［6］滋賀県立大学工学部の小郷原一智氏に深謝いたし

Porwal P, Pachade S, Kamble R, et al.:ます．本研究の一部は JSPS 科研費 16K01415 おIndian

よび 26108005 の助成を受けたものです．

Datasets (IDRiD): A Database for Diabetic

Diabetic

Retinopathy

Image

Retinopathy Screening Research. data,
利益相反の有無

2018

なし

［7］

Chudzik P, Majumdar S, Caliva F, et al.:Exudate文［1］

献Convolutional

NeuralTapp RJ, Mccarty DJ, Shaw JE, et al.: The

Inception

Prevalence and Factors Associates With

Image Processing, 2018［8］

Diabetic Retinopathy in the Australian［2］

Segmentation
Modules,

using

Fully

Networks

andMedicalimaging.

Gulrajani I, Ahmed F, Arjovsky M, et al.:Population. Diabetes Care 26: 1731-1737,

Improved Training of Wasserstain GANs.

2003

arXiv:1704.00028v3, 2017［9］

Tan JH, Fujita H, Sivaprasad S, et al.:Automated

SegmentationofMatten L, Hinton G: Visualizing Data using
t-SNE. J Mach Learn Res 1: 1-48, 2008

Exudates,Haemorrhages, Microaneurysms

174

Generating Hard Exudates Image by Using Generative Adversarial Nets
and Analyzing Them
Maho FUJITA*1, Yuji HATANAKA*2, Wataru SUNAYAMA*2, Chisako MURAMATSU*3, Hiroshi FUJITA*4*1 Division of Electronic Systems Engineering, Graduate School of Engineering, the University of Shiga Prefecture*2 Department of Electronic Systems Engineering, School of Engineering, the University of Shiga Prefecture*3 Faculty of Data Science, Shiga University*4 Department of Electrical, Electronic & Computer Engineering, Faculty of Engineering, Gifu University

Early detection and treatment of diabetic retinopathy (DR) contribute to prevent blindness, although this disease is amain factor of blindness. Convolutional neural network (CNN) has been applied for early DR lesion detection with goodresults. However, it has the challenge that number of normal data is much than abnormal ones. Generative adversarial
nets (GAN) has been applied to solve the challenge. Hard exudates is a one of the typical pathological features in early
DR and its border is clear. In this study, we augment hard exudates images using GAN. We then investigate difference
between generated and real data. This paper discuss about a potentialities that the improvement of imbalanced data basedon generated images contributes the performance of the hard exudates detection using CNN.

Key words: Diabetic Retinopathy, Convolutional Neural Network, Generative Adversarial Nets, Imbalanced Data,
Hard Exudates detection175OP1-20

液状細胞診画像と患者情報の併用による肺癌組織型自動分類の基礎的検討
山田
今泉

あゆみ*1,2
和良*3

寺本
星

篤司*1

雅人*1

桐山

齋藤

諭和*3

邦明*1,2

塚本
藤田

徹哉*3
広志*4

要旨
病理診断において，肺癌の組織型を正確に把握することは，治療方針を決定するために重要である．病理医は画像のみでなく，患者の臨床的背景を理解して診断を行なっている．そこで本研究では，液状細胞診(LBC)画像と患者臨床情報を用いた肺癌組織型分類手法を開発し，基礎評価を行った．はじめに，深層畳み込みニューラルネットワークを用いて，LBC 画像から肺癌組織型に関する画像特徴量を抽出した．次に，
電子カルテより患者臨床情報(喫煙情報等)を収集し，主成分分析により次元圧縮を行った．得られた画像特徴量とその画像に対応する患者臨床情報の主成分を識別器に入力し，3 種類の肺癌組織型の分類結果を得た．149 症例の臨床データを用いて，3-fold 交差検証にて評価を行ったところ，LBC 画像単体での分類精度は、82.9%であった．画像特徴に喫煙情報・腫瘍マーカー値を加えて，SVM で識別を行ったところ，それぞれ総合識別率は向上した．これらの結果から，提案手法の有用性が示唆された．
キーワード：肺癌，液状細胞診，組織型分類，電子カルテ

肺癌の病理診断方法として液状化検体細胞

1．はじめに現在，肺癌は世界的に癌死亡の主な原因の診(Liquid-based cytology: LBC)があるが，形態ひとつである[1]．近年の化学療法の進歩に伴学的に非小細胞癌を識別することは病理専門

い，肺癌の組織型を正確に把握することは，医でも困難な場合がある．そこで細胞の誤分治療方針を決定するために非常に重要となっ類を避け病理医の診断を支援するためのツーている[2]．肺癌の組織型は，小細胞癌およびルとして，細胞診画像を用いた肺癌組織型自非小細胞癌に大別され，後者はさらに腺癌と動分類手法が提案されている[3]．しかし，そ扁平上皮癌に分類される．

の分類精度は約 70%にとどまっており，さら肺癌の組織型を把握するために，病理診断

なる精度向上が課題となっている.

が行われる．病理診断とは，病変部から採取

ここで本研究では，医師が診断時に参照すされた組織や細胞を顕微鏡で観察し形態学的る患者臨床データに注目する．病理医は通常，診断を行うものである．

ガラス標本だけでなく，病理診断依頼書や電子カルテを参照し，患者個人の臨床的背景を――――――――――――――――――*1 藤田医科大学医療科学部〔〒470-1192
愛知県豊明市沓掛町田楽ヶ窪 1-98〕
e-mail: ayumi926@fujita-hu.ac.jp*2 藤田医科大学大学院保健学研究科*3 藤田医科大学医学部*4 岐阜大学工学部電気電子・情報工学科〔〒501-1193 岐阜県岐阜市柳戸 1-1〕
投稿受付：2019 年 5 月**日

理解した上で診断を行っている．さらに，肺癌の組織型は喫煙状態や腫瘍マーカーと関連性があることが知られており[4-7]，これらの情報を画像解析に追加することで予測精度の向上が期待できる．

176

そこで本研究では，液状細胞診画像と患者

2）患者臨床情報

臨床情報を用いた肺癌組織型分類手法を開発

電子カルテより，液状細胞診画像に対応すすることを目的とし，基礎評価を行った．

る患者の患者臨床データ(年齢，性別，喫煙歴，血液検査結果等)を収集した．血液検査および2．使用データ

腫瘍マーカーは，細胞診での細胞採取日と最藤田医科大学病院にて気管支鏡生検が施行も近い検査日のデータを収集した．収集項目

された 149 症例(腺癌：50 症例，扁平上皮癌：を表 1 に示す．

51 症例，小細胞癌：48 症例)の肺癌患者の液状細胞診画像および患者臨床情報を収集した．

表 1 患者臨床データの収集項目．
収集情報
収集項目
患者
年齢,年代,性別,喫煙状況,ブリン
基本
クマン係数,喫煙開始年齢,喫煙年
情報数,喫煙量(本/日),飲酒状況
WBC,RBC,Hb,Hct,PLT,MCV,
MCH,MCHC, 好 中球 絶 対 数 ,白 血球像, PT, PT 比, PT(INR), PT 秒,
APTT, フィブリノーゲン, HBs 抗
血液原, HBs 抗体, HCV 抗体, HBc 抗検査
体, TP 抗体,検体性状(乳び,溶血),TP,Alb,CRP,T-Bil,AST,ALT,
LD(LDH),ALP,AMY,TG,T-C,BUN,
UA,CRE,eGFRcreat,Na,K,Cl, Ca
腫瘍
NSE，ProGRP，IL-2R, CYFRA,
マーカー CEA, SCC, SLX, KL-6, CA19-9

また，すべての症例において，組織学的病理
診断および免疫組織化学的診断による最終診断の情報がある．
なお，本研究は施設内倫理審査委員会により承認を得ている(HM18-352)．
1）液状細胞診画像
本研究で使用した細胞は，気管支鏡生検時に収集され，Sure Path 法[8]を用いて LBC 標本を作製した．その後, Papanicolaou 法にて染色を行った．40 倍の対物レンズを有する顕微鏡(BX51, Olympus)に取り付けられたデジタ
ルスチルカメラ(DP70, Olympus)を使用し, 腺
癌 167 枚，扁平上皮癌 168 枚，小細胞癌 168

3．方法

枚の画像を JPEG 形式にて収集した．初期マ

はじめに，深層畳み込みニューラルネット

トリクスサイズは，2040 x 1536 pixel であり，

ワ ー ク (Deep convolutional neural network:

すべての画像を 768 x 768 pixel に切り出した

DCNN)を用いて，細胞診画像から肺癌組織型

のち 256 x 256 pixel にリサイズした(図 1)．

に関する画像特徴量を抽出する．その後，得られた画像特徴量とその画像に対応する患者情報を統合して識別器に入力し，肺癌の組織型分類を行う．
1）画像特徴量抽出

腺癌

扁平上皮癌

優れた画像認識性能を有することが知られ小細胞癌ている DCNN を用いて，液状細胞診画像から
図 1 収集した液状細胞診画像の例．

各組織型の確信度を得る．
DCNN モデルとして，ImageNet のデータセ

その後，交差検証を行うため，データをラットで事前学習した VGG-16[9]を使用した．

ンダムに 3 分割した．また，過学習を防ぐた使用した DCNN の構造を図 2 に示す．

めにデータ増量として，フィルタ処理(鮮鋭化，VGG-16 は ， Visual Geometry Group の平滑化) ，反転，回転(90 度)，および color offset

Simonyan らにより提案されたネットワーク

補正を行い，
各セットを 5000 枚ずつに統一しであり，16 層の畳み込み層およびプーリング

た．

177

主成分までを取り出し識別器へ入力した．
OutputProbability of- Adenocarcinoma- Squamous cell carcinoma- Small cell carcinoma

4）機械学習による識別処理

Convolution + ReLU

3. 1)で得られた画像特徴量および，その画

Max pooling
Fully connected + ReLU

像に対応する患者臨床情報を識別器に入力し，Softmax

腺癌，扁平上皮癌，小細胞癌の 3 つの組織型

図 2 画像特徴量抽出のための DCNN の構造．

に分類する．識別器として，サポートベクタ
層と，3 層の全結合層からなる．3 層の全結合マシン(Support vector machine: SVM)を使用し，層のそれぞれのノード数を 1024 - 256 - 3 とし，識別性能を評価した．識別処理には，Python

最終層の活性化関数に softmax 関数を使用し，用のオープンソース機械学習ライブラリであ出力として 3 種類の組織型(腺癌，扁平上皮癌，

る scikit-learn を使用した．

小細胞癌)の確信度を得られるようにした．
次 に ， 事 前 学 習 し た DCNN を 用 い て

4．結果

fine-tuning を行った．256 x 256pixel の液状細1) 細胞診画像のみを用いた識別結果

胞診画像を入力画像とし，全結合層の部分のはじめに ，液状細胞診画像のみを用いて

重 み を 再 学 習 し た ． そ の 時 の 学 習 は SGD

VGG-16 により分類を行った結果を示す．分(Stochastic gradient descent: 確率的勾配降下

類結果の混同行列を表 2 に示す．表 2 より，

法)にて最適化を行い，学習率は 10 ，学習回

液状細胞診画像単体での組織型分類の総合識数は 100 回とした．学習のフレームワークに

別率は 82.9%であった．

-5

は Keras + Tensorflow を使用し，演算には，
NVIDIA 社製の GEFORCE GTX 1080(メモリ:度を画像特徴量とした．

表 2 VGG-16 による画像単体の分類結果．
Predicted
Adeno SCC Small
Adeno
140
24
3
83.8%
Actual
SCC
30
126
12
75.0%
Small
7
10
151
89.9%

2）患者臨床データの前処理

2) 患者情報の併用による識別結果8GB)を使用した．
最後に，対象の液状細胞診画像を入力した際に DCNN から得られる 3 つの組織型の確信

2. 2)にて収集した患者臨床データに対し，

次に，画像特徴量と次元削減を行った患者前処理として欠落データの平均値補間を行っ臨床データを入力とした際の分類結果を表 3た．連続変数に対して，平均を 0，分散を 1に示す．液状細胞診画像特徴量に，年齢や喫とする正規化処理を行い，カテゴリ変数に対煙状況などを含む患者基本情報を併用したとしてダミー変数化を行った．

き，総合識別率が最も向上した．このときの分類結果の混同行列を表 4 に示す．

3）主成分分析による次元削減
表 3 画像特徴量に患者臨床データを併用し患者臨床データを特徴量として扱うとき，たときの分類結果．

画像特徴量と比較して特徴数が多いことが問
題 と な る ． そ こ で ， 主 成 分 分 析 (principal

入力特徴

component analysis: PCA)により次元削減を行

画像のみ
画像＋患者基本情報
画像＋血液検査
画像＋腫瘍マーカー

う．PCA とは，多くの変数により記述された量的データの変数間の相関を排除し，できるだけ少ない情報の損失で，少数の変数に縮約する解析手法である[10]．本手法では，第 6

178

総合
識別率
82.9%
86.3%
84.5%
83.1%

画像単体
との差
3.4%
1.6%
0.2%

表 4 画像特徴量に喫煙データを次元削減しUsing Deep Convolutional Neural Network.

た情報を併用した場合の分類の混同行列．
Predicted
Adeno SCC
Small
Adeno
151
15
1
90.4%
Actual
SCC
27
131
10
78.0%
Small
7
9
152
90.5%

BioMed Research International, Vol. 2017,
Article ID 4067832, 1-6, 2017［4］

Wakai K, Inoue M, Mizuno T, et al.:Tobacco Smoking and Lung Cancer Risk:
An Evaluation Based on a Systematic
Review

5．考察

ofEpidemiological

Evidence

Among the Japanese Population, Jpn J Clin

本手法の有効性を評価するために，画像単

Oncol. 36(5), pp309-324, 2006

体および画像特徴量と患者臨床情報を併用し［5］た際の分類精度を比較評価した．

Salgia R, Harpole D, Herndon JE 2nd , etal.: Role of serum tumor markers CA 125

149 症例の臨床データに対して本手法を適and CEA in non-small cell lung cancer,

用したところ，画像単体と比較して，患者基Anticancer

本情報(年齢，性別，喫煙情報等を含む)を併

2001

用したとき，総合識別率が 3.4%向上した．ま

［6］

Res.,

21(2B),

pp1241-1246,

Rastel D, Ramaioli A, Cornillie F, et al.:た，このとき，組織型別にみると腺癌で 6.6%

CYFRA 21-1, a sensitive and specific newと最も識別率が向上した．

tumour marker for squamous cell lung

結果より，画像単体での分類より，患者臨

cancer.

Report

of

the

first

European

床データを考慮した提案手法の方が，識別精

multicentre

度が改善することが確認され，基礎検討とし

Multicentre Study Group, Eur J Cancer.,ては良好な結果が得られた．

30A(5), pp601-606, 1994
［7］

6．まとめ

evaluation.

CYFRA

21-1

Stieber P, Dienemann H, Schalhorn A, etal.: Pro-gastrin-releasing peptide（ProGRP）

本報告では，細胞診画像および患者臨床デー--a useful marker in small cell lungタを併用した，肺癌組織型の自動分類手法を

carcinomas. Anticancer Res., 19 （ 4A ） ,提案した．

pp2673-2678, 1999

今後の課題として，さらなる症例の追加に［8］ 日本ベクトン・ディッキンソン株式会

よる有効性の評価や，分類精度の低い扁平上

社：BD シュアパス TM 液状処理細胞診シ

皮癌の精度向上の検討を行う必要がある．

ステムおよび関連製品. https://www.bdj.
co.jp/cytology/products/surepath.html (2019

利益相反の有無

年 5 月 1 日閲覧)

なし

［9］
文

［1］

献

American Cancer Society, Cancer Facts

networks

forlarge-scale

image recognition. A conference paper atand Figure, 2018.
［2］

Simonyan K, Zisserman A: Very deep

convolutional

International Conference on Learning Rep-

The Japan Lung Cancer Society 編 :resentations (ICLR), San Diego, 2015, pp.

Guidelines for Diagnosis and Treatment of

1-14

the Lung Cancer 2018, 金原出版株式会社,［10］

東京, 2018, pp6

金明哲著, “R によるデータサイエンス”第 1 版第 5 刷, 森北出版株式会社,［3］ Teramoto A, Tsukamoto T, Kiriyama Y, et

東京, 2010, pp66-77

al.: Automated Classification of Lung
Cancer Types from Cytological Images

179

Pilot Study on Automated Classification of Lung Cancer Typesfrom LBC Image and Electronic Medical Record
Ayumi YAMADA*1,2, Atsushi TERAMOTO*1, Yuka KIRIYAMA*3, Tetsuya TSUKAMOTO*3,
Kazuyoshi IMAIZUMI*3, Masato HOSHI*1, Kuniaki SAITO*1,2, Hiroshi FUJITA*4*1 School of Medical Sciences, Fujita Health University*2 Graduate School of Health Sciences, Fujita Health University*3 School of Medicine, Fujita Health University*4 Department of Electrical, Electronic and Computer Engineering, Faculty of Engineering, Gifu University

In recent years, as chemotherapy has advanced, it is important to accurately diagnosis the histological type(adenocarcinoma, squamous cell carcinoma and small cell carcinoma). Pathologists diagnose not only images but also
the patient's clinical background. In this study, we aimed to develop automated classification scheme of lung cancer
type by combining liquid-based cytological (LBC) images and electronic medical record. First, image features wereextracted from LBC images using deep convolutional neural network (DCNN). Subsequently, patient clinical data
(smoking status etc.) were collected, and dimension compression was performed by principal component analysis(PCA). Image features and patient clinical data corresponding to cytological images were given to the classifier.
Finally, classification result of 3 histological categories was obtained. In the experiments, the proposed method wasapplied to 149 cases (Adenocarcinoma; 50, Squamous cell carcinoma; 51, Small cell carcinoma; 48) and evaluated via
3-fold cross-validation. As a result of experiments, the classification accuracy of the cytological image alone using
DCNN was 82.9%. When the image feature and smoking information or tumor markers were given to the support
vector machine (SVM), the classification accuracy was improved. These results indicate that the proposed method
may be useful for histological classification of lung cancer.

Key words: Lung cancer, Liquid-based cytology, Histological type classification, Electronic medical record

180OP1-21ResSENetを用いたオートエンコーダによる認知症の疾患鑑別
藤林

大毅*1

要旨
内閣府の調べによると認知症高齢者は年々増え続けると言われており，認知症の中でも割合の多いアルツハイマー病の精度の高い診断補助技術の開発が求められている．現在アルツハイ
マー病の診断補助に用いられているものは，統計学的手法を用いて脳の萎縮，特に海馬傍回の萎縮度を算出するソフトウェアが主流である．しかし海馬傍回の萎縮以外にもアルツハイマー病の徴候は現れるため，その精度は限られたものとなっていた．我々は恣意的に部位の抽出を行わず，脳の全領域を対象とした深層学習を行う鑑別手法を提案する．欧米のADNIデータベースを用いて学習を行い，検証には豪州のAIBLデータベースを用いたところ，我々の手法は従来手法よりも高い90.9%の鑑別精度であった．

キーワード：3次元T1強調MRI，アルツハイマー病，深層学習，鑑別精度，全脳領域

よび磁気共鳴画像法（MRI）などの所見を踏1．はじめにアルツハイマー病（AD）は進行性の脳疾患

まえた問診に基づき，医師が最終的に確定診で，記憶や思考能力に障害を引き起こす．認断を行うのが一般的である．しかし，ADに知症の原因としては，ADが最もその割合がおけるMRI画像の読影は脳梗塞等の読影と異多く，全体の約70%を占める．ADの症状のなり，確実な病変が見えない事から，医師がこれを行えるケースが少ないという現場の問

特徴は記憶，言語障害などが進行し，最終的には日常の単純作業を行う能力も失われると題がある．ADのMRI画像における所見として代表的なものとしては，特定の部位，特に海馬傍回の萎縮が特徴であると言われている．
国内では海馬傍回の灰白質領域の萎縮度を評価する，VSRADと呼ばれるツールが存在

いったものである．2012年時点で認知症高齢者数は462万人と，65歳以上の高齢者の約7人に1人であったが，2025年には認知症高齢者数は675万人に上り，高齢者の約5人に1し，現在多くの医療現場で使用されている．

人はなるとの推計データもある．今後患者が増える上で，医師の負担も増える事が想定さ

VSRADはVBMをベースとしたツールで，海馬付近の領域を着目領域（ROI）として設定

れ，認知症の中で特にAD鑑別の高精度な診した上で，母集団データに対する個々の患者断補助技術は非常に重要なものとなる．

の脳の萎縮度合をZスコアとして統計的に評

ADの診断では持病を含めた病歴，症状お価している．その他近年では，海馬以外の複――――――――――――――――――*1 株式会社Splink

数の着目領域を設定したBrain Anatomical
Analysis using Diffeomorphic Deformation（BAAD）というツールが提案されている．

〔〒107-0052 東京都港区赤坂2丁目9-3〕
e-mail: fujibayashi@splinkns.com

BAADでは脳の300以上のROIに対して，個々の脳の容積を特徴化し，SVMという機械学習

181

手法を用いた疾患を良く分離する超平面からの距離をAlzheimer ’s Dementia Score

・Mingxiaらは固定的なROIの設定を避け，（ADS）と定義している．BAADではこのスデータから鑑別に有意な特徴領域を発見する

コアによる疾患鑑別を行った所，同じデータ

LDMILフレームワークという手法を提案しセットを用いた精度比較において，VSRADた．海馬及び海馬傍回に加えて，特に紡錘状回も有意に鑑別に寄与する部位であると報告を上回るという報告がされている[1]．疾患鑑されている[6]．

別の精度を向上させるには，BAADのように
海馬領域以外の全脳領域に対してADの微細・Liらは海馬領域に着目し，NC / 非進行性のな特徴を捉えていく事が重要であると考えられる．

MCI（sMCI） / 進行性のMCI（pMCI） / AD

そこで，我々は3次元T1強調画像を入力とという順序をラベルとして付与したときの，各状態間のどちらの可能性が大きいかをした，着目領域を恣意的に設定しないアルゴ
リズムを提案する．本アルゴリズムはU-net構Ordinal Networkと呼ぶ畳み込みニューラル
ネットワーク（CNN）の出力として構築し，造のAuto-EncoderにおけるEncodingの過程

高い鑑別精度が得られると報告している．ただし，著者らは全脳の情報を用いる事でさらに高い精度が期待できるとも述べている

でReSENetを用いる深層学習モデルである．
2．関連研究[7][8]．

深層学習以前の機械学習手法を用いたADの鑑別に関する関連研究は[2]に詳しい．深層学

これらの技術は近年盛んであるAI技術の医療習を用いた研究は2013年以降に始まり，現在ではその研究内容も多岐に渡っている[3]．

診断への利用という議論を踏まえて，将来的には臨床現場でも用いられるツール化が進む

深層学習モデルにおいては全脳を入力対象とと思われる．しかし，臨床の現場でADの疾した研究が多いが，一方で海馬を中心にROIを定めている研究も存在しており，その性能

患鑑別として現在実際に利用されているツー
ルで深層学習が用いられている物は，まだ殆の比較は[4]に詳しい．ROIベースと全脳の入ど提供されていない．国内では主にVSRAD

力とは，複雑なネットワークの学習を如何に限られたデータ量でコントロールするかによって，その性能の優劣が分かれるようである．以下，深層学習を適用した幾つかの研究について概略を述べ，本課題への深層学習の活用状況を紹介する．

がこれまで利用されてきたが，近年では椎野らによって開発されたBAADと呼ばれるツールの提供も進められている[9]．
・VSRADVSRADは50歳以上の標準的な海馬領域のROIを保有し，VBMを用いた海馬傍回の灰白・Payanらは，2次元スライス画像に対し質部位の萎縮度合を評価し，54歳〜86歳のて，全脳の3次元MRIデータを入力とする事

男女80名の健常者と比較してどの程度萎縮がで鑑別精度が向上する事を報告した．一般画
像認識の学習済みモデルを再学習する転移学習が主流であった深層学習の利用において，進行しているかを評価し，鑑別を行う．
・BAAD

MRIデータを直接入力する事を検討した初期

BAADはVSRADと同じくVBMを用いた評の成果である[5]．

価ツールであるが，VSRADが海馬傍回の特定領域のみを評価するのに対し，脳の全体領域内で300以上のROIを評価する事を特徴と

182

一般に機械学習にはモデルの次元数に対して学習データが少ない場合，訓練データに対する過学習を起こし，汎化性能が低下する問

したツールである．ADの患者に有意差の見られるROIのみを機械学習させる事で，複数のROIを対象としたAD罹患のスコア題が存在する．ResNetにおいても不十分な（ADS）を算出して鑑別を行うソフトウェア

数量での深層学習においては，この問題は発生する為，個々の画像の特徴を過学習せずにである．VSRADと鑑別精度の比較を行なった結果，VSRADはAccuracy84.8%に対しADの特徴のみを効率良く抽出する機構がさて，BAADは86.1%とVSより高い鑑別精度がらに必要となる．このため提案する構成は出せる事が報告されている[1]．

ResNetに加えてU-netを組み合わせたモデルを採用する（図1）．

本稿では後章において，これら既存ツールと同じ条件における，提案手法の精度比較実験の結果を示す．

3.2 U-net
U-netはEncoding（左側）とDecoding（右側）から構成されるネットワークである．

3．提案手法

Encodingの過程では学習データが共通して持

本章では提案手法のニューラルネットワー

つ重要な特徴の抽出が行われ，Decoding部

クモデルの詳細を述べる．
3.1 ResNet
提案手法は3次元画像データに対応させたでは最下層の共通特徴とEncodingの各層のSkip Connectionによって伝搬される元画像の情報が掛け合わされる形でデータの復号が行われる[11]．

ResNetをベースとしている．ResNetはCNNの一種であるが，一般的なCNNに比べて畳み

我々の提案モデルはU-netのEncoding部に込みを行う過程での特徴量の逸失を防ぐ特徴を持っており，画像識別問題に関しては従来

ResNetを用いており，学習に際しては，のCNNより識別精度が高い事が多く報告され

ResNet部の出力である推定ラベルと正解ラている．

ベルの残差，並びにDecoding部の出力画像

ResNetは，畳み込み層に加えて入出力をと入力画像の残差の二つを同時に小さくする

繋ぐSkip Connectionの機構を加える事にように行われる．この時，U-Netの出力教師

よって，中間層の学習結果と，入力値から出力層までの残差とを合わせた学習を可能とする．これにより深い畳み込み層から構築されるモデルにおいても学習データが持つ特徴の逸失を抑える事を可能とし，直接的な構成の

画像は入力と同じMRI画像である（AutoEncoding）．この復号の過程で最適化された
最下層の共通特徴を抽出して，これを識別に用いる．つまり，提案モデルは個々の画像の特徴を捉える役割をU-netのDecoding部に流CNNより画像データを用いた分類問題においし，ResNetを通るEncoding部にADの分類にて，高い識別精度が得られる事が多く報告されている[10]．

重要な共通特徴の抽出が行われる事を意図した構成となっている．

183

さらに提案手法はSqusse-and-Excition(SE)をEncoding部のResNetの畳み込み部分に加えるReSENetと呼ばれる構成とした．SEを加えることにより，畳み込み時に画像の大域的な情報をチャネルの値にも取り入れ，少ない畳み込みの中でも学習を効率的に進められる 効 果 が 得 ら れ る 事 が 知 ら れて い る ．
ReSENetの部分的なネットワークアーキテク
チャを図2に示す．
"

3.3 Squeeze-and-Excitation
Squeese-and-Excition(SE)は大域的な情報

図2：ResSENetのネットワークアークテク
チャをチャネルに圧縮し，入力画像に応じたチャ
ネル情報を掛け合わせるものである[12]．

以上提案手法をまとめると，構成としてはU-

Squeeze-and-Excitationは畳み込み時に計NetのEncodingにReSENetを用いたものであ算された特徴量を各チャネルに均等に出力するのではなく，入力画像の特徴量に応じてチャネルに出力する特徴量を制御する．これ
により少ない層の数でも分類に必要な特徴の変換を可能とする．

り，学習に際してはAuto Encodingとラベル誤差の差異の両方を最小化するものである．
評価時にはU-net再下部のEncoding終了時点に抽出される特徴を再度畳み込んだ上で出力層でsoftmax関数を用いて二値分類を行うものである．

"
図1：提案手法であるU-Netのネットワーク
アーキテクチャ184

4. 実験

5. 結果

提案手法では，データに二種類の前処理を

VSRADとBAAD，及び提案手法の行う．一つ目は特徴量間でスケールを揃えるために脳画像の正規化を施す．二つ目は学習時にデータの拡充を行うために画像の移動とA c c u r a c y ， S p e c i fi t y ， S e n c i t i v i t y ，

歪 み を 施 す デ ー タ 増 強 （ D a t a

た真陽性を縦軸，偽陽性を横軸に設定した提Augmentation）である．提案モデルの学習に案手法のROC曲線を図3に示す．提案手法のはアルツハイマー病の発症予測や治療薬の効果判定法の確立を目的とした北米臨床研究の

AUCは96%，精度は90.9%，検査後のオッズ

ADNIデータセットを用いる．学習済みのモ達成されるとともにSpecificity，Diagnostic

デルの検証には外部データとして，AD発症

odds ratioについても従来手法より高い結果の原因を特定する事を目的に1,100人を超えとなった．

Diagnostic odds ratioの結果を表1に示す．まは62.3であり，従来手法より高い鑑別精度がる人々を4〜5年間縦断的に追った研究データである豪州のAIBLデータを用いる．従来手法と同じ条件での鑑別精度の比較を行うため，従来手法の実験と同様にAD=332例，NC=406例のADNIデータセットを学習に用
い，AD=71例，NC=447例のAIBLデータセッ
トをモデル評価用のテストデータとして使用
した．

表1 ．提案手法の有用性検証と既存手法の比較
ADNIデータセットで学習した後にAIBLデータでモデルを評価した．
Accuracy

Sensitivity

Specificity

Diagnostic odds ratio

VSRAD

84.8%

68.1%

84.5%

14.9

BAAD

86.1%

88.9%

85.7%

47.9

提案手法

90.9%

84.5%

91.9%

62.3

185

文
［1］

献

椎野 顯彦, 岩本 祐太郎, 韓 先花,

陳 延偉, アルツハイマー病の画像診断―
voxel-based morphometryと人工知能によるアルツハイマー病スコアの有用性,
脳循環代謝（日本脳循環代謝学会機関誌）, 2016-2017, 28 巻, 2 号, p. 303308,, 抄録［2］

Arbabshirani, Mohammad R., etal. "Single subject prediction of brain
disorders in neuroimaging: promises andpitfalls." Neuroimage 145 (2017):
137-165.
"［3］

図3：ADNIデータを学習に用い，AIBLで検証

Litjens, Geert, et al. "A survey on

deep learning in medical image analysis."
Medical image analysis 42 (2017): 60-88.

した提案手法の結果

［4］
6. 結論

Wen, Junhao et al. “Convolutional

Neural Networks for Classification of
Alzheimer's Disease: Overview and
Reproducible Evaluation.” CoRR abs/
1904.07773 (2019)

本研究ではADの疾患鑑別の高精度化を目的に，ROIの設定を恣意的に行わない深層学
習による手法を提案した．我々の提案した［5］

ReSENetを用いたU-Net構成のネットワーク

Payan, A. & Montana, G. (2015),

Predicting Alzheimer's Disease - A
Neuroimaging Study with 3D
Convolutional Neural Networks., inMaria De Marsico; Mário A. T. Figueiredo& Ana L. N. Fred, ed., 'ICPRAM (2)',
SciTePress, , pp. 355-362 .

について従来手法との比較実験を行い，精度 90.9%，特異度 91.9%，検査後オッズ
62.3とより高い結果が得られる結果となった．ADの進行と海馬領域の萎縮の関係はこれまでに良く知られた関係であったが，AD［6］の鑑別には全脳の情報を用いる事で，さらにその精度を向上させ得る事を支持する結果とLiu, Mingxia, et al. "Landmark-based deep multi-instance learning for brain
disease diagnosis." Medical image analysis
43 (2018): 157-168.

なった．今後はGrad CAM等の技術[13]を用いて提案モデルが判定時に脳内のどのような領域を重要視しているか可視化し，判定根拠［7］

Li, Hongming et al. “DeepOrdinal Ranking for Multi-Category
Diagnosis of Alzheimer's Disease using
Hippocampal MRI data.” CoRR abs/
1709.01599 (2017): n. pag.

をより明確にすると共に，ADの進行について海馬萎縮以外の要因を明らかにする事が課
題である．

［8］
利益相反の有無Li, Hongming, et al. "A deeplearning model for early prediction of
Alzheimer's disease dementia based on
hippocampal MRI." Alzheimer's &Dementia: The Journal of the Alzheimer's
Association , Volume 14 , Issue 7 , P1407 -

なし

186

P1409 (2019).
［9］

segmentation." International Conference on
Medical image computing and computerassisted intervention. Springer, Cham, 2015.

脳ドックのガイドライン2019,2019年3月20日

改訂・第5版, 脳ドック

［12］のガイドライン2019改訂委員会編［10］"Squeeze-and-excitation networks."
Proceedings of the IEEE conference on
computer vision and pattern recognition.
2018.

He, Kaiming, et al. "Deepresidual learning for image recognition."
Proceedings of the IEEE conference on
computer vision and pattern recognition.
2016.
［11］

Hu, Jie, Li Shen, and Gang Sun.

［13］

Selvaraju, Ramprasaath R., etal. "Grad-cam: Visual explanations fromdeep networks via gradient-based
localization." Proceedings of the IEEE
International Conference on Computer
Vision. 2017.

Ronneberger, Olaf, Philipp Fischer, andThomas Brox. "U-net: Convolutional
networks for biomedical image

187

ResSENet-based AutoEncoder for Alzheimer's Disease Detection
Daiki FUJIBAYASHI*1*1 Splink, Ltd.
The importance of diagnostic support tools for dementia will increase since it is predicted that the numberof elderly patients with dementia increase in the future. Alzheimer disease (AD), which is the mostcommon cause of dementia, is mainly characterized by hippocampal atrophy. For diagnosis of AD,
statistical methods to calculate hippocampal atrophy by setting a region of interests (ROI), within 3DT1MRI images is widely used. On the other hand, it has been reported that setting multiple ROIs canimprove the accuracy of AD classification. In this paper, we propose a classification method which utilize
the whole area of the brain instead of setting arbitral regions to be analyzed . We trained the classifier
based on the proposed method using the ADNI datasets and verified its performance using the AIBL
datasets. We obtained 90.9% accuracy for AD / NC classification.

Key words: T1-MRI, Alzheimer’s disease, Deep learning, Classification accuracy
著者紹介
藤林

大毅

(ふじばやしだいき)
2015年同志社大・理工学部・インテリジェント情報工学科卒．2017
年奈良先端科学技術大学院大学博"士課程前期･情報科学･情報科学専
攻了．現在，株式会社Splink機械
学習エンジニア．MRIを中心とした画像処理の研究開発に従事．

188

OP1-22

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

ドメイン敵対的学習を用いる病理画像からの悪性リンパ腫候補領域の抽出と病型識別
古賀

諒一*1

橋本 典明 *1高野

桂*2 中村 栄男*2

横田 達也 *1

中黒 匡人*2

一郎 *1

本谷 秀堅*1

竹内要旨
本研究では, 悪性リンパ腫の薄切切片の HE 染色病理顕微鏡画像より, その病型を推定する手法を提案する.
悪性リンパ腫には 70 種類以上の病型があり, その病型に依存して治療法や治療後の経過が異なるうえに,
その病型を病理画像より診断することは専門の病理医であっても容易ではない. この病型識別を支援するシステムを構築するために, 切片全体を含む病理画像中より悪性腫瘍領域の部位を自動的に選択し, その
うえで病型を推定する手法を提案する. この際, 施設や染色を行った技師ごとに異なる HE 染色の色味の違いを積極的に無視するために, ドメイン敵対的学習を導入する. これにより, 切片全体の病理画像から悪性腫瘍領域の抽出ができるようになり, 病理画像における腫瘍領域の可視化が可能となった. また, 自動的に取り出された悪性腫瘍を含むパッチのみを用いて病型を推定することで, 病型推定の精度向上が確認できたので報告する.
キーワード：ニューラルネットワーク, ドメイン敵対的学習

1．はじめに悪性リンパ腫は 70 種類以上の病型に分類されているうえ, どの病型であるかを判断することが困難な病気である. 本研究では, HE 染色が行われた悪性リンパ腫の病理標本を顕微鏡で撮影して獲得できる, 図 1 に示すような病理顕図 1 HE 染色病理顕微鏡画像の例. 施設ごとに染微鏡画像を用いる. しかし, これらの病理標本

色の色合いや強さが異なる.

はその全体ががんに侵されているわけではな

パッチが混在するという問題点が生じる. また,く, 病型の同定に利用できるのは標本中の一部

これらの病理標本は症例間で HE 染色の色味が分のみで, 腫瘍領域を注視することが必要であ

異なるという問題点もある. 本研究の目的は,る. 病理画像は図 1 のように, そのサイズが非上に述べた 2 つの問題点に対処した悪性リンパ常に大きいため, 一括に処理を行うことが非現腫病型識別システムを構築することである.

実的であり, そのため, 一定の大きさのパッチに切り出して処理を行う. この場合, 切り出し

2. 提案法たパッチの中に腫瘍領域が存在しない非病気

本研究では, 上に述べた病型識別システムを――――――――――――――――――

構築するために, 腫瘍領域の判定を行う病気パ*1 名古屋工業大学

ッチ検出器と, 入力パッチの病型を識別する病〔〒466-8555 名古屋市昭和区御器所町〕

型識別器が必要となる.
本研究では, 病気パッチ検出器の学習に必要

e-mail: koga@iu.nitech.ac.jp*2 名古屋大学医学部付属病院となるパッチごとの病気か非病気かを示す正〔〒466-8560 名古屋市昭和区鶴舞町 65〕

解情報が存在しないため, すべてのパッチを病189

気パッチと仮定した区別なし識別器が出力する事後確率値を病気パッチ検出器のラベルデータ[1]として利用する. その後, 病気パッチと判断されたパッチのみを用いて, 病型識別器の学習を行う. ここで, これらの識別器はすべて,症例間の染色の違いを無視するために, ドメイ
ン敵対的学習を用いて学習を行う. ドメイン敵対的学習を用いたニューラルネットワークは

図 2 DANN の構造.

DANN[2]と呼ばれており, 図 2 のような構造を持つ. 本研究では, 症例それぞれを 1 つのドメインと定義して, ドメインが識別できなくなるように学習を行う. これにより, 本研究におけ
図 3 識別器が出力した事後確率.

る 2 つの問題点に対処した病型識別システムの構築が可能となる.
3. 実験
3.1. 病気パッチ検出器を用いた腫瘍候補領域の抽出
病気パッチ検出器の学習には 5 つの病型, 合計 208 症例からなる悪性リンパ腫の HE 染色画

図 4 腫瘍候補領域選択の閾値と病型識別率.

像を大きさ 224×224 として切り出したパッチ
20 万枚を用いた.

4. まとめ病気パッチ検出器によって出力された, 0 か

本研究では, 悪性リンパ腫診断支援システム

ら 1 の連続値で表される病気らしさの値を画素に必要な識別器を構築した. 病気パッチ検出器

値として書き込むことで, 図 3 のような病気らを用いることで, 腫瘍候補領域の自動抽出が可しさの分布を示す画像を生成した. このような能となった. また, 病気パッチのみで病型識別

画像から, ある閾値以上の病気らしさを持つパを行うと, その識別率は病気パッチとして取りッチを病気パッチとして抽出する.

出す閾値を大きくするに伴い向上した.

3.2. 病気パッチのみを用いた病型識別

利益相反の有無

抽出した病気パッチのみを用いて病型識別

なし

器の学習を行った. 予測時に出力されるパッチ

文

ごとの識別結果で投票を行い, 最も得票率の高［1］

献Le Hou, Dimitris Samaras, Tahsin M. Kurc,

かった病型を標本画像に対する識別結果としet al.: Patch-based Convolutional Neuralて出力する. 病気パッチ抽出時の閾値ごとの正Network for Whole Slide Tissue Image

解率を図 4 に示す. 図 4 から, 病気パッチとしClassification. CVPR, pp.2424-2433, 2016.

て抽出する閾値を大きくするに従い, 病型識別［2］

Yaroslav Ganin, Evgeniya Ustinova, Hana率が向上する傾向にあることがわかった. 専門

Ajakan,の病理医でさえ, 高い確度で HE 画像のみからTraining of Neural Networks. Journal of

病型を推定することは容易ではなく, 図 4 の結Machine Learning Research, vol.17, pp.1-

果は腫瘍領域の自動選択が適切に機能してい35, 2016.

ることと矛盾がないことが確認できた.

190

et

al.:

Domain-Adversarial

Extraction and Subtype Identification of Malignant Lymphoma
Candidate Regions from Pathological Images Using Domain Adversarial
Training
Ryoichi KOGA*1, Noriaki HASHIMOTO*1, Tatsuya YOKOTA*1, Masato NAKAGURO*2,
Kei TAKANO*2, Sigeo NAKAMURA*2, Ichiro TAKEUCHI*1, Hidekata HONTANI*1*1 Nagoya Institute of Technology*2 Nagoya University HospitalIn this study, we propose a method to estimate the subtype of malignant lymphoma from hematoxylin and eosin(H&E) stained pathological microscopy images of sliced sections. There are more than 70 subtypes of malignant
lymphoma, and depending on the subtype, the treatment method and the progress after treatment differ, and it is sodifficult for a specialized pathologist to identify the subtype from pathological images. In order to construct a system tosupport this subtype identification, we propose a method to automatically extract the malignant tumor area from thewhole slide image and then estimate the subtype. In this case, in order to actively ignore differences in the color of
H&E stains that differ depending on the facility and the pathologist performing the stain, we adopt domain adversarial
training. This enables us to extract the malignant tumor area from the whole slide image, and to visualize the tumor
area. Further, by estimating the subtype, the accuracy improvement of estimation could be confirmed.

Key words: Neural Network, Domain Adversarial Training

191

OP1-23

造影 CT 画像における 2 段階閾値処理及びテクスチャ解析による外傷出血自動検出の検討
木村

拓貴*1

中田

田中 久美子*3 吉村 裕一郎*2

孝明*3

織田 成人*3

中口 俊哉*2

要旨
現在の外傷治療では救急医による造影 CT 画像を用いた読影診断が行われているが，1000 枚以上の CT 画
像を迅速かつ正確に読影する必要があることから医師の負担は大きい．本研究では，医師の負担軽減を目的に外傷出血の自動検出を検討する．外傷出血候補領域の抽出においては，各組織の CT 値分布を参考に，
骨領域の除去及び抽出範囲を限定した 2 段階の閾値処理によって出血領域の候補を抽出する．抽出した候
補領域のテクスチャ特徴量からランダムフォレスト学習器を用いて候補領域を分類することで誤検出領域の低減を行った．実験として外傷 29 例の全身 CT 像を用意し，計 153 箇所の外傷出血の検出を試みた．読影医によって抽出された正解領域との重心間距離が 7.5mm 以下を正解として評価したところ，感度 96%の出血領域の検出に成功し，候補領域分類を行うことで偽陽性を約 70%低減した．
キーワード：造影 CT 画像，外傷出血，機械学習，Random Forest 法，テクスチャ解析

1．目的において重要である．現在の外傷治療では救急

外傷とは，何らかの要因による体外から加わ医による造影 CT 画像を用いた読影診断によっ

る力によって生じる損傷であり，出血の程度にて治療方針の決定を行っているが，この診断方

よっては出血死を引き起こす危険性がある．外法の問題点として，出血の見落としや膨大な CT

傷による死亡は，10 万人当たりおよそ 30 人程

画像の診断に時間を要すること，救急医は外傷度の割合で発生しているが[1]，全国の救命救急

患者の処置を行わなければならず読影に専念

センターに外傷治療の実態調査を行ったとこできる医師が少ないことなどが挙げられる．以ろ，実際に死亡した外傷患者のうち，修正予測

上の点を改善するため，本研究では医師の負担

外死亡 数 (防ぎ えた可 能 性の高 い外 傷死 亡 )は軽減を目的に外傷出血の自動検出手法につい40%に迫る数値であった[2]．こうした外傷死亡て検討する．

を回避するために外傷出血の診断は外傷治療

2．提案手法――――――――――――――――――

2.1. 前処理*1 千葉大学大学院融合理工学府

研究の対象とする CT 画像は読影に用いられている静脈時相の造影 CT 画像であり，等方化〔〒263-8522 千葉市稲毛区弥生町 1-33〕

して取り扱う．本研究の提案手法では，前処理

e-mail: afya2170@chiba-u.jpとして入力画像の分割，骨領域の除去を行う．

*2 千葉大学フロンティア医工学センタ

図 1 に示す CT 値分布から分かるように，身ー*3 千葉大学大学院医学研究院

体の位置によって出血領域の CT 値の分布が異救急集なるため，すべての位置に対応できる一つの閾

中治療医学

192

値を設定する事は困難である．そのため，それぞれの位置に対応した閾値を設定する事を目的に入力画像を図 2 に示すように肩より上，骨盤より上，下半身に分割を行った．
骨付近の出血は候補領域抽出を行う際に出血領域と骨領域の境界が曖昧になり，検出が困難になるという問題点がある．そのため，閾値処理による骨領域除去を実装した．閾値処理に

図 1 身体の位置における出血領域の CT 値分布

よって抽出される領域の中で骨領域は体積が十分に大きいという仮定のもと，一定ボクセル
以上の領域を骨領域として抽出を行い，骨内部組織の穴埋め後，入力画像内から対象となる領域を除去する事で骨領域除去を行う．アルゴリ
ズムは以下の通りである．
(1)
図 3 を参考に CT 値 380HU を閾値と設定し，閾値以上のボクセルを骨領域
として抽出
(2)
候補領域の中からボクセル数が90000(約 20cm3)以上の領域のみを抽出
(図 4)
(3)
Closing，スライスごとの外輪郭抽出による領域内部の穴埋め(4)
入力画像内から抽出した対象となる領域部分を除去2.2. 候補領域抽出手法

図 2 入力画像の分割

図 1 を参考にした上で，経験的に閾値の決定を行い，出血候補領域の抽出を行った．アルゴ

図 3 造影 CT 画像における CT 値分布

リズムは以下の通りである．
(1)
ガウシアンフィルタσ=2.0 を用いて平滑化を行い，ノイズの低減を行う．
(2)
頭部：85HU，胴体：160HU，下半身：80HUに閾値を設定し，閾値以上の CT 値のボ
クセルを候補領域として抽出．
候補領域を抽出した際，出血領域に加え，ベッドや太い血管など明らかに出血領域ではない領域などの誤検出領域が同時に抽出されている．このような領域を除去する事を目的に以図 4 骨領域の抽出

下に示す条件を設定し，条件に合う領域のみを候補領域として抽出した．
(1) ボクセル数が 30(約 6mm3)以上 90000(約 20cm3)以下．
(2) 候補領域の平均 CT 値が一定範囲内
頭部 ：100~175HU
胴体 ：150~250HU
下半身：90~160HU(a)候補領域抽出(b)誤検出判別結果
図 5 抽出結果(赤色の領域が出血領域)193

図 5 に抽出結果を示す．図 5(a)に存在している

用いた候補領域の分類を行った．本研究では，ベッドや太い血管，ノイズと思われる小さな領

表 1 に示す手法により算出される計 23 種のテ域を図 5(b)では除去できている事が確認できる．

クスチャ特徴量[3][4]を正解領域と誤検出領域

また，出血領域で検出される領域とそれ以外のでそれぞれ算出し，Random Forest で学習を行い，軟組織で検出される誤検出領域では，図 3 から分類器を作成した[4]．訓練データとして表 2 の分かるように出血領域の方が CT 値の高い領域

データセットを用意した．作成した分類器を用が多く含まれており，平均 CT 値に差が生じる

いて各候補領域が誤検出かどうかを推定するという仮定のもと，平均 CT 値が一定範囲外の事で誤検出低減を行った．

領域を誤検出領域として除去する条件(2)を設

3．評価

定した．

3.1. 候補領域の抽出

ここまで閾値処理による候補領域抽出を行

29 症例 157 箇所の外傷症例に対して抽出処理ってきたが，図 1 が示すように出血領域が取りを行い，正解領域と候補領域との重心間の距離

うる CT 値の範囲は広いため，すべての出血領域を検出できる一つの閾値を決定する事は困難である． そこで，本研究では 2 つの閾値を用いた 2 段階閾値処理による抽出手法を実装した．
図 6 に 2 段階閾値処理の流れを示す．高い CT
値の出血領域を検出する閾値と低い CT 値の出血領域を検出する閾値の 2 つの閾値を設定して，それぞれ検出処理を行い，最終的に結果を足し合わせた．誤検出除去の条件(2)である平均 CT
値の範囲を調整する事で，低閾値での検出で高い CT 値の出血領域を抽出しないように抽出範
囲を限定する事が可能である．閾値及び平均 CT
値の範囲は経験的に調整し，最も検出率が高くなる値を探索して，以下のように設定した．
頭部：

低閾値:85HU
平均 CT 値:100～170HU
高閾値:150HU
平均 CT 値:180~265HU
胴体： 低閾値:75HU
平均 CT 値:90～120HU
高閾値:165HU
平均 CT 値:200~350HU
下半身： 低閾値:80HU
平均 CT 値:90～140HU
高閾値:140
平均 CT 値:150~280HU
2.3. 候補領域分類

図6




差分統計量



液体である出血領域の形状は複雑であり，領2 段階閾値処理

表 1 算出したテクスチャ特徴量
ヒストグラム統計量
平均，分散，歪度，尖度等
同時生起行列表 2 訓練データ

域ごとに全く異なるため，形状による候補領域の分類は困難である．そこで，出血領域の形状に依存しない特徴として，テクスチャ特徴量を

194

表3

が 7.5mm 以内の領域を真陽性として評価を行

2 段階閾値処理の結果った．通常の閾値処理では，138 箇所の出血領域を抽出したのに対し，2 段階閾値処理による抽出では，151 箇所の出血領域の抽出に成功し，感度は 96%まで向上した(表 3)．

表4

3.2. 候補領域分類

候補領域分類結果

候補領域の分類の前後でそれぞれの誤検出の数を比較した．1 症例あたり 1596 箇所の FPが生じていたが，候補領域の分類によって一症例あたりの平均 FP 数が 490 箇所となった．感文

度を維持した上で，約 70%の誤検出領域の低減

献[1] 厚生労働省 死因順位別に見た年齢階級・
性別死亡数・死亡率・構成割合 2007 年
https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/suii07/deth8.html[2] 平成 13 年度厚生科学特別研究「救命救急センターにおける重傷外傷患者への対応の充実に向けた研究」研究班の結果報告
2001 年[3] 藤田広志, 石田隆行, 桂川茂彦ら,“ 実践 医用画像解析ハンドブック”オーム社,
2012 年[4] Bowen Song et al.,“Volumetric texture features from higher-order
images for diagnosis of colon lesions via CT
colonography,”International Journal of Computer Assisted
Radiology and Surgery, Vol.9, No. 6, pp. 10211031, 2014.
[5] Random Forests [Online]. Available :https://www.stat.berkeley.edu/users/breiman/R
andomForests/cc_home.htmに成功した(表 4)．
4．結論
本研究では，造影 CT 画像からの外傷出血検
出手法を提案した．候補領域の抽出においては2 段階閾値処理を実装する事で，感度が向上し通常の閾値処理よりも性能の良い抽出手法である事を確認した．また，テクスチャ特徴量を用いた候補領域分類を行うことにより，誤検出の低減効果を確認した．
利益相反の有無なし
生体に関わる研究の倫理規範順守
本研究は千葉大学大学院医学研究院生命倫
理審査 2972 号の承認を得た．

195Automatic detection of extravasation by two-step thresholding andtexture analysis in contrast-enhanced CT image
Hiroki KIMURA*1, Kumiko TANAKA*3, Yuichiro YOSHIMURA*2
Takaaki NAKADA*3, shigeto Oda*3, Toshiya NAKAGUCHI*2*1 Graduate of Science and Engineering, Chiba University*2 Center for Frontier Medical Engineering, Chiba University*3 Department of Emergency and Critical Care Medicine

In the current trauma treatment, an emergency doctor diagnoses an image using contrast-enhanced CT images, but theburden on the doctor is large because it is necessary to read more than 1000 CT images quickly and accurately. In thisstudy, we consider automatic detection of extravasation for the purpose of reducing the burden on doctors. In theextraction of extravasation candidate regions, the regions are extracted by bone region removal and two-step thresholdprocessing with limited extraction range with reference to the CT value distribution of each tissue. The false detection
region was reduced by classifying the candidate area using the random forest learner from the texture feature quantityof the candidate area. We prepared whole-body CT images of 29 cases and tried to detect a total of 153 points ofextravasation. When the region which the distance between the candidate region and the extracted correct region by
doctor is less than or equal to 7.5mm is the correct answer, It successfully detected a extravasation with a sensitivity of
96%, and candidate region classification reduced false positives by about 70%.

Key words: contrast-enhanced CT images, extravasation, machine learning, Random Forest method, texture analysis

196OP1-24

深層学習における学習データセット規模拡大に応じた分類精度向上に関する実験的検討-超拡大大腸内視鏡画像における腫瘍性病変分類に向けた
特徴量抽出伊東 隼人 ∗1 , 森 悠一 ∗2 , 三澤 将史 ∗2 , 小田 昌宏 ∗1 ,工藤 進英 ∗2 , 森 健策 ∗1,3,4
要旨
超拡大大腸内視鏡による超倍率の拡大観察はリアルタイムなポリープの組織学的分類を実現しうる. この新しいモダリティによる高精度な実時間診断は内視鏡医に高度な知識と十分な経験があって初めて実現しうる. 超拡大大腸内視鏡の普及に向けた非熟練医の教育・サポートを対象とする CAD システムが求められている. CAD システムにおいては高精度な画像分類器がその中核をなす. 特に機械学習に基づく分類器の構成においては大規模な学習データセットが不可欠である. 中でも深層学習はデータセットから分類に適したパターン表現を自動的に学習して特徴量抽出を行い, それらの分類を行う. したがって, 深層学習においては良質なデータセットの構築が非常に重要である. 本研究では大規模データセットを構築し, 深層学習に基づく分類器構築における症例数・画像数・分類精度の関係を実験的に調査する.
キーワード: 内視鏡検査, 超拡大内視鏡, 病理類型分類, 深層学習, テクスチャ解析, 汎化性能

1. はじめに精度の関係を調査する. さらに学習済みモデル

医用画像工学の領域においても診断支援,・画の汎化性能を評価することで, 深層学習に向け

像処理・画像再構成をはじめ多くの応用研究にた大規模データセット構築の指針を模索する.

対し, Convolutional Neural Network (CNN) [1–6]2.

ベースの深層学習手法が大規模データを対象と関連研究する最適化手法として利用されている. 一方

大腸ポリープ表面を内視鏡で拡大観察に基で機械学習のための医用画像収集ならびにアノ

づき, 組織学的なポリープの分類を行う診断方

テーションに関しては医師に多大な負担をかけ

法 [7] が研究されている. この診断方法は細胞るとともに, 構築した医用データセットの利用

核の分布パターン（ピットパターン）や血管のに関しては患者の人権問題をも含む. 一般画像

形状といったポリープ表面のテクスチャに基づとは異なり, 大規模データセット構築・利用は困く診断方法である. この診断方法は生検を介さ難である上に, データドリヴンな深層学習を利ない実時間病理診断を実現しうるが, 高度な知用するに際してはどの程度の大規模データをど識と十分な経験が要される. 特に 520 倍の超拡のように収集するかが肝要となる. 本稿では図大観察な可能な超拡大内視鏡 (Olympus, Tokyo)

1 に示す超拡大大腸内視鏡画像の腫瘍・非腫瘍
分類を対象とする. この 2 カテゴリへのパター

は新しいモダリティであるために熟練医の数がン分類というパターン認識問題で最も基本的なを目的としたコンピュータ支援診断 (CAD) シ問題に対し, 収集した約 3500 症例分のアノテー

ステムが望まれており, 拡大内視鏡画像の病理

ション済み画像を用いて症例数・画像数・分類

パターン分類手法 [8–18] が検討されている.

非常に少ない. そのため, 非熟練医の教育・補助

玉木らは 75 倍拡大観察下でのポリープ表面∗1 名古屋大学大学院情報学研究科知能システムの狭帯域画像より, 局所領域における勾配の方向

専攻 [〒 464-0822 名古屋市千種区不老町]
e-mail: hitoh@mori.m.is.nagoya-u.ac.jp∗2 昭和大学横浜市北部病院消化噐センター∗3 名古屋大学情報基盤センター∗4 国立情報学研究所医療ビッグデータ研究セン
ター

統計に基づく徴量表現 [9] , 局所領域の方向・形状を考慮した多重解像度解析 [10] , そして深層
学習 [11] といった複数アプローチでポリープ表
面のテクスチャを表す特徴量を抽出し, 病理学的

197

(a)

(b)

(c)

(d)

図 1 超拡大内視鏡ならびに 520 倍拡大観察におけるポリープ表面の画像例. (a) CF-H290HCI (Olympus,
Tokyo). 内視鏡先端のレンズ部分をポリープ表面に接着し, 倍率を上げることで超拡大観察を実行する. (b)-(d) はそれぞれ非腫瘍, 腺腫, そして浸潤癌の典型例を示す . (c) および (d) が腫瘍性病変のテクスチャパターンに該当する.

な分類を試みた. いずれの場合も線形サポート

伊東らは約 400-1000 症例程度の超拡大内視ベクターマシン (SVM) [19] を分類器として用い

鏡画像 2 万枚を用いて, 深層学習による特徴抽ている. 深層学習ベースのアプローチ [11] では
AlexNet [2] , CaﬀeNet [3] そして GoogLeNet [4]出の初期検討 [15, 16] を行った . しかしこの規という３つのネットワーク構造を利用し, それ

習には不十分であり, データセット拡充の必要

ぞれの学習モデルの各層より特徴抽出を行った.

性を主張した. 伊東らはマルチスケールのテク抽出した特徴量を SVM で学習・分類すること

スチャ特徴量と深層学習モデルの浅い層より得により, 分類精度の高い特徴量抽出を行う層をられる特徴量に対する特徴選択法 [17, 18] も検調査した. AlexNet と CaﬀeNet は全 8 層の中に討している.

模のデータセットは深層学習ベースの大規模学

5 層の畳み込み層を持つが, 最も分類精度の高い
特徴量を抽出しているのは 2 また 3 層目であった. GoogLeNet は最後の全結合層を除くと 21

量 [21] を抽出し, 正常な細胞とがん細胞それぞ層であるが, 最も分類精度の高い特徴量を抽出

ゴリ部分空間を直交化させることで特徴選択をするのは最初の 2 つの Inception module の後に行っている [22] . 一方, 伊東らは超拡大内視鏡

ある pooling 層であった. 深層学習の 1-3 層目の画像からマルチスケールの Haralick 特徴量 [23]

浅い畳み込み層ではエッジ・コーナー・ブロッを抽出し, 2 カテゴリの線形部分空間同士のグラブといった低レベル特徴量を抽出すると言われスマン距離を最大化することで特徴選択を行っているが, テクスチャの分類にはこのような低ている [17, 18] . このグラスマン距離最大化でレベル特徴量の抽出が有用である.

は期待値の意味で２カテゴリの線形部分空間が野里らは病理組織画像から高次相関局所特徴
れを表す特徴ベクトル集合が張る 2 つのカテ

森らは 520 倍観察が可能な超拡大内視鏡を直交する最小次元の特徴空間を求めている. 野用いた実時間病理診断を目標に CAD システム

里らの特徴選択では一方のカテゴリの線形部分の構築 [12–14] を検討した. 細胞核の形状特徴

空間の補空間にもう一方の特徴量を射影するこ量 [12] や形状特徴の局所的なバイナリパターとで直交化を行うが, 伊東らの特徴選択は直交ンを追加した特徴量 [13] の検討報告があるもの

化において学習データに共通でありかつ分類にの, 倍率が上がったとしても観察されるパター

寄与しない成分を除去する. したがって, 学習

ンはポリープ表面のテクスチャであることからデータが単一の施設により得られたものであっマルチスケールのテクスチャ特徴量を採用するたとしても, 特徴選択により高い汎化性能が得に至った [14] . 分類には SVM を採用し, 特徴られる.

空間における識別境界かクエリまでの距離に基づいたカテゴリに属する尤度 [20] を推定して
いる.

198

表 1 ResNet の構成. 各 residual unit は文献 [6]の building block の構成に準拠. カーネルサイ
ズの削減時には Residual unit 内にて線形写像
を用いてサイズ調整を行った. Weight decay は0.00001 とした. パラメータ数は総計 1,228,034
個. 最終層は出力数 2 の softmax 関数とした.
Layer name

Architecture

conv1

3 × 3, 64, stride 2 × 2

conv2_x
conv3_x
conv4_x表2EC 染色画像データセット
学習

検証

テスト

計

腫瘍 [枚]

26,462

3,213

3,262

32,937

非腫瘍 [枚]13,180

1,592

1,638

16,937

計 [枚]

39,642

4,805

4,900

49,347

計 [症例数]

2,822

342

349

3,513

表 3 他施設データセット. 3 つの病院 A, B, そ
して C それぞれにおける腫瘍・非腫瘍画像の内訳を示す.

max pooing, stride 2 × 2
3 × 3, 64 × 1
3 × 3, 64
3 × 3, 128 × 1
3 × 3, 128
3 × 3, 256 × 1
3 × 3, 256

腫瘍 [枚]

A

B

C

計

2,907

231

827

3,965

非腫瘍 [枚]

443

29

190

662

計 [枚]

3,350

260

1,017

4,627

腫瘍・非腫瘍ラベルのアノテーションを施した.

global average pooling, 256-dimensional fc layer

表 2 および 3 は 2 つのデータセットにおける画3. 手法

像数の内訳を示す. 表 2 の症例数はデータセッ

深層学習手法として CNN [1, 2, 5] ならびに

ト全体の症例数のみを把握しているため, 学習・

Residual Neural Network (ResNet) [6] を利用す
る. CNN は AlexNet [2] をベースに超拡大大検証・テストデータの症例数は画像数の比と対腸内視鏡画像の分類に最適化された 3 層の構EC 染色画像データセットは症例レベルで重応するように算出した.

成 [15, 16] を利用する. 上記の 3 層 CNN にお複がないように学習・検証・テストデータの 3

ける畳み込み層を residual unit [6] に置き換えた

つに分割した. 検証・テストデータの構成におものを ResNet の構成として利用する. 図 2 おいては実臨床における腫瘍・非腫瘍のパターン

よび表 1 がそれぞれ CNN と ResNet のネットの分布の分散を反映した構成となるように, 熟

ワーク構成を示す. 非深層学習手法としては, マ

練内視鏡医 2 名に選別を依頼した. さらに, 診

ルチスケールでテクスチャ特徴量を抽出し, 線断に不適切である染色失敗である画像は検証・

形 SVM ならびに Platt 尤度推定に基づく分類手

テストデータからは除去した.

法 [17, 18] を利用する.

2) 深層学習手法の学習
EC 染色画像データセットを 1/2, 1/4, そして

4. 実験

1/8 の画像数となるように更に分割を行った. 分
割に際して症例数も画像数に比例するように, 撮1) データセット構築
実験においては IRB 承認済みの 2 種類のデー

影日時に基づいて行った. これら 3 つの症例数

タセットを利用した. ひとつはある 1 施設の通が削減された学習データとすべての症例数を含

常診察時に収集された超拡大大腸内視鏡画像集

む元の学習データを用いて CNN の学習を行っ合である. もうひとつは 3 つの他施設におけるた. バッチサイズは 1024, エポック数は 300, 学

通常診察時に収集された超拡大大腸内視鏡画像

習データは事前に 30 度ずつ回転させて 12 倍に集合である. これらを EC 染色画像データセット

データ拡張した上で, ミニバッチごとにランダ

および他施設データセットと呼称する. 画像収

ムに左右上下の反転を加えて学習させた. デー

集においては染色液でコントラスト強調を行っ

タ拡張を含めると 4 種類の学習データの総画像

た上で, ポリープそれぞれに対して表面に接着

数は約 143 万, 72 万, 36 万, そして 18 万枚程度した超拡大内視鏡の位置を少しずつ移動させなとなる. 基本学習率は 0.00001 からはじめ, 100,がら 10 枚から 200 枚ほどの撮影を行った. こ

150, 200 そして 250 エポックにて逐次 1/10 倍のれらの収集した画像には生検・病理診断を経て199

図 2 3 層 CNN の構成. 学習時には畳み込み層それぞれにバッチ正規化 [24] を, 全結合層には dropout [25]を利用した. 活性化関数には Leaky ReLu (負領域の勾配は 0.3) [26] を用いた. パラメータ数は総計
529,794 個. 最終層は出力数 2 の softmax 関数とした.

値に再セットし，He の初期化 [28] と Adam [27]4) 学習済みモデルの比較を利用して学習させた. 図 3 は各学習過程における各エポックごとの学習・検証データに対す

4 つの学習済み CNN モデル, 1 つの学習済
み ResNet モデル, そして 4 つの学習済み SVM

る分類精度（accuracy）の推移を示す. 図 4 はモデルを用いて EC 染色画像データセットおよ

学習データの症例数に対する学習済み CNN モ

び他施設データセットのテストデータに対するデルの学習・検証・テストデータにおける分類分類を行った. 評価指標として感度・特異度

精度を示す. 分類精度はデータ全体のうち正し（sensitivity・specificity）を用いた. 腫瘍ならびいカテゴリに分類できた画像の割合を指す.

に非腫瘍をそれぞれ陽性と陰性とおくとき, 感ResNet の場合はすべての学習データを用い,
CNN の場合と同様に事前・オンラインのデー度と特異度はテストデータを分類した際の腫瘍

タ拡張を利用した. バッチサイズは 512, エポッの割合を指す. 図 5 がテストデータに対する各

ク数は 250, 基本学習率は 0.00001 からはじめ,

モデルの分類の ROC 曲線を示す.

における真陽性の割合と非腫瘍における真陰性100, 150 そして 250 エポックにて逐次 1/10 倍の値に再セットし, He の初期化と Adam を利用

5.

した学習を行った.

考察
図 3(a) では学習初期より終了時まで一貫してどちらの場合も入力は 179 × 179pixel の RGB

学習データと訓練データにおける分類精度に乖

カラー画像とし, 実装には TensorFlow バックエ

離が存在する. しかも訓練データにおける分類

ンドの Keras [29] を用いて Nvidia 製 GPU V100

精度エポックごとの上下も大きい. この結果は(32GB) を 1 枚利用して計算した.

パターン全体を表す特徴量の深層学習には, 学

3) 非深層学習手法の学習

習データの症例数が完全に不足していることをEC 染色画像データセットの学習・検証デー
タセットを合わせて SVM 用の学習データとした. この学習データを 1/2, 1/4, 1/8 の画像数・症

練データにおける分類精度乖離はないが, 20 エ

例数となるように再分割を行った. 計 4 種類の度の乖離が始まる. 図 3(c) では図 3(a),(b) より

学習データそれぞれに対して 5 分割交差検定をも分類精度の向上が確認できるものの, やはり行い, グリッドサーチによる線形 SVM のハイ
パーパラメータの最適値を求めた上でそれぞれ

10-20 エポック付近で学習データと検証データ
における分類精度の乖離が始まる. 図 3(d) ではの学習を行った. SVM の学習には LibSVM [30]学習データと検証データの分類精度の差は僅かを利用した.

であり, 100 エポック付近まではほぼ一致して示す. 図 3(b) では学習初期の学習データと訓ポック付近から 2 つのデータ間における分類精

200

0.8

0.8

accuracy

0.9

accuracy

0.9

0.7

0.7

training
validation

0.6
0.5

0

50

100

150

epoch

200

250

training
validation

0.6
0.5

300

0

50

100

(a)

200

250

300

(b)

0.8

0.8

accuracy

0.9

accuracy

0.9

0.7

0.7

training
validation

0.6
0.5

150

epoch

0

50

100

150

epoch

200

250

training
validation

0.6

300

(c)

0.5

0

50

100

150

epoch

200

250

300

(d)

図 3 CNN の学習過程における学習・訓練データに対する分類精度. (a)-(d) はそれぞれ 1/8, 1/4, 1/2 そしてすべての学習データを用いた場合の学習における分類精度を示す. (a)-(d) における学習に用いたデータに含まれる症例数はそれぞれ 353, 706, 1411 そして 2822 である.

0.90

度がほぼ一致していることから, 検証・テスト
データが合わせて約 1400 症例程度のパターン

accuracy

0.85の分散をよく表していることも伺える.

0.80

training
validation
test

0.75
0.70

500

1000

1500

2000

number of cases

図 5 ではいずれの手法においても, 腫瘍カテゴリの画像数が多いためか, 感度重視の学習済
みモデルとなってる. 図 5(a) において, 学習デー

2500

タにおける症例数が約 350-1400 程度では感度・特異度はともに非深層学習手法の方が高いもの

図 4 学習データの症例数と学習済み CNN モデ
ルの分類精度.

の, 学習データの症例数が約 2800 程度となると深層学習手法の方が高い評価値となる. 図 5(b)いる. 理想的な学習データで学習を行った場合,

は学習データにおける症例数が約 2800 程度の学習データと検証データの分類精度を表す曲線

場合の学習済み CNN, ResNet そして SVM におは一致するか, 検証データの分類精度がやや上ける他施設データセットの分類結果である. 図となることが想定される. 約 2800 症例程度があれば, 完全ではないものの, 本問題に関して十5(a) とは対照的に, 図 5(b) の結果は非深層学習手法である SVM の評価値が最も高く, ResNet

分な学習データであると考えられる.

の評価値が最も低い.

図 4 の示す学習データにおける症例数と学習

図 5 の比較結果は深層学習手法が学習データ

済みモデルの分類精度の関係より, 約 2800 症における観測パターンをよく学習していること

例の 2 倍から 4 倍程度の症例数があれば, 学習を示す一方, 汎化性能が十分でないことを意味

データと検証データの分類精度はほぼ一致する

する. 統計量を元に定義されたテクスチャ特徴と予想される. 学習データ内の症例数が 1400 程

量と SVM の場合, 学習データを収集した施設

度以上では検証・テストデータにおける分類精と他施設の両方の分類精度で同程度の精度であ

201

0.95

0.95

0.90

0.90

sensitivity

1.00

sensitivity

1.00

0.85

0.85

0.80
0.75
0.70
0.65
0.600.0

0.80

CNN, Full data
CNN, Half data
CNN, Quarter data
CNN, One-eighth data
Haralick-SVM, Full data
Haralick-SVM, Half data
Haralick-SVM, Quarter data
Haralick-SVM, One-Eighth data
ResNet, Full data

0.1

0.2

0.3

0.4

1-specificity

0.5

0.75
0.70
CNN, Full data
Haralick-SVM, Full data
ResNet, Full data

0.65

0.6

0.600.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

1-specificity

(a)

(b)

図 5 テストデータに対する ROC 曲線. (a)EC 染色画像データセット (b) 他施設データセット. どちらの場合も, 縦・横軸はそれぞれ感度および 1 から特異度引いた値を示す.

ることから, データドリヴンな特徴量抽出におては特徴抽出・特徴選択に未だ改善の余地があいて, 学習に用いた施設データに由来する共通ることを確認した.

のパターンも抽出していると考えられる. 特に,謝辞 本研究の一部は JSPS/MEXT 科研費 (No.

ResNet においては学習データをよく学習しているため, 学習データを収集した施設における観測パターンのみに最適化された学習モデルと26108006, 17H00867), 堀科学芸術振興財団そしなっている. 一般的には CNN よりも高い分類

利益相反 なして AMED（No. 18hk0102034h0103, 19hs01100

06h0003, 19lk1010036h0001) の支援を受けた。

精度を達成することで知られる ResNet ではあるが, これらの実験結果は ResNet の汎化性能の文献

低さを明らかにした.

[1] Lecun Y, et al.: Gradient-based learning
applied to document recognition, Proc. ofIEEE, 86: 2278-2324, 1998.

深層学習手法で抽出される特徴量が施設由来の共通の特徴量を持っていると仮定するとき,
この共通の特徴量を除去し, 2 つのカテゴリの[2] Krizhevsky A, et al.: ImageNet Classification with Deep Convolutional Neural Networks, Proc. of NIPS, 1: 1097-1105, 2012.

差のみをよく表す特徴量を選択することで汎化性能の向上が期待できる.

[3] Jia Y, et al.: Caﬀe: Convolutionalarchiteture for fast feature embedding,arXiv:1408.5093, 2014.

6. まとめ本稿では超拡大内視鏡画像の腫瘍・非腫瘍の[4] Szegedy C, et al.: Going Deeper With Convolutions, Proc. CVPR, 2015.

2 分類に対して, 深層学習における学習データの規模と分類精度の関係を調査した. さらにテ
クスチャ特徴量抽出と SVM による分類との比[5] Simonyan K, Zisserman A: Very Deep Convolutional Networks for Large-Scale Image
Recognition, Proc. International Conference
on Learning Representations: 2015.

較を行い, 抽出した特徴量の汎化性能をも調査した. 約 2800 症例からなる約 4 万枚の学習デー[6] He K, et al.: Deep Residual Learning for
Image Recognition, Proc. CVPR: 770-778,
2016.

タにデータ拡張を併用することで, 従来のハンドクラフト特徴量と同程度の分類精度となる特徴量抽出が深層学習にて行えることを確認した.

[7] Kudo S-E, et al.:

一方で, 他施設データに対する汎化性能に関し

202

The Diagnosis ofColorectal Tumors with Endocytoscopy(Japanese), Gastroenterological endoscopy,
55(4): 1510-1517, 2013.

lection by Optimal Manifold Search for
Neoplastic Image Recognition, Proc. ECCV
workshps, 4: 534-549, 2018[8] Kominami Y, et al.: Computer-aided diagnosis of colorectal polyp histology byusing a real-time image recognition system and narrow-band imaging magnifiying
colonoscopy, Gastrointestinal Endoscopy,
83: 643-649, 2016.

[19] Vapnik VN: Statistical Learning Theory, Wiley, 1998.

[9] Tamaki T, et al.: Computer-aided colorectal
tumor classification in NBI endoscopy using local features, Mediacal Image Analysis,
17(1): 78–100, 2013.

[21] Kobayashi T and Otsu N: Image Feature Extraction Using Gradient Local AutoCorrelations, Proc. ECCV: 346–358, 2008.

[10] Wimmer G, et al.: Directional wavelet
based features for colonic polyp classification, Medical Image Analysis, 31: 16-36,
2016.

[22] Nosato H, et al.: Histopathological Diagnostic Support Technology using Higher-order
Local Autocorrelation Features (Japanese),
IPSJ SIG Technical Report, 2010-MPS81(32): 161-164, 2009.

[11] Tamaki T, et al.: Computer-Aided Colorectal Tumor Classification in NBI Endoscopyusing CNN Features, Proc. Korea-Japan
joint workshop on Frontiers of Computer Vision, 2016.

[23] Haralick, RM, et al.: Textural Features for
Image Classification, IEEE Transactions on
Systems, Man, and Cybernetics, SMC-3(6):610-621, 1973.

[12] Mori Y, et al.: Novel computer-aided diagnostic system for colorectal lesions by using
endocytoscopy, Gastrointestinal Endoscopy,
81(3): 621-629, 2015.

[24] Ioﬀe S and Szegedy C: Batch Normalization: Accelerating Deep Network Training
by Reducing Internal Covariate Shift, Proc.
International Conference on Machine Learning, 37: 448–456, 2015.

[13] Mori Y, et al.: Impact of an automated system for endocytoscopic diagnosis of small
colorectal lesions: an international webbased study, Endoscopy, 48(12): 1110–
1118, 2016.

[25] Srivastava N, et al.: Dropout: A Simple Way
to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research,
15: 1929-1958,2014.

[20] Platt JC: Probabilistic Outputs for Support
Vector Machines and Comparisons to Regularized Likelihood Methods, Advances inlarge margin classifier: 61-74, 1999.

[26] Maas AL, et al.: Rectifier Nonlinearities
Improve Neural Network Acoustic Models,Proc. International Conference on Machine
Learning, 2013.

[14] Mori Y, et al.: Real-Time Use of Artificial
Intelligence in Identification of Diminutive
Polyps During Colonoscopy: A Prospective
Study, Annals of Internal Medicine, 169(6):357-366, 2018.

[27] Kingma DP and Ba J: Adam: A Method
for Stochastic Optimization, Proc. International Conference on Learning Representations, 2015.

[15] Itoh H, et al.: Classification of neoplasia andnon-neoplasia for colon endocytoscopic images by convolutional neural network, IEICE
Technical Report, 117(220): 17-21, 2017.

[28] He K, et al.: Delving Deep into Rectifiers:
Surpassing Human-Level Performance on
ImageNet Classification, Proc. ICCV: 1026–
1034, 2015.

[16] Itoh H, et al.: Cascade classification of endocytoscopic images of colorectal lesions
for automated pathological diagnosis, Proc.
SPIE Medical Imaging, 10575, 2018.

[29] Chollet F, et al.: Keras, https://keras.
io, 2105.

[17] Itoh H, et al.: Feature-selection method
based on Grassmann distance for the classification of neoplastic polyps on endocytoscopic images, IEICE Technical Report,
117(518): 51-56, 2018.

[30] Chang C-C and Lin C-J: LIBSVM: A libraryfor support vector machines, ACM Transactions on Intelligent Systems and Technology,
2(3): 27:1–27:27, 2011.

[18] Itoh H, et al.: Discriminative Feature Se-

203

Experimental Evaluation of Relation between Dataset Size
and Classification Accuracy in Deep Learning-Feature Extraction from Endocytoscopic Colorectal
Images for Neoplasia ClassificationHayato Itoh∗1 , Masashi Misawa∗2 , Yuichi Mori∗2 , Masahiro Oda∗1 ,Shin-Ei Kudo∗2 , Kensaku Mori∗1,3,4∗ 1 Graduate School of Informatics, Nagoya University∗ 2 Digestive Disease Center, Showa University Northern Yokohama Hospital∗ 3 Information Technology Center, Nagoya University∗ 4 Research Center for Medical Bigdata, National Institute of Informatics

A new modality, endocytoscope, can establish real-time pathological diagnosis of colorectal polyps. However,high-level knowledge and suﬃcient experiences are required of endoscopists for accurate endocytoscopic diagnosis.
For the achievement of the real-time cost-eﬀective endocytoscopic diagnosis, computer-aided diagnosis (CAD)system, which helps and educates trainee and non-expert endoscopists, has potential demands. Accurate imagepattern classifier has a core role in the CAD system. In the machine-learning approach for the construction ofhigh-performance classifier, designing of large-scale training dataset has an essential role. In especially, this data
design is critical role in deep learning, since the deep learning is a data-driven representation learning for feature
extraction and classification of it. We explore the relation among the number of cases, the number of images, andclassification accuracy in deep learning approach for recognition of colorectal neoplastic polyps.
Keywords: Colonoscopy, endocytoscope, pathological pattern classificatoin, deep learning204

OP1-25

CNN を用いた人工股関節全置換術術後 CT 画像からの自動インプラント姿勢推定
阪本 充輝*1

槇野 大樹*1 大竹 義人*1 日朝 祐太*1

高尾 正樹*2 菅野 伸彦*2 佐藤 嘉伸*1
要旨
人工股関節全置換術において，カップ位置・角度といった置換されたインプラント姿勢の計測は術後評価において重要な役割を果たす．従来，術後 CT 画像からの計測が行われているが，金属アーチファクトによる画像の乱れが原因となり自動計測は容易ではなく，半自動での計測が行われてきた．しかし，我々が目的としている大規模データセットでの人工股関節全置換術術後 CT 画像の解析には，高速かつ自動でインプラント姿勢を推定する手法が求められる．そこで本研究では，CNN（Convolutional Neural Network）を用いて術後 CT 画像から置換されたカップの角度を自動で推定する手法を提案する．
キーワード： 姿勢推定，Convolutional Neural Network，術後 CT 画像

1．はじめに手法を提案している．本研究では CNN により，人工股関節全置換術（THA）において，不適

設 置 さ れ た カ ッ プ の 角 度 （ anteversion ，

切なカップ位置・角度はインピンジメントや脱inclination）（図１）を手動で推定する手法を提臼などの術後合併症を引き起こす要因となる案する．

ため[1]，置換されたインプラント姿勢の計測は術後評価において重要な役割を果たす．従来，術後 CT 画像からの解析が行われているが，金属アーチファクトによる画像の乱れが原因となり自動解析は容易ではなく，半自動での解析が行われてきた．しかし，大規模データセット

図 1 カップ角度の定義での解析には高速かつ自動でインプラント姿
勢を推定する手法が求められる．Tompson ら[2]2．データセットは CNN（Convolutional Neural Network）を用い

本研究では，大阪大学医学部付属病院で撮影て関節位置を推定し，を人体の姿勢を推定するされた 34 症例の THA 術後 CT 画像を用いる．

――――――――――――――――――

CT 画像の Field of view は 360×360 [mm2]，マ*1 奈良先端科学技術大学院大学先端科

トリックスサイズは 512×512，スライス間隔は学技術研究科情報科学領域

1.0 [mm]である．
また，Murray ら[3]の定義に従い， それら 34〔〒630-0192 奈良県生駒市高山町 8916-5〕

症例のデータにおいて手動で計測したカップ

e-mail: sakamoto.mitsuki.si2@is.naist.jpの角度データを使用した．手動計測では，*2 大阪大学大学院 医学研究科

coronal 平面においてカップ径が最大となるス

投稿受付：2019 年 5 月 22 日

ライスで inclination を測定し，同様の方法で205

axial 平面から anteversion を測定した．
3．手法
図 2 に本手法のフローを示す．まず，THA 術
後 CT 画像を入力として U-Net[4]によりカップの辺縁を示すヒートマップを推定する．その後，ヒートマップの最大値の 80%を閾値として二値化した結果を用いて主成分分析を行い，その第３主成分をカップの法線ベクトルとする こ

図 3 手動計測と提案手法でのカップ角度の差．

とで，カップの角度を推定する．

赤線：手動，青線：提案手法による法線ベクトル．

5．考察

図 2

提案手法のフロー4．実験
4.1 実験概要
CT 画像から閾値(2000HU)により抽出したイ
ンプラントと CAD モデルを位置合わせすることで学習データを作成した．

図 4 U-Net でのヒートマップ推定例.

U-Net の学習には閾値により抽出したマトリ

左：DRR 画像，右：閾値処理後のヒートマップ

ックスサイズ 128×128，スライス間隔 1.0 [mm]の画像を 34 症例使用した．画像データセット

anteversion, inclination についてそれぞれ手動は 2-fold に分割し，交差検証により U-Net の学と手法によるカップ角度の計測 誤差が中央値習を行った．

を示した症例と最も大きかった症例での U-Net
からのヒートマップの推定結果を図 4 に示す．

4.2 実験結果

anteversion について最も誤差が大きい場合はカ

手動計測と 提案手法により計測した カップ

ップの辺縁を正常に認識できないケースであ角度の差を示した box plot と誤差が最も大きかった． U-Net からのヒートマップの予測値が低った症例，最も小さかった症例，中央値を示し

く閾値処理の際に多くの 点が失われたことがた症例を anteversion と inclination それぞれにつ原因と考えられる．inclination ではボルトを誤いて図 3 に示す．

認識したケースで最も誤差が大きかった．カップ辺縁から離れた位置にヒートマップが推定

表 1 手動と提案法でのカップ角度の計測の差
anteversion[deg] Inclination[deg](median)(median)
1.57
1.76

されることで誤った角度が推定された．
6.

まとめ

本研究では U-Net によりヒートマップを推定し，主成分分析を用いることでカップの姿勢を推定し，手動計測との結果と比較を行った．ヒートマップの推定が正常に行われないケースが見られたためセグメンテーションと姿勢推206

定を同時に行うマルチタスクによる手法や 3D
U-Net[5]による推定を行う予定である．
また，今後は提案法を大規模データセットへ適応し，解析を進めていく予定である．
謝辞
本研究の一部は ， KAKENHI 19H01176 および KAKENHI 26108004 の支援による．
利益相反の有無
なし
文
［1］

献

Yamada K, Endo H, Tetsunaga T, et al.:Accuracy of cup positioning with thecomputed

tomography-based

two-dimensional to three-dimensional matchednavigation

system:aprospective,

randomized controlled study. J Arthroplasty
33(1):136–143, 2018［2］

Tompson J, Jain A, LeCun Y, et al. : Joint
training of a convolutional network and agraphical model for human pose estimation.
In

Advancesinneuralinformation

processing systems (pp. 1799-1807), 2014.
［3］

Murray

D.

W.

The

definition

andmeasurement of acetabular orientation. The
Journal of bone and joint surgery. British
volume, 75(2), 228-232. 1993
［4］

Ronneberger O, Fischer P, Brox T, U-net:
Convolutional networks for biomedical
image segmentation. MICCAI 234-241,2015 Springer, Cham

［5］Çiçek Ö, Abdulkadir A, Lienkamp S. S.,
Brox, T., ＆ Ronneberger, O.et al.: 3D UNet:learning

segmentation

from

dense

volumetricsparseannotation.

MICCAI 424-432, 2016 Springer, Cham.
2016

207

Automatic implant orientation estimation from CT images after total hip
arthroplasty using CNN
Mitsuki SAKAMOTO*1, Hiroki MAKINO*1, Yoshito OTAKE*1, Yuta HIASA*1
Masaki TAKAO*2, Nobuhiko SUGANO*2, Yoshinobu SATO*1*1 Graduate School of Information Science, Nara Institute of Science and Technology*2 Graduate School of Medicine, Osaka University

In total hip arthroplasty, the implant orientation properties, such as cup position and angle, play an important role in theevaluation of surgical outcome. Conventionally, estimation has been performed based on postoperative CT images. As
metal artifacts caused by the implant degrade the image quality, the automatic estimation is not easy, thus a semiautomatic estimation is usually performed. However, for analysis on a large-scale data set, a fast and automatedmethod to analyze the implant orientation is required. In this study, we propose an automated method to estimate
implant orientation such as cup angle from postoperative CT image using Convolutional Neural Network (CNN).

Key words: Convolutional Neural Network, Postoperative CT image, orientation estimation208

OP2-01

MR 圧縮センシングにおける ADMM-Net を利用した深層学習再構成の検討
植松 駿*1，伊藤 聡志*1
要旨
本研究では, ADMM-Net を利用した MR 圧縮センシングの深層学習再構成について検討を行った. 臨床で多く使用されるカルテシアン座標系を使用し，必要なステージ数，および学習用 MR 画像とテスト用モデルが同一種の場合と別種の場合の画質評価を行った．結果，15 ステージで良好な結果が得られ，また，同種の画像を学習させるとより高画質の再構成像が得られた．反復再構成との比較では, ADMM-Net において極めて短い再構成時間で高い PSNR と SSIM の値を得ることができた. ADMM-Net は圧縮センシングの再構成手法として優れた性能を有していることが示された.
キーワード：圧縮センシング，交互方向乗数法(ADMM), 深層学習

1．はじめに理論において, 信号にスパース性を与えること

核磁気共鳴現象を利用した生体映像法

もまた, 再構成像上のアーティファクトを除去(Magnetic Resonance Imaging : MRI)による診断画するために重要な要素である[3].

像を医療現場で使用する場合は, 画質は高い方

CS-MRI の最小化問題を解く方法として, 収束が良いが, そのためには一般的に長時間の撮像保証を伴う変数分割アルゴリズムである交互方が求められるトレードオフの関係がある. 圧縮

向乗数法(Alternating Direction Method of Multipli-

センシング(Compressed Sensing : CS)[1]を MRI に

ers : ADMM)が提案された[4][5]. L1 ノルム最小化

応用した圧縮センシング MRI(CS-MRI)[2]は, サ問題の解法として一般的に知られる反復的ソフ

ンプリング定理を満たさない少数の信号から良ト閾値法に比べて良質な画像を再生できると報質な MR 画像を再構成できる方法であり, 信号

告されている．しかしながら, 再構成の性能と時収集量を減らすことができるため効果的に撮像間に影響を与える最適パラメータを決めるのは

時間の短縮が可能となる.

必ずしも容易ではない.

一般的に, CS-MRI は MR 信号の推定誤差に L2

一般的に CS-MRI においてスパース化関数やノルムを与え, その条件のもとで L1 ノルム最小正則化の方法は経験的に選択されることが多い化問題を解く[2][3]. CS-MRI において, データのが, MR 画像再構成の精度および再構成時間を考

正則化を事前に行うことは画質を改善するため慮すると, 必ずしも最適な選択とは言えない．最の重要な手法であり, さらに圧縮センシングの適なスパース化関数や正則化の方法も撮像対象――――――――――――――――――――に依存することも想定される．

*1 宇都宮大学 大学院地域創生科学研究科
工農総合科学専攻
情報電気電子システム工学プログラム[〒321-8585 栃木県宇都宮市陽東 7-1-2]
e-mail: mc196809@cc.utsunomiya-u.ac.jp

近年, CS-MRI の再構成に深層学習を利用して行う研究が注目されている．深層学習を用いた
MR 画像の再構成は, 従来の反復的解法よりも高209

速, かつ高画質である報告が行われており性を促す関数をΨとするとき, 再構成像は式(1)[6][7][8], 圧縮センシングの画像再構成への応用の最適化問題を解くことで推定される. ここで,に期待が高まっている.

𝜆は正則化パラメータである.

間引きを行った MR 信号から良質な画像を再交互方向乗数法(ADMM)は, 二つの関数を含む構成するための, 高速かつ高い精度を有する方最適化問題に対して, 新たな変数と制約条件を法に, ADMM の反復手順を参考にした深層学習
再構成である ADMM-Net が提案されている[6].

1argmin { ‖𝑈𝐹𝑥 − 𝑦‖22 + 𝜆‖Ψ𝑥‖1 }2
𝑥

ADMM-Net は間引いた MR 信号空間を入力とし,加え, 拡張ラグランジュ法を利用する方法であ再構成された MR 画像を出力とする CNN で構成

る[9]. 式(1)において, ADMM では変数𝑧 = {𝑧1 ,されている．ADMM-Net は，反復再構成をモデ

𝑧2 , ⋯ , 𝑧𝐿 }と制約条件を加えた以下の最適化問

ルとしているが，各反復ステップにおける重み

題を求める.

(1)やスパース化関数の係数を学習により調整でき𝐿1
argmin { ‖𝑈𝐹𝑥 − 𝑦‖22 + ∑ 𝜆𝑙 ‖𝑧𝑙 ‖1 }
2
𝑥,𝑧
𝑙=1

る柔軟な構造となっている．そのため，反復再構
成に比べ て高精度の再構成が期待 される．

𝑠. 𝑡.

ADMM-Net においてラジアルスキャンの CS-(2)

𝑧𝑙 = Ψ𝑙 𝑥, ∀𝑙 ∈ {1,2, ⋯ , 𝐿}

式(2)に拡張ラグランジュ法を適用する(式(3)).

MRI について検討が行われているが，臨床で最も多く使用されるカルテシアンスキャンについ𝐿
1
𝐿𝑎𝑢𝑔 (𝑥, 𝑧, ℎ) = ‖𝑈𝐹𝑥 − 𝑦‖22 + ∑ { 𝜆𝑙 ‖𝑧𝑙 ‖1
2
𝑙=1
(3)
𝜇𝑙
+(ℎ𝑙 )𝑇 (Ψ𝑙 𝑥 − 𝑧𝑙 ) + ‖Ψ𝑙 𝑥 − 𝑧𝑙 ‖22 }
2ての検討は行われていない．そこで，本研究では，
カルテシアンスキャンによる 2 次元撮像の CSMRI に ADMM-Net を応用し，ステージ数や再構

ここで, 𝜇𝑙 を罰金項の係数とすると, 新たに導入

成像の品質ついて検討を行った．また，MRI のプ

した変数𝑧と元の変数𝑥 , およびラグランジュ未

ロトン密度，
T2 の特徴量に対し学習画像と同種の定乗数ℎを以下のように更新する.

場合と別種の場合とでの再構成性能を比較し,

𝑥 (𝑛) = argmin 𝐿𝑎𝑢𝑔 (𝑥 (𝑛−1) , 𝑧 (𝑛−1) , ℎ(𝑛−1) )学習画像とテスト画像の関係について検討を行

𝑥𝑧 (𝑛) = argmin 𝐿𝑎𝑢𝑔 (𝑥 (𝑛) , 𝑧 (𝑛−1) , ℎ(𝑛−1) )

った．

{ ℎ

(𝑛)

=ℎ

𝑧
(𝑛−1)

(4)

(𝑛)

+ 𝜇𝑙 (Ψ𝑙 𝑥 (𝑛) − 𝑧𝑙 )2．ADMM-Net

ここで, 𝑛は𝑛回目の反復を示す. このように変2.1. 交互方向乗数法 (ADMM)

数を分割して最適化を行う方法が ADMM である.

圧縮センシングとは, 信号がスパース性を満たすとき, サンプリング定理を満たさない少数

2.2. ADMM-Net の構造の信号から元の信号を再構成する技術である.

本研究で使用する ADMM-Net[6]は上記に示し

この手法を MRI に応用することにより, MR 信号

た ADMM から構成される. ADMM の式(4)から空間の信号の格納を間引くことが可能となり,式(5)が導かれる. ここで, 𝜂𝑙 は更新係数, 𝛽𝑙 =撮像時間の短縮化が図れる. 𝑥を推定した再構成ℎ𝑙 ⁄𝜇𝑙 としており, 𝑍 (𝑛) ではソフト閾値関数𝑆𝛼 (∙)

像, 𝑦を MR 信号空間の間引き信号とする. 間引が用いられる.

きを行う関数を𝑈 , フーリエ変換を𝐹 , スパース

210

𝑋 (𝑛) : 𝑥 (𝑛) = 𝐹 𝑇 (𝑈 𝑇 𝑈 + ∑

−1

𝐿
𝑙=1

𝐿

{𝑈 𝑇 𝑦 + ∑

𝑙=1
(𝑛)

𝑍 (𝑛) : 𝑧𝑙{𝑀(𝑛)𝜌𝑙 𝐹𝛹𝑙𝑇 𝛹𝑙 𝐹 𝑇 )

(𝑛−1)

− 𝛽𝑙

(𝑛−1)

(𝑛−1)

)

𝜌𝑙 𝐹𝛹𝑙𝑇 (𝑧𝑙= 𝑆𝜆𝑙 ⁄𝜌𝑙 (𝛹𝑙 𝑥 (𝑛) + 𝛽𝑙)} (5)

(𝑛)
(𝑛−1)
(𝑛)
: 𝛽𝑙 = 𝛽𝑙+ 𝜂𝑙 (𝛹𝑙 𝑥 (𝑛) − 𝑧𝑙 )ADMM-Net の構造を図 1 に示す. この図は,
ADMM による式(5)の異なる処理に対応する層と, 処理間に対応する矢印で表される. また,
図 1 ADMM-Net の構造

ADMM の𝑛回目の反復は𝑛番目のステージに対

3.2. 学習用データセット

応し, 𝑛番目のステージには, 再構成層(𝑋 (𝑛) ) ,) , 乗数更新

本研究では, IXI Dataset の MR 画像をフーリエ層(𝑀(𝑛) )からなる 4 種類の層により構成される.

変換することで数値的に合成した MR 信号空間

図 1 の ADMM-Net の全体の流れは, 間引いたから, カルテシアン座標系を用いて間引き処理

MR 信号空間を入力すると, 上記の 4 種類の層を行っている. 図 2 の信号収集パターンは, 中心からなるステージを𝑁回繰り返し, 最終的に再部に近い領域を重点的に収集した位相エンコー

構成層(𝑋 (𝑛+1) )により再構成された MR 画像を

ド方向ランダム間引き法を適用している. なお,

出力する. 本研究では, 畳込み処理で用いられる収集する信号量は 30%である. 学習用画像に対フィルタには3 × 3の離散コサイン変換を基本として, 図 2 の信号収集パターンを用いた間引きしたもの, パラメータの更新手法は Adam[10]とMR 信号空間と, 全信号による MR 画像との学習

して検証を行う.

データ対を作成し, 学習を行った.

畳込み層(𝐶(𝑛)) , 非線形変換層(𝑍(𝑛)3．画像再構成実験
3.1. 再構成実験に使用した MR 画像
本研究では, 一般に公開と使用が許可されている IXI Dataset [11]に含まれる256 × 256画素の頭部 MR 画像を再構成実験に使用した. IXI Da-

図 2 信号収集パターン

taset には, Information eXtraction from Images プロ

3.3. 画像再構成

ジェクトの一環として, ロンドンの 3 つの医療機関から集められた健全な被験者 600 人分の MR

本研究で使用した計算機環境を表 1 に示す.

画像が含まれている. 学習に使用する画像は,テスト用 MR 画像に対し, ADMM-Net と従来法IXI Dataset のプロトン密度強調像(以下, PDWI),として ADMM を利用した反復的解法である C-

T2 強調像(以下, T2 WI)からそれぞれ 200 枚を選別

SALSA-B[12]を使用し，再構成性能の比較を行っし, テスト画像は学習用画像と重複の無い 25 枚た. ここで, C-SALSA-B のスパース化関数にはウをそれぞれ選別した.

ェーブレット変換(Daubechies, N=3)を適用している. 再構成実験において, 学習するモデルによ211

る再構成性能の依存度を調べるために, 以下の 2通りの学習モデルを使用した.
1.

200 枚の PDWI を学習(モデル P)

2.

200 枚のT2 WI を学習(モデルT2 )テスト用 MR 画像である PDWI, T2 WI それぞれにおいて, 学習モデルを変更した場合におけるADMM-Net と, C-SALSA-B における性能評価を
図 3 ステージ数ごとの PSNR と SSIM行った. ここで, 学習には CPU と GPU, テストには CPU のみを用いた. 学習時間は両モデルと表 2 PDWI 再構成像の評価値

も約 16 日であった. また, 評価方法にはピーク
信号対雑音比(Peak Signal-to-Noise Ratio : PNSR),
および両画像間で対応する局所領域内での輝度値やコントラスト, 構造の相似性を評価する
SSIM(Structural SIMilarity index)[13]を使用した.

再構成法

PSNR[dB]

SSIM

DL_P→P

35.16

0.9757

DL_T2 →P

35.12

0.9756

C-SALSA-B

30.93

0.9507

表 1 計算機環境れた PDWI 再構成像をそれぞれ DL_P→P, DL_T2

CPUIntel Core i7-8700 (3.2GHz)→P と称する. 表 2 より, DL_P→P は DL_T2 →P

GPU

NVIDIA GeForce GTX1070Tiに比べて, PSNR, SSIM の面で高い値を記録してRAM

32GB (DDR4-2400)

いた. また, ADMM-Net は C-SALSA-B に比べて,MATLAB R2017b

どちらの学習モデルの場合でも評価値が高い結CUDA Toolkit 9.0 / cuDNN 7.0.5

果となった. 図 4 に PDWI 再構成像の例を示す.

Software

なお, 拡大画像はコントラストをわかりやすく
ADMM-Net におけるステージ数による PSNR

するための調整を行っている. 図 4 における再と SSIM を比較した. それぞれの平均値を図 3 に構成像の拡大画像より, C-SALSA-B による再構示す. なお, モデル P で使用した 200 枚の PDWI

成像にはアーティファクトが残留していた .

から選別した 25 枚で学習を行っており, テスト

ADMM-Net による再構成では平滑化の程度が大

画像は学習画像と重複の無い 25 枚としている.

きい再構成像となったが, C-SALSA-B よりも目

図 3 より, ADMM-Net はステージが増加するほど標画像の特徴を有していることが確認できる.

良好な結果を示した. 本研究では，十分なステー

ADMM-Net による再構成像 2 種の比較において,

ジ数として 15 を選び, 学習画像とテスト画像の同種の画像を学習した DL_P→P が, 赤矢印で示関係について検討を行った.

す画像中央の黒い部分のコントラストの表現がテスト画像を PDWI として, 学習モデルを変他の方法に比べて良好である.

更した場合の ADMM-Net, および C-SALSA-B に

次に, テスト画像をT2 WI として, 学習モデル

より得られた再構成像を定量的, および定性的を 変 更 し た 場 合 の ADMM-Net, お よ び C-に比較した. このときの PSNR と SSIM の平均値

SALSA-B により得られた再構成像を比較した.

を表 2 に示す. ここで, ADMM-Net における画像

このときの PSNR と SSIM の平均値を表 3 に示

再構成において, モデル P, モデルT2 により得らす. ここで, ADMM-Net における画像再構成にお212

いて, モデル P, モデルT2 により得られたT2 WI 再

表 3 T2 WI 再構成像の評価値

構成像をそれぞれ DL_P→T2 , DL_T2 →T2 と称す

再構成法

PSNR[dB]

SSIM

る. 表 3 より, DL_T2 →T2 は DL_P→T2 に比べて,DL_P→T2

33.40

0.9751

PSNR, SSIM の面で高い値を記録していた. また,

DL_T2 →T2

33.64

0.9759ADMM-Net は C-SALSA-B に比べて, いずれの学

C-SALSA-B

30.06

0.9566

習モデルの場合においても高い PSNR と SSIM が得られた. 図 5 にT2 WI 再構成像の例を示す. なMR 画像において, モデル P とモデルT2 で用いらお, 拡大画像はコントラストをわかりやすくす

れる学習画像は，それぞれランダムに 200 枚選

るための調整を行っている. 図 5 における再構んでいる. しかし, IXI Dataset に含まれる PDWI

成像の拡大画像より, テスト画像を PDWI としとT2 WI には同じ被験者での撮像面のみが異なる

た場合と同様に C-SALSA-B から得られる再構

MR 画像があり, この撮像面が一致している画像

成像にはアーティファクトが残留した. ADMM-

をそれぞれ 200 枚選別して学習を行い, 本研究

Net による同種と別種の再構成像を比較すると,で検証したランダム選択の場合との再構成性能

同種の画像を学習した DL_T2 →T2 において, 赤と比較, 検討していく必要があると考える.
本研究で, 反復的解法として使用した C-

枠部で示す画像中央左上の黒い線が明瞭に描出

SALSA-B は 100 回の反復を行っている. ADMM-

された.
再構成に要する時間を比較すると, ADMM-Net

Net は 15 ステージとしており, これは反復的解の再構成時間の平均は約 0.74 秒, C-SALSA-B で法における 15 回の反復に相当する．そのため,は約 19.92 秒であり, ADMM-Net の再構成に要す

ADMM-Net の方が再構成時間を短縮できたと考る時間は C-SALSA-B の約 1/25 倍と極めて短時

える. ADMM-Net の方が反復的解法よりも高い間で行うことができた. 以上より, ADMM-Net は

評価結果が得られた点に関して，反復的解法は

C-SALSA-B に比べて短い再構成時間で, かつ高

反復ステップで使用する重み係数の値を経験的い精度の画像を再生できる可能性が示された.

に与え, かつ固定して使用している. それに対し,

また, ADMM-Net において, テスト画像と同種のADMM-Net で用いられる重み係数は, 学習によ画像を学習させることがより効果的であることってステージごとに誤差を軽減する方向に更新が示唆された.

される. これより, 少ないステージ数でもステー
ジごとに適した重み係数を使用しているので高い精度で画像再構成を行うことができると考え

4．考察

る.

ADMM-Net において, テスト画像と同種の画像を学習させることがより効果的であったが,5．まとめそれぞれ別種の場合における再構成像の評価値を比較してみると, テスト画像が PDWI の場合

本研究では, ADMM-Net を利用した MR 画像

では大きな差はなく, T2 WI とした場合の方が差の深層学習再構成について検討を行った. 従来
法である反復的解法と比較した結果, 高い PSNR

が大きかった. このことから, 学習画像とテスト
画像の関係において, T2 WI の方が効果的であると SSIM を示したことから, 医用画像で重要となと考える. また, 本研究で使用した IXI Dataset のるコントラストや構造的な特徴の復元性能が高213

[8] J.Zhang, B.Ghanem, “ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image
Compressive Sensing,” arXiv:1706.07929, 2018

く, また学習には時間を要するものの再構成処
理は高速であることが示された. また, テスト画

[9] 大関真之, 「“ 今日からできるスパースモデリング」,” http://www-adsys.sys.i.kyoto-u.ac.jp/mohzeki/Presentation/lecturenote20150902.pdf

像と同種の画像を学習させることが有効である
ことが示唆された. 今後は, 新たな学習モデルの組み合わせに関する検証や ADMM-Net のステ[10] D.P.Kingma, J.Ba, “Adam: A Method for Stochastic Optimization,” International Conference
on Learning Representations, San Diego, 2015

ージ数をさらに増加させた場合における検証を通じて, 再構成性能の改善を図る予定である.

[11] IXI Dataset," https://brain-development.org/ixidataset/[12] Y.Liu, J.F.Cai, Z.Zhan et al., “Balanced Sparse
Model for Tight Frames in Compressed Sensing
Magnetic Resonance Imaging,” PLOS ONE,vol.10, no.4, pp.1-19, 2015

謝 辞本研究の一部は, 科学研究費助成金(16K06379,
19K04423)により実施された. また, 本研究を遂[13] Z.Wang, A.C.Bovik, H.R.Sheikh, E.P.Simoncelli,“Image quality assessment: from error visibility to
structural similarity,” IEEE Transactions on Image Processing, vol.13, no.4, pp.600-612, 2004

行する際に利用した IXI Dataset を提供する
Information eXtraction from Images プロジェクトに感謝の意を表します.

利益相反の有無なし

文 献[1] D.L.Donoho, “Compressed sensing,” IEEE
Transactions on Information Theory, vol.52, no.4,
pp.1289-1306, 2006
[2] M.Lustig, D.L.Donoho, J.M.Santos, J.M.Pauly,“Compressed Sensing MRI,” IEEE Signal Processing Magazine, vol.25, no.2, pp.72-82, 2008[3] M.Lustig, D.Donoho, J.M.Pauly, “Sparse MRI:The application of compressed sensing for rapid
MR imaging,” Magnetic Resonance in Medicine,vol.58, no.6, pp.1182-1195, 2007
[4] S.Boyd, N.Parikh, E.Chu, B.Peleato, J.Eckstein,“Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers,” Foundation and Trends in Machine
Learning, vol.3, no.1, pp.1-122, 2010[5] Y.Wang, W.Yin, J.Zeng, “Global Convergence of
ADMM in Nonconvex Nonsmooth Optimization,”
arXive:1511.06324, 2015[6] Y.Yang, J.Sun, H.Li, Z.Xu, “Deep Admm-Net for
Compressive Sensing MRI,” Advances in Neural
Information Processing Systems, pp.10-18, 2016.
[7] Y.Yang, J.Sun, H.Li, Z.Xu, “ADMM-Net: A Deep
Learning Approach for Compressive Sensing
MRI,” arXiv:1705.06869, 2017

214

図4

PDWI 再構成像比較 : (a)目標画像, (b) DL_P→P, (c) DL_T2 →P, (d) C-SALSA-B,(e)～(h) それぞれ(a)~(d)の拡大画像

図 5 T2 WI 再構成像比較 :(a)目標画像, (b) DL_P→T2 , (c) DL_T2 →T2 , (d) C-SALSA-B,(e)～(h) それぞれ(a)~(d)の拡大画像

215

Study on Deep Learning Reconstruction using ADMM-Net
in MR Compressed Sensing
Shun UEMATSU*1, Satoshi ITO*1*1 Graduate School of Regional Development and Creativity, Utsunomiya University

Study on MR image reconstruction using ADMM-Net as convolutional neural network(CNN) was executed. Learningof network was performed using MR PDWI (Proton Density Weighted Images) and T2WI(T2 Weighted Images) independently. Image reconstruction tests were performed for the two situations; one is that test image and training image
are the same type and the other is different. Furthermore, CNN based ADMM-Net was compared to iterative reconstruction based on ADMM in the sense of accuracy of reconstructed images and reconstruction time. Simulation studies
showed that learning is effective when the type of test image and learning is the same, and ADMM-Net provides higher
PSNR and SSIM images in a short time compared to conventional ADMM iterative reconstruction. These results indicate that deep learning reconstruction using ADMM-Net is superior to ADMM iterative reconstruction, and the accuracyof reconstruction depends on the coincidence of image type used in learning and testing.

Key words: Compressed Sensing, ADMM, Deep Learning216

OP2-02

Electron-Tracking Compton Camera を用いた異なるエネルギ
ー帯でのリストモード MLEM 画像の画質評価
稲垣

将史*1

尾川

浩一*1

谷森

達*2

要旨
Electron-tracking Compton camera (ETCC)は機械的なコリメータを使用せず，ガンマ線を観測することが可能であり，空間的に自由な位置にカメラを設置して計測し 3 次元画像を再構成することが可能である．このため，放射線治療装置と組み合わせて治療を行いながら，リアルタイムで治療部位などを観測可能である．
本研究では異なるエネルギーの光子を使用したときに，得られる再構成画像の画質を比較する．光子の発生および被検体内での光子輸送計算には Geant コードを用い，発生光子エネルギーは 300 keV，511 keV，4438 keV とし，実験系とほぼ同等のジオメトリでデータ収集を行うものとした．ファントムとしては定量性を評価できる数値ファントムを用い，リストモード ML-EM 法を適用し画像再構成を行った．この結果，
高エネルギーでの再構成結果の方が低エネルギーでの再構成結果に比べて高画質の結果となり，単純な放射能分布であれば低エネルギーでも再構成可能であることが確認できた．
キーワード：電子飛跡追跡型コンプトンカメラ，モンテカルロシミュレーション，画像再構成，リストモ
ード ML-EM 法

1．はじめに

2．方法
ETCC(図 1)では検出器 1 で得た電子の進行

ETCC では機械的なコリメータを使用せず，ガンマ線を観測することが可能であり，装置

方向とエネルギー，コンプトン散乱が発生し自体も小型であるため，空間的に自由な位置

た座標と検出器 2 で得た光子の検出座標とそにカメラを設置して 3 次元画像を再構成するのエネルギーを使用することで，検出器に入ことが可能である．このため，放射線治療装

射する光子の進行方向を算出する[1]．図 1 で置と組み合わせて治療を行いながら，リアル

は ETCC を 2 台設置したシステムのジオメト

タイムで治療部位などを観測することが可能

リを示す．本研究ではガンマ線のエネルギーである．一方で，どのようなエネルギー帯のとして 67Ga から発するガンマ線の 300keV，ガンマ線を利用し画像再構成を行えば所望のPET で用いる消滅ガンマ線の 511keV，陽子線画質を得ることができるかは詳しく分かって治療時にカーボンから発生するガンマ線のいない．本研究では異なるエネルギー帯のガ

4438keV を想定したシミュレーションを行い，ンマ線を使用したときに得られる画質を評価

結果を比較した．検出器 1 は 20×20×20 cm3，する．

3 気圧の CF4 ガス検出器であり，検出器 2 はピクセルサイズ 0.1×0.1 cm2，200×200 ピク
セルの NaI シンチレーション検出器である．
ファントムはボクセルサイズ 0.1×0.1×0.1――――――――――――――――――

cm3，128×128×128 ボクセルから構成され，*1 法政大学大学院 理工学研究科

原点を中心とした半径 1.5cm の球(水媒質)の〔〒184-8584 小金井市梶野町 3-7-2〕

中に(0.5, 0, 0)を中心とした半径 0.5cm の球がe-mail: masafumi.inagaki.9d@stu.hosei.ac.jp

存在するものを使用した．外側の球からは*2 京都大学大学院 理学研究科

300,000 個/ボクセル，内側の球から 1,500,000

217

個/ボクセルの光子を発生させた．検出器のエネルギー分解能は 10.2 % @300 keV，7.8%@511 keV，2.7 % @4438 keV とし，ガス検出器内で 10 keV 以上電離したときに電子を測定可能とした．
光子輸送シミュレーションには Geant コードを使用し，実験系とほぼ同様のジオメトリ
で測定を行った．画像再構成には以下の式(1)で表されるリストモード ML-EM アルゴリズ
ムを使用した[2][3]．

λ

k+1
j

λ jk

k

= N

∑c

ij

i=0

∑
i=1

図 2 半定量評価で使用する ROI 領域

cij

(1)

M

∑c λ
ij '

k
j'

3．結果
図 3 はリストモード ML-EM 法を用いて再

j '=1

#

ここで𝜆" は反復回数 k 回のピクセル j の画素構成した x-y 平面の再構成画像である．(a)は値，𝐶%" はピクセル j から放出された光子が検光子の発生比率を示した原画像であり，(b)出器 i で検出される確率であり，N は検出器

は 300 keV，(c)は 511 keV，(d)は 4438 keV の数，M はピクセル数である．

光子を使用したときの再構成画像である．ま

吸収補正は行なっていない．評価方法とした，図 4 は再構成画像の中央部分のラインプては再構成画像と原画像の中央のラインプロ

ロファイルを比較した図である．さらに，表ファイルでの比較と，半径 0.3cm の球領域

1 に ROI 内の値を示す．

(112 ボクセル)の ROI 内の値で評価を行った．
図 2 に比較する領域を示す．

(a)

(b)

(c)

(d)

図 3 再構成画像
図 1 データ収集ジオメトリ(a)原画像，(b)300 keV，(c)511 keV，(d)4438 keV

218

300

5．まとめ

Normalized Value

Original
300keV511keV4438keV

本研究では異なるエネルギーの光子を使用してシミュレーションを行い，画像再構成を行った．単純なファントムであれば低エネル

150

ギーの光子を使用しても再構成が可能であるが，高エネルギーの光子を使用した場合の方がより高精度な結果を得ることができることが確認できた．

0
32

64

96

Position [Pixel]

利益相反の有無

図 4 ラインプロファイル画像なし
表 1 B～F の各領域内の平均値を A 領域内の平均値で割った値
B/A C/A D/A E/A

F/A[1] Tanimori T, Hattori K, Kabuki S, et al.:

300 keV

4.6

3.8

3.1

3.3

3.0

Advanced Compton camera with the ability in

511 keV

4.5

3.8

3.1

3.2

3.5

electron tracking based on micro pixel gas

4438 keV

4.6

4.0

3.7

4.4

4.6

True

5.0

5.0

5.0

5.0

5.0

文

献

detector for medical imaging. IEEE Nucl Sci
Sympo Conf Rec, 3380-3874, 2006
[2] Reader A, Manavaki R, Zhao S, et al.:Accelerated list-mode EM algorithm. IEEE

4．考察

Trans Nucl Sci 49: 42-49, 2002.

図 3 より(b)では外側の球の形は確認するこ[3] Kim Y, Lee T, Lee W, et al.: Double-layeredとができるが，内側の球が少し崩れた結果に

CZT Compton imager. IEEE Trans Nucl Sci

なった．(c)，(d)では内側の球の形を確認する

64: 1769-1773, 2017

ことができた．また，図 4 のラインプロファ[4] Koide A, Kataoka J, Masuda T, et al.:イルでも 300 keV のときには原画像の値から

Precision imaging of 4.4MeV gamma rays

離れている値が多く，値が安定していないが，

using a 3-D position sensitive Compton

511 keV，4438 keV では比較的値が安定して

camera. Sci Rep 8: 2018

いた．表 1 の結果より ROI 値の比較をするとエネルギーを大きくすればするほど理論値に近付く結果となった．コンプトン散乱後の電子を検出する際にエネルギーが低い光子を使用したときの方が 10keV 以上電離するまでに多重散乱が生じるため，光子の進行方向に推定に誤りが生じてしまうことが再構成画像の劣化原因だと考えられる．

219

Quality of list-mode ML-EM images of different energies acquired with
an electron-tracking Compton camera(ETCC)
Masafumi INAGAKI*1, Koichi OGAWA*1, Toru TANIMORI*2*1 Graduate School of Engineering, Hosei University*2 Graduate School of Science, Kyoto University
An electron-tracking Compton camera(ETCC) is a new modality to acquire gamma rays with two detectors: one isused for detecting the direction of a recoiled electron that is generated at the Compton scattering, and the other is used
for detecting the scattered photon. Thus, it is not necessary to use a mechanical collimator that is commonly used in aconventional gamma camera. In addition, we can locate ETCCs at an arbitral position, and so we can use thismodality at a clinical situation in a heavy ion radiation therapy. In this study, we evaluated the quality of images
acquired with two ETCCs as regard with gamma rays of different energies (300, 511, and 4438 keV). Image
reconstruction was performed with a list-mode ML-EM algorithm and the Geant code was used for the transportationof photons and electrons in a simple numerical phantom and ETCCs. We assumed the geometry in reference to theactual ETCC detector developed by Tanimori et al. Simulation results showed that the quality of images was
improved when we used high energy gamma rays.
Key words: electron-tracking Compton camera, Monte Carlo simulation, image reconstruction, list-mode ML-EM

220

OP2-03

コンプトン検出器を組み合わせた部分リング PET ジオメトリの提案
田島

英朗*1

山谷 泰賀*1

要旨
リングの一部を開放化した部分リング PET は，リングの体軸方向のみならず開放部からも患者にアクセスでき，また，MRI コイル一体型の頭部用 PET インサートとして開放部を下にすれば，患者の頭部に被せるようにセットアップができるなど利便性が向上する．一方で，測定可能な投影データには欠損が生じ，画像に強いアーチファクトが生じてしまうという問題がある．本研究では，開放部と対向する部分の検出器をコンプトン検出器とすることで，欠損方向の情報をコンプトンイメージングの原理を用いて補い，投影データの欠損によるアーチファクトを低減可能な新しい部分リング PET ジオメトリを提案する．計算機シミュレーションとして，システムマトリクスを用いた順投影によって投影データを作成し，MLEM 法によって画像再構成を行った．その結果，通常の部分リング PET で生じてしまうアーチファクトが，コンプトン検出器を組み合わせることによって低減できることが示された．
キーワード：PET，コンプトンイメージング，画像再構成，PET-MRI，ジオメトリ

1．
． はじめにする方法としては，これまでに Time-of-Flight 情

PET (Positron Emission Tomography) 装置は一報を用いた方法が検討されているが，非常に高般的に，円筒状に隙間なく検出器を配置するこい時間分解能が必要である [3] ．一方我々は，とで，原理上完全な画像再構成を行えるように散乱検出器 と吸収検 出器 によって構 成される構成されている．一方で，リングの一部を開放

コンプトン検出器を使い，エネルギー情報によ化し，部分リング PET とすることで，リングのってガンマ 線を放出 した 放射性物質 の位置を

体軸方向のみならず，開放部分からも患者にアクセスすることができるようになる．また，MRIのボア内で使用する MRI コイル一体型 PET イ

Compton detector
Compton event

ンサート [1,2] を部分リング化すれば，上から被せるようにセットアップすることができ，よScatterer detector

り利便性が高まることが期待される．しかしな

PET events

がら，測定可能な投影データには欠損が生じ，完全再構成 の条件が 満た されなくな ってしま

MRI coil integrated
partial PET ring

Bed

うため，画像に強いアーチファクトが生じてしまう．部分リング PET のアーチファクトを低減

MRI――――――――――――――――――

図 1 MRI の PET インサートとして応用した提案*1 量子科学技術研究開発機構

ジオメトリの概念図

放射線医学総合研究所

221円錐表面上 に限定す るこ とが可能な コンプト
ンイメージングの手法に着目した [4,5] ．本研
究では，開放部と対向する部分をコンプトン検出器とすることで，欠損方向の情報をコンプト
ンイメージングの原理を用いて補い，アーチフ
ァクトの低減が可能な新しい部分リング PET
ジオメトリを提案する．
2．
． 方法
提案ジオメトリを MRI コイル一体型 PET イ
ンサートとして構成した場合，図 1 に示すように下側を開放部とすることで，患者の頭に被せるようにセットアップが可能となる．頭部に集積した PET 薬剤から放出される消滅放射線対
は，横方向では同時計数により測定できるが，上下方向に放出された場合，下側の開放空間の図 2 計算機シミュレーションで模擬した検出器
配置と数値ファントム

ため，同時計数はできず縦方向の投影データが欠損する．そこで，散乱検出器を上側に配置し，ウス関数に よる広が りを 持つと想定 した応答

部分リング PET の検出器の上側をコンプトン関数を実装し，画素値に対する重みとして積算検出器の吸収検出器とすることで，消滅放射線

した．散乱検出器のエネルギー分解能はエネル

対の片方が検出できるようになり，縦方向の投ギーウィンドウ内全体で均一とし，5%と 2％の

影データの情報が取得できるようになり，横方2 種類で検証した．
数値ファントムは直径 110mm のバックグラ

向の分解能を得ることができるようになる．

ウンドの円 の中にホ ット スポットが ある構造
1）計算機シミュレーションとした．ピクセルサイズは 1.5mm×1.5mm とし，

提案ジオメトリの有効性を検証するために，

ホットスポットの大きさは 2×2 ピクセル，バ

初期検討として計算機による 2 次元でのイメー

ックグラウンドに対して，5 倍の集積があるもジングシミュレーションを行った．図 2 に検出のとした．なお，数値ファントム内での減弱や器配置と想定した数値ファントムを示す．部分

散乱の影響は無視した．

リング PET の検出器は，ピクセルサイズ 3mm，厚さ 20mm とし，散乱検出器はピクセルサイズ

2）画像再構成2mm，厚さ 5mm とした．ノイズフリーの測定

画像再構成は PET の投影データと，コンプト

データとして，システムマトリクスを用いた順

ンの投影データを合わせて 1 つのデータセット

投影によって投影データを作成した．その際，として MLEM（Maximum Likelihood Expectation

検出器素子の大きさの影響を考慮するために，

Maximization）法 [6] を適用することで行った．

素子内をサ ブサンプ リン グして計算 し平均化

本検討では，画像サイズもシステムマトリクスした．また，コンプトンイベントの順投影では，のモデルも 投影デー タ作 成と同じも のを用い散乱検出器のエネルギーウィンドウを 50 keV

た．なお，検出器応答関数の空間的な広がり以から 150 keV として 1 keV ごとにサンプリング

外の影響は 計算機シ ミュ レーション で考慮しし，クライン-仁科の公式より求めた散乱角を半ていないため，感度補正，偶発同時計数補正，

頂角とし，散乱検出器を頂点とした円錐表面に，

減弱補正，散乱補正等の補正法は適用していな

エネルギー 分解能か ら換 算した分散 を持つガ

い．

222

効性の検証を行った．その結果，角度欠損によるアーチファクトを抑制することが可能で，さらにエネル ギー分解 能が 高い散乱検 出器が実現されれば，開放部に近い場所においても空間分解能の劣 化も抑制 する ことが可能 であるこ

図 3 部分リング PET のみ(a)，及び提案ジオメトとが示唆された．

リでエネルギー分解能を 5% (b)と 2% (c) として得られた再構成画像

利益相反の有無
利益相反の 有無
1.2
1
Voxel value (a.u.)

なし．

Partial-ring PET
Proposed (5% energy resolution)
Proposed (2% energy resolution)

文

0.8

［1］

0.6

献

Nishikido F, Fujiwara M, Tashima H, et al.:Development of a full-ring “add-on PET”

0.4

prototype: a head coil with DOI-PET

0.2

detectors for integrated PET/MRI. Nucl
0
-80

-60

-40

-20
0
20
Position (mm)4060Instr Meth Phys Res A 863: 55-61, 2017

80

［2］

図 4 図 3 中の赤矢印で示す箇所のプロファイル

Nishikido F, Suga M, Shimizu K, et al.:Second “add-on” PET prototype: a headcoil with PET to upgrade existing MRI to
PET/MRI. J Nucl Med 57 (supplement 2):

3．
． 結果

110-110, 2016

図 3 にシミュレーションで得られた投影デー［3］

タを画像再 構成した 結果 を示す．部 分リング

Surti S and Karp J S: Design considerations
for a limited-angle, dedicated breast, TOF

PET のみでは画像の左右で斜め下方向への強い

PET scanner. Phys Med Biol 53: 2911-2921,

アーチファクトが発生していたのに対し，コン

2008

プトン検出 器を組み 合わ せることで アーチフ

［4］

ァクトが低減されている．また，エネルギー分

Phillips GW: Gamma-ray imaging with
Compton cameras. Nucl Instr Meth Phys

解能を 5%から 2％へさらに高めることで，横方Res B 99: 674-677, 1995

向への広がりを抑え，空間分解能が改善されて［5］いることが分かる（図 4）．

Singh M: An electronically collimatedgamma camera for single photon emission
computed tomography. Part I: Theoretical

4．まとめ
．まとめ

considerations and design criteria. Med

部分 PET リングにコンプトン検出器を組みImag 10: 421-427, 1983

合わせることで，開放部の利便性を享受しつつ［6］

アーチファ クトの少 ない 画像を得る ことが可

Shepp LM, Vardi Y: Maximum likelihood
reconstruction for emission tomography.

能な新しいジオメトリの提案を行い，2 次元でIEEE Trans Med Imag 1: 113-122, 1982のイメージ ングシミ ュレ ーションに よって有223

A proposed partial-ring PET geometry
combining with Compton detectors
Hideaki TASHIMA*1, Taiga YAMAYA*1*1 National Institutes for Quantum and Radiological Science and Technology,
National Institute of Radiological Sciences

Partial-ring PET where a part of the ring is open has accessibility to the patient not only from axial direction but also
from the open part. In addition, partial-ring MRI-coil integrated brain PET insert will enhance convenience for patient
setup by covering the patient head with a downward open part. On the contrary, measurable projection data of the partialring PET has limited directions causing strong artifacts in images. In this study, we propose a new partial-ring PET
geometry having a Compton detector at opposing side of the open part, which compensate the missing direction
information by the principal of the Compton imaging to mitigate the artifact. We conducted a computer simulation, in
which we generated projection data by forward projection using a system matrix, and we reconstructed images by the
MLEM algorithm. As a result, the artifacts caused in the conventional partial-ring PET could be mitigated by combining
the Compton detector.

Key words: PET, Compton imaging, Image reconstruction, PET-MRI, geometry224

OP2-04

被写体スキャン方式による
X 線位相イメージング法の開発
堀場 日明*1
衛藤

佐野 哲*1翔太郎*2

中川

和田 幸久*1

徳田 敏*1

貴之*2 田邊 晃一*1

池田 凡子*2

北村

圭司*1

要旨
Talbot 干渉計をはじめとする X 線位相イメージング法は，従来の X 線の吸収像では検出が困難であった軟組織でも視認性良く描出できることから，リウマチや乳がんなどを早期発見するための有用な手法として医療への応用が期待されている．しかしながら Talbot 干渉計の医療応用にあたっては，被写体の視野範囲
が回折格子のサイズによって制限されるという課題がある．そこで，我々は視野サイズを拡大するため，
Talbot 干渉計をベースとして被写体をスキャン撮影する光学系を開発した．本光学系は格子なしの吸収像と位相イメージング画像を同時に取得することが可能であり，さらに格子方向に対して被写体を回転させて撮影することで位相像を取得する方法も開発した．この光学系を用いて動物の乳がん検体を撮影し，従来の吸収法では得られなかった腫瘍のコントラストが描出できることを確認した．
キーワード：X 線位相イメージング，スキャン撮影，位相像，乳がん検体

1．はじめにTalbot 干渉計の研究により，医療や産業用の X

X 線位相イメージング法は，従来の X 線の線源を使用する実験系での撮影が可能となっ吸収像では検出が困難であった軟組織や軽元た[1,2,3,4]．

素の部材でも視認性良く描出できることから，

Talbot 干渉計の医療応用にあたっては，被写

リウマチや乳がんなどの早期発見，また炭素繊体の視野範囲が回折格子のサイズによって制維強化樹脂（CFRP）などの新素材を観察解析す限されるという課題がある．そこで，我々は視るための有用な手法として，医療や非破壊検査

野サイズを拡大するため，Talbot 干渉計をベーへの応用が期待されている．従来，X 線位相イスとして被写体をスキャン撮影する光学系をメージング法では可干渉性が高くかつ高強度開発した．本光学系はスキャン撮影を行うことな X 線を照射するため放射光施設を用いるこ

で位相イメージング画像の視野サイズ を拡大とが主流であったが，近年回折格子を使用するするだけでなく，格子なしの従来の吸収像も同時に撮影することが可能である．さらに格子方――――――――――――――――――向に対して被写体を回転させて撮影し，2 軸方*1 株式会社島津製作所 基盤技術研究所

向の解析を行うことで位相像を取得する方法〔〒619-0237 相楽郡精華町光台 3-9-4〕も開発した．本稿では，開発した位相イメージ

e-mail: a-horiba@shimadzu.co.jp

ング法の概要と，本手法による動物乳がん検体*2 東京大学大学院 農学生命科学研究科の撮影結果について報告する．

獣医外科学研究室

225

2．被写体スキャン方式の概要

また，各格子には格子あり/なし領域を設けてお本光学系は，Talbot 干渉計に被写体スキャン

り，格子なしの従来の吸収像も同時に撮影することができる（図 2，3）．

機構を加えた構成となっている．以下，光学系
概要と画像取得方法について説明する．
1）光学系概要
本光学系では，管球，回折格子，検出器が縦（Z 軸）方向に配置されている．外観を図 1 に示す．第 1 格子は管球から照射される X 線を可干渉性のある複数の X 線に変え，第 2 格子に照射する．第 2 格子を透過した X 線は，Talbot 効
果により第 2 格子と同じ周期パターンを発生させる（自己像）．この自己像と第 3 格子を重なるように配置することで，モアレが発生する．格子間に被写体を配置すると 屈折や散乱によってモアレが変形するので，これを検出することで一般的には解像が難しい 小さな自己像の変化を間接的に捉えることができる．
被写体は X 線照射中に X 軸方向に移動させ

図 2 スキャン方式による格子あり/なし領域の同時て撮影する（図 2）．これにより，被写体の視野

撮影（格子，管球保持部省略）．

サイズをスキャン方向に拡大することができる．例えば，スキャン撮影を行わない光学系では格子サイズの制約を受け視野は～5cm 幅程度となるが，本光学系では最大 20cm 幅までの撮影が可能である．

図 3 各格子ホルダ内の配置と被写体スキャン方向．
位相像を取得するために被写体を回転させて撮影した．

2）スキャン方式による画像取得方法
本手法では，Talbot 干渉計で主に用いられる

図 1 被写体スキャン方式による X 線位相イメージ

縞走査法[1]をベースにし，スキャン撮影に対応

ング法の光学系外観．

した解析方法で画像取得を行っている．

226

縞走査法では，第 2 または第 3 格子を走査しすることで，1 回のスキャンで位相像取得に必て検出器の各画素における強度変化（ステップ

要な画像を得ることも可能である．

カーブ）を被写体あり/なしの 2 種類取得し，それらを解析して吸収像，位相微分像，暗視野像を得るのが一般的である．これを被写体ありの場合で考えると，被写体（固定）に対してモア
レ空間を移動させながら 撮影しているということになる．
これに対して，スキャン撮影ではモアレ空間（固定）に対して被写体を移動させながら撮影することとなる．いずれも被写体とモアレ空間を相対的に移動させながら撮影を行っており，
原理的には同等の画像が得られると考えられる．本手法では，モアレ空間において被写体を一定速度で動かして 取得した一連の画像に対

図 4 位相像の 1 軸，2 軸積分取得画像の比較（被写

して，被写体が静止するように座標変換を行う．

体：樹脂球）．

これにより，被写体に対してモアレが移動する
ような画像が得られる．これらの画像から，各3．動物乳がん検体の撮影

画素における強度変化（ステップカーブ）を取

X 線位相イメージングによる乳がん撮影の優得し，縞走査法と同様の解析を行う．

位性を検討するため，動物乳がん切除検体の撮3）位相像取得方法

影を行った．撮影条件は管電圧 40kV（格子なし

本手法は位相像の取得にも対応している．通吸収像のみ 30kV），管電流 50mA，照射時間 8sec，

常，位相像は位相微分像を 1 軸方向に積分する

被ばく線量は格子あり/なし領域においてマンことで取得できるが，1 軸のみでは位相微分像

モグラフィのガイドラインである 3mGy 以下とのノイズ成分を拾ってストリーク状のアーテした．また，検体は劣化しないよう切除後生理ィファクトが生成されやすい．そこで，2 軸方

食塩水に浸漬し，撮影時を除いて冷蔵保存を行

向の位相微分像をフーリエ変換し，周波数領域

った．
撮影結果の一例を図 5 に示す．この検体は乳で所定の演算をしてから逆フーリエ変換する手法を導入した（式 1）[5]．
Φ(𝑥, 𝑦) = ℱ−1ℱ[Φ𝑥 + 𝑖Φ𝑦 ](𝑘, 𝑙)[] (𝑥, 𝑦)2𝜋𝑖(𝑘 + 𝑖𝑙)

腺がん（乳腺混合腫瘍内腺がん）を含むイヌの乳腺組織である．吸収像（格子なし）において(1)

は腫瘍にほとんどコントラストがついていな
いのに対して，位相微分像では腫瘍の境界が描

ここで，Φ𝑥 ，Φ𝑦 は被写体(X)方向と(Y)方向の位出されていることがわかる．さらに，2 軸積分

相微分像，x，y は実空間上の座標，k，l は周波により取得した位相像においてはより明瞭に

数空間上の座標を表す．Φ(𝑥, 𝑦)が本手法で取得

腫瘍部分を描出することができた．また，石灰できる位相像となる．2 軸方向の成分を合わせ化部分は吸収像（格子なし）でも見られるが，て解析することで，アーティファクトを大幅に暗視野像においてより明瞭に描出されている低減することが可能となる（図 4）．この解析をことがわかる．この石灰化部分は位相像におい行うため，本手法では図 3 に示したように格子ても視認性良く描出されている．このように，方向に対して被写体を回転させて 2 回のスキャ

スキャン方式による X 線位相イメージング撮

ン撮影を行う．

影の優位性を動物乳がん検体において示すこなお，格子あり領域に 2 軸方向の格子を配置とができた．

227

文
［1］

献

Momose A, Kawamoto S, Koyama I, et al.:Demonstration

of

X-Ray

TalbotInterferometry. Jpn J Appl Phys 42: L866L868, 2003
［2］

Pfeiffer F, Weitkamp T, Bunk O, et al.:Phase retrieval and differential phasecontrast imaging with low-brilliance X-ray
sources. Nat Phys 2: 258-261, 2006

［3］

百生敦：Talbot 効果を利用した X 線位
相イメージング．放射光 23：382-392,
2010

［4］

土岐貴弘，白井太郎，佐野哲他：産業用
X 線位相イメージング装置の開発．島津
評論 75：73-77, 2018

［5］

Kottler C, David C, Pfeiffer F, et al.: A twodirectional approach for grating based
differential phase contrast imaging using

図 5 動物乳がん検体の撮影結果．位相像において腫

hard x-rays. Opt Express 15: 1175-1181,

瘍部分を明瞭に描出することができた．(X)，(Y)はそ

2007

れぞれ図 3 の被写体方向①，②に対応する．

4．まとめ
被写体スキャン方式による X 線位相イメー
ジング法を開発した．被写体の視野サイズ拡大に加え，格子なし吸収像と 2 軸積分による位相像の取得も可能となった．本手法で動物乳がん
検体を撮影した結果，位相像において腫瘍と石灰化部分を明瞭に描出することができ，スキャン方式による X 線位相イメージングの優位性が示された．今後はヒト乳房切除検体の撮影を行い，同様の検証を進める予定である．
謝辞
研究遂行にあたり 多大なるご協力 を賜りました昭和大学医学部乳腺外科 の明石定子准教授に深く感謝いたします ．
利益相反の有無なし

228

Development of an X-ray phase contrast imaging systemusing a subject scanning method
Akira HORIBA*1, Satoshi SANO*1, Yukihisa WADA*1, Satoshi TOKUDA*1, Namiko IKEDA*2,
Shotaro ETO*2, Takayuki NAKAGAWA*2, Koichi TANABE*1, Keishi KITAMURA*1*1 Technology Research Laboratory, Shimadzu Corporation*2 Laboratory of Veterinary Surgery, Graduate School of Agricultural and Life Sciences, The University of Tokyo

X-ray phase contrast imaging, Talbot interferometer representatively, allows to produce significant contrast of soft
tissues that are difficult to detect with conventional X-ray absorption imaging, therefore it is expected to be applied to
medical imaging for early detection of lesions such as rheumatism or breast cancer. However, in medical application of
Talbot interferometer, there is a problem that the field of view of the subject is limited by the size of the diffraction
gratings. In order to expand the field size, we have developed an X-ray phase contrast imaging system using a subject
scanning method based on Talbot interferometer. This method also enables to acquire the conventional absorption image
without gratings and phase contrast images, i.e., the differential phase contrast image, and the dark-field image
simultaneously. In addition, a method of generating the phase image with rotating subject with respect to the grating
direction is also developed. Using this system, mammal breast cancer sample images are acquired, and the contrast of
the tumors are obtained that are difficult to image by the conventional absorption method.

Key words: X-ray phase contrast imaging, Scanning method, Phase image, Breast cancer sample229

OP2-05

学習データセットを必要としない畳み込みニューラル
ネットワークを用いた Dynamic PET 画像のノイズ除去手法
橋本

二三生*1

大手

希望*1

寺本

篤司*2

要旨
深層学習を医用画像処理に応用する場合，多数の教師ラベル付き臨床データセットを用意する必要がある．しかし，症例数の不足や倫理的な制約等により，大規模で高品質な臨床データセットを構築することは容易ではない．本研究では，学習データセットを必要としない畳み込みニューラルネットワーク（CNN）
を用いることで，多数の教師ラベル付き臨床データセットを用意することなく Dynamic PET 画像のノイズを除去する手法を提案する．本手法は，当該の計測 PET データのみを CNN の学習に利用する．まず，教師ラベルとして Dynamic PET 画像を，入力画像として計測データすべてを用いて再構成した Static PET 画
像を用意する．
これら一対のデータペアを Encoder-decoder 型の CNN を用いて逐次学習させることにより，大幅にノイズが除去された Dynamic PET 画像を取得する．定量評価の結果，本手法を用いることで，従来使用されていたノイズ除去手法と比較し，大幅なノイズ除去性能の向上がみられ，本手法の有効性が示された．
キーワード：Dynamic PET，ノイズ除去, 深層学習, 畳み込みニューラルネットワーク, Deep image prior

1．はじめに

画質改善の効果には限界がある．

陽 電 子 放 射 断 層 撮 影 （ Positron emission

畳み込みニューラルネットワーク

tomography；PET）検査は，体内の薬剤動態をダ（Convolutional neural networks；CNN）に代表さイナミックに計測できる非侵襲的なイメージ

れる深層学習（Deep learning）が，近年様々な分

ングモダリティであり，がんのスクリーニング

野で実応用され，医用画像処理においても急速や神経変性疾患の早期発見に有効とされていに普及しつつある．一般的に，CNN は大規模なる [1]．ダイナミックな PET データ収集では，学習データセットを構築し学習を行う必要が時間分解能を高めるほど低カウントに起因すあるが，臨床現場で学習データセットを収集す

る 統 計 ノ イ ズ が 発 生 し ， Signal-to-noise ratio

るためには，倫理的な制約や患者数の確保など，（SNR）が低下する．そこで，ダイナミック PET

解決すべき課題が多数存在する．例えば，PET

計測における画像の定量性を損なわないよう

画像のノイズ除去に CNN を応用する場合，高に，統計的画像再構成法[2]が導入されているが，線量または長時間フレームと，低線量または短時間フレームの画像対を用意する必要があり，――――――――――――――――――

多大な労力を要する．そのうえ，学習データセ*1 浜松ホトニクス株式会社

ットに含まれていない未知の症例や，新規 PET

中央研究所〔〒434-8601 浜松市浜北区平口 5000〕

薬剤に対する処理は定量性が担保できず，堅牢e-mail: fumio.hashimoto@crl.hpk.co.jp

性が高いとはいえない．近年，学習データセッ*2 藤田医科大学

トに高品質な正解ラベルを用意する必要のな

医療科学部

放射線学科

いノイズ除去処理が提案されている[3-5]．特に，

230

1st output

2nd output

3rd outpu t

図 1 提案手法の概要．

Deep image prior（DIP）とよばれる手法[3,4]は，た Static 画像である．本研究では，U-net をベー

ノイズ除去処理対象の画像のみを用意し，CNNスにした CNN 構造[6]を利用した．

を画像フィルタリングのように用いることが

2）実験

できる．

提案手法の画質性能を従来手法と比較する

そこで本研究では，DIP を応用した Dynamic

ため，[18F]FDG を模擬したシミュレーション実PET 画像のノイズ除去手法を提案する．本手法

験による評価を行った．シミュレーション詳細は，高品質な正解ラベルを用意する必要がなく，については文献[7]を参照されたい．また，定量

当該の計測 PET データのみでノイズ除去可能

評 価 指 標 と し て ， peak SNR（ PSNR） お よ び

であることが最大の特徴である．

Structural similarity（SSIM）を使用した．

2．方法

3．結果および考察

1）提案手法

シミュレーション実験による結果を図 2 に示提案手法の概要を図 1 に示す．提案するネッす．ここで，図中 Frame6, 26 はそれぞれ PET 計
測開始から 120-160 秒，3900-4200 秒のフレーム

トワークは，次式によって学習される．
𝜃 " = arg min,𝑥." − 𝑓(𝜃 " 2𝑧),, 𝑥 " = 𝑓7𝜃 " 2𝑧8 (1)に該当する．

ここで，‖∙‖は L2 ノルム， f は CNN，θ は CNN

ノイズを抑制しつつコントラストを保存でき

∗

∗

∗

+

図 2 より，提案手法は他手法と比較し，統計iのパラメータを表している．正解ラベル x0 (i =ている．また，本手法を用いることで，他手法

1, 2, …, T)および入力 z はそれぞれ，ノイズ除去と比較し PSNR および SSIM が大幅に改善した．

処理対象である Dynamic 画像，PET 計測開始か

これらの結果は，提案手法が Dynamic PET 画像

ら終了までの全計測データを用いて再構成しのノイズ除去に対して有効な手法であること

231

図 2 提案手法のシミュレーション処理結果．左から Ground truth（正解画像），GF（Gaussian

filtering），NLM（Non local means filtering），IGF（Image guided filtering），DIP（Deep image prior）の
処理結果．

al.:

を示唆している．

［4］

像のノイズ除去手法を提案し，ノイズ抑制効果

Gong K, Catana C, Qi J, Li Q: PET image
reconstruction using deep image prior.

の向上をシミュレーション実験により評価しIEEEた．その結果，提案手法は統計ノイズを抑制し

Trans

Med

Imaging,

2018.

10.1109/TMI.2018.2888491.

つつコントラストを保存できており，Dynamic［5］

PET 画像のノイズ除去に対して有効な手法であUlyanov D, Vedaldi A, Lempitsky V: Deep
image prior. Proc IEEE CVPR: 9446–9454,

ることが示唆された．

10.1109/CVPR.2018.00984, 2018.

利益相反の有無［6］

Hashimoto F, Kakimoto A, Ota N, et al.:Automated segmentation of 2D low-dose

なし．
文

CT images of the psoas-major muscle using

献

deep convolutional neural networks. Radiol

Phelps ME: PET: molecular imaging and its

Phys Technol, 2019. 10.1007/s12194-019-

biological applications, Springer-Verlag,

00512-y.

New York, 2004.

［7］

小林哲哉：エミッション CT における

Hashimoto F, Ohba H, Ote K, et al:
Denoising of Dynamic Sinogram by Image

統計的画像再構成の基礎と展開．Med

Guided Filtering for Positron Emission

Imaging Technol 31: 21-25, 2013．
［3］

image

1803.04189, 2018.

本研究では，DIP を応用した Dynamic PET 画［2］

Learning

restoration without clean data. arXiv:

4．まとめ

［1］

Noise2Noise:

Tomography, IEEE trans Radiat Plasma

Lehtinen J, Munkberg J, Hasselgren J, et

Med Sci 2: 541-548, 2018.

232

Noise Reduction Technique for Dynamic PET Images using
Convolutional Neural Networks without Training Dataset
Fumio HASHIMOTO*1, Kibo OTE*1, Atsushi TERAMOTO*2*1 Central Research Laboratory, Hamamatsu Photonics K.K.
*2 School of health Sciences, Fujita Health University
Deep neural networks are needed to prepare the large size of training image datasets, however, it is not easy for clinicaluses because of difficulty in preparing the large size of high-quality patient datasets. In this study, we proposed dynamic
positron emission tomography (PET) image denoising using convolutional neural networks (CNN) without training
datasets. The advantage of this study is that training datasets are not necessary, as the original PET data of its own isused to reduce the statistical noise. Static PET data were acquired for input to the network, with the dynamic PET images
being handled as training labels, while the denoised dynamic PET images were represented by the network output. The
proposed denoising method can improve the denoising performance compared with the other non-deep learningalgorithms. These results indicate that the proposed method is a practical algorithm for dynamic PET data.
Key words: Dynamic positron emission tomography，Denoising, Deep learning, Convolutional neural networks, Deep image
prior

233

OP2-06

畳み込みニューラルネットワークを用いた
低線量 CT 画像再構成法の多時相 CT イメージングへの拡張
森 和希*1

工藤

博幸*1

要旨
本論文では,画像再構成法を腹部 CT 撮影（4 時相）に代表される多時相 CT イメージングに拡張した新手法を提案する.提案手法では,M 時相の画像のうち M-N 枚を通常線量で撮影しそれ以外の N 枚を低線量で撮影することで低被曝での CT 撮影を実現する.そして,M 時相全ての画像を入力とし低線量で撮影した N 枚の画像を出力とする CNN を用いて,雑音を除去した高画質の再構成画像を得る.M 時相全ての画像を CNN の入力とすることにより,CNN は通常線量画像を先験情報として低線量画像の画質を改善するように動作して,1 入力 1 出力の CNN で各時相の画像を独立に処理する単純な手法と比較して,より上手く雑音除去することが可能となることがキーである.腹部 CT 実画像データセットを用いたシミュレーション実験により提案手法の有効性を評価した.
キーワード：画像再構成，多時相,深層学習,低線量 CT

1．はじめに構成した劣化画像をコンボリューション層とCT（Computed Tomography）はエコー検査でデコンボリューション層からなる畳み込みニ

検出しにくい深部臓器を見ることができる利ューラルネットワーク（CNN）に入力してノイ点があり,現代の医療に不可欠な装置といえる.

ズを低減した高画質画像を得る画像再構成法

しかし,CT による撮像は被ばくによる健康被害を提案している.本研究では,この画像再構成法が問題とされ,より低線量で撮影を行うことがを腹部 CT 撮影に代表される多時相 CT イメー

望ましい.低線量での撮影は光子数のばらつき

ジングに拡張した新手法を提案する.提案手法

によりノイズが発生してしまうため,低線量 CT

では,M 時相の画像のうち M-N 枚を通常線量での実現にはノイズ除去技術の向上が不可欠で撮影し,それ以外の N 枚を低線量で撮影するこある.

とで低被爆での CT 撮影を実現する.そして,M

近年,低線量 CT を目的とした深層学習画像再枚全ての画像を入力し,低線量で撮影した N 時

構成法の研究が精力的に行われている.これら相の画像を出力する CNN を用いて,ノイズを除の研究では,フィルタ補正逆投影（FBP）法で再去した高画質の再構成画像を得る.また,M 時相の画像のうち M-N 枚のみを入力し,それ以外の――――――――――――――――――

N 枚の再構成画像を得ることも可能である.

*1 筑波大学システム情報系

CNN の学習は,74 名の CT 画像から CT イメ〔〒305-8573 つくば市天王台 1-1-1〕

ージング過程をシミュレートしたデータセッ

e-mail: shion06141016@gmail.com

トを用いて行い,最適なノイズ除去を行う過程

234

を CNN に学習させた.腹部 CT 実画像データセ

イゼーション[3],ReLU という手順のことであットを用いたシミュレーション実験によ り,提る.
デコーダ部は,まず始めに CBR 構造を 5 回繰

案手法の有効性を示す.

り返す.ただし,エンコーダ部で畳み込みを行っ
2．方法

た部分を逆畳み込みに置き換えている.訓練の2-1 入力と出力

際は最初の 2 回にドロップアウトをレート 0.5

本研究では、複数枚の時相を低線量で撮影,もで適用した.そして最後に 3×3 フィルタを用いしくは全く撮影しないという問題設定を考えてストライド 1 及びパディング 1 で畳み込みをている.ネットワークへの入力は従来の 1 入力 1行う.また,図１に示すように,エンコーダ部の第出力の手法と異なり,低線量または通常線量でN 層目(N:1~5)をデコーダ部の第 6-(N-1)層目に撮影した複数の時相全てを入力する.出力はノスキップ結合している.

イズ除去を行った低線量時相画像または全く

2-3 データセット

撮影しなかった時相の画像である.通常線量画

74 例の腹部 CT 画像(4 時相)を用い,内 58 例を像が先験情報として機能し,従来手法より上手

訓練用とし,残りの 16 例を評価用とした.各患者

く雑音を除去することを期待している.

の肝臓が最も大きく見えるスライス１枚を用

2-2 ネットワーク構造

いた.画像サイズは 512×512 であった.用いた時

ネ ッ ト ワ ー ク 構 造 は UNet[1] を 用 い て い相は早期相,門脈相,遅延相,非造影の４種である.

る.UNet は入力データの特徴を抽出するための画像は患者の CT 実画像から FBP 法で CT イ

エンコーダ部と,特徴マップを拡大するためのメージング過程をシミュレートしており,劣化

デコーダー部から構成される完全畳み込みネ

過程はポアソン分布でシミュレートした .まットワーク[2]の１つである.

た,CNN に入力する際は,画像のコントラストのネットワーク構造を図 1 に示す.エンコーダ

範囲を 0.165~0.235 に絞った.

部は,まず最初に 3×3 フィルタを用いてストラ2-4 訓練方法

イド 1 及びパディング 1 で畳み込みを行う.そ時相をチャンネルとして扱うことで M-N 枚の後,CBR 構造を 5 回繰り返す.本稿におけるの通常線量画像と N 枚の低線量画像を入力とCBR 構造とは,4×4 フィルタを用いたストライ

し,低線量で撮影した N 枚の画像を出力とした.

ド 2,パディング 1 の畳み込み,バッチノーマラ

バッチサイズは 4 とした.

図 1 ネットワーク構造.
各層の数字はチャンネル数.

235

損失関数には劣化画像と非劣化画像の平均

表 1 光子 500 個の場合の提案手法の平均二乗誤差を用い,係数 0.0001 で L2 正則化を適用

PSNR と SSIM 及び従来手法との差．

した.最適化法には Adam[4]を用いて 510epoch
PNSR更新した.学習率の初期値は 0.001 で,30epoch ごと に 0.8 倍 し た . 実 装 に は Chainer を 用

早期相
門脈相
遅延相
非造影

い,GPU(GeForce GTX 1080)を用いて計算した.
2-5 評価方法
劣化画像と非劣化画像のピーク信号対雑音

25.4
25.5
25.8
25.7

PSNR
の差
1.0
1.3
1.1
0.1

SSIM
0.82
0.82
0.82
0.82

SSIM
の差
0.04
0.05
0.04
0.02

比（peak signal to noise ratio; PSNR）と構造的類似性（Structural similarity; SSIM）[5]で評価した.SSIM のウィンドウサイズは 7 とした.
3．結果
図 2,3 はノイズの強さ（再構成時の光線あたりの光子数）及び適用手法を変えた際の門脈相における平均 PSNR と SSIM の推移である.光子数 0 は,出力したい時相以外の 3 時相のみを
CNN に入力する実装を行った.ノイズが小さい場合(光子数 50000)は提案手法と従来手法の差がほぼ無いが,ある程度ノイズが強くなると提案手法が優位になることがわかる.また,従来手法では光子数 0 で画像を作ることができないた

図 2 門脈相の平均 PSNR の推移．

め,その場合でも提案手法が優位と言える。.本稿では省略するが,他の時相でも類似の結果が得られる.
表 1 は光子が 500 個の場合の,各時相における提案手法の平均 PSNR 及び SSIM とその従来手法との差である.提案手法は非造影画像ではSSIM において優位性が見られ,それ以外の時相では PSNR 及び SSIM の両方で優位性が見られた.
図 4 は原画像,ノイズ画像,提案手法の出力,従来手法の出力,ノンローカルミーンフィルタ[6]による門脈相のノイズ除去画像の一例である.

図 3 門脈相の平均 SSIM の推移．

従来手法と比べると,図中に赤枠で示した辺りが特に改善されていることがわかる.図 5 は非

4．考察

造影のノイズ除去画像の一例である.門脈相と図 2 と図 3 に示すように,ノイズが小さい場

同様に,従来手法と比べて特に改善されている

合に従来手法と提案手法に大きな差が生じな部分を赤枠で示す.また,光子 0 個の場合と光子かった.他の時相から得られる情報を用いるよ

500 個の場合で大きく異なる部分を緑枠で示す.

りも目的の時相から情報を得た方が画質改善

本稿では省略するが,他の時相でも類似の改善に繋がるため,ネットワークが他の時相を無視が得られる.

236

図 4 門脈相の画像.

図 5 非造影の画像.

するように学習が行われたためだと考えられ案手法の方が高品質であることがわかった.
図 5 の緑枠で示した箇所のように,目的の時る.
表 1 に示すように,数値評価において提案手相の情報が皆無(光子数 0)の場合,明るさが原画

法が最も有効だったのは門脈相だった.門脈相像から大きく乖離した部分が生じることがあは最もコントラストが大きいため,ノイズによる.これは,他の時相の明るさに引きずられていって失われる情報が相対的に大きく,他の時相ることが原因だと考えられる.図 5 の下段中央から得られる情報が有効に働いたのだと考えのように,目的の時相を入力に加えることで改られる.反対に,最もコントラストが小さい非造

善されることがわかった.この際,図 5 のように,影画像では従来手法との違いが生まれ難かっ

目的の時相に強いノイズがかかっていても問た.ただし,図 5 に示す通り,目視での評価では提題ないと考えられる.

237

5．まとめsegmentation. International Conference on

本研究では,シミュレーションにより作成し

CVPR, 2015

た画像を用いて,複数の時相を入力する提案手［3］

Ioffe S, Szegedy C: Batch Normalization:法と１時相のみを入力する従来手法 及びノン

Accelerating Deep Network Training by

ローカルミーンフィルタのノイズ除去効果を

Reducing

比較した.さらに,コントラストが高い門脈相にInternational

おいて最も効果を発揮することがわかった.

Learning, 2015

今後,学習させるスライス数を増やすなど訓［4］Internal

Covariate

Conferenceon

Shift.
MachineKingma D, Ba Jimmy: Adam: A Method for

練データの工夫によって得られる変化の調査

Stochastic

や,低線量ではなくスパースビューCT での調査

Conference on Learning Representations,を行う予定である.

2015

利益相反の有無［5］

Wang Z et al: Image Quality Assessment:
IEEE

文

TRANSACTIONS

ON

IMAGE

PROCESSING, VOL 13, NO.4, 2004

献

Ronneberger O, Fischer P, Brox T：U-Net:［6］

Buades A, Coll B, Morel J: A non-local

convolutional networks for biomedical

algorithm for image denoising. In Proc

image

IEEE Conf Comp Vis Patt Recogn 2: 60-65,

segmentation.

International

Conference on MICCAI, 2015
［2］

International

From Error Visibility to Structual Similarity.

無し

［1］

Optimization.

2005

Long J, Shelhamer E, Darrell T: Fully
Convolutional

Networks

for［7］

Semantic

238

Extension of Low-Dose CT Image Reconstruction Method Using
Convolutional Neural Network to Multi-Phase CT Imaging
Kazuki MORI*1, Hiroyuki KUDO*1*1 Graduate School of Information and Systems, University of Tsukuba
In this paper, we propose a new method that extends the image reconstruction method to multi-phase CT imaging
represented by abdominal CT imaging (four-time phase). In the proposed method, low-dose CT imaging is
implemented by imaging M-N of the M phase images at a normal dose and imaging the other N at a low dose. Then, ahigh quality reconstructed image from which noises have been removed is obtained using a CNN that has as input animage of all M time phases and outputs N images taken at low dose. By using the images of all M phases as the inputof the CNN, the CNN operates to improve the image quality of the low dose image, usually with the dose image as apriori information. The key is that it allows better denoising compared to the simple approach of independently
processing each phase image with a 1 input 1 output CNN. The effectiveness of the proposed method was evaluatedby simulation experiments using abdominal CT real image data sets.
Key words: Image Reconstruction，Multi-Phase CT, Deep Learning, Low-Dose CT

著者紹介
森 和希 (もり かずき)2018 年広島大学理学部物理科学科卒.
現在, 筑波大学院・システム情報・博
士前期課程在学中.

工藤 博幸 (くどう ひろゆき)
1985 年東北大・工・通信卒. 1990 年
同大学院博士課程了. 現在, 筑波大・
システム情報・教授. 1990 年電子情報通信学会論文賞, 1991 年・2001 年・2006 年・2008 年日本医用画像工学会
論文賞, 2006 年・2008 年国際雑誌『Inverse Problems』High Lights
受賞, 2008 年国際雑誌『Physics in
Medicine and Biology』High Lights
受賞, 2018 年文部科学大臣表彰科学技術賞受賞. 工博. CT と PET を中心とした医用イメージング, 画像処理の研究に従事. IEEE, SIAM, 各会員. 電子情報通信学会フェロー. 日本医用画像工学会副会長.

239

OP2-07

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

FDTD による Shear wave elastography の不安定要因の検証
伊藤 大貴*1

山田 敦子*1

大栗 拓真*1,3 吉田 憲司*2

山口 匡*2

要旨
超音波で生体組織の硬さを評価する手法として，音響放射力によって組織内に発生させたせん断波の伝播速度（shear wave velocity; SWV）を利用する Shear wave elastography（SWE）が臨床で実用化されている．
しかし，伝播するせん断波の波形を判定する処理や解析に使用されるアルゴリズムの違いなどの技術的な差異や，生体内の組織構造および物性の複雑性などの要因により，診断装置のメーカ間および設定条件に
よって SWV の評価結果に差を有することや，計測部位によっては評価結果が不安定になることが示されている．本稿では，SWE の標準化のアプローチのために，弾性 FDTD 法（Finite-Difference Time-Domain
method; FDTD）を用いて，実際の診断装置から送信される音響放射力の分布を模擬した送信条件下において，任意の生体組織性状におけるせん断波の伝播をシミュレートし，各種の信号処理が SWV の評価に与える影響について検証した．結果として，2 つの信号処理方法により SWV の算出結果に違いが生じ，その違いは組織構造が複雑になるにつれて顕著になることを確認した．
キーワード：超音波，エラストグラフィ，せん断波, 弾性 FDTD, 粘弾性

1.

はじめに

Shear wave elastography (SWE)は，音響放射力
によって組織内に発生させたせん断波の速度（shear wave velocity; SWV）を利用し，生体組織の硬さを評価する手法である．しかし，診断装置のメーカ間や設定条件によって SWV の評
価結果に差を有することや，計測部位によっては評価精度が低下することが示されている[1]．
組織の硬さを表す係数は複数あり，SWE では
主に剛性率やヤング率が用いられるが[5]，本稿
では，剛性率に着目し組織の硬さの評価を行う．
媒質のずり粘性を無視すると，弾性体内を伝播するせん断波速度𝑐𝑠 は次式で表される．

𝑐𝑠 = √𝐺𝜌

(1)

ここで，G は剛性率であり，ρ は密度である[5]．
生体組織の密度を 1000 kg/m3 と仮定すると，式(1)を用いて，生体組織に振動を与えて発生させたせん断波の速度𝑐𝑠 から剛性率𝐺を算出し，生体組織の硬さを評価することができる．しかし，媒質の境界面ではせん断波の反射や屈折が 発生するため，生体組織などの不均一な媒質中では伝播するせん断波が複雑になり，SWV の評価
結果が不安定なることが示されている[1-3]．そのため，弾性体内の音波伝播の時間変化を計算――――――――――――――――――

する弾性 FDTD（Finite-Difference Time-Domain）*1 千葉大学大学院融合理工学府基幹工学

法[4]を用いて，様々な媒質内を伝搬するせん断専攻医工学コース

波を 2 次元(X-Y)シミュレーションで再現し，〔〒263-8522 千葉市稲毛区弥生町 1-33〕

その結果を用いて SWV を解析し，そのばらつ

e-mail; d.ito@chiba-u.jp

きの要因を検証した．

*2 千葉大学フロンティア医工学センター

また，SWV を解析する際には，せん断波の波*3 GE Healthcare Japan 株式会社形（波頭やピーク）を検出する処理が重要であ

投稿受付：2019 年 5 月 15 日

るが，メーカ毎に処理や解析に使用されるアル240

ゴリズムが違うことが示されている[1]．本検討

2.2. シミュレーション条件

では，せん断波の伝播速度を(i)せん断波形のピ

グリッドの粗さにより発生する数値分散をークを用いた解析と(ii)相互相関法を用いた解防ぐために，せん断波の周波数を数 kHz と仮定

析の 2 種類の方法で算出し，信号処理の違いがし，その波長より十分細かくなるようなシミュ

SWV に差を生じるかについて検討した．

レーションの条件として，計算の空間グリッド
を 100 µm と設定した．それに伴い，クーラン

2. せん断波の伝播シミュレーションの安定条件[4]により時間グリッドを 2.375 ns に

2.1. シミュレーション空間の設計

設定した．また，FDTD シミュレーション空間

シミュレーション空間内に 送信音圧を与えの端から発生する不要な反射を無くすために，ることで，せん断波を励起させた．与える音場

空間の終端には吸収境界条件として Beneger の分布は，臨床装置のプローブからプッシュパル

PML 吸収境界条件[5]を用いた．

スを送信して発生する音響放射力の音場分布
2.3. 生体組織モデルを参考に作成した．模擬した音場分布を 図 1 に示す．音場分布の最大音圧を 10 MPa，ビーム径

図 2 の水色の領域に， 図 3 に示す複数種の組を 1.25 mm，ビーム長を 20 mm と設定した．こ織モデルを置き，シミュレーションを行った．

の音場分布を 図 2 に示すシミュレーション空間

図 3 の(a)は媒質 A のみの均質組織モデル，(b)の左端に与え，せん断波を生じさせた．本稿では媒質 A の均質組織内に半径 1.5 mm の円状媒

は，Y 方向の粒子速度の時間変化から伝播する質 B の組織を 1 つ配置したモデル，(c)は(b)とせん断波を算出する．ここで，Y 軸について対同じ円状組織 B を複数個，無作為に配置したモ

称音場分布を与えた場合，伝搬するせん断波もデルである．

Y 軸について対称となるため，計算はシミュレ周辺組織である媒質 A と円状組織である媒ーション空間の全面で行っているが，以降の評

質 B の物性値を表 1 に示す．表 1 の横波音速価については上半分（ 図 2 内の水色の領域）のみを解析範囲としている．

(a) 均質組織のみの空間モデル
図 1 照射超音波（送信音圧）の音場分布(b) 円状組織 1 つを配置した空間モデル

図2

図3

シミュレーション空間の模式図

241(c) 半径が等しい円状組織を複数配置した空間モデル
灰色部分に配置する空間モデル

は，表 1 の物性値と式(1)を用いて算出した理論いる様子がわかる．同様の傾向は 図 4(c)でも確値である．

認されるが，剛性率の高い円状組織を複数配置することで等高線の不連続性が強く生じてい
表1

1000

kg/m3

に，せん断波の伝播が複雑となり，SWV の評価

体積弾性率

2.25

GPa

も不安定になることがわかる．

密度
媒質 A（青色部分）
媒質 B（黄色部分）

る．このことから，組織構造が複雑であるほど各組織のパラメータ

剛性率

4

kPa

横波音速

2

m/s

体積弾性率
剛性率
横波音速

2.25
16
4

GPa
kPa
m/s

4．SWV の解析法
図 3 のそれぞれのモデルについてせん断波の時間変化を算出し，SWV を評価した． SWV の算出には，(i)せん断波形のピークを用いた解析と，(ii)相互相関法を用いた解析の 2 つの信号処

3．伝播するせん断波の様子

理法を適用した．FDTD シミュレーションにお図 3 のそれぞれの空間分布に対して送信音圧

けるせん断波のサンプリング周波数は約 2 MHzを与え，発生したせん断波の振幅を一定時間毎であり，SWV はシミュレーション条件から 5に検出し，各位置におけるせん断波の振幅を等

m/s 以下となるため，せん断波が 1 フレームで高線で結んで表示した結果を 図 4 に示す．図中

伝播する距離は 2.5 μm 以下である．これは空間の最左の線（緑色）は加振から 5 ms 後の波形のグリッドより十分に小さいため，シミュレーシ

振幅を示し，それ以降 1 ms 間隔で振幅を等高ョンの時間分解能は担保されている．

線で示している．図 4(b) において，円状組織を見ると，円状組織内の速度だけではなく，円状(i) せん断波のピークを用いた解析

組織周辺の媒質 A の組織の速度が速くなってせん断波形のピーク値を用いて，せん断波の伝播速度を算出した．解析領域内の 1 つの空間
グリッドの両端の X 方向の座標 𝑥1 ，𝑥2 にせん
断波のピーク値が通過する時間をそれぞれ𝑡1 ，𝑡1 + 𝑡𝑠 とする．これらのパラメータから，式(2)を用いて 1 つの空間グリッド内の SWV を算出(a) 均質組織のみの空間

する（ 図 5） ．
SWV =𝑥2 − 𝑥1𝛥𝑥=(𝑡1 + 𝑡𝑠 ) − 𝑡1
𝑡𝑠(2)

ここで，𝛥𝑥はシミュレーションの空間グリッドである．この処理を解析領域内の空間グリッ(b) 円状組織 1 つを配置した空間

ド毎に行い，せん断波速度分布を推定した．

(c) 半径が等しい円状組織を複数配置した空間
図 4 伝播するせん断波の振幅の等高線表示

図 5 せん断波のピーク値を用いた SWV 評価方法

242

(ii) 相互相関法を用いた解析

る．

相互相関法を用いて SWV を解析した．X 方

せん断波速度分布全体を見ると，2 つの異な向に連続する 2 点𝑥1 および𝑥1 +𝛥𝑥における Depth

る信号処理法(i)と(ii)の結果において明確な違方向の粒子速度をそれぞれ𝑣1 (t)，𝑣2 (t)とすると，

いが確認できる． 図 7(a)および 図 8(a)に示した

せん断波がこの 2 点間を伝播する時間 τ は式(3)媒質 A（横波音速の理論値 2 m/s）のみの均質媒の相互相関関数 R(τ)を用いて求めることができ

質空間において，空間内の SWV の平均値は(i)る（ 図 6）．

せん断波形のピークを用いた解析においてR(τ) = ∫ 𝑣1 (𝑡)𝑣2 (𝑡 + 𝜏) 𝑑𝑡

2.024 m/s（設定値からの誤差: +1.1 %）， (ii)相(3)互相関法を用いた解析において 2.080 m/s（誤差:

この相互相関関数 R(τ)が最大となる時間差 τ+3.9 %）である，どちらも理論値との誤差が小が伝播時間となるため，2 点間を伝播するせん

さい結果となった．一方で，(ii)の誤差がやや大断波の SWV は次式により算出される[2]．
𝛥𝑥
(4)
SWV =
𝜏
相互相関法についても，解析法(i)と同様に解きいのは，媒質空間の両端付近において窓幅の影響などによる SWV 評価値の段階的変化が生じているためである．
媒質空間中に円状組織が 1 つ配置されている

析領域全体に対し行うことでせん断 波速度分

ケースである 図 7(b)および 図 8(b)においては，2布を推定した．

つの信号処理法で大きな差異が生じている．媒質 B（横波音速の理論値が 4 m/s）の領域に着目すると，SWV の平均値は(i)せん断波形のピーク値を用いた解析では 4.116 m/s（誤差: +2.9 %）となり誤差は小さいが，円形組織内の SWV 値の分布としては極端に遅い領域が混在する ば
図6

らつきが大きい状態となっている．また，(ii)相相互相関法を用いた SWV 評価方法

互相関法を用いた解析においては，円形組織内
5．SWV の解析結果の SWV の平均値は 2.993 m/s（誤差: -25.8 %）

図 3 のそれぞれの空間分布に対して，せん断となり，理論値とは大きな乖離を有している．

波速度を算出し，その結果から SWV の 2 次元

せん断波の伝播状況を動画上で 確認したとこ

分布を作成した． 図 7 は解析法(i)によりせん断

ろ，異なる媒質の境界から強い反射が生じるこ

波形のピーク追跡から解析した結果を， 図 8 はとにより，せん断波が干渉を受けて波形の乱れ解析法(ii)により相互相関法による追跡から解と信号レベルの低下が生じ，今回の SWV 算出

析した結果を示す．どちらの解析法においても，法においては評価結果に影響を与えることを

図 7(b)および 図 8(b)に示す通り円状組織が 1 つ確認した．この傾向は，円状組織が多数配置さ配置されている空間において，媒質 B の付近でれた場合（ 図 7(c)および 図 8(c)）において，より

SWV が速くなっていることが確認できる．また，顕著となっている．

媒質 B とせん断波の波面が交わる付近（図中の黒枠部分）では，媒質の特性が異なることで発

6．まとめ

生する反射波により，SWV が遅くなった．この実際の超音波診断装置の送信音場を模擬し傾向は，多数の円状組織が混在しているモデル

た弾性 FDTD 法を用いて，剛性率の異なる 2 種においてより顕著となっており， 図 7(c)およびの組織が混在した媒質における せん断波の伝

図 8(c)のように組織構造が複雑な場合において播を計算機シミュレーションで再現し，組織構

は，せん断波音速の評価精度が低下し，空間分造と信号処理が SWV に与える影響を確認した．

布として不安定となっていることが確認でき

微小組織の混在でも SWV は影響を受け，組織243

構造の複雑性により影響の程度が変わること，また，その影響はせん断波の毎時の波形を検出する信号処理法によって大きく異なることが確認された．今回の検討では，せん断波は媒質空間上を X 方向に伝播するものであると仮定
し，同一箇所の Y 方向変位を用いて SWV を評(a) 均質組織のみの空間

価しているが，実際には円弧上に伝播しているため，その乖離によって SWV 分布に特異な結果が表れていることも否めない．しかし，せん
断波の伝播方向や変位方向をどのように扱う
かは臨床用装置でも多様であるため，今後はそ(b) 円状組織 1 つを配置した空間

れらを考慮した追検討を行い，各種の処理条件
によって SWV の評価値にどの程度のばらつきが生じるかについて明確にし，SWV の標準化指標策定に役立てる．
謝辞
本研究の一部は ，JSPS Core to Core Program,(c) 半径が等しい円状組織を複数配置した空間
図 7 せん断波のピークを用いた解析におけるせん断波速度分布

JSPS KAKENHI Grant Number 15H03030,
17H05280，19H04482，千葉大学グローバルプロ
ミネント研究基幹の支援を受けた ．
利益相反の有無
開示すべき利益相反状態はない．
文［1］(a) 均質組織のみの空間

献Mark L. Palmeri, et al.: Guidelines for
Finite-Element
Radiation

Modeling

Force-InducedofAcoustic

Shear

Wave

Propagation in Tissue-Mimicking Media,
IEEE T. Ultrason., 64(1), 78-92, 2017［2］

山川誠：せん断波伝播による超音波エ
ラストグラフィの原理，Med. Img. Tech.

(b) 円状組織 1 つを配置した空間

32(2), 75-80, 2014［3］

山越芳樹：せん断波伝播による組織弾性計測，J. Med. Ultrason., 42(5), 589-597 ,
2015

［4］

佐藤雅弘：FDTD 法による弾性振動・波動の解析入門，森川出版, 2003

［5］(c) 半径が等しい円状組織を複数配置した空間
図 8 相互相関法を用いた解析におけるせん断波速度分布

宇野亨： FDTD 法による電磁界およびアンテナ解析，コロナ社, 1998

［6］

荒木力：エラストグラフィの徹底解説,
秀潤社, 2011244

Verification of instability factors of shear wave elastography by FDTD
Daiki ITO*1, Atsuko YAMADA*1, Takuma OGURI*1,3, Kenji YOSHIDA*2, Tadashi YAMAGUCHI*2*1 Graduate School of Science and Technology, Chiba University*2 Center for Frontier Medical Engineering, Chiba University*3 GE Healthcare Japan Co.,Ltd.

Shear wave elastography (SWE), which utilizes the shear wave velocity (SWV) generated in tissue by acoustic
radiation force, has been used in clinical practice as a method for evaluating the stiffness of tissues by ultrasound.
However, SWV calculation dramatically depends on the diagnosis equipments because of the difference of thealgorithms of pre and post signal prosessing, and the calculated SWV is also unstable in some observation targets dueto the physical properties and the structure of the tissue. In this report, the relationship between the methods of signal
processing and the calculated SWV was investigated by means of simulated shear wave propagation in tissue with theelastic Finite-Difference Time-Domain (FDTD) method. Propagation of shear wave in biological tissue was simulated
under the transmission condition which mimicked the acoustic radiation force distribution of actual diagnosis
equipment. The results show that the calculated SWV differs between the two signal processing, and this difference
becomes remarkable as tissue structure becomes complicated.
Key words: ultrasound, elastography, shear wave, elastic FDTD, viscoelasticity

著者紹介伊藤 大貴 (いとう だいき)2019 年千葉大・工学部・メディカルシ
ステム工学科卒.現在．千葉大学院・融合理工学府・基幹工学専攻・医工学コース在籍中．日本医用画像工学会会員，日
本音響学会会員

山田 敦子（やまだ あつこ）
2018 年千葉大・工学部・メディカルシ
ステム工学科卒.現在．千葉大学院・融合理工学府・基幹工学専攻・医工学コース在籍中．日本音響学会会員

大栗 拓真（おおぐり たくま）2015 年千葉大院・工学研究科・メディカルシステムコース修了．現在，GE
Healthcare Japan 超音波製品開発部，
千葉大学院・融合理工学府・基幹工学専
攻・医工学コース在籍中．汎用超音波診断装置の開発に従事．日本超音波医学会
会員．

245

吉田 憲司 （よしだ けんじ）2009 年 同志社大学大学院生命医科学
研究科・生命医科学専攻修了．博士（工学）．現在，千葉大・フロンティア医工学センター・助教．医用超音波，特に造影超音波の研究に従事．IEEE，日本音響学会，日本超音波医学会，応用物理学会，各会員．
山口 匡 (やまぐち ただし)2001 年千葉大・自然科学研究科・情報科学専攻修了．博士（工学）．現在，千葉大学フロンティア医工学センター・教授．医用超音波，特に組織性状診断と音響特性評価の研究に従事．IEEE・Senior
member，IEICE・Senior member、超音波医学会・理事，音響学会・超音波／アコースティックイメージング委員など．

OP2-08

表現学習と SVM による胃壁マイクロ CT 像の半教師ありセグメンテーション手法
御手洗 翠*1

小田 紘久*1 杉野 貴明*1 守谷

隼人*1 小田伊東高畠

昌宏*1 小宮山 琢真*2 森博嗣*4 名取

享泰*1雅樹*3

博*5 森 健策*1,6,7

要旨
本稿では，Spherical K-means (SpK) による表現学習と SVM を用いた胃壁μCT 像から粘膜層，粘膜下層，
筋層及び腫瘍を半教師ありで抽出する手法について報告する．μCT 画像はμm オーダーで標本を 3 次元的に観察可能であり，胃壁μCT 像から腫瘍及び層構造を抽出することで腫瘍の立体的構造把握が可能となる．しかし，豊富なラベルデータを作成するのは容易ではないため,教師ありの抽出手法を用いるのは難し
い．また，胃壁μCT 像はコントラストが低いことから，教師なしの抽出手法で精度良く抽出することは困難である．そこで本手法では，対象画像とごく少量のラベルデータを利用する半教師ありの抽出手法により問題の解決，抽出精度の向上を図った．本手法は(1) SpK による表現学習, (2) 特徴抽出, (3) SVM を用いたラベルの割り当ての 3 段階から成る．本手法を胃壁μCT 像に適用した結果，粘膜層，粘膜下層，筋層及び腫瘍の抽出の F 値の平均がそれぞれ 59.6％，41.9％，70％，32.3％であった．
キーワード：マイクロ CT，セグメンテーション，胃壁，半教師あり学習

1．はじめになどの人工的な変化が加わることがあるので，胃癌診断において，胃壁の顕微鏡画像を用いその診断，解釈は慎重でなければならない[1]．

た診断はその後の治療方針の決定に重要であ

胃壁のμCT 像では，胃壁の微細構造を非破壊る．顕微鏡画像では，μm オーダーで胃壁の微的に 3 次元で確認できるため，腫瘍の立体的構

細構造を 2 次元的に確認できる．しかし，圧挫造把握が可能であると考えられる．しかし，胃壁のマイクロ CT 像を読影できる医師が少ない――――――――――――――――――

ため，ラベルデータの作成が容易ではことから，*1 名古屋大学大学院情報学研究科

教師あり学習を用いることが難しい．また，粘〔〒464-8601

名古屋市千種区不老町〕

膜層，粘膜下層，筋層及び腫瘍の濃度値の差がe-mail: mmitarai@mori.m.is.nagoya-u.ac.jp

小さい，パラフィン領域と胃壁領域のコントラ*2 名古屋大学大学院医学系研究科

ストが低いなどの点から教師なし抽出手法を*3 札幌厚生病院

用いて精度良く各組織を抽出す ることは困難*4 札幌南三条病院である．そこで，本研究では Spherical K-means*5 恵和会西岡病院(SpK)による表現学習を用いた教師なし抽出手*6 名古屋大学情報基盤センター

法[2]とごく少量のラベルデータを利用し，粘膜*7 国立情報学研究所医療ビッグデータ研

層，粘膜下層，筋層及び腫瘍を精度良く抽出す

究センター

る半教師あり抽出手法を提案する．

246

2．手法

いて胃壁マイクロ CT 像から各組織を抽出する

本手法は，入力された胃壁マイクロ CT 像と手法を提案した．今後は層が乱れている胃壁の１スライスをアノテーションしたラベルから，抽出精度向上のため，胃壁の層構造をルールと胃壁の各組織を抽出する．前処理として異なるして利用することを検討する．また，ノイズのスライスの情報を用いたノイズ除去を行う．前

影響により境界が曖昧になっている症例 への処理後の画像からパッチを切り出し，SpK を実対応として境界を強調する処理を追加するこ

行することで，各クラスの重心を算出する．各とで精度の向上を目指す．

クラスの重心は特徴抽出フィルタとして利用

謝辞する[2]．入力画像のクラス番号のラベルが存在

本研究の一部は堀科学芸術振興財団，する領域からパッチを切り出し，SpK で得られ

JSPS/MEXT 科 研 費

た重心をフィルタとして適用し，特徴抽出を行

17H00867)，AMED (19lk1010036h0001)，ならびう．得られた特徴量とパッチを切り出した位置に JSPS 二国間交流事業によった．

のラベルを SVM の訓練データとして入力する．

利益相反の有無 なし

入力画像の全領域から切り出したパッチ にフ文

ィルタを適用し，特徴量を抽出する．訓練され［1］

た SVM に全てのパッチから得られた特徴量を(26108006, 17K20099,

献日本胃癌学会(編):胃癌治療ガイドライ
ン医師用．改訂第 3 版，2010

テストデータとして入力し，分類結果をラベル［2］としてパッチの切り出した位置に割り当てる．

Moriya T, Roth HR, Nakamura S, et al.:Unsupervised

pathology

image

3．実験と結果

segmentation using representation learning

１人の胃癌患者から摘出した胃壁を固定しwith spherical k-means. SPIE Medical

た 3 つのパラフィンブロックのマイクロＣＴ像

Imaging 2018 Digital Pathology 10581:に本手法を適用した．SpK に用いたパッチサイ

1058111, 2018

ズ 5×5×5 voxels，特徴抽出のパッチサイズ 41

表 1 提案手法による各組織の F 値
粘膜層
粘膜下層
筋層 腫瘍
[％]
[％]
[％]
[％]
Case1
69.1
49.7
77.3
40.4
Case2
39.9
21.9
65.0
24.2
Case3
69.8
54.1
67.8
59.6
41.9
70.0
32.3
平均

×41×13 voxels，SVM の訓練に用いたパッチ数
1500 で実験を行った．粘膜層，粘膜下層，筋層
及び腫瘍の抽出結果 についてＦ値で評価を行った．評価値を表 1 に，抽出結果の例を図 1 に示す．
4．考察
提案する手法ではマイクロ CT 像から濃度値の差異が少ない胃壁の層構造を抽出することが可能であった．しかし，Case2（表 1）のように癌によって層構造が乱れている胃壁に ついては各組織抽出の精度が低い結果となった．これは粘膜下層が細くなり，濃度値の差が無い粘膜層と筋層が接することで，それぞれの領域から抽出される特徴量が非常に類似し，識別が困

(a)

(b)

(c)

難になるためであると考えられる．また，ノイ

図 1 胃壁マイクロ CT 像の例．粘膜層は緑色，粘膜ズの影響により組織の境界が曖昧 になってい下層が青色，筋層が黄色，腫瘍が赤色のラベルである症例に関しても精度が低くなった．

る．(a) 入力画像．(b) 正解ラベル．(c) 提案手法による抽出結果．

5．むすび
本稿では，SpK による表現学習と SVM を用

247

Semi-supervised Segmentation of Stomach Wall on Micro-CT Volumes
using Representation Learning and SVM
Midori MITARAI *1, Hirohisa ODA*1, Takaaki SUGINO *1, Takayasu MORIYA *1,
Hayato ITOH *1, Masahiro ODA *1, Takuma KOMIYAMA *2, Masaki MORI*3,
Hirotsugu TAKABATAKE *4, Hiroshi NATORI *5 and Kensaku MORI *1,6,7*1 Graduate School of Informatics, Nagoya University*2 Nagoya University Graduate School of Medicine*3 Sapporo-Kosei General Hospital*4 Sapporo Minami-sanjo Hospital*5 Keiwakai Nishioka Hospital*6 Nagoya University Information Technology Center*7 Research Center for Medical Bigdata, National Institute of Informatics

In this paper, we report a semi-supervised segmentation method of the mucosa layer, submucosa, muscle layer and tumor
from stomach wall µCT volumes using representation learning by Spherical K-means (SpK) and SVM. µCT scannerenables the 3D visualization in μm order, and the three-dimensional structure of the tumor can be grasped by segmenting
the tumor and layer structure from the stomach wall µCT volume. However, application of supervised methods forsegmenting them is not suitable. Because creating enough labeled data for training is difficult. In addition, it is difficult
to segment the mucosa layer, submucosa, muscle layer and tumor with high accuracy by using unsupervised
segmentation method because contrast of intensities between tumor and layer structure’s is low. Therefore, in thismethod, we try to solve the problems and improve the segmentation accuracy by employing a semi-supervised
segmentation method using a very small amount of label data. This method consists of three steps including (1)representation learning, (2) feature extraction and (3) label assignment. As a result of applying the proposed method tostomach walls in μCT volumes, the averages of F-values of mucosa layer, submucosa, muscle layer and tumor
segmentation results were 59.6%, 41.9%, 70%, and 32.3%, respectively.

Key words: Micro CT, Segmentation, Stomach wall, Semi-supervised learning248

OP2-09

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

MR 画像と病理画像の統合による膵癌腫瘍の多重解像度モデルの構築
下村
岩本

智茂*1
千佳*2

クグレ*1

マウリシオ
大内田

研宙*2

橋爪

横田
誠*2

達也*1

本谷

秀堅*1

要旨
本研究では膵癌腫瘍の多重解像度モデルを構築する．膵癌は 5 年生存率が最悪であり，その機序の解明の為に基礎研究が盛んに成されている．本研究で構築する多重解像度モデルは膵癌腫瘍の MRI 画像と対応する顕微鏡病理画像との同時確率分布を表現するモデルである．この為に，低分解能だが非侵襲な MRI 画
像と，高分解能だが侵襲的にしか取得できない病理画像とを統合する．これによる MRI 画像と病理画像との関係解明が本研究の目的である．本研究では MRI 画像と病理画像との位置合わせにより作成されたデー
タセットを用いる．Generative Adversarial Network により MRI 画像の画素と HE 染色病理画像の同時確率分布を推定し，MRI 画像の 1 ボクセルから病理画像のパッチ群を推定するシステムを構築したので，その結果を報告する．
キーワード：病理画像，膵癌，KPC マウス，生成モデル，Generative Adversarial Networks

本研究の目的は MRI 画像の各位置と対応す

1．はじめに
膵癌は 5 年生存率が癌の中で最低で基礎研究

る病理画像との同時分布を表す多重解像度モが盛んに成されており，我々は膵癌の成長や転デルの構築である．これは MRI 画像からの対応

移などのマクロな機能と細胞レベルのミクロ

病理画像パターンの予測に有用であり，各ボク

な解剖構造との関係を表す膵癌の多重解像度・

セルから病理画像を一意に推定する代わりに，

経時変化モデルを構築している．このモデルは観察されうる病理画像分布を予測する．図 1 に膵臓の経時 MRI 画像と摘出した膵臓の顕微鏡示す MRI 画像の腫瘍領域と対応付けした病理

病理画像より構築する．MRI 画像は非侵襲で膵画像を用いてモデルを構築する．このモデルは癌腫瘍の経時変化や体内における腫瘍外形をボクセルを指定すると確率分布に従い病理画観察可能となる．ただし空間分解能は

像パッチ群を取得可能である為，MRI 画像から

0.1536×0.1536×0.5mm/voxel で腫瘍内部の構造の病理画像群の生成モデルでもある．

の観察はできない．一方，顕微鏡病理画像は侵襲的で膵臓を摘出後，薄切し顕微鏡を用いた撮影により取得する．外形の観察は難しいが空分――――――――――――――――――*1 名古屋工業大学

図1 MRI 画像（左）と対応付けをした病理画像（右）*2 九州大学
解能は 1.47×1.47×4μm/voxel と高く各種染色より部位毎に異なるミクロ構造を観察できる．

249

2．Conditional α-GAN による膵癌腫瘍の多重解像度モデルの構築

本研究では多重解像度モデル構築の為に αGAN[1]を利用する．隠れ変数を利用した生成モ
デ ル に は Variational Auto Encoder(VAE)[2] やGenerative Adversarial Network(GAN)[3] が あ る

図2 目標病理画像群（左）とその復元結果（右）が，VAE はボケた画像が生成されやすく GAN
は mode collapse が生じる．α-GAN では VAE とGAN を組み合わせこれらの欠点に対処する．
α-GAN は真だが未知の分布𝑝∗ (𝒙)に従う観測
データ𝒙を隠れ変数𝒛 ∼ 𝑝(𝒛)に写像する𝑞𝜼 (𝒛|𝒙)を表す Encoder と隠れ変数よりデータを生成す
る Generator 𝒢𝜽 ， デ ー タ が 𝑝∗ (𝒙)

図3 目標病理画像分布（左）と擬似病理画像分布（右）に従うか
覚的に比較し，結果を図 3 に示す．どちらの分

Generator よ り 生 成 さ れ た か を 識 別 す る
Discriminator 𝒟𝝓 ，隠れ変数が Encoder か𝑝(𝒛)よ

布でも薄桃色と紫色の病理画像が同量ずつ含り生成されたかを識別する Code Discriminator

まれ，MRI 画像と病理画像の分布は完全ではな

𝒞𝝎 の 4 つのネットワークから成る．また，それいが捉えられている．擬似生成モデルは大まか

ぞれパラメータ𝜼，𝜽，𝝓，𝝎を持つ．本研究ではな特徴を獲得できている為，MRI 画像と病理画

条件変数𝒚を導入した Conditional α-GAN を利用

像の同時確率分布の記述が可能となった．
4．まとめ

し，誤差関数を次のように定義する．

本研究は MRI 画像と病理画像の同時分布をℒ(𝜽, 𝜼) = 𝔼6𝜼7𝒛8𝒙, 𝒚9 :−𝜆 ∥ 𝒙 − 𝒢𝜽 (𝒛|𝒚) ∥? +𝒟𝝓 D𝒢𝜽 7𝒛8𝒚9E
𝒞 7𝒛8𝒚9log ?F𝒟 7𝒢 (G|H)9 + log ?F𝒞𝝎 7𝒛8𝒚9 J
𝝓𝜽I

表現する多重解像度モデルの構築を目的とした．この為に MRI 画像のボクセルから病理画像(1)

パッチを推定する生成モデルを作成し視覚的本研究では膵癌の MRI 画像の各位置から病な同時分布の確認により評価を行った．今後は理画像を推定する生成モデルを作成する．MRI

精度向上や定量評価方法の検討が課題となる．

画像の 1voxel に対し病理画像の 104×104pixel の謝辞

本研究は JSPS 科研費 26108003 の助成を受領域が対応しており，膵癌腫瘍は中心に近づくにつれて構造が変化する為，輝度値と各スライけたものです．

スでの腫瘍外縁部からの距離をボクセルから

利益相反の有無

得られる情報として使用する．

なし

3．実験結果文

学習データは約 200 万個のサンプルからなり，［1］

献

M. Rosca, B. Lakshminarayanan, D.

この内 8 割を訓練に 2 割をテストに使用した．

Warde-Farley, et al: Variational Approaches for

訓練時は病理画像に回転，反転，32x32pixel のAuto- Encoding Generative Adversarial Networks,

クロップをランダムに行い学習係数 0.0008 のarXiv e-prints, p.arXiv:1706.04987, June 2017.

Adam を用いて 10 エポック学習を行った．隠れ［2］

変数は 64 次元で標準正規分布に従うとした．

Encoding

図 2 に無作為に選択した目標画像と学習した

D.P. Kingma and M. Welling: AutoVariational

Bayes,

arXiv

e-prints,

p.arXiv:1312.6114, Dec. 2013.
I.J. Goodfellow, J. Pouget-Abadie, M.

モデルによる復元結果を示す．擬似画像はボケ［3］てはいるが大凡の構造は復元できている．次にMirza, et al: Generative Adversarial Networks,

同じボクセル条件の下で画像を並べ分布を視

arXiv e-prints, p.arXiv:1406.2661, June 2014.

250

Construction of a Multiscale Model of Pancreatic Tumors byIntegration of MR and Pathological Images
Tomoshige SHIMOMURA*1, Mauricio KUGLER*1, Tatsuya YOKOTA*1, Chika IWAMOTO*2,
Kenoki OHUCHIDA*2, Makoto HASHIZUME*2, and Hidekata HONTANI*1*1 Nagoya Institute of Technology*2 Kyushu University
In this paper, we construct a multiscale model of pancreatic tumors. Pancreatic tumors are the worst five-year
survival rate and have been researched to clarify its mechanism. Our mulitiscale model is a model that represents thejoint distribution between MRI images of pancreatic tumors and the corresponding microscopic pathology images. For
constructing the model, we integrate low resolution but non-invasive MRI images and pathology images with highresolution but invasively. The purpose of this study is to clarify the relationship between MRI images and pathologicalimages of pancreas tumors by this model. In this study, we use a data set created by alignment of MRI images andpathological images. We construct a system that predicts pathological image pathces from 1 voxel of MRI images by
estimating the joint distribution of voxel values of MRI images and HE stained pathological images with generative
adversarial networks, and report the result.
Key words: Pathology images, Pancreas Tumors, KPC mouse, Generative model, Generative Adversarial Networks

著者紹介
下村 智茂 (しもむら ともしげ)2017 年名古屋工業大学・工学部・情報工学科卒．2017 年同大大学院博士前期課
程･工学研究科･情報工学専攻修了．現在，同大大学院博士後期課程・工学研究科・情報工学専攻在籍．2018 年電子情報通信学会医用画像処理研究会奨励賞受
賞．

251

OP2-10

機械学習を用いた人工膝関節画像からの機種の同定～マハラノビス距離による識別効果と CNN の適用～
岸野

万由子*1
佐藤

山崎 隆治*1,2 冨田 哲也*3
嘉伸*4

菅本 一臣*3

要旨
現在，我々は，1 方向 X 線透視画像と人工膝関節 CAD（Computer Aided Design）モデルを用いた 2D/3D レ
ジストレーションに基づく人工膝関節 3 次元運動計測の全自動化に向けていくつかの要素技術の開発を行っている．その一つとして，X 線画像から人工膝関節の種類（タイプ）を識別，同定することは重要である．そこで本研究では，多種類の人工膝関節のシルエット画像（シミュレーション画像）を用いて機械学
習による識別性能の基礎的な検討を行った．具体的には，マハラノビス距離による識別効果と，畳み込み
ニューラルネットワーク（CNN：Convolutional Neural Network）による識別性能について検証を行った．結果として，2 つの特徴量を用いたマハラノビス距離による識別では，ユークリッド距離による識別に比べ，
誤識別が減少，識別性能が向上することが分かった．また，CNN による識別では，さらに識別率が向上し，その効果が確認された．
キーワード：人工膝関節画像，パターン認識，マハラノビス距離，CNN

1．はじめに非常に重要である．我々はこれまでに，術後術後人工膝関節の 3 次元的な運動情報を正人工膝関節の正確な 3 次元運動計測を実現

確かつ定量的に把握することは，最適な人工するため，1 方向 X 線透視画像と人工膝関節

膝関節の開発や手術手技の評価等を行う上でCAD（Computer Aided Design）モデルを用いた 2D/3D レジストレーション手法を開発して――――――――――――――――――

きた[1,2]．現在，その 3 次元運動計測の全自*1 埼玉工業大学大学院工学研究科情報動化に向けていくつかの要素技術の開発を行システム専攻っており，その一つとして X 線画像から人工〔〒369-0293 埼玉県深谷市普済寺 1690〕

膝関節の種類（タイプ）を識別，同定するこ

e-mail: f9004mxm@ sit.ac.jpとは重要である．近年，機械学習・AI（人工*2 埼玉工業大学工学部情報システム学知能） 技術を用いて画像中の対象物体を識科

別・分類する研究が盛んに行われている．そe-mail: yamazaki@ sit.ac.jp

こで本研究では，多種類の人工膝関節のシル*3 大阪大学大学院医学系研究科運動器

エット画像（シミュレーション画像）を用いバイオマテリアル学て（図 1），機械学習による識別性能の基礎的*4 奈良先端科学技術大学院大学情報科

な検討を行う．具体的には，学習データのク

学研究科

ラス分布を考慮したマハラノビス距離による252

F タイプ

N タイプ

P タイプ

V タイプ

図 1 様々なタイプの人工膝関節シルエット
画像（大腿骨コンポーネント）．
図 2 CNN の概要図．
識別効果，畳み込みニューラルネットワーク（CNN： Convolutional Neural Network） に

𝑁(𝑐)

(𝑐)
𝑆𝑖𝑗 =

よる識別性能について検証を行ったので報告
する．

1
(𝑐)
(𝑐)
∑(𝑥𝑛𝑖 − 𝑀𝑖 )(𝑥𝑛𝑗 − 𝑀𝑗 )
𝑁 (𝑐)
𝑛=1

式(1)および式(2)より，マハラノビス距離は以
2．方法

下の式になる．

以下，本研究で使用されるマハラノビス距

(𝑐)

𝑇

−1

𝑑𝑚 (𝑥) = (𝑥 − 𝑀(𝑐) ) (𝑆 (𝑐) ) (𝑥 − 𝑀(𝑐) )離，および機械学習法の一つである CNN に

(3)

2）CNN

ついて述べる．
1）マハラノビス距離

CNN は，通常のニューラルネットワークとマハラノビス距離とは，学習データのクラは違い，全結合層だけでなく， 畳み込み層とス分布を考慮した識別を行う際に有効な距離

プーリング層から構成されるニューラルネッである．正規分布を用いており広がりの大きトワークである．指定されたフィルタと呼ばい分布に対して距離が短くなるので，一般的れる小領域を畳み込み，特徴量とするため，に用いられるユークリッド距離に比べ，精度

ニューラルネットワークのように 1 ピクセルの良い結果が得られる．以下にマハラノビス

に対する特徴量よりも，画像の傾向を知るこ

距離の求め方について示す．

とができる（図 2）．

マハラノビス距離を求めるには， まず， ク
ラスごとの学習のための入力画像群の分布か

3．実験および結果

ら平均値と分散・共分散を求める． クラス c

本実験では，図 1 に示す 4 タイプ（F,N,P,V）に属し， K 次元の𝑁(𝑐)の人工膝関節のシルエット画像（シミュレー

個の学習用入力画像群(𝑐)を𝑥𝑛 = (𝑥𝑛1 , 𝑥𝑛2 , … , 𝑥𝑛𝐾 )𝑇 ,𝑛 = 1, … , 𝑁 (𝑐)(𝑐)ると， クラスの平均ベクトル𝑀
散行列𝑆

(𝑐)

ション画像） を生成，使用した．実際の人工

とす
と分散共分

膝関節 X 線画像と同様のシルエット画像（姿勢画像） を得るために，X 線撮影空間をコンは以下の式になる[3]．
(𝑐)

(𝑐) 𝑇

(𝑐)

𝑀(𝑐) = (𝑀1 , 𝑀2 , … , 𝑀𝐾 )(𝑐)

ただし，𝑀1 =1𝑁(𝑐)ピュータ内に再現し（図 3），人工膝関節 CAD(1)

モデルを X 軸および Y 軸回りに±5°および±10°の 2 パターンの範囲について，各範囲で 1°(𝑐)∑𝑁
𝑛=1 𝑥𝑛𝑖

ごとに回転，中心投影描画することにより生成画像を得た．X，Y 軸回りに±5° の範囲で

𝑆 (𝑐) =

(𝑐)
𝑆11
(𝑐)
𝑆21

⋮
(𝑐)
𝑆
[ 𝐾1

(𝑐)
𝑆12 ⋯
(𝑐)
𝑆22 ⋯

⋮ ⋱
(𝑐)
𝑆𝐾2 …

(𝑐)
𝑆1𝐾
(𝑐)
𝑆2𝐾

⋮
(𝑐)
𝑆𝐾𝐾 ]

回転させた場合には， 各タイプに対して 121
枚の画像を生成，実験には計 484 枚 （4×121）(2)を使用した．また，X，Y 軸回りに±10°の範囲で回転させた場合には，各タイプに対して441 枚の画像を生成，実験には計 1764 枚（4ただし，×441）を使用した．

253

Y

Z

X

人工膝関節
CADモデルシルエット画像の生成

図 3 コンピュータ内に再現した X 線撮影空間と生成画像．
1）マハラノビス距離による識別効果
本実験では，人工膝関節シルエット画像の識別に役立つと予想される特徴量として，“複雑度” および “外接長方形に占めるシルエットの領域比” の 2 つの特徴量を用いた．図4 および図 5 に±5°，±10°の範囲で回転させたときに生成した画像の各タイプにおける特図 5 ±10°の範囲で回転させたときに生成し徴量の分布をそれぞれ示す．

た画像の各タイプにおける特徴量の分布．
484 枚（±5°の範囲で生成）および 1764 枚（±10°の範囲で生成）の画像に対して，一つ抜き交差検証 （leave-one-out cross validation）
を行い，ユークリッド距離およびマハラノビ
ス距離を用いた場合の識別性能，効果を検証した． 結果として，マハラノビス距離による識別では，ユークリッド距離に比べて誤識別が減少し （±5°の範囲で回転させたときにはN タイプの 7 枚のみ，±10°の範囲で回転させたときには 4 タイプ合わせて 271 枚が誤識別），
識別性能がそれぞれ 94.4％から 98.6％ （±5°の範囲の場合），71.0％から 84.6％ （±10°の範囲の場合） に向上することが分かった（表 1）．
表 1 ±5°，±10°の回転範囲における生成画像を用いたユークリッドおよびマハラノビス

図 4 ±5°の範囲で回転させたときに生成し距離による識別性能．

た画像の各タイプにおける特徴量の分布．

2542）CNN による識別性能

4．考察

前述の実験結果をもとに， 本実験では， 2

本研究では，ユークリッド距離を用いた識

つの特徴量に基づくマハラノビス距離を用い別に比べ，マハラノビス距離を用いた識別でて誤識別された画像 （±5°の範囲で回転させは識別率が向上することが分かった．本実験たときには 7 枚，±10°の範囲で回転させたとで用いた各タイプの 2 つの特徴量の分布は正

きには 271 枚）に対して CNN による識別が規分布に近いために，分布を考慮したマハラ

可能かどうか調査した．ネットワークとしてノビス距離を用いることで，誤識別が減少しは， 畳み込み層からプーリング層の階層数をたと考えられる．また，CNN による識別にお1 とした単純なネットワークを構築， 使用しいて，単純なネットワークを用いた識別では，た（フィルタサイズは 5×5，フィルタ数は 2

マハラノビス距離による識別で用いた特徴量を適用）．

と同じ数のフィルタ数を用いたが，その結果，

表 2 に結果を示す．上段 2 つが，それぞれ識別率が 100％となる興味深い結果が得られ±5°および±10°の回転範囲における生成画

た．これにより，ヒトの感覚とは異なる最適像を用いた場合の一つ抜き交差検証の結果をな特徴量が存在，選択されることが示唆され示し，表 1 のマハラノビス距離を用いて誤識た．一方で AlexNet を用いた識別では誤識別別された全ての画像に対して識別が成功する

された画像が数枚存在した．これはネットワ

ことが分かった． また，下段 2 つは，参考ークの構成上，畳み込みが多いために画像のとして，±10°の回転範囲の生成画像を用いた

解像度が小さくなりすぎて，各タイプの画像

場合の 5-fold cross validation における，単純の特徴が減ってしまい，識別が難しくなったなネットワークおよび AlexNet[4]を使用したためであると考えられる．このことから，ときの識別性能を示す．本研究で構築した単CNN による識別において識別率の向上を図

純なネットワークでは全ての画像に対して識るためには，最適なネットワークを構築，選別が成功したが（100%），AlexNet を用いた場

択する必要があると考えられる．

合，誤識別される画像が存在した．
文
表 2 ±5°，±10°の回転範囲における生成画［1］

献Yamazaki T, Watanabe T, Nakajima Y, et像を用いた CNN による識別性能．上段 2 つal.: Improvement of depth position in

は leave-one-out cross validation，下段 2 つは

2-D/3-D registration of knee implants

5-fold cross validation による性能を示す．

using single-plane fluoroscopy. IEEE
Trans Med Imag 23: 602-612, 2004［2］

Yamazaki T, Futai K, Tomita T, et al.:3D kinematics of mobile-bearing totalkneearthroplasty

using

X-ray

fluoroscopy. IJCARS 10: 487-495 2015［3］

奥富正敏 ，他：ディジタル画像処理（改定新版）．公益財団法人 画像情報教育振興協会（CG-ARTS 協会）， 2015

利益相反の有無［4］

なし

Krizhevsky A, Sutskever I, Hinton GE:
ImageNet

classification

with

deep

convolutional neural networks. In Proc.
Advancesin

NeuralInformation

Processing Systems 25:1090–1098, 2012255

Identification of type from total knee arthroplasty images
using machine learning ~Discrimination effectby Mahalanobis distance and application of CNN~
Mayuko KISHINO*1, Takaharu YAMAZAKI*1,2, Tetsuya TOMITA*3,
Yoshinobu SATO*4, Kazuomi SUGAMOTO*3*1 Department of Information Systems, Saitama Institute of Technology Graduate School of Engineering*2 Department of Information Systems, Saitama Institute of Technology*3 Division of Orthopaedic Biomaterial Science, Osaka University Graduate School of Medicine*4 Graduate School of Information Science, Nara Institute of Science and Technology

We have developed some elemental techniques for full automation of 3D knee kinematic measurement based-on
2D/3D registration using a single-plane fluoroscopic image and computer assisted design (CAD) model of the knee
implant. As one of them, to identify the type of knee implant from X-ray image is important. In this study, we basic
examined the discrimination performance by machine learning, using silhouette (simulation) images of many kinds ofartificial knee implant. Specifically, we verified about the identification effect by Mahalanobis distance and thediscrimination performance by CNN. As a result, it was found that misclassification was reduced and discrimination
performance was improved in identification by Mahalanobis distance compared to identification by Euclidean
distance using two feature quantities. In addition, for identification by CNN, the identification rate was further
improved, and its effect was confirmed.

Key words: Total knee arthroplasty images, Pattern recognition, Mahalanobis distance, CNN

256

OP2-11

所見テキスト解析を用いる H&E 染色病理画像からの免疫染色群推定黄果葡*1 橋本 典明*1

横田

達也*1

中黒

匡人*2

高野

桂*2 中村 栄男*2

竹内

一郎*1

本谷

秀堅*1

要旨
本研究では、悪性リンパ腫のサブタイプ同定に用いる免疫染色群を HE 染色画像より推定する手法を提案する。サブタイプの同定には多種類の免疫染色を施した病理画像を観察しなければならず、サブタイプ同定に必要な免疫染色群は症例ごとに異なる。病理医はまず HE 染色画像を観察し，その結果に基づきサブタイプの同定に必要な免疫染色群を定めている。本研究では，HE 画
像より悪性リンパ腫同定に必要な免疫染色群を推定する機械を構築するために、HE 画像と所見
テキストの組を利用する。同一サブタイプの悪性リンパ腫であっても，HE 画像に依存してサブタイプ同定に用いる免疫染色群が異なる症例がある．このことに注目することにより，HE 染色
画像からの免疫染色群推定の容易さを症例ごとに定量評価する試みについても紹介する．
キーワード：悪性リンパ腫、免疫染色，CNN、決定木，数量化Ⅲ類

1．はじめにの免疫染色群を推定し，サブタイプと免疫染

悪性リンパ腫は血液細胞に由来する癌の一色群の組から症例ごとに「典型度」を評価しつであり，全身のいずれの場所にも病変が発た．悪性リンパ腫の診断では，サブタイプが生する可能性があり，形態や性質によって 70

同じでも免疫染色群は症例ごとに異なる．な

種類以上のタイプに分類される[1]．悪性リン

ぜなら，診断が容易であるかによって，用いパ腫の治療はどのタイプに分類されるかによる免疫染色の組が異なり，染色組間の距離がって，大きく治療方針が異なるため，正確な変化するためである．したがって，症例の免診断には病理顕微鏡検査による腫瘍の観察が疫染色の組と組の間の距離を数量化Ⅲ類によ必要となる．病理顕微鏡検査では，H&E 染色

り求め，各サブタイプの確率密度関数をカーによる観察結果に基づいて．更に 110 ある免

ネル密度推定により求めることで「典型度」

疫染色のうち幾つかを選択して染色を行うこを定義し，予測器への入力に用いることで免とで腫瘍の性状評価を行い，病気のタイプの疫染色群予測の容易さを定量評価した．

決定を行う．本研究では，HE 染色画像から
2．決定木による免疫染色の予測対象決定――――――――――――――――――

所見データから得られた患者の病名と免疫*1 名古屋工業大学

染色の結果を用いて決定木の構築を行う．決〔〒466-8555 名古屋市昭和区御器所町〕

定木学習アルゴリズムには C4.5[2]を使用し

e-mail: k.ko.212@nitech.jp

た．構築された決定木は H&E 染色病理画像

e-mail: hontani@nitech.ac.jp

が根ノードとなり，その下に木が複数構築さ*2 名古屋大学医学部附属病院
投稿受付：2003 年 1 月 31 日

257

れる．木のノードは免疫染色となっており，として定義される．他の病気タイプについて

子ノードへと伸びる枝は当該免疫染色での染も同様の計算を行うことで症例の典型度が定色結果を示し，葉ノードは病名となっている．

義できる．

本研究では H&E 染色病理画像から推定できる免疫染色は根ノードにより近い免疫染色で4．畳み込みニューラルネットワークによあると推定できる．構築された決定木の結果

る免疫染色の推定から，6 種類の免疫染色を推定対象とする．

悪性リンパ腫の H&E 染色病理画像をパッチに切り出した画像を入力とし，決定木学習

3．数量化Ⅲ類による症例の典型度評価

によって定めた免疫染 6 種類を出力とする畳数量化Ⅲ類を用いて症例間と免疫染色間のみ込みニューラルネットワークを構築する．

距離評価を行った．結果から，3 種類の腫瘍

また，症例の典型度と免疫染色群予測の難易な病気タイプに分かれる図 1 のような散布図

度の関係を表すために実験を行った．

が得られた．
5．実験
病理画像のパッチを入力とした予測器による学習結果を示す．学習データとして典型度の低いものを使用する学習と，高いものを使用した学習の二種類を行い，精度の比較を行った．テストデータは共通のものを使用している．実験のエポック毎の精度を図 2 に示す．

図 1 免疫染色の組により定めた距離に基づく症例の散布図．各点が症例を表し，色が病型を表す．
図 2 症例の典型度の違いによる免疫染色群推定の腫瘍な病気タイプ 3 種類について散布図か

実験結果．左図は典型度の低いデータを用いた学らカーネル密度推定を行い，病気毎の確率密

習結果．右図は典型度の高いデータを用いた学習度関数を計算する．各病気の確率密度関数に結果を表す．

症例の座標を代入することで症例の出現しやすさを算出することができる．散布図から，利益相反の有無

中心部は様々な病気タイプが混在しているた「なし」

め，中心部以外の症例につては H&E 染色病
文理画像からの免疫染色群の予測が容易である［1］と考えられる．本研究では，予測のしやすさ

献

悪性リンパ腫 基礎知識:[国立がん研を典型度とし，確率密度関数を用いた典型度

究 セ ン タ ー が ん 情 報 サ ー ビ ス ].

の定義を行った．各病気のタイプの確率密度

https://ganjoho.jp/public/cancer/ML/ind

関数を𝑓B ，𝑓T ，𝑓H とすると，B 細胞リンパ腫

ex.html. (2019 年 5 月 5 日閲覧)である症例𝐱の典型度は，
𝑓B (x)𝑓B (x)+𝑓T (x)+𝑓H (𝐱)［2］

J. Ross Quinlan. C4.5: Programs formachine learning. Morgan Kaufmann(1)

Publishers, San Mateo, California，1993．

258

Immunostaining group estimation from H&E stained pathology images
using findings text analysis
Kaho KO*1, Noriaki HASHIMOTO*1, Tatsuya YOKOTA*1, Masato NAKAGURO*2, Kei KOHNO*2,
Shigeo NAKAMURA*2, Ichiro TAKEUCHI*1, Hidekata HONTANI*1*1 Nagoya Institute of Technology*2 Nagoya University HospitalIn this study, we propose a method to estimate immunostaining groups used for subtype identification of malignant
lymphomas from HE staining images. In order to identify subtypes, it is necessary to observe pathological images
subjected to many types of immunostaining, and the immunostaining group required for subtype identification differsfrom case to case. The pathologist first observes the HE staining image, and based on the result, the immunostaining
group necessary for identification of the subtype is defined. In this study, in order to construct a machine to estimate
the group of immunostainings necessary for the identification of malignant lymphoma from HE images, we use a setof HE images and findings text . Even in the case of malignant lymphomas of the same subtype, there are cases where
the immunostaining groups used for subtype identification differ depending on HE images. By focusing on this, we
introduce an attempt to quantitatively evaluate the ease of immunostaining group estimation from HE staining images
for each case.
Key words: Malignant lymphoma, Immunostaining, CNN, Decision tree, Quantification III,259

OP2-12

深層学習を用いた術野映像内肺領域抽出
今西 勁峰*1

武 淑瓊*2

中尾 恵*2

松田 哲也*2

要旨
外科手術の安全性向上のためには血管および腫瘍の三次元構造の正確な把握が必要不可欠である．近年，術中臓器の変形推定技術が広く研究されており，カメラ画像内における二次元臓器領域が抽出できれば，臓器の三次元変形推定が可能であることが示されている．しかし，手術時において形状が大きく変化する
肺などの臓器についてはカメラ画像内の臓器領域を精度よく自動抽出する手法が確立されていない．本研
究では，深層学習を用いて，胸腔鏡下肺がん切除術の術中カメラ画像に対し，肺領域を自動抽出可能なモデルを構築した．過去に実施された肺がん切除術の術中カメラ画像を用いて本モデルを訓練し，検証用症
例の画像を用いて有効性を検証した結果，初期画像に対する肺領域の自動抽出精度，および時系列的な領域変化を伴う連続画像に対しての自動抽出精度がともに良好であったので報告する．
キーワード：深層学習，手術映像，領域抽出，セグメンテーション，U-Net

1．はじめに確な同定には変形推定が必要不可欠である．

近年，カメラ解像度の向上や手術用ロボッ

近年，1 枚の術中カメラ画像における臓器のトの高性能化により，低侵襲である内視鏡下シルエットから変形推定が可能であることがでの外科手術が一層幅広い診療科で実施され実験的に示されているが[5]，臨床利用においている．内視鏡下手術の安全性向上において，てはカメラ画像内の肺領域の認識が必要であ

関心領域の血管および腫瘍の三次元構造を把る．Wu ら[6] はグラフカット法とオプティカ

握することが不可欠である．しかし，内視鏡

ルフロー法を組み合わせることで時系列的にの狭い術野を通して臓器の一部を視認しなが変化するカメラ画像内の肺領域をトラッキン

ら手術を進めなければならず，これを支援すグする手法を開発した．しかし，開始フレー

る研究が進められている[1][2][3]．

ムやトラッキングが失敗した際には手動設定

これまでに腹腔鏡画像における肝臓の輪郭が必要で，自動化には課題が残っている．

を視覚的な手がかりとしてバーチャルモデル

本研究では，肺手術の術中カメラ画像に対と手術映像との姿勢合わせを 目指した研究

し，深層学習を用いて，術野映像内の肺領域[4]が報告されているが，特に肺がんを対象とを自動抽出可能なモデルを構築することを目した呼吸器外科手術等においては，肺内圧の的とする．深層学習では二次元画像に対する変化に伴って肺実質が大きく虚脱し，その変領域抽出・分割用モデルが多く提案されてお形量が 50%以上と大きいため，腫瘍位置の正り，医用画像に対してはセグメンテーションモデルとして U-Net[7]が広く用いられている．

――――――――――――――――――

術中映像に対しては，U-Net 構造を応用した*1 イーグロース株式会社

モデルを用いてリアルタイムで術具領域を抽〔〒604-8006 京都市中京区下丸屋町 403

出可能な研究[8]も提案されているが，変形量

番地〕が大きく，表面模様の個人差の大きい臓器領

e-mail: k.imanishi@egrowth.co.jp

域の抽出については対応できていない．本研*2 京都大学大学院 情報学研究科

究では U-Net を応用した領域抽出モデルを構

投稿受付：2003 年 1 月 31 日

260

築し，実際の肺がん切除術の術中カメラ画像

フレーム画像を抽出した後，手作業によってを用いて本モデルを訓練した上で，検証用画各フレームにおける肺野領域の教師データを像に対し良好な精度で肺野領域を抽出するこ

作成して学習した．また，学習する際はデーとを確認したので報告する．

タ拡張手法として，平行移動，アフィン変換，
ズーム，コントラスト変更等の処理を行った．

2．術野映像内の臓器領域抽出モデル

なお，ダイス係数を学習および評価に用いた．

本研究では，U-Net 構造を用いて，臓器抽

２つのモデルを用いて，各症例動画から抽出

出モデルを 2 個構築した．モデル 1 は U-Net

した教師データに対し，交差検証を実施した構造をそのまま採用し，予測対象フレーム画

結果，ダイス係数は平均 0.954，最小 0.768，

像(256×256×3)を入力とし，予測対象フレー

最大 0.992 であった(表 1)．Model2 のみを用

ムにおける肺野領域を出力とするモデルであいた方がアンサンブル処理よりも精度が高かり，モデル 2 は[予測対象フレーム(256×256

ったが，カメラ視点が大きく移動した際や継×3) ，参照フレーム+参照フレームにおける続的なトラッキングによる誤差の拡大を抑制

肺野領域(256×256×4)]の 2 入力から，予測対するため，アンサンブル処理を行ったほうが象フレームにおける肺野領域を出力とするモ

頑健性は高い傾向にあった．抽出結果例を図デルである(図 1)．つまり，モデル 1 は初期画

2 に示す．抽出結果の傾向として，変色の少像における肺野領域の抽出を目的とするモデ

ない肺に対しては精度良く抽出できているが，ルであり，モデル 2 は連続的なフレームの差

変色や癒着の多い肺については抽出精度は低

異情報を考慮した肺野領域抽出を目的とする

かった．抽出精度が低かった症例については，

モデルである．ただし，初期画像以降の抽出結果については，2 モデルの出力をアンサン

表 1 各モデルおよびアンサンブル処理によ

ブル処理した結果を採用する．

る抽出結果(ダイス係数)
Model1Model2Average
0.946
0.969
Min
0.758
0.897
Max
0.991
0.993

Ensemble
0.954
0.768
0.992

図 1 U-Net 構造を持つ映像トラッキング用モデル

3．学習実施および結果

図 1 抽出結果例．(a)良好な抽出結果例および(b)京都大学医学部附属病院呼吸器外科から胸精度の低かった抽出結果例．右：元画像．左：腔鏡下肺がん切除術を受けた 25 例の手術動抽出された肺領域(ハイライト部)

画の提供を受けて，術具が含まれていないシーンを 20~50 フレーム程度ピックアップし，

261

他の症例に類似した変色や癒着部がなかった

pp. 4216-4227, 2018.

ため，学習パターンが不足し，これらの症例［3］

Nakao M, Oda Y, Taura K and Minato

に対する汎化性能が向上しなかったためと考

K: "Direct Volume Manipulation forえる．

Visualizing

Intraoperative

Liver

Resection Process", Computer Methods
4.

まとめ

and Programs in Biomedicine, Vol. 113,

本研究では，術野映像内の肺領域を自動抽No. 3, pp. 725-735, 2014.

出可能な深層学習モデルを開発した．実際の［4］

Koo B, Ozgur E, Le Roy B, et al.:

手術動画から教師データを生成・学習した結"Deformable

果，良好な抽出結果が得られることが分かっ

preoperative 3D liver volume to aた．変色や癒着の多い症例に対しての抽出結

laparoscopy image using contour and果は低かったが，今後はさらなる症例画像を

shading cues", MICCAI, 2017

追加して学習を行うことで抽出精度を改善可［5］能であると考える．

registrationofaNakao M, Akira S, Matsuda T: "A
simulation

study

on

deformation

estimation of elastic materials using
謝辞

monocular images", Int. J. Computer

本研究は，AMED 産学連携医療イノベーシ

Assisted Radiology and Surgery, 12(1),ョン創出プログラム (ACT-M) 「脱気変形肺S257-258, 2017に対応した微小結節の術中同定法」の助成に

［6］

よる ．

Wu

S,

Nakao

M,

MatsudaT:"Continuous Lung Region Segmentationfrom

利益相反の有無

Endoscopic

ImagesforIntra-operative Navigation", Computers

なし．

in Biology and Medicine, Vol. 87, No. 1,
pp. 200-210, 2017
文

［1］

Lin

MW,

献

Ronneberger O, Fischer P, Brox T :"U-Net: Convolutional Networks forChen JS: "Image-guided

techniques for localizing pulmonary

Biomedical

nodules

MICCAI, Vol. 9351, pp234-241, 2015

inthoracoscopic

Journal of Thoracic
［2］

［7］

surgery”,

Disease,

［8］

8(9):

Image

Garcia-Peraza-Herrera,

W,

Nickel F, Kenngott HG et al.: "Computer

holistically-nested

tomographic analysis of organ motion

segmentation of robotic surgical tools",

caused by respiration and intraoperative

IROS, pp5717-5722, 2017

navigated

minimally

invasiveesophagectomy". Surg Endosc 32(10),

262

al.:

Li

Fidon

for

et

L.C.,

S749-S755, 2016

pneumoperitoneum in a porcine modelL,

Segmentation","ToolNet:
real-timeLung region segmentation of intraoperative images using deep learning
Keiho IMANISHI *1, Shuqiong WU*2, Megumi NAKAO*2, Tetsuya MATSUDA*2*1 e-Growth Co., Ltd.
*2 Graduate School of Informatics, Kyoto University

Accurately understanding the three-dimension (3D) geometry of vascular structures and tumors is essential for improving the safetyof surgery. Recently, techniques for online estimation of organ deformation have been widely studied. Although latest studies haveshown that estimation of the 3D deformation of organs is possible from 2D organ regions of intraoperative camera images,
segmentation of organ regions that are greatly deformed during treatment from camera images with high accuracy is a technicalchallenge. This study propose a model that can automatically segment the lung region from intraoperative camera images ofendoscopic lung cancer resection using deep learning. We trained and verified the accuracy of the model using intraoperative
camera images of lung cancer resection. Verification results show that proposed model can accurately segment the lung area fromthe initial image and continuous intraoperative images.

Key words: Deep learning, Intra-operative image, segmentation, U-Net

263

OP2-13

高難易度画素用の損失関数を用いた
セマンティックセグメンテーション
松月

大輔*1

堀田 一弘*1

要旨
セマンティックセグメンテーションは画像中の 1 画素ずつを識別し，ラベル付けを行う．当然，画像の画素毎に識別の難易度の高い箇所もあれば，簡単な箇所もある．通常，セマンティックセグメンテーショ
ンのラベル付けは，出力層で出力したいチャンネル数まで次元削減した後に softmax 関数を適用し，各クラスの確率に変換する．その際，各クラスの確率値が均等に与えられるような箇所は，一般的に識別が難し
い箇所であることが多い．そこで我々は，各クラスの確率の最大値に基づき，識別の難しい箇所を強く学習するような学習法を提案する．評価実験では，「細胞膜」，「細胞核」，「細胞質」を含むデータセットを用い，従来の学習方法と我々の提案する学習方法の精度比較を行った．その結果，Intersection over Union を用いた精度評価において提案手法が従来法を上回ることを確認した．
キーワード：細胞画像，セグメンテーション，画素難易度，Deep learning

1．はじめにConvolutional Neural Network(CNN)[1]の登場

近年，Deep Learning の発展と共に様々な業により，Deep Learning を用いた手法が主流と界において人的労力削減の為に AI による自な っ て お り ， CNN 構 造 に 基 づ い た Fully

動化が行われている．医療分野では人間にはConvolutional Network(FCN)[2] の 登 場 を 機 に判断することの難しい CT 画像からの異常検

エンコーダー・デコーダー構造を持つアーキ

知を行うことにより，医師の診断援助が期待

テクチャが多く提案されてきた．SegNet[3]でされている．また，細胞分野においては細胞

は FCN のエンコーダー構造に VGG16[4]を応画像から「細胞膜」，「細胞核」などを自動分用しており，車載カメラにおけるセグメンテ

類するセマンティックセグメンテーションがーションにおいて大きな精度向上を示した．

注目されており，研究者が目で見て行ってき医療画像の分野では，エンコーダー・デコー

た大きな負担を軽減することが可能である．

ダー間に Concatenation を含むことにより，デそこで本論文では細胞画像のセマンティック

コーダー部分で失われる特徴をエンコーダー

セグメンテーションの精度向上を目指す．

部分が補正し，セグメンテーション精度向上を実現した U-net[5]が高い有効性を示してい

セマンティックセグメンテーションはる．近年ではエンコーダー・デコーダー構造――――――――――――――――――のうち，エンコーダー部分の特徴抽出を，物*1 名城大学

電気電子工学

体分類の分野で非常に高い精度を示した

愛知県名古屋市天白区

ResNet[6]や ResNext[7]，DenseNet[8]などの非理工学研究科

専攻〔〒468-8502
塩釜口 1-501〕〕

常に深いネットワークを採用するモデルが多e-mail: {140442123@ccalumni, kazuhotta@}.

くみられる．PSPnet[9]ではエンコーダー部分

meijo-u.ac.jpに ResNet101 を，FC-DenseNet[10]は DenseNet

264

を採用しており，深い特徴抽出がセマンティ

んでおり，注意構造による重点的な学習は可

ックセグメンテーションにおいても有効性が能であるが，パラメータ数は増加してしまう

あることを示した．しかし，これらの手法はため，計算コストの増加が問題となる．

セグメンテーション精度を大きく向上させた

セマンティックセグメンテーションの分野がその反面，内部パラメータの増加により，

では Inception Resnet[14]に階層的に簡単な箇

計算コストが非常に大きくかかってしまう問

所から学習を行う機構を加え，ステージ毎に題点がある．その問題を解決するためには，損失関数を算出する Deep Layer Cascade[15]

学習を効率的に行うことが重要である．

や，クラス毎の出現画素数を基にしたクラス

セマンティックセグメンテーションは画像

難易度によるタスク分類を行った後に学習をを 1 画素ずつ識別，ラベル付けを行う．当然，行う方法 [16]では，識別の難易度に注目した

画像の画素毎に識別の難易度の高い箇所もあ構造の有効性を示している．しかし，これられば，簡単な箇所もある．通常，セマンティの手法は難易度毎に事前に正解画像を用意す

ックセグメンテーションのラベル付けは，出る必要がある．

力層で出力したいチャンネル数まで次元削減した後に softmax 関数を適用し，各クラスの3．提案手法

確率に変換する．その際，クラス毎の確率値

多くのセマンティックセグメンテーション

が均等に与えられるような箇所は，一般的にを行うネットワークは，テスト時において出

識別が難しい箇所であることが多い．そこで力層に softmax 関数を使用し，各クラスの確

我々は，確率の最大値に基づき，識別の難し率に変換する．その際，クラス毎の確率値がい箇所を強く学習することにより学習を効率均等に与えられるような箇所は，一般的に識的に行う手法を提案する．

別が難しい箇所であることが多い．図 1 は 3

本論文の構成は以下の通りである．まず，2クラスの細胞画像において，学習時の出力層

節で関連研究について述べる．次に，3 節でに softmax 関数を適用後，確率の最大値を画提案手法を示し．4 節で実験結果を示す．最素毎に抽出して可視化した確率マップである．

後に結論として，まとめと今後の課題を 5 節

確率マップは青色に近い箇所ほど確率の最大で述べる．

値が 1 に近く，赤色に近い箇所ほど確率の最大値が 0 に近づくことを示している．図 1 で

2．関連研究は 3 クラスの細胞画像なので，確率の最大値

学習を効率的に行うことにより精度向上をが 50%付近を示している黄色い箇所は識別が目指す手法は物体分類問題においては様々な難しい箇所であることを示している．図 1 を研究が行われている．Curriculum Learning[11]見ると，学習回数の少ない Epoch = 5 ~ Epoch

では，識別の簡単な所から学習を実施し，そ= 40 付近では黄色を示す領域が多々見られるの後難しい箇所を学習することにより，人間ことが分かる．逆に Epoch = 200 のように学の学習に近い形を実現し分類精度向上を示し習が進んでいく毎に黄色を示す領域は細かい

た．また近年では人間の注意構造をモデル化

エッジ情報のみとなっていき，ほとんどの領した Attention 機構が注目されている．画像分

域は青色領域となり外形やクラスが決定して類コンテストである ILSVRC2017 で優勝した

いることを示している．当然，青色領域も正SENet[12]は Residual Attention[13]に channel

解と異なる箇所も多々存在する．つまり，学毎の注意構造を導入することにより，学習に習に有効な外形やクラスを特定する情報は，重要な箇所をより重点的に学習でき，高い分少ない学習回数に集中しており，黄色領域な類精度を示した．しかし，これらの Attention

どの難しい箇所が重要となる．そこで我々は機構は複数回の畳み込み処理や全結合層を含確率の最大値に基づき，確率的に難しい箇所

265

を行う．閾値αはマスク画像の画素平均により決定する．
𝛼=1𝑦∗𝑥∑0≤ 𝑖 ≤ 𝑦 𝑓(𝑥, 𝑦)

(1)

0≤𝑗≤ｘ

ここで x,y はマスク画像の x 軸，y 軸方向の画素数を示しており，f はマスク画像を表す．
最終的にネットワークが学習を行う損失関数は(1)(2)の工程にハイパーパラメータλをかけた値とした．本実験においては，経験的法則からλ=0.5 に固定して実験を行う．
𝑙𝑜𝑠𝑠𝐴𝑙𝑙 = 𝑙𝑜𝑠𝑠 + λ ∗ 𝑙𝑜𝑠𝑠ℎ𝑎𝑟𝑑 (2)4．評価実験
本節では 2 種類の細胞画像を用いた評価実験の結果を示す．本実験の評価指標はIntersection over Union(IoU)を採用した．IoU

図 1 細胞画像の確率マップ

は各クラスに対して画素毎に重なり率を導出を強く学習することにより，効率的な学習をするので，セマンティックセグメンテーショ行う手法を提案する．

ンにおいて適している．IoU は次のような式

我々の提案手法は医療分野のセマンティッ

で表すことができる．

クセグメンテーションにおいて高精度を示し，
𝐼𝑜𝑈 =計算コストの軽いネットワークである

𝑇𝑃
𝐹𝑃+𝐹𝑁+𝑇𝑃(3)

U-net[5]をベースにしている．図 2 に我々の提こ こ で FP は False Positive ， FN は False

案手法のモデルを示す．我々の提案手法ではNegative，TP は True Positive を表す．

エンコーダー・デコーダー共に 3×3 の畳み込

4.1 節ではマウスの細胞画像のデータセッ

み処理後に Batch Renormalization[17]を採用

トに対する評価実験について，4.2 節ではシしている．Batch Renormalization では細胞画ョウジョウバエの細胞画像のデータセットに像のように少ない学習画像の際にも大きく依対する評価実験の結果を示す．

存しないように学習を行える．我々の提案手
法は主に 2 つの工程で実装される．

4.1．マウスの細胞画像データセット(1) 通常のセマンティックセグメンテーシ

マウスの細胞画像データセットは顕微鏡に

ョンと同様に Softmax cross entropy 誤差「細胞核」，「細胞質」に蛍光マーカーが発現(loss)を算出する．

するマウスの肝臓の 50 枚の蛍光画像である．

(2) 出力層に Softmax 関数を適用後，確率のまた画像サイズは最小 161×161 画素，最大最大値が閾値αを超えた箇所のみ

657×657 画素の不均一の画像サイズとなっSoftmax cross entropy で誤差(loss_hard)をている．本実験では画像サイズを統一するた算出する．

めに全 50 枚の画像を 256×256 画素にリサイ(2) に つ い て 詳 し く 説 明 す る と ， 出 力 層 にズした．また，50 枚のうち 35 枚を学習画像

Softmax 関数を適用することによりクラス毎

として選択し， 5 枚を検証及び 10 枚をテスの確率が埋め込まれる．その確率の最大値をト用に分類し，テスト実験は，従来法及び提画素毎に抽出したマスク画像を作成し，その案手法共に 3 回評価実験を行い，その平均値

確率の最大値が閾値αを超えた画素のみ学習により評価を行った．

266

図 2 提案手法モデル図

図 3 に本実験においての検証画像による来法より 1%以上精度が向上していることがmean IoU と学習回数の関係を表すグラフをわかる．また，学習回数が少ない場合の従来示す．図 3 を見ると，従来法では学習が収束

法では，細胞膜において提案手法よりわずかするのに必要な学習回数が多いことが確認でに精度が高く検出されている．これは少ない

きるが，我々の提案手法では学習回数が 50

学習回数の従来法では図 4 に示す通り，細胞回以内という，少ない学習回数で従来法では膜が通常より太く検出されているため，細胞確認できなかった mean IoU が 60%を超える

膜の IoU が高くなったからである．

結果が確認できる．
図 6 にテスト時においての，高難易度画素の学習を行わない従来法のセグメンテーショ
ン結果と，我々の提案手法のセグメンテーシ
ョン結果を示す．また図 6 の白丸部分を拡大した画像を図 4 に示す． 図 4 をみると，従来法では捉えることのできなかった細胞核の検知が可能になったことや，より鮮明に細胞膜

図 3 検証画像の学習回数と mean IoU の関係を捉えることができるようになっていることがわかる．また，提案手法と同等の学習回数で一番良い検証結果が得られた従来法によるテスト結果と提案手法を比較してみると，従来法では未検出の細胞膜，細胞核があることに加え，細胞膜がより太く検出されてしまう
ことがわかる．学習回数を重ねた従来法では，細胞膜の太さを制限できている点から，学習が不十分であるということが確認できる．

図4

セグメンテーション結果拡大図 (左から，入最後に表 1 に IoU での評価実験結果を示す．

力画像，正解画像，学習回数 20 回～40 回で表 1 から，我々の提案手法は IoU において，検証結果が最もよかった従来法の結果，従来

細胞膜，細胞核，細胞質すべてのクラスで従法の結果，提案手法)

267

表1

IoU 実験結果

ことができていることを示している．

4.2．ショウジョウバエの細胞データセット
ショウジョウバエの細胞画像データセット[18]では，「細胞膜」,「細胞核」，「細胞質」，「シナプス」を含む全 20 枚のデータセットで

図5

セグメンテーション結果拡大図 (左から，ある．また画像サイズは 917×917 であり，本

入力画像，正解画像，学習回数 50 回付近で検実験では 512×512 にリサイズ処理を行い，20

証結果が最もよかった従来法の結果，従来法枚の画像のうち 12 枚を学習画像として選択の結果，提案手法)

し，0 度，180 度，270 度及びそれぞれ左右反転を加えることにより 96 枚とした．そして 3

表2

IoU 実験結果

枚を検証，5 枚をテスト用画像として分類し，また同様に従来法及び提案手法共に 3 回評価実験を行い，その平均値により評価を行った．
図 6 に高難易度画素の学習を行わない従来
法のセグメンテーション結果と，我々の提案手法のセグメンテーション結果を示す．また
図 6 の白丸部分を拡大した画像を図 6 に示す．

5．おわりに

図 5 を見ると，従来法ではシナプスを多く誤本論文では，セマンティックセグメンテー

検出してしまっていたが，我々の提案手法でションにおける各画素の識別の難しさに注目

は誤検出を軽減していることがわかる．また，し，難しい画素を重点的に学習することによ

形状を捉えることが難しいような細胞膜におり，効率的な学習且つセグメンテーション精いても，画素毎に難しい箇所を重点的に学習度の向上を実現した．

する我々の手法では正確に細胞膜の形状を捉

今後の展望として，損失関数を求める際のえることに成功している．しかし，まだ細胞

ハイパーパラメータλを学習的に決定するこ

核に似ている細胞質などの誤検出を抑制するとと共に，様々なセマンティックセグメンテ

傾向はみられたが，精度が不十分であり，今ーションのモデルに我々の提案手法を適用し，後の研究課題である．

更に有効性を確かめていきたい．

最後に表 2 に IoU での評価実験結果を示す．
利益相反の有無

表 2 から，細胞膜，細胞核，シナプスそしてなし

細胞質すべてのクラスにおいて IoU による精度が向上していることがわかる．特に，我々文の提案手法と同等の学習回数である，epoch =50 付近で従来法と比較してみるとシナプス［1］

献Krizhevsky A. Sutskever I. Hinton G E.:

では約 15%もの精度向上が確認できる．これImageNetは我々の提案手法が，高難易度画素を重点的

Convolutional

NeuralNetworks.

に学習することにより，シナプスなどの難し

Advancesin

NeuralInformation

いクラスにおいても非常に効率的に学習する

Processing

Systems

268

Classification

25:

with

Deep

1097-1105,

［2］

2012

scene parsing network. IEEE Conf. on

Long J. Shelhamer E. Darrell T.: Fully

Computerconvolutional networks for semantic

Recognition, 2017.

［3］

Pattern

Analysis

andMachine［5］Intelligence 39: 3431-3440, 2017

convolutional densenets for semantic

Badrinarayanan V. Kendall A. Cipollasegmentation.

R.: SegNet: A Deep Convolutional

Pattern Recognition Workshops, 2017

［7］

［8］

Vision and［11］ Bengio Y. Louradour J. Collobert R. et

Segmentation. IEEE Transactions onal.: Curriculum learning. Proceedings ofPatternthe 26th annual international conference

Analysis

andMachineon machine learning. ACM, 2009.
［12］ Hu

Simonyan K. Zisserman A.: Very Deep

J.

Shen

L.

Sun

G.:

networks.

In

Convolutional Networks for Large-Scale

Squeeze-and-excitation

Image Recognition. Computer Vision

Proceedings of the IEEE conference on

and Pattern Recognition, 2014

computer vision and pattern recognition.

Ronneberger O. Fischer P. Brox T.:

2018, pp7132-7141.

for［13］ Wang F. Jiang M. Qian C. et al.:Biomedical Image Segmentation. Proc.

Residual attention network for image

Medicaland1classification. In Proceedings of theComputer-Assisted Intervention: 2015,

IEEE Conference on Computer Vision

pp234-241.

and Pattern Recognition 3156-3164,

He K. Zhang X. Ren S. et al.: Deep2017

Convolutional
Image

Networks

Computingresidual learning for image recognition.

［14］ Szegedy C. Ioffe S. Vanhoucke V. et al.:Proceedings of the IEEE conference on

Inception-v4, inception-resnet and thecomputer vision and pattern recognition,

impact2016.

learning. AAAI, 2017.

ofresidualconnectionson

Xie S. Girshick R. Dollár P. et al.:［15］ Li X. Liu Z. Luo P. et al.: Not all pixels

Aggregated residual transformations forare equal: Difficulty-aware semantic

deep neural networks. Computer Vision

segmentation via deep layer cascade.

and Pattern Recognition, 2017

IEEE Conference on Computer Vision

Huang G. Liu Z. Van D M. et al.:and Pattern Recognition, 2017.

Densely［9］

Computer

Encoder-Decoder Architecture for Image

U-Net:［6］

Pattern

one hundred layers tiramisu: Fully

Intelligence 39: 2481-2495, 2017
［4］

and

［10］ Jégou S. Drozdzal M. Vazquez D.: The

segmentation. Proc. IEEE Transactionson

Visionconnected［16］ Matsuzuki

convolutional

D.

Hotta

K.:

Semantic

networks. In Proceedings of the IEEE

Segmentation by Integrating Classifiers

conference on computer vision andforpattern recognition. 2017, pp4700-4708.

International

Zhao H.

Computing, 2018, pp607-615.

Shi J.

Qi X. et al.: Pyramid

269

Different

Difficulty

Symposiumon

Levels.
Visual［17］ Ioffe S.: Batch renormalization: Towards
reducing

minibatchdependence［18］ Gerhard S. Funke J. Martel J. etinal.:Segmented

anisotropic

ssTEM

batch-normalized mdels. In Advances indataset of neural tissue. Retrieved, 16,

neural information processing systems,

09, 2013

2017, pp1945-1953.

図6

セグメンテーション結果 (左から，入力画像，正解画像，少ない学習回数での従来法の結果，従来法の結果，提案手法．また上 3 つがマウスの細胞画像での実験結果，
下 3 つがショウジョウバエの細胞画像での実験結果)

270

Sematic Segmentation Using Loss Function for Difficult Pixels
Daisuke MATSUZUKI1, Kazuhiro HOTTA1

1 Meijo University

Semantic segmentation recognizes each pixel in an image. In general, an image includes pixels that are easy torecognize and difficult to recognize. At the final layer, we apply softmax function to convert the output of network toprobability. At that time, pixels that have small maximum probability are often difficult to recognize. Therefore, we
propose a method to learn pixels that are difficult to recognize according to maximum probability of each pixel. In theevaluation experiment, we compared the accuracy of the conventional method with our proposed method on datasets
including "cell membrane", "cell nucleus" and "cytoplasm". By the evaluation using Intersection over Union, we
confirmed that the proposed method outperformed the conventional method.

Key words: Cell image, Segmentation, Pixel difficulty, Deep Learning

著者紹介
松月 大輔 (まつづき だいすけ)
平成 30 年 3 月名城大学理工学部卒業，
平成 32 年同大学大学院博士前期課程修了予定．現在，細胞画像及び車載カ
メラ画像のセマンティックセグメンテ
ーションの研究に従事.現在は，セマン
ティックセグメンテーションの様々な難易度に注目し，平成 30 年にInternational Symposium on VisualComputing で研究発表を実施．

堀田 一弘 平成 9 年埼玉大学工学部卒．平成 14 年同大学院博士後期課程修了．博士(工学)．平成 11 年~平成 14年日本学術振興会特別研究員(DCI)．平成 14 年電気通信大学情報通信工学科
助手，平成 19 年同大学助教，平成 22
年から名城大学理工学部電気電子工学科准教授．平成 30 年から同大学教授．
平成 24 年メリーランド大学 Visiting
Scholar．パターン認識，コンピュータ
ビジョンの研究に従事．情報処理学会，
映像情報メディア学会， IEEE
Computer Society 各会員．

271

OP2-14

Template (Common to all types of submissions) ver. 2.0 (Revised 2019.3.28)

Polyp size classification in colorectal cancer using a Siamese
network
Benjamin VILLARD*1, Yuichi MORI*2, Masahi MISAWA*2, Shin-ei
KUDO*2, Hayato ITOH*1, Masahiro ODA*1, Kensaku MORI*1,3,4*1

Department of Intelligent Systems, Graduate School of Informatics, Nagoya University, Japan.
Digestive Disease Center, Showa University Northern Yokohama Hospital, Japan.
*3
Information Technology Center, Nagoya University, Japan.
*4Research Center for Medical Big data, National Institute of Informatics, Japan.
*2

Abstract
Colorectal cancer is one of the leading cause of cancer related deaths with increasing prevalence. One key factor in thelikelihood of adenomatous cell differentiation is polyp diameter. Much research has shown polyp size to be a major
contributor to the risk of colorectal cancer. There exist a significant cut-off value of 10 mm which clinicians use
regarding their treatment diagnosis and patient surveillance. However, polyp measurement is highly variable and there
exist high variance between clinician measurements surrounding this threshold value. We propose a novel method toclassify polyp size into above or below 10 mm classes based on a Siamese network. In a first step, a Siamese networks
is trained to build a high dimensional embedding of features extracted for each polyp size. In as second step, we use ak-NN approach that classifies the polyp size based on the distance between the feature embedding of the input image,and the whole embedding space learned by the Siamese network. This method allows for better binary classification of
the polyp size classes. Our data consist of around 13,434 images from 115 movies classified into various polyp sizes
ranging from 1-14 mm. We trained our model on 10,746 images, and tested on 2,688 images equally split into eachbinary category. We obtained 70.2 in feature embedding classification and 95.7% on binary classification.
Keywords：Colorectal cancer, Polyp size classification, Siamese Network, Medical Imaging

1. Introduction
Colorectal polyp size is a critical biomarker in colorectal cancer diagnosis and management, with larger polypsize having been associated with a greater likelihood of adenocarcinomatous cell differentiation [1-4]. The
majority of colorectal cancer arise from pre-existing adenoma, with small initial polyps gradually growing into
adenocarcinoma over several years. There exists many factors that can effect the transition into a malignant stage,
such as genetics, growth rate, and most importantly size [2]. Polyp diameter can be assessed by endoscopist or
pathologists, with endoscopist using visual estimation of the diameter, and pathologists assessing the size using
ruler measurements after removal of the polyps from formalin. It has been shown that endoscopist assessment canbe highly variable. Summers et al [1] report that 20% of endoscopist measurements had a 3mm over- or
underestimation of polyp size compared to the reference standard. Furthermore, typical endoscopes operate usinga wide-angle lens, which can further increase the measurement bias.
There exists two significant thresholds in the clinical decision making process, which occur at 5 mm
and 10 mm. Polyps 10mm and above are considered to have the most likely risk of cancer proliferation and a suchshould be removed. However, due to the human bias, endoscopist tend to either over or under estimate polyp sizes
surrounding these particular thresholds. This can be observed in our data, shown in Fig. 1 left, where the
distribution of polyp size can be seen to be significantly skewed to be under 10 mm (representative of clinicaloccurrence), with almost no annotations made at the 10mm threshold. There thus is a need for an automaticclassification system that can aid clinicians in their estimations.
Polyp classification is an active field of research. Most of the current research focus on polyp detection[5-8]. However, we have found few works that focus on polyp size classification [4,9], most of which achieve theclassification using depth estimation. The work in [9] use pre-trained monocular depth estimation neural networks,
which they train using an unsupervised approach. However, the pre-trained model was trained on computer vision
based features and is therefore not adept at classifying medical imaging features.
In this work we propose a binary classification model based on Siamese networks, first used in [10] to272

classify signatures. By training a convolutional neural network (CNN) to learn high dimensional descriptive
features for the above or below 10mm polyp classes, new instances can be classified into the appropriate class. In
the training step, we train a Siamese network - an identical pair of CNN working in parallel with shared weights,
to learn this embedding. Once the networks have been trained, and the weights known, we pass a query image tothe trained network, obtaining a high level feature embedding. We then use the k-Nearest Neighbors (k-NN)
algorithm to compute the closest class cluster to the feature embedding of the query image. To the best of ourknowledge, we present one of the first use of Siamese networks in the field of medical imaging as well as toclassify polyp sizes. Furthermore, our method allows to build a high dimensional understanding of polyp featuresthat ultimately can be used not only for binary classification, but to build a high level embedding for each polypsize class. As the query process relies only on the distance computation between the feature embedding, we believethat this methodology could be ultimately used in real time.

Fig.1 Data information. Left: Percentage of polyp size occurrences in all 115 cases. Right: Number of polypimages per movie case, for all 115 cases. The orange bars represent the above class, while the blue bars represent
the below class.
2. Data and Methodology
Our data consist of 115 colonoscopic movies of different patients, each roughly lasting around 15 minutes. Eachmovie was annoted by clinical experts. Segments containing polyps where selected and clinicopathologic
information, such as the polyp size, as well as imaging conditions, such as white light, chromo or near blue infrared,
where recorded. For each segment in all the movie cases, all the movie frames for that segment were extracted andsaved as individual images, belonging to the above or below class. Only segments belonging having been acquired
under white light conditions were used. The number of frames saved and classified into above or below can beseen in Fig. 2 right. In total, our data consisted of 4, 478 and 51, 845 images belonging to the above and below
class, respectively. In order to train our network on a balanced dataset, we randomly selected the same amount ofimages from the below class as the above class. As we had very few cases belonging to the above class (6 cases),
representing a total of 8 different polyps, we split our data into training and testing datasets using an 80/20% split,
and report our accuracy on the 20% split. In such a manner, our training data consisted of 10,746 pairs of imagesof class: same above, same below, and different. Our testing data consisted of 2, 688 image pairs corresponding to273

Fig. 2 Overview of our approach. The green box (top left) represents the training stage that builds a highdimensional feature embedding space. Network 1 and 2, based on VGG16, are identical and work in parallel. In
the training stage, two images are fed though the networks and the contrastive loss is used such that images
belonging to the same category are clustered together in the embedding space, show in the top left. The networkwith the trained weights is then used on a new image, to convert it to a 4,096 dimensional embedding and the kNN algorithm (k = 100) is used to compute the closest class cluster.
the same classes.
The framework for our methodology can be seen in Fig.2. The green box (top left) represents the training stage
that builds a high dimensional feature embedding space. Network 1 and 2, based on VGG16, are identical andwork in parallel. Each image is converted to grayscale and resized to be 200x200 to be the input to the network.
Pairs of images are given to the network as input, belonging either to the category same above, same below, ordifferent. Each image goes through a series of convolutions and max pooling operators before being encoded in a
4,096 embedding vector. The contrastive loss function is then used to map the distance between the featureembeddings and is given by:

1
1
2(𝒟𝒲 (𝒳1 , 𝒳2 )) + (𝒴) {max(0, 𝑚 − (𝒟𝒲 (𝒳1 , 𝒳2 ))}222where 𝒞 represents the contrastive loss function, 𝒲 the network weights, m is an arbitrarily chosen margin, 𝒳1
and 𝒳1 the feature embeddings of the image pairs, with 𝒴 = 1 if they are similar (same-above or same-below
category) and 𝒴 = 0 if they are dissimilar (above-below or below-above category) . 𝒟𝒲 represents the l2 norm
used in mapping the distance in the feature space, as a functions of the weights 𝒲, such that 𝒟𝒲 (𝒳1 , 𝒳2 ) =||𝒳1 − 𝒳2 ||2. Computing the contrastive loss allows to map the distance 𝒟𝒲 between the feature vectors to be𝒞(𝒲, 𝒴, 𝒳1 , 𝒳2 ) = (1 − 𝒴)small if the embeddings belong to the same class, or high if they belong to different classes. A t-SNE plot showing
a 2D representation of the 4,096 feature embedding space can be seen in Fig.1 top right.
3. Results and Conclusions

We validated the discriminative power of the network on the feature embedding space, as well as for the binaryclassification. With regards to the first evaluation, our methodology was evaluated on 2,688 image pairs
corresponding to the categories same-above, same-below, and dissimilar. Our network was able to classify pairsof images as similar or dissimilar with a 70.2% accuracy. As for the binary classification, we evaluated ouralgorithm on 1,792 images belonging to the above or below category. Using a k-NN, with k=100, we obtained a
95.7% accuracy. Fig. 3 shows some example of images having been correctly or incorrectly classified as above or
below 10mm.

274

As mentioned previously, it should be noted that although there is a clear separation between the training andvalidation data, the testing images also belong to the 115 movie cases which can cause some classification bias.
In the future we aim to obtain more cases, in particular belonging to the above category, having multiple polyps
per case, as to present a more accurate representation of the methodology accuracy.

Fig. 2 Example of the binary classification results having been correctly or incorrectly classified as above or
below 10mm.
Competing interests
The Authors acknowledge collaboration with the company CYBERNET.
Acknowledgement
The authors would like to acknowledge AMED grant numbers 18hk0102034h0103 (2018), and
18hs0110006h0002 (2018).
References［1］Summers RM. Polyp size measurement at ct colonography: What do we know and what do we need to know? Radiology,
255:707–720, 2010.
［2］Hofstad B, Vatn M H, Andersen S N, Huitfeldt HS, Rognum T, Larsen S, Osnes M. Growth of colorectal polyps:
redetection and evaluation of unresected polyps for a period of three years. Gut, British Society of Gastroenterology, Vol.
39. 1996, pp449-456.
［3］Klein JL, Okcu M, Preisegger K, Hammer H. Distribution, size and shape of colorectal adenomas as determined by acolonoscopist with a high lesion detection rate: Influence of age, sex and colonoscopy indication. United European
Gastroenterology Journal, 4(3):438–448, 2016.
［4］Fabio Martínez, Josué Ruano, Martín Gómez, and Eduardo Romero. Estimating the size of polyps during actual
endoscopy procedures using a spatio-temporal characterization. Computerized Medical Imaging and Graphics, 43:130–
136, 2015.

［5］Pu Wang P, Glissen B J R Brown Jeremy R. Xiao, Xiao, Tyler M. Berzin, Mengtian Tu, Fei Xiong, Xiao Hu, Peixi Liu,
Yan Song, Di Zhang, Xue Yang, Liangping Li, Jiong He, Xin Yi, Jingjia Liu, and Xiaogang Liu. Development and validationof a deep-learning algorithm for the detection of polyps during colonoscopy. Nature Biomedical Engineering, Vol.2. 2018,
pp741-748.

［6］Gregor Urban, Priyam Tripathi, Talal Alkayali, Mohit Mittal, Farid Jalali, William Karnes, and Pierre Baldi. Deeplearning localizes and identi_es polyps in real time with 96% accuracy in screening colonoscopy. Gastroenterology,
Vol.155(4). 2018, pp1069-1078.

［7］Misawa Masashi, Kudo Shin-ei, Mori Yuichi, Cho Tomonari, Kataoka Shinichi, Yamauchi Akihiro, Ogawa Yushi,
Maeda Yasuharu, Takeda Kenichi, Ichimasa Katsuro, Nakamura Hiroki, Yagawa Yusuke, Toyoshima Naoya, Ogata
Noriyuki, Kudo Toyoki, Hisayuki Tomokazu, Hayashi Takemasa, Wakamura Kunihiko, Baba Toshiyuki, Ishida Fumio, Itoh275

Hayato, Roth Holger, Oda Masahiro, and Mori Kensaku. Arti_cial intelligence-assisted polyp detection for colonoscopy:
Initial experience. Gastroenterology, Vol.154. 2018, pp2027-2029.

［8］R. Zhang, Y. Zheng, T. W. C. Mak, R. Yu, S. H. Wong, J. Y. W. Lau, and C. C. Y. Poon. Automatic detection andclassification of colorectal polyps by transferring low-level cnn features from nonmedical domain. IEEE Journal of
Biomedical and Health Informatics, Vol.21(1) 2017. pp41-47.
[9] Hayato Itoh, Holger R. Roth, Yuichi Mori, Masashi Misawa, Masahiro Oda, Shin-ei Kudo, and Mori Kensaku. Polypsize classification with rgb-d features for colonoscopy. Proc. SPIE 10950, Medical Imaging 2019: Computer-Aided
Diagnosis, 1095015, 2019.
[10] Jane Bromley, Isabelle Guyon, Yann LeCun, Eduard S•ackinger, and Roopak Shah. Signature verification using a"siamese" time delay neural network. In Proceedings of the 6th International Conference on Neural Information Processing
Systems, NIPS'93, 1993, pp737-744.

276

OP2-15

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

病変検出アルゴリズムにおける局所画像特徴量の汎用的な自動生成－健常データのみの学習による特徴量生成の検討－
牛房 和之*1

根本 充貴*2

木村 裕一*1

永岡 隆*1

山田誉大*1

林 直人*3
要旨
様々な病変検出支援(CADe)アルゴリズムにおいて適用が可能な，局所画像特徴量の汎用的自動生成法について検討する．特に，不十分量の病変データで深層学習を用いた CADe アルゴリズムの研究が行われることを想定し，健常部の局所画像パッチデータのみで学習が可能な手法を検討する．本稿では，教師無し学習法である深層畳み込みオートエンコーダと主成分分析を用いた特徴量生成手法を提案する．特徴量は，
局所画像パッチのアピアランスベクトルから得られる潜在変数と，潜在変数から再現した画像パッチと入力局所画像パッチとの誤差とする．抽出特徴量の識別における有用性を確認するために，胸部 CT および
頭部 MR アンギオグラフィ上の病変検出実験を行ったので，その結果を報告する．
キーワード：コンピュータ検出支援システム，特徴量抽出，オートエンコーダ，主成分分析

detection）システムの必要性が高まっている［ 1,2］．

1．はじめに近年，CT や MRI 画像などの医用画像の撮像

CADe システムによる病変候補識別では，画技術が向上し，それに伴い大量かつ高精細な医像内の局所の濃淡や形状などを定量化した特用画像が撮像可能になったことで，放射線診断

徴量という値を用いる．この特徴量が病変候補

医の画像読影における負担が増加している．そ

識別に有用であるかどうかによって CADe の病の負担軽減のために，病変部位候補の識別を行

変検出性能は左右される．特徴量の生成法にはうコンピュータ検出支援（CADe : computer aided

大別して 2 つの方法がある．1 つは，医学的知
識や工学的知識に基づいて 手作業で関数を設――――――――――――――――――

計・実装する方法である［3］．もう 1 つは機械学*1 近畿大学大学院 生物理工学研究科

習を用いた自動生成法である．特に後者の手法〔〒649-6433 和歌山県紀の川市西三谷

では，深層学習を用いたものが，近年パターン930〕

認識分野で好成績を収めたことで，注目を集め

e-mail: k.ushifusa@gmail.comており，研究が各所で盛んに行われている ［4］．

*2 近畿大学 生物理工学部

また，深層学習による特徴量の生成では過去*3 東京大学医学部附属病院 22 世紀医の実測データなどの具体的な事象 が学習デー

療センター

タとして用いられる．その際，十分な量の学習277データが確保できないと適切な学習が行われ元領域に複数分解切り出しを行う処理とする．

ず，抽出される特徴量が識別処理に有用な値とならない．
しかし，とりわけ病変データの収集は容易なことではない上，個人情報保護の問題や収集データの標準化の問題などがある ［ 4 ］．よって，CADe システムの研究開発において常に十分な量の病変学習データ が準備できるとは限らない．一方で，病変部位は有病症例データの中で病変の領域はわずかであり，大部分は健常な領域である．すなわち，有病症例データから得られる局所画像パッチデータのほとんどが，健常クラスのデータである．

図 1. 病変検出処理モデル

本稿では，病変データの有無に性能が左右されない特徴量の自動生成法について提案する．
提案法では，病変データに比べ収集が容易で，かつ病変領域ラベル データを作成する必要がない健常データのみを用いる．このことにより，病変データの量に依存しない安定した特徴量自動生成法となることが期待できる．我々はデータドリブンな CADe システムの自動生成，自動最適化に関する研究［ 5］を行っており，本研究はその一部である．
2 節では提案法で用いられる手法について，
3 節では提案法の有用性を確認するための実験・結果について，4 節では実験結果から考察

図 2. 特徴量抽出器学習モデル

できることと今後の展望についての説明を行
い，5 節にて本稿のまとめを述べる．

2.2. 特徴量抽出器およびその学習提案法では，教師無し学習法である深層畳み

2．手法
2.1. 学習・検出処理モデル

込 み オ ー ト エ ン コ ー ダ （ Deep CAE : Deep

想定する病変検出処理モデルと，検出処理に

Convolution Autoencoder ）［ 6,7 ］ と 主 成 分 分 析用いる特徴量抽出器の学習モデルを図 1，2 に（PCA : Principal Component Analysis）［8］を用い示す．特徴量の学習モデルは，①前処理，②病て特徴量の自動生成を行う．以下では，それぞ変候補検出，③健常データセットのみを用いたれの処理の詳細について説明する．

特徴量抽出器の学習の 3 つの処理で構成される．
前処理および病変候補検出は，検出処理モデル

2.1.1. Deep CAEで用いられるものと共通とする．

提案法で用いる Deep CAE は，自動検出した

前処理では，画像の等方化や標準化，病変候32×32×32 voxels の 3 次元病変候補画像を 2.5

補画像パッチの抽出領域の限定が行われる．病

次元化 [9]した画像（32×32 voxels の 3 チャネル

変候補検出処理は，前処理での抽出領域につい画像）を入力とする．Deep CAE の構成は，2 層て，16 voxels 間隔で 32×32×32 voxels の 3 次の Convolution 層，1 層の Full Connection 層から278なる（図 3）．潜在変数ベクトルの次元数は，健を解くことで得られる複数の固有ベクトル ve

常クラス学習画像（2.5D）の画素値に PCA を適を得る．

用した際に累積寄与率が 95%となる次元数と任意病変候補 i の画素値ベクトル xi から抽出同数とする．また，活性化関数は ReLU とする．

される特徴量は，xi の主成分ベクトルの要素と，Deep CAE により抽出される特徴量は，潜在xi を主成分ベクトルに投影した際の残差とする．

変数ベクトルと，潜在変数ベクトルから再現し主成分ベクトルの次元数は予備実験の結果かた画像パッチと入力画像パッチとの画素値のら得た累積寄与率 95%の次元数とする．

平均二乗誤差とする．
Deep CAE の学習では，健常データのみを用

2.3. 検証法についている．学習のハイパーパラメータは，Mini Batch

提案法の有用性を評価するために，胸部 CT

サイズは 256，Epoch 数は Early stopping によっ

データセット上の肺結節検出および頭部 MR アて決定，損失関数は交差エントロピー誤差としンギオグラフィ（MRA）データセット上の脳動た．これらのパラメータは，予備実験の結果か脈瘤検出を例題とした検証実験を行う．病変検

ら手動にて決定した．

出処理の流れは共に図 1 の検出処理モデルに従い，特徴量抽出器の学習処理の流れは図 2 の学習モデルに従う．
肺結節検出の検証実験における前処理には，
Nomura らの肺野領域抽出法および血管領域抽出法 ［ 10］を採用する．脳動脈瘤検出の検証実験
における前処理には，Nomura らの画素値正規化および血管抽出法 ［11］ を行う．検出病変候補の識別器としては，Decision stump を弱識別器とした Adaboosted ensemble［ 12］を用いる．また，図 3. Deep CAE の構造

予備実験の結果から弱識別器数=500 とした．

2.1.2. PCA

3．実験および結果

PCA を用いた特徴量抽出法は，顔画像認識な実験には東京大学医学部附属病院にて撮影

どで以前より用いられていた手法と同様の手された胸部 CT 450 例および頭部 MRA450 例を[7]

法 である．

使用した．いずれの画像も 1 個以上の肺結節／

PCA の学習で，学習用の 3 次元病変候補 t の脳動脈瘤を含む．450 例の画像データは学習用

2.5 次元画像の各画素値を要素とするベクトル

300 例と検証用 150 例に分割して検証実験を行

xt の集合である X

った．

𝑿 = {𝒙𝟏 , 𝒙𝟐 , 𝒙𝟑 , … , 𝒙𝑴 }胸部 CT 上の肺結節検出の処理では，前処理(1)に対して算出される平均ベクトル𝝁と共分散行

にて 0.78×0.78×1.25[mm3] 解像度の CT を 0.78

列S

mm 等方解像度にスケーリングする．学習用 300
例からは健常候補 478,525 パッチ，病変候補

𝑀

𝝁=

1
∑ 𝒙𝒕
𝑀

(2)

3916 パッチが自動検出され，検証用 150 例から

𝑡=1

𝑀

は健常候補 234,386 パッチ，病変候補 1,589 パ

𝑀

1
𝑺 = ∑ ∑(𝝁 − 𝒙𝒕 )(𝝁 − 𝒙𝒖 )𝑇𝑀

ッチが自動検出され た．また，予備検討から(3)

Deep CAE，PCA にて算出される潜在変数特徴

𝑡=1 𝑢=1から，固有値問題
𝑺 = 𝜆𝒗量の次元数を 99 とした．
(4)

279

頭部 MRA 上の脳動脈検出の処理では，前処理にて 0.47×0.47×0.60[mm3]解像度の MRA を
0.47mm 等方解像度にスケーリングする．学習用 300 例からは健常候補 127,257 パッチ，病変候補 2553 パッチが自動検出され，検証用 150 例
からは健常候補 84,591 パッチ，病変候補 1,328
パッチが自動検出された．また，予備検討からDeep CAE，PCA にて算出される潜在変数特徴量の次元数を 122 とした．
実験には，Intel Core i7-7700，64GB RAM，

図 4. Deep CAE 学習識誤差曲線

NVIDIA GeForce 1080Ti を搭載し，Windows10（肺結節候補識別）Pro OS のコンピュータを用いた．各種病変検出
処理および特徴量自動生成器は，C/C++および

1

Python (Tensorflow ver.1.3.0) により実装した．
0.8

3.1. 胸部 CT 上の肺結節候補識別実験
感度0.6

Deep CAE の学習過程での認識誤差の推移を
図 4 に示す．また，loss は学習時の損失誤差，

0.4

val_loss は検証時の損失誤差である．loss および
0.2

val_loss がともに減少しており，学習が適切に行われたことが読み取れる．

0

次に，抽出特徴量を用いた病変識別の FROC

0曲線を図 5 示す．肺結節候補の識別感度は 5FPs/

2468
False positive（FP）数／症例数

図 5. 肺結節候補識別 FROC 曲線

症例のとき 84.2%，10FPs/症例のとき 86.6%，
15FPs/症例のとき 87.8%となった．また，図 6 に
5FPs/症例時，識別結果が True Positive（TP）となった画像と，True Negative（TN）となった画像，FP となった画像，False Negative（FN）とな(a) TPった画像を示す．
Deep CAE によって抽出された特徴量（CAE
特徴量）と PCA に よっ て抽出され た特徴量
（PCA 特徴量）が識別器学習時に選ばれた回数(b) TNの割合は CAE 特徴量が 17.8%，PCA 特徴量が82.2%となった．また，弱識別器の重みを観察す
ると CAE 特徴量由来の弱識別器に付与された重みは全体の 36.6%，PCA 特徴量由来の弱識別(c) FP

器には 63.4%の重みが付与されていた．各特徴
量に付与された弱識別器重みは，PCA による第1 主成分特徴量に付与されたものが最大（全体の 37.4%），次に大きかったのは PCA 残差誤差
特徴量（全体の 31.7%），その次に大きかったの(d) FN図 6. 肺結節候補識別結果画像例

は PCA 第 3 主成分（全体の 3.66%）であった．

（5 FPs/症例）

280

10

CAE 特徴量の中で弱識別器重みが最大であったのは第 12 目の特徴量であった．
3.2. 頭部 MRA 上の脳動脈瘤候補識別実験
Deep CAE の学習過程での認識誤差の推移を
図 7 に示す．loss および val_loss がともに減少
しており，学習が適切に行われたことが読み取れる．
次に，抽出特徴量を用いた病変識別の FROC
曲線を図 8 示す．脳動脈瘤候補の識別感度は

図 7. Deep CAE 学習識誤差曲線

5FPs/ 症 例 の と き 17.7% ， 10FPs/ 症 例 の と き（脳動脈瘤候補識別）28.1%，20FPs/症例のとき 43.3%となった．また，
図 9 に 5FPs/症例時，識別結果が True Positive1（TP）となった画像と，True Negative（TN）と0.8なった画像，FP となった画像，False Negative（FN）となった画像を示す．

0.6
感度

Deep CAE によって抽出された特徴量（CAE
特徴量）と PCA に よっ て抽出され た特徴量

0.4

（PCA 特徴量）が識別器学習時に選ばれた回数0.2の割合は CAE 特徴量が 36.8%，PCA 特徴量が63.2%となった．また，弱識別器の重みを観察す

0

ると CAE 特徴量由来の弱識別器に付与された

0

重みは全体の 36.6%，PCA 特徴量由来の弱識別
器には 63.4%の重みが付与されていた．各特徴

51015
False positive（FP）数／症例数

図 8. 脳動脈瘤候補識別 FROC 曲線量に付与された弱識別器重みは，PCA による第1 主成分特徴量に付与されたものが最大（全体の 19.5%），次に大きかったのは PCA 残差誤差
特徴量（全体の 7.25%），その次に大きかったのは CAE 特徴量の第 116 番目の特徴量（全体の(a) TP

5.20%）であった．
4．考察(b) TN

胸部 CT 上の肺結節識別実験および頭部 MRA
上の脳動脈瘤識別実験を行った．実験の結果から，提案法によって Deep CAE 特徴量およびPCA 特徴量を健常データのみから学習できた(c) FPことと，提案法にて得られる特徴量の有用性を確認した．
胸部 CT 上の肺結節候補識別実験については，
Deep CAE 特徴量と PCA 特徴量がともに識別器(d) FN図 9. 脳動脈瘤候補識別結果画像例の学習で選択されており，互いの特徴量が相補的な役割を果たしたと考える．特徴量の選択回（5 FPs/症例）

281

20

数や弱識別器の重みから，画素値を線形に次元生成法について提案した．提案法の有用性の確圧縮した PCA 特徴量が識別において主に用い認のため胸部 CT 上の肺結節検出および頭部られる特徴量となり，Deep CAE によって抽出

MRA 上の脳動脈瘤の病変候補に対する識別実できる非線形な特徴量は PCA では表現できな験を行った．胸部 CT を用いた実験では，感度い特徴を補完する働きをしたと考えられる．識は 5FPs/症例で 84.2%，10FPs/症例で 86.6%とな

別結果画像より，TN や TP は肺野内部の低 CTった．頭部 MRA を用いた実験では感度は 5FPs/

値領域を多く含んだものが多く，FP や FN は胸症例で 17.7%，10FPs/症例と 28.1%となった．こ

壁外を多く含んだ領域が多いことが分かった．

れらの結果から，提案法の有用性が確認された．

このことから，本手法は胸壁外を多く含んだ候補領域からの特徴量抽出が効果的に行われず，謝辞
本研究を行うにあたり ご討論頂いている近これらの FP，FN が多く発生したと考える．
頭部 MRA 上の脳動脈瘤候補識別実験につい

畿大学生物理工学部医用工学科・根本研究室のても，Deep CAE 特徴量と PCA 特徴量がともに学生諸氏，近畿大学大学院生物理工学部システ

識別器の学習で選択されており，互いの特徴量

ム生命工学科・木村研究室および永岡研究室のが相補的な役割を果たしたと考える．ただし，諸氏に感謝します．そして，貴重な臨床データ

脳動脈瘤候補の識別精度は肺結節候補と比べをご提供頂いた，東京大学医学部附属病院放射て低かった．肺結節・脳動脈瘤候補の TP 画像

線科，同 22 世紀医療センターコンピュータ画を比較確認すると，脳動脈瘤については病変部

像診断学／予防医学講座（CDRPM）の先生方に分が候補画像サイズに対してかなり大きいこ

深く感謝します．

とが分かる．このことは，脳動脈瘤候補識別に
利益相反の有無

有用な特徴量の抽出 を困難にした要因の一つと考える．マルチスケール処理などを採用し，なし

各病変で最適なスケールでの候補領域を解析
文することを可能にすることで，識別精度の改善が期待できる．また，識別結果画像を確認する［1］

献Ronald A Castellino: Computer aidedと，TN となった領域は血管ではない領域が主

detection (CAD): an overview: Cancerであった．一方，TP，FP，FN 画像はいずれもImaging 5-1: 17-19, 2005

血管領域であった．血管領域以外には脳動脈瘤［2］尾上守夫：ME 技術の進歩 医用画像処は発生しないので，候補識別器が血管領域か否理．医用電子と生体工学 20-7: 532-535,

かを識別することを主に学習したと考える．こ1982のことから，脳血管領域抽出処理の内容は候補［3］

識別精度を大きく左右することが分かった．

Van Ginneken B,

Schaefer-Prokop CM,

Prokop M: Computer-aided diagnosis: how

今後は，入力データをマルチスケールにする

to move from the laboratory to the clinic.

ことにより，血管の全体を見てから局所を見る

Radiology 261-3: 719-32, 2011という医師の画像診断のプロセスに沿った 特［4］

大江和彦：これからの医療における AI

徴量生成を検討する．また，健常データセットの活用と課題．医薬品情報学 19-3: N1-の潜在変数ベクトル群からの特徴量空間におN3, 2017

けるマハラノビス距離など，その他の特徴量生［5］成も検討する．

Nemoto M, Hayashi N, Hanaoka S, et al.:Feasibility

Study

of

a

Generalized

Framework for Developing Computer5．まとめ

Aided Detection Systems-a New Paradigm.

健常データのみの学習による特徴量の自動J Digit Imaging 30-5: 629-639, 2017

282

［6］
［7］
［8］

［9］

瀧雅人：これならわかる深層学習入門．

false positives at vessel bifurcations in

講談社 ，2017，pp136-148

computerized detection of lung nodules.

瀧雅人：これならわかる深層学習入門．

Journal

講談社 ，2017，pp153-176

Computing 4-3: 36-46, 2014

ofBiomedical

Graphics

and坂野鋭：パターン認識における主成分［11］ Yukihiro Nomura, Yoshitaka Masutani,

分析 顔画像認識を例と して：統計数

Soichiro Miki: Performance improvement

理：Vol. 49：No. 1：23-42：2001

in computerized detection of cerebral

Holger R. Roth, Le Lu, Ari Seff, Kevin M.

aneurysms by retraining classifier using

Cherry, et.al.: A New 2.5D Representation

feedback data collected in routine readingfor Lymph Node Detection using Random

environment.

Sets

NeuralGraphics and Computing 4-4: 12-21, 2014

MICCAI［12］ 平井有三：はじめてのパターン認識．森ofNetwork

Deep

Convolutional

Observations.

Proc

Nomura,of

Biomedical

北出版株式会社，2017，pp137-141

2014: 520-527, 2014［10］ Yukihiro

JournalMitsutaka

Nemoto,Yoshitaka Masutani, et.al: Reduction of283

Generalized generation of local image features forcomputer-aided detection algorithm－A study of feature generation by learning only normal data－
Kazuyuki USHIFUSA*1, Mitsutaka NEMOTO*2, Yuichi KIMURA*1, Takashi NAGAOKA*1, Takahiro YAMADA*1,
Naoto HAYASHI*3*1 Graduate School of Biology-Oriented Science and Technology, Kindai University.
*2 Faculty of Biology-Oriented Science and Technology, Kindai University.
*3 Department of Computational Diagnostic Radiology and Preventive Medicine, 22nd Century Medical andResearch Center, The University of Tokyo Hospital

We propose a generalized generation of local image features that can be applied various computer-aided detection(CADe) algorithms. The clinical datasets for developing CADe algorithms are often small-scale and not easy to apply
deep learning for multi-class classification. The proposed feature generation method is based on unsupervised learningwith only normal class data that can be collected easier than lesion class data. A deep convolutional autoencoder and aprincipal component analysis are used in the proposed method. These encoders extracted the latent variable featuresfrom an appearance vector of a local image patch. The reconstruction error between an original image patch and an
image from the latent variables is also calculated as an image feature. We evaluated the proposed method with theexperimental results of lung nodule detection on chest CT and aneurism detection on head MRA.

Key words: computer-aided detection, feature extraction, Autoencoder, principal component analysis284

OP2-16X 線単純投影と流体構造連成解析を用いた
狭窄柔軟管内流れにおける造影剤濃度勾配の評価
金子

凌太朗*1

高本

聡*1

波田野 明日可*1

泉

聡志*1

要旨
冠動脈の狭窄の機能的重症度を低侵襲かつ簡易に診断する方法として造影剤濃度勾配を指標とする TAG（Transluminal Attenuation Gradient）が挙げられるが，精度の向上が求められている．狭窄後に生じる再循
環領域における造影剤の拡散は，TAG に大きく影響すると考えられる．そこで本研究では造影剤拡散動態を明らかにするため，狭窄血管を模擬した柔軟管に流した造影剤を X 線単純投影により撮影した．流体は
水及び血液を用い定常流及び拍動流の条件で流した．また実験を模した流体構造連成解析を行い比較した．
定常流で流体に水を用いた実験では，狭窄後の造影剤は管断面全体に広がり一様に拡散する様子が観察された．一方，定常流で血液を用いた実験では，造影剤濃度の高い領域が管壁を伝いらせん状に回転しながら流れていた．血液を想定した解析では狭窄率が高い場合に噴流が軸中央を外れ管壁を伝う様子が観測され傾向は一致したが，拡散に伴う濃度勾配の定量的な一致には課題が残った．
キーワード：造影剤，狭窄柔軟管，流体構造連成解析，TAG，X 線単純投影

1．緒言

CCTA （ Coronary

Computed

Tomography

日本人の死因の多くを占めるものとして，心Angiography）で得た形状データをもとに数値解

筋梗塞が挙げられる．この病気は，冠動脈に狭析をすることで狭窄病変のある冠動脈の入り窄病変が起こり，心臓壁が壊死することで発生口の圧力と狭窄より下流の圧力の比 FFR を推する．心筋梗塞の適切な治療方法を選択するた定することで狭窄による虚血の程度を評価す

めには，狭窄の機能的重症度を正確に評価する

る FFR-CT などの方法が考案されている[2]が，必要がある．現在基本となっている評価方法と計算負荷や精度の観点では問題がある．そのたして，心臓カテーテル検査が挙げられる．これめ，CT 画像から狭窄の機能的重症度を評価す

は，血管にカテーテルを挿入し狭窄部前後の圧る際の計算負荷の軽減および精度の向上が求力 を 計 測 し て そ の 比 FFR （ Fractional Flow

められている．

Reserve）を取ることで，狭窄の程度を評価する

解析による狭窄の度合いの評価としては，実方法である．この方法では，精度の高い評価を測した FFR に対する精度は CCTA のみから評期待できる[1]が，侵襲性を伴うという点で問題価するより CCTA を数値解析した FFR-CT からがある．そこで，低侵襲で簡易な方法として，評価する方が良いとされている[3]．そこで，CT 画像の CT 値の勾配から狭窄率を推定する

FFR-CT からのアプローチとして，Yoon らの論

TAG （ Transluminal Attenuation Gradient ） や ，文が挙げられる[4]．この論文によると，侵襲的な方法で実測した FFR に対し，FFR-CT は感度――――――――――――――――――

81%，特異度 94%と良い結果が得られているが，*1 東京大学大学院工学系研究科機械工モデリングの手間や人的労力がかかることが学専攻問題である [2]．そこで，より計算負荷の小さい〔〒113-8656 東京都文京区本郷 7-3-1〕

方法として TAG が注目されている．TAG につ285いては，Wong らによると実測した FFR に対し
320 列 CT を用いた TAG は感度 77%，特異度74%と FFR-CT には劣るが近い値となっている[5]．しかし，この値について流体力学の見地からの説明は不十分であり，狭窄と TAG 値の関係は不明である．
当研究室では，狭窄と TAG 値の関係の考察

図 1 実験装置の概略図のため，流体構造連成解析と造影剤動態の解析

流体には，水およびブタの血液を用いた．柔を行ってきた．流体構造連成解析については，

軟管には，流体に水を用いた実験では内径 3 mm，冠動脈を想定した分岐システムモデルにおい

外径 5 mm，厚さ 1 mm，長さ 70 mm のシリコンて，実験との比較により流量や圧力の計算結果

ゴム製のゴム管（ヤング率 0.3 MPa）に，流体入について妥当性を確認した[6]．一方，造影剤動口側から 26 mm の位置に釣り糸を縛って狭窄態の解析の妥当性確認も必要であるが，狭窄のを作ったものを用いた．また，流体に血液を用ある管における造影剤動態を撮 影する実験はいた実験では，内径 3 mm，外径 5 mm，厚さ 1

行われてこなかった．本研究では，柔軟管の狭mm，長さ 60 mm のポリビニルアルコール製の窄が造影剤動態に与える影響を明らかにする

柔 軟 管 （ 水で 濡 れ てい る状 態 で ヤ ング 率 0.1

ため，狭窄血管を模擬した狭窄のある柔軟管をMPa）に，流体入口側から 24 mm の位置に釣り用いて造影剤動態を撮影する実験を行った．ま糸を縛って狭窄を作ったものを用いた．流れのた，現象を明らかにするため，実験を模した流

時間変化の条件については，ポンプに印加する体構造連成解析を行った．

電圧を一定にした定常流の条件および 1 Hz，duty 比 50 %で矩形波状に変化させた拍動流の2．手法条件とした．

2-1．実験手法

造影剤の撮像には X 線循環器診断システム

現象解明およびシミュレーションの妥当性（キャノンメディカル，Infinix Celeve-i INFX-

確認のため，血管を模擬した狭窄柔軟管を用い8000C）を使用した．この装置では，30 fps で透た実験を行った．本研究では，狭窄のある冠動

過画像を取得可能であり，また静止物であれば脈を想定し，以下の図 1 のような装置を組んだ．

3 次元再構築が可能である．

流体がポンプから吐出され，狭窄管を通って容器へ排出される．流路にはシリコンチューブを2-2．解析手法

用い，圧力計（KEYENCE，AP-12S）および流量血管を模擬した柔軟管は柔らかいため，流体計（KEYENCE，FD-XS8）を図 1 に示す配置で力によって変形する．一方，管が変形すれば，設置した．流量計は校正が必要であり，予め流

流体の流れの境界条件が変わるため，影響を受量計の値と実際の流量の関係を調べた．ポンプ

ける．そのため，柔軟管内の流れ場の解析を行にはギアポンプ（ツカサ電工，TG-85E-PU-DB4-

うためには，このような流体と構造体の相互作

KA,24V）を用い，直流可変電源（テクシオ，PFR-用を考慮した流体構造連成解析が必要である．

100L50）からポンプに印加する電圧を変化させ

本研究では，先行研究[6]にて開発された ALE 有ることで，柔軟管入口の圧力変化を制御した．

限要素法による一体型流体構造連成解析プロ

造影剤はポンプの直後に作った分岐からイングラムを用いた．その支配方程式は，流体領域

ジェクタを用いて注入した．

では連続の式(1)と Navier-Stokes 方程式(2)，構造領域では平衡方程式(3)である．
𝜕𝑣𝑖
=0
𝜕𝑥𝑖

286

(1)

𝜕𝒗
𝜕𝒗
𝜌𝑓 { | + (𝑣𝑖 − 𝑣̂𝑖 )} = 𝛻𝑥 ∙ 𝑻𝑓
𝜕𝑡 𝑥
𝜕𝑥𝑖
𝜕2𝒖
𝜌0𝑠 ( 2 | ) = 𝛻𝑋 ∙ (𝑺 ∙ 𝑭𝑇 ) + 𝜌0𝑠 𝒈
𝜕𝑡 𝑋

ルコール製の柔軟管の面積狭窄率は 78 %だと

(2)

分かった．
(3)

まず，流体に水を用い上流圧力が 5 kPa の定常流の条件とした実験について，造影剤が流れ

ここで，x は Euler 座標，X は Lagrange 座標，

始めてから 0.5 秒後の撮影結果を示す．なお，

χ は ALE 座標，v は流速，𝑣̂は ALE 座標の Euler

時刻は造影剤濃度が徐々に上がっている途中

座標に対する速度，u は変位，𝜌𝑓 は流体の密度，の時刻を選んだ．

𝜌0𝑠 は固体の基準配置での密度，𝑻は Cauchy 応A○力テンソル，𝑺は第 2Piola-Kirchhoff 応力テンソ
B○ル，𝑭は変形勾配テンソルである．流入口，流出

図 3 水の定常流での造影剤濃度勾配

口において単純に自然境界条件を与えると，流

この結果から，狭窄後において造影剤は管全速の乱れなどを生じ解析が困難になるため，境体に一様に広がっていたことが分かった．以下

界面の流速と圧力は代表流速，代表圧力とそれに管軸に垂直な方向の造影剤濃度勾配を示す．

ぞれそのプロファイル関数で表している．

これは，撮影結果から上図の AB 線上（幅 5 ピ

造影剤動態の解析では，Particle-trace 解析をクセル）の明度を取得し，流体の流れていない

用いた．これは，造影剤動態の解析を高い精度

部分から単位厚さ当たりの柔軟管による明度で行うためには，造影剤の移流と拡散の両方を考慮した移流拡散方程式を解くべきであるが，本研究においては，造影剤動態は流体の流れ場

変化から柔軟管による影響を除いた後，流体部の単位厚さ当たりの明度変化を計算したものに影響を及ぼさず，造影剤の移動は拡散効果にである．
「位置」とは，管軸を 0 として管軸に垂比べ移流効果が支配的であると考えられるた

直な方向に撮影結果の下方向を正とした軸でめである．
解析モデルには，図 2 のような管を用いた．
実験における柔軟管のうち取り付け冶具の部ある．また，直線でこの断面における平均値を示している．
単位厚さあたりの明度変化[/mm]分を除いたものを想定し，内径 3 mm，外径 5mm，長さ 60 mm，ヤング率 0.3 MPa，ポアソン
比 0.45，密度 9.7×102 kg/m3 とした．狭窄部は，先行研究 [6][7]でも使用されている，上流から17 mm～23 mm の間に cos カーブで表現されたものとした．流体の物性値は，水を想定したも2変化を計算して，流体の流れている部分の明度

15
10
5
0

-1.5
A
○

3

のでは密度 9.982×10 kg/m ，粘性係数 0.001 と

-0.5
0.5
位置[mm]

1.5
B○

図 4 水の定常流での狭窄後の造影剤濃度勾配

して，血液を想定したものでは密度 1.055×103

平均値は 7.5 /mm だった．

kg/m3，粘性係数 0.0038 とした．

次に，上流圧力が 0～6 kPa 拍動流の条件での実験について，造影剤が流れ始めてから 1.2 秒
後の撮影結果および管軸に垂直な方向の造影

図 2 解析モデル

剤濃度勾配を示す．

A○

3．結果と考察
B○

3-1．実験結果

図 5 水の拍動流での造影剤濃度勾配

X 線循環器診断システムを用いて実験に用いた柔軟管の 3D 画像を撮影した．シリコンゴム
製のゴム管の面積狭窄率は 74 %，ポリビニルア

287

6
圧力[kPa]

単位厚さあたりの明度変化[/mm]

15
10
5
0

-1.5
A
○

-0.5
0.5
位置[mm]

5
4
3
0.0

1.5
B
○

1.0 時刻[s] 2.0

入口圧力（実験）
入口圧力（解析）3.0

出口圧力（実験）
出口圧力（解析）

平均値は 9.8 /mm だった．拍動流においても，
狭窄後において造影剤は管全体に一様に広がっていたことが分かった．
次に，流体に血液を用い上流圧力が 20 kPa 定
常流の条件とした実験について，造影剤が流れ流量[mL/min]

図 6 水の拍動流での狭窄後の造影剤濃度勾配

160
140
120

流量（実験）
流量（解析）

100

0.0

始めてから 1.5 秒後の撮影結果および管軸に垂直な方向の造影剤濃度勾配を示す．
A○

1.0 時刻[s] 2.0

3.0

図 9 実験と解析の圧力・流量の比較

図 9 より，圧力については概ね一致している
ものの流量は差があり，定量的な一致には課題B○が残った．解析モデルは実験で用いた柔軟管と狭窄部の形状が異なり，それが影響している可

単位厚さあたりの明度変化[/mm]

図 7 血液の定常流での造影剤濃度勾配能性がある．

40
30
20
10
0
-1.5
A
○

-0.5
0.5
位置[mm]

1.5
B
○

[m/s]

図 8 血液の定常流での狭窄後の造影剤濃度勾配

図 10 狭窄部付近の流速ベクトル可視化（水）平均値は 23.4 /mm だった．血液を用いた実験

図 10 は狭窄部付近の流速ベクトルを大きさでは，狭窄後の造影剤は管壁付近が濃くなってに比例した矢印で可視化したものである．狭窄

いることが分かった．明度を測定した地点より

後は流体が管全体に広がる流れになっていた

後ろでは，造影剤濃度の高い領域がらせん状にと考えられる．
一方，流体を血液と想定した 5 kPa 定常流の回転しながら流れていた．

解析では，解析の狭窄率を 95%とすると圧力損
3-2．流体構造連成解析

失が実験と一致した．この狭窄率の解析での流流体が水で定常流を想定した解析を，入口・速ベクトルは以下の図のようになった．

出口圧力と流量について実験と比較すると，以下の図のようになった．

[m/s]
図 11 狭窄部付近の流速ベクトル可視化（血液）狭窄後に管壁を伝う噴流は，造影剤の濃い領288域に相当している可能性がある．しかし，血球ENGLAND JOURNAL of MEDICINE,が影響している可能性も考えられるので，原因

Vol.360, No.3: 213-224, 2009の特定には更なる実験が必要である．

［2］

A. J. Einstein: TAG-Is It It? Improving
Coronary

Computed

Tomography

3-3．造影剤動態の解析結果

Angiography

With

the

Isotemporal

流体を水とし定常流を想定した造影剤動態

Transluminal

Contrast

Attenuation

Gradient. Journal of the American College

解析の結果のうち，狭窄部付近を図 12 に示す．

of Cardiology, Vol.61, No.12: 1280-1282,
2013
［3］

B.-K. Koo, A. Erglis, J.-H. Doh, et al.:Diagnosis of Ischemia-Causing Coronary

図 12 水の定常流におけるパーティクルの分布

Stenoses by Noninvasive Fractional Flow

図 10 と図 12 を併せ考えると，狭窄後に造影剤は管全体に広がっているという解析結果でReserve

あり，実験と一致する傾向が得られた．

Computed

Computed

From

Tomographic

Coronary

Angiograms.

Journal of the American College of
4．結言

Cardiology, Vol.58, No.19: 1989-1997,

狭窄柔軟管に水及び血液を流し造影剤動態2011を撮影する実験とそれを模した流体構造連成［4］Y. E.Yoon, J. -H. Choi, J. -H. Kim, et al.:

解析及びパーティクルトレース解析を行った．

Noninvasive

実験では，流体が水のとき狭窄後の造影剤は管Causing Coronary Stenosis Using CT

全体に拡散したが，血液のときは造影剤濃度のAngiography.

高い領域が管壁を伝ってらせん状に流れるとIMAGING, Vol.5, No.11: 1088-1097, 2012

いう違いがあった．解析については，血液かつ［5］DiagnosisofIschemia-

CARDIOVASCULAR

D. T. Wong, B. Ko, J. Cameron, et al.:

定常流の条件において狭窄後に 噴流が管壁をTransluminal

Attenuation

Gradient

伝っており定性的には一致したが，定量的な一Coronary

Computed

Tomography

致には課題が残った．

Angiography Is a Novel Noninvasive
ApproachtotheIdentification

in

of

謝辞

Functionally Significant Coronary Artery

実験においてご協力を賜った 東京大学医学

Stenosis. Journal of the American College

部附属病院の月原弘之先生，井野賢司先生，東of Cardiology, Vol.61, No.12: 1271-1279,2013

京大学大学院工学系研究科の 藤澤彩乃先生に心より感謝いたします．本研究は JSPS 科研費［6］

15K17932 の助成を受けたものです．

波田野明日可，住吉谷淳，鈴木一真 他：
分 岐 狭 窄 柔 軟 フ ァ ン ト ム 実 験 と ALE
流体構造連成解析による造影剤動態解

利益相反の有無明 ． 日 本 機 械 学 会 論 文 集 ， Vol.84 ，なし

No.863：1-12，2018
［7］
文

［1］

S. A. Ahmed , D. P. Giddens: Pulsatile
poststenotic flow studies with laser Doppler

献

P.Tonino, B.D.Bruyne, N.Pijls, et al.:anemometry. Journal of biomechanics,

Fractional

Vol.17, No.9: 695-705, 1984

Flow

ReserveversusAngiography for Guiding PercutaneousCoronary

Intervention.

The

NEW

289

X-ray projection and fluid structure interaction analysis
of contrast agent dynamics through an elastic stenosis
Ryotaro KANEKO*1, So TAKAMOTO*1, Asuka HATANO*1, Satochi IZUMI*1*1 The University of Tokyo

Transluminal attenuation gradient (TAG) is one of noninvasive assessments of the functional significance of a stenosis
and its diagnostic performance should be improved for practical use. TAG is the gradient of contrast from the ostium
when contrast agent first passes; therefore, diffusion of contrast agent at downstream of a stenosis can affect thediagnostic performance. In this study, the diffusion of the contrast agent in fluid flowing through a flexible tube
simulating a stenotic blood vessel was radiographed. Water or blood was used as the fluid, flowing under steady flow or
pulsatile flow condition. ALE fluid-structure interaction finite element simulation was also conducted in order toestimate flow distribution. In the experiment using water under steady flow condition, the contrast agent diffused
uniformly over the entire tube at downstream of the stenosis. On the other hand, in the experiment using blood understeady flow condition, the contrast agent flowed helically along the tube wall. The simulation with blood showed the jetflowed off the center and along the tube wall when the narrowing rate was high, which agreed the experiment. However,concentration gradients associated with diffusion did not agree quantitatively.

Key words: Contrast agent, Flexible tube, Fluid-structure interaction, Stenotic flow, X-ray projection
著者紹介
金子 凌太朗 (かねこ りょうたろう)
2019 年東京大・工学部・機械工学科卒．現在，東京大大学院修士課程・工学系研究科・機械工学専攻・1 年．

高本 聡 (たかもと そう)2012 年東京大・工学部・機械情報工学科卒．2017 年同大大学院博士課程･工学系研究科･機械工学専攻了．現
在，東京大・工学系研究科・機械工学専攻・助教．

290

波田野 明日可 (はたの あすか)2007 年東京大・工学部・機械工学科卒．2012 年同大大学院博士課程･新領域創成科学研究科･人間環境学専攻
了．現在，東京大・工学系研究科・機械工学専攻・講師．

泉 聡志 (いずみ さとし)
1994 年東京大大学院・工学系研究科・機械情報工学専攻了．現在，東京大・工学系研究科・機械工学専攻・教授．

OP2-17Classification of histological subtypes of NSCLC
using Coxnet and NMF
Masahiro YAMADA*1, Hidetaka ARIMURA *2, Kenta NINOMIYA *1
Abstract
Histological classification of non-small cell lung cancer (NSCLC) affects the decision making of treatment policies.
However, histological subtypes, i.e. adenocarcinoma (AC) and squamous cell carcinoma (SCC), identified from asingle biopsy occasionally differ from actual subtypes decided by surgical resections for NSCLC. We aim to explore
classification approaches of histological subtypes of NSCLC using three support vector machines (SVMs) withradiomic signature sets (sets of significant image features) determined by Coxnet and non-negative matrix
factorization (NMF). Classification models of Gaussian, linear and polynomial SVMs constructed with radiomic
signatures achieved the areas under the curves (AUCs) of 0.7021, 0.6803, 0.7131 using Coxnet, and 0.7128, 0.6660,
0.7143 using NMF, respectively. The polynomial SVM with the radiomic signature determined by NMF could morecorrectly classify histological subtypes of NSCLC into AC and SCC.
Keywords: Histological subtypes, Radiomics, Classification, NSCLC, SVM

1.

Introduction

The most common histological subtypes of non-small cell lung cancer (NSCLC) are adenocarcinoma(AC), squamous cell carcinoma (SCC) and large cell carcinoma (LCC) [1]. AC accounts for 38.5% of alllung cancer, with SCC accounting for 20% and LCC accounting for 2.9% [2]. Histological classificationof lung cancer provides important information about tissue characteristics and a natomical location [3],which is utilized for determination of treatment policies [4].
The recent advancements in the therapy for lung cancer are discovery of targetable mutations formolecular targeted drugs and development of histology-based therapeutic regimen selection [4,5].
In clinical practice, the most common way of classifying histological subtypes is the biopsy, in which
specimens are sampled. This method is clinically limited by the invasive procedures as well as prolonged
time and cost efficiency [5]. Furthermore, histological subtypes identified from specimens sampled by thesingle biopsy occasionally differ from those from surgical resection [6].
Radiomics based on medical images, which are routinely acquired in noninvasive, lower cost and fastway, has been proposed [7]. For increasing the classification accuracy in the biopsy or without the biopsy,
we aim to develop an automated approach for classifying histological subtypes of NSCLC using support
vector machines (SVMs) with radiomic features.

―――――――――――――――――――――――――――――――――――――――――*1 Department of Health Sciences, Faculty of Medical Sciences, Kyushu University〔3-1-1 Maidashi,
Higashi-ku, Fukuoka, 812-8582, Japan〕
e-mail: masahiro19940622@gmail.com*2 Department of Health Sciences, Graduate School of Medical Sciences, Kyushu Universit y

291

2.

Materials and frameworks

2.1. Clinical cases
Computed tomography (CT) images of 205 lung cancer patients (male: 152, female: 53, age: 43 -87(mean: 69)) were selected from the datasets of NSCLC-Radiomics and NSCLC-Radiogenomics in The
Cancer Imaging Archive (TCIA) database [8]. The patients were categorized into two histologicalsubtypes of AC (n=103) and SCC (n=102), and into four overall stages Ⅰ (n=80, 39.0%), Ⅱ (n=45,
22.0%), Ⅲ A (n=43, 21.0%) and ⅢB (n=37, 18.0%). The CT images of NSCLC-Radiomics wereacquired with a scanner (SOMATOM Sensation-16, Siemens), with an in-plane pixel size of 0.98×0.98
mm2, a slice thickness of 3 mm and 16-bit gray levels. The patients of NSCLC-Radiomics data treatedwith radiotherapy or chemoradiotherapy. The CT images of NSCLC-Radiogenomics were acquired withseveral CT machines, with in-plane pixel sizes of 0.6-1.37 mm, slice thicknesses of 0.63-7.00 mm and16-bit gray levels.
2.2. Overall procedure
Figure 1 shows an overall procedure of our proposed approach.

Fig. 1. An overall procedure of our proposed approach. A left flow shows the calculation of ICCs ofradiomic features. A right flow shows the stratification of tumor regions into AC and SCC.
In the first step, we calculated intraclass correlation coefficients (ICCs) of radiomic features which wereextracted from CT images.
In the second step, high stability features were extracted from CT images ( 𝑛 = 205) of NSCLC, andwe constructed signatures using Coxnet and NMF (non-negative matrix factorization). Finally, the areas
under the curves (AUCs) were evaluated to investigate the most appropriate kernel function in SVMs.
2.3. Feature extraction
In this study, 486 radoimic features which included statistical features, texture features and waveletfeatures, were calculated. Statistical features describe the image histograms within GTV (gross tumor

292

volume). Texture features were derived from gray-level co-occurrence matrix (GLCM) [9], gray-level run
length matrix (GLRLM) [10], gray-level size zone matrix (GLSZM) and neighborhood gray-tonedifference matrix (NGTDM). Wavelet features were extracted on the images which were transformed bycoiflet wavelet function at three dimensions. These features were computed in MATLAB 2015b.
2.4. Assessment of stability features
Thirty-one stable radiomic features were selected by calculating ICCs using RIDER dataset andmultiple delineation dataset [8,11]. We used 19 patients in RIDER dataset to assess stable features between
the test and the retest scans, and 30 patients in RIDER, LIDC-IDRI and QIN-Lung-CT datasets [8] toevaluate the stability of radiomic features against variation in manual delineations which nine oncologists
delineated. The ICC is a statistical measure that assesses the degree of agreement (consistency) [12]. In
our study, the multiplication of the ICCs of temporal and multisegmentation (mICC) are calculated as
mICC = ̅̅̅̅̅
ICCtemporal × ̅̅̅̅̅
ICCsegmentation(1)

̅̅̅̅̅segmentation indicate the mean ICC (Eq. (2)) computed for the features ofwhere ̅̅̅̅̅
ICCtemporal and ICC
temporal stability and multisegmentation stability, respectively. The mean ICCs for each feature across thewhole dataset were calculated by𝑀̅̅̅̅̅
𝐼𝐶𝐶𝑗 =1∑ 𝐼𝐶𝐶𝑗,𝑘
𝑀

(2)

𝑘=1

where 𝑗 (= 1, … , 𝑀) is the feature number, 𝑁 is the number of radiomic features, 𝑘 (= 1, … , 𝑀) is thepatient number and 𝑀 is the number of patients. Following the classification of the ICC [13], features̅̅̅̅̅ ≥ 0.9) were considered high-stability features, whereas features with
with higher agreement (i.e. 𝐼𝐶𝐶
̅̅̅̅̅ < 0.9) were considered low-stability features. Consequently, features withlower agreement (i.e. 0 ≤ 𝐼𝐶𝐶
mICC ≥ 0.81 were considered high-stability features. The ICC was calculated by using the IRR package
in R Ver. 3.4.1 [14].
2.5 Feature selection
2.5.1 Coxnet algorithm
Simon et al studied the relationship between predictor variables and survival time, and developed the
Coxnet alogorithm [15,16]. The Cox proportional hazard model ℎ𝑖 (𝑡|𝒙𝑖 ) for a patient 𝑖 at a time 𝑡 canbe expressed by𝑇ℎ𝑖 (𝑡|𝒙𝑖 ) = ℎ0 (𝑡)𝑒 𝜷 𝒙𝑖

The Lagrangian formulation is constructed as follows

293

(3)

̂ = argmax[𝑘𝑙(𝜷) − 𝜆𝑃𝛼 (𝜷)]
𝜷

(4)

𝜷

where
𝑛
𝑇

𝑙(𝜷) = ∑ 𝑑𝑖 {𝜷𝑇 𝒙𝑖 − ln ( ∑ 𝑒 𝜷 𝒙𝑗 )}𝑖=1

𝑡𝑗 ≥𝑡𝑖𝑃𝛼 (𝜷) = 𝛼‖𝜷‖1 +

1−𝛼
‖𝜷‖22
2

1, event occured at 𝑡𝑖
𝑑𝑖 = {
0, censored at 𝑡𝑖
and 𝑖, 𝑗 are the patient number, 𝒙 is the feature vector, 𝜷 is the coefficient vector, ℎ0 (𝑡) is the baseline
hazard function, 𝑡𝑖 , 𝑡𝑗 are the survival time of a patient 𝑖, 𝑗 (𝑡𝑖 ≤ 𝑡𝑗 ), 𝑘 is the scaling factor, 𝜆 is the
Lagrangian multiplier and 𝛼 (0 ≤ 𝛼 ≤ 1) is a blending parameter.
2.5.2 NMF algorithm
Non-negative matrix factorization (NMF) aims to obtain a linear representation of multivariate data
under nonnegativity constrains. These constraints lead to a part-based representation because only additive,
without any subtractions, combinations of the original data are allowed [17]. Given a positive matrix X ofsize N × M and desired rank 𝐾 (number of bases), the NMF algorithm iteratively computes anapproximation
𝑋~𝑊𝐻

(5)

subject to 𝑤𝑖𝑘 ≥ 0, ℎ𝑘𝑗 ≥ 0
where 𝑋 is the data, 𝑊 is the basis matrix with elements 𝑤𝑖𝑘 (𝑖 is the feature number, 𝑘 is the rank
number), 𝐻 is the coefficient matrix with elements ℎ𝑘𝑗 (𝑗 is the patient number), N is the number offeatures and M is the number of patients. 𝑊 and 𝐻 are nonnegative matricies with respective sizes
N × K and K × M.
3.

Results

3.1 Feature selection
In this study, the parameter 𝛼 = 1 (LASSO penalty) was used in Coxnet and performed a 10-folds
cross validation method to decide the Lagrangian multiplier 𝜆. An optimal 𝜆 was determined at the pointof minimum mean cross validation error. Five significant features (LHL_RLN, LHL_SZE, HLH_Strength,
LHH_SZE and HHH_Strength) with non-zero coefficients were selected as a radiomic signature.
In NMF, the rank k was decided with considering about RSS (residual sum of squares) curve. The
RSS curve had been adopted to determine the optimal rank k from 6. Five significant features(HLL_Busyness, LHL_LRE, LHL_Busyness, HHH_Busyness and HHH_Strength), which were thehighest magnitude of basis matrix 𝑊, were selected.

294

3.2 Stratification of tumor regions
SVMs were used for classifying histological subtypes of NSCLC in this study. We used three kernel
functions; Gaussian, linear and polynomial. Optimal parameters were decided in each kernel function.
Figure 2 shows the ROC curves using a signature of Coxnet (left) and NMF (right).

Fig. 2. ROC curves using a signature of Coxnet (left) and NMF (right).
Classification models of Gaussian (G), linear (L) and polynomial (P) SVMs achieved AUCs of 0.7021 (G,sigma : 1.19), 0.6803 (L, slope : 0.5, intercept : 5), 0.7131 (P, slope :0.5, intercept : 380, dimension : 5)
using Coxnet, and 0.7128 (G, sigma : 1.26), 0.6660 (L, slope : 1.2, intercept : 335), 0.7143 (P, slope : 0.15,
intercept : 140, dimension : 9) using NMF, respectively.
4.

Discussion and conclusion

An emerging field radiomic quantifies phenotypic characteristic of tumor tissues using medical
images. In this study, we investigated the association of radiomic features and histological subtypes of
NSCLC and achieved relatively higher prediction accuracy, especially when using polynomial functions.
According to Matsuda et al, the true diagnosis of histological subtypes of lung cancer cannot be madeof a small biopsy fragment, because of the lack of cell differentiation [18]. Our study, which isclassification of histological subtype using image features, might be useful for not only increasing theclassification accuracy but also patients who do not prefer a biopsy.
The performance of classifiers can be enhanced if we incorporate the clinical information like tumor
grade, location, smoking history and obesity [19]. For example, a recent study showed body mass index
was inversely associated with SCC, and the association was positive for AC [20].
In conclusion, histological subtypes of NSCLC could be classified into AC and SCC using apolynomial support vector machine with radiomic features.
Acknowledgement
The authors would like to express their appreciation to all of members of the Arimura laboratory who
provided precious comments and advices for this study.

295

Conflict of interests
The authors do not have any conflict of interests to disclose.
References[1] Travis WD, “Pathology of lung cacner.” Clin Chest Med, 32(4):669-92 (2011).
[2] Charles S, Lynn T, Richard A, “Lung Cancer: Epodemilogy, Etiology and Prevention.” Clin Chest Med,
23(1):1-25 (2002).
[3] Wu W, Parmar C, Grossmann P et al, “Exploratory Study to Identity Radiomics Classifiers for Lung Cancer
Histology.” Front Oncol, 30;6:71 (2016).
[4] Manegold C, “Treatment algorithm in 2014 for advanced non-small cell lung cancer: Therapy s selection bytumour histology and molecular biology.” Adv Med, 59(2):308-13 (2014).
[5] Cufer T, Ovcaricek T, O’Brien ME, “Systemic therapy of advanced non-small cell lung cancer:
major-developments of the last 5-years.” Eur J Cancer, 49(6):1216-25 (2013).
[6] Cataluna JJ, Perpina MD, Greses JV et al, “Cell Type Accuracy of Bronchial Biopsy Specimens in Primary Lung
Cancer.” Chest, 109(5):1199-203 (1996).
[7] Aerts HJ, Velazquez ER, Leijenaar RT et al, “Decoding tumour phenotype by noninvasive imaging using aquantitative radiomics approach.” Nat Commun, 5:4006 (2014).
[8] The Cancer Imaging Archive, December 2010, http://www.cancerimagingarchive.net/[9] Haralick RM, Shanmugan K, Dinstein I, “Texture features for image classification.” IEEE Trans Syst Man Cybern ,3:610-21 (1973).
[10] Peto R, Peto J, “Asymptotically efficient rank invariant test procedures” J R Stat Soc Ser A 135:185-207 (1972).
[11] Zhao B, James LP, Mosknowitz CS et al, “Evaluating variability un tumor measurements from same -day repeat
CT scans of patients with non-small cell lung cancer.” Radiology 252:263-72 (2009).
[12] Soufi M, Arimura H, Nakamoto T et al, “Exploration of temporal stability and prognostic power of radiomic
features based on electronic portal imaging device images” Physica Medica, 46:32-44[13] Koo Tk, Li MY, “A Guideline of Selecting and Reporting Intraclass Correlation Coefficints for Reliability
Research.” J Chiropr Med, 15(2):155-63 (2016).
[14] Gamer M, Lemon J, Fellows I, et al, “irr: Various Coefficients of Interrater Reliability and Agreement.” ,https://www.r-project.org[15] Simon N, Friedman H, Hastie T et al, “Regularization Paths for Cox’s Proportional Hazards Model via
Coordinate Descent.” Journal of Statistical Software, 39(5):1-13 (2011).
[16] Mazen S, Arimura H, Nagami N, “Identification of optimal mother wavelets in surv ival prediction of lung cancer
patients using wavelet decomposition-based radiomic features.” Medical Physics, 45(11):5116-28 (2018).
[17] Zdunek R, Cichocki, “Nonnegative matrix factorization with constrained second -order optimization.” Signal
Processing, 87(8):1904-16 (2007).
[18] Matsuda M, Horai T, Nakamura S et al, “Bronchial brushing and bronchial biopsy: comparison of diagnostic
accuracy and cell typing reliability in lung cancer.” Thorax 41(6):475-78 (1986).
[19] Bufill JA “Colorectal cancer: evidence for distinct genetic vatefories based on proximal or distal tumor loc ation.”
Ann Intern Med, 15;113(10):779-88 (1990).
[20] Zein EI M, Parent ME, Nicolau B et al, “Body mass index, lifetime smoking intensity and lung cancer risk.” Int J
Cancer, 1;133(7):1721-31 (2013).

296

OP2-18

CNN を用いた CAD 開発における段階的学習法の提案
安倍

和弥*1

武尾

英哉*1 永井

優一*2

縄野

繁*3

要旨
近年，CAD の研究分野にも CNN が積極的に用いられるようになった．一般的に，機械学習には様々なバリエーションを有する症例画像を網羅的に与えて学習することで，汎用的で高性能な判別器を設計する．
しかし，CNN の学習データを構成する中で，データを一様に与えるのではなく，複数のサブセットに分け，その比率を調整することで効果的な学習ができる可能性が確認できた．本論では，このサブセットを使用
して CNN の学習を段階的に繰り返し行う学習法について提案する．
本研究では，乳がん腫瘤の学習データを腫瘤の大きさと濃淡をもとに個々のサブセットを作成し，学習した CNN を評価用として複数用意したデータセットを用いて最適比率を検討し，実際の未知データで性能評価を行う．そして，評価データで検出ミスの多かったサブセットの比率を上げて再学習を行う．これをAUC の上昇が見られる間複数回繰り返し，性能の高い CNN を設計した．この CNN を未知データへ適用した結果，単純に網羅的に学習データを与えた CNN と比べて AUC が高いことが確認でき，本学習法の有効性が確認できた．また，本学習法を肝腫瘍にも適用したところ，同様の結果が得られ，この学習法の汎化性も確認できた．
キーワード：CNN，CAD，学習法，乳がん腫瘤，肝腫瘍

1．はじめに[1]．一般的に，機械学習には様々なバリエーシ

近年，医療の現場では CT や MRI など撮影装

ョンを持った症例画像を網羅的に与えて学習

置の高精細化により生成される医用画像の量を行うことで，汎用的で高性能な判別器を設計が増大している．撮影される画像の枚数は患者する．これは，学習に含まれていない画像はう

一人あたり数百枚にもおよび，それを読影する

まく検出ができないと考えられるからである．

医師の負担も急増している．そのため診断の補

しかし，CNN の学習データを構成する中で，デ助を行うコンピュータ画像支援診断（Computer

ータを一様に与えるのではなく，複数のサブセ

Aided Diagnosis/Detection : CAD）の開発が非常ットに分け，その比率を調整することで効果的に重要視されている．

な学習ができる可能性が確認できた．本論では，その CAD の研究分野においても人工知能，

このサブセットを使用して CNN の学習を段階

AI を用いた研究が進められている．その中でも的に繰り返し行う学習法について提案する．

画像認識手法である CNN（Convolutional Neural

CNN を 用 い た 乳 が ん 腫 瘤 影 の 検 出 は Al-

Network）は積極的に用いられるようになった

masni ら[2,3]や Tan ら[4]などが行っている．また，CNN を用いた肝腫瘍（肝臓がん）の検出は――――――――――――――――――

近藤ら[5]が行っている．しかし，これらは学習*1 神奈川工科大学工学部電気電子情報工学科

データについては網羅的に与える手法をとっ〔〒243-0292 厚木市下荻野 1030〕ており，与える学習データの内容について精査
してはいない．

e-mail: abex0930@ele.kanagawa-it.ac.jp

CNN の課題として，有効ではない画像が含ま*2 国立がん研究センター東病院

れると性能が低下する問題がある．これに対し*3 国際医療福祉大学三田病院

サブセットを作成して段階的に学習を行うこ

投稿受付：2018 年 5 月 15 日

297

とにより，無作為に画像を与えた場合に比べてサイズ有効な画像群を優先して用いることが可能と小なり判別精度の向上が期待できる．
本論文のポイントを以下に示す．

濃① 段階的学習法の提案② 提案システムの乳がん腫瘤への適用

コ
ン
ト
ラ
ス
ト

③ 汎化性確認のため同手法の肝腫瘍への適用
本論文では，2 章で段階的学習法の手法について，3 章で提案学習法での検出性能の推移を

淡示す．4 章にて考察，5 章にて本研究のまとめについて述べる．

2.1

SD

MD

LD

SM

MM

LM

SP

MP

LP

図2

2．段階的学習法について

2.3

段階的学習法の流れ

提案する段階的学習法の流れを図 1 に示す．

大分類表

乳がん腫瘤 CNN の段階的学習

乳がん腫瘤影判別の CNN は Al-masni らの手法[2]や藤田らの書籍[6]を参考に yolo[7]を用いて作成した．OS は ubuntu18.04，cuda9 を用いてGPU を利用した学習を行っている．CNN の構成は中間層 8 層の CNN を用い，転移学習は使用していない．すべての学習において Epoch 数
は 5000，バッチサイズは 64 とした．
本論にて使用する yolo では完全ランダムで画像を選択し学習する．そのため，同様の種類の画像が連続で選択された場合，その種類に特化した判別器になる可能性があり，稀に低性能の判別器が作成される．この問題への対策として，同一の学習データセットにて各 3 回の学習

図12.2を行って判別器の作成を行い，判別性能が最高

段階的学習法の流れである判別器を使用することとした．
初めに各サブセット単体での CNN と各サブ

サブセットの作成

セットを網羅した CNN を作成する．作成した乳がん腫瘤，肝腫瘍の症例画像をサイズの大判別器にて評価データセットを用いて評価を小とコントラストの濃淡を基に 9 分類に分けサ行い，判別性能を求める．評価用データセット

ブセットを作成する．分類表を図 2 に示す．コントラストは腫瘍内部と辺縁での差分とした．
分類表の分類名は，サイズを S・M・L（Small，には，がん症例 100 例，非がん症例 100 例の計
200 例を用意した．評価には ROC グラフを用いて AUC(ROC グラフの下面積)を算出し，各学習

Middle，Large），コントラストを P・M・D（Pale，における判別性能を算出する．なお，症例数のMiddle，Deep）と分類し頭文字をつなげて表記

関係上，乳がん腫瘤に関しては SP，SM，SD のしたものであり，本論では以降この表記で記述

3 つのサブセットは統合し計 7 つのサブセットを行う．

にて評価を行った．評価結果での AUC を表 1，
図 3 に示す．

298

表1

判別器ごとの AUC(腫瘤)
AUC
判別記名
0.873
判別器 S
0.550
判別器 MD
0.856
判別器 MM
0.843
判別器 MP
0.811
判別器 LD
0.831
判別器 LM
0.706
判別器 LP
0.878
判別器 X（網羅）

Score=(対象サブセットの検出ミス*2)+(周囲 3 サブセットの検出ミス)

サイズ
小
濃
コ
ン
ト
ラ
ス
ト

サイズ
小

大
0.550

濃

淡

0.811
図4

コ
ン
ト
ラ
ス
ト

0.873

0.856

(1)

大

4
(19)

4
(16)

1
(12)

4
(16)

3
(-)

3
(13)

1
(10)

1
(9)

3
(13)

判別器 Y1 での検出ミス数と Score(カッコ内に Score を記載)

0.831

Score より SD を加えて判別器 Y2 を作成す
淡

0.843

る．以降も同様に Score を基に組み換えを行い，

0.706

AUC が飽和または減少するまで行い最高性能の判別器を作成する．最終的な評価データセッ
トでの AUC の推移を表 2 に示す．

図3

分類表でみる AUC(腫瘤)表2

サブセット MD において，枚数不足に起因す評価データセットによる段階的学習法の AUC 推移(腫瘤)
AUC
判別記名
0.878
判別器 X（網羅）0.820
判別器 Y10.851
判別器 Y20.873
判別器 Y30.921
判別器 Y4るとみられる極端に低い学習結果が得られた
ため後の平均 AUC 算出からは除外している．
網羅型である判別器 X 及び MD を除いた判別器の平均 AUC は 0.820 であり，平均より判別
性能が高かったのは，サブセット S・MM・MP・
LM であった．ただ，サブセット S は複合であるため単独での性能が未知数である．よって，
1 段階目の学習は MM・LP・LM の 3 種にて判

表 2 より評価データセットでは判別器 Y4 が最高値となった．また，段階的な判別性能の向別器 Y1 の作成を行った．以降は作成する Y 系

上も確認できた．

統の判別器での検出ミスが多いサブセットを加えて，段階的に高性能な判別器作成を行う．
追加するサブセットの決定は式(1)にて Score を

2.4

肝腫瘍 CNN の段階的学習

汎化性の確認のため，肝腫瘍の CNN も乳が算出．MM を除き最も有効であるサブセットのん腫瘤と同様に yolo を用いて作成を行った．サ

みを加えて判別器を組み替える．判別器 Y1 でブセットについても乳がん腫瘤と同様にサイの検出ミス数と Score を図 4 に示す．

ズとコントラストを用いて 9 分類し各判別器と網羅型の判別器を作成，式(1)の Score を用いて

299

3．未知データでの本学習法による検出性能

段階的に学習を行った．また，肝腫瘍では評価
データセットを 2 種類用意，相互に評価データの推移

セットと未知データセットとすることで 2 通り

3.1

乳がん腫瘤

の判別器にて本学習法の評価を行った．データ

2.3 節にて作成した CNN を未知データセット

セットには，がん症例 100 例，非がん症例 100にて適用し，評価を行った．未知データセット

例の計 200 例を用意した．サブセットごとのにはがん症例 100 例と非がん症例 100 例を用い

AUC を表 3 に示す．

た．結果を表 5 に，ROC の推移を図 5 に示す．

表3

判別器ごとの AUC(肝腫瘍)
評価セット
評価セット
判別記名
A
B
AUC
AUC
0.822
0.824
判別器 SD
0.732
0.753
判別器 SM
0.846
0.855
判別器 SP
0.772
0.769
判別器 MD
0.797
0.803
判別器 MM
0.834
0.855
判別器 MP
0.701
0.699
判別器 LD
0.732
0.774
判別器 LM
0.846
0.775
判別器 LP
0.825
0.865
判別器 X（網羅）表5

未知データでの判別性能の推移(腫瘤)
AUC
判別記名
0.840
判別器 X（網羅）0.814
判別器 Y10.852
判別器 Y20.858
判別器 Y30.888
判別器 Y4

セット A では網羅型である判別器 X を除いた判別器の平均 AUC は 0.787 であり，平均より判別性能が高かったのは，サブセット SD・SP・
MM・MP・LP であった．また，セット B では
平均 AUC は 0.790 であり，平均より判別性能が高かったのは，サブセット SD・SP・MM・MPであった．よって，これらより判別器 Z1 を作成し段階的に学習を行った．評価データセット

図5

未知データでの ROC グラフ(腫瘤)での AUC の推移を表 4 に示す．
表 4 より評価データセットでは，セット A で

表 5，図 5 より未知データにおいても有意なは判別器 Z2，セット B では判別器 Z4 が最高値

判別性能の向上が見て取れる．網羅型である Xとなった．

の AUC が 0.840 に対し，段階型学習法では段階

表4

評価データセットによる的な性能向上が見られ，最終的に 0.888 まで増

段階的学習法の AUC 推移(肝腫瘍)
評価セット
評価セット
判別記名
A
B
AUC
AUC
0.825
0.865
判別器 X（網羅）
0.891
0.859
判別器 Z10.904
0.860
判別器 Z20.856
0.888
判別器 Z30.907
判別器 Z40.884
判別器 Z5

加した．
3.2

肝腫瘍

2.4 節にて作成した CNN を未知データセット
にて適用し，評価を行った．未知データセットにはがん症例 100 例と非がん症例 100 例を用いた．結果を表 6 に，ROC の推移を図 6(a)(b)に示
す．

300

表6

表 6 及び図 6 より，乳がん腫瘤同様こちらも未知データでの判別性能の推移(肝腫瘍)
未知セット
未知セット
判別記名
A
B
AUC
AUC
0.865
0.825
判別器 X（網羅）
0.877
0.828
判別器 Z10.927
0.835
判別器 Z20.832
0.865
判別器 Z30.868
判別器 Z40.856
判別器 Z5

未知データにおいても有意な判別性能の向上が見て取れる．また，未知セット A・B ともに網羅型である X に比べて評価データでの最適値である Z2・Z4 で AUC の最高値を得ており，本学習法の有効性が示唆できた．
4．考察
2 章の表 2・3 の結果より，サブセットの AUCを基にした学習データセット構築と，Score を用いた弱点補強法が CNN 開発に有効であると確認できた．特に Score を使用しての段階的学
習では，従来の網羅型の CNN と同数の学習データでより効率的に学習が行えていることが確認できる．
3 章の評価結果より，段階的学習法を用いる
ことにより，最適化を行った評価データだけでなく最適化を行っていない未知データにおいても性能の向上が確認できた．また，対象により多少ばらつきはあるものの FP 率 10%で 80%～90%の高い TP 率が得られており，医師の正答率が 80%～90%と言われているため同等の性能が得られたといえる．

(a)

乳がん腫瘤においてはデータ不足によりサ

未知セット A の ROC グラフ

ブセット S 系が個別に評価できなかった．また，同様にデータ数不足と思われる要因によりサブセット MD の学習性能が低かった．これらの問題は一層のデータ収集を行うことにより，的確なサブセットを使用しての判別器開発が行えると考えられる．
肝腫瘍においては撮影機器や造影剤によるコントラストのばらつきが大きく同一サブセット内でもばらつきが見られる．今回は門脈相のみを用いたが，位置合わせを行い単純相との差分をコントラストとして用いるなども検討の余地がある．また，嚢胞を検出してしまうこともあり嚢胞は別途学習を行うことも検討の余地がある．

(b)
図6

乳がん腫瘤での MM など有効なサブセット

未知セット B の ROC グラフ

のみで効果的な CNN が作成できる要因として，未知データでの ROC グラフ(肝腫瘍)サブセットによる周囲の補完が考えられる．図7 に示す通り，同一サブセット内にある大小や

301

コントラスト差などから，CNN により周辺を補病院にて倫理委員会を通したうえで提供を受完する特徴量が作られるため性能の向上が見けたものを使用している．

られた．一方，肝腫瘍での LD，LM などは嚢胞の誤検出の要因となりやすく精度が低下したと考えられる．この点からも単純に網羅するよ文

りもサブセットを用いて不要部位を減少させ［1］

献Robertson S, Hartman J, Robertson S et al:
Digital image analysis in breast pathology-

る利点と考えられる．

from image processing techniques to
artificial

intelligence.

Translational

Research Vol.194, pp.19-35, 2018［2］

Al-masni M. A., Al-antari M. A., Park J etal:

Simultaneous

detectionandclassification of breast masses in digital
mammograms via a deep learning YOLObased CAD system. Computer Methods andPrograms in Biomedicine Vol.157, pp.8594, 2018［3］

Al-masni M. A., Al-antari M. A., Park J et
al: Detection and classification of the breast
abnormalities in digital mammograms via

図7regional Convolutional Neural Network.

サブセットによる補完

IEEE Conf Proc. No.EMBC. pp.1230-1233,
5．まとめ

2017

本論では，CNN を用いた CAD 開発において［4］

Tan Y. J., Sim K. S., Ting F. F: Breast cancer

サブセットを用いて段階的に学習を行い，判別

detection

性能の高い CNN の作成手法について提案を行

networks for mammogram imaging system.

った．サイズの大小，コントラストの濃淡に注IEEE Conf Proc. No.ICORAS. pp.1-5,

目して症例画像を 9 個のサブセットに分割，中2017

間評価画像を利用して最適な組み合わせを検

［5］

using

convolutional

neural近藤正，上野淳二，高尾正一郎：人工知

討し，未知データにて性能向上を評価した．そ

能技術を用いた多層型 GMDH-type ニの結果，乳がん腫瘤と肝腫瘍のいずれを対象とューラルネットワークによる肝臓癌のした判別器においても段階的に性能向上が見

医用画像診断．信学技報 111(396), pp1-

られる結果となり，本手法での CAD 開発の有6, 2012

効性が確認できた．

［6］

藤田一弥，高原歩：実装ディープラーニ
ング．オーム社，東京，2016，pp150-167

利益相反の有無利益相反［7］

Joseph R, Santosh D, Ross G et al: You
Only Look Once: Unified, Real-Timeなし

Object Detection. Computer Vision and
Pattern Recognition, arXiv:1506.02640,

倫理規範の順守

2015

本研究にて使用した患者の症例データは，すべての患者の初診時に撮影画像の研究利用も含めた「包括的合意」にサインを受け，また各

302

Proposal for an incremental learning method for CAD developmentthat uses CNN
Kazuya ABE*1, Hideya TAKEO*1, Yuuichi NAGAI*2, Shigeru NAWANO*3*1 Kanagawa Institute of Technology*2 National Cancer Center Hospital East
*3 International University of Health and Welfare, Mita Hospital
In recent years, convolutional neural networks (CNN) have found increasingly active application in the field ofcomputer-aided diagnosis (CAD) research. Typically, general-use, high-performance detectors are designed using
machine learning, the training of which is conducted by applying comprehensive sets of case images having various
variations. In this study, we show that, when configuring CNN training data, dividing the data into multiple subsets
and adjusting their ratios, instead of providing the data uniformly, has the potential for effective learning. We propose
in this study a learning method by which CNN learning using these subsets is incrementally repeated.
In this study, subsets of breast cancer mass learning data based on mass size and intensity were created. Using
multiple data sets prepared for use in the evaluation of a CNN that had been subjected to learning, optimal ratios wereconsidered and, based on this, performance evaluations using actual unknown data were conducted. Next, the ratios ofevaluation data subsets having numerous detection errors were raised and relearning conducted. This process was
repeated multiple times, as long as increases in the area under curve (AUC) were observed, thus enabling the design ofa high-performance CNN. As a result of applying unknown data to this CNN, we found that it exhibited a higher AUC
than a CNN to which learning data was simply provided comprehensively, demonstrating the effectiveness of the
proposed learning method. Furthermore, applying the proposed learning method to hepatic tumors produced similar
results, indicating the general applicability of this method.
Key words: CNN, CAD, learning method, breast cancer mass, hepatic tumor

303

著者紹介
安倍 和弥 (あべ かずや)
2010 年神奈川工科大工学部電気電子工学科卒，2012 年同大大学院博士前期課程修了，2015 年同大博士後期課
程修了．2015 年同大日本人客員研究員．現在同大バイオメディカル研究センターのポスト・ドクター．博士（工学）．医用画像・細胞培養画像などの画像工学の研究に従事．第 6 回および
第 8 回 JAMIT-CAD コンテスト優勝．本学会，映像情報メディア学会各会員．

武尾 英哉 (たけお ひでや)
1984 年神奈川大工学部卒，1986 年同大大学院修士課程了．同年富士フィルム株式会社に入社．医用画像処理シス
テムに関する研究・開発に従事．2005
年東京農工大大学院博士後期課程了．
博士（工学）．2006 年神奈川工科大工学部助教授．現在同大教授．医用・フォト・シネマ映像などの画像工学の研究に従事．2004 年度本学会論文賞．第 6 回および第 8 回 JAMIT-CAD コ
ンテスト優勝．本学会，映像情報メデ
ィア学会，画像電子学会，電子情報通信学会，医用画像情報学会各会員．

永井 優一 (ながい ゆういち)
1991 年中央医療技術専門学校夜間部
卒．1991 年より国立療養所松戸病院
放射線科，1992 年より国立がん研究センター東病院放射線部，2006 年より国立がんセンター中央病院（現独立
行政法人国立がん研究センター中央病院）放射線診断部消化器官撮影主任，
2015 年より東埼玉病院放射線科副診
療放射線技師長，中央医療技術専門学校非常勤講師（画像工学），全国国立病院療養所放射線技師会常任理事，
2017 年より国立がん研究センター東病院放射線部放射線診断技術室副放射線診断技術室長，現在に至る．診療放射線技師．医用画像解析の研究に従事．日本放射線技術学会会員．

縄野 繁 (なわの しげる)
1981 年千葉大学医学部卒，同年千葉大学医学部付属病院放射線科研修医．
1982 年同助手．1986 年国立がんセン
ター病院放射線診断部医員．1992 年 7
月 1 日国立がん研究センター東病院放射線部医長．2002 年 4 月 1 日同部
長．2007 年 4 月 1 日国際医療福祉大学三田病院放射線診断センター教授．
日本医用画像工学会，日本医学放射線学会専門医，日本核医学会専門医，日本磁気共鳴医学会，北米放射線学会，
CT・MRI の診断，消化管 X 線診断．

304

OP2-19

Prediction of five-year survival probabilities of head-and-neckcancer patients using support vector machine based on radiomic
signatures selected by Coxnet
LE Cuong Quoc1, Hidetaka ARIMURA*2, Masahiro YAMADA1,
Hidemi KAMEZAWA3
AbstractFive-year survival probability may affect the choices of treatment policies for head-and-neck (H&N) cancer patients.
The aim of our study was to investigate an automated approach to predict of 5-year survival probabilities of H&Ncancer patients using a support vector machine (SVM). Computed tomography (CT) images of 126 patients with H&N
squamous cell carcinoma were selected from The Cancer Imaging Archive database for this study. Engineered features
representing tumor heterogeneity of cancer patients were extracted from gray-level histogram and texture matrices
within cancer regions. The signatures, i.e., sets of significant features, were constructed using a Coxnet algorithm. The
signatures were fed into the SVM with a polynomial kernel to estimate the 5-year survival probabilities. The polynomial
SVM learning with radiomic signatures archived an area under the curve of 0.665 for stratification of patients based on
5-year survival. The polynomial SVM could be feasible to estimate the 5-year survival probabilities of H&N cancer
patients by continuing this study to improve the approach.
Keywords：Head-and-neck cancer, Five-year survival probabilities, Coxnet, Support vector machine

1. IntroductionMore than 90% cancer in head-and-neck (H&N) region are squamous cell carcinomas (SCC) [1]. In H&N cancer
patients, five-year survival probability may affect the choice of treatment policies. Hence, prediction of 5-year survival
probability plays an essential role during treatment course of H&N cancer. Recently, radiomics has attracted increased
attention of researchers and clinicians due to its quantitative advantages. Radiomics could massively andcomprehensively analyze and extract mineable data from a large amount of medical images [2]. Machine-learningtechniques, e.g. support vector machine (SVM), have been used to imitate complex neural network or brain plasticity.
In clinical practice, machine-learning approaches with high accuracy could drive the success of radiomics-based
applications. We hypothesized that a radiomic-based SVM approach could be feasible to stratify H&N cancer patients―――――――――――――――――――――――――――――――――――――
1 Department of Health Sciences, Graduate School of Medical Sciences, Kyushu University*2 Department of Health Sciences, Faculty of Medical Sciences, Kyushu University[3-1-1, Maidashi, Higashi-ku, Fukuoka 812-8582, Japan]
e-mail: arimurah@med.kyushu-u.ac.jp
3 Department of Radiological Technology, Teikyo University
Receive: March 28, 2019305

and predict 5-year survival probabilities of them. Our study aimed to investigate and validate an automatic approach of
the radiomic-based SVM model for prediction of 5-year survival probabilities of the patients.

2. Materials and methods
1) Clinical cases
Our study employed computed tomography (CT) images of 126 cancer patients with HNSCC [3] (male: 107, female:
19, age: 29-91 (mean: 56.79)) from The Cancer Imaging Archive database [4]. Patients were categorized into five overall
stages I (n=3, 2.38%), II (n=2, 1.58%), III (n=15, 11.90%), IVA (n=95, 75.40%), and IVB (n=11, 8.74%). CT images
were acquired using several CT scanners, with in-plane pixel sizes of 0.6386-0.9766 mm and slice thicknesses of 2.503.75 mm.

2) Overall procedure
Figure 1 describes the overall scheme of the proposed procedure. CT images of each H&N cancer patient were first
focused on a cancer region and interpolated to obtain isotropic images. Engineered features representing tumor
heterogeneity were extracted from gray-level histogram and texture matrices [5, 6] within cancer regions. Feature
extraction was performed and significant features were selected using an algorithm based on a Coxnet [7] model toconstruct radiomic signatures. The Coxnet algorithm was performed using the glmnet package in R software Ver. 3.4.4.
The signatures were fed into a SVM model with a polynomial kernel function for estimation of 5-year survival
probabilities.
Radiomic-based SVM model
FeatureRadiomic

Patient
stratificationst

extraction
CT images

signatures

Histogram

1 feature≥ 5-year survival𝑘(𝒙1 , 𝒙)Patient 1
ndCoxnet2 feature𝑘(𝒙2 , 𝒙)Patient 2𝑓(𝑥)algorithm
Texturematrices⋮th

486 feature⋮⋮𝑘(𝒙𝑁 , 𝒙)Patient N- 𝑘: non-linear kernel function- 𝑓(𝑥): non-linear kernel function- 𝑥𝑖 (𝑖 = 1, … ,486) is the support vector

Fig. 1 An overall procedure.

3) Coxnet algorithm
The Cox proportional hazard model ℎ𝑖 (𝑡|𝒙𝒊 ) for a patient 𝑖 at a time 𝑡 can be expressed by306< 5-year survival

𝑇

(1)

ℎ𝑖 (𝑡|𝒙𝒊 ) = ℎ0 (𝑡)𝑒 𝜷 𝒙𝒊 .
The Lagrangian formulation is constructed as follow
̂ = argmax[𝑘𝑙(𝜷) − 𝜆𝑃𝛼 (𝜷)],
𝜷

(2)

𝜷

where
𝑛
𝑇

𝑙(𝜷) = ∑ 𝑑𝑖 {𝜷𝑇 𝒙𝒊 − 𝑙𝑛 ( ∑ 𝑒 𝜷 𝒙𝒊 )},
𝑖=1

(3)

𝑡𝑗≥𝑡𝑖

𝑃𝛼 (𝜷) = 𝛼‖𝜷‖1 +1−𝛼‖𝜷‖22 ,
2

1, event occurred at 𝑡𝑖 ,𝑑𝑖 = {
0 , censored at 𝑡𝑖

(4)

(5)

and 𝑖, 𝑗 are the patient number, 𝒙 is the feature vector, 𝜷 is coefficient vector, ℎ0 (𝑡) is the baseline hazard function,𝑡𝑖 and 𝑡𝑗 (𝑡𝑖 ≤ 𝑡𝑗 ) are the survival time of a patient 𝑖 and 𝑗, 𝑘 is the scaling factor, 𝜆 is the Lagrangian multiplier,and 𝛼 (0 ≤ 𝛼 ≤ 1) is the blending parameter for adjusting the impact of the LASSO and ridge regression penalty on
the overall regularization [7].

4) Feature selection and signatures construction
From CT images, gray-level histogram and texture matrices were calculated and a total of 486 radiomic features wereextracted within cancer regions. A Coxnet algorithm with a blending parameter 𝛼 = 0.25 was employed in this study.
The cross-validation error of our algorithm was calculated using a 10-fold cross validation, in which the training andvalidation datasets were selected using random variables. In the m-fold cross validation, the cross-validation error
𝐶𝐸(𝜆) can be calculated by [8]
𝑀

1
𝑚 ̂𝑚
̂𝑚
𝐶𝐸(𝜆) = − ∑ {𝑙(𝜷𝜆 ) − 𝑙 (𝜷𝜆 )},
𝑛

(6)

𝑚=1

𝑡ℎ
̂𝑚
where 𝑚 is the number of folds, 𝜷
𝜆 is a vector of the optimal coefficients based on the datasets in which the 𝑚subset was used for validation, and 𝑙 𝑚 is the partial likelihood calculated among the patients without the 𝑚𝑡ℎ subset.
Since the training and validation datasets for cross validation was selected using random variables, the Coxnet algorithm
produced different optimal models and minimum cross-validation errors. Therefore, we applied the Coxnet algorithmwith 100 iterations for feature selection. After 100 iterations, features selected 100 times were assumed to be robust forvariations in the training dataset. The possible association between each 100-time-selected feature with survival was
evaluated using a Kaplan-Meier analysis, and a p-value from the log-rank test was calculated. In this study, features,
which were selected 100 times by the Coxnet algorithm and had p-value < 0.05, were considered to have stronger
associations with patients’ prognoses, and they were used for building radiomics signatures.

3075) Bulding of a SVM model
A radiomic-based SVM model with a polynomial kernel function was built for estimation of 5-year survival probabilities
of H&N cancer patients. Other parameters of the SVM model were optimized using a leave-one-out test based on theactual survival time.

6) Performance validation of the SVM model
The performance of our radiomic-based polynomial SVM model was evaluated using the area under the curve (AUC)of the receiver operator characteristic (ROC) curve.

3. Results and discussion
1) Selection of radiomic features and construction of signatures
Twelve features (Median, Skew, LLL_Median, LLL_Variance.1, HLL_LZLGE, LHL_Mean, LLH_LZE, LLH_LGZE,
LLH_LZLGE, LLH_LZHGE, HLH_Skew, and HHH_Skew) were selected 100 times by the Coxnet algorithm andconsidered as robust features. Figure 2a illustrates the results of our feature selection process (only a portion of 486
features were shown in this figure). Among twelve robust features, there were three features (HLL_LZLGE, LHL_Mean,and Median) having p-value < 0.05 resulting from the Kaplan-Meier analysis and the log-rank test. Figure 2b exhibits

100
80
60
40

378 . HLH_Strength

85 . LLL_SRLGE

277 . LLH_Median

281 . LLH_Skew

368 . HLH_SZLGE

34 . LRHGE

467 . HHH_GLV

225 . HHL_Range

331 . HLH_Median

33 . LRLGE

319 . LLH_ZSV224 . HHL_Min

310 . LLH_ZSN

169 . LHL_Median

35 . GLV

275 . LLH_Mean

307 . LLH_SZE

289 . LLH_Correlation

221 . HHL_Mean

235 . HHL_Correlation

19 . Correlation

227 . HHL_Skew

335 . HLH_Skew

443 . HHH_Skew

316 . LLH_LZLGE

317 . LLH_LZHGE

308 . LLH_LZE

312 . LLH_LGZE

167 . LHL_Mean

154 . HLL_LZLGE

75 . LLL_Variance.1

11 . Skew

061 . LLL_Median20
7 . Median

Number of times
selected by Coxnet

the relation p-value < 0.05 in term of –log10(p-value) > -log10(0.05) for a better visualization.

Features2.0−log 10 (0.05)

1.5
1.0

335 . HLH_Skew

308 . LLH_LZE

317 . LLH_LZHGE

312 . LLH_LGZE

75 . LLL_Variance.1

443 . HHH_Skew

11 . Skew

61 . LLL_Median316 . LLH_LZLGE

7 . Median

0.0

167 . LHL_Mean

0.5
154 . HLL_LZLGE-log10(p-value)(a)Features(b)
Fig. 2 Bar graphs of (a) number of times selected by Coxnet and (b) –log10(p-value) for various image features.

3082) Estimation of 5-year survival probabilities
Our radiomic-based SVM model with a polynomial kernel function (slope = 0.85, intercept = 260, dim = 9)
achieved an AUC of 0.665 (Figure 3). The results of our SVM model could produce the predictions of 5-year survival
probabilities for H&N cancer patients.
1.0

True-positive rate

0.8

0.6

0.4

0.2

AUC = 0.665
0.0
0.0

0.2

0.4

0.6

0.8

1.0

False-positive rate

Fig. 3 An ROC curve of SVM model based on radiomics signatures.
3) Discussion
Radiomics provided quantitative measurements of tumor heterogeneity based on distribution of gray levels on
medical images, while the SVM had the advantages of classification and its outputs can be used as probability. Therefore,
we trained a SVM model with a polynomial kernel function based on radiomic signatures selected by a Coxnet algorithm,
which are associated with 5-year survival probabilities of H&N cancer patients. The performance of our model achieved
an AUC of 0.665. It could be feasible to employ a radiomic-based polynomial SVM model to predict the 5-year survival
probabilities of H&N cancer patients.

Competing interests
The authors do not have any competing interests to disclose.

Acknowledgement
L.C.Q was a recipient of the Japanese government MEXT scholarship (Ministry of Education, Culture, Sport,
Science and Technology) during this study. The authors are grateful to all members in Arimura laboratory(http://web.shs.kyushu-u.ac.jp/∼arimura/), whose comments made enormous contribution to this study.

References［1］Sanderson R J, Ironside J A D: Squamous cell carcinomas of the head and neck. BMJ 325: 822-827, 2002.
［2］Arimura H, Soufi M: A review on radiomics for personalized medicine in cancer treatment. Med Imag Tech 36: 81-89, 2018.
［3］Grossberg A, Mohamed A, Elhalawani J, et al.: Imaging and Clinical Data Archived for Head and Neck Squamous Cell
Carcinoma Patients with Radiotherapy. Scientific Data 5: Article number: 180173, 2018.

309

［4］http://www.cancerimageingarchive.net/［5］Haralick RM, Shanmugam K, Dinstein I: Textural features for image classification. IEEE Trans Syst Man Cybern 3: 610-621,
1973［6］Galloway MM: Texture analysis using gray level run lengths. Comput Graph Image Process 4: 172-179, 1975.
［7］Simon N, Friedman H, Hastie T, el al.: Regularization Paths for Cox’s Proportional Hazards Model via Coordinate Descend. J
Stat Softw 39 (5): 1-13, 2011.
［8］Hokeun Sun, Wei Lin, Rui Feng, el al.: Network-regularized high-dimensional Cox regression for analysis of genomic data. Stat
Sin 24 (3): 1433-1459, 2014.

310

OP2-20

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

Kinect を用いた効率的な３次元顔面腫れ顔の形態変化の観測と可視化
健山

智子*1

大野

瑛史*1

松本

慎平*2

要旨
顔面浮腫や顔面陥没骨折などに伴う顔面形態変化の診断・経過観測は，医師の目視による主観的観測が一般的であり，客観的な評価手法の確立が切望されている．本研究では，顔面浮腫の形態変化の数値化より，浮腫具合を評価する計算機診断支援(CAD)の確立を目指す．顔面形態観測として，高精度レーザスキャナ
を用いて顔の３次元形状情報の取得などが挙げられるが，使用する機材が高価だけでなく，キャリブレー
ションのための計算コストが高いことなどの問題点がある．そのため，安易な撮像方法で顔形状情報の取得が可能なデバイス導入に，我々は，汎用性のある RGB-D センサ，Kinect V2 を導入し，顔面形態変化に対する疾患観測が可能かを検証する．検証では，顔面浮腫を模した正常１０名に擬似腫れ顔として頬を膨らまし，その差分についての可視化を解析することで検証をおこなう．その可視化に対し臨床医の評価を反映し，顔面浮腫の形態変化の診断支援に有効であるか議論する．
キーワード：顔面浮腫，３次元顔面形態解析，疑似腫れ顔生成，Kinect V2，ランドマーク選定，

1． は じ め には，すべての人において関心が高く，顔全体，顔は，個人特徴を表現するだけでなく，もしくは顔における個々の部位の変化によっ

豊かな表情変化などから，我々にとって相手て表現される．ゆえに，この顔の形態変化はとのコミュニケーションを図るための重要なコミュニケーション相手へ様々な印象を引き役割を担う．その豊かな表情変化や様々な状起こすことから，顔形状の変化に伴う疾患は，況を表現するための美貌，美容に対する関心

患者の精神的な苦痛を引き起こす要因となるゆえ，疾患に対する効果的な治療法の提示・――――――――――――――――――

経過観測は，臨床現場においても重要である．

*1 広島工業大学情報学部知的情報シス

顔面形態変化における疾患として，顔全体

テム学科知的情報可視化研究室

における変形，また顔の一部の部位の変化が〔〒731-5193

挙げられる[1]．前者には下顎矯正ならびに顔広島県広島市佐伯区三宅２−１−１〕

形成手術後の顔面浮腫や顔面陥没骨折，そしemail:{t.tateyama.es,て後者は顔面神経麻痺に伴う変形疾患がそれ

md19001 }@cc.it-hiroshima.ac.jp

ぞれ列挙される．本研究では今回，形成外科*2 広島工業大学情報学部知的情報シス

医指導の下，前者の顔面浮腫の疾患に伴う顔テム学科知的情報可視化研究室

面形態変化の観測ならびに可視化について焦〔〒731-5193

点を当てる．

広島県広島市佐伯区三宅２−１−１〕

顔面浮腫の症例は一般的に，通常時の顔の投稿受付：2003 年 1 月 31 日

状態と比較すると，頬周辺の膨張と赤みを帯

311

目的としている．

びた症状である．この疾患の発症要因は様々であるが，形成外科の分野では顎矯正手術後

顔面形態変化の観測を可能とするため，先述に発症する可能性が非常に高く，術後の治療で提示したような，高精細 3 次元レーザスキャナ，

として顔面浮腫の度合いに基づいて投薬治療

そして，体や顔の 3 次元形状を瞬時に撮像・画をおこなう．

像化し，美容皮膚領域で広く利用されている

顔面浮腫の診断は臨床医による視診・触診

VECTRA series[5]等による計測が挙げられる．

による経過観察が一般的であるが，その指標

他にも，複数の高精細カメラから，多視点方向か

基準は定まっておらず，臨床医の経験に基づら撮像，エピポーラ幾何などコンピュータビジョン

く主観評価となるため，顔面浮腫の診断結果

技術から 3 次元形状の計測手法などが挙げられが医師ごとに異なる可能性が高い．ゆえに，る[6]．しかし，上記すべての手法では，個々の計

顔面浮腫の度合いを客観的に評価するための測機器そのものの費用や選択する機器による計指標整備は急務であり，臨床現場でも多くの測スペースの確保と維持の膨大化，さらには，膨形成外科医が取り組んでいる課題である．こ大な点群情報が取得されているため，3 次元形の課題克服の取り組みとして，CT や MR な状推定だけでなくその点群位置合わせについて

どの高精細医用画像を用いた顔面内部からの複雑な計算処理が膨大となる．そのため，本研

浮腫度合い観測手法[2]が提案されているが，こ究における研究課題（以降，リサーチクエスチョの医 用 画 像 撮 像 装 置 そのものは膨 大 な金 額 とン，RQ）は以下 2 つとする．

場所が必要となるだけでなく，放射線の問題や[RQ:1]

撮像時間の長さの影響などから多くの課題が挙

民生用の３次元形状計測機器を用いて，顔面形態情報の計測が可能であるかげられる．Kau らは，高精細３次元レーザスキャ[RQ:2]

取 得 された顔 面 浮 腫 症 例 の観 測 ・診ナを２台用いて３次元の顔面撮像を取得し，この断のためのランドマークはどの部位となるか

３次元顔面撮像からその差分を指標とする顔面

先述の通り，現状における顔面形態変化の観

浮腫の形態変化の観測を提案した[3, 4]．この手測は，機器やスペースにおいて膨大な費用と処法は，顔面外部からの撮像による顔面形態変化

理時間が要求され，限られた施設のみでの観測の観測を可能とし，放射線被爆の問題解決につとなっている．多くの施設で顔面形態変化の定ながった．また，先述の装置にかかる膨大な金額

量的観測を可能にするため，本研究では，と場所についても解決された手法ではあるが，こ[RQ:1]において，民生用 RGB-D センサとして広の高精細レーザスキャナも１台あたりのコストもまく利用されている Kinect V2[7]を用いた 3 次元顔た非常に高価である．さらに，２台のレーザスキャ

面形態の観測と可視化を提案する．この可視化ナから取得された顔情報に対し，データのキャリは，関連研究 Kau らの手法と同様の可視化提示

ブレーション処理ならびに処理後の顔面形態観となったことから，臨床への応用についても十分測のためのランドマーク特定を手動で行っている可能であることを示す．

ため，その処理手順は非常に複雑である．そしま た ， 多 く の ３ 次 元 形 態 解 析 で は Iterationて，その評価方法および提示方法として，定量

Closet Points（ICP）[8]が用いられる．しかし，ICP的な手法として確立されていない．そのため，臨は全点群に対する位置合わせとなるため，頬部

床現場からは，より効率的な手法での顔面形態位における顔面浮腫の３次元形態観測では頬の変化の観測が切望されている．さらには，これら膨らみを抑制させてしまい，正確な形状の取得取得されたデータならびに臨床現場の知識と経が難しくなる．頬の膨らみや顔形状を高精度に験が導入されたデータベースの整備・客観評価

計測するためには，頬の膨らみなどを考慮したシステムの実現が強く切望されている．本研究で顔形状の点群位置合わせの手法が重要となる．

は，以上の通り，臨床現場における顔面浮腫診

本研究では，［RQ:2］として，高精細な顔面浮腫断においての計算機診断支援システムの開発をの３次 元 形 態 変 化 の観 測 を可 能 とするランドマ

312

ークの特定について提案する．
本論文は以下の構成となる．2 . では［RQ;１］の課題，本研究における疑似腫れ顔の生成と民生
用 RGB-D センサによる顔面形態観測のためのKinect の導入について議論し，3.では顔面形態
観測における位置合わせのランドマーク特定，4.
では実験として，提案手法の可視化結果を示し，(a) 正常顔5. で本研究を総括する．

(b) 疑似腫れ顔

2. 顔 面 形 態 変 化 観 測 の た め の 診 断 支 援の構成と疑似腫れ顔生成
顔面形態変化を伴う疾患は，顔面陥没や顔面浮腫などの顔全体の変化をはじめ，顔面神経麻痺などの局所部位変化が挙げられるが，今回，関連研究の Kau らの手法に沿って，まずは顔面浮腫による 3 次元顔面形態変化を観測対象とした診断支援を本研究の対象とする．
1）研究対象の疑似顔面浮腫の構成(c)顔面浮腫観測の対象領域（赤枠）
図 1： 本研究で構築した疑似腫れ顔（本研究で観測・解析の対象となる顔情報）

顔面浮腫は，下顎矯正手術や形成手術後などに発症し，通常時の顔の状態と比較すると，頬周辺の膨張と赤みを帯びた症状である．この法は未確立であり，その臨床データの取得は臨症例は 6 ヶ月間腫れ度合いを臨床医の目視によ

床医ごとに異なっていることから，臨床データがる主観評価から投薬を行って治療を行うが，臨極めて少ないことも本研究の課題である．よって，床医ごとにその診断が異なる可能性があることが臨床現場での応用可能性についての調査として，課題である．ゆえに，客観的な観測手法確立が本研究では，臨床医の診断経験にもとづき，顔臨床現場より求められているため，本研究では，面浮腫の発症・既往歴のない成人男性 13 名を計算機による顔面形態変化の客観的計測と可対象として，頬部位を膨らませた疑似腫れ顔の視化を目的としている．

検討を行った．解析対象となる 3 次元顔形状情

多くの顔面浮腫の症例が観測されている一方，報の構成を表 1，そして本研究で構成した顔面

これまでその形 態 変 化 に対 する客 観 的 観 測 手

浮腫観測としての疑似腫れ顔を図１に示す．正常時における顔形状は通常状態の顔（図１（a））
であり，疑似腫れ顔は図１（b）のように頬を膨らま

表 1. 解析対象の３次元顔形状情報の構成
13 volunteer (Male,
Subject Numbers
Health)Age
20 – 25
Front (based Depth
撮像方向
information)
Normal x (10 /Expression
volunteer)
Puffy x (10/volunteer)
DeviceKinect V2
3D point cloud
Data style
based on Kinect V2 HD
Face Lib [3]Points1347

せた状態として，図１（c）に示す顔面の赤枠領域を解析・可視化の対象領域とした．この部位を正面方向に対して３次元形状の情報を取得する．
なお，このような疑似腫れ顔と正常例について，臨床医より，概ね検証用のデータとして適応できることの確認をもらい，本研究で検証を進めた．
2）顔面形態観測のための RGB-D センサ選
定
1. で述べたように，これまで顔面浮腫の顔313

面形態変化の観測では，VECTRA などの高精
細３次元スキャナなどから取得されていたがその費用な非常に膨大でクリニックや小規模臨床施設への導入は膨大な費用となる．さらに，取得された３次元形態情報もまた，膨大な点群情報であると同時に多視点からの撮像が必要となり，形態変化観測・可視化のため

図２：Kinect HD Face ライブラリ基準顔形状

複雑な計算処理が求められる．
本研究では，関連研究の課題を克服するため，民生用 RGB-D センサのひとつ，Kinect V2を用いて顔形状情報の観測・取得を行った．
Kinect V2 は カ ラ ー 画 像 と Time-of-Flight（TOF）方式で，光の反射時間を利用して，対象に対する３次元形状計測を計測した距(a) 正常顔離画像を同時に提示する．

(b) 疑似腫れ顔

図 3： KinectV2 から観測された３次元顔形状の点分布（図 1(a), (b)の顔形状を提示）

本研究では，１)の定義に従った正常顔，疑似腫れ顔について， Kinect V2 と HD Face
ライブラリから取得された 3 次元形状点群情

3. 顔 面 形 態 変 化 観 測 の た め の 正 規 化 と報に基づき，顔面形態の３次元形態変化に対する観測と可視化を行う．HD Face ライブラ

ランドマーク特定

リとは，Kinect V2 から取得された顔形状の

1) 顔面形態変化観測のための位置合わせ点群を提示するためのライブラリであり，基とランドマーク選定

準顔としての 3 次元点群情報（図２）も用意

2. 2)で述べた顔の３次元形状点群情報は，されている．この基準顔の情報を用いて，取顔形状の左右方向や前後方向などの向き違い

得された顔の 3 次元形状情報を 1347 点の 3がある．さらに，顔面浮腫に関する顔面形態

次元点群情報として計測された顔情報を取得

変化の観測では，口もとの膨らみなどがどのできるだけでなく，解剖学的ランドマークもように影響されるかなどについて，これまで十分に整備されている．このことからも，この研究でも未着手である．そのため，顔面浮れまで複雑な計算処理が必要であった顔形状

腫形態観測のため３次元形状の正規化は，剛解析の簡易化にもつながり，より精度の高い

体変換を行う際にどのような解剖学的特徴を

顔面形態解析が可能になる．以上の理由より，

ランドマークとして選定するか，本研究では本研究でのデバイスとして Kinect V2 を行っ調査を行う．顔面浮腫の場合，頬部位の膨らた．図３に，図１で提示した正常顔と疑似腫みが観測できることから，顔位置の前後のズれ顔について，Kinect V2 と HDFace ライブ

レ以外にもその頬の膨らみ具合がどのようにラリを用いて観測した３次元顔形状の点分布

影響の影響が，疾患の特徴として考えられる．

を示す．このように，解析に十分必要な顔形

よって，本研究では，顔面形態変化観測のた状の点分布情報取得が容易に行える．

めのランドマーク選定例として，各図内の赤の点を剛体変換のランドマークとして，図４に示すように，ランドマーク 5 点（(a):額のランドマークなし＋口元ランドマークあり，(b):額のランドマークあり＋口元のランドマークなし）と６点（(c):額のランドマークあり＋口314

cos 𝛼 sin 𝛾 + sin 𝛼 sin 𝛽 cos 𝛾 , 𝑐 = sin 𝛼 sin 𝛾 −cos 𝛼 sin 𝛽 cos 𝛾 , 𝑑 = − cos 𝛽 sin 𝛾 , 𝑒 =cos 𝛼 sin 𝛾 − sin 𝛼 sin 𝛽 cos 𝛾 , 𝑓 = sin 𝛼 sin 𝛾 +cos 𝛼 sin 𝛽 cos 𝛾 , 𝑔 = sin 𝛽 , ℎ = − sin 𝛼 cos 𝛽 ,𝑖 = cos 𝛼 cos 𝛽,である．
２）位置合わせによる症例間のズレ評価と考察(a) ランドマーク５点
額なし＋口元あり(b) ランドマーク５点
額あり＋口元なし

ランドマーク選定における位置合わせのズ
レ評価と考察を図５，６の結果から考察する．
図５に，位置合わせのズレ評価を示す．各結果は，図 4(a)~(b)におけるランドマーク選定に従った結果である．また，各グラフともに，
顔のセンターラインに存在する各ランドマー
ク間（正常顔：青，疑似腫れ顔：赤），選定対
象のランドマーク間（正常顔：緑，疑似腫れ(b) ランドマーク６点
額なし＋口元あり

顔：紫）各ズレの全体の平均とその差分の分(b) ランドマーク５点
額なし＋口元なし

布を提示した．この結果から確認できるように，顔５点のランドマークと６点のランドマ

図 4 ： 本研究での選定評価における各ランドマーク（赤点）

ークの比較では，６点によるランドマーク選定により，正常・疑似腫れ顔ともに症例間の元ランドマークあり，(d)：額のランドマーク

位置ずれが抑制されている．疑似腫れ顔の評あり＋口元のランドマークなし）より，顔面価において，６点の選定でも十分に位置ずれ

腫れ顔形態変化におけるランドマークの影響の抑制が確認できることが示唆された．また，を評価した．

額のランドマーク導入は顔前後の位置ずれを

各図の赤点がランドマークであり，これは抑制するかを評価するため，我々は顔の鼻頭HD Face ライブラリの解剖学ランドマーク番

頂を通る顔中央部の直線（額頭頂から顎底）号に従っている．ランドマーク間の位置合わに存在するランドマークにおけるズレの評価

せは下式の剛体変換に従う．

を行った（各グラフともに青：正常，赤：疑𝐩 = 𝐑𝐩+t(1)

似腫れ顔）．また，この評価における各ランド
マークのズレ結果を図６にも併せて示す．図

ここで， HD Face ライブラリに用意され基!

準 顔 の ３ 次 元 形 状 ベ ク ト ル 𝐩 = (𝑥, 𝑦, 𝑧) と６の各結果は，それぞれランドマークを図(a),Kinect V2 から観測された各症例の３次元形(b), (d)の選択の違いを比較するため，顔中央t部直線上における点群のズレ可視化結果であ状ベクトル p= (x, y, z) である．また，平行移t動のベクトルは t= (tx, ty, tz) とし，その基準はる．この評価では，サンプル 10 名の正常顔

鼻頭頂部のランドマークからの移動ベクトル（青），疑似腫れ顔（赤）をそれぞれ任意でひを考慮する．また，回転ベクトル R は式（２）とつずつ選択し，それぞれ 10 症例ずつプロッに従い，回転パラメータ（それぞれ x, y, z 軸

トした．図５の結果からも確認できるように，に従った角度を示す）を推定する．

額部位をランドマークとして導入することで，

𝑎
𝐑= 𝑑
𝑔

𝑏
𝑒
ℎ

𝑐
𝑓
𝑖

顔の前後ズレが抑制されていることは数値と(2)しても十分に評価でき，さらに図６の結果では，顔の額部，そして顔下部（顎部位）のズ

こ こ で ， そ れ ぞ れ 𝑎 = cos 𝛽 cos 𝛾 , 𝑏 =レが十分に抑制されていることも同時に確認

315

図 5:図 4(a)~(d)のランドマーク選定におけるズレ評価結果, 各グラフともに，顔のセンターラインに存在する各ランドマーク間（正常顔：青，疑似腫れ顔：赤），選定対象ランドマーク間（正常顔：緑，疑似腫れ顔：紫）各ズレの全体の平均とその差分の分布を提示(a):

図 4(a)のランドマーク選定(b):

図 4(b)のランドマーク選定(a):

図 4(d)のランドマーク選定

図 6：ランドマーク選定からの位置合わせの比較（青：正常顔，赤：疑似腫れ顔，任意１０例をプロット）された．このことから，額部位のランドマー

特定として，本研究での経験上，顔面腫れ顔

ク導入により，顔全体の前後ズレが抑制され，の度合いを評価する範囲であることがわかり，

顔面の３次元形態変化解析に有効なランドマ

導入しない．以上を踏まえ，我々は顔面形態ークである．額部位も本研究のランドマーク

変化の観測のための可視化について，臨床医として選定した．

と検討を行なった．

また，ランドマーク５点かつ額を考慮しな

4． 顔 面 浮 腫 形 態 観 測 の た め の 可 視 化い場合，図６(a)より顔前後のズレが広く存在

2. ３の記述にもとづき，さらに顔面形態変することを確認した．この抑制として，目元化の観測・可視化について，検討した．疑似の導入を検討した．目元において，目尻だけ腫れ顔と正常症例間でその変化の提示が臨床でなく目頭を選定することで顔前後のズレ分

現場でも十分に妥当であるか，について形成布が抑制されていることを図(b, c)より確認

外科医と検討を行った．任意のサンプル i にされ，さらにランドマークとして目頭，目尻おける正常症例と疑似腫れ顔症例の各３次元を選定する．なお，顎底部位のランドマーク

点群分布ベクトルをそれぞれ pf, pn として，

316

各点群分布を座標(0, 0, 0)からのユーグリッ
ド距離を考慮し，式(3)より可視化した結果を
図 7 に示す．

Di=| Pf | i -| Pn | i(3)

図 7 は，任意のサンプル 1 例における正常顔と疑似腫れ顔間の差分を点群距離に基づきレ(a) 症例２

インボーカラーで可視化した．可視化は，（b）症例 3

図 8：他症例に対する顔面形態変化の可視化

HDFace ライブラリの基準顔上にその差分をプロットさせて評価した．この結果から，頬5． お わ り に部位において，変化が大きく，顔面浮腫では顔面浮腫による顔面形態変化の観測・可視影響を持たない額部などでは変化が低いこと

化支援を背景として，本研究では，形成外科が提示された．この結果は，臨床医が顔面浮医指導の下，民生用デバイス選定および観測腫についての評価と同様の結果であるとの評手法の提案，観測の妥当性評価のための疑似価であった．また，この可視化は，関連研究

腫れ顔生成，さらに客観評価のためのランド[3]で Kau らが提示した結果とも類似した可マーク選定を行った．民生用デバイスの選定視化である．

として，本研究では Kinect V2 を用いること

また，他症例についての可視化を行った．

で，3 次元形状の観測およびその天運分布の他症例においても図 7 と同様の可視化が提示

特定を容易に行えることを提示した．また，され，より詳細に可視化されるよう，サーフ

解析のためのランドマーク選定では，頬部位

ェイス情報により可視化を行った結果におけの変化に注目するため，額，両目の目尻，目る任意例が図 8 である．この可視化から顔面頭，鼻頭頂の 6 点をランドマークとして選定

浮腫変化の様子は十分に理解しやすいと評価することの妥当性を検証した．以上を踏まえ，された．

可視化を行った結果，臨床医のこれまでの経験と知識に十分に従った可視化を提示するこ以上より，1.で定義した各 RQ において，とができ，本研究の有効性を示した．

以下が示唆され，実験結果から提案法の有効

現在，本研究は疑似腫れ顔を用いて検証を性が示された．
民生用デバイスにおいて，Kinect 選している．今後，臨床現場での応用を目指し，定は有効であり，可視化も十分な評価が提案手法を用いて実際の臨床現場で取得され得られるた臨床情報を用いた検証が必要である．また，[RQ:1]

腫れ顔に対する顔面形態変化観測

顔面浮腫以外の顔面疾患に対しても，提案法のための可視化では，ランドマークとしが有効であるか評価し，診断支援を目指す．

[RQ:2]て，口元を含まない 6 点として，両目の謝辞

目頭，目尻，額中央部，鼻頭頂を選定

本研究において，臨床医の立場から御指導賜りました澤本尚哉医師に謝意を示す．本研
究は，JSPS 科研費基盤研究 C(18K11454)，公益研究財団古川技術振興財団の助成のもと，遂行した．

図 7:顔面形態変化の可視化結果（症例１）317stems/vectra-h1-3d-imaging-system/,

利益相反の有無Last Access : 2019/05/15.
なし［6］Osawa S, D. Guifang, Chen YW:
Reconstruction

文
［1］

［7］

Corplation,

Kinectfor

Windows,

Agrawal A, Singh V, K Pradeep, ethttps://developer.microsoft.com/ja-jp/wial“Unilateral swelling of cheek” Natl J

ndows/kinect,

Surg.

8(2):

Last

accessed ：2019/05/15.

pp.157–161,［8］

Szymon.R

andMarc.L:

Efficient

Kau C.H, Andrew J, Stephen R: A

Variants of the ICP Algorithm”, Proc ofThree-Dimensionalof

Third International Conference on 3-D

following

Digital Imaging and Modeling, pp.145–

Postoperative

Evaluation

Swelling

Orthognathic

Surgery

Plastic

Reconstructive

and

at

6

Month,

152, 2001.

Surgery.

［9］

Pterneas

V:

KinectHD

Face,

119(7): pp.2192-2199, 2007.

https://pterneas.com/2015/06/06/kinect-

Kovacs L, Zimmermann A, Brockmann

hd-face/, Last access 2019/05/15

G,

［5］

MicroSoft

pp.554-560, 2016.

2017.

［4］

Dynamic

Proc.of.ICIP 2013, pp.1386- 1390,2013.

小林正治：顎矯正手術の周術期管理，Maxillofac［3］

3D

Expressions from Single Facial Image,献

日 本 口 腔 外 科 学 会 雑 誌 ， 62(11),［2］ofThree-dimensional［10］ 大野瑛史，健山智子：Kinect を用い

quantification of facial symmetry in

et.

Al.:

た腫れ顔の３次元形態変化の解析-顔adolescents using laser surface scanning,

形状の位置合わせ-，2018 年 IEEE

European Journal of Orthodontics 36(2)，Hiroshima Chap 若手研究会，pp41-43,

pp.125–132: 27 July 2011

広島工業大学，2018/07/28.

CANFIELD: VECTRA series H1~M3,
https://www.canfieldsci.com/imaging-sy

318

Efficient Observation and Visualization forMorphological Changes of 3D Facial Swell Using Kinect
Tomoko TATEYAMA*1, Akifumi OHNO*1, Shimpei MATSUMOTO*2*1 Intelligent Visual Analytics Lab, Department of Computer Science, Hiroshima Institute of Technology*2 Social System Engineering Lab, Department of Computer Science, Hiroshima Institute of Technology.

The post-surgical follow-up observation of facial swelling change is mainly subjective assessment by the plastics
doctor, therefore clinical field hopes to establish its numerical assessment of the facial changed. In this study, we focus
to develop Computer Aided Diagnosis system for assessment to three-dimensional facial swelling morphologicalchange after orthognathic surgery. Laser-scanner is effective device and used generally for measuring facial shapefeatures, however the device is so expensive that is necessary to adopt general-purposed devices in order to reduced
cost. Although Kinect is one of the general-purpose devices that can acquire three-dimensional face shape information,verification that its accuracy is effective for the measurement of facial swelling is not sufficient. In this study, we
verify the effectiveness of the evaluation of the morphological change from the face shape obtained using Kinect. First,
we propose an alignment method at some points including the forehead part for the face shape of all samples andevaluate whether accurate analysis for facial morphological change is possible.

Key words: Faceial Swelling，Morphological Change of 3D Face points，Pseduo-Puffy shape，Kinect V2，Landmark Selection

著者紹介
健山 智子 (たてやま ともこ)
2009 年 3 月琉球大学大学院総合知能工学
専攻博士後期課程修了.2009 年 4 月より
立命館大学情報理工学部助手，2013 年 4月より同大学情報理工学部特任助教，
2016 年４月より広島工業大学情報学部知的情報システム学科助教，現在に至る。
博士(工学)．計算解剖学, パターン認識，
統計学習による画像処理，医用画像処理，
知能情報処理，コンピュータグラフィッ
クの 医用画像工学への応用に関する研究に従事。電子情報通信学会，日本医用
画像工学学会，IEEE，日本コンピュータ
外科学会などの各会員．
大野 瑛史 (おおの あきふみ)2019 年広島工業大学・情報学部卒．現在，同大学情報システム工学専攻．学士．顔面形態変化の観測，可視化，計算機支援
診断システム開発の研究に従事．

319

松本 慎平（まつもと しんぺい）
2007 年 3 月大阪大学 大学院情報科学研
究科 情報数理学専攻博士課程終了．2007
年大分工業高等専門学校 制御情報工学科助教，2010 年広島工業大学情報学部助教，2013 年同大学准教授，現在に至る．
博士（情報科学）．数理最適化，社会シ
ステム工学，教育工学，データサイエン
スに関する研究に従事．日本 OR 学会，日本経営システム学会，IEEE などの各会員．

OP2-21GAN による CT 肺結節画像の生成
濵口

拓真*1

木戸 尚治*2

平野 靖*1

岩野 信吾*3

要旨
近年，CT 画像中の肺結節の解析を Convolutional Neural Network (CNN)を用いて行う手法が数多く提案されており，高い性能を示すことが報告されている．一方で，このような解析に用いる
学習画像を大量に用意できないことが原因で汎化性能を向上させることができない場合が多いという問題がある．この問題を解決するため，一般的には画像に対して回転や鏡映などを行って学習画像数を増加させる手法がとられているが，根本的な解決にはなっていない．そこで本研究では，2 次元画像に対して Deep Convolutional Generative Adversarial Networks (DCGAN)を用いた
画像 data augmentation 手法を開発することを目的とした．55 個の良性結節と 120 個の悪性結節を含むデータベースを用いて本手法の性能を評価した結果，CNN による良悪性鑑別の精度は75.81±6.36[%]であった．

1．はじめに肺がんをはじめとした肺に関する疾患に肺CNN(Convolutional Neural Network)を用いた手結節がある．肺結節は CT 画像において類円法が数多く提案されている．CNN を用いた手形の陰影として描出される．医師はこれらの法では，大量の正解ラベル付きの画像が必要

陰影を読影することにより肺結節の良悪性鑑である．しかし，正解ラベル付き画像を作成

別などを行う．しかし，CT 画像が撮影されるできるのは，専門知識を持つ医師しかいない機会が増加し，また扱うスライス数も増えた

ため，大量に作成するのは難しい．この問題

ことにより読影する医師の負担が増加していを 解 決 す る た め に 学 習 デ ー タ の data

る．これらの問題を解決するためにコンピュ

augmentation 法が存在するが，元々のデータにー タ 支 援 診 断 (Computer Aided Diagnosis ，

対して平行移動や回転，鏡映といった画像処

CADx)システムの開発が行われている．近年理を行い，データを増やすため，学習データ

CADx シ ス テ ム に つ い て は ，の情報量自体は増加せず，根本的解決に至っのていない．そこで，本研究では Deep Learning――――――――――――――――――の 手 法 の 1 つ で あ る GAN(Generative*1 山口大学大学院創成科学研究科電気電子

Adversarial Network)[1]を用いて肺結節画像を情報系専攻

生成することで，新しい data Augmentation 手〔〒755-8611 宇部市常盤台 2 丁目 16-1〕法を提案することを目的とした．本研究で用

e-mail: b054vg@yamaguchi-u.ac.jp

い た GAN は ， DCGAN(Deep Convolutional*2 大阪大学大学院医学系研究科

GAN)[2]である．DCGAN は，GAN に対して

*3 名古屋大学医学部放射線医学教室

320

CNN の構造を適応して，画像生成に特化した
GAN モデルである．本研究では，DCGAN の入力に対して物体の属するラベルを付与する
ことで，生成画像の種類の制御を目的とした
conditional GAN[3] と ， Discriminator お よ び
Generator の学習回数を制御し，Generator が 10
ステップ先の Discriminator に対して学習を行う Unrolled GAN[4]の 2 つ の手法を用いたUnrolled-cDCGAN を用いて実験を行った．本
研究では，まず肺結節周辺を切り出した 2 次
元画像に対して Unrolled-cDCGAN の学習を行い，肺結節画像を生成するモデルを作成した．
そして，GAN を用いて data augmentation した
図 1 GAN による CT 肺結節画像生成の概要

学習データに対して肺結節の良悪性鑑別を行う CNN モデルを作成し，その精度を評価した．また，本研究の比較として学習データに

次に，CNN による肺結節の良悪性鑑別の概対して data augmentation を行わなかった場合

要を図 2 に示す．CNN における肺結節の良悪と，従来の data augmentation 手法を用いて data

性鑑別については，5 分割交差検証により精augmentation した場合のそれぞれのデータで度の評価を行った．まず，良悪性鑑別用の学良悪性鑑別を行う CNN モデルを作成し，それ習データを作成した．次に，学習済みのらの精度を評価した．

Generator モデルを使用して data augmentation

2．提案手法を行った．最後に，学習データを用いて CNN

GAN による CT 肺結節画像生成の概要を

モデルを学習し，テストデータを用いて良悪

図 1 に示す．まず，胸部 CT 画像から階調変性鑑別の精度の評価を行った．

換によって階調数を 256 階調へ変換した．そして等方性ボクセル化し，階調変換した画像に 対 し て 肺 結 節 を 中 心 と し て 48 × 48 ×48[voxel]の大きさで肺結節周辺を切り出した．
次に，切り出した画像から axial，coronal，
sagittal の 3 断面の中心スライスを切り出した画像を作成した．最後に，作成した画像すべてを用いて GAN の学習を行い，GAN による画像生成を行った．
図 2 CNN による肺結節の良悪性鑑別の概要

1) 画像に対する前処理

321

図 3 は肺結節画像の CT 値のヒストグラム例

Deep Learning の学習には大量の学習データである．

が必要である．また，使用した肺結節画像のデータは，良性の枚数と悪性の画像数に約 2倍の差が存在する．そこで，本研究では，GANの学習および良悪性鑑別用の CNN の学習のために，画像処理による data augmentation を行った．具体的には，良性肺結節画像では，正方向および負方向にそれぞれ 5[pixel]の平行移動と元画像に対して，90・180・270 度の回

図 3 肺結節画像の CT 値のヒストグラム例

転および鏡映・反転を組み合わせることで 1枚の画像から 54 枚の画像を作成した．悪性肺

図 3 では，-500~430[H.U]が肺結節を表す箇所

結節画像では良性肺結節画像と同様の手法かである．そのため，-1000~200[H.U]を 0~255 のら鏡映・反転を省くことで 1 枚の画像から 27

256 階調に階調変換を行った．さらに，データ枚の画像を作成した．これにより，良性の画を TensorFlow で扱うためにデータを[0, 255]の像データ枚数と悪性の画像データ枚数をほぼ画素値から[-1, 1]に正規化を行った．

同数にした．

2)肺結節周辺画像の切り出し

4)GAN モデルの構築今回用いた CT 画像は解像度にばらつきが今回の実験で構築した GAN の Generator モ

あり，解像度をそろえるためにスペーシング

デルを表 1 に，Discriminator モデルを表 2 にサイズを 0.625×0.625[mm]に，またスライス

それぞれ示す．Generator モデルには各 dense

厚を 0.625[mm]に統一した．
この画像から肺結層 お よ び deconvolution 層 の 後 に batch

節の中心から 48×48×48[voxel]で画像を切り

normalization 層を追加した．なお，識別モデル

出した．そのあと，axial，coronal および sagittalの層の種類や数，あるいはフィルターサイズの各断面の中心スライスを切り出した 2 次元などは出力画像のサイズが 48×48[pixel]とな画像を作成した．

り，かつ生成精度が高くなるように実験的に

3)学習データの水増し定めた．

表 1 Generator モデル
層種・名称

フィルターサイズ

ストライド

出力マップサイズ

活性化関数

data

-

-

102

-

dense1

-

-

36621

PReLU

reshape1--

3 × 3 × 4096-

deconvolution1

4×4

2

6 × 6 × 2048

PReLU

deconvolution2

4×4

2

12 × 12 × 1024

PReLU

deconvolution3

4×4

2

24 × 24 × 512

PReLU

deconvolution4

4×4

2

48 × 48 × 1

tanh

322

表 2 Discriminator モデル
層種・名称

フィルターサイズ

ストライド

出力マップサイズ

活性化関数

data

-

-

48 × 48 × 3-

convolution1

5×5

1

48 × 48 × 64

PReLU

maxpooling1

2×2

2

24 × 24 × 64-

convolution2

5×5

1

20 × 20 × 128

PReLU

maxplooling2

2×2

2

10 × 10 × 128-

dense1

-

-

1024

PReLU

dense2--

1

sigmoid5)GAN モデルの学習性画像を 72 枚にした．

Generator の入力は一様分布の乱数 100 個

2)GAN による data augmentation

および，生成する肺結節画像の良悪性ラベ

学 習 デ ー タ に 対 し て GAN に よ る data

ル 2 個とし，出力は 48×48[pixel]の濃淡画

augmentation を行い，CNN による良悪性鑑別

像とした．
Discriminator の入力は肺結節画像を行った．手法としては，まず学習データとと肺結節の良悪性ラベルの 48×48×3 の画

して良性画像を 132 枚と悪性画像を 288 枚用像とし，出力は肺結節画像の本物らしさを意した．次に，GAN に良性のラベルを入力と表す尤度とした．学習係数は，Generator がした生成画像 7128 枚と悪性のラベルを入力

8.0×10-4，
Discriminator が 1.0×10-5 とした．

とした生成画像 7776 枚を生成した．

また，学習回数は最大 500 回としたが，途

3)比較実験

中で mode collapse が生じたため，320 回目

data augmentation 手法の比較として，画像処で得られた Generator モデルを使用して画

理 に よ る data augmentation 手 法 ， data

像生成を行った．

augmentation を行わない場合，GAN で生成し3．実験たデータのみを使用した場合のそれぞれにつ

1)対象データ

いて CNN による良悪性鑑別を行い，精度を評

実験では，名古屋大学医学部附属病院で撮価した．data augmentation 手法は 2 節で述べた

影された肺結節を含む胸部 CT 像 172 症例を方法を用いて行った．画像処理を用いた data

用いた．対象とした CT 画像の詳細を以下に

augmentation では，まず学習データとして良性示す．

画像を 132 枚と悪性画像を 288 枚用意した．

・画像サイズ:512×512[pixel]

次に，2.3 節で述べた data augmentation 手法と・ピクセルサイズ:0.566~0.781[mm]同様の手法で学習データに対してデータの水・スライス厚:0.301~1.00[mm]増しを行い良性画像 7128 枚と悪性画像 7776

・スライス枚数:306~1086[枚]枚を作成した．GAN で生成した画像のみを使

肺結節には，医師の診断による良悪性のラベ用した場合には，GAN に良性のラベルを入力

ルが与えられている．交差検証を行うために，とした生成画像 7260 枚と悪性のラベルを入

データセット 1 つにつき良性画像を 33 枚，悪力とした生成画像 8064 枚を生成し，実験を行

323

った．

肺結節の良悪性鑑別には 5 分割したデータセ

4)評価方法ットの内 1 つをテストデータとし，残り 4 つ

GAN による data augmentation 手法の評価方を学習データとする 5 分割交差検証で行った．

法として既存の肺結節の良悪性鑑別の CNN

CNN による良悪性鑑別では CNN が出力したモデルの 1 つである CNN47[5]を基に肺結節

尤度を閾値 0.5 で分類した．表 3 に CNN47 を画像の良悪性鑑別を行うモデルを作成した．

基に作成した肺結節の良悪性鑑別モデルを示

そして，学習データおよび GAN で生成したデ

す．また，CNN の学習係数は 1.0×10-4 とし，ータを用いて CNN の学習を行い，CNN によ

学習回数は 200 回とした．

る良悪性鑑別の精度を用いて評価を行った．

表 3 CNN47 を基に作成した肺結節の良悪性鑑別モデル

層種・名称

フィルターサイズ

ストライド

出力マップサイズ

活性化関数

data

-

-

48 × 48 × 1-

convolution1

5×5

1

48 × 48 × 40

ReLU

maxpooling1

2×2

2

24 × 24 × 40-

convolution2

5×5

1

24 × 24 × 80

ReLU

convolution3

5×5

1

24 × 24 × 40

ReLU

maxpooling2

2×2

2

12 × 12 × 40-

dropout1(0.25)--

12 × 12 × 40-

convolution4

3×3

1

12 × 12 × 100-

maxpoolinng3

2×2

2

6 × 6 × 100

ReLU

dropout2(0.25)--

6 × 6 × 100-

convolution5

3×3

1

6 × 6 × 200-

maxpooling4

2×2

2

3 × 3 × 200

ReLU

dropout3(0.5)--

3 × 3 × 200-

convolution6

3×3

1

3 × 3 × 500

ReLU

dropout4(0.25)--

3 × 3 × 500-

convolution7

3×3

1

3 × 3 × 300-

dense1

-

-

500

ReLU

dropout5(0.5)

-

-

500

-

dense2

-

-

200

ReLU

dense3--2

softmax

324

4．結果

表4

肺結節の良悪性鑑別結果

1)GAN による CT 肺結節画像生成結果

データの種類GAN による肺結節画像生成結果における目

data augmentation

視での成功例を図 3 に，失敗例を図 4 に示す．

なし

ここで，図 3，4 の(a)(b)は良性のラベルを与え

画像処理によるて生成した画像を，(c)(d)は悪性のラベルを与data augmentation

えて生成した画像をそれぞれ示す．

GAN による data
augmentation
GAN で生成した画像のみ

識別率(Mean±SD)76.38±4.32

76.57±4.40

75.81±6.36

58.29±3.78data augmentation なしに対して，画像処理に
よ る data augmentation ， GAN に よ る data
augmentation のそれぞれで t 検定を行った結
図 3 肺結節画像生成結果における成功例

果，いずれの組み合わせでも p 値が 0.05 よりも大きい結果となり，有意差は得られなかった．
5．考察
1)CNN の良悪性鑑別に関する考察
今回の実験では，data augmentation なしと比
較して既存の data augmentation 手法と GAN による data augmentation のそれぞれが有意差のない結果となった．このような結果となった

図 4 肺結節画像生成結果における失敗例

原因としては次の 2 つが考えられる．1 つ目
は，画像処理を用いた data augmentation 手法

図 3 より，良性・悪性ともに類円形の肺結に関して data augmentation 枚数が不十分であ節画像が生成できた．しかし，生成された画る可能性である．今回の実験では，DCGAN の像の中には，図 4 で示した形が不整な肺結節

学習時と同じ data augmentation 手法を行った．

画像が生成される場合もあった．

しかし，画像処理を用いた data augmentation で

2)CNN による肺結節の良悪性鑑別結果

は，平行移動を行う距離や，回転角の種類を

肺結節の良悪性鑑別結果を表 4 に示す．

増 や す こ と に よ り ， よ り 多 く の data
augmentation が 可 能 で あ る ． そ こ で ， data
augmentation 枚数を増やすことによって精度が向上する可能性がある．2 つ目は，GAN を用いた data augmentation 手法に関して，生成画像の精度が不十分である可能性がある．今325

回の実験では目視で確認したところ，生成さいて結果を活用するにはさらなる精度向上がれた画像の中に形状が不整な肺結節など正し求められる．良悪性鑑別の精度が向上しなかく生成されなかった画像が存在した．そのたった原因としては，生成した画像の中に生成

め，画像生成の精度を向上させることによりに失敗した画像が含まれていたことがあげら

CNN の良悪性鑑別の精度が向上する可能性れる．そのため，課題として考察で述べた良がある．

性の症例について典型的な症例のみを使用し2)生成された画像に関する考察て GAN の学習行うことや，GAN モデルの改

今回の実験では，生成された画像の中に正良があげられる．
7．謝辞

しく生成されなかった画像が存在した．画像生成に失敗した原因としては，以下の 2 つが

本研究は日本学術振興会科学研究費補助考えられる．1 つ目は，良性の肺結節症例の中

金新学術領域研究(26108009)，および基盤研に典型的ではない肺結節画像が含まれていた

究(B)(17H02110)による支援を受けた．

ことである．実験で使用したデータの中には，利益相反の有無

良性でも形状が複雑な肺結節が多く，典型的無し．

な症例が少なかった．そのため，典型的な良文献性の肺結節画像の学習枚数が不足し，形状が［1］

Goodfellow I,

Pouget-Abadi e,Mehdi

不整な肺結節画像が生成されたと考えられる．

Mirza J,al:Genera

したがって，良性の肺結節について典型的な

tive Adversarial Nets, NIPS2

014:267

肺結節データのみを GAN の学習に用いるこ

2-2680,2014とで良性の肺結節の画像生成の精度が改善さ

［2］

Xu B,

et

Radford A, Metz L,

Chintala

S:U

れることが見込まれる．2 つ目は，GAN モデ

nsupervised Representation L earning

ルの改善である．今回の実験では，GAN が生with Deep Convolutional Generative

成した画像の中には形状が不整な肺結節画像

Adversarial Networks, ICLR2016，2016が生成された場合もあったため，GAN モデル

［3］

Mirza

M,

Osindero S:Conditionalにも改善の余地がある．具体的な改善策としGenerative Adver-sarial Nets, arXiv:ては，DCGAN の中間層におけるフィルター

1411.1784, 2014

サイズの変更や，出力マップサイズの変更，［4］Metz L, Poole B, Pfau D, Sohl-Dic

学習エポック数の変更を行うことにより画像

kstein J:Unrolled Generative

Adversa

生成の精度の向上が見込まれる．

rial Networks, arXi v:1611.

02163,2

6．まとめ

016

今回，GAN を用いた data augmentation 手法［5］

Causey JL,

Zhang J,

Ma S, et al

により，肺結節の良悪性鑑別の精度において:75.81[%]の精度を得ることができた．しかし，ion of lung nodule malignancy with

従来の data augmentation 手法と比較して，有CT scans,Scientific Reports, 8, Articl

意差が得られない結果となった．良悪性鑑別

e number:9286, 2018の精度が 75.81[%]であるため，臨床の場にお326

Highly accurate model for predict

Generating CT lung nodule images by use of GAN
Takuma HAMAGUCHI*1，Shoji KIDO*2，Yasushi HIRANO*1
Shingo IWANO*3*1 Graduate School of Sciences and Technology for Innovation, Yamaguchi University*2 Graduate School of Medicine, Osaka University*3 Nagoya University,Graduate School of Medicine

In recent years, many methods for analyzing lung nodules of medical images by using convolutional
neural networks (CNNs) have been proposed. However, there is a problem that large amounts of data cannot
be prepared. In order to solve the problem, a method to augment the data by using rotation and reflection
is used. However, it is not a fundamental solution. In this study, we proposed a new data augmentation
method by using “Generative Adversarial Network(GAN)”.First, we cut out 2D images from 3D CT image
with lung nodule on the center. Next, we made a generator model which generates lung nodule images.
After that, we trained a CNN model that discriminates benign from malignant nodules. We compared theperformance of our method with no data augmentation, augmented data by using translation, rotation andreflection, and using only GAN generated data.As a result, we obtained 75.81±6.36[%] by use of our
method. And we obtained 76.38±4.32[%] by use of no data augmentation, 76.57±4.40[%] by use ofrotation and reflection, and 58.29±3.78[%] by use of only GAN generated data. Therefore, the results using
our methods were not superior to conventional augmentation methods.

327

OP2-22

AutoEncoder の正常症例訓練モデルによる
FDG-PET 画像中の悪性腫瘍検出手法
健宏*1

前田

片渕

原 武史*1

哲朗*2

周 向栄*1

藤田 広志*1

要旨
本研究の目的は，医師の負担軽減や見落としを防ぐために，体幹部 FDG-PET 画像における悪性腫瘍の自動検出手法の開発を目的とする．ここでは，異常症例より収集が容易な正常症例を利用して，異常検知の観点から検出を行う．PET スライス画像を 12×12 画素のパッチ画像へ分割する．正常症例のみで訓練した
AutoEncoder モデルによるパッチ画像の特徴量抽出を行う．再構成誤差を特徴量として加え，外れた傾向を持つパッチ画像を抽出する．抽出されたパッチ画像群を k-means 法により 2 クラスタへ分割し，PCA による第一，第二主成分をそれぞれ軸とする 2 次元空間上にプロットする．クラスタ重心との距離を基にパッチ画像にスコア付けをし，スコアの集積する部位を腫瘍領域とする．腫瘍を含む 33 症例を対象に検出精度を求める．検出率 95.1%，1 症例あたりの偽陽性領域数は 53 領域となり，正常症例のみで訓練した
AutoEncoder モデルは腫瘍検出に有用である可能性を示唆した．
キーワード：FDG PET，深層学習，コンピュータ支援診断

1．はじめになっている．負担軽減のために，コンピュー

日本において，がんによる死亡者数は増加

タ支援診断(CAD)システムの開発が期待され傾向にあり，早期発見と早期治療が重要とさている．

れている[1]．PET 検査はがんや炎症の病巣の悪性腫瘍の自動検出を深層学習による直接調査，腫瘍の大きさや場所の特定，治療効果検出により行う場合，多量の教師データが必判定などの用途で用いられる．

要となる．部位や種類ごとに多くの教師デー

PET 検査では 1 度の撮影で約 300 枚のスラタを用意することは難しいが，正常症例は比イス画像が生成され，すべての画像を精査す

較的収集が容易である．ニューラルネットワ

るには多大な時間を要する．加えて，検査件

ークの一種である AutoEncoder は，大量の正数の増加により読影医師の負担増大が問題と常データで訓練したモデルを利用した異常検知に使用されている事例がある[2]．

――――――――――――――――――

以上より，AutoEncoder を利用した悪性腫*1 岐阜大学大学院自然科学技術研究科

瘍の自動検出手法の開発を目的とする．ここ知能理工学専攻

では，比較的収集が容易である正常症例を訓〔〒501-1193 岐阜市柳戸 1-1〕

練に利用した AutoEncoder モデルによる特徴

e-mail: tmaeda@fjt.info.gifu-u.ac.jp

量抽出と，異常検知の考えを基にした自動検*2 岐阜医療科学大学保健科学部

出を目指す．

投稿受付：2003 年 1 月 31 日

328

2．方法
2.1 正常 AutoEncoder モデルの作成
AutoEncoder はニューラルネットワークの一種である．入力画像をより低次元な情報へ符号化し，符号化された情報を入力画像へと復元する構造である．本手法では，PET 画像
を Axial，Sagittal，Coronal の 3 断面において，
図1

各スライス画像を12 × 12画素のパッチ画像

異常コア算出の流れへ等間隔で切り出した画像を入力とする． 訓

3．結果練に用いる画像は正常症例のみとする．

腫瘍領域を含む異常症例 33 症例を対象に自動検出を行い，検出率と偽陽性領域数を求

2.2 特徴量抽出と異常検知

めた．AutoEncoder の訓練には正常症例 35 症

正常症例で訓練を行った AutoEncoder モデ

例を用いた．

ルを用いて，144 次元の画像を 6 次元へと符検出結果の例を図 2 に示す．橙色，薄緑色

号化する．また，AutoEncoder の入出力の差がそれぞれ，正解領域，検出領域である．検を一つの特徴量として加え，パッチ画像 1 枚

出率は 95.1%，偽陽性領域数は 53 となった．

から 7 次元の特徴量を算出する．

内訳を表 1 に示す．

7 次元特徴量群から，腫瘍が映っていると思われるパッチ画像を抽出する．多変量デー
タのロバストな外れ値検知手法である MSD
法[3]により，外れた傾向の特徴量を持つパッチ画像を抽出する．次に k-means 法を適用し，2 クラスタへ分割する．
腫瘍の検出を行うために，パッチ画像の異図2

常度を示すスコアを算出する．流れを図 1 に

元画像(左)と検出結果(右)示す．MSD 法で抽出されたデータに対して主成分分析を行い，第一，第二主成分をそれぞ

肺

肝臓

腹部

合計

れ x，y 軸とする平面にプロットする．k-menas

腫瘍数[個]

9

7

86

102

法によるクラスタリング結果を基に，各クラ検出数[個]

8

6

83

97

スタの重心座標を求める．重心に近いほど高検出率[%]

96.5

95.1

い値となるように設定した式を用いて異常ス

88.9
85.7
表 1 検出結果

コアを求める．
4．まとめ

求めた異常スコアを利用し，腫瘍領域の決定を行う．元画像上で異常スコアが高いパッ

本研究では，正常症例のみを訓練データとチ画像が集中している箇所を腫瘍領域としてした AutoEncoder モデルと，異常検知の考え検出する．最後に，検出した領域内の最大値を利用した悪性腫瘍の自動検出を行った．102

や平均などから偽陽性の削除を行う．

個の腫瘍領域に対して，97 個の検出に成功した．偽陽性領域数は 53 領域となった．
以上より，異常症例より比較的収集が容易である正常症例のみで学習した AutoEncoder
モデルは，悪性腫瘍の検出に有用である可能性が示唆された．

329

謝辞
本研究を進めるにあたり，有益なご助言をいただきました研究室の方々に感謝の意を表します．本研究の一部は，文部科学省科研費・新学術領域研究（26108005）および基盤研究
C(17K10455，18K12102)の補助によって行われました
利益相反の有無
なし
文
［1］

献

日本アイソトープ協会，“第 8 回全国
核 医 学 診 療 実 態 調 査 報 告 書 ”，
RADIOISOTOPES ， Vol.67 ， No.7 ，pp.339-387，2018［2］

立花亮介，松原崇，上原 邦昭，“深層生成モデルによる非正則化異常度を用いた工業製品の異常検知”，第 32回人工知能学会全国大会論文集，
pp.772-775，2018［3］

和 田 か ず 美 ，“ 多 変量 外れ 値 の 検 出~MSD 法とその改良手法について”，
統計研究彙報，Vol.67，pp.89-157，2010

330

Malignant tumor detection method in FDG-PET Imaging
by normal case training model of AutoEncoder
Takehiro MAEDA*1, Takeshi HARA*1, Xiangrong ZHOU*1
Tetsuro KATAFUCHI*2, Hiroshi FUJITA*1*1 Department of Intelligence Science and Engineering,
Graduate School of Natural Science and Technology, Gifu University*2 Faculty of Health Science, Gifu University of Medical Science.

The purpose of this study is to develop a method for automatic detection of malignant tumors in FDG-PET images inorder to reduce the burden on doctors and prevent oversight. We use normal cases that are easier to collect thanabnormal cases, and detect them from the viewpoint of abnormal detection. The PET slice image is divided into 12 ×
12 pixel patch images. Feature extraction of patch image is performed by AutoEncoder model trained only in normalcases. Reconstruction errors are added as feature, and patch images with a tendency to deviate are extracted. The
extracted patch image group is divided into 2 clusters by k-means method, and is plotted on a two-dimensional spacewith the first and second principal components as axes by PCA. The patch image is scored based on the distance fromthe cluster centroid, and the region where the score is accumulated is taken as the tumor area. The detection accuracy
is calculated for 33 cases including tumor. The detection rate was 95.1%, and the number of false positive areas percase was 53, suggesting that the AutoEncoder model trained in only normal cases may be useful for tumor detection.

Key words: FDG PET, Deep Learning, CAD

331

OP2-23

低線量 CT 画像による
肺結節の経時変化に基づく良悪性鑑別東勇太*1) 鈴木 秀宣*2) 河田佳樹*2) 仁木 登*2)

楠本 昌彦 3) 土田 敬明 4) 飯沼 元 4)
要旨
日本における死因別死亡率はがんが第一位であり、現在もがんによる死亡率は上昇し続けている.その中でも部分別に見たとき肺がんは,がん死亡者数第一位を占め,こちらも増加傾向にある. 早期発見に低線量
CT 肺がん検診が取り入れられている.そこで本研究では,テクスチャー解析を行い肺結節の経時変化から病状の悪化に伴う特徴量の変化を調べ, 肺結節の良悪性鑑別を行うことである.
キーワード: CT，CAD，医用画像処理



背景,目的

ん検診の有用性を示すエビデンスは少なかっ

わが国において,死因別死亡理はがんが第たが大規模な無作為化比較試験である北米の一位であり,現在もがんによる死亡率は増加

National Lung Screening Trial(NLST)やオラン

傾向にある. そして,がんの中でも死亡者数がダ・ベルギーの NELSON trial により肺がん死

最も多い部位は肺であり,男性の場合他の部亡率の減少に効果があることが示された.本位と比べて肺がんによる死亡率は極めて高い.

研究では,長期期間の検診により,肺結節のテ

女性においても死亡率は第二位であるが ,クスチャー解析を行い,経時変化から病状の年々増加している. このようにがんの死亡率悪化に伴う特徴量の変化を調べ,良性結節とが増加傾向にあるのは,早期発見が必要であ悪性結節の有意となるパラメータを明らかにるためである.そこで低線量 CT 肺がん検診がし,肺結節の良悪性鑑別を目的とする.

取り入れられ始めた.今まで,

低線量 CT 肺が―――――――――――――――――

*1) 徳島大学大学院先端技術科学教育部

CT 画像 撮影条件

本研究では,国立がん研究センターで撮影さシステム創生工学専攻

れたデータセットを用いて実験を行った. 詳〔〒770-8506 徳島県徳島市南常三島 2-1〕

しい撮影条件を表 1 に示す．CT 画像は低線量

e-mail:c501938010@tokushima-u.ac.jpの画像であり,また読影医による結節の判定*2)徳島大学大学院社会産業理工学研究部が示されている.これを図 1 に示す.

*3)国立がん研究センター東病院*4)国立がん研究センター中央病院332

表 1 データセットの撮影条件
80
60
e1

40

e2

20
0
1 3 5 7 9 11 13 15 17 19
図 3 実験に用いるデータセット分布
まとめ
元のデータセットから検診回数,検診結果を条件に実験に使用するデータを選別し,新たにデータセットを作成した.今後はこのデータセットを用いて,肺結節の判定の変化の

図 1 低線量 CT 画像

パターンを分類し,テクスチャー解析を行い(赤丸:読影医による結節の判定)


経時変化による特徴量の変化を調べていく.

手法.

実験に用いるデータの選別から行う.

利益相反の有無

データセットに含まれる症例数は 683 症例

なしである.一人が受けた 1 回以上の検診をまとめ

文て 1 症例としているため,検診回数が 1 回の症[1] Uraujh Yousaf-Khan, et al. Final screening

例や悪性結節を含まない症例などある.そこ

献round of the NELSON lung cancer screening

で長期的な肺結節の経時変化をみるため,検trial: the effect of a 2.5-year screening

診回数が 1,2 回の症例を除き,その中でも肺がんの疑いとされた e1,e2 判定の結節が存在すInterval ; Thorax 2017;72:48–56.

る症例を実験に用いることとした.このとき,

doi:10.1136/thor[2] McWilliams A, Tammemagi MC, Mayo JR,

症例数は 683 症例から 222 症例となった.


結果
データセットの分布を図 2、実験に用いる
データセットの分布を図 3 に示す.
90
70
50

30
10
-10

1 3 5 7 9 11 13 15 17 19

axjnl-2016-208655

et al. Probability of cancer in pulmonary
nodules detected on first screening CT. N
Engl J Med 2013;369:910-9. DOI:

b
c
d4
d3
d2
d1
e1
e2

10.1056/NEJMoa1214726[3] 「NationalLungScreeningTrial の概要と評価」祖父江友孝[4] 「肺癌取り扱い規約
本肺癌学会

図 2 データセット分布333(2017)

第 8 版」編集：日Differentiation of Benign and Malignant Lung Nodules
by Temporal Change Using Low Dose CT Images
Azuma Yuta*1)

Hidenobu Suzuki*2)

Yoshiki Kawata*2)

Noboru Niki*2)

Masahiko

Kushumoto*3) Takaaki Tsuthida*4) Gen Iinuma*4)*1 System Innovation Engineering , Graduate School of
Advanced Technology and Science, The University of Tokushima*2 The University of Tokushi*

3 National Cancer Hospital East*

4 National Cancer Center Hospital

Cancer is the number one cause of death by death in Japan, and the mortality rate from cancer continues
to increase. Among them, lung cancer accounts for the largest number of cancer deaths when viewed
partially Low-dose CT lung cancer screening is incorporated in early detection, so in this study, texture
analysis is carried out to examine changes in the characteristic amount associated with deterioration of the
medical condition from the time-dependent change of lung nodules, lung It is to distinguish between
benign and malignant nodules.
Key words: X-ray image, CT, Medical image processing334

OP2-24

Staging of liver fibrosis by using texture and partial least squaresbased statistical shape analyses in contrast-enhanced MR images
Mazen Soufi1, Yoshito Otake1, Masatoshi Hori2, Kazuya Moriguchi1,
Yasuharu Imai3, Yoshiyuki Sawai3, Takashi Ota2, Noriyuki Tomiyama2,
Yoshinobu Sato1*
Abstract
We aimed at the staging of liver fibrosis by using image features derived from texture analysis and partial least squares(PLS) regression -based statistical shape modelling applied to contrast-enhanced MR images. MR images of 51 patientswere used. Fifty-four texture features were derived from the image histogram and 4 texture-characterizing matrices. A
statistical shape model was constructed by using PLS. The fibrosis stage was estimated by using a support vector
machine (SVM) based on the texture features and PLS scores. The accuracy (in terms of the AUC) at the classifications
F0/1 vs. F2‒4 (early), F0‒2 vs. F3‒4 and F0‒3 vs. F4 (cirrhosis) were 0.93±0.03, 0.77±0.05 and 0.84±0.05, respectively,
thus showing the feasibility of the proposed approach for staging of the liver fibrosis.
Keywords：liver fibrosis, contrast-enhanced MR, statistical shape modeling, partial least squares, texture analysis

1. Introduction
Liver fibrosis is an asymptomatic disease that ultimately progress into cirrhosis, which is linked with prominent
morbidity and mortality. The diagnosis of liver fibrosis includes staging the degree of fibrosis with one of five stages(from F0 ‘no fibrosis’ to F4 ‘cirrhosis’) [1]. The early detection of liver fibrosis is especially necessary because it may
help in reversing the fibrosis, for example, through antiviral treatments [2].
Biopsy is considered the gold standard in diagnosing liver fibrosis. However, it is invasive and is prone tosampling errors. Other methods include serum/blood markers and elastography imaging techniques, such as magnetic
resonance elastography (MRE) [3]. However, these tests might produce false positives due to other complications [4].
Therefore, an additional diagnostic tool for liver fibrosis is needed.
On the other side, image analysis approaches, such as statistical shape modeling [5] and texture analysis [6,―――――――――――――――――――――――――――――――――――――
1 Division of Information Science, Nara Institute of Science and Technology
8916-5, Takayama-cho, Ikoma, Nara 630-0192, Japan*yoshi@is.naist.jp
2 Department of Diagnostic and Interventional Radiology, Osaka University Graduate School of Medicine
D1, 2-2 Yamadaoka, Suita, Osaka, 565-0871, Japan
3 Department of Gastroenterology, Ikeda Municipal Hospital
3-1-18, Jonan, Ikeda, Osaka, 563-8510, Japan335

7]; however, up to our knowledge, the fusion of these approaches has not been investigated yet. Deep learning
approaches were also developed for the staging of liver fibrosis [8, 9]. Nevertheless, those approaches require large
datasets for training the classification models (e.g. hundreds of datasets), which may not be available. Therefore, thepurpose of this study was to investigate the feasibility of fusing MR image-based statistical shape modeling and texture
analysis approaches for the staging of liver fibrosis.
2. Materials and methods
2.1 Image datasets
Institutional review board approvals for this retrospective study were obtained from Ikeda Municipal Hospital (approval
ID: 3253) and Osaka University Hospital (approval ID: 14251). The proposed approach was validated on 51 contrast
enhanced fat-suppressed T1-weighted MR images acquired by a 1.5 Tesla scanner (Signa HDxt 1.5T, GE Medical
Systems, Milwaukee, WI). The distribution of the fibrosis stages was F0/1 (n=18), F2 (n=15), F3 (n=7) and F4 (n=11).
2.2 Proposed approach
Figure 1 shows the proposed approach for staging of liver fibrosis by using a fusion of partial least squares (PLS)
regression-based shape and texture features. The liver shape was segmented from the 3D MR images. A smoothed
polygon model was reconstructed from the segmented liver shapes, and an SSM was constructed based on affine anddeformable registrations of a template to each polygon model. The shape features (scores) were derived from theregistered polygons, and the shape modes summarizing 99.5% of the cumulative variation were selected.

Fig. 1 Proposed approach for staging of liver fibrosis based on fusion of SSM features (PLS scores) with texture
features.
The texture features were derived by using the histogram of the segmented liver and 4 types of texture
representation matrices, i.e. gray-level co-occurrence matrix (GLCM) [10], graylevel run-length matrix (GLRLM) [11],graylevel size-zone matrix (GLSZM) [12] and neighborhood gray tone difference matrix (NGTDM) [13], yielding 54
features. The matrices were computed on the image after re-quantization to 16 graylevels (4-bit), following Ref. [7]. A
feature selection was applied to the derived features, in which only the features of a non-negligible correlation with thefibrosis stage (i.e. Pearson correlation coefficient > 0.3) were selected. The selected features were normalized by usinga z-score (difference from the mean divided by the standard deviation). The texture features were combined with the
PLS scores, and fed into a support vector machine (SVM) with a linear kernel to predict the fibrosis stage. The prediction336was performed under a binary classification (i.e. F0/1 vs. F2-4, F0-2 vs. F3-4 and F0-3 vs. F4) with a 5-fold crossvalidation repeated for 50 iterations.
3. Results and discussions
Figure 2 shows the shape variations obtained by the PLS scores in the direction perpendicular to thediscrimination hyperplane. The features represented commonly-known variations with respect to the fibrosis progression,
such as enlargement of left lobe and shrinkage in the front side of the right lobe, as well as detailed shape variations,such as enlargement in the back side of the right lobe. These variations agree, to some extent, with those observed incirrhotic livers by Ozaki et al. [14].

Fig. 2 Shape variations represented by PLS scores. The features represented commonly-known variations, such as
enlargement of left lobe, as well as detailed shape variations, such as enlargement in the back side of the right lobe.
Figure 3 shows the Pearson correlation coefficient between the 54 texture features and the fibrosis stage.
Eight features yielded non-negligible correlations, i.e. the histogram-based entropy, mean, median and root-mean-square(RMS), the GLSZM-based size zone emphasis (SZE) and zone size non-uniformity (ZSN), and the NGTDM-based
busyness and strength features. The maximum correlation value in absolute value corresponded with the SZE (ρ= -0.49),
which shows a moderate correlation between the texture features and the fibrosis stage.

Fig. 3 Pearson correlation coefficient between texture features computed at 16 re-quantization levels and the fibrosis
stage. Features with non-negligible correlation (ρ > 0.3) were selected for the staging. Lower row shows examples
for the features with largest-3 correlation coefficients in absolute value.

337

Figure 4 shows examples for representative cases of the 4 fibrosis stages with the normalized values of thelargest-3 correlation features. The image features characterized the randomness in the graylevel distributions at the liver
vasculature and parenchymal sub-regions.

Fig. 4 Examples for representative images with the largest-3 correlation texture features (SZE: small zone emphasis,
ZSN: zone size non-uniformity; and busyness).
Figure 5 summarizes the performance of the proposed approach in terms of the AUC and ACC measures.
Compared with the approach using only SSM-based PLS scores, the proposed approach yielded AUCs of 0.97±0.02,
0.78±0.04 and 0.82±0.06 for the classifications F0/1 vs. F2-4, F0-2 vs. F3-4 and F0-3 vs. F4, respectively. The
performance has improved in the classifications F0/1 vs. F2-4; however, it slightly degraded in the classification F0-2
vs. F3-4. There was no statistical significance in the improved performance at the classification F0-3 vs. F4.

Fig. 5 Comparison of the classification accuracy between the PLS scores-based approach (blue) and fusion with
texture features approach (green). (a): box-plot of AUCs with a statistical summary table of the AUC and accuracy(ACC) measures; (b): variations in the AUC with respect to the iteration number.
House et al. have shown the potential of the GLCM-based features in prediction of the liver fibrosis stage [6].
Their approach achieved AUCS of 0.81, 0.81 and 0.87 for the three classifications. Their study was applied to 48 images,

338

and have shown the potential of the entropy features in the discrimination between non-fibrotic and fibrotic livers. Zhang
et al. have also shown the potential of using 15 texture features in prediction of liver fibrosis stage. Their approach wasvalidated on a larger dataset of MR images (n=218), and revealed the predictive value of the mean and entropy features[7]. These results align with our findings in showing the potential of the texture features, particularly the entropy feature,in the fibrosis staging. We additionally showed the potential of GLSZM- and NGTDM-based features, whose application
to fibrosis staging has not been investigated before. However, the current study has a limitation of the small dataset
employed for the analysis. Currently, a larger dataset (> 250 MR images) is under preparation in order to validate theproposed approach. In addition, the potential of fusing deep learning-based representations with the handcrafted featurestested in this study will be investigated.
4. Conclusions
This study has investigated the fusion of PLS-based shape features with texture features for the prediction of liver fibrosis
stage. An improvement was obtained at the early detection of the fibrosis (F0/1 vs. F2–4) compared with theclassification by using only PLS-based features, thus showing the potential of the proposed approach for the staging ofliver fibrosis.

Competing interests
The authors have no competing interests.

Acknowledgement
The authors are grateful for Fukuda Norio, Yuki Suzuki, Steven Lim, Yukio Oshiro and Toshiyuki Okada for theircontributions to this study. This research was supported by Japan Society for the Promotion of Science (JSPS) Grantsin-Aid for Scientific Research (KAKENHI) Number 26108004 / 26461789 / 17K10403 and 19K20711.

References［1］

Ichida F, Tsuji T, Omata M, et al.: New Inuyama classification; new criteria for histological assessment of chronic hepatitis.
Int Hepatol Commun 6(2):112‒119, 1996

［2］

Liaw YF, Reversal of cirrhosis: an achievable goal of hepatitis B antiviral therapy. J Hepatol 59(4):880‒881, 2013

［3］

Wang QB, Zhu H, Liu HL, Zhang B et al.: Performance of magnetic resonance elastography and diffusion-weighted imaging
for the staging of hepatic fibrosis: A meta-analysis. Hepatology 56(1):239‒247, 2012

［4］

Tang A, Cloutier G, Szeverenyi NM, et al.: Ultrasound elastography and MR elastography for assessing liver fibrosis: part2, diagnostic performance, confounders, and future directions. Am J Roentenol 205:33‒40, 2015

［5］

Hori M, Okada T, Higashiura K, et al. Quantitative imaging: quantification of liver shape on CT using the statistical shapemodel to evaluate hepatic fibrosis. Acad Radiol 22(3):303‒309, 2015

［6］

House MJ, Bangma SJ, Thomas M, et al.: Texture-based classification of liver fibrosis using MRI. J Magn Reson Imaging
41(2):322‒328, 2015

［7］

Zhang X, Gao X, Liu BJ, et al: Effective staging of fibrosis by the selected texture features of liver: Which one is better, CT

339

or MR imaging?. Comput Med Imag Graph 46:227‒236, 2015［8］

Yasaka K, Akai H, Kunimatsu A, et al.: Liver Fibrosis: Deep Convolutional Neural Network for Staging by Using Gadoxetic
Acid-enhanced Hepatobiliary Phase MR Images. Radiology 287(1):146‒155, 2018［9］

Choi KJ, Jang JK, Lee SS, et al.: Development and validation of a deep learning system for staging liver fibrosis by using
contrast agent-enhanced CT images in the liver. Radiology, 289(3), 688-697, 2018［10］

Haralick RM, Shanmugam K, Dinstein I. Textural features for image classification. IEEE Trans Syst Man Cybern. 3:610–
621, 1973［11］

Galloway MM. Texture analysis using gray level run lengths. Comput Graph Image Process 4:172–179, 1975.

［12］

Thibault G. Texture indexes and gray level size zone matrix. Application to cell nuclei classification. In Proc. Pattern
Recognition and Information Processing. Minsk, Belarus, 140-145, 2009［13］

Amadasun M, King R. Textural features corresponding to textural properties. IEEE Trans Syst Man Cybern. 19:1264–1274,
1989

［14］

Ozaki K, Matsui O, Kobayashi S, et al.: Selective atrophy of the middle hepatic venous drainage area in hepatitis C-related
cirrhotic liver: Morphometric study by using multidetector CT. Radiology 257(3):705‒714, 2010340

OP3-01

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

少数方向トモシンセシスにおける正則化項を用いた画像再構成
堀拳輔*1 橋本 雄幸 1* 齊藤

典生*2

王 波*2

要旨
トモシンセシスは制限角内の投影から３次元画像を再構成する技術である．現在開発中の４つの X 線管を有する装置では１秒以内の短時間撮影が可能で，患者の息止めによる負担がほとんどない．しかし，投影数が 4 つと少ないため，再構成画像の画質が劣化する．本研究では，正則化項を組み込んだ逐次近似アル
ゴリズムを４方向トモシンセシス画像再構成へ応用し，その有用性について検討した．ML-EM 法と TV 正
則化を組み込んだ方法で数値ファントムおよび実測データの再構成を行い，RMSE および CNR による比較検討を行った．数値シミュレーションでは，ML-EM 法と比較して ML-EM+TV 再構成像の奥行方向に生じるアーチファクトが抑制され，分解能が向上した．実測データでは TV 正則化を組み込むことでノイズが抑制でき，近似回数を重ねるにつれ CNR が向上した．4 方向トモシンセシスにおいて，正則化項を組み込んだ再構成アルゴリズムはアーチファクト抑制およびノイズ低減に有用であった．
キーワード：トモシンセシス，逐次近似画像再構成法，正則化

1．はじめに影できる [3]．１秒以内に制限角 20 度程度で４トモシンセシスは 制限された角度から得ら方向の投影を収集できるため，肺がん検診やポれる投影を用い，断層像を再構成する技術であータブル撮影等での活躍が期待されている．しる [1]．臨床機では，単純 X 線撮影に用いられかし，収集する角度範囲に対して投影数が極端る X 線管を機械的に動作させることで，制限角に少ないため，ストリーク状のアーチファクト

30°以内で約 60 投影を 10 秒かけて撮影するたが発生してしまう問題があった．

め，患者の息止めによる負担が大きい．さらに，

近年，Computed Tomography（CT）や Magnetic

撮影中に息止めができなかった場合，被ばく線

Resonance Imaging（MRI），核医学画像の再構成

量が多いにもかかわらず，単純 X 線検査と比較

アルゴリズムに正則化を組み込むことで，スパして，肺結節検出能が同等になることが報告さースな情報からの画像再構成が可能となってれている [2]．一方，現在開発中であるトモシン

いる [3, 4, 5]．本研究では開発中のトモシンセ

セシス装置は，４つの小型 X 線管が固定配置さシス装置の従来までの画像再構成法である

れており，それぞれの X 線管からほぼ同時に撮

Maximum likelihood expectation maximization（ML-EM）法に Total variation（TV）正則化を――――――――――――――――――

組み込み，その有効性に関して数値シミュレー*1 杏林大学大学院保健学研究科

ションおよび胸部ファントムを撮影した 実測〔〒181-8612 三鷹市下連雀 5-4-1〕

データを用いてその有用性を検討した．

e-mail: hori1911n@std.kyorin-u.ac.jp*2 つくばテクノロジー株式会社
投稿受付：

341

2．方法
2-1．実験方法および使用機器
本実験における数値シミュレーションでは，128×128×128 pixels の 3D Shepp&Logan ファントム（図１）を対象とし，信号雑音比が 20 dBとなるように正規分布にしたがうノイズを付加した．また，実測ではポータブル 3D 表示 X
線 装 置

[6] お よ び

Flat Panel Detector（PaxScan®4336W v4: Varex Imaging）を用いて，CT 値+100 で直径 10 mm および 35 mm の模擬結節を封入した胸部ファントム（N-1 ラングマ
ン：株式会社京都科学）を表 1 に示す条件で撮影を行った．

図２ トモシンセシス撮影系
４方向撮影時の各 X 線管に対する θ はそれぞれ-10°, -3°, 3°, 10°である．
2-2．画像再構成法
X 線による投影は式(1)で表される．
Y = A X(1)

図１ 3D Shepp&Logan ファントム

A は検出確率に関するシステム行列，X は原画

A：横断面，B：冠状断面，C：矢状断面．最大像， Y はポアソン性を考慮した投影（式(2)）を

画素値は 3.5 であり，最小画素値は 0 である．

表す．

 I

poisson   aij  xi (2)
 i =0
ここで， X を求める式(1)の逆問題を式(3)で表yj

表 1 撮影条件および検出器仕様
120 kV
管電圧17.5 mA
管電流
100 msec
撮影時間
80 cm
X 線管—検出器間距離
検出器サイズ42.7×34.4 cm
マトリクスサイズ
3,072×2,476
139 µm/pixel
ピクセルサイズ

される最小化問題に書き換える．
 A X
X = arg min + β U ( X ) 
 y

 j


(3)

式(3)の右辺の第一項は ML-EM 法で解くことができ，(4)で表される．

臨床機のトモシンセシスは，検出器を固定し，X 線管を体軸方向に動作させて撮影するが，現在開発中のトモシンセシス装置は 体軸方向に

xi(

k +1)

xi( )
k

=

J

a
j =1

配置した４つの X 線管を固定して撮影する（図Jy j aij

j =1

a x

 I

ij

i =1

(k )

(4)

ij i

ここで， aij は i が j に検出される確率， x およ２）．したがって，臨床機の条件での投影は，制限角 20°において 40 投影とし，開発機の条件

び y はそれぞれ k 回目の再構成像と投影を表での投影は，制限角 20°において 4 投影とした．

す．式(3), (4)より，本研究で提案する正則化をまた， X 線は一点からコーン状に放射されるこ組み込んだ逐次近似画像再構成法（ML-EM+TV）とを考慮し，画像再構成を行った．

は式(5)で表される．

342

xi(

k +1)

xi( )
k

=

J

J

a
j =1

 I
j =1

ij

y j aij a x( )

−β

k

i =1

ij i



( )

U xi( )
k

(k )

 xi

EM+TV 法ではアーチファクトが抑制され，分(5)解能が向上していることが確認できた（図３F）．
これは，ML-EM+TV 法では，正則化項が組み込
まれたことにより，角度方向においてスパース

ここで， U ( xi ) は正則化項であり，式(6)でになった情報を復元しながら画像再構成でき表される TV ノルムを用いた．
I

U ( xi ) = 
i =1たためと考えられる．

 xi   xi  x  +  y 

 

2

2

(6)

2-3．評価指標
数値シミュレーションの検討では，基準画像
a とし，対象画像 b との差を式(4)で示す Rootmean square error（RMSE）で評価した． トモシ
ンセシスは投影角度に制限があるため，原画像の形状を正確に描出することはできない．したがって，制限角 20°においてノイズを含まない
40 投影を収集し，ML-EM+TV 法で再構成した

図３ Shepp&Logan ファントム再構成画像

画像を基準画像とした．

基準再構成画像（左：A, D）と ML-EM 再構成

RMSE =N1

N i =1( ai − bi )2

画像（中央：B, E），ML-EM+TV 再構成画像（右：(4)C, F）を示す．上段（A, B, C）はそれぞれ z=30
での冠状断面画像で，下段（D, E, F）は y=64 で胸部ファントム実測データでの検討では，式(5)で示す Contrast to noise ratio (CNR)で評価した．それぞれ，signal は 10 mm 模擬結節部，B.G.
は肺野部とした．
Meansignal − MeanB.G.
CNR =σ B.G .

の矢状断面画像である．

(5)

3．結果と考察3-1．数値シミュレーション
3D Shepp&Logan ファントムを用いて，MLEM 法および ML-EM+TV 法により画像再構成を行った．制限角 20°において，ノイズを付加
せずに 40 投影収集する条件で再構成した画像

図４ 基準画像と ML-EM および ML-EM+TV 像

を基準再構成画像とし，図３A, D に示す．

との RMSE 値

基準再構成画像と比較して， ML-EM 法によ青線は ML-EM 法，赤線は ML-EM+TV 法で再り再構成した画像の冠状断面では，口元部に階構成した画像と基準画像との RMSE 値を示す．

段状のアーチファクトが生じた（図３B）が，ML-EM+TV 再構成画像では滑らかに描出されさらに，基準再構成画像と ML-EM 像およびた（図３C）．矢状断面において，ML-EM 再構

ML-EM+TV 像との RMSE 値を図４に示す．ML-

成画像では奥行き（Z 軸）方向にストリークア

EM 法では近似回数 25 程度で再構成値が発散

ーチファクトが発生していた（図３E）が，ML-したが，ML-EM+TV 法では値の発散が抑制され，343

近似回数を重ねるにつれて RMSE 値が減少しるため，少数方向トモシンセシスにおいて有用

た．ML-EM 法では近似回数が約 20 回以上で計であった．

算誤差による変動成分が増大してしまったが，
ML-EM+TV 法では変動成分を低減しながら近似を重ねたことで発散を抑制できたと考えら

利益相反の有無れる．

なし．

3-2．胸部ファントム実測データ

文

ポータブル 3D 表示 X 線装置で胸部ファント［1］献James T Dobbins III, Devon J Godfrey:

ムを撮影し，取得した投影から再構成した画像

Digital x-ray tomosynthesis: current stateを図５に示す．

of the art and clinical potential. Phys. Med.
Biol. 48: R65, 2003
［2］

Kim S.M., Chung M.J., Lee K.S. et al:
Digital tomosynthesis of the thorax: theinfluence of respiratory motion artifacts onlung nodule detection. Acta Radiologica 54:
634-639, 2013［3］

王波，鈴木良一，王暁東

他：ポータブル 3D 表 示 X 線 撮 影 装 置 ． 特 許 第6281119 号，2018
図５ 胸部ファントム再構成画像［4］

工藤博幸：低被爆 CT における画像再構

A：ML-EM 再構成画像，B：ML-EM+TV 再構成

成法―統計的画像再構成，逐次近似画

画像．左下に赤枠で示した 10 mm 模擬結節の拡像再構成，圧縮センシングの基礎―．

大画像を示す．

Med Imag Tech 32: 239-248, 2014
［5］

Lustig M., Donoho D., Pauly J.M.: Sparse

数値ファントムでの結果と同様，実測データ

MRI: The application of Compressed

でも ML-EM 法により再構成した画像では，近Sensing for Rapid MR imaging. Magnetic

似回数を重ねるごとにノイズが増大したが，Resonance in Medicine 58: 1182-1195,

ML-EM+TV 再構成では，ノイズが抑制されなが2007

らコントラストが向上し，CNR は 2.6 倍に向上

［6］

V.Y. Panin, G.L. Zeng, G.T. Gullberg: Total
variation regulated EM algorithm [SPECT

した．

reconstruction]. IEEE Trans Nucl Sci 46:
4．まとめ

2202-2210, 1999

正則化項を組み込んだ画像再構成は アーチ
ファクトを抑制でき，ノイズの低減が可能とな

344

Image Reconstruction with Regularization for
Small Number Projection Tomosynthesis
Kensuke HORI*1, Takeyuki HASHIMOTO*1, Norio SAITO*2, Wang BO*2

*1 Kyorin University Graduate School of Health Sciences*2 Tsukuba Technology Co., Ltd.

Tomosynthesis is the technique of reconstructing 3D image from the projection within limited angles. The device underdevelopment with 4 fixed X-ray tubes enables to image in about 1 second and facilitates for patients to hold a breath.
However, the image quality of the reconstructed image is degraded because the number of projections is small. In thisstudy, availability of image reconstruction algorithm with regularization for small projection tomosynthesis is examined.
Image of digital phantom and measurement chest phantom, reconstructed by ML-EM and ML-EM +TV, is comparedusing RMSE and CNR. In numerical simulation, the image reconstructed by ML-EM + TV is enables to suppress theartifact and improve the resolution in depth direction. In measurement data, the TV regularization enables to suppress
the noise and improve the CNR by increment of iteration. Therefore, image reconstruction with regularization for small
projection tomosynthesis is effective in reducing artifacts and noise.

Key words: Tomosynthesis, Iterative image reconstruction, Regularization

著者紹介
堀 拳輔 (ほり けんすけ)
2017 年北里大学医療衛生学部卒業．
2019 年北里大学大学院医療系研究科修士課程修了．現在，杏林大学大学院保健学研究科博士後期課程に在学中．画
像処理、特に医用画像再構成の研究に従事．2018 年 AOCMP Best Presentation
を受賞．

橋本 雄幸 (はしもと たけゆき)
1994 年筑波大学工学研究科博士課程修了．工学博士．1994 年横浜創英短期大
学情報処理学科講師，2012 年横浜創英大学こども教育学部教授，2016 年杏林大学保健学部診療放射線技術学科教授．ラドン変換の逆問題，画像処理，
非破壊検査の応用研究に従事．

345

齊藤 典生 (さいとう のりお)
1985 年山形大学大学院修士課程修了、
国立公害研究所でミー散乱レーザーレーダーの研究、その後、日本電気で高出力・高安定 YAG レーザーの開発に従事。
2012 年よりつくばテクノロジーにて研究開発全般を担当。
第 6 回ものづくり日本大賞 優秀賞受賞。
王 波 (おう は)1982 年中国西安電子科技大学レーダー
システム専攻卒業、1986 年同大学修士修了、助手、講師。
1993 年筑波大学に留学、CT と MRI の画像処理研究；1999 年(独）通総研(NICT)と（独）産総研(AIST)にて、3D 画像処理と非破壊検査技術に関する研究。
2005 年つくばテクノロジー（株）を起業、研究開発・経営全般を担当。
第 6 回ものづくり日本大賞 優秀賞受賞。

OP3-02

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2017.3.21 改訂）

超音波造影剤の動態情報を利用した模擬リンパ管の可視化
齋藤 勝也*1

吉田 憲司*2

大村 眞朗*1 田村 和輝*3

山口 匡*2

要旨
従来の超音波造影法では可視化が困難であるリンパ管のイメージング手法として，音響放射力により生じる超音波造影剤の動態情報をドプラ法で定量する動的超音波造影法を提案している．本報告では，皮膚組織の散乱・減衰特性を模擬した散乱体含有ファントムを作成し，その内部に形成した直径 0.28 mm の模擬リンパ管を対象に可視化を試みた．模擬リンパ管内に超音波造影剤（SonazoidTM）懸濁液を充填した状態で，単一凹面振動子（中心周波数 14.4 MHz）を方位方向に 10 μm ずつ移動させ，各走査線において 2 kHz のパ
ルス繰り返し周波数で超音波を 0.5 秒間送信した．取得される受信信号に提案法を適用することで造影剤の動態情報を反映した二次元像を生成した．その結果，走査線あたり一回の超音波送受信データから生成される従来の B-mode 画像と比して提案法ではコントラスト比が改善することが確認された．
キーワード：音響放射力，超音波造影剤，超音波ドプラ，模擬リンパ管，コントラスト改善

1．はじめに超音波イメージング（B-mode 画像）では明瞭なリンパ管の可視化技術が創出できれば，術中可視化は困難であると考えられる．そこで，リセンチネルリンパ節の同定技術やリンパ浮腫

ンパ管描出を補助する手法として，音波照射時診断におけるリンパ機能評価など診断・治療応に生ずる造影剤の移動をドプラ法で検出する用の両面において有効である．現状のリンパ管

動的超音波造影法を提案してきた．これまでの描出法として色素法やラジオアイソトープ法

検討において，造影剤のわずかな移動をドプラなどが実施されているが，近年は非切開でリア法で定量可能であることを示し，その移動速度

ルタイム性に優れ，広視野な観察が可能であるが理論計算結果と概ね一致することを確認しことからインドシアニングリーン（ICG）を用ている[2]．また，受信信号に混在するクラッタ

いた近赤外蛍光造影法が注目されている．しか信号が造影剤移動速度の過小評価につながる

し，生体組織による光の散乱・吸収のため， 10

可能性について検証してきた[3]．

mm より深部に位置するリンパ管を観察できな

本報告では，実際のリンパ管と直径が同程度いという欠点がある[1]．生体に対して良好な侵である円筒形チャンバを対象に，提案手法を用達度を有する超音波を用いて，この欠点を補う

いてイメージングを試みた．チャンバの視認性手法を提案する．

について，コントラスト比を指標に従来手法とリンパ管 を含む体表組織の形態学的な特徴比較した結果について報告する．

を考慮すると，従来のエコー強度情報を用いる
2．動的超音波造影法――――――――――――――――――

図 1 に提案手法の概念図を示す．皮下注射に*1 千葉大学大学院融合理工学府

より生体組織に投与された超音波造影剤がリ〔〒263-8522 千葉市稲毛区弥生町 1-33〕

ンパ管内に吸収され，管内においてほぼ静止し

e-mail: skatsuya@chiba-u.jpている状態，もしくは非常に移動速度が遅い状*2 千葉大学フロンティア医工学センター

態を想定する．この状況下で超音波を照射する*3 浜松医科大学光尖端医学教育研究センターと，音響放射力が作用し，造影剤が振動子から346

コー信号を受信した．超音波照射期間は 0.5 秒である．送信波のパルス長は 0.32 μs であり，この値から深度方向の分解能を算出すると 0.26
mm と な る ． 受 信 信 号 は オ シ ロ ス コ ー プ（HDO6104, LeCroy）を用いて，量子化ビット数 12 bit，サンプリング周波数 250 MHz で記録した．チャンバ中心から方位方向に 10 μm ずつ振動子を移動させ，各走査線において上記と同

図 1 動的超音波造影法の原理模式図様の条件で RF エコー信号列を受信した．超音離れる方向に移動すること が実験的に確認さ波ビームの点拡がり関数（PSF）は 79×208 μm

れている[4,5]．本研究では，この能動的に生じ（距離方向×方位方向）であり，フォーカス位させた造影剤の動態を超音波ドプラ法で検出

置における負音圧のピーク値は 3.0 MPa であっすることで，リンパ管の描出を目指している．

た．一般的に，超音波の非熱的作用の安全性評
価の指標として用いられるメカニカルインデ

3．実験方法ックス（Mechanical Index : MI）を概算すると，

1) 計測対象

0.79 であった．先行研究では，SonazoidTM に関

生体の散乱・減衰特性を模擬するため，散乱して，MI 値が 0.4 を超えると造影剤の崩壊が始体含有ファントムを作製した．平均粒径 10 μm

まり，1.0 を超えると造影剤の多くが崩壊するのポリアミド粒子（ORGASOL，アルケマ）を体ことが報告されている[6]．

積濃度 7.2%で混入した寒天ゲル内にリンパ管を模擬した直径 0.28 mm の円筒形チャンバをそ3) 信号処理

れぞれ形成した．チャンバには超音波造影剤

励起信号は 1/PRF 秒間隔で繰り返し振動子に（Sonazoid

TM）の懸濁液を充填させた．造影剤の粒子径は 1.24±0.37 μm，数密度は 2.26×1012

印加され，同一周期でエコー信号も受信される．

個

繰り返し時間間隔(1/PRF)で切り出した波形を/m である．

並び替えると図 3 に示す模式図となる．深度方

3向(𝑡)の信号にヒルベルト変換を施し，得られた
2) データ取得方法

解析信号の繰り返し時間方向(𝜏)の変動をドプ

図 2 に実験システムを示す．中心周波数 14.4

ラ信号と定義した．このドプラ信号にフーリエMHz，焦点距離 19.3 mm の単一凹面振動子をそ変換を適用し算出した周波数スペクトル𝑆(𝑓)よの焦点がチャンバ中心と一致するように鉛直り造影剤の移動速度を評価することができる．

上方に設置する．超音波の送受信にはパルサレ
シーバ（Model 5800, Olympus）を用いた．パルス繰り返し周波数（PRF）2 kHz で超音波を繰り返し送信し，同振動子によりチャンバからのエ

図 3 ドプラ信号の概念図

図 2 計測システム347

𝑐は水の音速（1480 m/s）である．期待値の算出において，パワースペクトルの成分が集中する
周波数帯域を選択するために，𝑓𝑡ℎ を 80 Hz として解析した．
チャンバ周囲の散乱体含有ファントムが完
全に静止しているという仮定の下，ドプラ信号の周波数スペクトルにおける 0 Hz の信号強度をクラッタ信号（静止エコー成分）の強度，そ図 4 ドプラ信号のパワースペクトルの一例

れ以外の周波数成分 の積分値を造影剤由来のチャンバ中心（𝑡 = 𝑡0）におけるドプラ信号のパ信号（動的エコー成分）の強度と定義した．
(4)
𝑆𝑠𝑡𝑎𝑡𝑖𝑜𝑛𝑎𝑙 (𝑡) = 𝑆(𝑡, 0).

ワースペクトル𝑃(𝑓)の一例を図 4 に示す．ここPRF/2

では，振動子から遠ざかる方向への移動を正の𝑆𝑑𝑦𝑛𝑎𝑚𝑖𝑐 (𝑡) = ∫𝑆(𝑡, 𝑓)𝑑𝑓−PRF/2周波数成分として表示している．速度の定量化(5)− 𝑆𝑠𝑡𝑎𝑡𝑖𝑜𝑛𝑎𝑙 (𝑡).

のため，式(2)よりドプラ信号のパワースペクト
ルの期待値をドプラシフト周波数∆𝑓として求め，式(3)を用いて移動速度に換算した．
(1)
𝑃(𝑡, 𝑓) = 𝑆(𝑡, 𝑓)𝑆 ∗ (𝑡, 𝑓).
𝑓𝑡ℎ𝑃(𝑡, 𝑓)∆𝑓(𝑡) = ∫ 𝑓 ∙ PRF/2
𝑑𝑓.
(2)
−𝑓𝑡ℎ
∫−PRF/2 𝑃(𝑡, 𝑓)𝑑𝑓
∆𝑓
(3)
𝑉𝑈𝐶𝐴 =𝑐.
2𝑓0 + ∆𝑓
ここで，𝑓𝑡ℎ は積分区間，𝑓0 は送信波の周波数，4．結果と考察
図 5 に B-mode 画像および提案法を用いてチャンバを可視化した結果を示す．同図(a)は各走査線において 1 回の送受信データからエコー強度分布を示した B-mode 画像である（従来法）．
同図(b)-(d)は 0.5 秒間に渡るエコー信号列から算出した静止エコー成分の強度（𝑆𝑠𝑡𝑎𝑡𝑖𝑜𝑛𝑎𝑙 ），動図 5 (a) 従来法（B-mode 画像），(b) 静止エコー成分の強度，(c) 動的エコー成分の強度，(d) 造影剤
移動速度の二次元像．（各画像は最大値で規格化し，対数圧縮して表示している．）

348

的エコー成分の強度（𝑆𝑑𝑦𝑛𝑎𝑚𝑖𝑐 ），造影剤の移動

移動を定量する動的超音波造影法を用いて．模速度（𝑉𝑈𝐶𝐴 ）の二次元分布像である．ただし，

擬リンパ管の可視化実験を試みた．B-mode 画像

各画像の最大値で規格化し，対数圧縮後の画像からでは模擬リンパ管の 弁別が困難であったを表示している．各画像のダイナミックレンジ

が，パルス列送波期間に生じる造影剤の動態情は 40 dB である．（速度レンジは 0.01～1 mm/s

報を画像化することで高コントラストに 模擬である．）B-mode 画像ではチャンバの存在箇所

リンパ管を検出できることを示した．

が判別できないが，動的エコー成分や移動速度の二次元像では造影剤の存在部位を 高感度に謝辞

検出することができた．

本研究の一部は，千葉大学テニュアトラック

チャンバの視認性について定量的に議論す

教員の研究推進助成制度，テルモ生命科学芸術るため，チャンバと周囲ファントムのコントラ財団，JSPS Core-to-Core Program，JSPS 科研費

スト比を式(6)で評価した．
|𝜇𝑈𝐶𝐴 − 𝜇𝑐𝑙𝑢𝑡𝑡𝑒𝑟 |
CNR =
.
(6)
√𝜎𝑈𝐶𝐴 + 𝜎𝑐𝑙𝑢𝑡𝑡𝑒𝑟
ここで，𝜇と𝜎はそれぞれの関心領域（ROI）内19H04436，17K11529 の助成を受けた．
利益相反の有無
開示すべき利益相反状態はない．

の評価指標（エコー強度もしくは移動速度）の平均値および分散である．図 5(b)に示す静止エ文

コー成分の強度マップを基にチャンバ位置を［1］同定した．チャンバ中心と思われる走査線上に

献

Alander JT, Kaartinen I et al: A review of

indocyanine green fluorescent imaging in

おいて，静止エコー成分および動的エコー成分

surgery. J Biomed Imaging 7: 2012の強度比が低値となる領域にチャンバが存在［2］

吉田憲司，齋藤勝也 他：動的造影超音

すると仮定し，この強度比を基に振動子側のチ波法における造影剤移動速度の実測と理ャンバ壁と反対側のチャンバ壁の位置を決定

論計算の比較．信学技報，118(409): 141-146，

し，その中間をチャンバ中心と定義した．チャ

2019

ンバ中心に直径 0.28 mm の円を ROI として設［3］

齋藤勝也，吉田憲司 他：アクティブ造

定し，円内をチャンバ域，円外を周囲ファント

影超音波法における模擬リンパ管の検出．

ム域とした．図 5(a)-(d)に示す画像における CNR

信学技報，118(452): 33-37，2019はそれぞれ 0.15，0.43，2.54，1.77 と算出され［4］Dayton PA, Morgan KE et al: A Preliminary

た．同図(c),(d)のように造影剤の動態情報を利Evaluation of the Effects of Primary and

用することで，１回の送受信データから作成しSecondary Radiation Forces on Acoustic

た従来法（同図(a)）よりもコントラスト比が 10

Contrast

倍以上改善することが確認できた．また，同図

Ferroelectr Freq Control 44: 1264-1277, 1997(c)は同図(d)よりも CNR が高く算出されている［5］

Agents.

IEEE

Trans

Ultrason

Tortoli P, Guidi F et al: The use of micro-

が，チャンバが実際のサイズよりも過大に描出

bubbles in Doppler ultrasound studies. Medされている．この原因として，チャンバとファBiol Eng Comput 47: 827-838, 2009

ントムにおける界面から のクラッタエコーの［6］

Shi WT, Forsberg F et al: Destruction of

影響を完全に除去できていない可能性が考え

contrast microbubbles and the association withられる．

inertial cavitation. Ultrasound in Med Biol 26:
1009-1019, 2000

5．まとめ
音響放射力により生じる造影剤のわずかな

349

Visualization of a simulated lymph channel by analyzing
dynamic translation of ultrasound contrast agents
Katsuya SAITO*1，Kenji YOSHIDA*2，Masaaki OMURA*1，Kazuki TAMURA*3，Tadashi YAMAGUCHI*2*1 Graduate School of Science and Engineering, Chiba University*2 Center for Frontier Medical Engineering, Chiba University*3 Preeminent Medical Photonics Education & Research Center, Hamamatsu University School of Medicine

This study proposed a method named contrast enhanced active Doppler ultrasonography(CEADUS) for
visualizing lymph vessels that were difficult with conventional ultrasound imaging. This method quantifies thetranslation of ultrasound contrast agents(UCAs) due to the acoustic radiation force by Doppler method. In this report,
we attempted to visualize a cylindrical chamber with a 0.28-mm diameter in a tissue-mimicking phantom containing
acoustic scatterers. The chamber was filled with a suspension of SonazoidTM as UCAs. The single element concave
transducer with 14.4-MHz center frequency was scanned at the step of 10 μm in the lateral direction. At each scan line,
ultrasound was emitted with pulse repetition frequency of 2 kHz for 0.5 s. We obtained two-dimensional images using
dynamic information of the UCAs by analyzing successive echo signals at each scanning line. As a result, the contrast
ratio in CEADUS images was improved compared with the conventional B mode image generated from one transmitting
and receiving of ultrasound.
Key words: Acoustic radiation force, Ultrasound contrast agent, Doppler ultrasound, Simulated lymph vessel,
Contrast improvement

著者紹介
齋藤 勝也 (さいとう かつや)2018 年千葉大学・工学部・メディカルシ
ステム工学科卒．現在，千葉大学大学
院・融合理工学府・基幹工学専攻・医工学コースに在学．日本医用画像工学会，
日本音響学会，各会員．

吉田 憲司 （よしだ けんじ）2009 年同志社大学大学院生命医科学研究
科・生命医科学専攻修了．博士（工学）．現在，千葉大・フロンティア医工学センター・助教．医用超音波，特に造影超音波の研究に従事．IEEE，日本音響学会，日本超音波医学会，応用物理学会，各会員．

350

大村 眞朗 （おおむら まさあき）
2017 年千葉大学大学院工学研究科・人工システム科学専攻修了．修士（工学）．
現在，千葉大学大学院・融合理工学府・基幹工学専攻・博士後期課程在学．日本
医用画像工学会第 35 回大会・大会奨励賞受賞.医用超音波，特に組織性状診断法の研究に従事．IEEE，日本音響学会，日本
超音波医学会，各会員．
田村 和輝 （たむら かずき）
2019 年千葉大学大学院工学研究科博士後期課程修了．博士（工学）．現在，浜松医科大学 光尖端医学教育センター助教，
現在に至る．超音波医用計測の研究に従事．IEEE，日本音響学会，日本超音波医学会，各会員．

山口 匡 (やまぐち ただし)2001 年千葉大・自然科学研究科・情報科学専攻修了．博士（工学）．現在，千葉大学フロンティア医工学センター・教授．医用超音波，特に組織性状診断と音響特性評価の研究に従事．IEEE・Senior
member，IEICE・Senior member、超音波医学会・理事，音響学会・超音波／アコースティックイメージング委員など．

351

OP3-03

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

EM-TV アルゴリズムを用いた少数投影での骨 SPECT 画像再構成の検討
金澤

道和*1

笹谷

湯浅

典太*2 細川

哲也*2

高橋

翔太*3

康幸*3

銭谷

渡部

浩司 *4

勉*1

要旨
骨シンチグラフィでは胸郭や骨盤などの部位において解剖学的位置の把握や定量評価は難しく，骨SPECT の３次元画像が効果的である．しかし，多数の投影が必要なため撮像時間が長く，撮像時間の短縮が望まれる．本研究では，統計的逐次近似画像再構成法である ML-EM 法とトータルバリエーション(TV)
正則化を組み合わせた EM-TV アルゴリズムを骨 SPECT 画像再構成へ応用し，少数投影骨 SPECT の可能性を検討した．EM-TV 画像再構成は，観測データにおける統計的な尤度に関する更新と画像の TV に基づく正則化を交互に行うことで実現し，数値ファントムシミュレーションおよび臨床骨 SPECT 投影データを用いた実験によって評価された．従来法の ML-EM 法と比較した結果，アーチファクトおよび定量精度が大きく改善した．TV の骨 SPECT 画像再構成への応用は本研究が最初であり，少数投影骨 SPECT の可能性が示唆された．
キーワード：骨 SPECT，少数投影，トータルバリエーション，EM-TV アルゴリズム，画像再構成

1．はじめに係の把握や定量評価が容易となり、骨シンチ

骨シンチグラフィは，悪性腫瘍の骨転移やグラフィに追加して SPECT 撮像が望まれる骨髄炎などの診断に利用されている．しかし，［1-6］．しかしながら，SPECT は多方向からプラナー像（2 次元投影画像）であるため，の投影データを必要とするため，撮像時間が解剖学的な位置の把握や定量的な評価が難し長い。骨 SPECT の短時間撮像が要求されるがい．一方，骨 SPECT（single photon emission［3-6］，解決策の１つとして，より少ない方

computed tomography）は薬剤の 3 次元分布画

向からの投影データによる画像再構成が挙げ像を得ることができるので，解剖学的位置関られる．
一方近年，信号処理分野において圧縮セン――――――――――――――――――

シングが注目を集めている［7, 8］．その手法*1 弘前大学大学院理工学研究科の一つとして，トータルバリエーション(total〔〒036-8561 青森県弘前市文京町 3〕

variation; TV）と呼ばれる L1 ノルム量を最小

e-mail: ms19507@eit.hirosaki-u.ac.jp

化することで，スパース性を有する信号にお*2 山形大学大学院理工学研究科

いてはナイキスト条件を格段に下回るサンプ*3 弘前大学大学院保健学研究科

リングレートでも元信号を再構成できること*4 東北大学サイクロトロン・ラジオアイが知られており［9］，医用画像分野でも MRI

ソトープセンター（magnetic resonance imaging）において応用，

投稿受付：2019 年 5 月 21 日

352

実用化されている［10］．この手法を，統計的K は撮像系が決まれば事前に計算できる値で，逐 次 近 似 画 像 再 構 成 法 で あ る ML-EM

システムマトリクスや係数行列と呼ばれる．f

likelihood-expectation

は測定により得られる値である．したがって，

maximization）法［11］と組み合わせることで，SPECT の画像再構成は測定値 f から未知の物

骨 SPECT 画像再構成において投影数の削減

理量の推定値 u を求める線形逆問題に帰着すが期待できる．

る．

（

maximum

本研究では，ML-EM 法と TV 正則化を組み
合 わ せ て 考 案 さ れ た EM-TV （ expectation
maximization-total variation）アルゴリズム［12,13］による画像再構成法を骨 SPECT へと応用
し，数値ファントムシミュレーションおよび臨床データによって，少数投影での骨 SPECT
画像再構成の可能性を検討した．TV を骨SPECT 画像再構成に応用したのは本研究が最初である．
図 1 SPECT における投影データと再構成画像との2．EM-TV アルゴリズムによる画像再構成

関係．

図 1 に示されるように，SPECT における投影データと再構成画像の関係は式(1)のよう

また，未知の物理量の推定値が画素値となに表される．
𝐽る画像 u の TV ノルムは以下のように定義さ𝐽

𝑦𝑖 = ∑ 𝑥𝑖𝑗 = ∑ 𝐶𝑖𝑗 𝑢𝑗
𝑗=1

れる．

(1)

𝑗=1

𝑇𝑉(𝒖) = ∫|𝛻𝒖|

ここで，i は検出器の番号を表す添字，j は画(6)

像の画素を表す添字，I は検出器の総数，J は

EM-TV アルゴリズムは，EM アルゴリズムと画素の総数，yi は検出器 i で検出される光子

TV 正則化を組み合わせて考案された手法で数（不完全データ），xij は画素 j から検出器ある［12, 13］．SPECT における観測データは

i に入射する光子数（完全データ），Cij は画

ポアソン分布に従うため，以下の式を目的関素 j から検出器 i に入射する光子の確率（検数とする最小化問題を解くことにより，再構出確率），uj は画素 j 内の光子数（放射性核成画像を得ることができる．

種の濃度に比例）である．ここで，min{∫(𝑲𝒖 − 𝒇 log 𝑲𝒖)𝑑𝒖 + 𝜆𝑇𝑉(𝒖)}𝒖≥0𝒇 = (𝑦1, 𝑦2 , ⋯ , 𝑦𝐼 )𝑇

(2)

𝑇

(3)

𝒖 = (𝑢1 , 𝑢2 , ⋯ , 𝑢𝐽 )
𝐶11
𝐶21
𝑲=
⋮
( 𝐶𝐼1

𝐶12
⋱
𝐶𝐼2

𝐶1𝐽
𝐶2𝐽
⋱
⋮
⋯ 𝐶𝐼𝐽 )

ここで，第一項はポアソン分布に関する負号付き対数尤度，第二項は TV 項である．また，
λ は 2 つの項を調整するパラメータである．
式(7)は，凸制約最適化問題に帰着するため，⋯

最適性条件より

(4)

𝑲∗
𝒇
(
)
(𝐸𝑀 𝑠𝑡𝑒𝑝)∗
𝑲 1 𝑲𝒖𝑘2
𝜆𝜕
(8)
𝒖𝑘+1 = 𝒖𝑘+1 − ∗ 𝒖𝑘
𝑇𝑉(𝒖)
𝑲
1
𝜕𝒖
2
(𝑇𝑉 𝑠𝑡𝑒𝑝){
𝒖𝑘+1 = 𝒖𝑘とおくと，式(1)を式(5)のような線形方程式で表すことができる．
𝑲𝒖 = 𝒇(7)(5)という更新式が導かれる．ここで，K* は K の353

転置行列である．また，k はイタレーション

データを作成した．投影数を 72，36，24，12，

回数である．式(8)は，EM step と TV step の 2

8 と変化させ，ML-EM と EM-TV による画像

つのステップで構成される．EM step は，再構成を行った．ML-EM での再構成はイタ

ML-EM 法と同様の更新式である．TV step でレーション回数を 20 回とした．EM-TV におは，Rudin，Osher，Fatemi らによって考案さいては，λ=0.01 とし，イタレーション回数をれた ROF モデル［9］での TV 正則化を行う．

1000 回とした．再構成画像の画質の評価としこの式(8)に従い，繰り返し計算を行うことにて，それぞれの画像と数値ファントムとのより収束解を求める．

RMSE(Root Mean Square Error) を 計 算 し ，ML-EM と EM-TV との比較を行った．

3．実 験
少数投影骨 SPECT に対する EM-TV 画像再transverse

coronalsagittaltransverse

coronalsagittal

構成の効果および可能性を検討するために，
数値ファントムシミュレーションおよび臨床
骨 SPECT データによる評価実験を行った．臨
床データは GE 社製 2-head, SPECT-CT 装置
Infinia Hawkeye4, を用いて得られた．本研究は弘前大学大学院保健学研究科の倫理委員会の承認を受けて行われた（承認番号 2019-007）．
1）数値ファントムシミュレーション
まずは，EM-TV アルゴリズムの効果を確認するために，数値ファントムに対してコンピ
ュータ上で順投影を行って得た投影データを

図 2 X 線 CT 画像を 3 値化して得た 3D 骨 SPECT

画像再構成した．

数値ファントム．上：３次元 X 線 CT 画像．

(1) Shepp-Logan ファントム

下：3D 骨 SPECT ファントム

画像再構成において標準的なテスト画像として用いられる Shepp-Logan ファントム（1282）臨床骨 SPECT 投影データを用いた画像再×128 画素）を使用し，360 度を等間隔で分割構成

した 12 方向と 72 方向の投影データ（128 bin）

臨 床 用 SPECT-CT 装 置 で 撮 像 さ れ た 骨を作成して画像再構成を行った．画像再構成

SPECT 投影データを EM-TV アルゴリズムでは ML-EM および EM-TV で行い，それぞれの

画像再構成を行った．骨 SPECT 撮像は，骨ス

再構成画像で比較を行った．ML-EM での再

キャン用放射性核種 99mTc-MDP を 1045 MBq

構成はイタレーション回数を 100 回とした．

投与し，5 時間後に撮像，step&shoot で 72 方

EM-TV においては，λ=0.01 とし，イタレーシ

向から投影データを１投影あたり 15 秒の約 9

ョン回数を 10000 回とした．

分間，LEHR コリメータ，2 検出器を用いて(2) 3D 骨 SPECT ファントム収集した．このうち，12 方向分の投影データ

図 2 に示すように，数値ファントムとしてを等間隔に抜き出し少数投影データとした．

骨 SPECT 撮像と同時に撮影された 3 次元 X

72 方向の投影データに対し ML-EM 法による

線 CT 画像（128×128×128 画素，画素サイ

画像再構成を行い，その再構成画像を目標画

ズ：4.41806 mm×4.41806 mm×4.41806 mm）

像として設定した．また，少数投影データにを 2 つのしきい値を用いて，空気，骨，その対して，ML-EM および EM-TV での画像再構

他（軟部組織）の領域に 3 値化し、それぞれ成を行った．ML-EM での再構成はイタレーに 0, 255, 127 を設定したものを使用して投影

ション回数を 20 回とした．EM-TV において

354

は，λ=0.1 とし，イタレーション回数を 1000

ファイルを示す．12 投影での EM-TV による回とした．それぞれの再構成画像上に関心領

再構成画像のプロファイルが原画像のものと域（region of interest: ROI）を設定，ROI 内のほぼ一致していることが確認できた．

平均値に関して目標画像との比較を行った．

以 上 から ， Shepp-Logan ファ ン トム で は投影データは 128×128 画素，画素サイズ

EM-TV による 12 投影での画像再構成が可能

4.41806 mm×4.41806 mm で，再構成画像はであることが確認できた．

128×128×128 画素，画素サイズ 4.41806 mm(2) 3D 骨 SPECT ファントム

×4.41806 mm×4.41806 mm である．

図 5 に，3D 骨 SPECT ファントムの再構成
画像のうち 72 投影 ML-EM，12 投影 ML-EM，

4． 結 果12 投影 EM-TV の画像をそれぞれ示す．また，

1) 数値ファントム実験

図 5(a)の黄色線で示した位置のそれぞれのラ(1) Shepp-Logan ファントム

インプロファイルを図 6 に示す．図 5(c)より，

図 3 に，12 投影および 72 投影でのそれぞ

12 投影での ML-EM による再構成画像ではアれの手法で画像再構成した結果を示す ．図ーチファクトが見られるのに対し，図 5(d)の3(b)より，72 投影での ML-EM による再構成

EM-TV による再構成画像ではアーチファク

画像では原画像に近づいている様子が見られトが改善されていることがわかる．

たが，同時に線状のアーチファクトも見られた．図 3(c)より，12 投影での ML-EM による(a) transverse

coronalsagittal(b) transverse

coronalsagittal(c) transverse

coronalsagittal(d) transverse

coronalsagittal

再構成画像では原画像のような形状を判別するのが難しく実用的ではないことがわかる．
一方，図 3(d)より，12 投影での EM-TV による再構成画像では原画像により近づいていることが確認できた．

(a)

(b)

(c)

(d)

図 3 Shepp-Logan ファントムの再構成画像．(a)原画像．(b)72 投影 ML-EM．(c)12 投影 ML-EM．
(d)12 投影 EM-TV．

図 4 Shepp-Logan ファントム再構成画像のライン

図 5 3D 骨 SPECT ファントム再構成画像．
(a)原画像．(b)72 投影 ML-EM．(c)12 投影 ML-EM．

プロファイル．

(d)12 投影 EM-TV．

図 4 に，図 3(a)の黄色線の位置のラインプロ355

図 7 にそれぞれの再構成画像の RMSE を示

れていることが確認できた．さらに，ROI です．すべての投影数において，ML-EM よりの評価から ML-EM よりも EM-TV による再構

も EM-TV による再構成画像の RMSE が小さ

成画像の誤差が少ないことがわかる．これよい こと が 確 認 でき た ． ま た， 72 投 影 で のり，少数投影データを用いた際の，EM-TV 画

ML-EM による再構成画像と，12 投影での像再構成による定量性の改善が確認できた．

EM-TV による再構成画像の RMSE がほぼ等(a) transverse

coronalsagittal(b) transverse

coronalsagittal(c) transverse

coronalsagittal

しいことがわかる．このシミュレーション実験の結果から，臨床データを用いた実験での目標画像を 72 投影の ML-EM 再構成画像とし，少数投影データを 12 投影と設定した．

図 6 3D 骨 SPECT ファントム再構成画像のライン
プロファイル．

図 8 臨床骨 SPECT データの再構成画像．(a)72 投
影 ML-EM．(b)12 投影 ML-EM．(c)12 投影
EM-TV．
表 1 それぞれの再構成画像での ROI 評価

図 7 各投影数での ML-EM と EM-TV の再構成画
像の RMSE の比較．

2) 臨床骨 SPECT データを用いた画像再構成

画像再ROI1(骨盤)

ROI2(大腿骨)

ROI3(手首)

構成法

平均

誤差
(%)

平均

誤差
(%)

平均

誤差
(%)

ML-EM
72 投影

1.69

－

1.26

－

4.91

－

ML-EM
12 投影

1.96

15.9

0.90

28.1

4.31

12.4

EM-TV
12 投影

1.68

0.6

1.15

8.4

4.74

3.6

図 8 に，72 投影での ML-EM による再構成
画像（目標画像），12 投影での ML-EM によ

5．考 察る再構成画像，12 投影での EM-TV による再

2 つの数値ファントムを用いたシミュレー

構成画像をそれぞれ示す．また，表 1 に ROI

ション実験において，従来法の ML-EM 法でを設定し，ROI 内の平均値をそれぞれ比較しは 12 投影でアーチファクトがみられ、画像はた結果を示す．図 8 より，12 投影での ML-EM

大きく崩れたが，EM-TV アルゴリズムによるによる再構成画像ではアーチファクトが見ら

画像再構成ではエッジを保ったまま平滑化をれるが，EM-TV による再構成画像では改善さ356

行うような効果が見られ，アーチファクトもイズから吸収や散乱線の影響は小さくないと無く，原画像に近い定量精度の高い画像を得思われる．今後，モンテカルロシミュレーシることができた．また，臨床骨 SPECT 投影デ

ョンによって吸収や散乱の影響を評価しつつ、ータを用いた画像再構成では，ML-EM で見吸収補正や散乱線補正の実装を検討する．まられた顕著なアーチファクトが、EM-TV で劇た，今回臨床データでの評価は１例のみだっ的に改善した．また、定量評価においても，たが，多数症例での評価も必要である．

72 投影の再構成画像に対する定量値の誤差

さらに今後の課題として，EM-TV アルゴリ

は，12 投影の ML-EM で骨盤，大腿骨，手首ズムのパラメータ λ について，今回，数値フのそれぞれで 15.9%, 28.1%, 12.4%とかなり悪ァントムのシミュレーション実験では λ=0.01，

かった。それに対して 12 投影の EM-TV で臨床データを用いた実験では λ=0.1 と経験的

0.6%, 8.4%, 3.6%と大きく改善され，72 投影に決定し画像再構成を行った．しかし，λ のの再構成画像に近い値を得ることができた．

値によって再構成画像の精度が大きく変わる

しかし，臨床データを用いた EM-TV アル

ことを確認しており，より適切な λ の値の決

ゴリズムによる画像再構成では一部のノイズ定が重要であると考える．今後，λ の値と再のカウントが増えてしまった．EM-TV アルゴ

構成画像との関係を調べ，適切な λ の選択方

リズムは，ML-EM 画像再構成と TV による正法の考案を課題とする．

則化（およびノイズ除去）を繰り返し同時に

最後に，12 投影での骨 SPECT 画像再構成

行う．つまり，ML-EM のイタレーション回が実現すれば，72 投影で 9 分かかっていた撮数と TV 正則化のイタレーション回数が等し像が、15 秒／投影×12 投影=3 分，2 検出器

くなる．本実験では，TV 正則化の計算手法なので 6 投影分のわずか 1.5 分と，極めて短として ROF モデルを用いており，その収束速

時間の骨 SPECT 検査が可能となる．

度から正則化に必要なイタレーション回数が多くなってしまっている．そのため，ML-EM

6．まとめのイタレーション回数も増えてしまっている

EM-TV アルゴリズムを骨 SPECT へ応用し，のだが，ML-EM のイタレーション回数が過それを用いて数値ファントムおよび骨大に増えてしまうと統計ノイズの影響などか

SPECT 撮像で収集した投影データでの画像

ら一部のノイズのカウントが増えてしまう．

再構成を行うことにより，少数投影での骨これにより，正則化が間に合わずエッジとし

SPECT 画像再構成を検討した．結果，従来法て残ってしまうことが原因ではないかと考えと比較し，再構成画像のアーチファクトおよる．解決案として，TV 正則化の計算手法にび定量性の改善を確認できた．これにより，

Chambolle アルゴリズム［14］の適用を挙げ

骨 SPECT における少数投影での画像再構成

る．TV 正則化の収束速度を向上させることの可能性が示唆された．

ができるので，その結果 ML-EM の過度なイ
タレーションによる一部のノイズの強調の抑謝辞
本研究は JSPS 科研費 JP17H04116 の助成を制が期待される．また，統計ノイズの影響を改善する方法としてコリメータ開口補正の実受けたものです．

装も方法の１つである［15］．
また，臨床データ用いた実験結果では定量

利益相反の有無

精度は大きく改善されたものの，まだ不十分なし．

と考えられる．この原因の１つとして，吸収

文や散乱線の影響が挙げられる．今回，吸収補［1］

献

Kosuda S, Kaji T, Yokoyama H, et al.:
Dose bone SPECT actually have lower

正や散乱線補正を行っていないが，胴体のサ

357

sensitivity

fordetectingvertebralalgorithms. Physica D 60: 259-268,

metastasis than MRI? J Nucl Med 37:

1992

975-978, 1996
［2］

［3］

［10］ Block

究会雑誌 28: 58-64, 2001

using a total variation constraint. Magn

Palmedo H, Marx C, Ebert A, et al.:Reson Med 57: 1086-1098, 2007

SPECT/CT

for

bone

［11］ Shepp

［9］

LA,

Vardi

Y:

Maximum

scintigraphy: diagnostic value and effectlikelihood reconstruction for emission

on patient management in oncologicaltomography. IEEE Trans Med Imaging

patients. Eur J Nucl Med Mol Imaging

MI-1: 113-122, 1982.
［12］ Sawatzky A, Brune C, Wbbeling F, etVan den Wyngaert T, Strobel K, Kampen

al.:

WU,

practicewith low SNR. In 2008 IEEE Nuclear

guidelines for bone scintigraphy. Eur J

Science Symposium Conference Record,

Nucl Med Mol Imaging 43: 1723-1738,

Dresden, 2008, pp5133-5137

et

al.:

The

EANM

Accurate EM-TV algorithm in PET［13］ Sasaya T, Sunaguchi N, Aoki D, et al.:

増田安彦，川渕安寿，片淵哲朗，他：

EM-TV reconstruction algorithm for

臨床に役立つ基準画像の収集・処理・

pinhole-type

表示・出力のポイント．核医学技術

computed tomography. In Proceedings

28: 13-66, 2008of 2015 10th Asian Control Conference

日本核医学技術学会 SPECT 標準化委

(ASCC), Kota Kinabalu, 2015, Paper ID

員会：骨 SPECT 撮像の標準化に関す

1570073831

fluorescent

X-ray［14］ Chambolle A: An Algorithm for Total

517-530, 2017

Variation Minimization and Applications.

篠原広行，小畠隆行，橋本雄幸：圧縮

Journal of Mathematical Imaging and

センシングによる少数投影からの画

Vision 20: 89-97, 2004

像再構成．断層映像研究会雑誌 40:［8］J:

coils. Iterative image reconstruction

るガイドライン 1.0．核医学技術 37:
［7］

Frahm

SPECT の適切な使い方．断層映像研

2016

［6］

M,

Undersampled radial MRI with multiple

41: 59-67, 2014

［5］

Uecker

小須田茂：骨シンチグラフィと骨Whole-body

［4］

KT,

［15］ 崎本智則，銭谷勉，石田健二，他：

31-42, 2014

頭部 SPECT におけるコリメータ開口工藤博幸：低被曝 CT における画像再補正およびモンテカルロ法に基づく構成法―統計的画像再構成，逐次近似

散乱線補正を用いた画像再構成法の

画像再構成，圧縮センシング―．Med

定 量 精 度 評 価 ． Med Imag Tech 28:

Imag Tech 32: 239-248, 2014

135-144, 2010

Rudin L, Osher S, Fatemi E: Nonlinear
total variation based noise removal

358

Bone SPECT reconstruction from a small number of projections
using EM-TV algorithm
Michikazu Kanazawa*1, Tenta Sasaya*2, Shota Hosokawa*3, Hiroshi Watabe*4,
Tetsuya Yuasa*2, Yasuyuki Takahashi*3, Tsutomu Zeniya*1*1 Graduate School of Science and Technology, Hirosaki University*2 Graduate School of Science and Engineering, Yamagata University*3 Graduate School of Health Sciences, Hirosaki University*4 Cyclotron and Radioisotope Center, Tohoku University
Bone scintigraphy is difficult to understand anatomical position and evaluate quantitatively in the regions of the thorax
and pelvis especially. Three-dimensional image of bone SPECT is effective for this case. However, SPECT imaging
time is long because SPECT reconstruction needs many projections. So, shortening of SPECT imaging time is desired.
In this study, we applied the expectation maximization-total variation (EM-TV) algorithm combining the maximum
likelihood-expectation maximization (ML-EM) method, which is a statistical iterative image reconstruction method,
and the total variation (TV) regularization to bone SPECT reconstruction, and evaluated feasibility of the bone
SPECT in a small number of projections using the EM-TV reconstruction. Image reconstruction by EM-TV algorithm
is realized by alternately updating the statistical likelihood in observation data and the TV of the image. To evaluate
we performed computer simulation with numerical phantoms and image reconstruction with EM-TV algorithm onclinical bone SPECT projection data in a small number of projections. As a result, the artifact and the quantitative
accuracy could significantly be improved as compared to the ML-EM method as conventional method. These results
suggest a possibility of bone SPECT reconstruction from a small number of projections using EM-TV algorithm.
Key words: Bone SPECT, a small number of projections, total variation, EM-TV algorithm, image reconstruction
ここに顔写真を貼り付けてください．

著者紹介
和文でも英文でも可。
ここに顔写真を貼り付けてください．

山田 太郎 (やまだ たろう)
1990 年筑波大・情報学群・情報学類卒．1995
年同大大学院博士課程･システム情報･CS
専攻了．現在，筑波大・システム情報・准教授．2005 年日本医用画像工学会論文賞受
賞．工博．CT と PET を中心とした医用イメージング，画像処理の研究に従事．IEEE，
電子情報通信学会，各会員．

359

鈴木 次郎 (すずき じろう)
1995 年筑波大・医学専門学群卒．現在，医用画像研究所･主任研究員．医博．計算機
支援診断の研究に従事．

OP3-04

頭部専用 PET における放射能・減弱補正係数同時推定法の深層学習を用いた精度向上手法の検討
呉博文*1

田島 英朗*2

山谷 泰賀*2

小尾

高史*3

要旨
高齢化社会の進展により，認知症患者の増加が大きな問題となっている．PET はアルツハイマー型認知症の原因物質である特定のタンパク質の蓄積状況を画像として測定することが可能であることから，認知症の早期発見を目的とした検診での利用への期待が高まっている．現在，高性能でありながら低コストでコンパクトな筐体を目指した頭部専用 PET 装置の開発を進めているが，減弱補正用のデータを取得する機構を省略しているため，PET 画像の定量性を確保するために別途撮影した CT や MRI などを位置合わせして補正用のデータを生成する必要がある．そこで本研究では，頭部専用 PET 装置の測定のみから診断に十分な画質と定量性を得るために，PET 画像再構成に必要となる減弱補正画像を同時推定する手法と深層学習を利用した画像補正手法を組み合わせた再構成手法を提案し，計算機シミュレーションによりその有効性を示した．
キーワード：PET, 画像再構成, 深層学習, 減弱補正, U-Net

1．はじめにことが予想されるため，従来の PET/CT 装置と現在，日本では高齢化社会の進展により，認比べて低コストでコンパクトな普及型の頭部
専用 PET 装置の開発を進めている [2, 3] ．

知症患者の増加が大きな問題となっている．厚生労働省によると，認知症の患者数は 2012 年

ここで，PET 装置における画像再構成におい時点で約 462 万人，2025 年には約 700 万人までて，減弱補正は必須のプロセスである．従来の増加することが予想されている[1]．そのため，

PET/CT では CT 装置によって減弱係数を取得

認知症対策は喫緊の課題となっており，その早することで，PET 画像の減弱補正を行う．しか期診断の実現が期待されている．

しながら，頭部専用 PET 装置では，装置サイズ

PET (Positron Emission Tomography) は，認知やコストの観点から，別途撮影した CT や MRI症の原因となるタンパク質の蓄積を画像化す

画像を用いることを想定し，CT 装置などの減ることによって，早期診断を可能とすることが弱補正用データを取得する機構を省略してい期待されている．今後，脳 PET の需要が高まる

る．今後よりいっそう広く普及させるためには，頭部専用 PET 装置のみから診断に十分な画質――――――――――――――――――と定量性を確保できることが望ましいため，*1 東京工業大学工学院情報通信系情報

Time-Of-Flight(TOF)情報を使って，減弱係数と通信コース

放射能分布を同時に推定する手法の検討を進*2 量子科学技術研究開発機構 放射線医

めている．

学総合研究所

一方，近年機械学習を様々な分野に取り入れ*3 東京工業大学 科学技術創成研究院

た研究がなされており，これまでに，MLAA

未来産業技術研究所兼社会情報流通基盤(Maximum

研究センター

Attenuation and Activity) [4]という放射能と減弱

360

Likelihood

reconstructionof係数分布（減弱マップ）の同時推定手法に対して，深層学習ネットワークを組み込み，その精度を向上させる研究がなされている[5]．
本稿では，頭部専用 PET において，放射能分
布と減弱補正係数 (ACF: Attenuation Correction
Factor) の同時推定法である MLACF (Maximum
Likelihood

reconstructionofactivity

andAttenuation Correction Factor) [6] と，ACF の精度を向上させるための深層学習を組み合わせ，最終的な再構成画像の精度向上が可能な手法を提案し，計算機シミュレーションによって有効性を検証する．

図 2 ネットワークアーキテクチャ

2．提案手法各 Convolution 層でのカーネルサイズは 3×3，

提案手法の流れを図 1 に示す.本手法では，まstride は 1 として構成し，各 pooling 層でのカーず頭部専用 PET 装置で得られた TOF-PET デー

ネルサイズは 2×2，stride は 2 で構成した．さタに対して，MLACF による再構成を行う．そらに，各 Deconvolution 層においては，カーネルの後，得られた放射能分布を順投影して作成しサイズは 3×3，stride は 2 で構成した．

たサイノグラムと ACF サイノグラムを用いて

図 3 に本研究で用いた U-Net の入力と出力を

U-Net[7]の入力を作成し，高精度な ACF サイノ

示す．

グラムの推定を行う．最後に推定された高精度
ACF サイノグラムを用いた MLEM 法で放射能分布の推定を行う．

図 3 U-Net の入出力
本研究では MLACF で同時推定した放射能分布
図 1 ワークフロー

から Non-TOF のサイノグラムを作成し，それと出力の ACF サイノグラムを連結させて U-

2．1．ネットワークアーキテクチャ

Net の入力とし，ACF サイノグラムの真値をラ

図 2 に本研究で用いる U-Net のアーキテクチ

ベルとした．

ャを示す．
2．2．学習U-Net を ACF サイノグラムの予測に用いるため，損失関数は出力とラベルの MSE とした．ま361

た ， 最 適 化 手 法 と し て Adaptive moment
estimation method (Adam)[8]を用い，学習率は0.001，β1 を 0.9，β2 を 0.999 に設定した．加えて，収束を高速化させるため，各重みは Xavier
method[9] で 初 期 化 し ， 各 レ イ ヤ ー に お い てBatch Normalization[10]を行なった．さらに，過学習を防ぐため，最初に Deconvolution に入る
前の層のノードに対し確率 0.5 で Dropout[11]を行なった．学習においてのバッチサイズは 32，
エポック数は 20 とした．
図 4 シミュレーションデータ生成

3．計算機シミュレーション
3．1．シミュレーションデータ
シミュレーションを行うためのデータは使用した脳モデルのうち，16 個をトレーニング

Brainweb[12]において公開されている 20 の脳モセット作成のためのデータセットとして使用

デルから作成した．放射能分布は，一般的な脳した．また，残りの 4 個の脳モデルから評価用への蓄積状況を鑑み，灰白質にある程度集中すのデータを生成した．まず，トレーニングセッ

るように作成した．また，一部のスライスにラトと同等の放射能濃度で生成した放射能分布

ンダムに 5 パターンの放射能の高い部位を加えと減弱マップを作成し，TOF サイノグラムを生た．減弱マップについては頭を灰白質/白質部と成した後ポアソンノイズを加えた．また，ノイ骨のみで構成されていると仮定し構成した．こズが増加した際の影響を確認するためにカウの減弱マップに対して TOF サイノグラムとントを半分にした放射能分布を用いた TOF サ

ACF サイノグラムを線積分による順投影によイノグラムも同様に作成した．作成した評価用

り計算し，ノイズなしのデータセットを作成しデータのうち，2 個の脳モデルから生成したもた．この時想定した時間分解能は 520ps とし，のを検証用に，残り 2 個の脳モデルから生成しガウス関数により TOF のカーネルを設定した．

たものをテストセット用として使用した．図 5

放 射 能 分 布 に 関 し て は ， PET 薬 剤 と し てにトレーニング，検証，テストセットに使用し130MBq の

18

F-FDG を 60kg 前後の人間に対した脳モデルから生成した放射能分布及び減弱て投与することを想定した．PET 感度として 2-

マップのスライスの例を示す．図の中には TOF

5%を想定し，10 分前後の計測時間におけるス

データを作成するための元データがそれぞれ 3

2ライス厚 0.5 mm，3×3mm のピクセル内の線量例ずつ示されており，検証及びテストセットのを仮定したものを用いた．

場合にはカウントを下げた場合の例 (Example

ｖまた，ノイズなしの TOF サイノグラムに対

3) が含まれている．

してポアソンノイズを加えてノイズありの
TOF サイノグラムを作成した．図 4 に TOF サイノグラムの生成のプロセスを示す．この時，角度方向に 64 回のサンプリングで，3mm の解像度を想定した．これにより 64×64 ピクセルの TOF サイノグラムを作成した．

362

ある．
画像の誤差は，Normalized Root Mean Square
Error(NRMSE)を用いて評価した．
(𝑎-./ − 𝑎,/1.2 )4
1
𝑁𝑅𝑀𝑆𝐸 = ' ) ,555555
𝑁𝑎-./ 5555555
𝑎/1.2

(1)

,

ここで，𝑁はピクセル数を表し，𝑎,-./ は ACF サイノグラムの𝑖番目のピクセルの推定値，𝑎,/1.2 は
ACF サイノグラムの𝑖番目のピクセルの真値を-./ は ACF サイノグラムの推定値
555555表す．また，𝑎/1.2 は ACF サイノグラ
5555555の平均を表しており，𝑎ムの真値の平均を表している．
まず，ACF サイノグラムについて MLACF の
出力と U-Net の出力画像の比較をそれぞれノイ
ズなし，SN5.5(35 万カウント前後)，SN3.9(18 万
カウント前後)に分けて図 6 に示した後数値的な比較について述べる．

図 6 ACF サイノグラム比較
ここで視覚的に明らかにノイズが少なくなっていることが見て取れる．
NRMSE を比較したものを表 1 に示す．
図 5 (a)トレーニングセットの元データ例 (b)検表 1 ACF の NRMSE の比較
MLACF
U-Net
0.34
0.051
データ全体
0.29
0.039
ノイズなし
SN5.5
0.31
0.046
SN3.9
0.43
0.067

証セットの元データ例 (c)テストセットの元データ例
3．2．シミュレーション結果
以下に U-Net から出力された ACF とそのACF を用いて再構成された放射能分布について示す．また，MLACF の反復回数は 50 回とし，以上より，提案手法によりノイズを数%のオー

この結果は全てテストセットにおける結果でダーまで除去できることが確認できた．

363

次に，ノイズの除去された ACF の放射能分示唆された．

布の推定に対する影響を確認するため，図 7に再構成画像による比較をノイズなし，

謝辞

SN5.5，SN3.9 に分けてそれぞれ示す．

本研究の一部は JSPS 科研費 16K21637 の助成を受けたものです.
利益相反の有無なし.
文

献［1］ 厚生労働省：認知症施策推進総合戦略～
認知症高齢者等にやさしい地域づくりに向けて～（新オレンジプラン）2017［2］ 放射線総合医学研究所：世界初，ヘルメ
ット型 PET の開発に成功－高性能・小型の頭部専用装置で認知症早期診断の普及へ
図 7 SN3.9 の再構成結果

－2015
［3］

H. Tashima, E. Yoshida, H. Wakizaka et al:

ここでは，視覚的には多少の改善は見られるFirst prototyping of a dedicated PET system

ものの，顕著ではない．ここでも NRMSE によwith the hemisphere detector arrangement.

る評価結果を表 2 に示す．いずれの場合におPhys. Med. Biol. 64 065004. March 8, 2019

いても改善していることが分かる．

［4］

A. Rezaei, M. Defrise, G. Bal et al:

Simultaneous reconstruction of activity and
表 2 再構成画像の NRMSE の比較
MLACF
U-Net + MLEM
0.53
0.17
ノイズなし
SN5.5
0.82
0.69
SN3.9
1.5
1.3

attenuation in time-of-flight PET. IEEE Trans.
Med. Imag., vol. 31, no. 12, Dec. 2012. pp.
2224-2233.
［5］

D. Hwang, K. Y. Kim, S. K. Kang et al:

Improving the Accuracy of Simultaneously
4．まとめ

Reconstructed Activity and Attenuation Maps

本研究では，頭部 PET 装置における画像再構

Using Deep Learning. J Nucl Med., vol. 59,
no. 10, October 1, 2018. pp. 1624-1629.

成において深層学習を用いた手法による精度［6］向上について検討した．再構成された ACF サイ

A. Rezaei, M. Defrise, G. Bal et al: ML-

ノグラムにおいては従来の MLACF に比べて顕Reconstruction for TOF-PET With著な改善が確認された．また，放射能分布に関Simultaneous Estimation of the Attenuation

しては，ノイズなし，SN5.5，SN3.9 の 3 つの場

Factors. IEEE Trans. Med. Imag., vol. 33, no.

合に分けて確認した結果，十数%以上の精度向

7, Jul. 2014. pp. 1563-1572.
［7］

上が見られ，ノイズなしの場合には特に顕著で

O. Ronneberger, P. Fischer, T. Brox: U-Net:

あった．ノイズありの場合においては低カウン

Convolutional Networks for Biomedical Image

トになりノイズが増えるほど効果が減少する

Segmentation. Medical Image Computing andものの精度改善が可能であることを示した．しComputer-Assisted Intervention (MICCAI),

たがって，提案手法は頭部専用 PET 装置においSpringer, LNCS, Vol.9351, 2015. pp. 234-241.
［8］て有効であり，今後も発展の余地があることがD. P. Kingma, J. Ba: Adam: A Method for

Stochastic Optimization. A conference paper at364

the 3rd International Conference for Learning［11］

Representations, San Diego, 2015.
［9］

N. Srivastava, G. Hinton, A. Krizhevsky ,I. Sutskever et al: Dropout: A Simple Way to

X. Glorot, Y. Bengio, “Understanding thePrevent Neural Networks from Overfitting.

difficulty of training deep feedforward neural

Mach Learn Res. 15, 2014. pp. 1929-1958.

networks”, Proceedings of the 13th

［12］

BrainWeb: Simulated Brain Database,

International Conferenceon Artificial

websiteIntelligence and Statistics (AISTATS), Chia

http://brainweb.bic.mni.mcgill.ca/brainweb/

Laguna Resort, Sardinia, Italy. 2010.

［13］［10］ S. Ioffe, C. Szegedy: Batch Normalization:

NIST, X-Ray Mass Attenuation

Coefficients, website

Accelerating Deep Network Training by

https://www.nist.gov/pml/x-ray-mass-

Reducing Internal Covariate Shift. arxiv.org

attenuation-coefficients

website https://arxiv.org/abs/1502.03167

365

Accuracy improvement of simultaneous activity and attenuation
correction factor estimation for dedicated brain PET using deep learning
Bowen WU*1, Hideaki TASHIMA*2, Taiga YAMAYA*2 Takashi OBI*1*1 Tokyo Institute of Technology*2 National Institute of Radiological Sciences, QST
As aging of society developed, dementia became a severe problem. We expect a demand for using positron emission
tomography (PET) in diagnosis of dementia at early phase will increase because the PET can measure accumulation ofprotein causing dementia caused by the Alzheimer's disease. To meet the demand for widespread use of PET, we aredeveloping a dedicated brain PET scanner to achieve high performance with a compact and low cost gantry. Attenuation
correction data necessary for quantitative imaging are required to be generated by registering a separately acquired CT
or MRI image as the scanner does not have an attenuation correction device to make the gantry as compact as possible.
In this work, we propose a method to simultaneously estimate attenuation correction factor and activity images bycombining with a deep learning network for improving accuracy. We demonstrated the effectiveness of the method by
a computer simulation.
Key words: PET, image reconstruction, deep learning, attenuation correction, U-Net

366

OP3-05膵癌腫瘍病理顕微鏡画像の染色変換
足立 秀雄*1 クグレ マウリシオ*1 岩本 千佳*2 大内田 研宙*2
橋爪 誠*2 横田 達也*1 本谷 秀堅*1
要旨
本研究の目的は膵臓癌病理画像の 3 次元多チャンネル画像を生成するために病理画像の染色変換を行うことである．空間的に連続する病理切片の顕微鏡画像より 3 次元画像を再構成する．この 3 次元病理画像は生体のミクロな 3 次元解剖構造を観察する上で有用である．すべての切片を HE 染色など単一の染色で染めれば，その染色の 3 次元病理画像を得ることができる．本研究の目的は，同一標本を異なる染色液で染めたときに得られるであろう多チャンネルの 3 次元病理画像を構築することである．この 3 次元画像は，各チャンネルがそれぞれ異なる染色液で染色した病理画像を表現する．病理切片は単一の染色でしか染めることが出来ないため，多チャンネルの 3 次元病理画像を構築するためには，各病理画像を染色変換しなければならない．本稿では GAN による染色変換の結果を報告する．
キーワード：染色変換，GAN，pix2pix, 膵臓癌

1． はじめにチャンネル 3 次元病理画像を構築することである

膵臓癌の研究は重要であり，現在でも基礎研究[2]．そのために HE 染色を MT 染色と CK19 染色にが継続して行われている．本研究では人と類似し変換する．この染色変換には Generative Adversarial

た膵臓癌を発症する実験用マウスの膵癌腫瘍の病

Network,(GAN) の う ち ， pix2pix[3] を 採 用 す る ．

理画像群を用いる．マウスの膵臓を連続的に薄切

Pix2pix は画像の生成器に U-net を用い，識別器にし，それぞれを HE/MT/CK19/Ki67 の 4 種類の染色は畳み込みネットワークを複数用いる．それぞれにより交互に染色した．連続する 2 枚の薄切切片の識別器は生成画像を異なるスケールで観察しては，腫瘍の異なる断面ではあるものの，共通して観

真偽を判定する．具体的には，3 つの識別器を用意察される解剖構造が多い．これら画像間で対応す

し，それぞれの識別器に元画像と，ダウンサンプル

るランドマークを検出し，非剛体位置合わせを適の比率の異なる画像を入力する．これにより，大域用することにより 3 次元病理画像を構築する[1]．

と局所の双方で実画像と整合する偽画像を生成で

2． GAN による染色変換

きるようになる．

本研究の目的は膵臓癌腫瘍の染色変換により多最適化する目的関数は次のとおりである．

――――――――――――――――――

max min𝐺*1 名古屋工業大学

𝐷1 ,𝐷2 ,𝐷3∑ ℒ𝐺𝐴𝑁 (𝐺, 𝐷𝑘 ) + 𝜆ℒ𝐿1
𝑘=1,2,3ℒ𝐺𝐴𝑁 , 𝐿𝐿1 (G)は次のように与えられる．

*2 九州大学

367(1)

ℒGAN (G, D) = 𝔼(𝑠,𝑥)~𝑝𝑑𝑎𝑡𝑎(𝑠,𝑥) [log 𝐷(𝑠, 𝑥)] +Workshop, COMPAY

𝔼𝑠~𝑝𝑑𝑎𝑡𝑎(𝑠) [1 − 𝐷(𝑠, 𝐺(𝑠))]［2］

Masayuki Fujitani, Yoshihiko Mochizuki,ℒL1 (𝐺) = 𝔼(𝑠,𝑥)~𝑝𝑑𝑎𝑡𝑎(𝑠,𝑥) [ || 𝑥 − 𝐺(𝑠) ||1 ]Satoshi Iizuka, et al.: Re-staining Pathology

本研究ではs が HE 染色，x が sと対応する MT 染

Images by FCNN. International Conference on

色である．この GAN を用い HE 染色から MT 染色

Machine Vision Applications (MVA) , 2019と CK19 染色への変換を行った．Pix2pix の学習に

［3］

Isola Phillip, Zhu Jun-Yan, Zhou Tinghu, et al.:

必要なペア画像は非剛体位置合わせを行い作成しImage-to-Image Translation with Conditional

た．

Adversarial Networks. IEEE Conference on

3． 実験

Computer Vision and Pattern Recognition

実験の詳細設定について説明する．最適化手法(CVPR), 2017については Adam を採用しα = 0.0002, β1 =0.5, 𝛽2 = 0.999とした．式（１）のλは 100 とした．また学習にサイズ 1024×512 の 684 枚の画像を利用し，水平垂直に反転する data augmentationを行った．
染色変換結果を図１に示す．図１上段が入力した HE 染色，中段がターゲット画像，下段が染色変換結果である．また左が MT 染色，右が CK19染色への変換結果である．
染色変換後の断面図を示す．図 2 左上は HE 染
色 193 枚と MT 染色 63 枚，右上は HE 染色 193 枚と CK19 染色 63 枚，各 256 枚を臓器からスライス
した順に並べた断面図の一部である．図 2 下段は
図 1 染色変換結果．上段入力画像，

HE 染色を MT 染色，CK19 染色にそれぞれ変換し中段ターゲット画像，下段染色変換結果．

た後の断面図である．
4． まとめ本研究では染色変換法を提案した．今後は一つの染色から同時に複数染色へと変換する手法などを開発する．
5． 利益相反の有無
なし
文 献
［1］

Mauricio

Kugler,

Yushi

Goto,

Naoki

Kawamura, et al.: Accurate 3D Reconstructionof a Whole Pancreatic Cancer Tumor from
Pathology Images with Different Stains. Miccai

図 2 pix2pix による染色変換前後の断面図．
上段が染色変換前，下段が染色変換後．

368

Staining transformation for Microscopic Pathology Imagesof Pancreatic Cancer Tumor
Hideo ADACHI*1, Mauricio KUGLER*1, Chika IWAMOTO*2, Ohohda KENOKI*2
Makoto HASHIZUME*2, Tatsuya YOKOTA*1, Hidekata HONTANI*1*1 Nagoya Institute of Technology*2 Kyushu University

Key words: Stain Transfer, GAN, pix2pix, Pancreatic cancer

The purpose of this study is to carry out staining transformation of pathological images to generate threedimensional multi-channel images of pancreatic cancer pathological images. A three-dimensional image isreconstructed from microscopic images of spatially consecutive pathological sections. This threedimensional pathological image is useful for observing the microscopic three-dimensional anatomical
structure. If all sections are stained with a single stain such as HE staining, a three-dimensional pathologicalimage of the stain can be obtained. The purpose of this study is to construct a multi-channel threedimensional pathological image that may be obtained when the same specimen is dyed with different stains.
Pathological sections can only be stained with a single stain. Therefore, in order to construct a multi-channel
three-dimensional pathological image, each pathological image must be transformed. In this paper, we
report the result of stain transformation by GAN.

369

OP3-06

MR エラストグラフィによる内包ファントムの粘弾性分布の評価
菅幹生*1 石井 孝樹*1

岸本 理和*2 小畠 隆行*2

要旨
Magnetic resonance imaging (MRI）を利用して，生体内の粘弾性率を非侵襲的に評価する手法として magnetic
resonance elastography (MRE）がある．MRE は外部加振装置により撮像対象内部に発生させた弾性波を MRIで画像化し，弾性波画像から逆問題を解くことで粘弾性率を推定する．本研究では生体組織の粘弾性率と周波数特性を模擬した内包ファントムを使用して，MR エラストグラフィにより内包領域が検出可能な撮像条件を検討することを目的とした．硬さの異なる内包領域を有するファントムを用いた実験結果より，
内包領域の検出には，内包領域の大きさと波長の関係，波長のピクセル数などを考慮して撮像パラメータを設定する必要があることを明らかにした．
キーワード：MRI，エラストグラフィ，内包領域，撮像条件

1．はじめにことを目的とした．

疾病と生体組織の弾性率には相関がある．
Magnetic resonance imaging (MRI）を利用して，

2．方法

生体内の粘弾性率を非侵襲的に評価する手法

外部加振周波数 60 Hz での MRE 測定においとして magnetic resonance elastography (MRE）がて背景領域の貯蔵弾性率（G'）が 3.1 kPa，内包

ある[1]．MRE は外部加振装置により撮像対象

領域の G'が 1.5，5.3，9.1 kPa となる 3 種類の円内部に発生させた弾性波を MRI で画像化し，弾筒型アクリル容器入り内包ファントム（名称を性波画像から逆問題を解くことで粘弾性率をそれぞれ A, B, C とする）を作成した．アクリ

推定する．本研究では，MRE により得られる粘ル容器の内径は 144 mm，高さは 128 mm，2 つ

弾性率分布を腫瘍などの検出に利用することの内包領域の直径は 20 mm と 30 mm とした．

を想定し，生体組織の粘弾性率と周波数特性を

MRE 測定は 3 T MRI（MAGNETOM Skyra，

模擬した内包ファントムを使用して，MRE によ

Siemens）を用いた SE-EPI ベースの MRE パルり内包領域が検出可能な撮像条件を検討する

スシーケンス（WIP）を利用した．撮像パラメ
ータは，TR/TE: 3000/97 ms，Matrix: 128×128，――――――――――――――――――

FOV: 384×384 mm，スライス枚数: 15 枚，スラ

*1 千葉大学

イス厚: 3.0 mm とし，積分型粘弾性率分布推定〔〒263－8522 千葉市稲毛区弥生町

法[4]を用いて算出した．外部加振周波数は 40，

1-33〕

60，90，120 Hz とした．得られた貯蔵弾性率分e-mail: mikio.suga@faculty.chiba-u.jp

布は図 1 に示す関心領域において式 1 に示すコ*2 量子科学技術研究開発機構放射線ントラスト対雑音比（contrast to noise ratio: CNR）

医学総合研究所を用いて評価した．

370

𝑪𝑪𝑪𝑪𝑪𝑪 =|𝑴𝑴𝒔𝒔𝒔𝒔 − 𝑴𝑴𝒔𝒔𝒔𝒔 |�𝑺𝑺𝑺𝑺𝒔𝒔𝟏𝟏 𝟐𝟐 +𝑺𝑺𝑺𝑺𝒔𝒔𝒔𝒔 𝟐𝟐(1)
A

ここに，𝑴𝑴𝒔𝒔𝒔𝒔 , 𝑴𝑴𝒔𝒔𝒔𝒔 は対象とする 2 種類の ROI の平均

値，𝑺𝑺𝑺𝑺𝒔𝒔𝒔𝒔 , 𝑺𝑺𝑺𝑺𝒔𝒔𝒔𝒔 は対象とする 2 種類の ROI の標準偏差
を表す．

B

C

40 Hz

(a) 内包形状とROI(b) 背景領域のROI

図 1 CNR 算出用関心領域と内包形状（coronal 断面）

60 Hz

90 Hz

120 Hz

図 2 内包型ファントムの貯蔵弾性率分布3．結果と考察
図 2 に内包型ファントムの貯蔵弾性率分布，
図 3 に内包直径ごとの CNR を示す．各ファン
トムや測定周波数における CNR より，内包領
域が背景領域よりも硬いファントム B と C では周波数が高いほど CNR も上昇し，検出能が向上した．一方，内包領域が柔らかいファント
ム A では 120 Hz で検出能が低下した．周波数が高いほど弾性波の波長が短くなり，柔らかい
内包領域において 1 波長を構成する pixel 数が不足したことが原因と考えられる．今回の測定
条件では硬さの異なる小領域の検出には 1 波長を構成する pixel 数は 4 以上，そして半波長以上がその小領域に入るように測定周波数を設定する必要があると考えられる．

図 3 内包型ファントムの CNR

3．まとめ

謝辞

生体組織の粘弾性率と周波数特性を模擬し本研 究の一 部は JSPS 科研費 JP17H02115，

た内包ファントムを使用した実験により，内包

JP17H05279 の助成を受けたものです．

領域の検出には，内包領域の大きさと波長の関利益相反の有無係，波長のピクセル数などを考慮して撮像パラなし

メータを設定する必要があることが示唆され

文

た．

［1］

献

Muthupillai R, Lomas DJ, Rossman PJ, etal.: Magnetic resonance elastography bydirect visualization of propagating acoustic
strain waves. Science 29: 1854-1857, 1995

371

Evaluation of Viscoelasticity Distribution of Embedded Phantom
by MR Elastography
Mikio SUGA*1, 2, Koki Ishii*1, Riwa Kishimoto*2, Takayuki Obata*2*1 Chiba University*2 National Institute of Radiological Sciences, QST
Magnetic resonance elastography (MRE) is a noninvasive method to evaluate viscoelasticity distribution using
magnetic resonance imaging (MRI). MRE visualize the shear wave generated inside of object by external driver using
MRI, and estimates the viscoelasticity by inversion algorithm from the elastic wave image. In this study, we aimed toinvestigate the imaging conditions that can detect the embedded region by MRE using tissue mimicking embedded
phantoms. The results indicate that it is necessary to select imaging parameters in consideration of the relationshipbetween the size of the embedded area and a shear wavelength, the number of pixels of a shear wavelength.
Key words: MR elastography, viscoelasticity distribution, embedded phantom, shear wavelength372

OP3-07

Generative Adversarial Frameworks を用いた
腹部 CT 像における非造影像からの造影像の推定
小田

昌宏*1

隈丸 加奈子*2 青木 茂樹*2

森健策*1,3

要旨
本稿では，深層学習を用いて腹部領域の非造影 CT 像から造影 CT 像を推定する方法について述べる．診断及び治療時における血管を含む解剖構造や異常の確認を目的として，血管造影下での CT 像撮影が広く行われている．しかし造影剤の影響で呼吸困難や心停止といった重大な合併症を引き起こす場合が存在し，患者によって造影剤が使用できないことがある．本稿では深層学習による画像処理を用いて，腹部 CT 像の非造影像から造影像を推定する方法を提案する．Fully convolutional network（FCN）を用いた学習データの直接的学習，Generative adversarial frameworks（pix2pix，CycleGAN）における FCN の間接的学習等を用
い，非造影から造影像への変換ネットワーク構築を行う．腹部 CT 像における推定実験を行ったところ，
CycleGAN を用いると他の方法より良好で造影 CT 像に近い画像を推定可能であった．
キーワード：CT 像，造影像推定，Generative adversarial framework, pix2pix, CycleGAN

1．はじめにるが，患者によって副作用を生じる場合がある．

診断及び治療時の CT 像の撮影において，血副作用には痒みなど軽度なものもあるが，呼吸管及び血流の豊富な組織の位置と形状の視認困難や心停止など重大な副作用が発生する場性を向上させるため，血管造影剤を患者に投与合もあるため［1，2］，造影剤投与には注意が必する場合がある．血管造影 CT 像は血管の状態要である．

確認だけでなく，造影効果の経時変化を利用しCT 像撮影時の血管造影剤投与を不要とするてがんなど異常組織の発見にも用いられる．まことを目的とし，本稿では腹部非造影 CT 像かた，外科手術における臓器構造の把握にも有用ら造影 CT 像を推定する方法を提案する．非造である．このように血管造影 CT 像は診断及び影 CT 像から造影 CT 像を推定する画像回帰モ

治療に広く利用される．

デルとして Fully convolutional network の一種である U-net［ 3］を使用した．U-net を訓練する際

血管造影剤は静脈注射等で患者に投与されに，学習データをネットワークに直接的に与え――――――――――――――――――

る 直 接 的 学 習 と ， Generative adversarial*1 名古屋大学大学院情報学研究科

frameworks（pix2pix，CycleGAN）を用いた間接〔〒464-8601 名古屋市千種区不老町〕

的学習を行い，それぞれの推定結果の比較を行

e-mail: moda@mori.m.is.nagoya-u.ac.jp

った．

*2 順天堂大学大学院医学研究科

2．手法*3 国立情報学研究所医療ビッグデータ

2.1 使用画像

研究センター

画像回帰モデルの学習には同一患者の腹部の非造影 CT 像と血管造影 CT 像（動脈相）を

投稿受付：2019 年 5 月 15 日

373

非造影CT像

非造影CT像

血管造影CT像

図 1 非造影及び血管造影 CT 像の 3D 像

血管造影CT像

図 3 非造影及び血管造影 CT 像のAxial スライス像

直接的学習

pix2pixでの学習
直接的学習

pix2pixでの学習

CycleGANでの学習
CycleGANでの学習

図 2 提案手法で得られた推定造影 CT 像の 3D 像

図 4 提案手法で得られた推定造影 CT 像の Axial スライス像基にした画像を用いる．これらは非剛体レジス
トレーションを適用し位置合わせを行う．それ

2.3 造影 CT 像の推定

ぞれの CT 像から取り出した Axial スライス像

上記(1), (2), (3)で学習した 3 つの U-net に対を使用し，2D 画像回帰モデルの学習を行う．

し，評価用非造影 CT 像の Axial スライス（2D
画像）を 1 枚ずつ入力する．U-net が出力した2.2 画像回帰モデルの学習(1) 直接的学習：U-net に学習用の非造影 CT 像

推定造影 Axial スライス画像を構成し，推定造から得た Axial スライス像を入力，造影 CT 像

影 CT 像（3D ボリューム）を得る．

から得た Axial スライス像を教師データとして

3．実験及び考察

与え，100 epoch の学習を行う．

非造影と血管造影 CT 像の組 29 例を用いて(2) pix2pix での学習：生成モデルとして U-net を実験を行った．2.2 で示した(1)と(2)の学習法で使用した pix2pix に学習用画像を与え，100 epochは 26 例を学習，3 例を評価に用いた．(3)は 29の学習を行う．

例全てを学習に用いた．CT 像の仕様は，画像サ(3) CycleGAN での学習：生成モデルとして U-

イズ 512×512 pixels，スライス枚数 41～96 枚，

net を使用した CycleGAN に学習用画像を与え，画素間隔 0.586～0.782 mm，スライス厚 5.0 mm

400 epoch の学習を行う．

である．非造影及び造影 CT 像の 3D 像及び Axial
スライス像の例を図 1, 3 に，非造影 CT 像から374

提案手法により生成した推定造影 CT 像の 3D

17H00867，17K20099，AMED 研究費「医療ビッグデ像及び Axial スライス像の例を図 2, 4 に示す．

ータ利活用を促進するクラウド基盤・AI 画像解析に

図 2 から，直接的学習と CycleGAN での学習関する研究」18lk1010028s0401，19lk1010036h0001，

を用いた場合に比較的血管造影 CT 像に近い結

JSPS 二国間交流事業，公益財団法人 堀科学芸術振果が得られた．今回の画像変換で扱った血管の興財団によった．

濃度値変化は画像内で比較的小さな変化であ

利益相反の有無なし

り，pix2pix ではこの変化を表現するようネット

文

ワークの学習を行うことができなかったと考［1］

献Katayama H, Yamaguchi K, Kazuka T, et al:

えられる．

Adverse reactions to ionic and non-ionic

4．むすびcontrast media - A report from the Japanese

本稿では非造影 CT 像からの造影 CT 像推定

Committee on the Safety of Contrast Media.

手法を提案した．推定は U-net を用い，直接的Radiology 175(3): 621-628, 1990

学習，pix2pix での学習，CycleGAN での学習の［2］

Andreucchi M, Solomon R, Tasanarong A:

3 通りを行った．学習済み U-net で推定造影 CT

Side effects of radiographic contrast media:

像を生成した結果，CycleGAN を用いた場合にpathogenesis, risk factors, and prevention.

比較的良好な推定結果が得られていた．今後のBioMed Research International, 2014

課題として，推定結果の定量評価，細かい血管［3］

Ronneberger O, Fischer P, Brox T, et al: U-

推定精度向上，3D 画像回帰モデルの使用が挙げ

Net convolutional networks for biomedical

られる．

image segmentations. MICCAI 9351: 234-

謝辞241, 2015

本 研 究 の 一 部 は ， JSPS 科 研 費 26108006,

375

Estimation of Contrasted Abdominal CT Volume from Non-contrasted
CT Volume using Generative Adversarial Frameworks
Masahiro ODA*1, Kanako KUMAMARU*2, Shigeki AOKI*2, Kensaku MORI*1,3*1 Graduate School of Informatics, Nagoya University*2 Graduate School of Medicine, Juntendo University*3 Research Center for Medical Bigdata, National Institute of Informatics

We propose an estimation method of an abdominal contrasted CT volume from a non-contrasted CT volume. In
diagnosis and treatment, contrasted CT volumes are taken to confirm anatomical structure and abnormal regions related
to the blood vessels. However, administration of contrast agents causes dyspnea and cardiac arrest in some cases. In thispaper, we propose an estimation method of contrasted images from non-contrasted images in abdominal CT volumes.
As the estimation method, we employ an image regression model using a fully convolutional network (FCN). We trained
the FCN in a direct-training and indirect-trainings using generative adversarial frameworks (pix2pix, CycleGAN). In
our experiments using abdominal CT volumes, contrasted CT-like volumes having good-quality were generated when
we used the CycleGAN.

Key words: CT volume, Contrasted image estimation, Generative adversarial framework, pix2pix, CycleGAN

376

OP3-08

マルチチャンネル化と CNN を用いた
嚥下時 X 線透視動画における頸椎椎間板の抽出
藤中

彩乃*1

目片

幸二郎*2

滝沢

穂高*3

工藤

博幸*3

要旨
嚥下時の頸部動態解析において，頸椎椎間板の同定は嚥下障害の原因疾患の病態理解のために重要である．
本報告では，嚥下時 X 線透視動画 (Videofluorography, VF)から CNN を用いて椎間板を自動抽出する手法を提案する．X 線透視動画の各フレームは濃淡画像である．その濃淡画像に濃度正規化，トップハット変換，Local Binary Pattern 処理，ソーベルフィルタをそれぞれ適用して 4 つの中間画像を生成する．それらの中間画像から 3 つの画像を選択し，RGB の各チャンネルに保存した 1 つのカラー画像を生成する．このカラー画像にウィンドウベースの CNN を適用し，椎間板領域を抽出する．中間画像の組み合わせの中から最適なものを選択する．実際の X 線透視動画に本手法を適用した結果を示す．
キーワード：嚥下時 X 線透視動画，頸椎椎間板，CNN，マルチチャンネル化，カラー画像

1．はじめにて 3 つを選択し，RGB の各チャンネルに保存す

頸椎構造物の一つである頸椎椎間板を同定
する医学的

[1]

および工学的[2, 3]

ることで，一枚のカラー画像を生成する．このカラー画像にウィンドウベースの CNN を適用な研究が報告されている．本研究では，ウィンドウベースの畳し，頸椎椎間板の画素を抽出する．

み込みニューラルネットワーク (CNN) を用いて嚥下時 X 線透視動画 (Videofluorography, VF)

3．実験から椎間板を自動抽出する手法を提案する．

本研究の参加者は，39 名の健常な実験参加者と，19 名の頸椎固定術術前患者の合計 58 名で2．方法ある．参加者から事前に同意を得た後，実験をVF の各フレームは 8 ビットの濃淡画像であ行う．参加者は任意の時期に実験を取り止める

る．この濃淡画像に，濃度正規化，トップハッことができる．

ト変換，Local Binary Pattern 処理，ソーベルフ
ィルタをそれぞれ適応し，4 種類の中間画像を4．結果生成する．それらの中間画像から，重複を許し健常な実験参加者のフレーム画像を図 1 に，その頸椎椎間板の正解領域を図 2 の赤色領域に――――――――――――――――――

示す．表 1 に RGB 各チャンネルに保存した中*1 筑波大学大学院システム情報工学研

間画像の一覧，図 3～8 に椎間板ウィンドウの究科コンピュータサイエンス専攻

例，図 9～14 に椎間板の抽出結果を示す．表 2〔〒305-8573 つくば市天王台 1-1-1〕に，23 症例で抽出実験を行った際の抽出精度を*2 神戸赤十字病院

示す．

*3 筑波大学システム情報系

377

5．考察
表 1 中間画像の一覧．
BGウィン
チャン チャン
ドウ
ネル
ネル
正規化 正規化
図3
Top-hat Top-hat
図4
LBP
LBP
図5
Sobel
Sobel
図6
Top-hat Top-hat
図7Top-hat
LBP
図8

R
チャン
ネル
正規化
Top-hat
LBP
Sobel
正規化
正規化

表 2 より，同じ中間画像を組み合わせた場合
抽出
結果

より，異なる中間画像を組み合わせた場合の方が，抽出精度が高くなることが分かった．

図9
図 10
図 11
図 12
図 13
図 14

6．まとめ
VF にマルチチャンネル化と CNN を適用し，頸椎椎間板を抽出する手法を提案した．今後の課題は，中間画像の種類を増やすことと，最適な組み合わせを探索する手法を開発することである．
謝辞
研究遂行にあたり貴重なご協力を賜った京都大学大学院医学研究科人間健康科学系専攻
リハビリテーション科学コース 松林潤氏，岡図2

図1

山大学整形外科 瀧川朋亨氏，神戸赤十字病院
整形外科 戸田一潔氏，神戸赤十字病院整形外科 伊藤康夫氏に深謝いたします．

図3

図4

図5

図6

図7

図8
利益相反の有無
「なし」
文
［1］

図9

図 10

図 11

献

Hardik S, Hitesh I. S. R, Amandeep K et al.:Dysphagia, dysphonia & dyspnoe caused
by ostrich beak-like anterior C1-C2 cervicalosteophyte. Interdisciplinary Neurosurgery
16: 132-134, 2019［2］

Sean J. D, Weiye Z, Martin T et al.: In-vivo
T2-relaxation

図 12

図 13

図 14

cervicaltimes

intervertebral

ofasymptomatic
discs.

Skeletal

Radiology 45-3: 393-400, 2016

表 2 中間画像の組み合わせと抽出精度．
R チャン G チャン B チャン 平均 F 値
ネル
ネル
ネル
0.628
正規化
正規化
正規化
Top-hatTop-hatTop-hat
0.592
LBP
LBP
LBP
0.564
Sobel
Sobel
Sobel
0.560
Top-hatTop-hat
0.651
正規化
Top-hat
LBP
0.644
正規化

［3］

Ayano F, Yuki S, Kojiro M et al.:Segmentation of intervertebral disks fromvideofluorographic

imagesusing

convolutional neural network. International
Forum on Medical Imaging in Asia,
Proceedings 11050: 110501I, 2019378

Segmentation of Intervertebral Disks from Videofluorography
by Multi Channelization and CNN
Ayano FUJINAKA*1, Kojiro MEKATA*2, Hotaka TAKIZAWA*3, Hiroyuki KUDO*3*1 Department of Computer Science, Graduate School of Systems andInformation Engineering, University of Tsukuba*2 Kobe Red Cross Hospital*3 Faculty of Engineering, Information and Systems, University of Tsukuba
In order to understand the pathological causes of dysphagia, it is important to analyze the arrangement of cervicalstructures. In this report, we propose a segmentation method of intervertebral disks (IDs), which are ones of therepresentative cervical structures, in Videofluorography (VF) based on multi channelization technique and CNN. Eachframe of VF is a gray scale image. By applying intensity normalization, morphological top-hat transform, local binary
pattern operation, and Sobel filter to the frame image, four intermediate images are obtained. Three images are
selected from the four intermediate images, and then one color image is generated by setting the three images to its
RGB channel planes. Window-based CNN is applied to the color images to extract ID regions. Several experimental
results are shown.
Key words: Videofluorography, Cervical intervertebral disk, CNN, Multi channelization, Color image379

OP3-09

Template (Common to all types of submissions) ver. 2.0 (Revised 2019.3.28)

A Comparative Study on Atlas-guided Liver Segmentation in CT
Jinke WANG *1, 2，Yuanzhi CHENG 3，Shinichi TAMURA 4,
Noriyuki TOMIYAMA 1
Abstract
This paper provides a comparative study between probabilistic atlas (PA) and multi-atlas (MA) on liver segmentationin CT. Comparative results showed distinct superiorities of the two models.
Keywords：probabilistic atlas, multi-atlas, liver segmentation

1. Introduction
Segmentation is a key prerequisite for image-guided liver surgery, and is helpful for making choice of therapeuticstrategy. Among the popular segmentation models, atlas-guided ones, including probabilistic atlas (PA) and multi-atlas(MA) have shown good prospects. Newly atlas-based methods are developed constantly, including single organ
segmentation [1], multiple organs segmentation [2], and good surveys [3]. However, comparative studies between PA
and MA are rare.
This paper first gives basic working flows of PA and MA. Then, experiments are implemented using 30 CT
datasets. Finally, we provide conclusions based on the results.
2. Method
1) Registration algorithm
Registration is the core for atlas-based methods. In this work, registration tool elstix [4] is utilized, which could bewell combined with popular medical image processing tool Insight Toolkit (ITK). The selected algorithm for non-rigid
registration is 3D B-Splines.
2) Probabilistic atlas
PA process is divided into 2 parts: atlas construction, and atlas-based registration. For atlas construction, a single
average atlas is built for both spatial correspondence and standardization purposes (shown in Fig. 1), via registrating―――――――――――――――――――――――――――――――――――――*1 Department of Radiology, Graduate School of Medicine, Osaka University〔2-2 Yamadaoka, Suita, Osaka
565-0871, Japan〕e-mail: ousinka@hotmail.com
2 Department of Software Engineering, Harbin University of Science and Technology 〔92, Xidazhi, Nangang,
Harbin, 150080, China〕
3 School of Computer Science and Technology, Harbin Institute of Technology, 〔52 Xuefu, Nangang, Harbin,
150001, China〕
4 NBL Technovator Co., Ltd 〔631 Shindachimakino, Sennan, Osaka 590-0522, Japan〕

380

all the training images to one selected training image. For atlas-based registration, the segmentation is first
implemented by registering the average intensity atlas to the target image, and then by propagating the average labeledatlas with transformational model, the segmentation result is then obtained.

Fig. 1 Average Atlas for labeled image.
2) Multi-atlas
For MA, no atlas building is needed, but only registration process. Pairwise registrations are performed from eachtraining intensity image to the target testing image, resulting in corresponding transformation models. Then, based onthese models, all the labeled binary images are propagated to the target coordinate, the segmentation result is achieved
with “majority voting”.
3. Experiments
1) Datasets
A total of 30 abdominal datasets with reference segmentations from corporative hospital are used in theexperiments (20 for training, 10 for testing), in which, 10 cases have adjacent organs with similar intensities, 5 cases
have small tumors (3 inside, 2 border). The experiment is programmed using ITK in Ubuntu, with CPU i7-6770, 4G
RAM. The scanning parameters are provided in Table 1.
Table 1 Scanning parameters.
CT scanner

NumberSlice size

Pixel size

Slice number

Slice distance

SIMENS SOMATOM
Definition Flash30

512×5120.51~0.87

341~475

0.8~3.0

2) Accuracy
Comparative results were shown in Table 2. It showed a slight superiority performance for MA on all four metrics.
Fig. 2 was a typical segmentation error on both 2D and 3D views, in which MA showed smaller error on the liverborder.
Table 2 Comparative results on four metrics.
MethodVOE (%)ASD (mm)

RMSD (mm)MSD (mm)

PA

7.92

1.74

1.92

13.77

MA

7.34

1.59

1.56

11.69

2) Time cost
As shown in Fig. 3, we provided an average computational time for 10 testing images. Though the time-cost for381

PA-training is quite high (comparable to that of MA-testing), the time-cost for PA-testing is much more less. The main
reason is that, once the atlas construction of PA is completed, only one average atlas image is needed to be registered
to the target image. Contrastively, pairwise registrations are always required between all the training images and thetarget image in MA process.

Fig. 2 Errors evaluation (a) PA (b) MA. In 2D view, golden result is labeled with red color, while yellow and blue
represent PA and MA results, respectively.

Fig. 3 Time-cost for both PA & MA
4. Conclusions
Generally, MA can obtain higher segmentation accuracy than PA, but in the case of limited datasets, the accuracy of
the PA is comparative to that of PA. Once the PA atlas is constructed, the computational cost is very low. Therefore,
for atlas-guided liver segmentation, appropriate atlas strategy (PA, MA) should be made according to both time andprecision requirements, with specific application scene. In further study, the scales and varieties of the experimental
datasets will be extended to provide a more comprehensive and convincing comparison.

Ethics statements
The research was approved by the ethics committee of Harbin University of Science and Technology, with382

informed consent obtained from all patients being included in the study.
Competing interests
No conflict of interest was reported by the author(s).
References［1］Shi C, Cheng Y, Wang J, et al.: Low-rank and sparse decomposition based shape model and probabilistic atlas for automatic
pathological organ segmentation. Med Image Anal 38: 30-49, 2017［2］Okada T, Linguraru M, Hori M, et al.: Abdominal multi-organ segmentation from CT images using conditional shape–location
and unsupervised intensity priors. Med Image Anal 26: 1-18, 2015［3］Iglesias J, Sabuncu M: Multi-atlas segmentation of biomedical images: a survey. Med Image Anal 24: 205-219, 2015［4］Klein S, Staring M, Murphy K, et al.: Elastix: a toolbox for intensity-based medical image registration. IEEE Trans Med Imag29, 196-205, 2010

Biography
Jinke Wang
He received the Ph.D. degree from the Harbin Institute of Technology, Harbin, China, in 2016.
He is an associate Professor in the Department of Software, Harbin University of Science andTechnology, China. Currently he is doing post-doctoral study in Osaka University.

Yuanzhi Cheng
He received the Ph.D. degree from the Harbin Institute of Technology, Harbin, China, in 2007.
He is currently a Professor in the School of Computer Science and Technology, Harbin Institute ofTechnology.

Shinichi Tamura
He received the Ph.D. degree in electrical engineering from Osaka University, Osaka, Japan, in
1971. He is an Editorial Board Member of the IJCARS, an IEEE Life Fellow, IEICE Fellow, and a
Member of IEICE, IPSJ, and JAMIT.

Noriyuki Tomiyama
He received the Ph.D. degree in Medicine from Osaka University, Osaka, Japan, in 1993. He iscurrently a Professor in the Department of Radiology, Graduate School of Medicine, Osaka
University.

383

OP3-10

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

X 線暗視野法に基づく屈折コントラストＸ線 CT を用いた
ヒト乳頭の 3 次元可視化および解析
砂口尚輝*1，島雄

大介*2，市原

周*3，西村理恵子*3，岩越

朱里*3，渡邊

彩*1，丹羽輝久子*1，黄

卓然*1，

湯浅

哲也*4，安藤正海*5

要旨
乳房の乳頭部における乳管の組織構造はまだ完全に把握されていない．例えば，最も解析しやす
いと考えられる乳頭内の乳管数は，解剖学の教科書で 15~20 本と書かれているが，2000 年以降の報告では平均値で約 25 本，多い人で 50 本あるとされている．それ以外の 3 次元的な乳管構造についても徐々に分かっている．一方で，このような解剖学的な解析は，労力を必要とする 3次元病理観察に基づくため，多症例による統計的解析はほとんど行われていない．本研究では，染色された 2 次元組織像に匹敵するコントラストで描出できる X 線暗視野法に基づく屈折コン
トラスト CT を用いて，ヒトの乳房から採取された 23 症例の乳頭を撮影し，乳頭内乳管の 3 次
元可視化および解析を行う．その結果を先行研究と照らし合わせて，解剖学研究における屈折コ
ントラスト CT の有用性を示す．
キーワード：屈折コントラスト X 線 CT，X 線暗視野法，乳頭，解剖学，3 次元可視化

1．はじめに亡原因の第一位となっている（国立がん研究セ

乳癌は罹患率，死亡率ともに増加の一途を辿

ンター「がん情報サービス」がん統計）．乳癌のっており，本邦では 30 歳～64 歳女性のがん死

多くは，乳管（母乳が通る管）で発生する乳管癌である．乳管は，乳頭部の太い乳管（主乳管）――――――――――――――――――

から分岐を繰り返して乳房内に広がっており，*1 名古屋大学大学院医学系研究科医用

様々な太さのものから構成されている．乳癌は技術学専攻

乳管内面を覆う腺上皮細胞から発生し，増殖を〔〒461-8673 名古屋市東区大幸南一丁

繰り返して進展していく．乳癌の中でも，非浸

目 1 番 20 号〕

潤性乳管癌(DCIS)は癌細胞が乳管内に留まっe-mail: sunaguchi@met.nagoya-u.ac.jpて増殖し，乳管に沿って進展する特徴を持つ．

*2 北海道科学大学

DCIS が乳管から周囲の結合組織へ浸潤すると，*3 名古屋医療センター

浸潤性乳癌となり，リンパ管や血管に進入し，*4 山形大学

他の部位に転移する．浸潤のない，純粋な DCIS

*5 総合科学研究機構

は，癌細胞が乳管内に留まっているため，手術

投稿受付：2019 年 5 月 14 日

によりそれらを完全に除去することができれ384

ば完治する．一方，DCIS は，乳頭部にまで進展する可能性があるため，乳頭温存乳房切除術（Nipple-sparing mastectomy）には再発のリスクが存在する[1]．もし，術前に乳頭内の状態を調べることができれば，患者に対し安全な乳頭温存を提供できるが，現在の乳頭内診断手法である臨床画像（X 線造影，超音波，MRI），乳管内

図 1 X 線暗視野法に基づく屈折コントラスト CT

視鏡，乳管洗浄では，乳頭部における DCIS の撮像システム有無を正確に判定することは困難である．その大きな要因は，乳頭内の主乳管同士の吻合の有えられる．一般的に病理切片は，組織ブロック

無や 3 次元空間内における乳管形状など解剖学

を 3~4 ミクロンの厚さで薄くスライスし，ヘマ的な情報が不足しているからと考えられる．現

トキシリンエオジン液で染色を施したもので

在解剖学の教科書で書かれていることは，乳腺ある．3 次元組織像は，病理切片を光学顕微鏡

実質でいくつかの葉（セグメント）に分かれたで画像化し，スライス画像を積み重ねることで乳管が乳頭部で 15-20 本の主乳管に集約すると作成される．これらの作業は人の手を必要とし，いう基本構造についてだけである[2]．後述する

3 次元組織像を構築するためには膨大なスライが，この記述についても異なる結果が報告されスを必要することから長時間を要する．そのたている．

め，3 次元的な観察は上述のような研究レベル

乳頭内乳管の 3 次元解剖構造について解析しで形態学的な情報を得るために一部実施された研究は 2000 年代になっていくつか報告されることはあるが，その症例数は 2 次元組織像とている．この中で使用されている観察手法は従比べると極端に少ない。

来の 2 次元平面に基づく病理観察ではなく，複新たな 3 次元組織像の観察手法として，我々数の組織切片から再構成される 3 次元病理観察

は生体内部を染色された 2 次元組織像に匹敵すに基づく．2004 年 Going らは，1 症例に対し 100

るコントラストで撮像できる X 線暗視野法に

μm 間隔で得た病理切片像から乳管を抽出し，基づく屈折コントラスト CT を利用する[5, 6]．

乳管構造を 3 次元的に可視化した．その観察か

この方式は現在国内外でも実現していない病

ら乳頭先端で開口する乳管数や乳輪下で生じ

理診断での利用に向けて研究が進められている乳管があることを示した[3]．2007 年 Rusby らる[7]．屈折コントラスト CT は生体の 3 次元像

は，2 症例に対し 50 μm 間隔で得た病理切片像を未染色・非破壊で短時間に得ることができるから Going らと同様に 3 次元可視化を行っていため，多症例研究における撮像法として最も適る．彼らは，乳管が乳頭先端に到達する際に共した方法であると考えられる．

通の開口を持つこと，乳管の断面積は乳頭先端

本研究では，屈折コントラスト CT を用いてで急激に小さくなること，乳輪付近から生じる

ヒトの乳房から摘出した乳頭 23 症例を撮像し，乳管があること，乳管は乳輪下で集約し，くびCT から乳頭内の乳管構造を解析する．その結れ状の形態をとることなど多数の結果を示し

果が病理観察に基づく先行結果と比較し妥当た[4]．このように，3 次元病理観察は 2 次元平であるか確認し，解剖学研究における屈折コン

面で知ることの難しい多数の解剖学的情報をトラスト CT の有用性を示す．最初に，CT からもたらしてくれる．

得た乳管数や乳管断面積を先行研究の結果と一方で，彼らの解剖学的情報は 1，2 症例から比較する．次に，Rusby らの「乳管径は乳頭先得られており，十分な統計的な議論が行われて端で急激に小さくなる」という主張について CT

いない．この理由として，多症例を用いた 3 次

画像の乳管断面像から確認する．最後に，Rusby

元病理観察には多大な労力がかかるためと考らの「乳頭内の乳管はくびれを持つ」という主385

張について乳管の 3 次元可視化によって確認す
る．
2．撮像手法・試料および解析手法
図 1 は試料撮影のために使用された屈折コン
トラスト CT 撮像システムの概要図である．本
撮像手法は入射源として放射光 X 線を用いる．
放射光 X 線ビームは 2 結晶モノクロメータにより単色化され，非対称 Bragg-case モノクロコリ
メータ結晶(MC)で回折することにより，試料サ
イズよりも大きい視野を形成する．入射ビーム
は試料を伝搬する過程でその電子密度分布に従って屈折し，その後方に設置された薄いLaue-case 角度アナライザー結晶(LAA)に入射す
る．ここで，ビームの屈折角度は X 線の強度情報に変換され，後方の X 線カメラで測定される．
また，屈折コントラスト CT は，試料を回転さ

図 2 乳頭の屈折コントラスト CT 像査で承認を受けている．

せて繰り返し撮影した投影データから再構成

1）乳頭内乳管数および乳管断面積

される．

初めに，乳頭内の乳管構造を得るために，CT

撮像装置は茨城県つくば市の高エネルギー

画像上の乳頭の付け根方向のスライスから先加速器研究機構フォトンファクトリーBL14B

端のスライスまでの乳管の輪郭を抽出する．抽ビームラインに構築される．X 線エネルギーは

出 作 業 に は ， 画 像 処 理 ソ フ ト Image J[9] の19.8 keV に設定される．MC と LAA の各結晶の回折面は Si(111)である．X 線カメラの視野は，36 mmH × 24 mmV で，ピクセルサイズは 14.8

Measurements ツールが利用される．作業簡略化のために，乳頭の形状が大きく変化しないスラ
イスについては抽出せず，前後の輪郭でスプラ

μm である．撮影された投影数は 600 枚で，再イン補間する．Measurements ツールで測定する

構成アルゴリズムには屈折 X 線に基づく逐次

輪郭情報は，重心位置と断面積である．

的再構成法[8]が採用された．

乳管数は，乳輪下で生じる乳管も含めて乳頭

乳頭試料は乳がんにより全摘出された女性

内にあるすべての乳管を数えたものである．

の乳房から切り出したものである．この実験で

乳管断面積は乳管の深さ方向で大きく変化

23 症例の乳頭が撮像され，すべて解析に利用さするため，その経路上の最大断面積と最小断面れた．各試料は 10％の緩衝ホルマリン液で固定積で評価する．まず，23 症例すべての乳管の最された後，保存のためにエタノールに置換され大断面積と最小断面積を求め，平均値と標準偏た．撮像 5~6 時間前に，試料内部のエタノールを除去するために水に浸された．撮像直前に，差で評価する．
2）乳頭先端から付け根までの乳管断面形状

円筒のプラスチックチューブに挿入され，乾燥乳管が先端で細くなることを確認するためしないように周辺をアガロースゲルで満された．撮像の際は，それを直方体の水槽に挿入しに，23 症例すべての乳管に対し，乳管先端から投影撮影毎に回転させる．水槽に入れる理由は，付け根までの乳管断面積を求める．また，先端円筒チューブ表面で生じる試料に起因しないから 3 mm の深さまでの中で面積勾配（断面積

屈折を低減するためである．本研究は，名古屋の変化量／微小深さ）が最も大きくなる先端か大学および名古屋医療センターの生命倫理審らの深さ D を定義し，形状が大きく変化する深386

図 3 乳頭先端から付け根までの乳管断面形状

図 4 乳頭内乳管のボリュームレンダリング像さを評価する．

あった．

3）乳管の 3 次元可視化

2）乳頭先端から付け根までの乳管断面形状

乳管の 3 次元像は，3 次元空間に事前に求め

図 3 はある症例における乳管の先端から付けた乳管の重心位置をプロットし，点を線でつな

根までの断面の一例である．画像上に記載されぎ合わせることで作成される．3 次元可視化にた距離は表皮からの深さを表す．深さ 2.62 mm

抽出した輪郭をそのまま使用することもできから 8.73 mm までの形状は円であり，断面積はるが，いくつかの太い乳管が他の乳管を隠してほとんど変化しない．その後，1.75 mm から表

しまい，構造の把握が困難になるため行ってい皮に向かって急激に細くなる．表皮では直径 50

ない．3 次元像のスライス厚は 14.8 μm であり，μm の円形状になり，外に開口している． ほと3 次元像はボリュームレンダリングによって可んどの乳管は，この例のように先端で細くなる視化される．

傾向がある．全症例全乳管の平均 D は 0.85

3．結果

0.4 mm~1.3 mm の範囲にある．また，症例毎にmm±0.20 mm である．症例毎に求めた平均 D は

図 2 はある症例における乳頭の屈折コントラ

求めた D の標準偏差は 0.2 mm~0.9 mm であり，

スト CT を表す．CT 画像上の画素値は複素屈折

個人差が大きいことが分かる．

率 δ を表し，密度の大きさに比例する．ここで，白は密度が大きいことを表す．図 2 は，乳管，

3）乳管の 3 次元可視化
図 4 はある症例の乳頭内乳管をボリュームレ

繊維組織，皮脂腺，上皮組織を鮮明に描出してンダリングにより可視化したものである．赤色いる．また，大小形の異なる乳管は 19 個存在の縦に伸びる管構造は乳管を表す．白いの雲状

し，すべて画像から確認できる．

の構造は，乳頭の乳管位置を把握しやすいよう

1）乳頭内乳管数および乳管断面積に重ねた乳頭実質である．画像上部は乳頭先端CT からカウントされた乳管数は，23 症例でを表し，下部がつけ根を表す．すべての乳管は633 本存在した．1 症例あたりの平均値，中央

乳頭部と乳輪の境界付近でくびれを持つこと

値，標準偏差はそれぞれ 27.5 本，25 本，9.3 本が分かる．このようなくびれを持つ症例は 23 症であった．四分位範囲および最大値最小値範囲

例中 14 症例（61％）存在する．

はそれぞれ 20.5-31.5，15-51 であった．また，乳頭の高さ，大きさ，年齢と乳管数には有意差

4．議論がないことが分かっている．

1）乳頭内乳管数および乳管断面積

最 小 断 面 積 お よ び 最 大 断 面 積 は ， 0.011

病理観察に基づく先行研究で得られた乳管mm2±0.009 mm2 および 0.297 mm2±0.166 mm2 で387

数は，Going らの結果[3]で中央値 27 本(11-48)(症

先端で発散するタイプ，Going らと同様にまっ

例数 72 件)，Taneri らの結果[10]で平均値 17 本

すぐ伸びるタイプ，Rusby らと同様に先端で集(18-30)(症例数 226 件)，Rusby らの結果[4]で平まるタイプと様々な形状を確認できる．これら

均値 24 本(5-50)(症例数 129 件)である．我々のタイプと乳頭の大きさには関係がない．また，

結果は,Going や Rusby らの結果に近いと言える．

くびれ状に関しては，我々の結果では発散する

ただし，Rusby らは，乳管数を計測するスライタイプと集まるタイプで確認することができ

ス位置については明確には定義していない．

る．

Going らは，乳輪のベースを基準スライスとし

現在の乳頭内診断では乳頭内の乳管癌の有ているが，乳管は乳輪下の末梢に向かって枝分無を調べるために，対象乳管の X 線造影や内視かれするため，過剰に計測している可能性があ鏡を行うが，信頼性は低いと言われている．こる．我々は，乳頭の 3 次元像全体を見て計測しの理由は，今回の結果で確認された大きく変化ていることから，彼らよりも誤差が生じにくい

する乳管径や様々なタイプの乳管経路のため，と言える．

乳管にカテーテルなどを挿入する際に，乳管のRusby らは，乳管の最小径と最大径について，

突き破りや別の乳管への誤挿入が生じている

3 症例の平均で 0.06 mm，0.7 mm と求めている．

ためと推察する．また，乳頭内の乳管構造に個一方で，我々は，乳管には様々な形状があるこ

人差が大きいことも信頼性を下げている要因とを考慮し，直径ではなく輪郭から求めた断面と考えられる．本研究で使用した屈折コントラ積を使用している．Rusby らの結果を断面積に

スト CT を乳頭診断に利用することも考えられ2換算すると，最小断面積は 0.003 mm ，最大断るが，光源に特別な放射光 X 線が必要であり容2

面積は 0.38 mm となる．彼らの結果は，我々の易ではない．すなわち，乳頭内の癌の進展を精結果の標準偏差内に入っており，彼らの結果と度よく診断する術がない現時点においては，矛盾しない．また，我々の結果は彼らより症例

DCIS における乳頭の温存術は依然としてリス数が多いため，より精度が高いと言えるかもし

クが高いと言える．

れない．
2）乳頭先端から付け根までの乳管断面形状

5．まとめ

Rusby らは，乳管の断面積が乳頭先端から 1.5

本研究では，屈折コントラスト CT を用いてmm 付近で最小になり，3 mm 付近で 10 倍に大ヒトの乳房から採取した 23 症例の乳頭を撮像

きくなると報告している．我々は，面積勾配がし，3 次元可視化と解剖学的な解析を行った．

大きくなる位置を求めたが，その位置は彼らのこの結果を従来の病理観察に基づく解剖学研

結果よりも非常に浅い．この相違は，結果で示究と比較し，屈折コントラスト CT から従来法したように，個人差が大きいことが起因していと同様な解析ができることを示した．また，従ると考えられる．また，彼らの被験者はアメリ来よりも多数の症例を解析できたことにより，カ人が多いと考えられるが，我々の被験者はす

乳管が先端で発散する新しいタイプを発見す

べて日本人である．そのため，人種による乳頭ることができた．今後さらに症例数を増やし，構造の違いが存在する可能性もある．

新しい解剖学情報や DCIS の進展経路などを明

3）乳管の 3 次元可視化

らかにしたい．

Going らの 3 次元像は，すべての乳管が先端から付け根までほぼ真っ直ぐ伸びる様子を示謝辞している．Rusby らの 3 次元像は乳管が先端で本研究の試料を準備していただいた名古屋

集まるように見える．また，乳輪下 2 mm で乳

医療センターのスタッフの方に感謝を申し上

管はくびれ状になると主張している．我々の 23

げます．また，撮像システムで使用された LAA

症例から得た 3 次元像は，図 4 のように乳頭が結晶は KEK の PF 結晶加工室を利用して杉山

388

弘助教および笹谷典太氏によって作成されま

Breast duct anatomy in the human nipple:

した．ここで感謝を申し上げます。また，貴重

three-dimensional patterns and clinical

な X 線 CCD カメラを貸していただいた KEK の

implications. Breast Cancer Res Treat

平野馨一准教授および兵藤一行准教授に感謝

106:171–179, 2007

申し上げます．本研究は JSPS 科研費 16K01369,
16K08654,

22591353,

15H01129,［5］

Ando M, Maksimenko A, Sugiyama et al:

26286079,

Simple X-ray dark and bright-field imaging

18K13765，平成 29 年度国立病院機構共同臨床

using achromatic Laue optics. Jpn. J. Appl.

研究 H29-NHO(癌般)-01, H29-NHO(多共)-02 おPhys 41,L1016–L1018, 2002

よび KEK 放射光実験課題 2016G0625 の支援を

［6］

Sunaguchi N, Yuasa T, Huo Q et al: X-ray
refraction-contrast computed tomography

受けています．

images using dark field imaging optics.
Appl. Phys. Lett. 97: 153701, 2010

利益相反の有無無し．

［7］

Ando M, Sunaguchi N, Shimao D et al:
Dark-Field Imaging: Recent developments

文［1］

and potential clinical applications. Phys.

献

Rusby JE, Smith BL, Gui GP. Nipple —Med. 32:1801-1812, 2016

sparing mastectomy. Br. J. Surg. 97: 305—
［2］
［3］

［4］

［8］

Sunaguchi N, Yuasa T, Gupta R et al: An

316, 2010

efficient

Human Anatomy Atlas 2019, Visible Body

differential

https://www.visiblebody.com

images from a limited number of views.

Going J J, Moffat F D: Escaping from

Appl. Phys. Lett. 107: 253701, 2015

reconstruction

algorithm

phase-contrastfor

tomographic

Flatland: clinical and biological aspects of［9］human mammary duct anatomy in three［10］ Taneri F, Kurukahvecioglu O, Akyurek N et

dimensions. J. Pathol 203: 538–544, 2004

al: Microanatomy of Milk Ducts in the

Rusby J, Brachtel E, Michaelson J et al:

Nipple. Eur. Surg. Res. 38:545–549, 2006

389

Image J, https://imagej.nih.gov/ij/

Three-dimensional imaging of human nipple using refraction-contrast
X-ray computed tomography
Naoki SUNAGUCHI*1, Daisuke SHIMAO*2, Shu ICHIHARA*3, Rieko NISHIMURA*3, Akari Iwakoshi*3,
Aya Watanabe*1, Kikuko NIWA*1, Zhuoran HUANG*1, Tetsuya YUASA*4, Masami ANDO*5*1 Nagoya University*2 Hokkaido University of Science.
*3 Nagoya Medical Center.
*4 Yamagata University.
*5 CROSS.
For the pathological field, we have developed the refraction-contrast computed tomography using X-ray dark fieldimaging technique (XDFI-CT) which is a kind of analyzer-based imaging using a Laue-case Si crystal, which allows tovisualize the precise 3-D structure of biological soft tissue as well as the stained pathological image. In this research, we
reconstruct 23 human nipples using XDFI-CT and perform the anatomical analysis of the structure of milk ducts fromthe reconstructed 3-D volume.
Key words: X-ray dark field imaging, refraction-contrast computed tomography, human nipple, anatomy

著者紹介
和文でも英文でも可。
砂口 尚輝 (すなぐち なおき)
2006 年：山形大学大学院理工学研究科博
士前期課程修了，2006-2007 年：㈱日立
メディコ，2007 年-2010 年：山形大学大学院理工学研究科博士後期課程，2010
年：同課程修了．博士（工学），2010 年-2012 年：高エネルギー加速器研究機
構・学振特別研究員，2012 年-2017 年：
群馬大学大学院理工学府電子情報部門・助教，2017 年-：名古屋大学大学院医学系研究科医療技術学専攻・准教授（現職）．X 線イメージングの研究に従事．

ここに顔写真を貼り付けてください．

390

OP3-11

深層学習による超音波画像からの肝腫瘍検出に関する初期検討
堤 一晴*1

中島 崇博*1

道満 恵介*1

目加田 慶人*1

西田 直生志*2 工藤 正敏*2
要旨
本研究では，腹部超音波画像を対象とした深層学習による肝腫瘍検出の検討結果について報告する．腹部
超音波画像診断における検査水準は実施者の経験に依存し，その均てん化のためにコンピュータ支援診断が期待されている．そこで本研究では，畳み込みニューラルネットワーク（CNN）により肝腫瘍領域を検出する手法を検討する．実験では，肝腫瘍を含む超音波画像 98 枚から抽出された肝腫瘍領域にデータ増強を施した画像 1,467 枚と非肝腫瘍領域 1,800 枚を用いて CNN を構築した．その結果，肝腫瘍領域を正しく検出できたものの，非肝腫瘍領域を過検出する傾向がみられた．
キーワード：深層学習，肝腫瘍，超音波画像

1． はじめに成し，注目を集めている畳み込みニューラルネ

現在，超音波における腹部の診断においてそットワーク（CNN）を用いて超音波画像から肝の検査水準は実施者の経験に影響されるため，腫瘍領域を検出手法について検討した．本稿でその均てん化のためにコンピュータによる支はその結果について述べる．

援診断が期待されている．平成 29 年度の腹部超音波検査精度管理調査結果報告書では，適切

2． 肝腫瘍検出手法

な超音波画像所見の記載，カテゴリー判断，事

CNN には様々な構造が提案されているが，本後指導判定ができていない施設が，調査に参加

手法では基本的なネットワークの 1 つである

した 241 施設のうち 26.7%認められたことが報AlexNet［2］を利用する．AlexNet は，5 層の畳

告されている［1］．またこの報告書では，肝臓み込み層，3 層のプーリング層，3 層の全結合において診断が困難な領域においては，改善が層，2 層のドロップアウト層からなる．

必要であると指摘されている．そこで，画像認

超音波画像に対して，100×100 画素のウィン

識分野において，多くのタスクで高い性能を達ドウでスライディングウィンドウを行い，画像――――――――――――――――――

を分割する．分割した画像を AlexNet に入力し，*1 中京大学

入力画像が肝腫瘍領域を含むか否かを分類す

工学部

る．入力画像が肝腫瘍領域を含む場合には超音〔〒470-0393 愛知県豊田市貝津町床立 101〕

波画像内にその領域を矩形で描画する．

e-mail: {tsutsumi.i, nakashima.t} @md.sist.
chukyo-u.ac.jp

3． 実験

e-mail:{kdoman,y-mekada}@sist.chukyo-u.ac.jp*2 近畿大学

実験では，日本医療研究開発機構「医療ビッ医学部

グデータ利活用を促進するクラウド基盤・AI 画〔〒589-8511 大阪府大阪狭山市大野東 377-2〕

391

(a) 肝細胞がん(b) 単純嚢胞(d) 転移性肝がん(c) 血管腫(e) 非肝腫瘍

図 1 学習データ

図 2 肝細胞がんを含む超音波画像に対して推論を行った結果（赤：検出領域

黄：肝細胞がん位置）像解析に関する研究」より整備された確定診断がつけられた超音波画像データセットに含ましたため，非肝腫瘍領域や超音波信号外の領域

れる，肝腫瘍を含む超音波画像 98 枚を使用しを正しく分類できなかったことが考えられる．

た．超音波画像データセットには肝腫瘍としてまた，学習データには画像内に診断時に利用し肝細胞がん，転移性肝がん，単純嚢胞，血管腫

たアノテーションラベルが残っており，グレーの 4 種が含まれており，これらの 4 種を肝腫瘍以外の値を持っているため，その色情報を基準として扱った．

に判断した可能性がある．そのため，学習デー

学習データの作成には 100×100，150×150，

タの増強，画像内に付与されたアノテーション

200×200 画素の 3 種のウィンドウを使用し，こラベルを取り除くことが必要である．

れらのウィンドウを用いてそれぞれの領域を
5． まとめと今後の課題抽出した．なお，100×100 画素を超える腫瘍については 100×100 画素に縮小し，データ増強

CNN を用いて超音波画像から肝腫瘍を検出のために左右反転を施した．ただし，非肝腫瘍

した．肝腫瘍を検出することはできているが，画像は肝腫瘍画像に対して，極端に多くなるた

過検出が多くみられた．

め，肝腫瘍画像の枚数に合わせてランダムに抽今後の課題として，学習データの増強，超音出したものを学習データとした．作成した学習

波画像内に付与されたアノテーションラベル

データは肝腫瘍画像 1,467 枚，非肝腫瘍画像を取り除くことが課題として挙げられる．

1,800 枚であった．また，評価には学習に使用していない超音波画像を使用した．

謝辞

作成した学習データを用いて AlexNet を学習

本研究の一部は，日本学術振興会科研究費補した．学習は 100 エポック行い，そのうちから助金および日本医療研究開発機構（AMED）の検証データでの正解率が最も高いエポックの援助による．

重みを用いて評価した．
利益相反の有無4． 結果・考察なし

推論結果の例を図 2 に示す．腫瘍領域を正しく推定できたが，過検出がみられた．
原因としては，学習データが少ないことが考えられるほか，非肝腫瘍画像をランダムに抽出

392

文
［1］

献

公益社団法人 全国労働 衛生団体連合
会：「平成 29 年度 腹部超音波検査精度管理調査結果報告書」, pp17-19, 2018

［2］

Krizhevsky A, Sutskever I, Hinton G. E:
ImageNetClassification

with

Deep

Convolutional Neural Networks. Advancesin Neural Information Processing Systems
25: 1097-1105, 2012

393

A Study on Liver Tumor Detection
from an Ultrasound Image using Deep Learning
Issei TSUTSUMI*1, Takahiro NAKASHIMA*1, Keisuke DOMAN*1, Yoshito MEKADA*1
Naoshi NISHIDA*2, Masatoshi KUDO*2*1 School of Engineering, Chukyo University*2 Faculty of Medicine, Kindai University
The quality of diagnosis depends on the operator's experience. A computer-aided diagnosis is system helpful for
improving the accuracy of the quality of diagnosis. This paper reports experimental results on liver tumor detection
using convolutional neural networks. In the experiments, we used 1,467 images of the liver tumor regions extracted
from 98 images and 1,800 images of non-liver tumor regions. As a result of the experiment, alothough the tumor
regions could be correctly detected by the method, some non-tumor regions were misdetected.
Key words: Deep Leaning, liver tumor, ultrasound image394

OP3-12

腹腔鏡動画像からの Fully Convolutional Network による血管領域抽出
盛満

慎太郎*1

小澤

卓也*1 北坂 孝幸*2

小田

昌宏*1

竹下 修由*3

三澤一成*4

林 雄一郎*1

伊藤 雅昭*3

森 健策*1,5,6

要旨
本稿では内視鏡動画像からの血管領域の自動抽出手法について述べる．腹腔鏡手術は難易度の高い手術であるため，腹腔鏡などで撮影した動画の自動解析による手術支援システムの開発が進められている．動画
からの術具や臓器の自動認識は，コンピュータの手術工程を理解し，術者の手技の適切な支援へとつながる．手術工程の理解において，体内構造を表す血管の抽出は重要である．しかし，血管は手術中の把持や切断などにより形が変化するため，単純な処理で抽出することは困難である．そこで本研究では，深層学習を用いることにより，腹腔鏡動画像から血管領域を自動的に認識する手法の初期検討を行った．モデルには 2D U-net を用い，動画中の各フレーム画像に対応する血管領域ラベルを手動で作成し，学習を行った．
実験の結果から，評価用データに対する F 値は約 39%となり，腹腔鏡手術動画像からの血管領域の抽出が可能であることが確認された．
キーワード： FCN，U-net，内視鏡手術動画

1．はじめにタで認識し，術者の手技を支援する技術が求め現在，がんに対する手術として，患者への負られる．

担が少ない内視鏡手術が用いられている．内視内視鏡手術動画を利用して適切に手術支援

鏡手術では鉗子の動きが制限される上に，非常を行うには手術工程の理解が必要となる．内視に視野が狭いことから難易度が高い．従って内鏡手術の中でも特に，腹部を扱う腹腔鏡手術で視鏡手術動画に映る術具や臓器をコンピューは，手術工程の理解において体内構造を表す血管の認識が重要である．しかし，解剖構造には――――――――――――――――――

個人差があり，血管は手術中の把持や切断など*1 名古屋大学大学院情報学研究科

により形が変化するため，単純な処理による抽〔〒464-8601 名古屋市千種区不老町 IB

出は難しい．

電子情報館南棟 4 階 466 号室〕

そこで本研究では，内視鏡手術動画に映る血e-mail: smorimi@mori.m.is.nagoya-u.ac.jp

管領域を，深層学習を用いることにより自動認*2 愛知工業大学情報科学部

識させることを試みる．

*3 国立がん研究センター東病院*4 愛知県がんセンター

2．提案手法*5 名古屋大学情報基盤センター

深層学習のモデルとしては医 用画像処理に*6 国立情報学研究所医療ビッグデータ

おけるセグメンテーションに主に使われる U-

研究センター

net[1]を用いた．本手法では Roth ら[2]が 3D U-

395

net をもとに改良したネットワークを参考に 2

表 1 評価用データに対する精度評価．
F 値 (%)
適合率 (%)
再現率 (%)
38.7
59.4
35.7

次元画像用に変更したものを使用した．畳み込
みは 3×3 のカーネルを用い，エンコーダー部分
では 2×2 の MaxPooling，デコーダー部分では2×2 の Upconvolution を用いた．Skip connectionには Summation を用いて畳み込み前の位置情報を利用し，セグメンテーション結果を生成する．
学習，評価に用いる画像は動画中の一部を取り出したものであり，医師の協力の下，正解データを手動で 2631 枚作成した．学習はミニバッチで行い，画像 5 枚ごとにパラメータを更新

図 1 元画像となる手術動画中の 1 枚した．
評価には交差検定を用い，画素単位で F 値，
適合率，再現率を計算して平均値を算出した．
3．実験ならびに考察
実験では，腹腔鏡下 S 状結腸切除術または直腸癌に対する腹腔鏡下前方切除術の動画 38 症
図 2 Ground truth を重畳表示した画像．

例分を用いた．まず，正解ラベルの存在する学
習データを入力としてモデルを学習した．そして，学習済みモデルに評価用データを入力して，得られた画像と正解ラベルを比較して 評価した．また，最終的なモデルに手術動画を 1 枚ず
つ入力して，得られた推定ラベルと元の動画を合成することで血管領域がラベル付けされた動画を作成した．

図 3 出力されたラベルを重畳表示した画像．

実験の結果として評価 用画像に対する評価
値を表 1 に示す．また，元画像を 図 1 ，Ground4．まとめ

truth を重畳表示した画像を 図 2 ，出力ラベルを重畳表示した画像 を図 3 に示す．表 1 で F

内視鏡手術動画を利用した血管領域抽出は，値をみると，約 39％と低い値となっている．し全体的な精度は低いものの，シーンによってはかし，図 1 を見ると，場面によってはかなり良血管領域を抽出できた．さらなる精度向上のたく抽出できているものも存在した．一方で，血めには，動画特有の時系列情報の追加などが必

管が脂肪に隠れている手術前半のシーンの抽要と思われる．

出精度は著しく低く，場面に分けた学習や，時系列情報の追加などの工夫が必要となる．また，謝辞
本 研 究 の 一 部 は JSPS 科 研 費 17H00867 ，今回の実験では学習用データに対する精度が 9割を超えるのに対し，評価用データに対する精17K20099 ， 26108006 ，

度は低かったことから，過学習が起きていたと

18he1802002，19lk1010036h0001，二国間交流事考えられる．そのため，学習データの追加も今

業，堀科学芸術振興財団の支援を受けた．

後の課題となる．
利益相反の有無

396

なし

AMED 課 題 番 号

文
［1］

献

Ronneberger O, Fischer P, Brox T : U-Net:
Convolutional

Networks for Biomedical

Image Segmentation. MICCAI 2015, 9351:
234-241, 2015
［2］

Roth HR, Oda H, Zhou X, et al.:applicationofcascaded

3D

An
fully

convolutional networks for medical image
segmentation.

Computerized

MedicalImaging and Graphics, 66, 90-99 ,2018397

Segmentation of blood vessel regions from laparoscopic videos using
fully convolutional network
Shintaro MORIMITSU*1, Takuya OZAWA*1, Takayuki KITASAKA *2, Yuichiro HAYASHI *1,
Masahiro ODA *1, Masaaki ITO *3, Nobuyoshi TAKESHITA *3, Kazunari MISAWA 4, Kensaku MORI *1,5,6*1 Graduate School of Informatics, Nagoya University*2 School of Information Science, Aichi Institute of Technology*3 National Cancer Center Hospital East
*4 Aichi Cancer Center Hospital*5 Information Technology Center, Nagoya University*6 Research Center for Medical Bigdata, National Institute of Informatics

This paper describes an automatic extraction method of blood vessel regions from endoscopic videos. Because
laparoscopic surgery is highly difficult, development of a surgical assistance system based on automatic analysis ofvideos captured by a laparoscope has been promoted. Automatic recognition of surgical tools and organs fromlaparoscopic videos leads the computer to understand the surgical process and to properly support the procedure of thesurgeon. Extraction of the blood vessels that represent internal structures of a patient is important to understand thesurgical process. However, it is difficult to extract blood vessels by simple image processing because their shape changes
when they are cut or grasped by surgeon. In this study, we conducted an initial study of a method to automaticallyrecognize the blood vessel region from laparoscopic videos by using deep learning. The blood vessel region labels wereannotated manually and are corresponding to each images in the videos. The model was 2D U-net and annotated labels
were used as the ground truth in the training. From the results of the experiment, F-value of segmentation results was
about 39%. The potential of extraction of the blood vessel regions from laparoscopic video was confirmed.
Key words: FCN，U-net，Endoscopic surgery videos

398

OP3-13

非接触型微小循環観察環境の構築と敗血症モデルラットの血行動態解析
川崎

真未*1

中野 和也*2

大西 峻*2

羽石 秀昭*2

要旨
敗血症は感染症に起因して発症し，生命に危機を及ぼす臓器障害である．発症初期には 100μm 以下の血管径である微小循環が障害される．よって敗血症に対する薬効の調査では，微小循環の変化を観察することが重要となる．先行研究では，生体の微小循環が観察可能な Sidestream Dark-Field (SDF)撮影法を用い，敗血症モデルラットの血流速度低下を確認した．しかし SDF 撮影法は装置を組織に接触させる必要があり，組織圧迫の影響や衛生面で懸念がある．そこで本発表では，非接触型撮影装置を構築し，敗血症モデルラ
ットの微小循環の観察及び血流速度解析を行った．非接触型撮影装置による取得動画像から敗血症モデル
ラットの血流や血管密度の減少が確認された．また血流速度を算出した結果，健常ラットの血流速度は減
少しなかったのに対して敗血症モデルラットの血流速度は減少傾向が確認された．これらの結果から，非接触型撮影装置により微小循環の変化を取得可能であることが示唆された．
キーワード：微小循環，敗血症性ショック，血流速度，非接触型撮影装置

1．はじめに

流速度の算出を行った．血流速度が減少し，微敗血症とは，感染に対する制御不十分な生体小循環障害が確認された．しかし，SDF 撮影法

反応に起因する生命に危機を及ぼす臓器障害は装置を組織に接触させなければならない．組

である［1］．敗血症が進行すると敗血症性ショ織が圧迫され血行動態が変化する恐れが考えックに移行し死亡率が増加する．そのため早期られる．よって非接触で微小循環を観察するこ診断や治療が重要である．敗血症の初期段階でとが必要である．非接触型撮影装置では血行動

は，100 μm 以下の血管径である微小循環が障害態への影響なしに微小循環を観察でき，血液なされる［2］．よって，この微小循環障害を観察

ども付着しないことから衛生的である．そこでし評価することが求められている．先行研究［3］

本発表では，非接触型撮影装置の構築と敗血症

では，非侵襲で微小循環を観察可能な

モデルラットを用いた血行動態解析を行った．

Sidestream Dark-Field (SDF) 撮影法［4］を用い
2．非接触型撮影装置の構築て敗血症モデルラットの微小循環を観察し血構築した非接触型撮影装置の模式図を図 1(a)――――――――――――――――――に示す．非接触型撮影装置はカラーカメラ*1 千葉大学大学院融合理工学府基幹工(GS3-U3-15S5C-C, FLIR Systems Inc., Pixel

学専攻医工学コース

Size[μm]: 6.45 × 6.45, Image Size: 1384 × 1032)，〔〒263-8522 千葉市稲毛区弥生町 1-33〕

レンズ，LED リング照明(IOTR-80-25RLGB, 有e-mail: m_kawasaki@chiba-u.jp

限 会 社 シ マ テ ッ ク ) ， 偏 光 子 と 検 光 子 (USP-*2 千葉大学フロンティア医工学センタ

50C0.4-38, シグマ光機株式会社)で構成される．

ー399

る．LED リング照明は赤と緑，青の LED で構成されており，同時点灯することで白色照明を疑似的に再現した．それぞれの LED は水平面から 25°傾いた暗視野照明である．相対発光強度を図 1(c)に示す．偏光板はリング状に加工した
偏光子を LED リング照明に，円形の検光子をレンズにクロスニコル配置で取付けた．照明から偏光子を通過した光が生体表面に入射した場
合，偏光は保持されるためクロスニコル配置された検光子は通過できない．一方生体内部に入図 1 非接触型撮影装置(a) 装置の模式図, (b) カラーカメラ相対感度,(c) LED リング照明の相対発光強度

射した場合，偏光が解消されるため検光子を通過できる．このように偏光板を用いて生体内部での散乱光の観察及び表面反射光の低減を図った．
図 2 に非接触型撮影装置を用いて同一領域を撮影した際の取得画像例を示す．対物レンズを用いた場合(図 2(a))，直径 10 μm 程度の細い血図 2 取得画像例(a) 対物レンズ, (b) 拡大レンズ(3.5X), (c) 拡大レンズ(1.6X)

管を確認でき，赤血球の流れが観察可能である．
拡大レンズを用いた場合(図 2(b), (c))，赤血球の流れは確認困難であるが，図 2(a)よりも血管網を広く観察可能である．このように，非接触型撮影装置ではレンズなどの光学系を調整することで，目的に合わせた微小循環像を容易に取得可能である．
3．血流速度算出手法
図 3 に血流速度算出のフローチャートを示す．
まず元画像から赤血球を強調するためにヘモグロビンの吸収が大きい Green 成分のみを取り出す．その後，テンプレートマッチングにより体動によるブレを補正する．体動補正後画像に
対 し て ロ バ ス ト 主 成 分 分 析 (Robust principal
component analysis : RPCA)［5］を行う．RPCA
は，画素値の時間変化の小さい低ランク成分と

図 3 血流速度算出フローチャート

大きいスパース成分に分離する手法である．血図 1(b)はカラーカメラの相対感度である．レン

管や組織は画素値の時間変化が小さいため低

ズ は 対 物 レ ン ズ (#88-354, Edmund Optics Inc.,

ランク成分に，ノイズや赤血球の流れは変化がWD(Work Distance): 13.5 mm，10X/0.17)と拡大レ

大きいためスパース成分に分類される．よってンズ(AZ-3M, エヌエスライティング株式会社,

RPCA により血管や組織と赤血球の流れを分離

WD: 36.8 mm, 倍 率 : 0.7X, 1.06X, 1.6X, 2.4X,

できる．血管領域を抽出するため，低ランク画

3.5X)の 2 種類使用した．対物レンズは倍率が高像に対して Frangi の方法［6］を適用し，血管をく，拡大レンズは 5 段階で倍率が調整可能であ抽出した．その後，血管抽出画像を細線化［7］400変化を比較した．本実験は，千葉大学動物実験委員会の承認を受けている．雄系 Wistar ラット(日本エスエルシー株式会社, 12 週齢)を使用し，背部真皮の微小循環を観察した．毎回同一領域
図 4 血流の有無による時空間画像の違い(a) 血流がある場合，(b) 血流がない場合を観察するために，微小循環観察用チャンバー(図 5(a))を使用した．観察の前にチャンバーをそれぞれのラットの背部に取付けた(図 5(b))．
取付け後，敗血症モデルラットが属する Cecal
Ligation and Puncture (CLP)群(n=3)と健常ラットが属する Sham(偽手術)群(n=3)に無作為に分け，それぞれ手技を施した．敗血症モデルラットと

図 5 微小循環観察用チャンバー(a) 微小循環観察用チャンバー, (b) 取付けた様子

して CLP モデル［8］を採用した．CLP モデル
は盲腸を結紮･穿刺することで細菌性腹膜炎を起こし，敗血症に発展させる動物モデルである．
実施した CLP 群の手技手順を述べる．まず，手技開始 16 時間はラットごとに似た腸の内容物の量にするため水は自由に与えるが断食を行った．その後，開腹し腹腔から盲腸を取り出した．図 6(a)のように盲腸を回盲弁のすぐ下を 3-

図 6 手技の様子(a) 結紮, (b) 穿刺

0 絹縫合糸(SC003, 株式会社 河野製作所)で結紮し，図 6 (b)のように血管を傷つけないように
18 ゲージの針(NN-1838S, テルモ株式会社)で穿
刺し 3 つの穴を開けた．穴から内容物を押し出した．その後盲腸を腹腔内に戻し 閉腹した．

図 7 実験プロトコル

Sham 群は開腹による侵襲の影響を考慮するたすることで血管の中心線を取得した．この中心めに偽手術を行った．Sham 群は盲腸を取り出線に沿ってスパース画像の画素値を抽出･整列

したが，結紮と穿刺は行わずに腹腔に戻した．

させ，時空間画像を生成した．時空間画像の横それ以外の手技は CLP 群と同様に行った．図 7

軸は中心線上の位置，縦軸はフレーム数となっに実験プロトコルを示す．微小循環の観察は手ている．図 4 に血流の有無による時空間画像の

技直前と手技直後，その後 2 時間ごとに 10 時違いを示す．図 4(a)のように血流がある場合は，間後まで行った．観察と同じタイミングで乳酸

赤血球の流れの軌跡が時空間画像上に直線と値の計測も行った．すべての手技や観察，計測なる．血流が速いほど直線の傾きは大きくなる．
よって血流速度 v は， v  l t  tan  で表されは 2.0 %のイソフルラン(099-06571, ファイザー

る．血流がない場合は図 4(b)のように時空間画

株式会社)の麻酔下で行った．
図 8 に対物レンズを使用した取得画像を示す．

像に直線が現れない． 直線の傾き θ は，時空間Sham 群の血管密度や血流速度はあまり変化が画像に対して 2 次元フーリエ変換を利用し算出見られないが，CLP 群の血管の消失や血管径のした．

縮小が見られ血管密度や血流速度の減少が取得動画から確認された．これは敗血症により微4．実験と結果

小循環が障害されたと考えられる．図 9 に乳酸

本実験では，ラットを敗血症モデルラットと値と血流速度の推移を示す．横軸は手技終了か

健常ラットの 2 群に分け，2 群間の微小循環のらの経過時間，縦軸は乳酸値(図 9(a))，血流速度401本研究の一部は文部科学省科学研究費補助金(課題番号：16H01855, 19H01172)により行われた．
利益相反の有無
なし
文
［1］

献

M Singer, C S Deutschman, C W Seymour,et al.: The third international consensus
definitions for sepsis and septic shock(Sepsis-3). Jama 315(8): 801-810, 2016

［2］

P E Spronk, D F Zandstra, C Ince: Benchto-bedside review: sepsis is a disease of the
microcirculation. Critical care 8(6): 462468, 2004

図 8 対物レンズを使用した取得画像［3］

M Takahashi, T Kurata,

T Ohnishi:

Quantitative evaluation of blood flow
obstruction

insidestream

dark-fieldmicrocirculation
images.

withIn

Proceedings of SPIE Conference on BIOS,
San Francisco, 2017, 100680A

図 9 乳酸値と血流速度の推移(a) 乳酸値の時間変化, (b) 血流速度の時間変化［4］

C Ince: Sidestream dark field imaging: an
improved technique to observe sublingual(図 9(b))である．Sham 群の乳酸値はほとんど変microcirculation. Critical care 9(1): 72,

化がないのに対し CLP 群は上昇しており，CLP
群が敗血症に罹患していることが推測される．
Sham 群の血流速度はあまり変化していないが，

2005
［5］

E J Candès, X Li, Y Ma, et al.: Robust
principal component analysis?. Journal of

CLP 群は減少傾向が確認されている．以上より

the ACM (JACM) 58(3): 11, 2011

非接触型撮影装置を用いて 微小循環の変化を［6］取得可能であることが示唆された．

A F Frangi, W J Niessen, K L Vincken, etal.: Multiscale vessel enhancement filtering.
In International conference on medical

5．まとめ

image computing and computer-assisted

非接触型撮影装置を構築し，敗血症モデルラ

intervention 1496: 130-137, 1998

ットの微小循環を観察した．取得動画像から血［7］

流速度を算出した結果，CLP 群の血流速度の減

T Y Zhang, C Y Suen: A fast parallel
algorithm

少が確認された．したがって，非接触型撮影装

forthinning

patterns. Communications

置を用いた微小循環解析が可能であることがdigitaloftheACM 27(3): 236-239, 1984示唆された．今後は血流速度以外の微小循環評［8］

価指標の解析を行う．

K A Wichterman, A E Baue, I H Chaudry:
Sepsis and septic shock—a review oflaboratory models and a proposal. Journal

謝辞

of Surgical Research 29(2): 189-201, 1980

402

Construction of non-contact setup for microcirculation imaging andflow analysis in septic model rats
Mami KAWASAKI*1, Kazuya NAKANO*2, Takashi OHNISHI*2, Hideaki HANEISHI*2*1 Graduate School of Science and Engineering, Chiba University*2 Center for Frontier Medical Engineering, Chiba University

Sepsis is life-threatening organ dysfunction caused by a dysregulated host response to infection. At the early stage ofsepsis, it is known that the microcirculation is impaired. Thus, it is important to detect this change in the
microcirculation during septic shock to investigate the drug effectiveness of septic shock. In previous study, weobserved the microcirculation of sham rats and septic model rats with sidestream dark-field (SDF) imaging which isone of the methods to observe the microcirculation non-invasively. As a result, the blood velocity of the septic model
rats decreased. However, the SDF imaging has several problems for instance artifacts caused by pressure and heat. Its
measurement points are under pressure because the SDF imaging requires direct contact with the surface, which may
affect hemodynamics. Therefore, we constructed a non-contact setup and conducted an experiment using the setup to
observe the septic model rats and the sham rats. Moreover, we calculated the blood velocity using acquired motion
pictures. We confirmed a slight change in blood velocity of the sham rats during the observation. However, the blood
velocity of the septic model rats decreased. This finding suggests that microcirculatory alteration may be a sign ofsepsis and septic shock progression.

Key words: Microcirculation, Septic shock, Blood velocity, non-contact setup403

OP3-14

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

手術の多視点動画撮影および画像認識による自動視点切替表示
梶田

大樹*1

大石

圭*2

佳史*3

高詰

斎藤

英雄*2

杉本

麻樹*2

要旨
手術をビデオ撮影してモニターで表示することの有用性は以前から認識されている．多くの手術室には，すでに固定式の術野カメラが設置されている．しかし，これらカメラでは外科医の頭部や手によって術野の遮蔽が生じ，Open Surgery の動画活用が進まない一因となっていた．この課題を解決するために，多視点カメラで術野を撮影するという手法がある．本論文では，多視点カメラとして横 1 列のカメラアレイと，
マルチカメラ搭載型無影灯による撮影手法を提案する．多視点の映像には画像検出を適用し，認識された術野領域の大小によってカメラを自動で選択することで，遮蔽のない術野映像を表示し続ける．ただし頻繁なカメラの切り替えは動画の視聴品質(Quality of View, QoV)を損なうので，術野の表示と QoV を両立するカメラスケジューリングを適用する．また本提案手法を実際の手術に適用し，その有用性を検証する．
キーワード：手術動画，多視点カメラ，術野カメラ，術野検出，カメラスケジューリング

1．はじめに

2．関連研究手術をビデオ撮影してモニターで表示する

本研究の先行研究として，無影灯の周囲に設ことの有用性は以前から認識されている[1]．多置した 4 台のカメラ映像を自動で切り替えた研くの手術室には，すでに固定式（天井吊り下げ究を報告した[2, 3]．この手法では，無影灯が術型，無影灯内蔵型など）の術野カメラが設置さ中に移動・傾動するのに対し，カメラの角度はれている．しかし，これらカメラでは外科医の固定されているために，術中に無影灯が動かさ

頭部や手によって術野の遮蔽が生じ，手術工程

れ術野の距離が変化すると，術野が撮影されなが映らなくなる場合がある．このことは，特にくなるという課題があった．

外科医が自身の眼で術野を視認しながら手術

本提案手法は，無影灯を動かしても術野を記を行う open surgery の領域で，手術動画の活用

録し続けることを目的としている．

がなかなか進まない一因となっていた．
本論文では，多視点カメラで術野を撮影し，

3．提案手法

画像検出によって術野が映っているカメラをまず前提として，術野の周囲に多数のカメラ自動で選択することで，遮蔽のない術野映像をを設置する際には，手術の進行に支障がないよ

表示する手法について提案する．

うに注意する必要がある．
1）カメラアレイによる撮影――――――――――――――――――

手術室に備えられたカメラアームに多数の*1 慶應義塾大学医学部形成外科

カメラを設置することで，無影灯の動きとは独〔〒160-8582 新宿区信濃町 35〕

立して，視点の異なる映像を記録できる．

e-mail: jmrbx767@keio.jp

2）マルチカメラ搭載型無影灯による撮影*2 慶應義塾大学大学院理工学研究科

無影灯のライトユニットはそれぞれ傾動さ*3 慶應義塾大学医学部解剖学教室
投稿受付：2003 年 1 月 31 日

404

せ，照明の広さや明るさを調整することができる．そこでカメラをライトユニットに設置し，ライトユニットの動きによらず照明とカメラの方向が一致するようにする．
3）カメラスコアリング
先行研究[2, 3]に引き続き，Cheng, et al.[4]の手法を用いて，色とテクスチャの情報を学習して術野を検出する．あるカメラ c の時刻 t におけ
図 1 カメラアームに 6 台のカメラが設置されてる検出領域の大きさをスコア𝑠"# と定義する．

いる（矢印）

4）カメラスイッチング𝑠"# を比較してカメラを選択する．切替が過多となると視聴品質（Quality of View, QoV）を損なうため，切替が生じない最小フレーム数を視聴者が定義可能とし，先行研究[2, 3]に引き続き，
ダイクストラ法を応用して最適化を行う．

図 2 視点が横にずれた同時刻の 6 画像を並べたもの．; 上段: 3 視点で術野が見えている．; 下

4．実験

段: 1 視点でのみ術野が見えている．

実際の手術を撮影し，本提案手法の有効性を検証した．手術の映像記録および動画データの二次利用については，慶應義塾大学医学部倫理委員会で承認を得たうえで，患者本人もしくは代諾者から書面による同意を得た．
1）カメラアレイによる撮影
天井のカメラアームにカメラ（DSC-RX0, ソ
ニー株式会社）を 6 台並べて設置し，それぞれが術野に向くように傾けた（図 1）．

図 3 無影灯の 5 つライトユニットそれぞれの中

3 人の外科医が互いに頭を出して術野を観察

央に 1 台ずつカメラが設置されている（矢印）する手術においても，ほぼ全ての時間において，いずれかのカメラでは術野の映像が記録されていた（図 2）．ただし無影灯がカメラアームにぶつかると，術野が見えなくなる場合があった．
2）マルチカメラ搭載型無影灯による撮影
スタンド型無影灯（LEDX Ⅱ 5S, 第一照明株式会社）の灯体のライトユニットにそれぞれカメラ（Phoenix 3.2 MP Model, LUCID Vision
Labs Inc.）を設置し，画角が照光部に一致するよう調整した（図 3）．
やはりほぼ全ての時間において，いずれかのカメラでは術野が撮影されたが，術野に照明が図 4 ライトユニットに設置したカメラで得らあまり届かない場合には，いずれのカメラでもれた同時刻の 5 画像を並べたもの．; 上段: 4 視術野が見られないこともあった（図 4）．

点で術野が見えている．; 下段: 1 視点でのみ術野が見えているが，暗い．

405

図 5 口内の術野を検出した例．

図 6 検出結果にもとづいてカメラを選択した

例．

3）スイッチング結果

文

検出器の学習には，それぞれの映像から無作

［1］

Yan

Xiao,

献

StephenSchimpff,

Colin

「術野」の
為に選んだ約 100 枚の画像を用いた．

Mackenzie, et al.: Video Technology to

定義は，それぞれの手術が対象とする部位に応Advance Safety in the Operating Room andじて行った（図 5）．

Perioperative

このスコアによってカメラを選択し（図 6），
最小フレーム数を調整することで，良好な視点

Environment.

SurgicalInnovation 14: 52-61, 2007［2］

自動切替による映像の表示が可能であった．

大石圭, 斎藤英雄, 梶田大樹 他：マルチカメラ搭載型無影灯により記録された手術動画の自動視点切替. 動画像処

5．まとめ

理実利用化ワークショップ 2019 講演

提案手法では，外科医が普段通りに無影灯を論文集: 301-308, 2019.

操作して手術を行っても， 術 野 の 多 視 点 カ メ［3］大石圭, 斎藤英雄, 梶田大樹 他：多視ラ撮影が可能であった．今後は，VR・MR 等の点手術動画の自動視点切替. 研究報告

展開を見据え，本手法の映像に隠消現実感の技

コンピュータビジョンとイメージメデ術を適用したり[5]，自由視点映像を作成したり

ィア（CVIM） 2019-CVIM-215(18): 1-6,することも検討したい．

2019.
［4］

Li Cheng, Kris M. Kitani: Pixel-level handdetection in ego-centric video. Proceedingsof the IEEE Conference on Computer

謝辞

本 研 究 は ， JST CREST(JPMJCR14E3) ，Vision and Pattern Recognition (CVPR):

AMED(JP18he1902002h0001)の支援を受けたも

3570-3577, 2013.

のです．

［5］

前澤桃子, 大石圭, 森尚平 他：マルチカメラ搭載型無影灯を使用した手術動画を利用した作業領域の DR 表示. 2019-

利益相反の有無

CVIM-215(14): 1-5, 2019.

なし．

406

Multi-Viewpoint Video Recording for Surgery and Automated Camera
Switching by Image Recognition Technology
Hiroki KAJITA*1, Kei OISHI*1, Yoshifumi TAKATSUME*1, Hideo SAITO*1, Maki SUGIMOTO*1*1 Keio University
The usefulness of video recording and monitor display of surgery has long been recognized. In many operating rooms,
fixed surgery cameras are already installed. However, with these cameras, the surgeon's head and hands often cause
the surgical field to be occluded, and this has been a main factor in the inability to utilize the videos in the field of open
surgeries. Multiple-viewpoint camera system is one of the methods to solve this problem. In this study, we propose amulti-viewpoint camera array and multi-camera mounted shadowless lamp to record open surgeries. Image detection
is applied to multi-viewpoint images, and a camera is automatically selected according to the size of the recognized
surgical fields, thereby to display the process of the surgery without occlusion. However, frequent camera switching
impairs the quality of view (QoV) of the videos, so camera scheduling that achieves both the displayed area of thesurgical field and QoV is applied. Also, we applied the proposing method to actual surgery and verified its usefulness.
Key words: Surgical videos, Multiple viewpoint cameras, surgical cameras, Surgical field detection,
Camera scheduling407

MovieOP3-15

覚醒下脳腫瘍摘出術における術中情報を用いた
脳機能マッピング工程同定手法の提案
佐藤 生馬*1，南部 優太*1，藤野 雄一*1，堀瀬 友貴*2，
楠田 佳緒*2，田村 学*2，村垣 善浩*2，正宗 賢*2
要旨
脳腫瘍摘出手術において，熟練医は最大限の腫瘍摘出と最小限の術後合併症リスクを実現するため，患者の脳構造や機能を把握し，独自の判断プロセスにより腫瘍を切除する．この判断プロセスは，熟練医が培った知識や経験にもとづく暗黙知とされており，医療の質の向上や若手医師教育のために可視化が望まれている．本研究では，覚醒下脳腫瘍摘出術において患者毎に異なる腫瘍付近の脳機能を把握する脳機能マ
ッピング時の暗黙知の可視化に向け，術中情報を用いた脳機能マッピング工程同定手法を提案する．本提案手法では，術中 MRI やナビゲーションシステムからの位置情報および顕微鏡などからの動画より特徴量を抽出し，これらの特徴量を用いて 2 階層からなる階層型隠れマルコフモデルより，手術の流れと脳機能マッピング時の工程を可視化する．そして，過去の臨床データを用いて，本手法により手術工程を同定し，その精度を評価したので報告する．
キーワード：覚醒下脳腫瘍摘出術，手術工程，ナビゲーションシステム，機械学習，深層学習

1．はじめに

本研究では，覚醒下脳腫瘍摘出術において患

脳腫瘍摘出手術において，熟練医による手術

者毎に異なる腫瘍付近の脳機能を把握する脳では最大限の腫瘍摘出と最小限の術後合併症

機能マッピング時の暗黙知の可視化に向け，術リスクを実現するため，患者の脳構造や機能を中情報を用いた脳機能マッピング工程同定手把握し，独自の判断プロセスにより腫瘍を切除法を提案する(図 1)．そして，手術工程モデルをする．この判断プロセスは，熟練医が培った知構築し機械学習による手術工程同定を行い，そ識や経験にもとづく暗黙知とされており，医療の精度を評価する．

の質の向上や教育支援のためには若手医師な2．脳機能マッピング工程同定用手術工程

どと共有することが望まれる．そのため，本研

モデルの構築究では熟練医の判断プロセスを可視化するこ

手術工程および脳機能マッピング工程の同とで暗黙知の共有を目指す．

定するため，術中情報を用いて手術工程モデルを構築する．本研究で構築するモデルの対象として，熟練医の手技や判断プロセスが含まれるとされる覚醒下脳腫瘍摘出術における MRI 撮
像後の手術準備から腫瘍切除終了までとする．
対象とした症例の手術映像やナビゲーション
システムから取得した術具の位置を手動で記録し，手術工程の要素とした．
構築した手術工程モデルは術中の脳機能位

図 1 手術工程同定手法の外観――――――――――――――――――――*1 公立はこだて未来大学大学院
システム情報科学研究科[〒041-8655 北海道函館市亀田中野町 116-2]*2 東京女子医科大学 先端生命医科学研究所

置同定工程である脳機能マッピング工程の同定に特化させた 2 階層から構成される．この手術工程モデルは 1 階層目には摘出前処置・皮質マッピング・腫瘍摘出・白質マッピングの 4 工

408

程であり，2 階層目には皮質・白質マッピング

よび③の情報を用いて，脳へ電気刺激の工程の詳細な工程であるの電気刺激準備 および電を同定する．

気刺激・痙攣波への対処および機能野のマーキ

4. 手術工程同定精度評価実験

ングの 2 工程から構成される．

左脳に腫瘍があり覚醒下脳腫瘍摘出術を行った 1 症例

3．機械学習による手術工程同定(約 120 分)に対して，手術工程同定精本提案手法では，術中情報からの特徴量を用度を評価する．臨床データは本手法で使用する術

いて 2 階層からなる階層型隠れマルコフモデル

中 MRI 画像，顕微鏡動画， IEMAS 動画 ，ナビゲより，手術の流れと脳機能マッピング時の工程ーションシステムの術具位置情報を用いて同定すを同定する．手術工程の同定に使用する術中情る．同定は，1 秒間に 1 回の同定を行い，あらか

報は，術中 MRI やナビゲーションシステムからじめ手動で作成した正解同定結果と自動同定結果の位置情報(ログ情報)および顕微鏡や覚醒下のを比較し精度を評価した.

脳機能マッピングで使用される IEMAS からの手術工程同定精度の評価結果として，4 工程に動画である．これら複数の医療機器から得られ分類した第 1 階層の同定精度は 99.5%であり， 摘る情報から機械学習および深層学習により手出前処置は 100%，皮質マッピングは 97.1%，腫術工程の特徴量を取得する．そして，本手法では手術ナビゲーションシステムで術具のマー

瘍摘出は 95.8%，白質マッピングは 94.7%であった．皮質・白質マッピングの詳細な工程であカの遮蔽問題により，ログ情報が取得できないる 第 2 階層の同定精度の平均は 93.3%であった．

場合に対して，顕微鏡画像からの術具検出によ

皮質マッピング時の電気刺激準備および電気刺激は 96.0%， 痙攣波への対処および機能野のマーり，特徴量を補完する．
本手法における手術工程同定は，以下の 4 ス
テップで行う．①脳構造上での処置位置の取得，②使用する術具の種類の取得，③IEMAS 動画のキングは 94.9%であった．白質マッピング時の電気刺激準備および電気刺激は 90.3%，痙攣波への対処および機能野のマーキングは 91.8%の精度であった ．そして，音情報を用いた電気刺激時間の同定精度は 18.6%であり，皮質マッピング時は音声より電気刺激時の時間の取得，④取得結果
を用いた手術工程の同定．

34.4%，白質マッピング時は 2.8%であった．

① 手術ナビゲーションシステムのログ情報と

5. 結語

MRI 画像から医用画像処理によって，脳構造上の処置位置 (腫瘍内部，脳表，正常脳，脳領域外)を取得する．

本研究では，術中情報を用いて脳機能マッピン
グ工程同定用手術工程モデルの構築および手術工
程同定を行った．過去の臨床データを用いて，手② 手術顕微鏡動画から機械学習の YOLO (You
Only Look Ones)を用いて術具 (バイポーラ，
電気刺激プローブ，剪刀)を取得する．

動で作成した正解モデルと自動同定精度を評価した結果，第 1 階層の同定結果精度は 99.5%，第 2
階層では 93.3%となった．しかしながら，音情報③ IEMAS 動画の 音情報 より電気刺激装置による脳への電気刺激時の音を機械学習により，抽出して電子刺激時間を取得する．

を用いた電気刺激時間の同定精度は 18.6%であった．精度が低下した要因として，機械学習による誤検出とそれら情報を用いた同定の誤判定に原因④ ①②で取得した情報から手術工程モデルにがある．特に，音情報はノイズや出力された音がも と づ い て HHMM （ Hierarchical Hidden

急に小さくなるなどがあり，精度に影響を与えた．

Markov Model）を用いて工程を同定する．こ今後は，更なる精度向上を目指すとともに暗黙知の同定処理を 1 秒ごとに 1 回行い，リアルタ

可視化に向けた同定・解析システムの開発を行う.

イムに手術工程の同定を行う．さらに，第 1

謝辞:本研究は AMED の課題番号 JP18he1602003

階層の同定結果に前後 2 秒での多数決によの支援を受けた．

る平滑化処理を行った．その後，同定結果お利益相反の有無:「なし」409

OP3-16

GAN を用いた病理組織画像における異常組織の自動同定法
林 大誠*１，中山 良平*１，檜作 彰良*１
黒住 眞史*2，真鍋 俊明*2
要旨
本研究の目的は，正常組織のみを含む病理組織画像を GAN（Generative Adversarial Nets）に学習させることにより，病理組織画像から異常組織を自動同定するアルゴリズムを開発することである．実験試料は，ヘマトキシリン・エオジン染色された腫瘍を含む病理組織標本，腫瘍を含まない病理組織標本を倍率 20でデジタル化した画像を用いた．GAN の学習では，学習用の腫瘍を含まない病理組織画像から抽出した関心領域を GAN に入力することにより，正常組織構造をネットワークに学習させた．そして，学習済みネッ
トワークを用いて，正常組織構造とは異なる構造を有すると評価された関心領域を異常組織として同定した．学習した GAN を評価用画像データに適用した結果，正答率 91.6%が得られ，提案手法の有用性が示唆された．
キーワード：GAN，異常組織同定，病理組織画像

1．はじめにそこで本研究では，アノテーションが不要な

近年，がん罹患者数の増加に伴い，確定診断

正常組織のみを含む病理組織画像 を学習に用である病理組織診断 の件数も大幅に増大していて，正常組織とは異なる特徴を有する領域をいる．しかし病理組織診断を実施する病理医は異常組織として検知する手法を提案する．深層

年々減少し，慢性的な病理医不足が問題となっ学習を用いた異常検知の一つとして，敵対生成ている．そこで，畳み込みニューラルネットワ

ネットワーク（GAN: Generative Adversarial Nets）

ーク（CNN: Convolutional Neural Network）を用がある[4]．GAN は，Generator と Discriminator

いた病理組織の自動診断や診断支援 に関するの 2 つのネットワークで構成される．これらの研究が報告されている[1, 2]．CNN を用いた手

ネットワークの敵対的学習により，Generator は

法の多くは，病理医により手動で付与されたア

訓練データに似た新しい画像を生成し，ノテーション情報に基づき，各病理組織画像か

Discriminator は訓練データと生成画像を判別す

ら正常組織／異常組織の関心領域を抽出し，関ることが可能となる．そして，訓練データと生

心領域に対する教師データ（確定診断結果）を成画像の差分に基づき，異常検知が実施される．

CNN に学習させている[3]．しかし，多忙な病理

本研究では，正常組織の関心領域のみを用い医がアノテーションを付与する必要があり，訓て学習させた GAN の Discriminator により，病練データの構築が非常に困難な問題がある．

理組織画像の各関心領域を正常組織と異常組織に分類する．

――――――――――――――――――*1 立命館大学理工学部電子情報工学科

2．方法〔〒525-8577 草津市野路東 1-1-1〕

1）実験試料e-mail: ri0053he@ed.ritsumei.ac.jp

実験試料は滋賀県立総合病院で採取され，H*2 滋賀県立総合病院研究所＆E（ヘマトキシリン・エオジン）染色された 25
胸部病理組織標本（非腫瘍: 18 症例，腫瘍: 7 症

410

例）のデジタルスライド画像である．バーチャ

個を Generator に入力し，200×200 画像を 64 枚

ルスライドスキャナ（NanoZoomer，浜松ホトニ生成する．そして，生成画像を Discriminator にクス，浜松市）により，スキャン倍率 20 でデジ入力し，識別結果に応じて Generator を更新すタル化された．

る．Discriminator の学習は，Generator から生成した画像 32 枚，訓練データ 32 枚を Discriminator

2）GAN を用いた異常組織の自動同定に入力し，識別誤差が低下するように

本研究では，DCGAN（Deep Convolutional GAN）

Discriminator を更新する．このネットワークの[5]を病理組織画像に適する構成に変更した．

更新を 1,000,000 回になるまで，繰り返し，交互

Generator は，300 次元のランダムノイズを入力に実施する．

とする入力層，次に，正規化層，アップサンプ

最後に，正常な病理組織 の分布を学習した

リング層，畳み込み層，ReLU（Rectified Linear

Discriminator に評価用の画像を入力し，学習済

Unit）活性化関数を 1 セットとする層の組み合み分布との違いに基づき，異常組織の可能性をわせを 2 セット，そして，正規化層，畳み込み評価する．

層，tanh 活性化関数で構成される．各畳み込み層のフィルタサイズは 3 で，フィルタ数は順に

3．結果と考察64，32，3 である．Discriminator は 200×200 の

図１に腫瘍を含まない／ 含む病理組織画像

生成画像／訓練データを入力とする入力層，次と各関心領域の評価結果に基づき作成した 異に，畳み込み層，LeakyReLU 活性化関数，Dropout

常組織の可能性画像を示す．異常組織の可能性

層を 1 セットとする層の組み合わせを 4 セット，

画像において，暖色は異常組織の可能性が高く，そして，全結合層で構成される．各畳み込み層

寒色は低いことを表す．腫瘍を含まない病理組のフィルタサイズは 3 で，フィルタ数は 16，32，

織画像の異常組織可能性画像において，大部分

64，128 である．また，LeakyReLU の傾きは0.2の関心領域が異常組織の可能性が低いと正確と設定し，Dropout 層は 0.25 の割合でノード削に評価されていることがわかる．一方，腫瘍を除を行った．

含む病理組織画像の異常組織可能性画像では，

GAN の学習に用いる訓練データの作成とし異常組織の可能性が 高いと評価された関心領て，腫瘍を含まない病理組織画像から，スーパ

域が部分的に集簇している箇所がみられた．学ーピクセルおよび閾値処理により，組織を含む習した GAN を評価用 7 画像データに適用した

200×200 の関心領域を抽出した．そして，関心結果，正答率 91.6%が得られた．

領域を下式により正規化を行った．
𝑥𝑖́ =𝑥𝑖 − 127.5

(1)

127.5
GAN の各ネットワークの学習において，まず，一様分布からランダムに抽出したノイズ値 300

4．まとめ
本研究では，GAN を用いて，病理組織画像に含まれる異常組織の同定を行った．その結果，正答率 91.6%が得られ，異常組織可能性画像を腫瘍を含まない病理組織画像腫瘍を含む病理組織画像

図 1 異常組織の可能性画像

411

用いて異常組織の同定が可能であることが示唆された．
謝辞
本研究で使用した病理標本を ご提供して頂いた滋賀県立総合病院の皆様に 厚く感謝の意を表します．
利益相反の有無なし
文

献[1] Wei Shao, Liang Sun,Daoqiang Zhang: Deep
active learning for nucleus classification inpathology images. 2018 IEEE 15th
International Symposium on Biomedical
Imaging．
[2] John X. Qiu, Hong-Jun Yoon, Paul A. Fearn,
et al.: Deep Learning for AutomatedExtraction of Primary Sites From Cancer
Pathology Reports. IEEE JOURNAL OF
BIOMEDICAL AND HEALTHINFORMATICS, VOL. 22, NO. 1: 244-251,
2018[3] Sonia Mejbri, Camille Franchet, Ismat Ara
Reshma, et al: Deep Analysis of CNN Settings
for New Cancer whole-slide Histological
Images Segmentation: the Case of Small
Training Sets. 6th International conference on
BioImaging (BIOIMAGING 2019), 2019[4] Thomas Schlegl, Philipp Seeb¨ock, Sebastian
M. Waldstein, et al: Unsupervised Anomaly
Detection with Generative Adversarial
Networks to Guide Marker Discovery.
arXiv:1703.05921v1, 2017[5] Alec Radford , Luke Metz, Soumith Chintala:
Unsupervised representation learning withdeep convolutional generative adversarial
networks. arXiv:1511.06434v2, 2016

412

Computerized Scheme of Identifying Abnormal Tissues on
Pathological Images using GAN
Daisei HAYASHI*1, Ryohei NAKAYAMA*1, Akiyoshi HIZUKURI *1,
Mafumi KUROZUMI*2, Toshiaki MANABE *2*1 Science and Engineering, Ritsumeikan University*2 Shiga General Hospital Research Center
The purpose of this study was to develop a computerized scheme for identifying abnormal tissues from
pathological images using GAN which was trained pathological images including only normal tissues asanomaly detection. In this study, our database consisted of pathological images by scanning pathological
specimens with/without tumor with the magnification ratio of 20 times. Those specimens were stained with
Hematoxylin and Eosin. In training GAN phase, regions of interest (ROIs) extracted from non-tumor
pathological images were input to GAN to learn the normal tissue structure. In testing GAN phase, ROIs
with structure different from normal structure were evaluated as abnormal tissues by using trained GAN.
The computerized scheme with GAN exhibited the classification accuracy of 91.6%, and can be useful in
identifying abnormal tissues on pathological images.
Key words: GAN, pathological images, anomaly detection413

OP3-17

3 次元 CT 画像を用いたじん肺の重症度診断支援システム
森 奈々*1

日野 公貴*1

仁木 登*2

松廣 幹雄*2

加藤 勝也*3

鈴木 秀宣*2

岸本 卓巳*4

河田 佳樹*2

芦澤 和人*5

要旨
じん肺は，粉じんを肺に吸入することによって生じる職業性呼吸器疾患である．我国において毎年 24 万人
前後の粉じん労働者がじん肺健康診断を受診している．じん肺診断では胸部単純 X 線写真を用いているが近年では CT 画像を用いた定量的な診断法が検討されている．本報告では，じん肺 CT 画像の第 0 型 0/1，
第 1 型 1/0，第 1 型 1/1，第 1 型 1/2，第 2 型 2/2 からマニュアル処理によって粒状影を抽出し，じん肺 CT
画像データベースを作成する．このデータベースを用いて X 線写真の診断結果と粒状影の個数・大きさ・重症度別に解析・比較・評価・診断支援システムの開発を行う．
キーワード：CT，CAD，医用画像処理

1．はじめに型，第 4 型に分類され，第 1 型以上の患者は労

じん肺は，粉じんを肺に吸入することによっ

災認定となるが第 0 型の患者は労災認定の対象て生じる職業性呼吸器疾患である．日本の粉じとならないため正確に診断しなければならなん作業従事労働者数は昭和 60 年をピークに減い．ここで，近年では胸部 CT 検査による定量

少し，平成 12 年で 35 万人であったが，近年は的な診断法が検討されている．本報告では，じ約 50 万人前後で推移しており増加傾向となっ

ん肺 CT 画像の第 0 型 0/1，第 1 型 1/0，第 1 型ている．じん肺が進行すると肺結核・続発性気1/1，第 1 型 1/2，第 2 型 2/2 からマニュアル処

胸・肺がんなどの合併症に罹患しやすくなるた

理によって粒状影を抽出し，じん肺 CT 画像デめ，健康診断で適切な診断・治療が必要である．

ータベースを作成する．このデータベースを用

また，じん肺健康診断として胸部単純 X 線撮

いて X 線写真の診断結果と粒状影の個数・大き影や肺機能検査が実施されている．胸部単純 X

さ・重症度別に解析・比較・評価・診断支援シ

線写真によって第 0 型，第 1 型，第 2 型，第 3ステムの開発を行う．

――――――――――――――――――

2．撮影条件と手法*1 徳島大学大学院先端技術科学教育部

岡山ろうさい病院で診断されたじん肺 25 症〔〒770-8502 徳島県徳島市南常三島町 2-1〕

例(0/1‐5 例，1/0‐5 例，1/1‐5 例，1/2‐5 例，

e-mail: c501938019@tokushima-u.ac.jp

2/2‐5 例)を用いて解析を行った．撮影条件を表*2 徳島大学大学院社会産業理工学研究部

1 に示す．これらの CT 画像に(1)じん肺 CT 画

*3 川崎医科大学

像データベースの作成，(2) 粒状影の定量評価*4 岡山ろうさい病院を適用した．

*5 長崎大学

414

表1

撮影条件

加しているが 3mm 以下になると緩やかになる装置

Aquilion PRIME

管電圧[kV]120

管電流[mA]240

スライス厚[mm]1.0画素間隔[mm]0.625 , 0.781

再構成間隔[mm]

1.0

再構成関数

FC13-H,FC52

傾向が見られた．

0/1 133 個

0/1 530 個

1/0 258 個

1/0 598 個

図1

粒状影の抽出結果(1) じん肺 CT 画像データベースの作成(1)‐(a) 粒状影のマニュアル抽出
WL500，WW1500 で設定し，Axial 面を用いて右肺尖部，右肺底部，左肺尖部，左肺底部の順で抽出する．抽出は 2 回行い 1 回目と 2 回目の読影間隔は半年以上と 1 週間を置いた．1 回

10000

目と 2 回目の論理和をマニュアル抽出結果とす
る．

0/1
1/0
1/1
1/2
2/2

1000

(1)‐(b) CAD を用いた結節の自動抽出
累積頻度

本研究室で開発されている CAD の結節自動抽出結果とマニュアル抽出結果を重ね合わせ
新たに見直し，未抽出の粒状影があればじん肺

100

CT 画像データベースに追加する．

10(2) 粒状影の定量評価

11

じん肺の重症度を粒状影の個数，大きさと CT

2値，分布型によって評価する．粒状影の大きさ
図2

は，粒状影が球であると仮定して，体積から求

3

4

5 6 7
直径[㎜]

8

9 10

粒状影の直径と累積頻度められる直径と定義する．病型区分の分類に必
次に，大きさ別における粒状影数を用いてクラスタ

要な粒状影の大きさと分類数の検討をするた

リングを行った．分類結果を X 線写真の重症度分

めに各大きさ別の粒状影数でクラスタリング

類と比較すると，3mm 以上では十分に分類できを行い，クラス数を求める．

ず，2.5mm 以上の微小な粒状影の検出が必要である．また，CT 分類後の粒状影大きさ別平均 CT 値

3．結果と，部位別における粒状影の大きさと個数の関係を

第 0 型 0/1 と第 1 型 1/0 の粒状影の抽出結果

それぞれ図 3，4 に示す．2-5mm の粒状影は，同じ例を図 1 に示す．粒状影数を見ると診断結果と大きさでも分類別に CT 値の差があった．肺の部位一致しない症例があった．図 2 に粒状影の直径

別における粒状影の個数と大きさの関係では 25 症と累積頻度の関係を示す．重症度に関わらず直例中 18 症例が上部に粒状影のある割合が高く，左径 3mm 以上の粒状影では指数関数的に数が増

肺より右肺のほうが多い傾向が見られた．

415

平均CT値[HU]

文

献

200

[1] H. Suzuki, Y. Kawata, N. Niki, et al: Computer0

aided diagnosis for severity assessment ofpneumoconiosis using CT images, Proc. SPIE

-200

Medical Imaging, Vol.9785, pp.978531-1-6,

-400

2016.
[2] K. Kanazawa, Y. Kawata, N. Niki, et al:-600

Computer-aided diagnosis for pulmonary-800

nodules based on helical CT images, Comput.

2 - 3 3 - 4 4 - 5 5 - 6 6 - 7 7 - 8 8 - 9 9 - 10
直径[mm]
図3

Med. Imag. Graphics, vol. 22, no. 2, pp. 157–

CT 分類後における粒状影の大きさと平均

167, 1998.

CT 値の関係[3] Y. Kawata, N. Niki, H. Ohmatsu, et al:
Quantitative classification based on CT

粒状影数
右上部
右下部
左上部
左下部

10000

頻度

1000

histogram analysis of non-small cell lungcancer: Correlation with histopathologicalcharacteristics and recurrence-free survival,

100

Medical Physics, vol.39, no.2, pp.988-1000,
2012.

10

[4] 松廣幹雄，鈴木秀宣，河田佳樹，他：胸部マルチスライス CT 画像における葉間裂

12.5mm以上 3mm以上 5mm以上 7mm以上

図4

抽出法，電子情報通信学会論文誌，

肺の部位別における粒状影の個数と大きさのVol.J.96-D，no.4，pp.834-843，April，

関係

2013.
[5] 滝島任，中村雅夫，千代谷慶三：じん肺4．まとめ

患者の呼吸機能検査ハンドブック．真興

じん肺 CT 画像からデータベースを作成し，交易医書出版部，1991，P3-10[6] 永井厚志編：呼吸器疾患

粒状影の個数，大きさと CT 値，分布型からじ

第 3 版．日本医事新報社，2015，P241-250

ん肺の重症度を定量評価し，X 線写真の診断結果と比較・評価した．今後の課題として多[7] K. Hino, M. Matsuhiro, H. Suzuki, et al:症例の粒状影を統計解析し，高精度なじん肺

Quantitative assessment for pneumoconiosis

診断支援システムの開発を目指す．

severity diagnosis using 3D CT images, Proc.
SPIE Medical Imaging, Vol.10575,
pp.105753J-1-6, 2018.
[8] 日野公貴，松廣幹雄，鈴木秀宣，他：胸利益相反の有無部 3 次元 CT 画像を用いたじん肺の重症度なし

診断基準に関する粒状影の定量的評価，
電子情報通信学会技術研究報告医用画
像，Vol.118，No.286，pp.13-15，2018.11

416

A Computer Aided Diagnosis system for pneumoconiosis severity
using 3D CT images
Nana Mori*1,Koki Hino*1, Mikio Matsuhiro*2, Hidenobu Suzuki*2,Yoshiki Kawata*2,Noboru Niki*2
Katsuya Kato *3, Takumi Kishimoto *4 , Kazuto Ashizawa *5*1 System Innovation Engineering Graduate School of Advanced Technology and
Science The University of Tokushima*2 Tokushima University*3 Kawasaki Medical School*4 Okayama Rosai Hospital*5 Nagasaki University

Pneumoconiosis is an occupational respiratory illness that occur by inhaling dust to the lungs. 240,000 participants arescreened for diagnosis of pneumoconiosis every year in Japan. Radiograph is used for staging of severity rate inpneumoconiosis worldwide. CT imaging is useful for the differentiation of requirements for industrial accident
approval because it can detect small lesions in comparison with radiograph. In this paper, we extracted lung nodules
from 3D pneumoconiosis CT images by two manual processes and automatic process, and created a database ofpneumoconiosis CT images. We used the database to analyze, compare, and evaluate visual diagnostic results ofradiographs and quantitative assessment (number, size and volume) of lung nodules. This method was applied to 25
pneumoconiosis patients. Initial results showed that the proposed method can assess severity rate in pneumoconiosis
quantitatively. And we analyzed the CT values and the distribution types of result. This study demonstrates
effectiveness on diagnosis and prognosis of pneumoconiosis in CT screening. .

Key words: X-ray image, CT，Medical image processing

417

OP3-18

Generative adversarial network を用いた肺結節の 3 次元 CT
画像の生成
西尾瑞穂*1,2 野口峻二郎 3 尾上宏治 2 子安翔 2 八上全弘 1,2
村松千左子 4 藤田広志 4 富樫かおり 2
要旨
GAN による肺結節の 3 次元 CT 画像の生成を行い，放射線科医による評価を行った．LUNA16 のデータセ
ットの 888 セットの 3 次元 CT 画像，1415 個の肺結節を用いて，GAN の学習データとした．トレーニングには 1281 個，テストには 134 個の肺結節を利用し，L1 loss と GAN loss を混合したものを最適化のためのロスとした．学習時には random erasing をベースにした data augmentation を行った．テスト用の 134 個の肺結節につき，ランダムに真の肺結節と生成された肺結節を提示し，二名の放射線科医が評価した．放射線科医には真の肺結節である確信度を入力させた．放射線科医の AUC は 0.705 と 0.891 であった．正診率は71.6%と 81.3%，感度は 71.0%と 78.3％，特異度は 72.3%と 84.6%であった．GAN により真偽の判断が難し
い肺結節画像を生成できる可能性が示された．
キーワード：肺結節，CT，深層学習，敵対的生成ネットワーク

1．はじめに深層学習が効果を発揮するためには大量の学

近年，画像認識などで深層学習がめざましい

習データが必要であり，医用画像では個人情報成果をあげており，深層学習の医療への応用に

保護や画像収集コストが高いことなどから大も期待が寄せられている．一般に医用画像の診量の学習データを用意することは容易ではな

断支援には高度な画像認識が必要であり，深層い．そこで，Modeling/Simulation 技術を用いて学習は医用画像の診断支援の医療機器開発に

擬似の医用画像を生成し，それを医療機器開発

効果が高いと期待されている．しかしながら，に活用するという方法が考えられる．
論文［1］によると，米国の Food and Drug――――――――――――――――――

Administration は医療機器開発において治験の1 京都大学附属病院 先制医療・生活習慣ような randomized controlled trial は必ずしも必病研究センター

要ないと考えているとのことである．論文［1］2 京都大学大学院医学研究科 放射線医

では医療機器開発に randomized controlled trials

学講座（画像診断学・核医学）が不必要な場合，これに代わるものとして

3 大阪赤十字病院 放射線診断科

Modeling/Simulation 技 術 の 活 用 が 期 待 さ れ て

4 岐阜大学工学部電気電子・情報工学科

おり，擬似の医用画像の生成にはこうした活用が期待できる．

* 責任著者：西尾瑞穂．〒606-8507

京都

敵 対 的 生 成 ネ ッ ト ワ ー ク (generative

市 左 京 区 聖 護 院 川 原 町

53 ．

adversarial network，GAN)は深層学習による画像生成の手法で［2］，過去 10 年で最も興味深い

jurader@yahoo.co.jp418

アイデアの機械学習の手法と評されることがの肺結節，テストに 134 個の肺結節を利用した．

ある．オリジナルの GAN は画像を生成する

個々の肺結節に対し 40x40x40 voxels の volume

Generator と 生 成 画 像 と 実 画 像 と を 鑑 別 す る

of interest をセットして CT 画像を切り出し，そDiscriminator の二つから構成される．Generatorの CT 値を 1000 で除算して正規化を行った．改は任意の乱数データから Discriminator を騙す

変した 3 次元 Resnet を generator，改変した 3 次

画像を生成するように学習を行い，

元 VGG を discriminator とし，GAN を構成した

Discriminator は 実 画 像 と Generator に よ る 生［4］［5］．これは pix2pix のネットワークの 3D

成画像とを鑑別できるように学習を行う．

版に相当するものである［4］［5］．L1 loss と本研究の目的は GAN を用いて肺結節の 3D のGAN loss を混合したものをネットワークの最CT 画像の生成を行うことである．将来的には適化のためのロスとした．

生成画像が医療機器開発 に有用かどうかを検学習時には random erasing をベースにした討する予定であるが，本研究では GAN で生成

data augmentation を行った［4］［6］．図 1 にそされた擬似肺結節の病変としての妥当性を検の例を示す．本研究では GAN の学習の際には，証することを主目的とする．

真の肺結節の画像の結節部分に対して randomerasing に相当する処理を行い，その画像を用い

2．方法て GAN による肺結節の生成を行った．

本研究は既存の公開済みデータベースを用

テスト用の 134 個の肺結節につき，ランダムいた研究であり，日本の人を対象とする医学系に真の肺結節と生成された 擬似の肺結節を提研究に関する倫理指針に従えば指針の対象外

示し，二名の放射線科医が評価した．放射線科となる．

医には真の肺結節である確信度を入力させ，そ本研究では LUNA16［3］のデータセットに含れを用いて ROC 解析による Area under the curve

まれる 888 セットの 3 次元 CT 画像，1415 個の(AUC) を計算した．

肺結節を用い，このうちトレーニングに 1281 個

（A）

（B）

（C）

図 1 真の肺結節の画像，GAN の入力に使われた画像，生成された肺結節の画像．
(A)(B)(C)はそれぞれ真の肺結節の画像，GAN の入力に使われた画像，生成された肺結節の画像である．(A)(B)(C) の上段・中段・下段は同一の肺結節の横断像，冠状断像，矢状断像の 3 スライスの画像である．(B)は，(A)から random erasing に相当する処理を行い，肺結節の全体もしくは一部を削除したものである．GAN は(B)から(C)を生成する．(A)と(C)との間で，L1 loss と GAN loss を混合したものを低減するように GAN の学習が行われる．

419

3．結果

4．まとめ

肺結節を評価した二名の放射線科医の AUC

GAN によって，放射線科医による真偽の判断

は 0.705 と 0.891 であった．正診率は 71.6%とが難しい肺結節の 3 次元 CT 画像の肺結節を生

81.3%，感度は 71.0%と 78.3％，特異度は 72.3%

成できる可能性が示された．

と 84.6%であった．ここで，感度は放射線科医が真の肺結節を真の肺結節と評価した割合，特謝辞

異度は擬似肺結節を擬似肺結節と評価した割

本研究は JSPS 科研費 JP19H03599 の助成を受合とした．生成された擬似結節の画像を図 2，3けたものです．

に示す．
利益相反の有無
なし．
文
［1］

献

Faris O, Shuren J. An FDA Viewpoint on
Unique Considerations for Medical-Device
Clinical Trials. N Engl J Med. 2017 Apr
6;376(14):1350-1357.

［2］

Salimans T, Goodfellow I, Zaremba W,
Cheung V, Radford A, Chen X. Improved
TechniquesforTraining

GAN.

arXiv:1606.03498
図 2 放射線科医が真の肺結節と評価した擬似［3］

LUNA16.

https://luna16.grand-challenge.org/

結節［4］

Jin D, Xu Z, Tang Y, Harrison AP, Mollura
DJ.

CT-Realistic

Lung

Simulation

fromGenerative

Adversarial

Robust3D

Lung

NoduleConditional
Networks

forSegmentation.

arXiv:1806.04051［5］

Isola P, Zhu JY, Zhou T, Efros AA. Imageto-Image Translation with Conditional
Adversarial Networks. arXiv:1611.07004［6］

Zhong Z, Zheng L, Kang G, Li S, Yang Y.
RandomErasingarXiv:1708.04896
図 3 放射線科医が容易に擬似結節と評価した
擬似結節

420

Data

Augmentation.

Generation of 3D CT images of lung nodule using generative adversarial
networkMizuho Nishio*1,2, Shunjiro Noguchi3, Koji Onoue2, Sho Koyasu2, Masahiro Yakami1,2, Chisako Muramatsu4, Hiroshi
Fujita4, Kaori Tokashi2

1 Preemptive Medicine and Lifestyle-related Disease Research Center, Kyoto University Hospital
2 Department of Diagnostic Imaging and Nuclear Medicine, Kyoto University Graduate School of Medicine
3 Department of Radiology, Osaka Red Cross Hospital
4 Department of Electrical, Electronic and Computer Engineering, Faculty of Engineering, Gifu University* Corresponding author

Generation of 3D CT images of lung nodule was performed using generative adversarial network (GAN), and thegenerated images were evaluated by radiologists. 1415 lung nodule depicted on 888 sets of 3D CT images were used,which were obtained from LUNA16. Mixture of L1 loss and GAN loss were utilized for optimization target of GAN
network. Data augmentation based on random erasing was performed during training of GAN. For test set of 134 lungnodules, either true lung nodule or generated nodule were given to two radiologists, then the two radiologists recorded
their confidence score of being true nodule. Receiver operator characteristics analysis was performed, and area under
the curve (AUC) was calculated. AUC of the two radiologists was 0.705 and 0.891, respectively. Accuracy, sensitivity,and specificity of the two radiologists were as follows: accuracy, 71.6% and 81.3%; sensitivity, 71.0% and 78.3％;
specificity, 72.3% and 84.6%. These results indicate that it might be possible to generate lung nodules which weredifficult for radiologists to judge whether the lung nodules are true nodules or not.

Key words: lung nodule, CT, deep learning, generative adversarial network421

OP3-19

眼底画像における OCT 検査結果を用いた CNN による
網膜神経線維層欠損解析
渡邊

颯友*1

村松 千左子*2 周
原向栄*3

畑中 裕司*4

武史*3 藤田 広志*3

要旨
緑内障は日本における中途失明原因の第 1 位とされており，40 歳以上の 20 人に 1 人が緑内障と推定されている．しかし，早期の緑内障は自覚症状が非常に少ないため，早期発見のためには定期検査が必要である．定期検査の中でも特に眼底検査では，緑内障診断の指標の一つとして網膜神経線維層（RNFL）欠損の有無を調べる．また，OCT 検査は精密検査であり，網膜神経線維層の厚みを定量する．しかし，定期検査においては一般的に OCT 検査ではなく眼底検査が行われる．そこで，我々は同時期に得られた眼底画像とOCT 検査結果をそれぞれ学習データ、教師データとして全畳み込みニューラルネットワークの学習を行い，眼底画像単体から RNFL が薄い領域を特定するコンピュータ支援診断システムを構築した．評価方法は，
視神経乳頭中心部から眼底画像を 8 方向に分割し，各領域の一致率を調べた．結果として，眼底画像単体
から OCT 検査結果を用いて RNFL を解析することに成功した．
キーワード：緑内障，網膜神経線維層欠損（NFLD），眼底画像，OCT

1．はじめにとして網膜神経線維層欠損（NFLD）の有無を調

緑内障は日本における中途失明原因の第 1 位

べる．NFLD は，最も早期に生じる緑内障性眼とされており，40 歳以上の 20 人に 1 人が緑内底変化であり，網膜神経線維層（NFL）への障

障と推定されている[1]．しかし，早期の緑内障

害が厚みの減少として現れる[2]．また，OCT 検

は自覚症状が非常に少ないため，早期発見のた

査は精密検査であり，網膜神経線維層の厚みをめには定期検査が必要である．定期検査の中で定量する．しかし，定期検査においては一般的も特に眼底検査では，緑内障診断の指標の一つに OCT 検査ではなく眼底検査が行われる．そ――――――――――――――――――のため，定期検査において，眼底画像を用いて*1 岐阜大学大学院自然科学技術研究科

OCT 検査のような精度の高い検査を行うこと

知能理工学専攻ができれば，緑内障の早期発見に有益となる．

〔〒501-1193 岐阜市柳戸 1-1〕

本研究では，同時期に得られた眼底画像とe-mail: naberyu@fjt.info.gifu-u.ac.jp

OCT 検査結果を組み合わせて深層学習を行い，*2 滋賀大学データサイエンス学部

眼底画像上で NFLD を解析することによって，*3 岐阜大学工学部電気電子・情報工学科

眼底画像単体における NFLD の診断精度向上を*4 滋賀県立大学工学部電子システム工

目指した．

学科
投稿受付：2019 年 3 月 29 日

422

ことで，候補領域の削除を行った．

2．方法
最初に，眼底画像(図 1)と OCT 眼底画像(図 2)

評価方法は，全 133 症例のうち，データセッから血管画像を作成した．まず，眼底画像の緑

ト 1，データセット 2，データセット 3 を 27 症

色(G)成分に対して，ブラックトップハット変換

例とし，データセット 4，データセット 5 を 26

を行うことで，血管領域を抽出し，眼底血管画症例として，5 分割交差検証を行った．結果画像(図 3)を作成した．また，眼底血管画像を用い像の評価では，視神経乳頭を中心として，教師て血管消去画像(図 4)を作成した．同様に OCT

画像を 8 方向に分割し，各方向の不正解数，一

眼底画像に対してもブラックトップハット変致率，真陰性率を評価に用いた．

換を行うことで，血管領域を抽出し，OCT 血管

本研究は岐阜大学の倫理審査委員会の承認

画像(図 5)を作成した．

を得ている．

次に，作成した血管画像と OCT 血管画像は，モダリティが異なるため，位置合わせを行った．
まず，血管画像と OCT 血管画像の抽出結果は，
視神経乳頭部分で大きく異なるため，OCT 厚み
マップに示される DISC 領域を用いて，OCT 血管画像から視神経乳頭部分を削除した．その後，
眼底血管画像上の視神経乳頭部分を中心とした 220×220 のテンプレートを作成し，OCT 血管画像上でテンプレートマッチングを行うこ

図 1 眼底画像

図 2 OCT 眼底画像

図 3 眼底血管画像

図 4 血管消去画像

図 5 OCT 血管画像

図 6 OCT カラーマップとで，位置合わせを行った．位置合わせの際は，x，y 軸に対して平行移動，回転，拡大・縮小のずれが見られたため，x 軸(-25≦x≦25，1 ピクセルずつ)，y 軸(-25≦y≦25，1 ピクセルずつ)，
回転(±8 度，2 度ずつ)，拡大縮小(75~100%，5%ずつ)の範囲で画像に変化を加えて位置合わせを行った.また，時間短縮のために，血管画像と
OCT 血管画像は半分の大きさにリサイズした
後に位置合わせを行い，評価値には SAD を用いた．
血管画像の位置合わせに用いた値をもとに，眼底画像と OCT カラーマップ(図 6)に対しても同様に位置合わせを行った．その後，位置合わせを行った OCT カラーマップから，RNFL 厚がデータベース平均と比較して小さい領域(赤色領域)とやや小さい領域(黄色領域)を抽出し，教師画像を作成した．
そして，眼底画像を学習画像とし，ペアとなる教師画像とを FCN に入力し，深層学習を行っ

3．結果

た．データ拡張には，γ変換と左右反転を使用

5 つのデータセットの平均は，1 症例当たり

し，学習回数は 40epochs とした．

の不正解数は 1.79(方向)，正解率は 40%，真陰

最後に，出力画像にラベリングを行い，面積の性率は 70%となった．

小さい NFLD 候補領域に対して閾値処理を行う

423

謝辞

4．考察
OCT 検査結果は詳細な情報を含んでおり，そ本研究の一部はマツダ財団による研究助成の情報を使用することにより，眼底画像上でと文部科学省科学研究費補助金(新学術領域)

NFLD 領域を解析することができたが，一致率(No. 26108005)により行われました

が 50%に満たない領域が多く存在した．これは学習画像，教師画像共に NFL 厚が減少している

利益相反の有無領域の境界線が曖昧であることが原因の一つなしであると考えられる．そのため，今後は一致率に加え類似度などを考慮した 学習方法を検討

文する必要があると考える．

［1］

献Yamamoto T, Iwase A, Araie M, et al.: The
Tajimi study report 2: prevalence ofprimary angle closure and secondary

5．まとめ

glaucoma

眼底画像と OCT 検査結果を組み合わせた学

Ophthalmology 112: 1661-1669, 2005

習を行うことで，眼底画像上で RNFL を解析す

［2］

ることに成功した．

inaJapanese

population.

井上洋一：どう診る？緑内障視神経乳頭，メジカルビュー社，東京，2006，pp8093

424

Analysis of nerve fiber layer defects on fundus images using CNN
trained with OCT data
Ryusuke WATANABE*1, Chisako MURAMATSU*2, Xiangrong ZHOU*3, Yuji HATANAKA*4, Takeshi HARA*3,
Hiroshi FUJITA*3*1 Department of Intelligence Science and Engineering, Graduate School of
Natural Science and Technology, Gifu University*2 Department of Data Science, Shiga University*3 Department of Electrical, Electronic and Computer Engineering, Gifu
University*4 School of Engineering, The University of Shiga Prefecture

Glaucoma is the first leading cause of blindness in Japan. However, glaucoma only has a few warning signs or
symptoms. Thus, screening is important to detect glaucoma in early stages. Fundus examination, in which fundus
photographs are used, is one of the screening methods for the detection of nerve fiber layer defect (NFLD). In contrast,
optic coherence tomography (OCT) examination is not a screening, but a complete check-up, in which the thickness of
the whole retina as well as the thickness of the retinal nerve fiber layer is measured. Therefore, we investigated thelearning system using both a fundus photograph and OCT examination result to perform a better analysis on fundus
examination using the fundus alone. A convolutional neural network (CNN) with deconvolutional layers was trained
to detect regions with decreased NFL. As to the evaluation, we divided the output image of CNN into eight segments
around the optic nerve head. In each segment, the detected region was considered as a true positive if more than half ofthe region was overlapped with the gold standard regions. As a result, we could analyze NFL on fundus images using
CNN trained with OCT data.

Key words: Glaucoma, Nerve Fiber Layer defect (NFLD), Fundus Image, OCT

425

OP3-20

小児腸閉塞患者の CT 像における
CycleGAN を用いた電子洗浄手法の検討
西尾

光平*1

檜

小田 紘久*1

千馬 耕亮*2

伊東隼人*1

小田 昌宏*1

顕成*2

内田 広夫*2

森

北坂 孝幸*3

健策*1,4,5

要旨
本研究では，小児腸閉塞患者の CT 像における，CycleGAN を用いた電子洗浄手法を提案する．これまでの腸管閉塞部位検出手法は造影されていない残渣を含んだ腸管を対象としており，残渣と濃度値の類似した腹水などを誤抽出する場合があった．そこで，腸管内の濃度値を空気と同程度に変換し，残渣が含まれていない CT 像の生成（電子洗浄）を目指す．多くの電子洗浄手法は残渣が造影された CT 像に対する手法であり，血液の造影のみである小児腸閉塞患者の CT 像に適用することは困難である．そこで，本研究ではCycleGAN を用いた電子洗浄手法について検討する．残渣の多い小児腸閉塞患者の CT 像と残渣の少ない大腸 CT 検査画像を学習データとして，CycleGAN による双方向それぞれの画像生成モデルを学習する．その後，残渣の多い画像から残渣の少ない画像への生成モデルを小児腸閉塞患者の CT 像に適用する．実験の結果，小児腸閉塞患者の CT 像から残渣の少ない CT 像を得ることができた．
キーワード：Computer-Aided Detection (CADe)，腸閉塞，電子洗浄，小児外科

1．はじめに断の経験の浅い医師には容易でなく，自動で閉腸閉塞（イレウス）患者の約 5 分の 1 は，放塞部位を検出し，診断を支援するシステムが求置すると腸管壊死等の重篤な状態を引き起こめられる．

すため，緊急手術が行われる [1]．手術が必要

イレウス診断では，血管造影 CT 像により腸か否かの判断には，腹部 CT 像において拡張し壁を造影することで，拡張した腸管を辿ることた腸管を辿り，閉塞部位の位置や状態を確認すを容易にしている（図 1 参照）．従来研究では，る必要がある．これは，救急医などイレウス診

この腸壁が造影されていることに着目し，拡張した腸管を抽出し探索することにより腸管閉――――――――――――――――――

塞部位の検出を行った [2]．しかし，とりわけ*1 名古屋大学大学院情報学研究科〔〒464-8601

小腸では，腸管内に含まれる残渣が腹水等と濃名古屋市千種区不老町〕

度値の差が小さいことや，腸管は複雑に折り重e-mail: knishio@mori.m.is.nagoya-u.ac.jp

なっており，精度が低下する問題があった．そ*2 名古屋大学大学院医学系研究科

こで本研究では，抽出が困難である残渣を電子*3 愛知工業大学情報科学部

的に洗浄し，残渣が含まれていない CT 像を生*4 名古屋大学情報基盤センター

成することで腸管閉塞部位検出 の精度向上を*5 国立情報学研究所医療ビッグデータ
研究センター

426

(a)

(b)

図 1 血管造影 CT 像の例．(a) 腸壁の判別が困難な例．(b) 腸壁の判別が容易な例

目指す．多くの電子洗浄手法は残渣が造影され像と残渣を含む画像から G によって生成された CT 像に対する手法であり，小児腸閉塞患者た画像を正しく識別するように モデルを学習の CT 像に適用することが困難である．そこで，するのに対し，生成器 G は変換前の画像と識別

本研究では CycleGAN [3]を用いた電子洗浄手できない画像を生成するように モデルを学習法について検討する．

する．識別器 DX ，生成器 F も同様にモデルを

2．手法学習する． さらに，変換前の画像と対応した画本手法は，残渣を含む小児腸閉塞患者の CT像を生成するため，サイクル一貫性を利用する．

像と残渣を含まない大腸 CT 検査画像を学習デ生成器 G により生成した画像から生成器 F をータとし，CycleGAN による双方向それぞれの用い生成した画像は元の画像と一致している

画像生成モデルを学習する．得られた残渣を含ことが望ましい．その逆のサイクルを含め，

む CT 像から残渣を含まない CT 像を生成するℒcyc 5 𝔼x~P(x) [ || F(G(x)) – x ||1 ]モデルにより残渣を電子的に洗浄する．手法の+ 𝔼y~P(y) [|| G(F(y)) – y ||1]

概要図を図 2 に示す．2 つの生成器 G, F はそれ(1)を最小化するようモデルを学習する．

ぞれ，残渣を含む画像から残渣を含まない画像

学習に用いる残渣を含む画像は，それぞれ小に変換する生成器(G) とその逆の残渣を含まな

児腸閉塞患者の血管造影 CT 像から残渣を含むい画像から残渣を含む画像へ変換する生成器

腸管がパッチ内に 10%以上含まれるパッチを(F)である．また，2 つの識別器 DX, DY はそれぞAxial 平面から切り出し，使用する．同様に，残れ，変換前の画像と生成画像を識別する識別器

渣を含まない画像は，成人の大腸 CT 検査画像

である．識別器 DY 残渣を含まない変換前の画から残渣を含まない腸管パッチ内に 10%以上含まれるパッチを Axial 平面から切り出し，使用する．また，CT 像の Axial 平面上で-60~60 度の回転をランダムに行い，パッチを切り取る．
3．実験と結果
小児腸閉塞患者の血管造影 CT 像 7 症例，成人の大腸 CT 検査画像 8 症例を用い，実験を行った．CT 像の仕様は，画像サイズ 512×512×(257701)画素，ピクセルサイズ 0.39-0.63 mm，スラ
イス間隔 0.40-1.00 mm であった．それぞれ 2 症例ずつをテストデータ，それ以外の症例を学習データとする．パッチサイズを 128×128 画素（残渣を含む腸管のパッチ：2464 枚，残渣を含まない腸管のパッチ：2385 枚）， 𝜆 55 とし，

図 2 手法の概要図427

図 3 パッチごとの結果例．上：変換前の画像．下： 生成画像

図 4 スライスの結果例．左：変換前の画像．右： 生成画像

200epoch モデルの学習を行った．学習後，小児

5．むすび

腸閉塞 CT 像のテストデータからランダムで切

本稿では，CycleGAN による造影されていなり出したパッチに対し，残渣を含む画像から残い残渣を含む CT 像からの電子洗浄手法を提案

渣を含まない画像へ変換する生成器 G を適用した．小児腸閉塞患者の CT 像から残渣の少なし生成した画像の例を図 3 に示す．また，スラ

い良好な CT 像を得ることができた．今後，電イスから 64 画素間隔でパッチを切り出し，生

子洗浄の精度向上を図るとともに，腸管閉塞部

成器 G を適用し生成した結果を組み合わせて

位検出精度の比較により定量評価を行うこと

結果のスライスを作成した（図 4）．生成した結を考えている．

果が重なっている部分は平均値とした．

謝辞

本研究の一部は堀科学芸術振興財団，

4．考察

JSPS/MEXT 科 研 費(26108006, 17H00867,

提案する CycleGAN を用いた電子洗浄手法に

17K20099)，AMED-NII (19lk1010036h0001) ならより，造影されていない残渣を含む CT 像からびに JSPS 二国間交流事業によった．

残渣を含まない CT 像を生成することが可能で利益相反の有無

あった．また，残渣を含まない CT 像を生成すなし
文ることで腸管閉塞部位検出の精度向上に対し［1］ても有用であると考えられる． しかし，腸管が

加藤治文

献

他編 ：標準外科学第 13 版．

医学書院，2013

大きく拡張していない，一部の腸管しか写って

［2］

西尾光平

他：Fast Marching Algorithm

いないなど残渣を含む腸管が小さく写る画像に基づく小児 CT 像からの腸管閉塞部において，残渣を含まない画像の生成に失敗す

位検出手法．第 37 回日本医用画像工学会大会: 90-92, 2018

ることを確認した．そのため，パッチの切り出す部分により残渣が残り，図 4 で示すように残［3］

Zhu J, Park T, Isola P, Efros A: Unpaired

渣を完全に消すことが出来なかったと考えら

Image-to-Image Translation using Cycle-

れる．

Consistent Adversarial Networks. ICCV:
2223-2232, 2017428

A Study on Electronic Cleansing using CycleGAN
on CT Volumes of Pediatric Ileus Patients
Kohei NISHIO *1, Hirohisa ODA *1, Kosuke CHIBA*2, Takayuki KITASAKA*3,
Hayato ITOH *1, Masahiro ODA *1, Akinari HINOKI*2, Hiroo UCHIDA*2, Kensaku MORI*1,4,5*1 Graduate School of Informatics, Nagoya University*2 Nagoya University Graduate School of Medicine*3 School of Information Science, Aichi Institute of Technology*4 Information Technology Center, Nagoya University*5 Research Center for Medical Bigdata, National Institute of Informatics

In this paper, we propose electronic cleansing on CT volumes of pediatric intestine obstruction patients that bloodvessels are contrast enhanced. Our previous obstruction detection method was designed to process intestines that containnon-contrast-enhanced residual materials. This method segments regions of outside intestines, e.g. abdominal dropsy,
which have similar intensities residual materials. We replace intensities of voxels inside the intestines by those of the air
to generate CT volumes that do not contain residual materials. Since intestines that contain non-contrast-enhanced
residual materials, conventional electronic cleansing methods cannot be applied. Therefore, we introduce CycleGAN
for electronic cleansing. We produce bidirectional image translation models between 1) pediatric CT volumes of ileus
patients that contain much amount of residual materials, and 2) CT volumes for CT colonography that contain little
amount of residual materials. Using the models, 1) the pediatric CT volumes are converted as if 2) CT volumes for CT
colonography. Experimental results showed that CT volumes that contain less amount of residual materials wereobtained from pediatric CT volumes.

Keywords: Computer-Aided Detection (CADe), Ileus, Electronic cleaning, Pediatric surgery429OP3-21

低線量 CT 画像に基づいた骨ミネラル量の推定法
山田

凌大*1

原 武史*1

石原

匡彦*2

片渕

哲朗*3 藤田 広志*1

周

向栄*1

要旨
核医学画像の定量解析の中で，骨に集積する放射性薬剤の SUV の計算では，全身の骨ミネラル量の測定が重要である．本研究は，低線量 CT 画像を用いた骨ミネラル量の推定法の開発を目的とした．等方化した
CT 画像に閾値処理や空間フィルタを利用し，骨格抽出を行う．骨格の MIP 画像を基に骨面積を定める．
骨面積に骨密度を乗じた値を骨ミネラル量の推定値とする．日本人健常者 2411 人に対し行われた体組成計
測における DXA の測定データにより，全身の骨ミネラル量の回帰式が定められている．この回帰式から算出される症例の全身の骨ミネラル量と，107 症例の CT 画像に基づき推定した胴部骨ミネラル量の相関係数
は 0.86 であった．また，骨格を解剖学的構造に基づいて分類し，部位ごとの骨ミネラル量の推定も可能である．以上より，CT 画像に基づく骨ミネラル量の定量解析の有用性が示唆された．
キーワード：骨ミネラル量，低線量 CT 画像

本研究では，PET/CT 検査で撮像された低1．はじめにPET 検査や SPECT 検査といった核医学検

線量 CT 画像 107 症例から骨格を抽出し，骨査は悪性腫瘍の診断に用いられている．放射ミネラル量を推定する方法の開発を目指した．

性薬剤の集積程度の判定量的指標としてStandardized Uptake Value(SUV)が扱われてい2．方法

る．SUV は，患者の単位体重あたりの薬剤投等方ボクセル化した CT 画像から，閾値処

与量に対する組織の薬剤集積量の比で表され理やラプラシアンフィルタにより骨格を抽出る．SUV を骨のみに適用することを考えると，する．また，解剖学的構造に基づき，細線化

このときの SUV は，単位骨量（骨ミネラル量）

処理等を用いて，骨格を頭部，脊柱，腕部，あたりの薬剤投与量に対する骨組織の薬剤集骨盤，脚部に分類する[1]．骨格の MIP 画像を積量の比となる．骨についての SUV の計算に作成し，骨面積を定める．骨面積に骨密度をは骨ミネラル量の測定が重要となる．

乗じた値を骨ミネラル量の推定値とする．骨密度には，日本人健常者 2411 人を対象に行っ――――――――――――――――――た体組成計測データ[2]による，年代別平均骨*1 岐阜大学大学院自然科学技術研究科

密度を用いる．

知能理工学専攻〔〒501-1194 岐阜県岐阜市柳戸 1-1〕

3．実験

e-mail: ryama@fjt.info.gifu-u.ac.jp

体組成計測データ[2]において，DXA の測定*2 岐阜大学医学部附属病院放射線部

結果により，年齢，性別，身長，体重を変数*3 岐阜医療科学大学保健科学部とする全身の骨ミネラル量の回帰式が定めら430れている．回帰式より算出される全身の骨ミ
ネラル量と，本手法により求められる骨ミネ
ラル量との相関係数を求める．
なお，使用した CT 画像には撮像時の患者の姿勢や撮像範囲の違い（図 1）があるため，頭部，腕部，脚部を除き（図 2），胴部のみの骨ミネラル量の算出値を用いた．

図3

BMI 別散布図

5．まとめ
低線量 CT 画像から骨格を抽出し，骨ミネ
ラル量の推定を行った．本手法により推定した胴部の骨ミネラル量と，体組成計測データの回帰式から算出される全身の骨ミネラル量との相関係数は 0.86 と強い相関を示した．CT

図 1 使用画像の MIP 画像

画像を利用することで，より正確な骨ミネラ
ル量の推定が可能であることが示唆された．

謝辞
本研究を進めるにあたり，有益なご助言をいただきました研究室の方々に感謝の意を表します．本研究の一部は，文部科学省科研費・新学術領域研究（26108005）および基盤研究
図 2 胴部のみの MIP 画像

C（17K10455, 18K12102）の補助によって行われました．

4．結果
本手法により求められた胴部の骨ミネラル

利益相反の有無

量と，回帰式より算出される全身の骨ミネラなし

ル量との相関係数は 0.86 であり，強い相関を示した．

文

縦軸を胴部の骨ミネラル量，横軸を全身の［1］

献林達郎，周向栄，原武史

他：体幹部

骨ミネラル量とし，BMI によって色を変えて

X 線 CT 像における自動的な骨格の構プロットした散布図を示す（図 3）．BMI が高造認識手法の開発．第 25 回日本医用

い程，全身の骨ミネラル量に対し胴部の骨ミ

画像工学大会,OP3-4,2006

ネラル量が低くなる傾向が見られた．回帰式［2］

Ito H, Ohshima A, Ohto N, et al.:では体重が重い程骨ミネラル量が高く算出さ

Relation between body composition andれるが，本手法では体重による影響を受けず

ageに骨ミネラル量の推定が行えている．

European Journal of Clinical Nutrition

inhealthy55, 462-470, 2001

431

Japanese

subjects.

Estimation of bone mineral content based on low-dose CT images
Ryota YAMADA*1, Tadahiko ISHIHARA*2, Takeshi HARA*1, Xiangrong ZHOU*1,
Tetsuro KATAFUCHI*3, Hiroshi FUJITA*1*1 Department of Intelligence Science and Engineering, Graduate School of Natural Science andTechnology, Gifu University*2 Department of Radiology Services, Gifu University*3 Faculty of Health Science, Gifu University of Medical Science

Measurement of whole body bone mineral content is important in calculation of SUV of radiopharmaceuticalaccumulated in bone in quantitative analysis of nuclear medicine image. This study aimed to develop a method toestimate bone mineral content using low dose CT images. Bone extraction is performed using threshold processing
and spatial filter on the isotropic CT image. The bone area is determined based on the MIP image of the bone. The
value obtained by multiplying the bone area by the bone density is used as the estimated value of the bone mineralcontent. The regression data of whole body bone mineral content is defined by the measurement data of DXA in bodycomposition measurement performed on 2411 healthy Japanese people. The correlation coefficient between wholebody bone mineral content of the case calculated from this regression equation and trunk bone mineral content
estimated based on the CT image of 107 cases was 0.86. In addition, it is possible to classify the bone based on the
anatomical structure and estimate the bone mineral content of each part. These results suggest the usefulness ofquantitative analysis of bone mineral content based on CT images.

Key words: bone mineral content, low-dose CT

432

OP3-22

胸部 CT 像中の肺結節の良悪性鑑別における自動抽出された画像特徴の可視化
平島 翔*1 平野 靖*1

木戸 尚治*2

関順彦*4 金岩野 信吾*3

本田

健*4

亨燮*5

要旨
肺に関する病気には，CT 像上に肺結節と呼ばれる高 CT 値の陰影が写し出されるものがある．医師はその CT 像から画像所見の有無や程度を評価することにより，肺結節の良性・悪性を判断している．また，近年では Deep Learning を用いた画像診断支援などの研究が活発に行われている．しかし，Deep Learning の判
断過程は解釈が難しく，なぜその結果が得られたのかが分からない．このことから，判断結果に対して医師や患者が納得しない可能性があり，説明できる AI(Explainable AI, XAI)に関する研究も進められ始めている．
本研究では Deep Learning によって構築された CADx(Computer-Aided Diagnosis)システムの判断結果の根
拠を明示的にするために，Deep Learning が抽出した画像特徴の可視化を目的とする．これにより，CADxシステムの判断結果に対する信頼性の向上が期待できる．
本稿では，肺結節周辺の 3 次元画像を用いて CNN (Convolutional Neural Network)の学習と識別を行い，Guided Grad-CAM(Guided Gradient-weighted Class Activation Mapping)を用いることで CNN の抽出した画像特徴をクラスごとに可視化した．これにより，肺結節の良悪性鑑別においての CNN の注目箇所を特定した．
キーワード：画像所見，CT，Deep Learning, Grad-CAM, XAI

1．はじめにの良性・悪性を判断している [1]．また，近年で肺がんなどの肺に関する病気には，CT 像上

は Deep Learning を用いた画像診断支援などのに肺結節と呼ばれる高 CT 値の陰影が写し出さ

研究[2][3]が活発に行われている．しかし，Deepれるものがある．医師はその CT 像から画像所

Learning の判断過程は解釈が難しく，なぜその見の有無や程度を評価することにより，肺結節

結果が得られたのかが分からない．このことから，判断結果に対して医師や患者が納得しない――――――――――――――――――

可能性があり，説明できる AI(Explainable AI,*1 山口大学大学院創成科学研究科電XAI)[4]に関する研究も進められ始めている．

気電子情報系専攻

そこで，本研究ではコンピュータによって得〔〒755-8611 宇部市常盤台 2-16-1〕

られた判断結果の根拠を明示的にするために，

e-mail: b059vg@yamaguchi-u.ac.jp

Deep Learning が抽出した画像特徴の可視化を*2 大阪大学大学院医学系研究科行う．これにより，Deep Learning を用いた画像*3 名古屋大学医学部放射線医学教室

診断支援の結果に対する信頼性の向上が期待*4 帝京大学医学部附属病院

できる．

*5 九州工業大学大学院工学研究院

Deep Learning にはいくつかの手法があるが，433

画像を入力として特徴を認識・検出するために

1) CT 像の等方性ボクセル化

は一般的に CNN(Convolutional Neural Network)

撮影された CT 像は CT 像ごとにサイズや解を用いる．CNN は人間の視覚野のニューロンの像度が異なる．さらに一般的にボクセルの形状

結合と似たニューラルネットワークであり，画は立方体ではなく z 軸方向に長く伸びた直方体

像認識に対して高いパターン認識能力を示すになっている．等方性ボクセル化によって 3 軸[5]．従来手法では，人の手で画像認識に有効な方向全ての解像度を等しくすることで，肺結節特徴を特徴量として算出し，その特徴量をもとの立体的な形状判断や既存構造の認識が容易に分類アルゴリズムを構築して分類していた．

になる．一般には，xy 面内の解像度に比べ，z

しかし CNN により，人の手による特徴量の設

軸方向の解像度が低い傾向にある．本研究では，定をせずにデータ分類が可能になった．

各 CT 像の z 軸方向の解像度を線形補間法によって xy 平面の解像度に統一した．

抽象度の高い認識能力を獲得した CNN が，
実際に画像のどこに着目しているか特定する

2) 肺結節画像の切り出し

手 法 と し て Grad-CAM(Gradient-weighted Class
Activation Mapping)がある[6]．これは着目して着目する肺結節に対し肺野全体の CT 像は非いる特徴箇所をクラスごとにヒートマップで常に大きいため，肺結節を中心に切り出しを行強調するものであるが，解像度が低く，見ていった．その際，CNN の予測結果に影響を与えなる内容の詳細がわからない．また，拡張手法でいよう，結節の周囲構造(胸壁や血管など)とのある Guided Grad-CAM はクラスごとにピクセ関係を損なわないサイズを試行錯誤的に決定

ルレベルで出力するため，より詳細な情報を得した．本研究では，肺結節を中心とし，60×60

ることができる．

×60[voxel]の大きさで画像を切り出した．

本研究では，まず医師によって良悪性に関するラベルが与えられた肺結節周辺の CT 像を用

3) 画像の水増し

いて，CNN の学習を行い，良悪性を分類する識Deep Learning では学習する際にデータ量が少別器を作成する．作成した識別器に肺結節周辺ない場合，過学習が発生することが多い．過学

画像を入力して良悪性を識別する．このときに，習とは，モデルが学習データに過剰に適合し，Guided Grad-CAM を用いることで抽出された画

未知データでは精度が低く，汎化性がない状態

像特徴が画像中のどこに対応するかを 可視化のことである．過学習を抑制するために，平行することができる．

移動・回転・鏡映を用いて学習に用いる画像枚数を水増しした．本研究では 1[volume]の 3 次

2．提案手法

元画像に対し 85 通りの座標変換を行うことで，本研究での手法の流れを図 1 に示す．また，

86[volumes]の 3 次元画像を生成した．

以下に提案手法の詳細を示す．
4) 階調変換
CT 像は一般的に 4096 階調の 3 次元画像である．しかし，データ量が多いため階調数を減らす必要がある．また，肺結節周辺画像中の良悪
性鑑別に有用と考えられる CT 値の濃度域は限定的であるため，画像から-1000~200[HU]をとり，256 階調に変換した．
図15) CNN を用いた肺結節の良悪性識別提案手法の流れ

肺結節周辺画像の内，80％を学習データ，

434

20％をテストデータとして，CNN の学習を行い，トワークのモデルを表 1 に示す．また，学習率

良悪性の識別器を作成した．なお，学習データ

を 0.00005，減衰率を 0.0005，バッチサイズをについては前述の方法で水増しを行った．ネッ

32 とした．

表1

CNN モデル

フィルタ
サイズ

ストラ
イド

出力マップ
サイズ

チャネル
数

活性化
関数

input

-

-

60×60×60

1-

convolution

3×3×3

1

60×60×60

16

ReLU

max pooling

2×2×2

2

30×30×30

16-

convolution

3×3×3

1

30×30×30

32

ReLU

convolution

3×3×3

1

30×30×30

32

ReLU

max pooling

2×2×2

2

15×15×15

32-

fully connect

-

-

-

16

ReLU

fully connect

-

-

-

1

sigmoid6) Guided Grad-CAM

Backprop[7]と掛け合わせて出力することで，ク

データセットから 原画像の肺結節周辺画像

ラスごとにピクセルレベルで可視化した．

を識別器に入力し，良悪性の識別を行い，

3．実験

Guided Grad-CAM を用いて予測結果を可視化し1)

た．Guided Grad-CAM の処理を以下の式(1)と(2)実験では，2 種類のデータセットを使用した．

より示す．

𝑎𝑛𝑐 =

実験データ

1 つは帝京大学医学部附属病院で撮影された胸

1
𝜕𝑦 𝑐
∑∑∑ 𝑛
𝑍
𝜕𝐴𝑖𝑗𝑘
𝑖

𝑗

部 CT 像 42 症例，もう 1 つは，名古屋大学医学(1)

部附属病院で撮影された胸部 CT 像 38 症例で𝑘

まず，予測クラス𝑐の確率スコア𝑦 を𝑛番目のある．また，本研究では医師の評価した肺結節

特徴マップのボクセル(𝑖, 𝑗, 𝑘)における強度𝐴𝑛𝑖𝑗𝑘
について微分して勾配 𝑦 𝑛 ⁄𝜕𝐴𝑛𝑖𝑗𝑘 を計算した．次の良悪性を正解ラベルとした．CT 像の詳細を𝑐

以下に示す．

にそれらの全ボクセルについて，特徴マップサ
イズ𝑍を用いて平均をとることで，クラス𝑐の𝑛

帝京大学医学部附属病院で撮影された症例

番目のフィルタに関する重み係数𝑎𝑛𝑐 を計算した．この重み係数𝑎𝑛𝑐 が大きいほど，その特徴マップ𝐴𝑛𝑖𝑗𝑘 がそのクラス𝑐にとって重要であると・症例数：42 症例(良性 2 症例，悪性 40 症例)
・スライスサイズ：512×512~632×632[pixel]

いうことである．

・スライス厚：0.5~3.0[mm]

𝐿𝑐𝐺𝑟𝑎𝑑−𝐶𝐴𝑀 = 𝑅𝑒𝐿𝑈 (∑ 𝑎𝑛𝑐 𝐴𝑛 )・スペーシングサイズ：0.529~0.742[mm]・スライス枚数:：257~649[枚](2)𝑛式(1)の重み係数𝑎𝑛𝑐 により𝑛個のフィルタの加重名古屋大学医学部附属病院で撮影された症

平均を計算し，活性化関数𝑅𝑒𝐿𝑈(𝑥) ≡ max⁡{𝑥, 0}

例を適用したものをヒートマップ出力として定・症例数：38 症例（良性 38 症例）

義した．式(2)の結果を従来手法である Guided・スライスサイズ：512×512[pixel]

435

・スペーシングサイズ：0.625~0.702[mm]入力画像，Grad-CAM の結果，Guided Grad-CAM

・スライス厚：0.5[mm]の結果を図 3～図 7 に示す．また，注目度の高・スライス枚数:：531~771[枚]

い箇所を赤く，注目度が低くなるにつれて徐々に緑，青と表示している．Grad-CAM をそのま

評価方法

2)

ま表示すると全体的に青い画像になるため，最肺結節の良悪性について CNN を用いて学習

大値を 1，最小値を 0 に注目度を正規化し，0.1と識別を行い，水増しを行っていないテストデ以下の場合色を付けていない．

ータに対して CNN が出力した識別結果が正解
ラベルと一致した場合を正解とした．データセ

高低ットから切り出した肺結節画像群を 5 つに分け，1 つをテストデータ，残りの 4 つを学習データ
として，5 分割交差検証によって評価を行った．
データセットの内訳を表 2 に示す．単位は[volumes]である．
表2(a)入力画像

良悪性鑑別実験に用いたデータセット
set_1

set_2

set_3

set_4

set_5

合
計

良
性

8

8

8

8

8

40

悪
性

8

8

8

8

8

40

合
計

16

16

16

16

16

80

(b)Grad-CAM(c)Guided
Grad-CAM

図3

すりガラス濃度の所見を持つ
悪性結節[8]

4．結果
良悪性鑑別実験における識別率を表 3 に示す．

(a)入力画像(b)Grad-CAM

Grad-CAM

単位は[%]である．
表3

図4

良悪性鑑別の識別率
テストデータ識別率誤(c)Guided

set_1

set_2

set_3

set_4

set_5

93.8

87.5

93.8

87.5

87.5

0.09

0.13

0.38

0.20

0.50

やや辺縁が不明瞭，すりガラス濃度，
胸膜陥入像[8]

平均
±
標準
偏差
90.0
±
3.1
-

差

(a)入力画像(b)Grad-CAM(c)Guided
Grad-CAM

表 3 から，最も識別率の高い set_1 と set_3 の

図5

うち，学習時の識別率の高く，誤差の低い set_1

ノッチ，スピキュラ，肺血管・気管支の集束像[8]をテストデータとしたモデルから Guided GradCAM を用いて悪性の画像特徴の可視化を行う．

436

2)

画像特徴の可視化について
図 3～図 7 は水増しを行っていない肺結節画

像を良悪性について，良悪性鑑別実験で作成した CNN モデルを用いて識別し，抽出した悪性の画像特徴を Grad-CAM と Guided Grad-CAM を(a)入力画像(b)Grad-CAM

用いて可視化した結果である．それぞれの画像(c)Guidedについて考察を行う．

Grad-CAM
図6

肺血管・気管支の圧排像[8]図 3 は，すりガラス濃度の肺結節画像から得られた画像である．この肺結節について医師とCNN がともに悪性であると判断している．この
図では，すりガラス濃度の肺結節全体を画像特徴として可視化している．これは，すりガラス
濃度の肺結節が悪性の画像特徴であると CNNが判断したと考えられる．また，図から胸壁についても注目していることが分かる．医師によ(a)入力画像(b)Grad-CAM

る評価では胸壁に関する所見はないとなって(c)Guidedいるため，CNN が悪性と識別するのに注目して

Grad-CAM
図7

ノッチ，肺血管・気管支の集束像[8]いる特徴は，医師と全く同じであるとは限らないことが分かる．
図 4 は，やや辺縁が不明瞭，すりガラス濃度

5．考察
1)

良悪性鑑別実験のについてであり，胸膜陥入像の所見がみられる肺結節画

本研究ではまず，肺結節の良悪性を識別する像から得られた画像である．この肺結節につい

CNN モデルを作成した．CNN の識別結果につて医師と CNN がともに悪性であると判断していて考察を行う．肺結節の良悪性鑑別の識別率いる．この図では，CNN が肺結節や胸壁を画像

は 90.00±3.01[%]であった．無作為に 2 クラス

特徴として可視化している．肺結節の辺縁や濃分類した場合の識別率が 50[%]であることを考度については注目度が高いことが分かる．しか慮すると，精度の良い結果といえる．しかし本し，胸膜陥入像については青色で表示され，あ研究では，良性と悪性でデータが撮影された施まり注目されておらず，所見とは異なる箇所を設が異なることから，良悪性鑑別の識別率が向最も注目している．このことから，この画像に上した可能性が考えられる。画像特徴の可視化

おいて CNN が悪性であると識別する画像特徴

は行えるため，良悪性の識別には成功しているは，医師が診断に用いる所見より重視する箇所

が，改めて撮影条件を揃えたデータを用いて実があるということが分かる．

験を行う必要があると考えられる。また，表 3

図 5 は，ノッチ，スピキュラ，肺血管・気管から、識別率が 93.8[%]と 87.5[%]の 2 パターン

支の集束像の所見がみられる肺結節画像からしかないことが分かる．これは，識別率の算出

得られた画像である．この肺結節について医師に用いた水増しを行っていないテストデータと CNN がともに悪性であると判断している．

が 16[volumes]しかなく，1[volumes]あたりの識

この図では，スピキュラ，肺血管・気管支の集別率への影響が大きいためである．このことか

束像を特徴箇所として抽出していることが分ら、水増しを行っていないテストデータを増やかる．しかし，ノッチを画像特徴として抽出しことで，より精度と信頼性の高い結果を得られていない．これは，CNN はあくまで良悪性につることが予想される．

いて識別を行っており，肺結節の所見の有無を

437

学習に用いていないため，所見をすべて表示していないからである．

文

献

これらのことから，CNN が自動抽出した悪性[1] 森谷浩史，秋元達也，中川学 他 : 肺結節の画像特徴は，医師が診断に用いる所見と同じの CT/MRI 診断，臨床画像，26，144-160，

箇所であることが多いが，それとは異なる画像

2010

特徴も抽出している．特に胸壁を画像特徴とし[2] Tu X， Xie M， Gao J， et al． : Automaticて抽出した結果が多くみられた．これは，医師

Categorization and Scoring of Solid，Part-Solidが診断に用いる一般的な画像所見とは異なる

and Non-Solid Pulmonary Nodules in CT

画像所見が存在する可能性が考えられる

Images with Convolutional Neural Network，
Scientific Reports，7，Article number: 8533，
2017

6．まとめ
本研究では，良悪性鑑別における CNN の識[3] 上野翔子，杉山治，西尾瑞穂 他 : 患者情

別結果の根拠を明示的にし，信頼性を向上する

報を考慮した胸部 CT 画像の診断支援の試ために，自動抽出した画像特徴の可視化を行う

み，SIG-AIMED，004-04，2017ことを目的とした．そこで，本稿では CT 像よ[4] Gunning D．:Explainable Artificial Intelligence

り切り出した肺結節周辺の 3 次元画像を用いて(XAI)，DARPA，DARPA-BAA-16-53，2016

CNN の学習と識別を行い，Guided Grad-CAM を[5] Krizhevsky A ， Sutskever I ， Hinton G E :Classiﬁcation

用いることで CNN の抽出した画像特徴を可視

ImageNet化する手法を提案した．良悪性鑑別に用いた

Convolutional Neural Networks，NIPS，2012

CNN の識別率は 90.00±3.01[%]であった．本研[6] Selvaraju R R，Cogswell M，Das Abhishek，

究では，CNN のパラメータを試行錯誤的に決定

et al．:Grad-CAM: Visual Explanations from

したため，今後は，パラメータを調整すること

Deep

でより精度のよい抽出が行えると考える．また，

Localization，arxiv，1610.02391，2017

可視化した画像特徴から，CNN がどこに着目し[7] Springenberg J T，Dosovitskiy A，Brox T，et

Networks

via

with

Deep

Gradient-basedて良悪性を識別しているかが分かった．本手法

al ． :Strivingを用いることにより，今後，CNN による識別結Convolutional Net，arxiv，1412.6806，2015

果の根拠を明示的することで，信頼性が向上す[8] 日本肺癌学会編 : 臨床・病理肺癌取扱い利forSimplicity:

用規約．第 7 版，金元出版，2010

ることが期待できる．
今後の課題として，Deep Learning を用いた新しい所見の発見や所見の重要度の 評価などが考えられる．
謝辞
御助言及び御協力を頂きました本研究室の大学院生，学部生の皆様に心よりお礼申し上げます．本研究は日本学術振興会科学研究費補助金新学術領域研究(26108009)，および基盤研究(B)(17H02110)による支援を受けた．
利益相反の有無
なし．

438

The

All

Visualization of automatically extracted image features in benign /malignant discrimination of lung nodules in chest CT images
Kakeru HIRASHIMA*1, Yasushi HIRANO*1, Shoji KIDO*2, Shingo IWANO*3, Takeshi HONDA*4,
Nobuhiko SEKI*4, Hyoungseop KIM*5*1 Graduate School of Sciences and Technology for Innovation, Yamaguchi University*2 Graduate School of Medicine, Osaka University*3 Nagoya University Graduate School of Medicine*4 Teikyo University Hospital*5 Graduate School of Engineering, Kyushu Institute of Technology

Lung nodules in CT images are presented as regions with high CT number． The doctor judges the benignancy /malignancy of the lung nodule by evaluating the presence or absence, and extent of the medical findings of tumors infrom CT images． Recently, researches on diagnosis support using Deep Learning have become actively．
However, the judgement process in Deep Learning is difficult to interpret．
In this paper, we propose to visualize image features extracted from Deep Learning in order to clarify the grounds ofresults obtained by CAD (Computer-Aided Diagnosis) systems based on Deep learning．
In this paper, we used three-dimensional image cut out the peripheral regions of lung nodules from the original CT
images． We created discrimination model using CNN (Convolutional Neural Network) and carried out thediscrimination for those images． We visualized image features extracted from CNN by using Guided Grad - CAM(Guided Gradient-weighted Class Activation Mapping)． As a result, the attention points of CNN were specified．

Key words: Medical findings，CT，Deep Learning，Grad-CAM，XAI

439

OP3-23

CT 画像を用いた脊柱海綿骨の骨密度定量化
李新*1

光本 浩士*1

山崎克人*3

平野 雅嗣*2

田村 進一*4

要旨
近年,高齢化に伴い,骨粗鬆症患者が年々増加している.このため,骨粗鬆症患者の CT 画像を対象としたコンピュータ支援システムの開発がなされ骨密度の計測が報告されている.
本稿ではより精密な計測を目的にし,まず,抽出した脊柱の各スライスに対し,海面骨と皮質骨の境界を検出し,海綿骨領域のデータ値を用いた CT 値の平均を求める.その結果,脊柱に沿った骨密度の変化,椎骨ごとの変化を計測することができた.
キーワード：骨粗鬆症、海綿骨、皮質骨、領域拡張処理

1．はじめに左右され,試行錯誤によってすべての輪郭が抽

近年,高齢化に伴い,骨粗鬆症患者が年々増加

出可能となる値を決める必要がある.

している.その影響により医師による CT 像の読

本稿では,三次元 CT 画像から脊柱データを抽影が膨大化し,多大な時間と労力が必要になり,出し,脊柱データを用い,海綿骨と皮質骨の領域

見落としが危惧されている.このため,骨粗鬆症

分割処理を行い,海綿骨の骨密度を計測する手患者の CT 画像を対象としたコンピュータ支援法を提案し,椎骨内での変化を計測した.

システムの開発がなされている.先行研究とし

2．骨粗鬆症て高橋ら[1]のシステムでは,安定して骨粗鬆診骨粗鬆症とは,骨の強度が低下し骨折しやす断が行えているが,プログラムはオープンになくなる病気である.全身の骨がもろくなるため,っていない.骨密度は設定した楕円内のみ計測

軽い力が加わるだけで様々な部位の骨折が起している.より細かい計測をするにはより精度こる.骨粗鬆症になると,立った姿勢から転んだのよい手法を開発しなければならない.また,海くらいでも,椎体(背骨),大腿骨近位部(足の付け綿骨の抽出に関し,近藤ら[2]は Snakes による根)などに骨折を起こしやすくなる.

手法を検討している.この手法はパラメータの2.1 皮質骨と海綿骨

設定によって輪郭の持つ形状や濃度値などに骨は,皮質骨と海綿骨に分けられる.外側にある皮質骨はカルシウムやリンを主成分とする――――――――――――――――――

硬い骨で,海綿骨は骨髄腔内に広がる骨梁と呼*1 大阪電気通信大学大学院

ばれる小さな骨の柱の集合体である(図１).

〔〒572-8530 寝屋川市初町 18-3〕

海綿骨は表面積が大きく,骨髄と広く接し,骨e-mail: mi18a003@oecu.jp

代謝回転は皮質骨に比べて約 10 倍と言われて*2 新居浜工業高等専門学校

いる.従って,初期の骨量減少が認められるのは*3 栄宏会小野病院

海綿骨である.従って,骨粗鬆症に経過観察のた*4 （株）NBL 研究所

めには,海綿骨の骨密度を計測すべきである.

440

点を肋骨部や骨以外の位置に設定すると脊柱抽出はできない.
海綿骨

従来手法として北坂ら[3]は領域拡張の開始

皮質骨点を,入力画像の中央のスライス(入力された n

椎体枚のスライスのうち n/2 枚目のスライス)にお椎弓

椎孔

ける最大連結成分の重心としている.しかし,この手法では開始点が椎孔と呼ばれる穴に設定される事があり,領域拡張法が動作しない.
対策として,円形度を用いた脊柱抽出処理を用いることにより脊柱領域を安定的に抽出す

図 １

ることができる手法を開発した.

人の椎骨

3.2 空洞処理
空洞処理とは,スライス画像の骨領域内に存

3 脊柱抽出処理の流れ

在する大きな空洞を埋める手法である.領域分

処理の流れを図 2 に示す.CT データを読み込割処理でスライス画像を生成する.骨の輪郭をみ,メディアンフィルタでスパイクノイズを除抽出し,点(0,0)を開始点として輪郭の外部領域

去し,二値化処理を行う.領域拡張の開始点を決を領域拡張処理で埋める.処理後の画像を白黒

め,領域拡張処理をし,脊柱領域のみを抽出する.

反転し,骨領域内部に存在する大きな空洞を埋3.1 開始点決定手法

める.

脊柱抽出には、領域拡張法を使用する。領域
拡張処理とは,円,球などの構造要素を設定し,構脊柱データの読み込み

造要素内のすべての点がある条件を満たす際,
この構造要素を領域に含み,満たさない場合は極座標変換含まない.この処理を指定した開始点から繰り返すことにより構造要素ごとに領域を抽出することができる処理である.従って,構造要素の境界の移動平均

大きさにより脊柱と肋骨が分離できるが,開始

皮質骨と海綿骨の境界CTデータの読み込み

海綿骨領域の密度を計測
メディアンフィルタ

図 ３
二値化

皮質骨と海綿骨の領域分割処理

4. 皮質骨と海綿骨の領域分割処理
4.1 処理の流れ

開始点の決定処理の流れを図 3 に示す.脊柱データを読み込み,各スライス画像を生成する.そして,スライ

領域拡張法による

ス画像ごとの重心位置を求め,極座標変換し画脊柱データの抽出
図 ２

素値の移動平均を行う.その画素値から境界点を求め,境界点の移動平均を行う.境界点座標を

脊柱抽出処理極座標から直交座標に変換し,皮質骨と海面骨441

の境界を決める.
4.2 脊柱スライス画像の極座標変換
極座標とは(𝑟, 𝜃)) で点の位置を示す方法である(式(1)).
𝑟 = √𝑥 2 + 𝑦 2 , 𝜃 = 𝑡𝑎𝑛−1

𝑦
𝑥

(1)

スライス画像の重心位置(𝑝𝑥, 𝑝y)) を中心(𝑐𝑥, 𝑐𝑦))に平行移動し,CT データと骨領域データを同時に 0 から 359 度になるまで 1 度ずつ回転(θ)させ,その際の骨領域データと同じ座標に位置す
る CT データの画素値を中心から上(r)へ出力画像に代入していた.

(a) 境界輪郭

4.3 境界点計算
原点(0,0)から縦軸下方向に 1 ピクセルずつ調べ,縦軸の画素値の最大値より 9/10 以下の画素値を検出したとき,その座標を境界点とする.そして横軸 1 度進め,横 0 から 360 度の範囲で繰
り返し,合計 360 点を検出する.
境界点決定後,座標の逆変換(式(2))行うこと
で極座標から直交座標へ戻すことができる.最後に画像座標へ変換(式(3))を行い,各点を線で結ぶことで領域境界を決定することができる
𝑥 = 𝑟𝑐𝑜𝑠𝜃, 𝑦 = 𝑟𝑠𝑖𝑛𝜃

(2)𝑑𝑥 = 𝑐𝑥 − 𝑥, 𝑑𝑢 = 𝑐𝑦 − 𝑦(3)(b) 海綿骨領域
図 4 海綿骨の領域分割

5. 海綿骨の骨密度計算
皮質骨と海綿骨の境界を決定した後,領域拡張処理を用い,境界の外部領域に 255 を代入する.
海面骨のみの領域を求める.処理後,海綿骨領域の座標を利用し,元データである CT データのCT 値を海綿骨領域に代入し,骨密度(BMD)を計算する.
5.1 骨密度の計算
海綿骨領域内の CT 値が高い点のみに対し,メディアンフィルタ処理を行う.処理した後,海綿図 5

骨領域内の CT 値の合計と面積から平均 CT 値

スライドごとの骨密度を求め,これを骨密度(BMD)とする.)
図 6 の(a)と(b)は椎骨ごとの骨密度を示

6．実験結果CT 画像 388 枚の中,脊柱のスライス画像であす.(a)では骨密度は一定に保っている.(b)の骨る 210 枚用い実験を行った.図 4(a)の白いライ

密度は周辺部が高くなっている.(a)と比較する

ンは海綿骨と皮質骨の境界を表す.図 4(b)は海と,椎骨内での変化が大きくなっている.(b)では綿骨領域のみを表す.スライスごとの骨密度を下半身に向かって骨密度が若干大きくなって計測した結果が図 5 に示す.

442

(a) スライス番号:25~43(a) 海綿骨領域:131 番(b) スライス番号:127~149
図 6 椎骨の骨密度いることが見られる.

(b) 海綿骨領域:138 番
図 7 海綿骨領域) 131 番目と 138 番目の海綿骨領域のスライスを図 7 に示す.図 6(b)から見ると 131 番目の骨

利益相反の有無

密度が 138 番目より大きいため、該当スライなし

ド画像を示す。

文
［1］

7．まとめ

献

高橋秀次,鈴木英宣,仁木登) 他：胸部マ
ルチスライス CT 画像を用いた骨粗鬆

本稿では,三次元 CT 画像から脊柱を抽出する

症 診 断 シ ス テ ム . 信 学 論 D,vol.J96-

ため,領域拡張の開始点を,円形度を基準としたD,no.4:892-900.2013

脊柱のスライス画像から選択している.次に骨［2］

近藤一光,尾川浩一,長岡智明) 他：

粗鬆症が進行すると脊柱内に空洞が存在し,空Snakes を用いた脊椎形状認識と骨粗洞が大きいため,領域拡張処理が止まってしま

鬆症診断への応用,法政大学計算科学研

い,空洞処理を追加した.抽出した脊柱データの究センター報告,17:73-77,2004

スライス画像を極座標変換し,海綿骨と皮質骨［3］北坂孝幸,小川浩史,横山耕一郎) 他：解の境界を検出した.そして、海綿骨のみの領域を

剖学的知識に基づく非造影 3 次元腹部

用い,海綿骨の骨密度を計測する手法を提案し,

X 線 CT 像からの複数臓器領域の抽出,

椎骨内での骨密度の変化を計測した.

コ ン ピ ュ ー タ 支 援 画 像 診 断 学) 今後の課題として,骨梁を立体的に把握し,そ論,vol.9,no.1:1-14,2005の大きさを定量化したい.

443

Bone Density Quantification in The Spinal Column Cancellous Bone
Using CT Images
Xin LI*1, Hiroshi MITSUMOTO*1, Masatsugu HIRANO*2, Katsuhito YAMASAKI*3, Shinichi TAMURA*4*1 Osaka Electro-Communication University Graduate School of Engineering*2 Niihama National College of Technology*3 Eikokai Ono Hospital*4 NBL Technovator Co., Ltd.

In recent years, osteoporosis patients are increasing year by year with the aging of the population. For this reason,
measurement of bone density for which development of a computer support system for CT images of osteoporosis
patients has been made has been reported.
In this paper, for the purpose of more precise measurement, for each slice of the displaced and extracted spine, theboundary between the sea surface bone and the cortical bone is detected, and the average of the CT values using data
values of the cancellous bone region is calculated. It was possible to measure changes in bone density along the spineand changes from vertebra to vertebra.

Key words: Osteoporosis, Cancellous bone, Cortical bone, Region growing method444

OP3-24

二段階分類による胸部 X 線画像を用いた異常部位検出システムの検討

堂園貴弘*1 吉村裕一郎*2
中田孝明*3

織田成人*3

田中久美子*3
中口俊哉*2

要旨
集中治療室における移動困難な重症患者の経過観察のため X 線ポータブル撮影が用いられる．しかし，座位や仰臥位などの様々な体位での撮影となるため，一般的な立位での撮影と臓器状態に差異が生じることで読影が困難であり，診断精度の低下が課題となっている．そこで本研究では胸部 X 線ポータブル画像からの肺疾患の診断能を向上するため深層学習の適用を試みた．提案システムは，無気肺と肺炎を 1 クラスとして異常なし，胸水の 3
クラスで分類後，無気肺または肺炎と分類された画像を 2 クラス分類する 2 段階分類を行う．評価実験には千葉大学医学部附属病院で収集されたデータと米国立衛生研究所のデータの 2 種類を用いた．データ拡張として左右反転と±7 度回転処理を行い，データ数を 14 倍に拡張し，評価方法は 3 分割交差検証法を用いた．結果として，提案する 2 段階分類手法は 4 クラス同時分類時よりもモデル全体の分類精度が向上することを確認できた．
キーワード：深層学習，胸部 X 線ポータブル画像，畳み込みニューラルネットワーク

1． はじめに術後の患者の術後管理，院内で発生した重症患者，他院からの紹介や救急外来から直接入院した重症患者の治療を目的に病院内に集中治療室が設置されている．ここでは，移動が困難な重症患者に対して胸部 X 線ポータブル装置を用いることで，治療に必要な気管内チューブなどのデバイスの位置異常を発見することや併発している病状を診断している．胸部 X 線ポータブル画像は，CT 画像や MRI
画像に比べて情報量が限られるため，病変部の見落としなどにより治療介入が遅れる懸念がある．また，ポータブル画像を撮影する際，座位や仰臥位での撮影が主となり，立位で撮影された X 線画像とは臓器状態に差異が生じるため，診断が困難である要因となっている．先行研究において，胸部 X 線
画像に対する診断感度は約 64％[1]とされており，制度の改善が求められている．
そこで，本研究では，ICU 患者の胸部 X 線ポータブル画像からの診断精度向上を目的とする画像認
識技術を用いた診断支援システムを検討する．画像認識技術に用いられる手法として，Convolutional―――――――――――――――――――――――――――――――――――――――――*1

千葉大学大学院融合理工学府基幹工学専攻医工学コース〔〒263-8522 千葉市稲毛区弥生町 1-33〕e-mail: dozono0224@chiba-u.jp*2 千葉大学フロンティア医工学センター*3 千葉大学大学院医学研究院救急集中治療医学

投稿受付：2003 年 1 月 31 日

445

図 1 VGG16 の構造
Neural Network(CNN)がある．これは，近年医用画像分野においても多く用いられている手法であり，Neural Network を多層化し，畳み込み処理を繰り返すことで自動的に画像特徴を抽出することが可能である．
CNN を用いた先行研究として，胸部 X 線画像を用いた多クラス分類実験が挙げられる[2]．この研究
では入力画像を 14 種の病状に分類しているが，課題としてクラス間における精度差が大きく，全クラスに対応できていない．そこで，本研究の目的を関連研究において低精度であるクラスの精度改善による高精度分類モデルの構築とする．本研究は，[2]において低精度となっている肺炎と無気肺に加えて，胸水，異常なしを対象にする．

2． 提案手法
2.1.

使用手法

本研究においては，CNN の中でも画像認識コンテスト ILSVRC2014 において，高成績をおさめた
VGG16 で実験を行う．このモデルは，畳み込み層が 13 層，全結合層 3 層からなるシンプルな構造となっている(図 1)．実験に使用する際には，ILSVRC2014 データセット(1000 クラス，120 万枚の一般物体画像)で学習済みの重みを使用して転移学習をする．転移学習を導入することで，学習時にランダムに初期値を設定した場合と比較して高い性能が期待できる[2]．転移学習した後，再学習するにあたり
全結合層の構造を改良した(図 2)．通常学習する際，誤差発散防止のために学習率を小さくして行う．
しかし，欠点として学習が遅くなってしまうため収束するまで長い時間を要する．そこで，正規化処理
である Batch Normalization を全結合層に追加した．その結果，大きな学習率を設定することが可能とな

図 2 用いた全結合層の構造

446

り，学習時間の短縮がすることが確認できた．

2.2.

2 段階分類手法

事前実験において，肺炎を除いた無気肺と胸水，異常なしの 3 クラス分類および無気肺を除いた肺炎と胸水，異常なしの 3 クラス分類で行ったところ，無気肺，肺炎の分類精度が 0.886，0.723 であったが，対象とする 4 クラス全てを同時に分類した際には無気肺，肺炎の分類精度が 0.526，0.605 と他のクラスよりも低精度だった．このことから，無気肺と肺炎を他のクラスと同時に分類することが困難であると判明した．
そこで，無気肺と肺炎を 1 クラスとして胸水や異常なしと分類後に，別のネットワークモデルで無気肺と肺炎の 2 クラスに分類する 2 段階分類手法を構築した(図 3)．1 度に分類するクラスを減少させて対象クラスを限定する段階的な分類を行うことで，精度向上が期待できると考え，今回検証実験を
行った．

3． 実験
本実験で使用する画像は，千葉大学医学部附属病院救急科で撮影された胸部 X 線ポータブル画像(以下，病院データとする)とアメリカ国立衛生研究所が公開しているデータ(以下，NIH データとする)の 2種類である．2 種類の画像を使用するにあたり，前処理として，両データの画像サイズを 1024×1024pixelに統一するための病院データのトリミングおよびリサイズと，全データのコントラスト調整にガンマ補正を用いた．使用枚数は無気肺と肺炎，胸水，異常なし各 418 枚である．これらの画像に対して 3 分
割交差検証を用いて，2 つの実験を行った．

3.1.

無気肺と肺炎を 1 クラスとし，胸水や異常なしと分類する 3 クラス分類(段階 1)

まず，提案手法の段階 1 にあたる無気肺と肺炎を 1 クラスとしてまとめ，胸水や異常なしと分類する 3 クラス分類と 4 クラス同時分類の精度比較を行った．実験条件は，学習率 0.0001，学習回数 500
回，バッチサイズ 16 とし，データ拡張に左右反転，±7 度回転を用いた．モデルの各クラスの精度を，F 値において評価した．モデル作成時，無気肺と肺炎をまとめて 1 クラスとする際，各 209 枚ずつ計
418 枚とし，他 2 クラスとの枚数を統一した．
実験結果を表 1 に示す．無気肺と肺炎を 1 クラスにまとめたことで，他のクラスとの識別性能が向上
し，またモデル全体の精度も改善された．深層学習モデルにおける分類において，同時に他のクラスと

図3

提案段階的分類手法

447

表1

3.1 節実験結果の分類が困難な無気肺と肺炎を 1 つのクラスにまとめて分類させることの有効性が示唆された．

3.2.

無気肺と肺炎の 2 クラス分類(段階 2)

次に提案手法の段階 2 にあたる無気肺と肺炎の 2 クラス分類と 4 クラス同時分類の精度比較を行った．実験条件は，3.1 節の実験と同様である．使用枚数は，無気肺と肺炎の各 418 枚である． 作成したモデルの精度検証を行う際には，段階 1 において無気肺または肺炎と判断された画像を使用した．
2 段階分類手法全体の結果を表 2 に示す．無気肺を除く他 3 クラスでは，精度向上が確認できた．無気肺の精度が低下した要因としては，段階 1 において 4 クラス同時分類時よりも使用枚数を減らした
ことが考えられる．このことから，無気肺のほうが肺炎よりもモデルでの判断が困難であることが示
唆される．
以上のことから，2 段階分類を導入することで，4 クラス同時分類に比べ，複数のクラスにおいて精度向上が可能であることが考えられる．

4． まとめ集中治療室における胸部 X 線ポータブル画像を用いた深層学習による自動診断支援システムの構築を目的に，本研究では 2 段階分類手法を提案した．無気肺，肺炎，胸水，異常なしを対象として VGG16を用いて実験で検証したところ，提案手法の有効性が無気肺を除き示唆された．今後は，使用画像の調整を行ったうえでの実験，VGG16 以外の CNN モデルの検討や分類根拠提示方法を検討する．

利益相反の有無なし

表2

2 段階分類手法

448

結果

文献
[1] Nazerian P, Volpicalli G, Vanni S, et al.: Accuracy of lung ultrasound for the diagnosis of consolidations whencompared to chest computed tomography. The Amerian Journal of Emergency Medelicine Vol. 33: 620-625,
2015[2] Nima T, Jae S, Suryakanth G, et al.: Convolutional Neural Network for Mdelical Image Analysis: Full Training
or Fine Tuning? IEEE Transactions on Medecal Imaging Vol. 35: Issue 5, 2016
[3] Rajpurkar P, Irvin J, Zhu K, et al.: CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with
Deep Learning. [online] Available: https://arxiv.org/abs/1711.05225:2017449

Investigation of abnormal site detection systemusing chest X-ray image by Two-step classification
Takahiro DOZONO*1, Yuichiro YOSHIMURA*2, Kumiko TANAKA*3
Takaaki NAKADA*3, Shigeto ODA*3, Toshiya NAKAGUCHI*2*1 School of Engineering, Chiba University*2 Center of Frontier Medical Engineering, Chiba University*3 Department of Emergency and Critical Care Medicine,
Graduate School of Medicine

Chest X-ray portable radiography is used for the follow-up of severe patients who have difficulty moving in theintensive care unit. However, since imaging is performed in various postures such as sitting position and supine
position, interpretation is difficult due to the difference of image in organ status of standing position, and the
reduction in diagnostic accuracy is low. In this study, we tried to apply deep learning to improve the diagnosis oflung diseases from chest X-ray portable images. The proposed system is classified into two-step:

three classes

of images classified of atelectasis and pneumonia as one class, not emergency or pleural effusion, and twoclasses of images classified as atelectasis or pneumonia. For evaluation experiments, two types of data collected
at Chiba University Hospital and data from the National Institutes of Health were used. We performed left-rightinversion and ± 7-degree rotation processing as data expansion, expanded the number of data to 14 times, andused the three-part cross validation method as the evaluation method. As a result, it has been confirmed that the
proposed two-step classification method improves the classification accuracy than the four-class classification
model.
Key words: Deep Learning, Chest portable X-ray images, Convolutional Neural Network450

OP4-01

ブロックマッチング 5D フィルターを用いたダイナミック
PET スキャンのための画像ノイズ除去
大手

希望*1

橋本二三生*1

垣本 晃宏*1

磯部

卓志*1

犬伏

知生*1

得居 葵*1

吉川

悦次*1

大村

知秀*1

尾内 康臣*2
要旨
陽電子断層撮影装置(positron emission tomography; PET)による PET リガンドの取込みの定量には，ダイナ
ミックスキャンが必要となる．ダイナミックスキャンは，短時間フレームの繰り返しよりなるため，データがノイジーになりやすい．そこでダイナミック PET 画像のノイズ除去のために，ブロックマッチング 4Dフィルター(block matching and 4D filter; BM4D)を時空間に拡張した BM5D を提案する．BM5D は．類似した 4D パッチを集めて 5D のグループとし，それをまとめて変換することでスパース性を増強し，信号とノイズを分離しやすくする．計算機シミュレーション，健常ボランティア実験データにより，BM5D，ガウシ
アンフィルター，BM4D の性能を比較した．BM5D は最も高いピーク信号対雑音比，構造化類似度を示し，実験データにおいて最も良好な画像を示した．
キーワード：画像ノイズ除去，画像フィルタリング，画像復元，Positron emission tomography (PET)

1．はじめにmatching and 3D filter; BM3D）などのエッジ保存

陽電子放射断層撮影装置(positron emission

型平滑化フィルタが提案されている．Dutta ら

tomography; PET)によるダイナミックスキャン

は，ダイナミック PET 画像のノイズ除去のためは，PET トレーサーの取込みの定量に不可欠でに NLM を時空間に拡張した［1］．また，Maggioni

ある．しかし，ダイナミックスキャンは短時間

らは，BM3D を 3D 画像に拡張した BM4D を開フレームの繰り返しで構成され，雑音の多い画発した［2］．しかし，これまでダイナミック PET像となりやすい．そのため，ガウシアンフィル

画像のノイズ除去のために BM4D を時空間にタ(Gauss)による平滑化が良く用いられている

拡張する研究はなされていない．そこで本研究が，画像エッジがぼけてしまう問題がある．そでは，ダイナミック PET 画像ノイズ除去のため

こ で ， 非 局所 平 均 フィ ルタ （ non-local means;に BM4D を時空間に拡張した BM5D を提案し，NLM）やブロックマッチング 3D フィルタ（block

その性能を評価する．
方法――――――――――――――――――

1）BM5D*1 浜松ホトニクス株式会社中央研究所

BM5D は，ダイナミック PET 画像のノイズ除〔〒434-8601 浜松市浜北区平口 5000〕

去のために BM4D を時空間に拡張したもので

e-mail: kibou@crl.hpk.co.jp

ある．図 1 に BM5D の処理の流れを示す．本実*2 浜松医科大学

装ではパッチサイズをハード閾値処理では 4 ×451

図 1 提案 BM5D の処理の流れ．ハード閾値処理(左)，ウィーナーフィルタリング(右)の 2 ステップからなる．
参照パッチに類似した 4D パッチを集めて 5D グループとし，まとめてノイズ除去す4 × 4 × N，ウィーナーフィルタリングでは 5 × 5

は他手法と比較し，すべてのダイナミックフレ× 5 × N とした．ここで，N は総フレーム数であームにおいて PSNR，SSIM が向上した．また，り，雑音の標準偏差 σ により平滑化の強さを調実機での PET 計測においても同様の結果がえ整する．

られた．これらの結果より BM5D のダイナミッ

2）計算機シミュレーション

ク PET 画像ノイズ除去の有効性が示唆された．

本手法の有効性を確認するため、数値脳ファ
ントムによるダイナミック[18F]FDG PET シミュレーションを行った．フレームを 4 × 30 秒，
4 × 40 秒，4 × 60 秒，4 × 180 秒，14 × 300 秒に分割し，総カウント 5 × 10 8 相当のポアソンノイ
ズを付与した．
4）健常ボランティアの PET 計測
浜松医科大学の倫理委員会の承認のもと
11[ C] MeQAA［3］を投与された健常ボランティ
アを頭部用 PET 装置（Hamamatsu HITS-655000

図 3 冠状面における実験データの結果．左からノイ［4］）にて計測した．フレーム分割は 4 × 30 秒，

ジー，Gauss 4mm，BM4D σ=1，BM5D σ=1．

20 × 60 秒，8 × 300 秒とした．

利益相反の有無

なし

3．結果

文

図 2 に計算機シミュレーションにおけるピー［1］

献

Dutta J, Leahy R M, Li Q: Non-local means

ク信号対雑音比(peak signal to noise ratio; PSNR)，

denoising of dynamic PET images. PLoS ONE

構造化類似度(structural similarity measure; SSIM)

8: e81390, 2013の結果を示す．図 3 に冠状面における実験デー［2］

Maggioni M, Katkovnik V, Egiazarian K et

al: A nonlocal transform-domain filter for

タの結果を示す．

volumetric data denoising and reconstruction.
IEEE Trans Image Process 22: 119-133, 2013［3］

Nakaizumi K, Ouchi Y, Terada T et al: In

vivo depiction of α7 nicotinic receptor loss forcognitive decline in Alzheimer’s disease. J
Alzheimers Dis 61: 1355-1365, 2018
図 2 シミュレーション結果．PSNR(左)と SSIM(右)．

［4］Watanabe M, Saito A, Isobe T et al:

4．考察およびまとめ

Performance evaluation of a high-resolution

本研究では，ダイナミック PET 画像のノイズ

brain PET scanner using four-layer MPPC DOI

除去のために BM4D を時空間に拡張した BM5D

detectors. Phys Med Biol 62: 7148-7166, 2017を提案した．シミュレーション結果より，BM5D

452

Image Denoising for Dynamic PET Scans Using a Block Matching and
5D Filter
Kibo OTE*1, Fumio HASHIMOTO*1, Akihiro KAKIMOTO*1, Takashi ISOBE*1, Tomoo INUBUSHI*1, Aoi Tokui*1,
Etsuji YOSHIKAWA*1, Tomohide OMURA*1, Yasuomi OUCHI*2*1 Hamamatsu Photonics K.K.
*2 Hamamatsu University School of Medicine

Dynamic positron emission tomography (PET) scans are required to estimate the uptake of PET ligands quantitatively.
Since such dynamic short-frame PET scans are noisy, we propose block matching and 5D filtering (BM5D) that
extends BM4D to time space for accomplishing dynamic PET image denoising. The proposed algorithm is based onan enhanced sparse representation in transform domain. Sparsity is enhanced by grouping similar 4D patches ofdynamic PET images (e.g., time-activity curves in a small volume) into an array of 5D data known as a “group.”
Because of the similarity between the grouped patches, the transform of a 5D group can achieve a highly sparse
representation of the true signal, and the noise can be well separated by shrinkage. We used both computer simulation
data and experimental data comparing the methods with BM5D, Gaussian filter, and BM4D. In simulation, theproposed algorithm improved the peak signal to noise ratio, as well as the structural similarity measure, in all timeframes, compared to the other methods. In computation of real experimental data, the proposed algorithm achievedbest image quality among the three methods. The present results comfirm that the proposed algorithm enables efficientdenoising of dynamic PET images.

Key words: Image denoising, Image filtering, Image restoration, Positron emission tomography453

OP4-02

Super-resolution of clinical CT volumes with modified
CycleGAN using micro CT volumes
Tong ZHENG*1, Hirohisa ODA*1, Takayasu MORIYA*1,
Takaaki SUGINO*1, Shota NAKAMURA*2, Masahiro ODA*1,
Masaki MORI*3, Hirotsugu TAKABATAKE*4,
Hiroshi NATORI*5, and Kensaku MORI*1,6,7Abstract
This paper presents a super-resolution (SR) method with unpaired training dataset of clinical CT and micro CT volumes.
For obtaining very detailed information such as cancer invasion from pre-operative clinical CT volumes of lung cancer
patients, SR of clinical CT volumes to μCT level is desired. While most SR methods require paired low- and highresolution images for training, it is infeasible to obtain paired clinical CT and μCT volumes. We propose a SR approachbased on CycleGAN, which could perform SR on clinical CT into μCT level. We proposed new loss functions to keep
cycle consistency, while training without paired volumes. Experimental results demonstrated that our proposed method
successfully performed SR of clinical CT volume of lung cancer patients into μCT level.
Keywords：Super-resolution, Clinical CT, μCT, CycleGAN, Unpaired learning

1. Introduction
Lung cancer causes largest number of deaths per year among cancers of male [1]. Currently, precise diagnosis of lungcancer mainly depends on clinical CT volumes. However, we could not obtain enough pathological information due to
its low resolution. Super-resolution (SR) of clinical CT into μCT-like level is desired.
Deep learning-based methods have been proved to outperform other methods in SR. These approaches are often
supervised, requiring aligned pairs of low-resolution (LR) and high-resolution (HR) patches to train a model. However,
it is infeasible to obtain spatially corresponding patch pairs of clinical CT and μCT because registration between themis difficult. SR methods that can be trained by using unpaired images are desired.
―――――――――――――――――――――――――――――――――――――*1 Graduate School of Informatics, Nagoya University〔Furou-cho, Chikusa-ku, Nagoya 464-0814, Japan〕
e-mail: tzheng@mori.m.is.nagoya-u.ac.jp*2 Nagoya University Graduate School of Medicine*3 Sapporo-Kosei General Hospital*4 Sapporo Minami-sanjo Hospital*5 Keiwakai Nishioka Hospital*6 Information Technology Center, Nagoya University*7 Research Center of Medical Bigdata, National Institute of Informatics

454

Downsample loss

Average pooling

SSIM loss

Fake or Real

Clinical CT 𝑨

Generator 𝐺1

𝑨SR (Fake μCT)

Fake or Real
Discriminator 𝐷1

Discriminator 𝐷2
𝑩LR (Fake clinical CT)

Generator 𝐺2μCT 𝑩

SSIM loss
Nearest-neighbor Interpolation

Figure 1

Upsample loss

Network structure used for training. Compared to original CycleGAN, proposed method uses loss
functions for maintaining cycle consistency. We calculate SSIM loss between 𝑨 and 𝑨SR , 𝑩 and 𝑩LR .
Further, we calculate downsample loss between average-pooled 𝑨SR and 𝑨, as well as upsample loss
between 𝑩 and upsampled 𝑩LR .

One of the first approaches that formalizes the possibility to transpose from a source domain to a target domain in theabsence of paired examples is called CycleGAN [2]. For instance, pictures of the zebra are converted into those of thehorse. Nevertheless, CycleGAN is not designed for SR.
In this paper, we propose an SR method of clinical CT into μCT-level by our modified CycleGAN. Unpaired clinicalCT and μCT volumes are used for training.

2. Overview
In prior to inference, training of the network is required using clinical CT and µCT volumes. For inference, patchesclipped from clinical CT volumes are input. In our study, scale of original µCT volumes is at least 8-times larger thanthe clinical CT volumes. Because of this, we consider 8-times SR to be the most proper.
Input of our networks are 2D patches clipped from the volumes. The input clinical CT patch size is 32×32 pixels,
while input μCT patch size is 256×256 pixels.
1) Network Structure
Figure 1 shows the network structure of our proposed method. The first input is clinical CT patch 𝑨, and generator
𝐺1 generates corresponding SR patch 𝑨SR from 𝑨. Similar to CycleGAN, the generator 𝐺1 is aimed to produce
image patches that are similar to the ones in the target domain (μCT domain) by trying to fool the discriminator 𝐷1 .
Vice versa, the same work is done upon μCT patch 𝑩 by using generator 𝐺2 and discriminator 𝐷2 to keep theconsistency of proposed framework.
2) Loss functions
Like CycleGAN, our method uses cycle consistency while training the network. However, in SR problem, the cycle
consistency between corresponding LR and SR image is different with that in image translation problem. In SR problem,
corresponding LR and SR image are desired to have similarity in structure and average intensity, while the loss function455

used in original CycleGAN could not obtain this.
Here we propose serval loss functions in our pipeline to create the cycle consistency (blue blocks in Fig. 1). Without
cycle consistency, the network would simply produce arbitrary patch in the target domain with no relationship to thestructures contained in the input patch.
The first loss function we proposed to keep cycle consistency is downsample loss. It is defined to maintain similarity
while transforming clinical CT volume to μCT scale as𝑙downsample (𝑨) = MSE(𝑨, 𝑓(𝑨SR )),where 𝑓() is an average pooling function, reducing the size of 𝑨SR to the same as 𝑨, since 𝑨SR is SR patch, 8 times
larger than 𝑨. MSE is the mean squared error. Analogously, we name the second loss function the upsample loss as
𝑙upsample (𝑩) = MSE(𝑩, 𝑔(𝑩LR )),where 𝑔() is the nearest-neighbor interpolation function, upsampling the size of generated clinical-CT like 𝑩𝐿𝑅 to theoriginal size of 𝑩.
Although the first and second loss function could keep the cycle consistency while training network, both loss
functions depend on intensity differences between generated and target image patches, which is not very well matchedto perceived visual quality. Here we propose third and fourth loss functions, which we name as clinical-SSIM loss andmicro-SSIM loss
𝑙clinical−SSIM =𝑙micro−ssim =1,

SSIM(𝑨,𝑓(𝑨SR ))1,

SSIM(𝑩,𝑔(𝑩LR ))where SSIM is the structural similarity proposed in paper [3]. While training our model, third and fourth loss function
helps protecting the model from generating blurred image patches.
3) Training
We perform training process using 2D clinical CT patches as input of Generator 𝐺1 and 2D μCT patches as input ofGenerator 𝐺2 . Output of Generator 𝐺1 is the generated μCT-like SR patches. Discriminator 𝐷1 is used to discriminate
output of Generator 𝐺1 is real or fake. Furthermore, for more stable training, we mixed downsampled μCT patches inclinical CT patches as input. The percentage of downsampled μCT patches is 25%.
4) Inference
For testing, we input 2D patch clipped from clinical CT volumes into the trained Generator 𝐺1 . Output is a SR patch
based on the input patch.

Table 1 Profiles of clinical CT and μCT volumes
μCT
Clinical CT
pixels in one slice
1024×1024 pixels
512×512 pixels
number of slices
545~1082 slices
435~554 slices
size of each pixel
34~53μm
0.625mmslide thickness
34~53μm
0.6mm

456

(a)

(b)

(c)

(d)

Figure 2 Example and comparison of proposed method. (a) original clinical CT, (b) proposed SR result, (c) bicubic interpolation, and(d) CycleGAN (without proposed loss functions).

3.Experiments and results
We utilized five lung cancer cases in the experiment. Clinical CT volumes were acquired by SOMATOM Definition
flash (SIEMENS, Germany) from lung cancer patients. After surgical dissection of the lung cancers, μCT volumes ofthe dissected specimens were acquired by a μCT scanner, inspeXio SMX-90CT Plus (SHIMADZU, Japan). The profilesof clinical CT and μCT volumes are listed in Table 1.
In our experiment, we used clinical CT and μCT volumes obtained from same patients, meaning one patient has one
clinical CT volume and one μCT volume. We used 5 cases of clinical CT and μCT for training in our experiment. The
epoch number is 200. For testing, we used 1case of clinical CT.
SR results of our proposed method were compared to bicubic-interpolation and original CycleGAN, as shown in Fig.
2. We could obtain more details from SR results than bicubic-interpolation results. Lung anatomies, such as the bronchus
looks more clearly than bicubic-interpolation. Original CycleGAN’s result has produced very different results fromoriginal clinical CT volumes.

4. Discussion and conclusion
We proposed a novel SR method with unpaired training dataset of clinical CT and micro CT volumes. New loss
functions are introduced to keep cycle consistency in SR task. Experimental result showed that our method could apply457

SR on clinical CT to μCT level.
Because training of proposed method is unpaired, we do not have corresponding ground truth for certain input,
quantitative evaluation of output result becomes difficult. Our future work is quantitative evaluation of SR results.

Competing interests
None.

Acknowledgement
Parts of this research was supported by MEXT·JSPS KAKENHI (26108006, 17H00867, 17K20099), the JSPS
Bilateral International Collaboration Grants, the AMED18lk1010028s0401, the AMED19lk1010036h0001 and the Hori
Sciences & Arts Foundation.

References［1］Vital Statistics Japan (Ministry of Health, Labour and Welfare)［2］Zhu J, Park T, Isola P, et al.: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE
International Conference on Computer Vision: 2242-2251, 2017［3］Zhou W, Alan C, Hamid R, et al.: Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Trans Image
Processing 13: 600-612, 2004

458

μCT を用いた改良版 Cycle-GAN による臨床用 CT 像の超解像処理
鄭 通*1, 小田 紘久*1, 守谷 享泰*1, 杉野貴明*1, 中村 彰太*2, 小田 昌宏*1,
森 雅樹*3, 高畠博嗣*4, 名取 博*5, 森 健策*1,6,7*1 名古屋大学大学院情報学研究科*2 名古屋大学大学院医学系研究科*3 札幌厚生病院*4 札幌南三条病院*5 恵和会西岡病院*6 名古屋大学情報基盤センター*7 国立情報学研究所医療ビッグデータ研究センター

本稿では，臨床用 CT 像の超解像手法を提案する．肺がん症例の臨床 CT 像から腫瘍の浸潤状況など疾患に関する情報を取得するため，肺臨床 CT に超解像を適用し，μCT レベルの解像度を得る手法が求められている．多くの超解像手法における教師あり学習では，対応関係のある低解像度と高解像度の画像ペアが必要となるが，臨床 CT と μCT の画像ペアは正確に位置合わせを行うことが困難である．我々は CycleGAN を改良し，臨床用 CT 像と μCT 像間の相互変換において一貫性を保持するための新しい損失関数を導入することによって，ペアなしの超解像手法を実現する．実験の結果，臨床 CT 像の μCT レベルへの超解像が可能であった．

キーワード：超解像, 臨床 CT, μCT, CycleGAN, ペアなし学習459

OP4-03

視覚情報提示による頭部 PET 体動抑制手法の開発
海斗*1

鈴木

岩男 悠真*2

高橋 美和子*2

山谷泰賀*2,3

要旨
近年、頭部 PET 装置の開発が進むなど PET の高解像度化が進む中，体動による画質劣化への関心が高まっている．バンド等を用いて物理的に被験者を拘束することはあまり望ましくはない．画像再構成時に体動を補正する手法が報告されているが，既存装置への組み込みが困難であるため実用化は進んでいない．
そこで，本研究では，非拘束かつ撮像システムに依存しない体動抑制法の開発を目的とした．具体的には，
Kinect を用いて被験者の体動を計測し，体動をリアルタイムに可視化することで被験者自らが体動を抑制できるシステムを開発した．実際の頭部の体動の特性を分析し，認識が容易な体動の可視化手法についての検討を行うことでシステムを改良し，システムの有効性を複数の被験者を対象としたボランティア試験
により検証した．結果として開発システムにより体動の標準偏差が 50.1%と大きく抑制できることを確認した．
キーワード：体動抑制，頭部 PET

1．研究背景PET 検査が可能になるほか，装置小型化など

近 年 開 発 さ れ た 新 し い Positron emissionのメリットもあると期待される．

tomography (PET)用標識薬剤により，アルツ

また，空間分解能は逐次近似画像再構成法

ハイマー病をはじめとする認知症診断に有効で約 1.4mm であり，2~3mm 解像度の全身用なタウタンパクやアミロイドβといった物質

市販 PET 装置と比較して優れた性能を持つの可視化が可能となった[1]．こうした背景のことが示されている．一方で座位による測定

もと，脳に特化した頭部専用 PET 装置が求めでも，被験者の頭部の動きを十分に抑制できられていることから、放射線医学総合研究所

るかどうかはまだ明らかになっていない．被（放医研）では半球形の検出器配置を特徴と

験者の体動は，画質の大幅な低下に繋がるた

する図 1 のようなヘルメット型 PET の開発にめできる限り抑制する必要がある．

取り組んできた[2]．
座位姿勢での測定が可能な ヘルメット型
PET では，仰臥位で測定する一般的な全身用PET に比べ，日常の生活状態に近い体制での――――――――――――――――――*1 千葉大学大学院融合理工学府〔〒263-8522 千葉市稲毛区弥生町 1-33〕

図 1 放医研が開発したヘルメット PETe-mail: k.suzuki@chiba-u.jp*2 国立研究開発法人量子科学技術研究
開発機構放射線*3 千葉大学

2．研究目的放射線医学総合研究所

本研究では，座位スタイルでの測定を行う

フロンティア医工学セン

頭部 PET の体動を抑制するシステムについターての検討を行う．具体的には，非接触かつ PET

投稿受付：2019 年 5 月 15 日

機器とは完全に独立した構成の体動抑制シス

460

本システムでは 3 軸に対しての移動量と回転の 6 パラメータを一画面に表示していており，被験者が慣れるまで時間がかかったため，表示するパラメータを減らすことを検討する
ため再実験を行った．被験者の体動を 6 パラ
メータごとに測定し，主成分分析を行ったと
ころ図 3 ような結果が得られた．各パラメー
タの軸は先ほどの実験と同様である．このことから x 軸と z 軸が独立に大きな体動をしていると考えられる．

テムの開発し，被験者の体動を可視化して提示することで，被験者自らが体動を抑制可能な手法の検討を行う．
3．提案手法
本研究では，被験者の体動を Kinect により取得し，体動の情報を可視化して画面に表示
して被験者自らが画面を見ながら頭部位置を調整可能なシステムを構築した．システム要件として，リアルタイムに体動を取得・可視0.600

化が可能なこと，およびヘルメット型 PET 装

0.400

置の空間分解能を許容量の目安として平行移動は 2mm，回転量は 2 度以内の精度に体動を抑えることを目標とした．頭部位置の計算を

0.200
0.000

リアルタイムに行うため本研究では Kinect

x

y
図3

SDK による人体トラッキング機能を用いた．
C++.NET Framwork，および OpenGL を用いた

z

Wx

Wy

Wz

主成分分析の結果

5．まとめ

システムを開発した．

体動を可視化する提案システムによって頭部体動を抑える方法のコンセプト実証に成功し

4．実験

た．今後は，可視化表示する情報を絞り込む

本システムを使用した場合と使用しない場合

ことで，利用者が理解しやすい動き情報提示の対象実験（20 分間）によって体動の変化が方法を検討していく予定である．

あるかどうかを検証した．実験の結果，表 1のように提案システムの効果が認められる結利益相反の有無果が得られた．また，本実験での x,y,z 軸の方なし

向は図 2 の通りである．
表1

第一主成分負荷量
第二主成分負荷量

文

システムの有無による体動の差［1］

献Maruyama, M., et al., Imaging of tau
pathology ina tauopathy mouse model

体動の平均±SD

平行移動[mm]

回転[度]システムあり1.85±0.94

1.41±0.61

normal controls. Neuron, 79, 1094 ─

システムなし12.98±4.21

5.22±1.86

1108 ,2013

and in Alzheimer patients compared to［2］Tashima, H. et al., "Development of theHelmet-Chin PET Prototype", IEEE
NSS-MIC 2015 M3CP-97, 2015.

図2

提案システム概要と軸の定義

461

Development of the motion suppress system using the visual
information for head dedicated PET measurement
Kaito SUZUKI*1, Yuma IWAO*2, Miwako TAKAHASHI*2,Taiga YAMAYA*2,3*1 Chiba University Graduate School of Science and Engineering*2 National Institutes for Quantum and Radiological Science and Technology –QST
*3 Chiba University Center for Frontier Medical Engineering

In head PET devices that are currently attracting attention, one of the issues is to prevent deterioration of theacquired image due to body movement.
Conventional methods include a method of physically constraining a subject using like a band , and a methodof correcting body movement at the time of image reconstruction. However, the current situation is that many
problems remain because of the increased burden on subjects and the difficulty of incorporating into existing
equipment. So, in this research, we study for the purpose of development of the motion suppression method
which does not depend on the imaging system. Specifically, we developed a system that can control the motionof the subject by acquiring the motion of the subject using Kinect and visualizing the motion in real time.
We analyzed the characteristics of human motion in the human head and examined the method of visualizing
the motion that was easy to recognize, and verified the effectiveness of the system by a volunteer test for
multiple subjects. As a result, it was confirmed that the standard deviation of body movement can besuppressed to 50.1% by the development system.
Key words:Motion suppress, head dedicated PET

著者紹介
鈴木 海斗 (すずき かいと)2019 年千葉大学工学部メディカルシステム工学科卒．
現在，千葉大学大学院融合理工学府基幹工学専攻医工学コース博士前期課程在籍．
岩男 悠真 (いわお ゆうま)2015 年 横浜国立大学大学院環境情報学府・博士後期課程修了．2015 年より放射線医学総合研究所・博士研究員，2018 年より同研究所研究員，現在に至る．
博士（情報学）．医用画像処理に関する研究に従事．
高橋 美和子 (たかはし みわこ)
2008 年 東京大学大学院医学系研究科 博士課程修了、2008 年東京大学医学部附属病院助教、2014 年同講師、2018 年放射線医学総合研究所・主幹研究員。
臨床 PET 研究に従事
山谷 泰賀 (やまや たいが)2000 年東京工業大学（東工大）大学院物理情報工学
専攻博士課程修了。放射線医学総合研究所（放医研）
ポスドク、東工大助手を経て、2004 年より放医研研究員。2009 年よりチームリーダー。専門は医用画像工学。特に PET イメージング機器開発の研究に従事。

462

OP4-04

静止型 SPECT システムを用いた心筋画像再構成
藤代

鷹平*1

村田

一心*2

本村

信篤*3

尾川

浩一*2

要旨
マルチピンホールコリメータを装着した SPECT システムは, 検出器を回転させることなく多方向から検出器へ進入するガンマ線の飛来方向を推定可能であり, 静止型 SPECT システムとして使用できる. 静止型 SPECT システムを用いた心筋画像再構成における問題点は, データ収集角度が一定程度限定される
こと, 肝臓等の他の臓器による散乱線の影響, 高集積臓器によるストリークアーチファクトなどである.
本研究では, 静止型 SPECT におけるこれらの問題点を検討するために, モンテカルロ法による光子輸送計算を用い, 臨床に近い状態で収集された投影データを作成し, 心筋画像の評価を行なった. ファントム
は DMCAT ファントムを用い, 3 検出器 (11 ピンホールコリメータ) のジオメトリを想定し, 画像再構成に
は ML-EM 法を用いた. この結果, ３個の検出器を１回だけ 60 度だけ回転したデータ収集では、ピンホー
ル投影データには散乱線が含まれるものの, 臨床上使用可能と思われる画像を得ることができた.
キーワード：心筋 SPECT イメージング, マルチピンホールコリメータ, モンテカルロシミュレーション,
DMCAT ファントム

1.

ーチファクトなどによる心筋再構成画像の定

はじめに心疾患は世界的な死因の一つであり [1] ,量性の低下である.
本研究では, 静止型 SPECT システムによ

医用画像処理技術の飛躍的な発展は心疾患の診断精度向上に大きく貢献している. 心疾患

る心筋画像再構成のシミュレーションを行い,の診断方法としては, 機能評価に優れている

心筋画像の評価を行なった.

SPECT が用いられている. 近年 SPECT においては, 複数のガンマカメラにコリメータを2.

装着することで, 検出器を回転させる必要が本研究では, キヤノンメディカルシステム

ない静止型 SPECT システムが開発されていズから販売されている 3 検出器型 SPECT シス

る. 静止型 SPECT システムは, 検出器を回転

テム GCA9300R を想定している. GCA9300Rさせる必要がないため, データ収集時間の短を静止型 SPECT システムとして使用するた縮やシステム時間分解能の向上による動態機

めに, マルチピンホールコリメータ(11 ピン

能イメージングが期待されている.

ホールコリメータ)を装着した. これにより,シミュレーション方法

静止型 SPECT システムを用いた心筋画像

多方向から検出器へと進入してくるガンマ線

再構成における問題点は, データ収集角度がの飛来方向を推定可能なシステムを構築し限定されること, 肝臓等の他の臓器による散た.
そして, 静止型 SPECT システムで取得し乱線の影響, 高集積臓器によるストリークア

た心筋再構成画像が臨床上使用可能かどうか――――――――――――――――――の検討を行うために, 3 次元 DMCAT ファン*1 法政大学大学院理工学研究科

トムを用いてシミュレーションを行なった.

〔〒184-8584 小金井市梶野町 3-7-2〕

3 次元 DMCAT ファントムは, 1 秒を 1 周期とe-mail: yohei.fujishiro.7m@stu.hosei.ac.jp

して 16 位相の画像で構成されている. 図 1*2 法政大学理工学部

は第 1 位相における 3 次元 DMCAT ファン〔〒184-8584 小金井市梶野町 3-7-2〕

トムの画像である. また, 光子輸送計算およ*3 キヤノンメディカルシステムズ株式会社463

び画像再構成には研究室内ソフトウェアを用いて行なった.
次に, 光子輸送計算および画像再構成で用いたジオメトリを図 2 に示す. 回転中心からコリメータまでの距離は 300 mm, コリメ
ータから検出器表面までの距離は 76 mm とした. 再構成画像は 64×64×64 ボクセル (ボクセルサイズ: 6.25×6.25×6.25 mm3), 検出器
は 256×512 ピ ク セ ル ( ピ ク セ ル サ イ ズ :0.8×0.8 mm2), エネルギー分解能 10% FWHM
@ 140 keV, 固有空間分解能 4 mm FWHM とした. Triple Energy Windows 法 [2] を用いた
図 2. シミュレーションジオメトリ

散乱線除去を行うために, メインウィンドウを 126～154 keV, サブウィンドウを 119～133 keV と設定した. シミュレーションにお画像再構成には逐次近似再構成手法の 1

けるデータ収集は心電同期を想定しており,つである ML-EM 法 [3] を適用し, 繰り返

3 検出器を一度だけ回転させることで 6 角度

し回数は 100 回とした. データ補正として位置のデータ収集を行なった.

散乱線補正, 吸収補正, コリメータ開口補正[4] , 感度補正 [5] を適用した. また, 後処理として, フィルタ次数 2 遮断周波数 20/64 のバタワースフィルタを再構成画像にかけてい
る.
3.

結果

第 1 位相の原画像と心筋再構成画像を図 3に, そのプロファイルを図 4 に示す.プロファ
イルは, 図 3 に示す矢印の位置で計算した.

Activity MAP

μMAP

図 1. 3 次元 DMCAT ファントム
原画像

再構成画像

図 3. 第 1 位相の原画像と再構成画像

464

Normalized SPECT value

0.5

00

1.0

32
Position [pixel]

64

Normalized SPECT value

Normalized SPECT value
Normalized SPECT value

1.0

original
reconstructed

original
reconstructed

0.5

00

32
Position [pixel]

64

1.0

original
reconstructed

0.5

00

1.0

32
Position [pixel]

64

original
reconstructed

0.5

00

32
Position [pixel]

64

図 4. 第 1 位相の原画像と再構成画像のプロ

図 6. 第 8 位相の原画像と再構成画像のプロファイル (上: #36, 下: #38)

ファイル(上: #36, 下: #38)

次に, 第 8 位相の原画像と心筋再構成画像

4.

を図 5 に, そのプロファイルを図 6 に示す.

図 4 と図 6 から, 心電同期を想定して取得

プロファイルは, 図 5 に示す矢印の位置で計した投影データによる再構成画像は原画像の算した.

特徴を再現できていることがわかる. これは,考察

マルチピンホールコリメータを装着した 3 検
出器型 SPECT システムを一度だけ回転させることを許せば再構成するのに十分な投影データを得られるのではないかと考えられる.
また, 図 3 と図 5 の再構成画像の両端に直線状のアーチファクトが見受けられる. これは, 3 つの検出器が正三角形の形で固定されているため, アーチファクトが生じたと考えられる. このアーチファクトを除去するためには, 回転中心からコリメータまでの距離を離して再構成空間を大きくするという方法が考えられるが, この方法は再構成画像の空間分解能が低下してしまうというデメリットが
原画像

ある.

再構成画像

図 5. 第 8 位相の原画像と再構成画像

465

5. まとめ文

本研究では, 3 検出器型 SPECT システム

献[1] Choi S, Kim H, Oh J, et al.:Segmentationにマルチピンホールコリメータを装着した

of the left ventricle in myocardial perfusion

SPECT システムを一度だけ回転させて 6 角

SPECT using variational level set formulation.

度位置データ収集することで, 心筋画像再構

IEEE Nucl Sci Symp, 3060-3064, 2007

成を行なった. その結果, 比較的アーチファ[2] Ogawa K, Harata Y, Ichihara T, et al.: A

クトが少なく臨床上使用可能と思われる心筋

practical method for position dependent

再構成画像を得ることができた.

Compton-scatter correction in single photon
emission CT. IEEE Trans Med Imag 10:
408-412, 1991

利益相反[3] Shepp L. A, Vardi Y: Maximum likelihood

本研究の一部はキヤノンメディカルシステ

reconstruction

ムズ株式会社の研究費を受けて実施された.

foremission

tomography.

IEEE Trans Med Imag 1: 113-122, 1982
[4]

謝辞

Andreyev

A,

et

al.:

PinholeSPECT

本研究は、文部科学省科学研究費補助金、

reconstruction using blobs and resolution

基盤研究（C）19K12849 による助成を受けた.

recovery. IEEE Trans Nucl Sci 53: 2719-2728,
2006[5] Jansen FP, et al.: Uniformity correction using
non-uniform floods. IEEE Nucl Sci Symp
Conf Record (NSS/MIC), 2314-2318, 2010

466

Myocardial image reconstruction using a stationary SPECT system
Yohei FUJISHIRO*1, Kazumi MURATA*2, Nobutoku MOTOMURA*3, Koichi OGAWA*2*1 Graduate School of Engineering, Hosei University*2 Faculty of Science and Engineering, Hosei University*3 Canon Medical Systems
A gamma camera equipped with a multi-pinhole collimator can acquire photons that enter a detector with manydifferent angles, and so it is able to establish a stationary SPECT system with several gamma cameras. However, if we
apply this system for the myocardial imaging, there are some issues such as limited angles, scattered photons emitted
from surrounding organs, streak artifacts due to highly accumulated organs, etc. In this study, we evaluated thefeasibility of the stationary SPECT system for the myocardial imaging with a 3D-DMCAT phantom. We assumed thegeometry consisted of a triple head gamma camera with multi-pinhole collimators. And the ML-EM algorithm wasused to reconstruct an image. In addition, we performed an attenuation correction, scatter correction, and efficiency
correction of pinholes. The simulation results showed that we could reconstruct myocardial images with reasonable
quality when we rotated three detectors once by 60 degrees.
Key words: myocardial SPECT imaging, multi-pinhole collimator, Monte Carlo simulation, DMCAT phantom

467

OP4-05

マルチ CNN による MRI 画像におけるノイズ低減
金子

幸生*1

野口 喜実*1

尾藤 良孝*2

荻野

昌宏*1

要旨
MRI（核磁気共鳴撮像装置）は，頭部をはじめ様々な部位の検査に用いられているが，撮像時間が長い点が課題である．近年，撮像時間の短縮に関する研究が進んでおり，画像再構成に対して畳み込みニューラル
ネットワーク（CNN）を適用する研究が注目されている．本研究では，MRI 撮像の高速化を目指して，少数の計測データから再構成された低画質画像に対するノイズ低減について検討を行った．MRI 装置を用いて通常撮像および撮像時間を 1/2 とした撮像実験を行い，撮像画像データから約 90,000 枚の学習パッチを作成した．学習パッチに含まれる輝度情報の特徴を基にサブセットに分類し，各サブセットに対してネッ
トワークを作成した．撮像時間 1/2 の画像を領域分割し，各領域ごとに最適なネットワークを選択し，画像を出力した．結果，単一 CNN の場合と比べ，本手法では PSNR が約 0.5 dB 向上し，ノイズ低減効果を確認した．
キーワード：MRI，画像再構成，高画質化，CNN

1．はじめには多数のフィルタ処理で構成されている為，繰

MRI（Magnetic Resonance Imaging: 核磁気共り返し処理が不要で，GPU（Graphical Processing

鳴撮像装置）は，頭部をはじめとして様々な部

Unit）等の並列計算に適用しやすく，高速な処位の検査に用いられているが，撮像時間が長い理が期待できる．

点が課題である．MRI 撮像における高速撮像技

これらの状況を踏まえ，本報告では，MRI 検術としては，各受信コイルの k 空間データと受査 の ス ル ー プ ッ ト 向 上 を 目 的 と し ， Deep

信コイルの感度分布の違いを利用する Parallel

Learning を用いた画像処理技術として，MRI 画

Imaging[1]や，近年では，k 空間信号を間引いて像の高速撮像時における高画質化に関する検計 測 し ， 未 計 測 信 号 を 復 元 す る Compressed

討を行った．具体的には，3T MRI 装置において

Sensing[2]のような手法の開発が進んでいる．しルーチンで撮像されている画像を基準として，

かし，Compressed Sensing では，繰り返し最適

撮像時間を 1/2 に減らした高速撮像法により低化処理に時間がかかる課題がある．

画質画像を取得し，Deep Learning を用いること

その中，Deep Learning を用いた画像処理技術

により画質改善効果が得られるか確認した．まの研究が急速に進んでいる[3]．画像処理でよくた，さらなる画質改善を目指し，複数の CNN を用いられる CNN（Convolutional Neural Network）

用いた学習によるノイズ低減方法について検討した．

――――――――――――――――――*1 株式会社

日立製作所

研究開発グ

2．方法

ループ
〔〒185-8601

はじめに，3T MRI 装置を用いた健常ボラン
東京都国分寺市東恋ヶ窪

ティア撮像実験により，学習用のデータを取得

1 丁目 280 番地〕

した．具体的には，頭部ルーチン撮像（T2 強調

e-mail: yukio.kaneko.zy@hitachi.com画像），および Parallel Imaging による高速撮像*2 株式会社を行った．Parallel Imaging では，k 空間上の信

日立製作所

ヘルスケア

ビジネスユニット

号を特定の間隔で間引いて複数受信コイルで468

同時に計測する．今回は，k 空間データを 1/2 にイズ低減されていることがわかる．さらに，単間引き，撮像時間を 1/2 とした高速撮像の場合

一 CNN の場合と比べ，MA-CNNR では PSNR でについて検討した．

約 0.5 dB 向上し，MA-CNNR によるノイズ低減

次に，学習データ用の画像からパッチの切り効果の向上を確認した．

出しを行った．今回は，画像 1 枚当たり 512×
512 の画素サイズに対し，32×32 のサイズのパッチを複数枚取得した．結果，学習用データセ
ットとしてとして 92928 パッチ，バリデーショ
ンデータセットとして 49152 パッチを作成した．
作 成 し た パ ッ チ を 入 力 と し て ， SRCNN（カラーバーの最大値（Super-Resolution Convolutional Neural Network） は，入力画像の最大輝度値の 10%）による学習を行った．さらに，本報告では，学習パッチに含まれる輝度情報の 特徴を基にサ

図 2 ノイズ低減結果．(a)正解画像（ルーチン撮

ブセットに分類し，各サブセットに対してネッ像），(b)高速撮像画像，(c)CNN による推定

トワークを作成した[4]．
（以下，マルチアダプテ

画像，(d) (a)と(b)の差分画像，(e) (a)と(c)のィブ CNN 再構成（Multi-Adaptive Convolutional

差分画像．

Neural Network Reconstruction：MA-CNNR）と呼ぶ．）図 1 に MA-CNNR の構成図を示す．なお，

4．まとめ

今回は学習パッチを 2 つに分類し，2 つのネッ

MRI 検査のスループット向上を目的とし，複数 CNN によるノイズ低減技術を開発した．結トワークを作成した．
最後に，撮像時間 1/2 の画像を領域分割し，果，単一 CNN の場合と比べ，MA-CNNR におい

各領域ごとに最適なネットワークを選択し たてノイズ低減効果が高くなり，MA-CNNR によ

上で，推定画像を出力し，ノイズ低減効果を検る MRI 画像の高画質化の可能性が示唆された．

討した．
なお，本研究のボランティア撮像データは，（株）日立製作所研究開発グループで定める倫

利益相反の有無
著者は株式会社日立製作所の社員である．

理審査基準に則り審査され，すべての被験者からインフォームド・コンセントを得た上で取得

文

献[1] Pruessmann KP, et al., SENSE: Sensitivity

された．

Encoding for Fast MRI. Magnetic Resonance in
Medicine 42:952-962, 1999.
[2] Lustig, M et al., Sparse NRU: The Application ofCompressed Sensing for Rapid MR Imaging.
図1

MA-CNNR の構成図

Magnetic Resonance in Medicine 58: 1182-1195
2007.

3．結果

[3] Bo Z et al., Image reconstruction by domain-

図 2 に，単一 CNN を用いた場合の結果を示

transform manifold learning, NATURE 555(7697),

す．(b)の高速撮像時の画像に比べ，(c)の方が画

487-492, 2018.

像のざらつきが減っていることがわかる．また，[4] 野口 喜実他，クラスタリングに基づく CNN(d)と比べ，(e)の方が(a)の正解画像（ルーチン撮

選択による MRI 高画質化の検討，OP2-8，JAMIT，像）との差が小さくなっており，CNN によりノ

2018．

469

Noise Reduction for MRI by Using Multi-CNN
Yukio KANEKO*1, Yoshimi NOGUCHI*1, Yoshitaka BITO*2, Masahiro OGINO*1*1 Research and Development Group, Hitachi, Ltd.
*2 Healthcare Business Unit, Hitachi, Ltd.

One of the issues for MRI (Magnetic Resonance Imaging) is long scanning time. Recently, the deep learning techniques
for high-speed or high-quality scanning in MRI have been reported. The purpose of this study is the development of thenoise reduction technique for high-speed scanning in MRI by using deep learning. First, we conducted the volunteer
study by MRI system. The routine images were obtained as high quality images, and the under-sampling images byusing parallel imaging (scanning time is 1/2) were obtained as low quality images. The CNN (Convolutional Neural
Network) was constructed with these images. In this study, we developed MA-CNNR (Multi-Adaptive CNN
Reconstruction) technique, and training patches were divided into several subsets, according to the characteristics ofintensity distribution in each patch. In this study, two CNNs were trained by using two subsets. We evaluated the effectof noise reduction in the cases of conventional CNN and MA-CNNR. It was demonstrated that MA-CNNR contributes
to noise reduction in the low quality images by parallel imaging more than conventional CNN. PSNR (Peak Signal toNoise Ratio) increased by 0.5 dB in the case of MA-CNNR. It is shown that MA-CNNR technique can contribute toimproving image quality for high-speed scanning.

Key words: MRI, Image Reconstruction, High Image Quality, CNN

470

OP4-06

全身撮影可能な立位 CT の開発：
ファントムスタディ，人体に対する重力の影響
横山

陽一*1

成田 啓一*1

山田

山田 稔*1

祥岳*1

名倉 武雄*2 中原 健裕*1

南島 一也*3

荻原 直道*4 陣崎 雅弘*1

要旨【目的】①立位 CT の物理特性の評価，②大血管と骨盤底への重力の影響を評価すること．
【方法】ファン
トムを用いて立位 CT と臥位 CT，それぞれの物理特性の評価を行った．健常人ボランティアを対象に立位CT と臥位 CT を同日に施行， 大静脈と大動脈の面積と骨盤底の変化を評価した．【結果】立位 CT と臥位
CT 両者の物理特性に有意差は見られなかった．仰臥位と比較して直立位では，上大静脈の面積は有意に小さく，横隔膜の高さでの下大静脈の面積に有意差は見られず，下大静脈下端部での面積は有意に大きくなった．一方，大動脈の面積に関しては姿勢による有意差は見られなかった．骨盤底は直立位で下降した．
【結論】立位 CT と臥位 CT の性能はほぼ同等であり，立位 CT は，人体に対する重力の影響を評価するのに有用であった．
キーワード：臥位 CT，立位 CT，人体に対する重力の影響の可視化，大血管・骨盤底への重力の影響【背景】
人間の臓器・解剖学的構造は重力の影響を大きく――――――――――――――――――

受け，多くの疾患や症状は姿勢によって変化するこ*1 慶應義塾大学医学部放射線科学教室とが知られている．現在 CT は多くの疾患の診断に（診断）活用されている．しかし，1972 年に開発されて以来*2 慶應義塾大学医学部整形外科学教室

現在に至るまで，臥位撮影のみ行われてきた．人は*3 慶應義塾大学病院放射線技術室

基本的に立位や座位で活動しており，これらの姿勢*4 慶應義塾大学理工学部機械工学科

における多くの病態や身体機能の評価が CT で行
えていなかった．こうした現状を打破すべく産学【目的】①立位 CT の物理特性の評価，②大血管と共同で立位 CT の開発を行い，2017 年に当院に第一骨盤底への重力の影響を評価することであった．

号機が導入された．これまで US による仰臥位と側【方法】

臥位での下大静脈の変化を検討した報告や，MRI

1.

今回使用した撮像装置の詳細を示す．立位 CT

による臥位と座位での骨盤底の位置の違いを検討

として，TSX-401R，臥位 CT として，Aquilion

した報告はあるが，我々が知る限り，立位と臥位でONE Vision edition を用いた．いずれもキヤノの大血管径の違いや骨盤底の位置の違いについてンメディカルシステムズ社製であり，ガントの論文報告はない．

471

2.

リー回転速度は 0.275 秒/回転，320 列（16cm大静脈：幅）の面検出器を備えている．これらの撮像装（1）

腕頭静脈合流部直下の上大静脈置を用いて物理評価用ファントムおよび健常（2）

横隔膜貫通部高位の下大静脈

人ボランティアを撮像した．

（3）

下大静脈下端部（総腸骨静脈合流部頭

物理評価用ファントムは Catphan 504 phantom

側の部位）（The Phantom Laboratory 社製）を用いた．こ

大動脈：のファントムは CTP528，CTP486，CTP404 の（1）

3 つのモジュールから構成されている．

上行大動脈（Sinotubular junction：ST junction
高位）

CTP528 を用いて x-y 平面および z 軸方向の変（2）

横隔膜貫通部高位の大動脈

調伝達関数（MTF：modulation transfer function）（3）

腹部大動脈下端部（総腸骨動脈分岐部頭側を解析し空間分解能を評価した．CTP486 を用の部位）

いて一平面のノイズパワースペクトラム② 骨盤底の計測項目（NPS：noise power spectrum）を解析しノイズ（1）

特性を評価した．CTP404 を用いて CT 値を解膀胱頚部から恥骨尾骨線（PC line）までの距離

析した．前述のファントムを立位 CT および臥（2）

肛門直腸接合部（Anorectum junction）
から恥骨尾骨線（PC line）までの距離

位 CT で撮像した．正確度を向上させるため，
立位 CT および臥位 CT の各々で同じスキャン
位置で 5 回撮像を行った．
3.

① は最初に心臓血管放射線科医に，②は最初に泌

健常人ボランティア撮像の詳細を示す．対象

尿生殖器放射線科医によって 32 名分の計測がは 30 代から 60 代の各年齢層男女 4 名ずつ，行われた．①，②ともに最初の測定の 1 ヶ月後

計 32 名の無症候性ボランティアとした．倫理に，同じ計測者と一般放射線科医によって 16

委員会によって承認され，被験者全員より書

名分の計測が行われた．いずれもランダム化さ面による同意を得た．全身の正常な解剖学的れた状態で計測を行い，観察者間・観察者内一構造を評価するために, 喫煙歴，糖尿病，高血致率の評価も行った．

圧, 高脂血症などの疾患や手術既往を有して4.

いる場合，対象から除外された．被験者は同日①血管の断面積と扁平率，②骨盤底の計測項目のに立位 CT と臥位 CT を撮像された．撮像条件

立位と臥位における測定値の変化はウィルコクソ

は管電圧：120kVp，ガントリー回転速度：0.5

ンの符号順位検定を用いて評価した．

秒/回転，80 列，ノイズインデックス：頭部 CT②の骨盤底の計測項目における男女間の差に関しは SD4 for 5mm，体幹部 CT は SD 15 for 5mm，てはマン・ホイットニーの U 検定を用いて評価しヘリカルピッチ：頭部 CT は 51，体幹部 CT はた．全ての計測データは市販の統計解析ソフトウ

65 とした．取得された立位・臥位 CT 画像に

ェア（SPSS ver.24，IBM 社）を用い，P 値 0.05 未満

関して下記項目を測定した．

（両側）を有意とし，観察者間および観察者間一致① 大血管の断面積と扁平率［（長径-短径）（長径）/］を測定した．測定部位は以下の 6 つの部位である．

472

統計解析に関しては下記の通りである．

率は，級内相関係数（ICC）で評価した．

【結果】

【考察】

1.

ファントムスタディにて立位 CT の空間分解能，ノファントムスタディ

立位 CT のノイズ特性と空間分解能は，臥位 CT とイズ特性，CT 値は，従来の臥位 CT と同程度であ同等であった．立位 CT の平均 CT 値は，臥位 CTり，立位 CT と従来の臥位 CT は，物理的な性能がと同様に，正確であった．

同等であると考えられた。

2.

健常人ボランティア撮像にて，重力によって大静

健常人ボランティア撮像①大血管の断面積と扁平率

脈の断面積が変化していた。すなわち，臥位と比し被験者の平均年齢は 48.4±11.5 歳（30-68 歳），平均て立位において上大静脈の径は有意に小さくなり，の BMI は，22.5±3.0kg/m2（16.7–30.6kg/m2）であっ

横隔膜貫通部の高さでは径に有意な変化は見られた。立位では臥位と比較して，上大静脈の断面積はず，下大静脈下端部では有意に大きくなった．大動

80%減少し（39.9±17.4 対 195.4±52.2mm2，P <脈の面積は全ての部位で有意差は見られなかった．

0.001），下大静脈下端部では 37%増大した（346.6±

重力が大動脈と大静脈に及ぼす影響の違いは，お96.9 対 252.5±93.1 mm2，P < 0.001）。扁平率は上大そらく血管壁の弾性の違いによるものと考えられ静脈では 56%増大した（0.42±0.14 対 0.27±0.12，

る．大静脈で見られた変化は，上半身では低い静水

P < 0.001）．一方で下大静脈下端部では 58%減少し圧を示し，下半身では高い静水圧を示すという，過た（0.15±0.08 対 0.36±0.16，P < 0.001）．横隔膜貫去のシミュレーション研究に一致しているが［1］，通部においては断面積および扁平率に有意差を認

今回それを初めて CT で可視化したと言える。今後，めなかった（428.3±87.9 対 426.1±82.0mm2，P =立位 CT 画像が中心静脈圧の推定に有用である可0.866； 0.44±0.08 対 0.42±0.08，P = 0.096）．大静能性が示唆される。

脈の結果と対照的に，大動脈の断面積・扁平率は 3

骨盤底は臥位と比較し立位で下降していた． MRI

つの測定部位のいずれにおいても姿勢による有意を用いた以前の研究では，座位と臥位で女性の骨差を認めなかった．

盤底の位置に差がないことが報告されている［2］②骨盤底の計測項目

が，本研究によって，立位では，骨盤底が下降する

膀胱頚部から恥骨尾骨線（PC line）までの距離，肛ことが示され，また，以前に報告されている臥位で門直腸接合部（Anorectum junction）から恥骨尾骨線

努責した時と同様の骨盤底の変化が，立位でも生（PC line）までの距離はいずれとも臥位と比較してじることが示された。また，膀胱頚部が下降する傾立位で有意に下降した（下降距離 9.4±6.0mm，P <向は，男性よりも女性においてより顕著であった．

0.001；8.0±5.6mm，P < 0.001）．

女性は骨盤底機能障害のリスクが高いことが知ら立位による膀胱頚部の下降は，女性が男性に比しれている［3］．我々の結果は，膀胱を囲む女性の骨て有意に下降した（12.2±5.2 対 6.7±5.6 mm， P =

盤底が実際に弛緩していることを示しており，こ0.006）．一方で，肛門直腸接合部（Anorectum junction）

れは女性で尿失禁が起こりやすい理由を示唆するから恥骨尾骨線（PC line）までの距離の変化に関しものかもしれない．

ては男女間での有意差は認めなかった(女性：9.1±
5.7 mm；男性 6.9±5.4 mm， P = 0.196)．
①，②のいずれにおいても観察者間・観察者内の一致率は良好であった．

473

【結論】ファントムスタディにて，立位 CT の性能

Appleton CP, Raslan SF. Effect of positional changes onは従来の臥位 CT とほぼ同等であった．大静脈の断inferior vena cava size. Eur J Echocardiogr

面積，扁平率は重力の影響を受け，体位によって変2011;12:322-325. doi: 10.1093/ejechocard/jer018

化した．骨盤底は臥位に比して立位で有意に下降［2］Fielding JR, Versi E, Mulkern RV, Lerner MH,

した．膀胱頚部は男性より女性で有意に下降した．

Griffiths DJ, Jolesz FA. MR imaging of the female

立位 CT は人体に対する重力の影響を可視化する

pelvic floor in the supine and upright positions. J Magn点で有用であると考えられる．
また，従来の臥位 CT

Reson Imaging 1996;6:961-963.

では明らかにすることができなかった機能性疾患［3］の病態解明に有用である可能性がある．

Pelvic floor failure: MR imaging evaluation of

Bitti GT, Argiolas GM, Ballicu N, et al.

anatomic and functional abnormalities. Radiographics
2014;34:429-448. doi: 10.1148/rg.342125050
利益相反の有無［4］MacLennan AH, Taylor AW, Wilson DH,

あり

Wilson D. The prevalence of pelvic floor disorders andキヤノンメディカルシステムズ社

their relationship to gender, age, parity and mode ofdelivery. BJOG 2000;107:1460-1470.

文 献［1］Mookadam F, Warsame TA, Yang HS, Emani UR,

474

Development of Upright CT with area detector for whole body scans:
Phantom study, effect of gravity on human body
Yoichi Yokoyama*1, Yoshitake Yamada*1, Takeo Nagura*2, Takehiro Nakahara*1, Keiichi Narita*1, Minoru Yamada*1,
Kazuya Minamishima*3, Naomichi Ogihara*4,
Masahiro Jinzaki*1*1 Department of Diagnostic Radiology, Keio University School of Medicine*2 Department of Orthopedic Surgery, Keio University School of Medicine*3 Division of Radiological Technology, Keio University Hospital*4 Laboratory of Evolutionary Biomechanics, Department of Mechanical Engineering, Keio University[Objective] The purpose of this study was to evaluate the performance of upright CT in a phantom study and the effectof gravity on large vessels and the pelvic floor. [Methods] We compared the physical characteristics in a phantom
between upright and supine CT. Asymptomatic volunteers underwent both CT examinations. The area of vena cava andaorta and the changes of pelvic floor were evaluated. [Results] The performance of upright CT was comparable to thatof supine CT. In the upright position compared with the supine position, the area of SVC was significantly smaller, thearea at the level of the diaphragm was similar, and the area of IVC was significantly larger, while the areas of aortas
were not significantly different; the pelvic floor descended in the upright position. [Conclusion] Upright CT wascomparable to supine CT in physical characteristics and useful in clarifying the effect of gravity on human body.
Key words: supine CT, upright CT, visualization of the gravity effect on human body, gravity on large vessels
and the pelvic floor

475

OP4-07

GAN を用いた人工股関節全置換術術後 CT 画像の金属アーチファクト低減
阪本

充輝*1

日朝 祐太*1

大竹 義人*1伸彦*2

佐藤 嘉伸*1

菅野

高尾

正樹*2

要旨
人工股関節全置換術において，術後 CT 画像の解析は人工股関節設置位置や筋骨格形状の評価に重要な役割を果たす．しかし術後 CT 画像では，金属製のインプラントによって発生するアーチファクトが画像解
析の精度を大幅に低下させる要因となる．我々はこれまでに，解析的方法とシミュレーション画像を用いて学習した CNN（Convolutional Neural Network）を組み合わせることで，術後 CT 画像での筋肉セグメンテーション精度を向上させる手法を提案してきた．しかし，学習に用いたシミュレーション画像と術後実画像には乖離があり，それが術後実画像でのセグメンテーション誤差の原因であると考えている．そこで本
研究では，GAN（Generative Adversarial Network）を活用し，シミュレーション画像と術後実画像からの変換結果の分布が近づくような画像変換手法について検討する．本稿では定量評価のため，アーチファクトの程度を変化させて生成したシミュレーション画像で実画像を代替して実験を行い，本手法の有効性を検証した．
キーワード：金属アーチファクト低減，Generative Adversarial Network, ドメインシフト

1．はじめに

Reduction）[1]とシミュレーション画像を用いて人工股関節全置換術（THA）において，術後学習した CNN（Convolutional Neural Network）

CT 画像の解析は人工股関節設置位置や筋骨格を組み合わせる事で，術後 CT 画像での筋肉セ

形状の評価に非常に重要である．しかし術後 CT

グメンテーション精度を向上させる手法を提画像では，金属製のインプラントによるアーチ

案してきた[2]．しかし，学習に用いたシミュレ

ファクトが画像解析の精度を大幅に低下させーション画像と術後実画像には乖離があり，そる要因となる．我々はこれまでに，解析的方法

れが術後実画像でのセグメンテーション誤差

で あ る NMAR （ Normalized Metal Artifactの原因であると考えている．
このような学習データとテストデータに乖――――――――――――――――――

離のある問題はドメインシフトと呼ばれ，Luc*1 奈良先端科学技術大学院大学先端科

ら[3]や Shrivastava ら[4]によって敵対的学習を学技術研究科情報科学領域

応用した手法が提案されている．

〔〒630-0192 生駒市高山町 8916-5〕

本研究では，シミュレーション画像と術後 CT

e-mail: sakamoto.mitsuki.si2@is.naist.jp

画像からの変換結果の分布が近づくような*2 大阪大学大学院医学研究科

GAN（Generative Adversarial Network）を活用し投稿受付：2019 年 5 月 22 日

た画像変換について検討する．本稿では，画像476変換精度の定量評価のため，シミュレーション

は式(2)で表される．

画像を用いた実験によって本手法の有効性を∑ℒ𝑡𝑎𝑟𝑔𝑒𝑡 =検証した．

log 𝐷(𝑡)𝑡∈𝐼𝑠𝑜𝑢𝑟𝑐𝑒∑+log(1 − 𝐷(𝐺(𝑦)))(2)𝑦∈𝐼𝑡𝑎𝑟𝑔𝑒𝑡

2．データセット

以上より，GAN の誤差関数は，式(1)に式(2)本研究では，大阪大学医学部付属病院で撮影

をペナルティ項として加えて定義される（ただされた THA 術前 CT 画像 20 症例，THA 術後
CT 画像 59 症例を用いた．これらは全て片側疾し，𝜆 はペナルティ項の重みを調整するハイパ
ーパラメータ）．従って，最適な生成器 𝐺̂ は，患の症例である．マトリックスサイズは 512×式(4)の最適化で求められる．

512，スライス間隔は 1.0～6.0 mm で撮影した
後，ボリューム全体が 1.0 mm となるように補ℒ𝑡𝑜𝑡𝑎𝑙 = ℒ𝑠𝑜𝑢𝑟𝑐𝑒 + 𝜆ℒ𝑡𝑎𝑟𝑔𝑒𝑡(3)𝐺̂ = arg min max ℒ𝑡𝑜𝑡𝑎𝑙

(4)

間した．

𝐺

3．手法

4．実験

3.1 概要4.1 概要本手法は，NMAR 適用後の術後実画像から術

本稿では画像変換精度の定量評価のため，シ

前画像への変換を行う関 数を推定する事を目

ミュレーション画像 を用いた実験によって本的とする．まず，術前画像から[1]と同様の手法

手法の有効性を検証した．

により術後シミュレーション画像を生成し，ペ本実験では術後実画像の代わりに，アーチフアの画像集合を構築する．本稿ではこれをァクトシミュレーションのパラメータを 変化

source ドメインと呼び，一方，術後実画像集合

させて生成したシミュレーション画像を 使用

を target ドメインと呼ぶ．target ドメインでは対した（図 1）．ただし術前実画像においては，イ応するペアの術前実画像は得られないため，教ンプラントを疑似的に挿入した部分は[-10, 10]

師データなしで両ドメインの乖離による影響

HU 内のランダムな整数値で置換した．

を低減する必要がある． そこで本手法では，提案法の生成器には U-Net[5]を，識別器にはsource ドメインと target ドメインそれぞれから

PatchGAN[6]を使用し，式(3)において λ = 0.01

変換した結果の分布が近づくような関数をとした．また，学習用画像は 256×256 にリサ

GAN により推定する．

イズし，インプラントが挿入されている側のみをクロップする事で入力画像のサイズは 128

3.2 GAN による金属アーチファクト低減

×256 とした．さらに-150 HU 以下の画素値はNMAR 適用後のシミュレーション画像 𝑥 を

0，350 HU 以上の画素値は 255 となるよう

術前実画像 𝑡 へ変換する生成器を𝐺とすると，に，その間を線形に変換した．

この生成器は source ドメイン 𝐼𝑠𝑜𝑢𝑟𝑐𝑒 のペアの以上の条件の下，識別器を用いず U-Net のみ

画像集合を用いて，式(1)の誤差関数を最小化すで学習した場合の結果をベースラインとし，4-ることにより求められる．
ℒ𝑠𝑜𝑢𝑟𝑐𝑒 =𝐷∑||𝐺(𝑥) − 𝑡||1(1)(𝑥,𝑡)∈𝐼𝑠𝑜𝑢𝑟𝑐𝑒

次に，source ドメイン 𝐼𝑠𝑜𝑢𝑟𝑐𝑒 と target ドメイン
𝐼𝑡𝑎𝑟𝑔𝑒𝑡 から変換した結果の分布を近づけるため，

術前実画像 𝑡 と術後実画像 𝑦 からの変換結果を判別する識別器𝐷を導入する．その誤差関数

図 1 シミュレーションで生成した
source ドメインと target ドメインの例

477

表 1 source ドメインでのテスト結果

fold 交差検証によって提案法による結果と比較# Subjects
Source

した．
NMAR
U-Net

4.2 結果8

MAE
Avg+Std
14.253 ± 2.938
10.784 ± 2.113

本実験での結果について述べる．本実験では各症例の大腿骨小転子の 位置を統計形状モデ

表 2 target ドメインでのテスト結果# Subjects
Source Target

ルにより求め，特にアーチファクトが激しい小転子より上のスライスにおいて評価を行った

NMAR
U-Net
提案法

（ 図 2(a) ）． ま た ， 画 質 評 価 指 標 に は Mean
Absolute Error を用いた．

8
8

0
8

MAE
Avg+Std
22.114 ± 7.273
16.533 ± 5.790
14.669 ± 3.170*

表 1 に，ベースラインである U-Net を source
ドメインのデータのみで学習・テストした場合

5．まとめの結果と学習データの症例数を示す．また，表本研究では，GAN によってドメインシフトを

2 に Target ドメインのテストデータを用いて評解消するアプローチを取り入れ，THA 術後 CT

価した場合の結果を示す．提案法では 8 症例（約画像におけるアーチファクト低減手法を提案

1200 スライス）の Target ドメインの画像を学習した．シミュレーション実験によって，提案法に使用した．U-Net は source ドメインではアー

は特に，アーチファクトの影響が大きい領域に

チファクトを低減できているが，ドメインシフ

おいて効果的である事を示した．一方，小転子トを考慮していないため target ドメインでは誤付近などの領域では，提案法の精度が低下した

差が大きくなっている．一方，提案法は U-Net

例が見られた．それらの領域では source ドメイと比較して target ドメインでアーチファクトをンと target ドメインの分布が近いために識別器より低減できており，MAE の平均値に有意に差による判別が困難になり，生成器の学習が不安が見られた．さらに図 2 に示した変換結果を見定になった可能性がある．その対策として，各ると，特に入力画像と正解画像の誤差が大きい

スライスのアーチファクトの程度に応じ て提スライスで提案法による効果 が大きいことが案法と GAN を用いない既存手法を使い分ける

わかる．

図 2 target ドメインでのテスト結果

478

事が考えられる．今後は，術後 CT 画像からの金属材質やノイズスケールの推定について検討していく．
謝辞
本研究の一部 は， KAKENHI 19H01176 及び
KAKENHI 26108004 の支援による．
利益相反の有無
なし
文
［1］

献

Meyer E, Raupach R, Schmidt B, et al.:Normalized

metal

artifact

reduction(NMAR)

incomputed

tomography. Medical phisyics 37: 54825493, 2010
［2］

Sakamoto M, Hiasa Y, Otake Y, et al.:Automated segmentation of hip and thighmuscles in metal artifact contaminated CT
using CNN. Proc. SPIE Conf. 11050,
2019

［3］

Luc P, Couprie C, Chintala S, et al:
Semantic segmentation using adversarial
networks. NIPS Workshop on Adversarial
Training, 2016［4］

Shrivastava A, Pfister T, Tuzel O, et al.:Learningfromsimulated

andunsupervised images through adversarial
learning. CVPR 2107-2116, 2017
［5］

Ronneberger O, Fischer P, Brox T.: U-net:
Convolutional

NeuralNetworks

forbiomedical image segmentation. MICCAI
234-241, 2015
［6］

Isola P, Zhu J Y, Zhou T, el al.: Image-toImagetranslation

withconditional

adversarial networks. CVPR 1125-1134,
2017

479

Metal Artifact Reduction from Postoperative CT images of Total Hip
Arthroplasty using GAN
Mitsuki SAKAMOTO*1, Yuta HIASA*1, Yoshito OTAKE*1,
Masaki TAKAO*2, Nobuhiko SUGANO*2, Yoshinobu SATO*1*1 Graduate school of Information and Science, Nara Institute of Science and Technology*2 Graduate school of Medicine, Osaka University

In total hip arthroplasty, analysis of postoperative CT images is important to evaluate surgical outcome. However, themetal artifact due to the replaced metallic implant degrades the measurement accuracy. In this study, we proposed amethod to improve the segmentation accuracy at postoperative CT images by combining Normalized Metal Artifact
Reduction (NMAR) and Convolutional Neural Network (CNN). We assumed that However, there is a gap between thesimulated images used in training and the real postoperative images. Therefore, by utilizing a Generative Adversarial
Network (GAN), we proposed an image translation method in which the difference of gray level distribution of theresults of simulated and real images is minimized. Preliminary results from a simulation experiment showed theeffectiveness of the proposed method.

Key words: Metal Artifact Reduction, Generative Adversarial Networks, Domain Shift480

OP4-08

複数の皮膚毛細血管における血流速度推定の自動化
塚本 唯斗*1

瀧本 麦*2

中野 和也*3

大西 峻*3

羽石

秀昭*3

要旨
皮膚毛細血管は，組織の健常性に関わる重要な血管系である．毛細血管のモニタリングにより組織状態の把握が可能となるが，このための定量評価手法は発展途上にある．当研究室では，皮膚毛細血管の定量評
価に向け，撮影装置及び血流速度推定手法の開発を進めてきた．しかし，従来手法は血管内の局所的な画素値に着目したオプティカルフローに基づいた手法であるため，体動やノイズの影響を受けやすい問題があった．そこで本研究では，血管内全域の画素値を考慮することで，ノイズや血球動態にロバストな手法構築を行った．被験者
3 名の前腕部内側の皮膚毛細血管に対して提案手法を適用し，血流速度の推定を行った．提案手法による血流速度推定値の妥当性検証のため，手動追跡及び従来手法で推定した血流速度との比較を行った．その結果，従来手法と比較し推定誤差の低減を確認したことにより，提案手法の有効性が示唆された．
キーワード：皮膚毛細血管，血流速度，深層学習

1．はじめに困難といった課題がある．そこで本発表では，

皮膚毛細血管とは，皮膚表面に分布する直径

体動やノイズにロバストかつ 複数の毛細血管

5–20 µm の血管であり，生命維持において重要に対して適用可能な血流速度推定 手法を提案な役割を担う．毛細血管の観察により組織の健する．また，提案手法を適用し，血流速度推定

常性及び疾患の状態把握が可能である［1］．し値の妥当性を検証した．

たがって，血行動態を定量化することで疾患の2．皮膚毛細血管撮影装置

定量評価が期待できる．そこで，我々は皮膚毛

皮膚毛細血管撮影装置の外観を図 1(a)に示す．

細血管における血行動態の定量評価に向け，撮影装置の構築及び血流速度の推定を進めてき

図 1(a)に示すように，白色 LED リング 照明

た［2］．しかし，先行研究の推定手法である(OPDR–LA74–48W–2, オプティクス・エフエー)，

Lucas-Kanade によるオプティカルフロー法［3］CCD カ メ ラ (GS3–U3–15S5, FLIR) 及 び レ ン ズ

は，体動やノイズの影響を受けやすく推定値に(#88–354, Edmund Optics, Work Distance: 13.5 mm,

影響を及ぼす．また，画像内に存在する特定の10X/0.17)を組み合わせた撮影装置である．矩形

血管のみを対象とした解析技術であるため，複の開口部を有する金属板に皮膚を密着させ，開数の毛細血管における血流速度分布の把握が口部の下から白色光を照射さ せて撮影する機――――――――――――――――――

構となっている．撮影時には，開口部にカバー*1 千葉大学大学院融合理工学府

ガラスを置き，カバーガラスと皮膚の間をオリ〔〒263-8522 千葉市稲毛区弥生町 1-33〕

ーブオイルで満たす．これにより皮膚表面の反e-mail: y.tsukamoto@chiba-u.jp

射を低減させ，血管の視認性を向上させる．本*2 花王株式会社

撮影装置を用いて， 0.89×0.67 mm2 の視野を

*3 千葉大学フロンティア医工学センタ

1384×1032 pixels，30 fps の条件で撮影する．取ー

得画像例を図 1(b)に示す．

481

(a)

(b)

対する法線ベクトル n 上の画素値を体動補正後
動画像から取得し，曲線 l の位置ごとに並べることで血管内画素値分布画像を作成する．これをフレーム順に並べることで時系列の血管画像を作成し，現れる赤血球の移動による像の傾きから血流速度を算出する．この一連の処理を

図 1 皮膚毛細血管撮影装置(a) 装置の外観，(b) 取得画像例抽出された血管全てに対して行う．
3.2．血管抽出手法
深層学習に基づく領域抽出手法を用いて血管領域の抽出を行う．学習モデルとして U 字型の畳み込みニューラルネットワークベースのモデル［4］を用いた．学習時は，皮膚毛細血管
像 1384×1032 pixels からランダムなパッチ画像
512×512 pixels を切り出し，ミニバッチ学習としてモデルへ入力する．この時，パッチ画像に対してランダムにガンマ補正処理(γ=0.9~1.1)を施すことにより学習データを水増しした．
学習データには，成人男女の健常者 5 名から
各 3 枚ずつ取得した皮膚毛細血管像計 15 枚を使用した．パッチ画像は，被験者 1 名につき 10
枚ずつ，合計 150 枚生成した．Ground Truth として取得画像から目視で確認できる血管領域
を手動でアノテーションした画像を作成した．
学習済みネットワークを未学習 の被験者の皮膚毛細血管像に適用することで血管抽出画像を生成し，血流速度の推定が可能な長さを持つ血管を抽出するためラベリング処理を用いたノイズ除去を行った．
3.3．血流速度算出方法

図 2 血流速度推定フロー

血流速度は，時系列の血管画像に現れる赤血3．血流速度推定手法

球の像の傾きから算出する．まず，Canny 法に3.1．概要より赤血球の像をエッジとして抽出する．次に手法の流れを図 2 に示す．まず，取得動画像

時刻 ti – ti+1 間に存在する各エッジの座標を最小のグリーン成分に対し，テンプレートマッチン

二乗法により直線に近似し，傾きの平均値 m ti,ti+1

グを用いて，被験者の体動によるブレを補正すを算出する．時刻 ti における血流速度 vi は次式

る．そして，取得動画像中の血管を深層学習にのように求めることができる．

基づく領域抽出手法により抽出する．作成した

vi  mti ,ti1  w  p  f

血管抽出画像に対して細線化処理を施し，血管(1)

w は血管内画素値分布画像の幅，p は画素分解

中心線の座標を B-spline 曲線で補間することで能，f はフレームレートである．

血管の中心を通る曲線 l を算出する．曲線 l に

482

4．実験と結果
成人男女の健常者 3 名に対し，前腕内側の皮膚毛細血管を撮影し，提案手法を適用した．精度評価のため，被験者 1 名あたり毛細血管 5 本に対して手動追跡及び従来手法で推定した血流速度との比較を行った．手動追跡では，手動により赤血球の先頭座標を追跡し，その移動量から速度を算出し，従来手法は，Lucas-Kanade

図 3 血流速度分布によるオプティカルフロー法 を用いて推定した移動量から速度を算出した．また，精度評価
は，取得動画像から血流が確認できる血管に限定して実施した．
被験者 1 名分の血流速度分布を図 3 に示す．
各毛細血管による血流速度にばらつきがある
ことを確認した．これは，撮影時の金属板への皮膚の押し当て具合により生じたものと考え

図 4 手動算出値，従来手法との比較られる．また，血流速度が 0 µm/s の血管は，取得動画像から赤血球の流れが確認できないた

表 1 手動算出値との誤差
従来手法
29.03
最大絶対誤差 [µm/s]
13.28
平均絶対誤差 [µm/s]

め，推定が困難であった．また，被験者 1 名分の精度評価の結果を図 4 に示す．従来手法と比較し，提案手法の方が概ね手動算出値に近い血流速度を算出可能であることを確認した．

提案手法
13.22
4.02

利益相反の有無

被験者 3 名分の手動算出値と従来手法，提案なし

手法間の最大絶対誤差及び平均絶対誤差の算
出結果を表 1 に示す．提案手法と従来手法を比文

較すると，手動算出値との推定誤差が改善され［1］ていることが確認できる．また，提案手法と手Maldonado G, Guerrero R, et al.: Nailfold
capillaroscopy

動算出値との間の誤差要因としては，手動追跡

献indiabetes

mellitus.

Microvascular Research 112: 41-46, 2017は明瞭に確認可能な 赤血球の先頭から算出し［2］た速度であるのに対し，提案手法は，複数の赤瀧本麦 他: ヒト皮膚毛細血管観察シス
テムの構築と血流速度の分布解析. メ

血球による像の傾きを平均化し算出した速度

ディカルイメージング連合フォーラムであるため，それぞれで血流速度の算出対象と2018, 沖縄, 2018, pp.105-108なる赤血球の数が異なる点が考えられる．

［3］

Lucas B, Kanade T: An iterative image
registration technique with an application

5．まとめ
皮膚毛細血管 撮影装置を用いて撮影した動画像から血流速度を推定する手法を提案した．
提案手法を適用した結果，従来手法と比較して推定誤差の低減を確認し，提案手法の有効性が示唆された．今後は，血流状態を変化させた場
合の血流速度の推定精度の評価を行うとともに血管抽出精度の向上を検討する．

483

to stereo vision. Proceedings of Imaging
Understanding Workshop, Vancouver,1981,
pp.121-130［4］

Cui Y, Zhang G, et al.: A Deep Learning
Algorithm for One-step Contour Aware
Nuclei Segmentation of Histopathological
Images. arXiv:1803.02786, 2018

Automated estimation of blood flow velocity in skin capillaries
Yuito TSUKAMOTO*1, Baku TAKIMOTO*2, Kazuya NAKANO*3, Takashi OHNISHI*3, Hideaki HANEISHI*3*1 Graduate School of Science and Engineering, Chiba University*2 Kao Corporation*3 Center for Frontier Medical Engineering, Chiba University

Skin capillaries are an important blood circulatory system regarding the health of tissues. The tissue condition can beassessed by monitoring capillaries, however the quantitative evaluation method of skin capillaries is yet to be sufficiently
developed. Therefore we have developed an image capturing system and an estimation method of blood flow velocity
for quantitative evaluation of skin capillaries. The conventional method based on optical flow is affected by body
movement and noise because it focuses on local pixel values in blood vessels. In this study, we proposed a robust
estimation method for this problem. The proposed method was applied to the skin capillaries inside the forearm of threesubjects, and the accuracy was verified by comparison with the blood flow velocity calculated by manual tracking. The
results showed that the estimation errors were decreased compared to the conventional method. In conclusion, we
confirmed the effectiveness of the proposed estimation method.

Key words: Skin capillary, Blood flow velocity, Deep learning484

OP4-09

TMS 検査のための脳 MRI 画像からの誘導電流強度の回帰とその推定誤差分散推定
牧 豊大*1

酒井 隆志*2 Ilkka Laakso*4 宇川 義一*5 村上 丈伸*5
横田 達也*1 平田 晃正*2 本谷 秀堅*1

要旨
本研究では TMS 検査において，頭部に配置したコイルが脳内に誘発する電流強度分布を高速に高い精度で回帰する DNN について報告する．TMS 検査に際して，脳内に生じる誘導電流分布が患者頭部に配置する
コイルの位置と向きを変化させたときにどのように変化するかを推定することは重要である．このため既に，患者の頭部 MR 画像より脳内の各位置における電気特性をモデル化し，誘導電流分布を高速にシミュレートする手法が開発されてきた．しかし電気特性分布のモデル化のためには，現状ではこの領域分割に数時間を要することが問題となっていた．そこで我々は，DNN を用いることにより、頭部 MR 画像とコイル位置から直接実時間で誘導電流分布を回帰するシステムを構築した．DNN の学習には 37 人の頭部 MR
画像からシミュレーションにより求めた 261,072 通りの誘導電流分布のデータを利用した．また，DNN により回帰する誘導電流分布の推定誤差を自己評価するための手法も併せて提案する．
キーワード：TMS 検査，VCM，DNN，U-Net，ベイズ推論

1．はじめに度を推定することが必須である．このため頭部

経頭蓋磁気刺激法(TMS: Transcranial Magnetic

MRI 画像から算出された VCM を用いる有限要

Simulation)は神経的で精神的な病気の治療やリ素法[3]が提案されているが，推定に数時間必要

ハビリテーションを目的として提案された手である．そこで，DNN を用いた高速な電流強度法である[1]．TMS はコイルを用いて磁場を作の回帰手法を提案する．

り，それを頭皮に当てることで，脳内に磁場に2．DNN を用いた電流強度の推定手法

よる非侵略的な刺激を行う手法である．さらに

本研究では、頭部 MRI 画像と脳に磁場を与え脳の特定部位を刺激したときの被験者の反応

るコイルの位置と姿勢からそのコイルによっを観察することで，刺激した部位が司っているて誘発される電流強度を，DNN を用いて回帰す

体の部位を特定できる．本研究は後者に焦点をる．DNN の入出力のサイズを削減するために，当てる．脳の部位と体の部位を対応づけるため

コイル直下の領域のみを考慮する．本研究ではには，コイルによって誘発された脳内の電流強U-Net[4]を DNN のアーキテクチャとする．目的関数は DNN の出力と教師信号の間の 2 乗誤差――――――――――――――――――*1 名古屋工業大学大学院情報工学専攻*2 名古屋工業大学大学院電気・機械工学専攻*4 Aalto University*5 福島医科大学

485

図 4 回帰値の事後確率分布の分散推定結果

図 1 U-Net の構造することが分かる．加えて、左右のコイルの輪の中心も変動係数の値が高く、曖昧性が大きい。
3．結論
本研究では，DNN の曖昧性を推定する手法を

図 3 真値

図 2 回帰結果

用いて，電流強度の回帰における信頼度を各ボとする．U-Net のアーケティクチャを図 1 に示

クセル単位で評価した．その曖昧性は構造的にす．加えて，DNN を用いた電流強度の推定を定分布しており，コイルの輪の中心と脳の皺と皺量化するために，[4]で提案されたベイズアプロの間に分布していると考察する．

ーチを採用する．この手法では DNN の係数にDropout を適用することで，DNN を用いて回帰

利益相反の有無

モデルの係数𝐖の事後確率分布を近似的に変分推論することができる．DNN の目的関数は，𝐖の事後確率分布とそれを近似する関数の KL

2𝑁2

𝑙2 (1−𝑝)

2

2𝜏𝑁

̂
∑𝑁
𝑖=1‖𝑌𝑖 − 𝑌𝑖 ‖ + ∑𝑚∈𝑴

𝑚2

文
［1］

情報量となり，次式の通りである．
1なし
献Barker AT, Jalinous R: Non-invasive
magnetic stimulation of human motor
cortex. Lancet, 1:1106–1107，1985

(1)
［2］

Nは学習データの総数，𝐘は DNN の出力信号，
𝑌̂は教師信号，𝑝は Dropout を行う確率，𝑴は𝐖

Laakso,I.,

Hirata, A: Fast
multigrid-based computation of the inducedを Dropout する前のパラメータ，𝑙 2 は各𝐖の事

electric field for transcranial magnetic

前分布𝑁(0, 𝑙 −2 )の確度，τは回帰モデルの出力のstimulation. Physics in Medicine & Biology,

分布N(𝒀, 𝜏 −1 )の確度を表す．𝒀は DNN の出力を57(23), 7753，2012

表す．回帰結果は𝒀の期待値で評価する．

［3］

2．実験

Gal, Y., Ghahramani, Z: Dropout as a
Bayesian

本実験では，図 1 に示した U-Net の各畳み込

approximation:

Representing

model uncertainty in deep learning. In

み層のカーネルに Dropout を適用させ誘導電流international

強度を回帰する．テストデータの教師信号とそ

learningの推定結果を図 2，3 にそれぞれ示す．本研究では、誘導電流強度は比例尺度であると仮定し，推定の曖昧性を変動係数で表現する．推定の曖［4］

るため，MRI 画像と重ねたものを図 4 に示す．
図 4 より脳の皺と皺の間に大きな曖昧性が存在

onmachine2016，June，pp. 1050-1059

Ronneberger, O., Fischer, P., Brox, T: Unet: Convolutional networks for biomedical
image

昧性は入力した MRI 画像により引き起こされconference

segmentation.

International

Conference on Medical image computing
andcomputer-assisted

intervention.

Springer, Cham. pp. 234-241 2015，October

486

Regression of induced current intensity and estimation of its error
variance from MRI image for TMS
toyohiro MAKI*1, takashi SAKAI*1, Ilkka Laakso*2, yoshikazu UGAWA*3, takenobu MURAKAMI*3, tatuya
YOKOTA*1, akimasa HIRATA*1, hidekata HONTANI*1*1 Nagoya Institute of technology*2 Aalto University*3 Fukushima Medical University
In this TMS research, we report DNN that regress the current intensity distribution induced by a coil placed in the headwith high speed and high accuracy. It is important to estimate the change that induced current distribution in theposition and orientation of the coil. Therefore, methods have been developed to simulate the induced current
distribution with high speed by modeling the electrical volumes at each position in the brain from the patient's head
MRI image. However, in order to model the electrical property distribution, it has been a problem that this region
segmentation requires several hours at present. So, we constructed a system to regress the induced current distribution
in real time directly from the head MRI image and the coil position by using DNN. The training data for DNN is
obtained by simulation. We use 225, 792 samples from 32 subjects. We also propose a method for self-estimating theestimation variance of the induced current distribution that is regressed by DNN.

Key words: TMS, VCM, DNN, U-Net, Bayes estimation487

OP4-10

開腹手術映像における遮蔽物除去システムの VR 化
北坂

孝幸*1
三澤

伊藤 幹也*1
一成*2

駒形 和哉*1

森 健策*3要旨
開腹手術は外科医が習得しなければならない手技の一つであり，これまでに開腹手術映像の知的アーカイ
ブに関する研究を行ってきた．これは，手術を撮影した複数台のカメラ映像を基に術者自身の手や頭といった遮蔽物を除去し，開腹手術のビデオ教材の質的向上を目指したものである．これまでに遮蔽物を良好に除去し，術野を見やすくする遮蔽物除去システムを開発してきた．本稿では，本システムの VR 化による没入感の表現方法について基礎的な検討を行ったので報告する．
キーワード：開腹手術映像，Virtual Reality，Oculus

1．はじめに上させる研究を行ってきた。複数の角度のカメ

腹部の手術は大きく分けて開腹手術と腹腔ラ映像からマーカーの点群を検出し、ICP によ

鏡手術の二種類がある。腹腔とは臓器をお腹にる点群位置合わせを行う。その後、TPS を用い納めている袋のことである。腹腔は通常は萎んて合成を行ったが依然として内部の映像にブだ状態であるが、腹腔鏡手術ではお腹に針を刺レが生じているため FFD を導入することで、合して小さな穴を開け、ここから炭酸ガスを注入

成精度の向上を図った[2]。

して風船のように膨らませ、できたスペースに本研究では、手術や術具、患者を仮想空間内

穴を介して内視鏡を入れて、お腹の中を観察すに表現し、ヘッドマウントディスプレイによるる。さらに 3～4 本の小さな穴を開け、これらの没入感のある映像提示(VR 化)を行うことを目穴から腹腔鏡用のハサミなど入れて手術をす的としている。

る。このため切らずに手術ができる。
2．システムの VR 化

しかし、腹腔鏡手術で腹部に対する全ての処置が可能ではないため若い研修医は腹腔鏡手

過去の研究でリアルタイムに遮蔽物の除去ができるプログラムを利用して Unity 上で仮想術に加え開腹手術も学ぶ必要がある[1]。
過去の研究では複数台のカメラを使い、死角空間の実現を目指す。Unity で手術室を再現しとなる部分を別角度のカメラから補完し映像たシーンを作成し、複数視点から撮影された映を作成することで学習教材としての価値を向像に FFD などの処理を行う。そして補完された映像を人体モデルに投影し、ユーザーは Oculus――――――――――――――――――

Rift[3]を用いて観察する。

*1 愛知工業大学情報科学部〔〒470-0392 愛知県豊田市八草町八千草

3．仮想空間での手術室製作

1247〕 e-mail: kitasaka@aitech.ac.jp

本研究では、リアルタイムで TPS 処理、透過*2 愛知県がんセンター

処理などを行った開腹手術映像を VR 空間で見*3 名古屋大学情報連携統括本部るため、実際の手術室に近い仮想空間を製作す488

る必要がある。VR 化は Unity 上で行うため手術室製作も Unity 上で行い(図 1)、オブジェクトの制作と変形には Unity 内で 3DCG を作成できる
ProBuilder[4]を使用する。人体モデルは人型の3D モ デ ル が 制 作 で き る ア ド オ ン で あ る
ManuelBastioniLAB[5]を用いて行う(図 2)。製作
した人体モデルに開腹手術映像を投影するため、平面のオブジェクトを配置し、人体モデルの形に合わせて変形させる。

図 2 人体モデル

4．点群対応付け、合成処理
複数の映像を合成するには合成する画像の対象物を一致させる必要があるため、画像同士の対応付けを行う。対応付けの基準はマーカーを用いて行う。その後検出された特徴点群同士の対応付けをし、ICP アルゴリズムによる点群の対応付け、TPS による画像変形を行う。最後に動物体や遮蔽物の検出し別角度の画像を用

図 3 実験結果

いて補完を行う[2]。
6．まとめ
5．実験結果と考察

本研究では、研修医が学ぶ学習教材としてのUnity 上でシーンを実行し実験を行なった。

価値を高めるため、開腹手術映像における遮蔽使用した Oculus Rift は Oculus 社が開発、販売

物除去映像の仮想現実を検討した。今後の課題

しているものでバージョンは 1.33 である。作成

として、VR 空間で映像をより立体視できるよしたシーンを図 3 に示す。

う新たな手法を用いる必要があることが挙げ

VR 空間であらゆる方向から映像を観察するられる。

ことができ教材としての価値を向上することができた。しかし、平面に映像を投影している

謝辞

ため立体視することが難しくなってしまった。
改善点として、赤外線などのセンサーを用いて本研究は JSPS 科研費 26108006，17H00867 の助成を受けたものです．

カメラからの距離の情報を入手し投影時に反映させることでより立体視できるよ うになる

利益相反の有無と思われる。

なし
文
［1］

献

Dr.堤治の世界

腹腔鏡下手術

下 手 術 論http://www.dr-tsutsumi.jp/

腹腔鏡

endoscope/details/e_03.php［2］奥田透生，佐藤隼，豊田誠仁，“FFD を利用した開腹手術映像における遮蔽物
除去システムの高精度化”愛知工業大学情報科学部情報科学科

図 1 手術室489

2017 年度卒

業研究卒業制作要約集 pp101,102, 2019［3］

Oculus Rift

［4］

ProBuilder［5］

ManuelBastioniLAB
http://www.manuelbastioni.com

https://www.oculus.com/

https://unity3d.com/jp/unity/features/worldbuilding/probuilder

490

Virtual reality in surgical area retrieval system of Laparotomy
Takayuki KITASAKA*1, Mikiya ITO*1, Kazuya KOMAGATA*1,
Kazunari MISAWA*2, Kensaku MORI*3*1 School of Information Science, Aichi Institute of Technology*2 Aichi Cancer Center Hospital*3 Infomation and Communications Headquaters, Nagoya University

Laparatomy is one of important surgical operations. We have developed an intelligent archive of the laparotomy
videos, which enables medical students and young surgeon to study actual laparotomy operations through the videoarchives. We developed a surgical area retrieval system of the laparotomy to retrieve important surgical areas from
obstructions by surgeon’s head and hands. In this report, we describe a preliminary study of the virtual reality systemof surgical area retrieval and investigate how to augment the immersion of the system.

Key words: Laparotomy video，Virtual reality，Oculus491

OP4-11

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

手術器具検出を用いた整形外科手術の工程認識における最適な Data Augmentation の検討
西尾

祥一*1

Belayat平中

Hossain*1 八木 直美*1,*2 新居
崇文*3

学*1

小橋 昌司*1

要旨
整形外科手術は腹膣鏡手術や開腹手術と比較して手術工程および使用する手術器具が多く，外科手術中に医療器具の受け渡しを行う看護師は大きな負担を強いられている．我々は過去に人工膝関節置換術を対象とした整形外科手術における手術室看護師を支援するためのナビゲーションシステムを提案した．この研究では畳み込みニューラルネットワークを用いて手術画像全体に基づいた画像認識により手術工程の認識を試みたが，実用化に必要とされる精度には及ばなかった．本研究では整形外科手術における手術工程の認識精度の改善を実現するために，手術映像から取得したフレーム毎に物体検出(YOLO)を行い，器具のクラス情報と位置座標を検出する．スマートグラス(眼鏡型のデバイス)を用いて記録した整形外科手術映
像は手術間で照明環境や撮影角度が大きく異なっており，それらの影響を低減させるための最適なデータの前処理法やデータ拡張法を検討した．
キーワード：深層学習，手術支援，物体認識，整形外科手術，医用画像処理

1．はじめにナビゲーションシステム構築に必要な技術

整形外科手術は腹膣鏡手術や開腹手術と比として術者視点での手術映像の自動認識が挙較して手術工程及び使用する手術器具が多く，げられる．自動認識の方法としては畳み込みニ

外科手術中に医療器具の受け渡しを行う看護ューラルネットワーク(CNN)を用いた画像認識

師は大きな負担を強いられている．我々は過去法を提案した[2]．しかし，手術の工程(手術手技)に器械出し看護師に対してリアルタイムで手の認識精度は平均で 32.5%であり，システムの術情報を周知させることを目的とした整形外実用化に向けては十分な認識精度を達成でき科手術ナビゲーションシステム[1]を提案して

ていない．

いる．

本研究では物体検出モデル(YOLO[3])を用いた手術器具の検出を行い，器具のクラス情報と――――――――――――――――――*1 兵庫県立大学工学研究科電子情報工位置座表を検出する．また，手術映像には各手

学専攻

術間で照明環境が異なっていることや医師の〔〒671-2280 姫路市書写 2167〕

手が器具を認識する際のオクルージョン(障害e-mail: messi240exe@gmail.com

物)となっているといった問題が見られる．本研*2 姫路独協大学

究ではデータ拡張(Data Augmentation)技術を用*3 高槻病院いることでそれらの問題に対して頑健性の高投稿受付：2003 年 1 月 31 日

492

り，𝑟1 と 𝑟2 の間で𝑟𝑒 はランダムに初期化されいモデルを構築することを目的とする．

る．
2．提案手法

ガンマ補正はガンマ値を変化させることで2.1 Yolov3 を用いた手術器具検出ネットワー

画像コントラストを調整するための手法であクる．冨樫らは極端な照明条件下で物体検出する
本研究では手術動画の各フレームを入力画手法としてガンマ補正を行いながら検出を行像として物体検出ネットワーク YOLO を用いう手法を提案している[6]．ガンマ補正に関するることにより，画像中から手術器具の領域候補

式を以下に示す．𝐼(𝑥, 𝑦)が入力画像の画素値，とそれに対応する手術器具の種類の推定を行𝐼𝑚𝑎𝑥 が画素の最大値, γはガンマ値である．

う．

1

2.2 オクルージョン及び照明環境変化に対す

I

′ (x,

る頑健性獲得のためのデータ拡張手法

𝐼(𝑥, 𝑦) 𝛾
y) = 𝐼𝑚𝑎𝑥 (
)
𝐼𝑚𝑎𝑥

(1)

本研究で用いるデータ拡張手法は Zhong らがγが 1 より大きければ補正前の画像よりもコン提案する Random Erasing[4]とガンマ補正によトラストが大きくなり，γが 1 より小さければる画像コントラスト変化による学習データの補正前画像よりコントラストが小さくなる．画水増し手法を用いた．

像に対してガンマ値を変更させたときの画像

Random Erasing は画像中の認識対象物体上の例を図 2 に示す．

オクルージョンに対して頑健性を向上させるために提案されたデータ拡張手法である．早稲
田大の藤江らは脳腫瘍摘出手術の分野で手術器具検出を用いた工程認識法や Random Erasing(a) γ =0.2(b) γ =1.0(c) γ =1.8
図 2 ガンマ補正後の画像例を用いたデータ拡張手法 の提案を行っている[5]．
入力画像上に存在する物体の Ground Truth(物Random Erasing とガンマ補正によるデータ拡体領域候補)の座標を(𝑥𝑚𝑖𝑛 , 𝑦𝑚𝑖𝑛 , 𝑥𝑚𝑎𝑥 , 𝑦𝑚𝑎𝑥 )張手法はモデルの学習中に動的に使用する．具とする．消去領域は各 Ground Truth ごとに後述

体的にはバッチサイズが N 個の学習条件下でするパラメータの範囲内の 大きさでランダムあれば，バッチサイズは N+1 個まで増加するこに生成される．元画像と消去領域生成後の画像とを意味する．

例を図 1 に示す．

3．実験
3.1 使用データ
使用データは高槻病院で行われた全人工膝
関 節 置 換 術 (TKA)及 び 単 顆 人 工 膝 関 節 置 換 術(UKA)の 6 症例のビデオで構成されている．ビ
元画像

消去領域生成後

デオの撮影にはスマートグラス(InfoLinker,ウエストユニティス株式会社)で撮影しており，手術

図 1 消去領域性生後画像の例には ZIMMER BIOMET 社の手術器具が使用さ各 Ground Truth の面積を S とすると，消去領れている．使用データに含まれる手術器具は域の面積 Se はランダムに初期化される．Se/S は

Scalpel, Electriccautery, Resection Drill, Needle

最小値𝑆𝑙 ，最大値𝑆ℎ の範囲内で決定される．消Holder の合計 4 種類である．図 3 に手術器具の去領域のアスペクト比は𝑟𝑒 として設定してお

例を示す.

493

積の最小値パラメータ𝑆𝑙 は 0.02，最大値パラメ
ータ𝑆ℎ は 0.1，0.2，0.3 の 3 条件で， 𝑟1 と 𝑟2 はそれぞれ 1/3 と 3 に設定している．ガンマ値γは0.8 から 1.2 の範囲でランダムに変化するよう(a) Scalpelに設定した．

(b) Electriccautery

またデータ拡張を利用せずに学習を行った
場合(without)と Random Erasing だけをデータ拡張に利用した場合(Erasing)，ガンマ補正を利用した場合(Gamma)，Random Erasing とガンマ補正を組み合わせてデータ拡張を行った場合(c) Resection Drill(d) Needle Holder
図 3 手術器具の画像例(Erasing + Gamma)の 4 種の条件で学習を行い，評価を行った．

また各手術器具の画像枚数を表 1 に示す．
3.3 実験結果・考察

表 1 各手術器具の画像枚数
Tool
ScalpelElectrocautery
Resection drill
Needle holder

本実験では Random Erasing およびガンマ補正

Number of labeled images
264
334
296
300

の本データセットに対する有効性の検証を行う．検証の方法としては画像データの正解ラベル(手術器具の種類)と学習させたモデルによって推定されたラベルを比較することで検証す

実験の評価方法としては LOOCV 検証を用いる．(#of correctly recognized frames)はラベルが一た．症例 1,2,3,4,5 を学習データとしたとき，症致した数，(#of all frames)は画像枚数の合計であ例 6 を評価データとした．次に症例 1,2,3,4,6 をる．検証に用いた式を以下に示す．

学習データにしたとき，症例 5 を評価データとした．各症例が 1 回は評価データとして用いら𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =れるように検証するという方法で検証を行っ#𝑜𝑓 𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑙𝑦 𝑟𝑒𝑐𝑜𝑔𝑛𝑖𝑧𝑒𝑑 𝑓𝑟𝑎𝑚𝑒𝑠# 𝑜𝑓 𝑎𝑙𝑙 𝑓𝑟𝑎𝑚𝑒𝑠(2)た．各症例の手術画像枚数を表 2 に示す．
Normal, Erasing, Gamma, Erasing + Gamma の

表 2 各症例の画像枚数
Case
1
2
3
4
5
6

各実験条件下で LOOCV 検証を行い平均化する

Number of labeled images
156
94
144
114
353
333

ことで各手術器具の平均認識精度として算出を行った．Erasing に関しては消去領域生成の最大値パラメータSh を 0.1, 0.2, 0.3 の 3 条件で評価を行った．算出された実験結果を表 3 に示す．
データ拡張手法を用いず学習したモデル(without) の 平 均 認 識 精 度 は 43.8% で あ っ た ．

3.2 実験条件

Random Erasing を 用 い て 学 習 し た モ デ ル

本実験では手術器具の検出に YOLOv3[7]を(Erasing)の精度はSh =0.1 の場合に 49.5%と最良用いる．本モデルは事前に The COCO dataset[8]の精度が得られ，without と比べ 5.7%向上した．

で学習を行っている．事前学習後に本データセ

ガンマ補正を用いて学習したモデル(Gamma)のットで転移学習を行った．学習回数を表すエポ

精度は 48.9%であり，without に比べ 5.1%向上

ックは 30 に, バッチサイズは 2 とした．最適化

した．

には Adam を用いており，学習率を 1×10-4 とErasing + Gamma の実験に関しては消去領域している．Random Erasing における消去領域面生成の最大値パラメータSh =0.1 に設定して評価494

表 3 各実験条件下における評価結果
Tool

without

Erasing(𝐒𝐡 =0.1)

ScalpelElectrocautery
Resection drill
Needle holder
Average

55.7
36.8
59.6
22.8
43.8

62.2
35.5
66.8
33.3
49.5

(1) Scalpel

Conditions
Erasing
Erasing(𝐒𝐡 =0.2)(𝐒𝐡 =0.3)
58.8
29.5
59.9
28.3
44.1

(2) Electriccautery

62.5
37.1
61.2
28.1
47.2

(3) Resection Drill

Gamma

Erasing +
Gamma

67.5
37.7
62.0
28.5
48.9

58.4
36.6
57.7
29.2
45.5

(4) Needle Holder

図 4 テスト画像の検出成功例を行った．実験より平均認識精度は 45.5%であータ拡張により学習データの増加を行った．実り，without に比べ 1.7%向上した．Erasing と験結果はデータ拡張を用いず に学習を行った

Gamma を組み合わせてデータ拡張を行ったにモデルの平均認識精度が 43.8%，Random Erasing

も関わらず，それぞれ独立してデータ拡張を行を用いて学習を行ったモデルの精度は 49.5%，

った場合と比較しても精度の向上が低かった．

ガンマ補正によるデータ拡張を用いたモデル

原因としては学習エポック(学習回数)が最適での精度は 48.9%であった．Random Erasing およないといった問題が考えられる．全ての実験条

びガンマ補正の適用により平均認識精度の向件でエポックを 30 として行ったが，エポック上が見られたため，本データセットに対してはを 30 から増加して実験を行った場合に各実験

有効なデータ拡張手法であることが証明され条件下で異なった結果が得られることが予想

た．

される．

今後の課題としては各データ拡張手法の最適なパラメータを実験的に算出するのではな

4．まとめ

く，使用データの情報に基づいて自動的に算出

本研究は整形外科手術の一種である人工膝することが必要である．自動での算出が可能に

関節置換術の手術映像を対象とし た物体検出

なれば物体検出ネットワークの学習においてネットワーク YOLO を用いた手術器具検出により効果的なデータ拡張手法として活 用でき

おいて，オクルージョン，照明環境変化に頑健ると考えられる.

なモデルの構築による認識精度向上を目指し謝辞

た．Random Erasing，ガンマの補正を用いたデ本研究は JSPS 科研費 18F18377 の助成を受けたものです．

495

利益相反の有無なし
文

献［1］ S. Nishio, M. Hossain, B. Hossain et al.
"Real-Time Orthopedic Surgery Procedure
Recognition Method with Video Images
from Smart Glasses Using Convolutional
Neural Network," presented at the 2018
IEEE International Conference on Systems,
Man, and Cybernetics (SMC), 2018.

［2］ S. Nishio, B. Hossain, M. Nii et al.
"Workflow Recognition from knee SurgicalVideos: Role of Deep Neural Networks,"
presented at the 2018 International Societyof Affective Science and Engineering(ISASE), 2019.

［3］ S. D. Joseph Redmon, Ross Girshick, Ali
Farhadi, "You only look once: Unified, realtime object detection," in IEEE conferenceon computer vision and pattern recognition,
2016, pp. 779-788.
［4］

Z. Zhong, L. Zheng, G. Kang et al.
“Random Erasing Data Augmentation.”
arXiv preprint arXiv:1708.04896, 2017.

［5］藤江宏紀，平田啓樹，堀込貴央 et al. “手術具の検出および追跡による脳腫瘍摘出 手 術 の 工 程 認 識 法 に お け る Data
Augmentation の パ ラ メ ー タ 値 の 検 討 ”
信 学 技 報 ， IEICE Technical Report MI
2018-105，pp185-189.

［6］

冨樫由美子，大町真一郎，阿曽弘具,“ガンマ変換を用いた照明変動に頑健な物体検出,” 信学論（D）, Vol.J91–D, No.8,
pp.2188–2191, Aug. 2008.

［7］

A. F. J Redmon, "Yolov3: An incremental
improvement," arXiv:1804.02767, 2018.

［8］ M. M. T.-Y. Lin, S. Belongie, J. Hays, P.
Perona, D. Ramanan, P. Dollar, and C. L.
Zitnick,"Microsoft

COCO:

Commonobjects in ´ context," in ECCV, 2014.

496

Investigation of Optimal Data Augmentation for Recognizing Surgical
Workflow using Surgical Tools Detection in Orthopaedic Surgery
Shoichi Nishio*1, Belayat Hossain*1 , Naomi Yagi*1,*2, Nii Manabu*1
Takafumi Hiranaka*13, Syoji Kobashi*1*1 University of Hyogo*2 Himeji Dokkyo University*3 Takatsuki General HospitalThe orthopedic surgery involves more surgical procedures and surgical instruments than abdominal and vaginal
surgery, and nurses who deliver medical instruments during surgery are under heavy burden.
Our previous study proposed a navigation system to support operating room nurses in orthopedic surgery for total
knee arthroplasty. In this research, we attempted to recognize the surgical process by image recognition based on thewhole surgical image using a convolutional neural network, but it did not reach the accuracy required for practical use.
In this research, in order to improve the recognition accuracy of the surgical process in orthopedic surgery, object
detection (YOLO) is performed for each frame acquired from the surgical image, and class information and position
coordinates of the instrument are detected. Orthopedic surgery images recorded using smart glasses (eyeglass-typedevices) have greatly different illumination environments and shooting angles between operations, and optimal datapre-processing methods and data expansion to reduce their effects Consider the law.

Key words: Deep Learning, Assisting Surgery, Object Recognition, Orthopaedic Surgery, Medical Imaging

497

OP4-12

敵対的生成ネットワークによる
MRI 脳画像の頭蓋骨除去
藤山 眞梧*1

茶山 祐亮*1

彌冨 仁*1

大石 健一*2

要旨
神経障害の診断のために MRI によるニューロイメージングが日々行われている．MRI 画像を用いた脳の研究において，自動診断支援や類似症例検索実現のためには，MRI 画像から頭蓋骨，皮膚，脂肪，眼球のような非脳組織を取り除く skull-stripping (SS) と呼ばれる処理が必要不可欠である．しかし既存の SS 手法は処理時間，除去精度において問題が存在する．本研究は高速かつ正確な SS を実現する adversarial generativeskull-stripping (AGSS)法を提案する．AGSS 法は，ディープラーニング分野において近年多くの成果を挙げている generative adversarial networks を応用し，限られた数の脳抽出データの学習を元に，優れた SS 画像
を短時間で生成する．既存で最も優れている SS 手法の 1 つである MRICloud による SS 結果を正解データとした 398 例の評価実験において AGSS 法は F1-score=97.28%を達成する一方，実行時間は症例あたり約 3秒であり従来手法の 1/400 程度を実現した.
キーワード：skull-stripping, MRI, generative adversarial networks

1．はじめに出は非常にコストがかかるため，MRICloud[1],神経学的疾病は一般的な障害の一つであり，FreeSurfer [2]などの自動 SS 手法が提案され神経障害の診断およびのために，臨床のほか，てきたが，処理時間が長く，除去精度が不十

様々なニューロイメージングが行われている．

分である場合が多い．

特に magnetic resonance imaging (MRI) は放射

一方，深層学習技術を医療分野に適用する線被爆なしに脳の解剖学的な構造や病理を撮試みが近年活発に行われている．特に影可能なため，診断や診断支援等を目的としconvolutional neural networks (CNN) よる診断

た研究のために広く活用されている．

支援や，CNN をベースとした U-Net [3]やMRI 画像を用いた研究においては，撮影さSegNet [4]は腫瘍や臓器，脳等に対するセグメ

れた MRI 画像から 頭蓋骨，皮膚，脂肪，眼球のンテーションで高い精度を実現している．しような 非脳組織を取り除き，脳領域を抽出す

かし，これらの手法には大量のデータが必要

る頭蓋骨除去 (skull-stripping : SS)と呼ばれるであり，3 次元画像である MRI 画像に対して処理が必要不可欠である．SS はその処理精度

人間の手によりアノテーションをつける作業

によって後に続く様々な分析に直接影響を及は非常にコストがかかり困難である．近年，ぼす可能性があるため，正確かつ高速な SS

敵 対 的 生 成 ネ ッ ト ワ ー ク (generativeが求められている． しかし，3 次元画像であadversarial networks : GANs) [5]による画像のる MRI 画像において人手による脳領域の抽生成を行う研究が活発に行われている．本研
究 で は GANs 手 法 を 応 用 し た adversarial――――――――――――――――――

generative skull-stripping (AGSS)法を提案する．

*1 法政大学大学院理工学研究科

AGSS 法は脳 MRI 画像から脳領域のみを描画〔〒184-8584 小金井市梶野町 3-7-2〕

する generator(G)と，生成された画像が本物の

e-mail:脳画像か，G により生成された偽の脳画像か{shingo.fujiyama.5a@stu ,yusuke.chayama.2t@stu,を判定する discriminator(D)が敵対的に学習すiyatomi@}hosei.ac.jp

る こ と で ， 高 速 か つ 正 確 な SS 画 像 を 生*2 Department of Radiology
Johns Hopkins University School of Medicine498

2 次元画像のスライスを抽出し，連続する 2次元画像として処理を行う．これにより計算コストが大幅に減少するだけでなく，スライス画像毎に位置や角度変化などのデータオー
グメンテーション（拡張）も導入することが可能となり，学習画像を大幅に増加させることができる．具体的には，各症例を 3 方向
(Coronal, Sagittal, Transverse plane)，256 スラ

図 1

AGSS の概要図

イス/症例，位置・角度に対するオーグメンテ
ーションを 18 × 21 = 378 通り導入することに成する．AGSS 法は，3 次元 MRI 画像を 2 次より 1 症例あたり約 300,000 枚を学習画像と元スライスの連続として扱い統合することで，した．

極めて少ない学習画像のみから極めて信頼性

AGSS の学習時の概要を図 1 に示す．G はの高い 3 次元脳構造を生成することができる．

入力された MRI 画像から脳領域を抽出した画像を生成する生成器 (generator)．D は入力された SS が行われた画像が G によって生

2．手法成された画像であるか，教師データの画像で2.1. データセット

あるかを識別する識別機 (discriminator)であ

本研究では学習用データセットとして，る．このとき，G は D を騙すことができる

公開されている 3 次元脳 MRI データセットで画像を生成できるように学習を進め，D はよ

ある ADNI2 の 398 症例使用した．学習用デー

り正確に生成された画像であるか教師データ

タとして 358 症例，検証用データとして残りの画像であるかを識別できるように学習を進の 40 症例を使用した．ADNI2 には頭蓋骨をめる．これにより学習した G は学習した D

除去し脳領域を抽出した教師データが存在しを騙せるほど正確な SS を行い，脳領域のみないため，現時点で SS において最も精度がを抽出した画像を生成できるようになる．

高い手法の１つである MRICloud による処理

AGSS による SS 画像生成は Coronal, Sagittal,

結果を教師テータ (Ground Truth, GT) とした．

Transverse plane の 3 方向それぞれを入力とす

また，前処理としてゼロパディングを行い入ることにより，1 症例ごとに 3 つの SS 画像を

力 画 像 と 教 師画 像の 画 像 サ イ ズを生成することができる．それぞれの方向にお256×256×256 にする処理を施した．

いて端のスライスにおいては精度低下が起こる場合がある．そのため，これを軽減するために 3 方向によって生成された SS 画像を回2.2. Adversarial generative skull-stripping

転により位置合わせし，平均処理を行う．

(AGSS)
本研究で提案する AGSS は近年，深層学習分野において成果を上げている研究である

3. 実験

GANs の一種である pix2pix [6]の技術を応用

本研究では，図 2 に示す U-Net ベースのし，撮影された MRI 画像から SS を行い，脳Generator を用い，撮影された MRI 画像から領域画像を生成するものである．

SS を行い，脳領域を抽出した画像を生成する．

3 次元の MRI 画像を直接生成することは，

Discriminator には， カーネルサイズ 4×4，

計算コストの課題の他，パラメータ数およびス ト ラ イ ド 2 の 畳 み 込 み 層 と batch

利用できる症例数の観点から過学習に陥る可

normalization，Leaky ReLU による処理を 5 回能性が高いため，AGSS では 3 次元画像から繰り返す CNN を用い，生成器によって生成499

図 2 U-Net ベースの Generator
表 1

された画像であるか GT 画像であるかの判別

AGSS の脳領域生成結果を行う．
以上の生成器と識別器を用いた AGSS の学習を行い， 検証用データにより評価を行った．
評価指標には，IOU, precision，recall，F1-score
を用いた．
検証用データに対する各評価値の平均値を
表 1 に示す．また，3 方向のそれぞれの入力によって AGSS が生成した SS 画像の結果例

3．まとめを図 3 に示す．生成結果例をみると GT 画像

GANs を応用した SS 手法である AGSS を提と同等な SS 画像を生成できていることがわ

案し，GT 画像の作成に使用した MRICloud

かる，また，それぞれの評価指標値を見てもによる SS 画像と同等な脳領域画像を約 1/400

高い精度で抽出できていることがわかる．

の程度の実行速度で生成を可能とした．

AGSS が SS 画像を生成するのにかかる時
間 は 1 症 例 当 た り 約 3 秒 程 度 (Core

利益相反の有無

i7-6850K@3.80GHz ， RAM: 64GB ， NVIDIAなし

GTX 1080 Ti )であり，既存の SS 手法である
FreeSurfer と比較すると約 1/400 程度で SS を行うことが可能である．

500

図 3 AGSS による脳領域生成結果
文

segmentation,” IEEE transactions on

献［1］ X. Tang, K. Oishi, A. V. Faria, et al:patternanalysis“Bayesian parameter estimation andintelligence,

segmentation in the multi-atlas random

2481–2495, 2017.

orbit model,” PloS one, vol. 8, no. 6, p.

processing［3］ O. Ronneberger, P. Fischer, T. Brox,”2672–2680.

Convolutional
image
pages

12,

pp.

nets,” in Advances in neural information

62, no. 2, pp. 774– 781, 2012.

MICCAI,no.

Mirza,, et al, “Generative adversarial［2］ B. Fischl, “Freesurfer,” Neuroimage, vol.

biomedical

39,

machine［5］ I. Goodfellow, J. Pouget-Abadie, M.

e65591, 2013.

U-net:

vol.

andnetworks

2014,

pp.

［6］ P. Isola, J.-Y. Zhu, T. Zhou, et al ,forsegmentation.”,In234–241.

systems,“Image-to-imagetranslation

withconditional adversarial networks,” inSpringer,2015. 2, 3

The IEEE Conference on Computer［4］ V. Badrinarayanan, A. Kendall, R.

Vision and Pattern Recognition (CVPR),

Cipolla,“Segnet: A deep convolutional

July 2017.

encoder-decoder architecture for image

501

Skull-stripping for MRI Images
using generative adversarial networks
Shingo FUJIYAMA*1, Yusuke CHAYAMA*1, Hitoshi IYATOMI*1, Kenichi OISHI *2*1 HOSEI University*2 Johns Hopkins University, School of Medicine.

Extracting the brain region from a MRI is known as skull-stripping (SS), removing skull and eyeball, other non-brain
tissue. It is an essential preprocessing for many neuroimaging tasks and several automatic SS methods have been
proposed. However, processing time and improvement for accuracy are known issues. In this paper, we propose
adversarial generative skull-stripping (AGSS) method to solve these problems. The heart of AGSS is composed ofgenerative adversarial networks (GANs) and it generates excellent skull-stripped MRI results very fast with a limited
number of training images. In our experiments, we used a total of 398 cases from the ADNI2 dataset and their SS
results by MRICloud, which is one of the best existing SS methods, as the gold standard. As a result, our AGSS
achieved 97.28% in F1-score and approximately 3 second for processing time per a case, which is almost 1/400 of
conventional methods.

Key words: skull-stripping, MRI, generative adversarial networks

著者紹介藤山 眞梧 (ふじやま しんご)2019 年 法政大学理工学部応用情報工学科
卒業
2019 年 同大学大学院 理工学研究科応用情報工学専攻 修士課程

彌冨 仁 (いやとみ ひとし)1998 慶大・理工・電気卒．2000 年同大大
学院・理工研・電気修士課程，2004 年同博
士課程修了．2000-2004 日本ヒューレット・
パッカード（株）．
現在，法政大・理工・教授．博士（工学）、博士（医学）．機械学習および、それらを元にした画像解析，言語処理，セキュリテ
ィなどの研究に従事．

502

OP4-13

深層学習を用いた腹腔鏡手術動画像の出血領域自動セグメンテーション
山本

翔太*1

小田 昌宏*1

小田 紘久*1
伊藤雄一郎*1

北坂 孝幸*2雅昭*3 竹下 修由*3

森 健策*1,4,5

林

要旨
本稿では，腹腔鏡手術動画像に対して，深層学習を用い出血領域のセグメンテーションを自動的に行う手法について検討する．出血領域のセグメンテーション結果は，内視鏡手術の安全性を高める研究において利用価値が高い．しかし，手術映像中における出血領域を手動でセグメンテーションするのは困難である
ため，効率的にセグメンテーションを行う手法が求められている．本研究では，深層学習を用いた出血領域の自動セグメンテーションを行う．出血領域を詳細にセグメンテーションするため，出血領域を含む局
所領域を切り出したデータで学習した U-net（局所 U-net）と，画像全体で学習した U-net（広域 U-net）
を用意し，広域 U-net の抽出結果に局所 U-net の抽出結果を統合することでセグメンテーション結果を得る．実験により，2 段階の抽出を行うことで 76.3%の F 値を示した．
キーワード：深層学習，内視鏡手術動画，セグメンテーション，U-net，出血領域

1．はじめにまた，解析結果を基にした新たな治療支援技

現在，日本内視鏡外科学会の技術認定評価

術の開発への応用も期待される．

項目では，評価対象として出血に関する項目

本研究では，腹腔鏡手術動画像中に出現すが設定されている．しかし，その評価は手術る出血領域の自動抽出を行うことを目的とす

経験に基づく評価であり，定量的評価を行う

る．

のは現状困難である．それに伴い，次世代へ

2．出血領域自動抽出手法の技術の継承作業に客観性が乏しいという問本手法では，医用画像処理に広く用いられて題がある．そのため，内視鏡手術動画を計算

いる U-net[1]を用い，腹腔鏡手術動画像中の任機的に解析し，出血領域を解明することは，意のフレーム画像から，大まかな抽出を行う広手術手技の定量化に大きな貢献となりうる．

域 U-net と詳細な抽出を行う局所 U-net による
2 段階の出血領域抽出を行う．広域 U-net の抽――――――――――――――――――

出結果に，局所 U-net の抽出結果を統合するこ*1 名古屋大学大学院情報学研究科とで自動抽出結果を得られる(図 1)．

〔〒464-8601 名古屋市千種区不老町 IB

学習処理では，出血が出現する手術動画中の

電子情報館南棟 4 階 466 号室〕

一部のフレーム画像と，それに対応する出血領

e-mail: syama@mori.m.is.nagoya-u.ac.jp

域のラベル画像を用いる．広域 U-net の学習で

*2 愛知工業大学情報科学部

は，画像全体を 256 pixel×256 pixel へ縮小させ*3 国立がん研究センター東病院

た画像を学習用画像として用いる．これには画*4 名古屋大学情報基盤センター

像中に出現する出血領域の大まかな位置を特*5 国立情報学研究所医療ビッグデータ

定する目的がある．また，局所 U-net の学習で研究センター

は，出血領域周辺の切り出し画像を学習用画像

503

として用いる．これには，出血領域の詳細な抽出を行う目的がある．

謝辞

推定処理では，初めに対象画像から広域 U-net

本 研 究 の 一 部 は JSPS 科 研 費 17H00867 ，を用いて大まかな出血領域の抽出を行う．次に，

17K20099, 26108006，26560255, 二国間交流事業,

抽出結果の出血領域が中心となるように対象

堀 科 学 芸 術 振 興 財 団 , AMED の 課 題 番 号

画像から出血周辺画像を切り出し，その切り出

18he1802002, 18lk1010028, 19lk1010036h0001 のし画像を局所 U-net に入力し詳細な抽出を行う．

支援を受けた．

局所 U-net の抽出結果を，広域 U-net から得ら

利益相反の有無なし

れた結果に OR 演算により統合することで対象

文

フレーム画像の出血領域自動抽出結果を得る．

［1］

Roth HR, Oda H, Zhou X, et al.: Anapplication

3．実験と結果

献ofcascaded

3D

fully

convolutional networks for medical image

実験では，広域 U-net，局所 U-net，広域 U-netと局所 U-net の 2 段階抽出の抽出精度の比較実

segmentation. CMIG, 66: 90-99, 2018

験を行った． ただし，局所 U-net に関しては，
対象画像を 256 pixel×256 pixel で分割した画像

表 1 出血領域の自動抽出精度を入力とし，出力された分割画像を再構築することで抽出した．13 症例分の腹腔鏡手術動画か

適合率

再現率

F値

ら出血領域を手動でラベル付けした フレーム局所 U-net

39.2%

80.7%

46.9%

画像 900 枚で学習し，129 枚で推定を行った．

広域 U-net

77.8%

60.7%

65.2%

各手法による出血領域自動抽出結果は図 2 の通2 段階抽出

73.9%

85.5%

76.3%

りとなった．また，それぞれの再現率，適合率，F 値を表 1 に示す．
4．考察
2 段階抽出手法の再現率が比較手法の中で最大の値を示した．局所 U-net で出血領域周辺のみを抽出することで，微小な出血領域も詳細に

図 1 出血領域の自動抽出手法．2 段階の抽出されたからだと考えられる．F 値に関して抽出結果を統合することで対象フレーム

も 2 段階抽出手法が最大の値を示したが，適合画像から自動抽出結果を得る．

率に関しては広域 U-net が最大の値を示した．
これは，2 段階抽出手法における広域 U-net の誤抽出に関しても局所 U-net で抽出することにより，誤抽出領域が増加したからだと考えられ
る．2 段階での抽出結果の統合法を再検討する必要がある．
5.むすび(a) 正解データ(b) 局所 U-net の抽出結果

本稿では，深層学習を用いた腹腔鏡手術動画
像からの出血領域自動抽出手法についての検討を行い，その有効性を確認した．今後は精度の向上を図るとともに，自動抽出結果に基づく(c) 広域 U-net の抽出結果 (d) 提案手法の抽出結果

手術手技定量化手法も検討し，治療支援技術へ

図 2 各手法の自動抽出結果と対象フレーの応用を目指す．

ム画像の重畳表示(図中青色)．

504

Automated Segmentation of Bleeding Area from
Laparoscopic Surgical Movie Using Deep Learning
Shota YAMAMOTO*1, Hirohisa ODA*1, Yuichiro HAYASHI*1, Takayuki KITASAKA*2,
Masahiro ODA*1, Masaaki ITO*3, Nobuyoshi TAKESHITA*3, and Kensaku MORI*1,4,5*1 Graduate School of Informatics, Nagoya University*2 Faculty of Information Science, Aichi Institute of Technology*3 National Cancer Center Hospital East
*4 Information Technology Center, Nagoya University*5 Research Center for Medical Big Data,
National Institute of Informatics

We discuss a method for automated segmentation of bleeding area using deep learning from laparoscopic
surgical movie in this paper. Segmentation results of bleeding area are valuable for research to enhance thesafety of endoscopic surgery. However, since manual segmentation of bleeding area from surgical movies
is difficult, an automated bleeding area segmentation method is required. We used a global U-net to identify
rough locations from the whole frame image. Then, we apply a local U-net to segment bleeding area indetail from local images clipped based on the global segmentation results. Segmentation results are obtainedby integrating the segmentation result of the local U-net into the segmentation result of the global U-net.
We compared automatic bleeding region segmentation accuracy by using local U-net, global U-net, andboth of them in the experiments. We obtained 76.3% F-measure when we used both of local and global Unets.
Key words: Deep learning, Laparoscopic Surgical Movie, Segmentation, U-net, Bleeding Area505

OP4-14

血管仮想操作のための脳血管描画方法の検討
田中

康太*1

篠原 寿広*1

中迫 昇*1

要旨
現代の日本人の主な死因の 1 つに脳血管疾患がある．脳血管構造は複雑であるため 3 次元で可視化する際に死角ができ，手前の血管に隠れる血管は観察しにくい．そこで，著者らは，脳血管をより直感的に観察することを目的に，注目する血管を隠す血管を仮想的に操作し，注目する血管を観察可能にする血管仮想操作を提案している．本稿では，血管仮想操作を実現するための脳血管描画方法を提案する．はじめに CTA(Computed Tomography Angiography) 画像から抽出した脳血管をサーフェイスレンダリング法で描画する．
次に，注目血管を隠す血管に対し，同じ CTA 画像から推定した血管の心線データを用いて，チューブ状の簡易血管描画に切り替えて，心線データを操作することで，血管の仮想操作を実現する．実際の CTA 画像から抽出した脳血管および推定した血管の心線データを用いて実験を行い，本描画手法の有効性の一端を確認した．
キーワード：血管仮想操作，血管描画，脳血管疾患，診断支援

そこで著者らは，脳血管をより直感的に観1．はじめに現代の日本人の主な死因の 1 つに脳血管疾察できるようにすることを目的に，脳血管を患がある[1]．脳血管疾患とは，脳動脈の異常

3 次元的に描画し，注目する血管を隠す血管が原因でおこる疾患の総称であり，脳卒中やを仮想的に操作し，注目する血管を観察でき

くも膜下出血などが挙げられる．脳血管疾患

るようにする血管仮想操作を提案している．

の死亡率は減少傾向にあるものの依然として

本稿では，血管仮想操作を実現するための脳高く，死亡に至らなくても，手足の麻痺や言血管描画方法を提案する．

語障害，意識障害，運動障害などの後遺症が残ることが多いため，早期の発見が必要であ

2.

る．現在，医療技術，画像処理技術の発展に

本研究では，操作する血管は注目血管を隠

よ り CT (Computed Tomography) や MRIす血管であり，すでに観察済みであると想定(Magnetic Resonance Imaging) を用いて 3 次元

しているため，実際の血管の振る舞いや形状

的に体内の医療用画像を得ることができるよを忠実に再現する必要はない．血管を操作すうになったため，病変部の早期発見が可能にる 際 ， DICOMなった．しかし，病変部の特定は医師達の手

COmmunication in Medicine) 画像におけるボ作業によって行われており，大きな負担がか

リュームデータを直接処理することは難しい

かる．また，脳血管の構造は複雑であるため，ため，3 次元モデル相関法[2]を用いて CTA

3 次元で可視化する際に，死角ができてしま(CT Angiography) 画像から血管の中心位置情

い，手前の血管に隠れる血管は観察しにくい．

報（X，Y，Z 座標），半径情報および X，Y，

血管仮想操作のための血管描画方法(Digital

Imagingand

Z の各方向ベクトルを抽出した心線データを――――――――――――――――――

用いる．心線データは予め血管の名称に基づ*1 近畿大学大学院生物理工学研究科

き，別々に管理されており，編集が容易で，〔〒649-6493 和歌山県紀の川市西三谷 930〕

さまざまな血管の振る舞いを実現することがe-mail: 1933730015t@waka.kindai.ac.jp506

できる（ただし，血管の振る舞いは今後検討を行う）．また，操作する血管は心線データの位置情報および半径情報を用いてチューブ状の簡易表現に切り替える．心線データを用いた血管の描画方法を以下に述べる．
まず，心線データを用いて抽出した血管データ[3]を図 1 のように描画する．ここで，同図の緑色の血管の裏に病変部が隠れており，
緑色の血管を操作するものとする．次に，ポインティングデバイスにより，操作したい緑
色の血管上をクリックし，心線データの位置

図 2 チューブ状の簡易表現による血管描画

情報および半径情報を基に当たり判定を行う．
クリックした位置が血管に当たっていれば，
図 2 のように心線データに基づいてチューブ状の簡易表現された血管を描画する．さらに操作前の血管のボリュームデータを透明化することで操作された血管をボリュームデータ
表現からチューブ状の簡易表現へ切り替えを行う．このとき，ボリュームデータの各ボク
セルはユークリッド距離の最も短い心線デー
タと対応付けられているため，心線データに基づき各血管を透明化することができる．図

図 3 チューブ状簡易血管の操作

3 のように，チューブ状に簡易表現された血管を操作することにより隠されていた病変部3.

を観察できるようになる．

3.1 実験概要

実験

提案する血管仮想操作のための血管描画方法の有効性を確認するため，実際の CTA 画像
を用いて実験を行った．元の血管の描画にはVTK (Visualization Toolkit) [4]を用いて，サーフェイスレンダリングによるマーチングキューブ法[5]で描画した．実験に用いた CT 画像の撮影条件を以下の表 1 に示す．
表 1 CT 画像の撮影条件使用する画像枚数
430 枚
0.35mm/pixel
画像の解像度0.3mm
断面画像の間隔
0.625mm
スライス厚

図 1 血管データによる描画

3.2 実験結果
心線データを用いて抽出した脳血管を図 4に示す．椎骨動脈に対して，血管操作を行う．

507

椎骨動脈をクリックすることで血管のボリュームデータによるサーフェイスレンダリング

リアルタイムに血管の描画の切り替えを行法からチューブ状の簡易表現に切り替えた様

い，注目する血管を隠す血管を仮想的に操作子を図 5 に示す．分かりやすさのために，心し，注目する血管を観察できることが本実験

線データの半径情報に基づきチューブ状の簡により確認できた．

易表現の血管に色付けを行っている．また，その後，血管を平行移動させた様子を図 6 に

4．まとめ

示す．

血管仮想操作のための血管描画方法の提案を行った．実際の脳血管画像および心線デー
タを用いて実験を行い，リアルタイムに血管の描画の切り替え，血管操作が可能であることを確認した．今後は直感的に血管を操作するための血管の振る舞いの検討を行うとともに，実際の臨床現場で使用し，血管仮想操作の有効性の確認を行う予定である．

利益相反の有無なし

図 4 サーフェイスレンダリング法による描画

文
［1］

献

人 口 動 態 統 計 - 厚 生 労 働 省(URL:http://www.mhlw.go.jp/english/database/db-hw/dl/81-1a2en.pdf)［2］

篠原寿広，岡田康希,中迫昇：血管位
置および径推定のための血管追跡における球面を用いた血管分岐検出の検討. 第 34 回日本医用画像工学会大会予稿集,OP6-2,2015［3］

図 5 描画切り替え後の画像

宮内亮太郎，篠原寿広，中山雅人 他：
血管位置と径情報および輝度分布を利用したベイズ定理に基づく頭部
CTA 画像からの脳血管の抽出. 第31 回日本医用画像工学会大会予稿
集,OP1-2,2012

［4］

VTK

-The

Visualization

Toolkit(URL:http://vtk.org)［5］

ビジュアル情報処理編集委員会：ビジ
ュアル情報処理．CG-ARTS 協会，2017，
pp69-70

図 6 血管操作後の画像

508

Drawing cerebral blood vessel for vascular virtual handling
Kota TANAKA*1, Toshihiro SHINOHARA*1, Noboru NAKASAKO*1*1 Graduate school of Biology-Oriented Science and Technology, Kindai University

When the cerebrovasculature is visualized in three dimensions blind spots occur, since cerebrovasculature iscomplicated and the blood vessels in the front hide the ones in the back. These blind spots make it hard to observe
cerebrovasulature. In order to solve this problem, we proposed a blood vessel virtual handling system that enables us
to virtually handle blood vessels to eliminate the blind spots and allows us to observe blood vessels of interest
intuitively. In this paper, a blood vessel drawing method for this blood vessel virtual handling is proposed. First, thebrain blood vessels extracted from the CTA (Computed Tomography Angiography) image are drawn by the surface
rendering method. Then, drawing of the blood vessel that hides the blood vessel of interest is switched to a tube-like
simple drawing by using the center line data of the blood vessel estimated from the same CTA image, that is, thecenterline position and radius information of the blood vessel. The virtual handling of blood vessels is realized bymanipulating this center line data. The feasibility of this proposed drawing method of blood vessels was confirmed byusing center line data of cerebral blood vessels estimated and blood vessels extracted from an actual CTA image.

Key words: Blood vessel virtual handling, Blood vessel drawing, Cerebrovascular diseases, Diagnosis support509

OP4-15

転移学習を用いた腹部 thick-slice CT 像における多臓器領域の自動抽出の初期検討
申忱*1

Holger R. Roth*1

小田

紘久*1

林

雄一郎*1

三澤 一成*2

森

小田 昌宏*1

健策*1, 3, 4

要旨
本稿では，転移学習を用いた腹部 thick-slice CT 像における多臓器領域の自動抽出に関して検討する．臓器領域の自動抽出は医用画像処理において重要な役割を果たしている．近年，スライス厚が 0.5mm 程度のthin-slice CT 像を用いた臓器領域の自動抽出が多く行われているが，スライス厚が 5mm 程度の thick-slice
CT 像も医療現場において多く利用されている．そのため，スライス厚が厚い CT 像においても臓器領域の自動抽出ができれば有用である．しかし，CT 像の体軸方向の間隔が異なるため，従来の 3 次元 fully
convolutional networks を用いた thick-slice CT 像における臓器領域の自動抽出手法をそのまま適用することは困難である．本研究では，thin-slice CT 像の学習済みモデルを用いて転移学習を行うことにより，thickslice CT 像における腹部多臓器の自動抽出を行う．実験では，転移学習により thick-slice CT 像からの腹部
多臓器の自動抽出精度が 4%向上したことを確認した．
キーワード：多臓器抽出，深層学習，転移学習，thick-slick CT

1．はじめに［2］．医療現場においては，スライス厚が 5mm

腹部 3 次元 CT 像における多臓器領域の自動程度の thick-slice CT 像も多く使われているた抽出の研究は，コンピュータ支援診断（CAD）

め，thick-slice CT 像からも臓器領域を自動抽出やコンピュータ支援外科（CAS）システムの開することができれば有用である．しかし，thick-発に有用である．深層学習の発展に伴い，畳みslice CT 像は体軸方向の解像度が低いため，従込みニューラルネットワークを 用いた医用画

来の thin-slice CT 像で学習した 3D FCNs 手法を像処理の研究が盛んに行われてきた．その中で，用いて end-to-end で多臓器領域を自動抽出する

Fully convolutional networks (FCNs)［1］は臓器抽ことは困難である．そこで，本稿は thin-slice CT

出の手法としてよく使われている．これまでの像の学習済みモデルを転移学習 することによ

臓器領域抽出の研究では，スライス厚が 0.5mm

り，thick-slice CT 像における多臓器領域の自動程度の thin-slice CT 像を対象としたものが多い抽出を行ったので報告する．

――――――――――――――――――

2．手法*1 名古屋大学大学院情報学研究科

本手法の流れを図 1 に示す．本手法で使用し〔〒464-8601 名古屋市千種区不老町〕

た FCN の構造は，文献［2］に示される 3D U-

e-mail: cshen@mori.m.is.nagoya-u.ac.jp

Net［3］と同一である．従来手法では，スライ*2 愛知県がんセンター

ス厚が 0.5mm 程度の腹部 thin-slice CT 像を用い

*3 名古屋大学情報基盤センターて，多臓器の自動抽出を行ったが，本手法では，*4 国立情報研究所

スライス厚が 5mm の thick-slice CT 像を対象とする．

医療ビッグデータ研究センター
投稿受付：2003 年 1 月 31 日

510

クセルで，ミニバッチサイズは 3 とした．Adam
により最適化し，学習回数は 60,000 イテレーシ
ョンとした．転移学習で使用する学習済みモデ
ル 1 は，文献[2]の手法で，55,000 イテレーショ
ン学習したモデルを使用した．文献[2]の手法をthick-slice CT 像のみで学習したモデル（転移学
習なし）と thin-slice CT 像で学習したモデルをthick-slice CT 像を用いて転移学習したモデル（転移学習あり）による腹部多臓器領域の自動抽出結果例を図 2 に示す．また，転移学習あり
モデルと転移学習なしモデルによる多臓器領域の自動抽出精度を Dice coefficient score により評価した結果を表 1 に示す．
4．考察
本実験では，thick-slice CT 像のみで学習したモデルと thin-slice CT 像で学習したモデルを
thin-slice CT 像を用いて転移学習したモデルを比較した．表 1 から，転移学習なしモデルと転移学習ありモデルの平均 Dice 係数は 80.5%と84.5%であった．転移学習を行うことにより，胃以外の領域において大幅の精度向上が見られ
図 1 学習の流れ．FCN の構造は従来手法[2]と同一た．特に，胆嚢領域において，16.4%の精度向上である．

が見られる．転移学習は，thick-slice CT 像からの臓器領域抽出において有用である と考えら

まず，従来手法と同様に Thin-slice CT 像で学れる．しかし，抽出結果では誤検出が増加した

習して得られたモデルを学習済みモデル 1 とすため，胃の抽出精度が 10%ほど減少した．これる．そして，学習済みモデル 1 と thick-slice CTに関しては，さらなる実験を踏まえた検討が必像を用いて同一の FCN 構造に基づいて転移学要となる．

習を行い，学習済みモデル 2 を得る．テストデ5．まとめータを用いて，学習済みモデル 2 において臓器

本稿では，腹部 thick-slice CT 像から多臓器領領域を推定する．

域を自動抽出する手法を提案した．thin-slice CT

3．実験と結果

像での学習済みのモデルを thick-slice CT 像に実験では，門脈相の造影腹部 thick-slice CT 像

用いて転移学習し，thick-slice CT 像のみで学習415 症例を使用した．評価のため，全症例をラした結果と比較した．実験の結果，転移学習にンダムに学習データ 380 症例とテストデータ 35

より，平均の抽出精度が 4%向上したことを確症例に分割した．抽出対象の 7 つの臓器（動脈，認した．

門脈，肝臓，脾臓，胃，胆嚢，膵臓）および背今後の課題としては，学習データ数が転移学

景の 8 クラスの正解領域を作成した．本研究で習で臓器抽出を行う際に与える影響や非造影使用する thick-slice CT 像は，従来の thin-slice

thick-slice CT 像における多臓器領域の自動抽出

CT 像から線形補間を使用し，体軸方向の解像の検討などが考えられる．さらに，学習で用い度を 5mm に変換することで作られた．FCN のる FCN 構造を改良することで，より高精度の臓入力画像と出力画像のサイズは 64×64×32 ボ

器抽出を目標とする．

511

謝辞

表 1 従来手法と提案手法の抽出結果の Dice 係

日頃から熱心に御討論頂く森研究室の諸氏に数．各臓器においての最大値を太字にて示感謝する．本研究の一部は，AMED 臨床研究等

す．

ICT 基 盤 構 築 ・ 人 工 知 能 実 装 研 究 事 業
19lk1010036h0001，堀科学芸術振興財団，文部Dice

転移学習なし転移学習あり科学省 ・ JSPS 科 研費 26108006，17H00867，

動脈

81.3%

84.6%

17K20099 ならびに日本学術振興会二国間交流

門脈

78.0%

82.8%

肝臓

92.2%

96.6%

脾臓

87.6%

92.5%

胃

91.2%

80.9%

Long J,Shelhamer E, Darrell T:Fully

胆嚢

57.4%

73.8%

convolutional

膵臓

75.7%

80.4%

平均

80.5%

84.5%

事業によった．
利益相反の有無
なし．
文
［1］

献
networks

forsemantic

segmentation. Proceedings of the IEEE
Conference

on Computer

Vision and

Pattern Recognition: 3431–3440, 2015
［2］

Shen C, Roth H, Oda H, et al.: Evaluationof 3D fully convolutional networks for
multi-class organ segmentation in contrastenhanced CT. International Journal ofComputer Assisted Radiology and Surgery
2018 vol.13, Issue 1 Supplement: 21-22,
2018

［3］

Özgün Ç, Abdulkadir A, Lienkamp S, et al.:
3D U-Net: Learning Dense Volumetric
Segmentation from Sparse Annotation.
MICCAI 2016 Part II: 424–432, 2016.

(a) 転移学習なし(b) 転移学習あり

図 2 それぞれの手法による抽出結果の 3D レンダ
リング．

512

Study on Multi-class Organ Segmentationfrom Abdomen Thick-slice CT Volumes using Transfer Learning
Chen SHEN*1, Holger R. ROTH*1, Yuichiro HAYASHI*1, Masahiro ODA*1,
Hirohisa ODA*1, Kazunari MISAWA*2, Kensaku MORI*1,3,4*1 Graduate School of Informatics, Nagoya University*2 Aichi Cancer Center Hospital*3 Information Technology Center, Nagoya University*4 Research Center for Medical Bigdata, National Institute of Informatics

In this paper, we study on the influence of transfer learning in automated multi-class organ segmentation using abdominal
thick-slice CT volumes. Automated organ segmentation plays a critical role in medical image processing. Despite thickslice CT volumes with the thickness of 5 mm are used widely in clinical field, many researches have been done using
thin-slice CT volumes with the thickness of 0.5 mm recently. Therefore, organ segmentation method for thick-slice CT
volume is also necessary. However, direct application of 3D FCN trained by the thin-slice CT volume to thick-slice CT
volume cause sever deteriorate in segmentation accuracy. Because the reconstruction pitch of the body axis is different.
In this work, we apply transfer learning to a model which is trained using thin-slice CT volumes to improve thesegmentation accuracy on abdominal multi-class organ segmentation in thick-slice CT volumes. In our experiment, thesegmentation accuracy of thick-slice CT was improved 4% by when we used the transfer learning method.

Key words: Multi-class organ segmentation, Deep learning, Transfer learning, Thick-slice CT volumes513

OP4-16

歯科的個人識別のための Relation Networks for Object
Detection を用いた歯科用 Cone-beam CT における歯牙の検出
沓名

将太*1

村松 千左子*2 林

達郎*3

西山

航*4 有地 淑子*5

原 武史*2

勝又明敏*4

周 向栄*2有地 榮一郎*5 藤田 広志*2

要旨
地震や津波などの大災害時には，多数の身元不明の遺体が生じる．その身元確認のために歯科情報が用いられることがあり，歯科的個人識別と呼ぶ．歯科的個人識別にはデンタルチャートという用紙に遺体の口腔内の所見を記録する必要があるが，一般の歯科医師も記録に協力する際，遺体を対象とした記録の経験に乏しいことから記録ミスや精神的負担が危惧される．そのため X 線写真から自動的にデンタルチャートの作成に必要な情報を取得する手法の開発が望まれている．本研究では，歯科用 Cone-beam CT を対象とし，情報の取得の前段階として画像上の歯牙領域を検出する．検出ネットワークとしてオブジェクト同士の関係性を学習できるとされる Relation Networks for Object Detection を使用する．提案手法を 10 症例 20 上下顎に適用したところ，平均検出率は 97.6%，誤検出数は 0.8(個/顎)であった．検出に成功した歯牙に関して，歯種の分類成功率は 95.5%であり，良好な結果が得られた．
キーワード：歯科 CT 画像，深層学習，歯科的個人識別1．はじめにあり，これを歯科的個人識別と呼ぶ．歯科情

地震や津波などの大災害時において遺体の報は指掌紋や DNA 型の情報に比べ，生前試料

身元確認作業に歯科情報が用いられることがの入手が容易であるという点や，遺体の損傷に強い点で優位性があり，東日本大震災でも高い有効性を示した．

――――――――――――――――――

歯科的個人識別には口腔内の所見を記録す*1 岐阜大学大学院自然科学技術研究科
知能理工学専攻知能情報学領域る必要があり，災害時には一般の歯科医師も〔〒501-1194 岐阜県岐阜市柳戸 1－1〕

その記録を行う．しかし，一般の歯科医師は

e-mail: kutsuna@fjt.info.gifu-u.ac.jp

遺体を対象とした記録の経験に乏しく，精神*2 岐阜大学工学部電気電子情報工学科

的負担が危惧されている[1]．また，所見デー

情報コース

タの照合に際しシステマティックな生前デー*3 メディア株式会社

タの記録も必要となる．そのため，生前及び*4 朝日大学歯学部口腔病態医療学講座

死後に撮影された歯科用 X 線写真から自動的

歯科放射線学分野に口腔内の所見を取得する方法の開発が望ま*5 愛知学院大学歯学部歯科放射線学講

れている．

座

514

従来研究[2]において，深層学習用いて歯種

2.3

検出結果の統合の分類を行っており，高い精度が得られた．

同一症例の複数スライスで同位置に Box が検本研究では，従来研究が歯牙の検出と分類を 2

出されていれば，その Box は歯牙を正確に検出ステップで行うのに対し，Relation Networks

している可能性が高い．そこで，検出結果の統for Object Detection［3］を用い 1 ステップで歯合を行う．各スライスにおける検出 Box 同士の科用 Cone-beam CT(図 1)上の歯牙の検出方法を

一致率が 0.7 以上の Box 群を同一の歯牙を検出

提案し，その精度を評価した．

しているとみなす．Box 群の座標の平均値を最
終的な Box 座標の値とする．この時，同一の歯牙を検出しているとされる Box 群のうち群内のBox 数が 3 以下の群は偽陽性と判断する．
3．結果
テスト症例には 10 症例を用いた．1 症例あたり 40 枚前後のスライス画像における検出結果
を上下顎それぞれで統合し，20 の画像に対して検出精度を評価した．平均検出率は 97.6%，誤検出数は 0.8(個/枚)であった．検出に成功した歯牙に関して，歯種の分類成功率は 95.5%であり，良好な結果が得られた．
結果例を図 2 に示す．図 2 は成功例であるが，失敗例の典型として，誤分類となった歯牙から

図 1 歯科用 Cone-beam CT

順に隣り合う歯牙が誤分類となるケースがみられ，物体間の関連を学習した弊害であると考

2．方法
2.1

えられる．

試料画像

検出ネットワークへの 入力画像は 体軸断面のスライス画像をリサイズしたものを 使用する．検出対象となる歯牙は中切歯～第 3 大臼歯の 8 種類となっている．
2.2

深層学習による歯牙の検出

本研究では検出ネットワークとして Relation
Networks for Object Detection を利用する．このネットワークは物体間の関連性を学習できるよう構築されており，歯牙の並びや位置関係が歯種の分類において 重要な要素となることか
ら本研究に有効であると考えられる．
Relation Networks for Object Detection では物
体候補領域を Region Proposal Network［4］から得た後に，relation module という新たに提案さ

図 2 結果画像例

れた関連性を学習する構造を利用し物体の分

図中の 1～7 は中切歯～第 2 大臼歯に対応類と Box 回帰を行う．

515

文

4．まとめ
本研究では，物体間の関連を学習するネット［1］

献

鈴木敏彦：歯科情報に基づく大規模災

ワークを用いた歯牙の検出手法を提案した．9

害時の個人識別．日補綴会誌 7: 129-134，

割を超える精度を示し，本研究における提案手

2015

法は歯科的個人識別 のシステム化に貢献でき［2］

る可能性を示唆した．

Miki Y, Muramatsu C, Hayashi T, et al.:Classification of teeth in cone-beam CT
using deep convolutional neural network.
Computers in Biology and Medicine 80: 24-

謝辞29, 2017

本研究を行うにあたり，有益なご助言を頂い［3］

Han H, Jiayuan G, Zheng Z, Jifeng D, et al.:

た原・周研究室の皆様，朝日大学，愛知学院大

Relation Networks for Object Detection.

学の皆様，メディア株式会社の皆様に感謝の意

The IEEE Conference on Computer Visionを表します．本研究の一部は，科学研究費新学

and Pattern Recognition (CVPR), 2018, pp.

術領域研究(課題番号 26108005)及び文部科学省

3588-3597

科学研究費補助金(基盤 C 19K10347)によって行［4］

われました．

Shaoqing R, Kaiming H, Ross G, at el.:Faster R-CNN: Towards real-time object
detection with region proposal networks.

利益相反の有無

NIPS, 2015

なし

516

Tooth detection for dental identification withRelation Networks for Object Detection on dental Cone-beam CT
Shota KUTSUNA*1, Chisako MURAMATSU*2, Tatsuro HAYASHI*3, Xiangrong ZHOU*2, Wataru NISHIYAMA*3,
Yoshiko ARIJI*5, Takeshi HARA*2, Akitoshi KATSUMATA*4, Eichiro ARIJI*5, Hiroshi FUJITA*2*1 Graduate School of Natural Science and Technology, Gifu University*2 Department of Electrical, Electronic and Computer Engineering, Information Course, Gifu University*3 Media Co., Ltd*4 Department of Oral Radiology, Asahi University School of Dentistry*5 Department of Oral and Maxillofacial Radiology, Aichi-Gakuin University School of Dentistry

A large number of unidentified corpses are found in a disaster such as earthquakes and tsunami. Dental information issometimes used for identification of corpses and is called dental identification. There are risks of mental burden andmistakes due to inexperience when general dentists cooperate in recording dental chart which is a record of oral
findings. Therefore, development of a method that automatically acquires information necessary for filing dental chartsfrom dental radiographs is expected. In this study, we aim to detect teeth on dental cone-beam CT as a preliminary stepof acquiring information using the Relation Networks for Object Detection, which takes into account the order of thedentition. The proposed method was applied to 10 test cases with upper and lower jaws. The average detection rate
was 97.6% with 0.8 false positives per jaw. For those correctly detected teeth, the classification accuracy of tooth types
was 95.5%. The result indicates the potential usefulness of the proposed method.

Key words: Dental CT, Deep learning, Dental identification

517

OP4-17時間‐周波数解析と CNN を用いた
呼吸音の自動分類
南弘毅*1 陸 慧敏*1

金 亨燮*1平野

靖*2 間普 真吾*2

木戸

尚治*3

要旨
呼吸器疾患の診断方法としては，聴診器を用いた呼吸音の聴診が長年用いられてきた．これは簡便で安全な診断方法である一方，聴診音の診断には定量的な評価基準がないため，医師の診断支援を行うシステムの開発が必要である．そこで本論文では，畳み込みニューラルネットワーク（CNN：Convolutional Neural
Network）を用いた呼吸音の自動分類手法の提案を行う．主な手法の流れとしては，呼吸音データに対して短時間フーリエ変換と連続ウェーブレット変換を適用し，スペクトログラム画像およびスカログラム画像を生成する．その後，生成した画像を用いて CNN による正常呼吸音，連続性ラ音，断続性ラ音の識別を行う．提案手法を呼吸音データ 22 症例に適用した結果，分類性能としてAccuracy = 79.44[%]，AUC = 0.942を得た．
キーワード：呼吸音，コンピュータ支援診断，短時間フーリエ変換，連続ウェーブレット変換，深層学習

1．序論

位のうち 4 つを呼吸器疾患が占めており（3 位：

呼吸器疾患とは，呼吸器に起こる疾患の総称

慢 性 閉 塞 性 肺 疾 患 (COPD:Chronic Obstructiveである．世界中で何億人もの人々が呼吸器疾患

Pulmonary Disease)， 4 位：下気道感染症， 6 位：

で苦しんでおり，毎年 400 万人以上の人々が死

気管，気管支，肺腫瘍，10 位：結核），重大な疾[1]患であると考えられる [2]．

亡しているといわれている ．また，世界保健機関(WHO:World Health Organization) の調 査に呼吸器疾患の診断方法として，聴診器を用いよると，2016 年における全世界での死因上位 10

た呼吸音の聴診がある．聴診は簡便で安全な診断手法として広く用いられてきた．一方，聴診――――――――――――――――――

音の診断には定量的な評価基準がなく，医師の*1 九州工業大学

主観的判断によって診断が下される．そのため，〔〒804-8550 福岡県北九州市戸畑区仙経験を十分に積んだ医師でなければ異常音を

水町 1-1〕

聞き分けることが難しく，医師の技量によってe-mail: Minami.koki689@mail.kyutech.jp

診断結果が左右されるといった問題がある [3]．

*2 山口大学

そこで，医療データをディジタル化し，コンピ〔〒755-8611 山口県宇部市常盤台 2-16-

ュータによる定量化および解析を行い，出力結

1〕

果を「第二の意見」として提示するコンピュー*3 大阪大学

タ支援診断(CAD:Computer Aided Diagnosis)シス〔〒565-0871 大阪府吹田市山田丘 2-2〕

テムのような，定量的かつ信頼性の高いシステムが必要であると考えられる [4]．

518

ところで近年，人工知能の分野において深層呼ばれる信号を用意する．窓関数を式(1)に示す．

学習が注目を集めている．その中でも畳み込み
Neural Network)が画像認識分野において最重要

1, (− ≤ 𝑡 ≤ )22
𝜔(𝑡) = {(1)0, (𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒)
窓関数は，解析対象の信号を切り出す役目をも技術として位置づけられるようになった．医用っている．本論文で用いる窓関数はハミング窓

画像処理分野においてもその重要性は増す一（Hamming Window）である．ハミング窓を式(2)方である．呼吸音分類に関連した研究例として

に示す．

𝐿

ニ ュ ー ラ ル ネ ッ ト ワ ー ク (CNN:Convolutional

は，記録された心音データの正常・異常の分類

𝐿𝜔(𝑡) = 0.54 − 0.46 cos (を CNN によって行う手法が提案されているが改善すべき課題も多く残されている [5]．

2𝜋𝑡
𝐿

(2)

)

窓関数を時間軸上移動させながら信号𝑓(𝑡)とそこで本論文では，呼吸音データの一次元信の積をとり，切り出した有限長信号を式(3)に示号から二次元画像への変換を行い，呼吸音の特す．

徴を示す画像を CNN に入力することにより，

𝜔(𝑡 − 𝜏)𝑓(𝑡)(3)

呼吸音の分類を行うための CAD システムの開ここで𝜏は時間位置（窓関数の位置）である．こ発を試みる．

うして窓関数で切り出された有限長信号に対してフーリエ変換を適用することにより，短時

2．手法

間フーリエ変換が定義される．短時間フーリエ

入力した呼吸音データを二次元画像に変換

変換を式(4)に示す．

し，CNN の学習および識別に変換した画像を用+∞𝐹𝜔 (𝜔, 𝜏) = ∫−∞ 𝜔(𝑡 − 𝜏)𝑓(𝑡)𝑒 −𝑗𝜔𝑡 𝑑𝑡

いることにより，呼吸音の分類を行う．以下に詳細を示す．

(4)

また，短時間フーリエ変換によるパワースペ
クトルを式(5)に表す．

（1）音声信号の前処理

2+∞

入力した呼吸音データはデ ータごとに音量|𝐹𝜔 (𝜔, 𝜏)|2 = |∫−∞ 𝜔(𝑡 − 𝜏)𝑓(𝑡)𝑒 −𝑗𝜔𝑡 𝑑𝑡| (5)の大きさが異なるため，音量の違いによる影響

パワースペクトルを 2 次元平面（𝜏 − 𝜔平面：時を低減するために音量の正規化を行う．また，間－周波数平面）上に 3 次元的に表現すると，100~2000[Hz]の帯域通過フィルタを原呼吸音デ

時間に応じてパワースペクトルがどのようにータに適用し，聴診に重要な周波数帯域以外の変化するかを視覚的にとらえることができる．

[6]

信号の除去を行う ．

このような図をスペクトログラムと呼ぶ．
本論文では，時間長𝐿を 40[ms]，時間位置𝜏を（2）信号変換20[ms]ずつずらしながら短時間フーリエ変換を

前処理を行った呼吸音データに対し，信号変行い，スペクトログラムの生成を行った．生成
した画像の例を図 1 に示す．

換を行う．本論文では短時間フーリエ変換を用
い，スペクトログラムと呼ばれる画像に変換する方法および連続ウェーブレット変換を用い（B）連続ウェーブレット変換 [7, 10, 11]

たスカログラムと呼ばれる画像に変換する 方

連続ウェーブレット変換は，ウェーブレット法を使用する．各手法について以下に詳細を示

関数𝜓(𝑡)から生成される信号と，対象とする信す．

号𝑓(𝑡)との内積で定義されている．連続ウェー
ブレット変換を式(6)に示す．

（A）短時間フーリエ変換[7-9]𝑊𝜓 (𝑎, 𝑏) =短時間フーリエ変換の定義について説明していく．まず，有限な時間長𝐿を有する窓関数と

1√|𝑎|̅̅̅̅̅̅̅
+∞𝑡−𝑏∫−∞ 𝑓(𝑡)𝜓 ( 𝑎 ) 𝑑𝑡

(6)

ここで𝑎は時間軸のスケール比率，𝑏は時間軸状

519

の推移（移動）を表している．また，本論文ではウェーブレット関数𝜓(𝑡)にガボール（モルレー）ウェーブレットを用いる．ガボールウェー
ブレットを式(7)に示す．
1

−

𝑡2

𝑒 𝜎2 𝑒 −𝑖𝑡(7)2̅̅̅̅̅̅̅
+∞
𝑡−𝑏
𝑓(𝑡)𝜓
(
)
𝑑𝑡
|
∫
𝑎
√|𝑎| −∞(8)

𝜓(𝑡) =2√𝜋𝜎

図 1 スペクトログラムの例

式(6)の 2 乗関数
2|𝑊𝜓 (𝑎, 𝑏)| = |1

は時間－スケール平面上のある点での成分のエネルギー分布を表す．このエネルギー分布を
スカログラムと呼ぶ．生成した画像の例を図 2
図 2 スカログラムの例に示す．
（3）画像枚数の拡張（2）評価方法

作成した画像は，スペクトログラム，スカロ

本論文では 3 分割交差検証法により，各テス

グラムともにフレーム長 5[s]，フレームシフト

トデータに対する全体正解率（accuracy）[%]お

長 1[s]として画像を切り取り，CNN への入力画

よび ROC（Receiver Operating Characteristic）曲像とした．フレーム長を 5[s]に設定した理由と線に基づく AUC
（Area Under the Curve）を求め，しては，安静時の健康な成人の平均的な呼吸数

その平均を算出することにより，分類器の性能

が毎分 12～20 回であることから [12]，呼気およ

評価を行う．なお，ROC 算出時の分類結果につび吸気の特徴をとらえた画像を入力と するた

いては連続性ラ音および断続性ラ音を異常，正めである．

常呼吸音を正常として評価を行う．各データセ
ットのデータ数を表 2 に示す．

（4）CNN による分類
本論文では大規模なイメージデータセット（3）実験結果[13]

表 3 に 3 分割交差検証法による分類器の性能

ネットワーク構造をベースに転移学習を行っ

評価の結果を示す．ランダムに構成したデータ

た． 本論文で用いるネットワーク構造を表 1 に

セットに対し，平均 Accuracy：79.44，平均 AUC：示す．なお，畳み込み層 10 層までの重みを凍結

0.942 を得た．

である ImageNet を用いて学習した VGG-16

し，それ以降の層を生成した画像で再学習を行
4．考察

った．

呼吸音データセットに対し画像変換を行い，
3．実験と結果

CNN による正常・異常音の自動分類を行った結（1）呼吸音データの詳細実験に用いる症例は書籍の付録 CD

果，良好な結果を得たが，一部のデータにおい
[14]

に収録

ては正しく分類できない例もあった．
誤分類が起きた原因としては，CNN の学習段されているデータを用いた．分類は三上らが報告した呼吸音分類の原案[15]に基づいている．症

階で呼吸音の特徴を十分に捉えることができ

例数は正常呼吸音(normal)6 症例，連続性ラ音なかったためであると考えられる．同じ分類を(continuous sound)6 症例，断続性ラ音(crackle)10

示す呼吸音でも，疾患の違いや症状の進行度に症例の計 22 症例である．また音声データの長よってスペクトログラムおよびスカログラム

さは 17~47 秒である．

の示す特徴が異なるためである．本論文では学

520

表1
Layer
Input
Conv.1Conv.2Pool.1Conv.3Conv.4
Pool.2Conv.5Conv.6
Conv.7Conv.8Pool.3Conv.9Conv.10Conv.11Conv.12Pool.4Conv.13Conv.14Conv.15
Conv.16
Pool.5FC1
FC2
FC3Filter size
3×3
3×3
2×2
3×3
3×3
2×2
3×3
3×3
3×3
3×3
2×2
3×3
3×3
3×3
3×3
2×2
3×3
3×3
3×3
3×3
2×2
-

ネットワーク構造
StrideOutput size
192×192×3
1×1
192×192×64
1×1
192×192×64
2×2
96×96×64
1×1
96×96×128
1×1
96×96×128
2×2
48×48×128
1×1
48×48×256
1×1
48×48×256
1×1
48×48×256
1×1
48×48×256
2×2
24×24×256
1×1
24×24×512
1×1
24×24×512
1×1
24×24×512
1×1
24×24×512
2×2
12×12×512
1×1
12×12×512
1×1
12×12×512
1×1
12×12×512
1×1
12×12×512
2×2
6×6×512
1×1×4096
1×1×4096
1×1×3

表 2 各データセット数
Dataset1
Dataset2
90
90
172
172
72
72
334
334

Continuous
CrackleNormalTotal

表3
Dataset1
2
3
Average

CNN の精度評価
Accuracy[%]
78.14
85.03
75.15
79.44

Remarks
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU
ReLU, Dropout
ReLU, Dropout
Softmax

Dataset3
90
172
72
334

AUC
0.913
0.979
0.934
0.942

習データが少数でありかつ学習データ数が症

び CNN の構造の改良を行うことを検討したい．

例ごとに偏っていたため，データ数を増やし，最後に，本論文では書籍の付録 CD に収録さ偏りを改善することにより性能を向上させる

れている呼吸音データで実験を行った．そのたことができると考えられる．また，短時間フーめ，呼吸音データを録音条件が統一されていな

リエ変換と連続ウェーブレット変換以外の音い．本論文の有効性をより示すためには，録音

声信号から画像信号への変換手法の適用，およ条件が統一されたデータで実験を行うことが521

198-211, 2007

必要であり，これらも今後の課題である．
［5］

Rubin J, Abreu R, Ganguli A, et al.:

5．結論Classifying heart sound recordings using

本論文では，呼吸音データの一次元信号からdeep convolutional neural networks and

二次元画像への変換を行い，呼吸音の特徴を示

mel-frequency cepstral coefficients. 2016

す画像を CNN に入力することにより，呼吸音

Computing in Cardiology Conference: 813-の分類を行うための CAD システムの開発を行

816, 2016

った．提案手法を呼吸音 22 症例に適用した結

［6］

Göğüş

FZ,

KarlikB,

HarmanG:果，分類器の性能としてaccuracy = 79.44[%]，

Classification of asthmatic breath sounds

AUC = 0.942を得ることができた．

by using wavelet transforms and neural

今後は，さらなる分類精度の向上のため，デnetworks. International Journal of Signal

ータ数の増加，新たに音声信号から画像信号へ

Processing Systems 3(2): 106-111, 2015の変換手法の考案や，CNN の構造の改良と，録［7］

和田：よくわかる信号処理－フーリエ

音条件が統一された新たなデータで実験を行変換からウェーブレット変換まで．森い，本論文の有効性を示す予定である．

北出版, pp.14-84, 2009［8］

谷萩：ディジタル信号処理の理論 1 基
礎・システム・制御．コロナ社, pp73-80,

謝辞

1985

本研究を進めるにあたり，貴重なご助言を賜った東京慈恵会医科大学付属病院の橋本典生［9］

小野：短時間フーリエ変換の基礎と応
用 ． 日 本 音 響 学 会 誌 72(12): 764-769,

先生に深く感謝いたします．

2016
利益相反の有無［10］ 新井：ウェーブレット解析の基礎理論．
森北出版, pp.20-29, 2000

なし

［11］ Rioul O, Vetterli M: Wavelets and signal
文
［1］

［2］
［3］

IEEE

Signal

Processing

Magazine 8(4): 14-38, 1991

Ferkol T, Schraufnagel D: The global
burden of respiratory disease. Annuals of［12］ Barrett KE, Barman SM, Boitano S, et al.:the American Thoracic Society 11(3): 404-

Ganong’s Review of Medical Physiology,

406, 2014

Twenty-Four

https://www.who.int/en/newsroom/fact-

Education, New York, 2012, p.619

sheets/detail/the-top-10-causes-of-death［13］ Simonyan K: Very deep convolutional

Edition.

McGraw-Hill

Kandaswamy A, Kumar CS, Ramanathan

networks for large-scale image recognition.

RP, et al.: Neural classification of lungarXiv preprint arXiv:1409.1556: 2014

sounds［4］

processing.

献

using

waveletcoefficients.

［14］ 川城，阿部，菊池他：CD による聴診

Computers in Biology and Medicine 34(6):トレーニング 呼吸音編 改訂第 2 版．

523-537, 2004

南江堂, pp.25-64, 2011

Doi

K:

Computer-aided

diagnosisin［15］ Mikami R, Murao M, Cugell DW, et al.:medical imaging: Historical review, current

International Symposium on Lung Sounds.

status and future potential. Computerized

Synopsis of proceedings. Chest 92(2): 342-

Medical Imaging and Graphics 31(4, 5):345, 1987

522

Automatic Classification of Respiratory Sounds Based on TimeFrequency Analysis and Convolutional Neural Network
Koki MINAMI*1, Huimin LU*1, Hyoungseop KIM*1, Yasushi HIRANO*2, Shingo MABU*2, Shoji KIDO*3,*1 Kyushu Institute of Technology*2 Yamaguchi University*3 Osaka University

Auscultation of respiratory sounds is very important for discovery of respiratory disease. However, there is noquantitative evaluation method for the diagnosis of respiratory sounds. It is necessary to develop a system to support thediagnosis of respiratory sounds. We describe the development of an algorithm for the automatic classification of
respiratory sounds as normal, continuous sound or crackle. Our approach consists of two major components. Firstly,transformation of one-dimensional signals into two dimensional time-frequency representation images using short-time
fourier transform and continuous wavelet transform. Secondly, classification of images using convolutional neuralnetworks. In this paper, we apply our proposal method to 22 respiratory sound data, and achieved accuracy of 79.44[%]and AUC based on ROC curve of 0.942.

Key words: Respiratory Sounds Classification, Computer Aided Diagnosis, Short-Term Fourier Transform,
Continuous Wavelet Transform, Convolutional Neural Network523

OP4-18

HE 染色標本画像と診断テキストデータを併用する
免疫染色パターン推定
橋本

典明*1
中村

横田 達也*1

栄男*2

中黒 匡人*2

高野桂*2

竹内 一郎*1,3,4 本谷 秀堅*1

要旨
悪性リンパ腫は血液細胞に由来するがんで，白血球の 1 種であるリンパ球ががん化した病気である．これ
らの病気は多くのサブタイプに細分され，病理診断ではヘマトキシリン・エオジン(HE)染色標本を観察したのち複数の免疫染色標本を観察することで最終的な病名の決定が行われる．病理画像解析技術を用いた悪性リンパ腫の診断支援応用として HE 染色標本画像からのサブタイプ分類などが考えられるが，実際の診断においてもサブタイプ分類には複数の免疫染色の施行が必要であることから，HE 染色標本画像からの病名の同定は困難であることが予想される．本研究では，病理診断テキストデータが持つ免疫染色情報を解析し，HE 染色画像と組合わせることにより，各症例の HE 染色標本画像に対するサブタイプの候補群を推定し，サブタイプを一意に決定するための免疫染色の組み合わせを求める手法を提案する．
キーワード：悪性リンパ腫，病理画像，免疫組織化学染色，バーチャルスライド

1．はじめに行われることから，HE 染色画像から得られる悪性リンパ腫は血液細胞に由来するがんで，情報は症例ごとにばらつきがあり解析が困難

白血球の一種であるリンパ球ががん化した病な症例も存在することが予想される．

気である．これらの病気は多くのサブタイプに

本稿では，病理診断テキストデータが持つ免細分され，病理診断ではヘマトキシリン・エオ

疫染色情報を解析し HE 染色画像と組み合わせ

ジン(HE)染色標本を観察したのち複数の免疫ることにより，HE 染色標本画像からサブタイ

染色標本を観察することで最終的な病名の決

プを一意に決定するための免疫染色 パターン

定が行われる．病理画像解析技術を用いた悪性を予測する手法の提案を目的とし，各症例間にリンパ腫の診断支援応用として HE 染色標本画

おける免疫染色データの解析を行う．

像からのサブタイプ分類などが考えられるが，2．手法同じサブタイプに対しても異なる免疫染色が本研究で用いる悪性リンパ腫組織病理標本
は，2003-2018 年に診断コンサルテーションの――――――――――――――――――

ため名古屋大学医学部附属病院宛てに送られ*1 名古屋工業大学大学院工学研究科

たものであり，5539 症例について診断名，施行〔〒466-8555 名古屋市昭和区御器所町〕

免疫染色，部位などからなるテキスト情報が与e-mail: hashimoto.noriaki@nitech.ac.jp

えられている．診断病名から得られる総サブタ*2 名古屋大学医学部附属病院

イプは修飾語が異なるものを含め約 2700 種類，*3 理化学研究所

また使用された免疫染色は 110 種類である．図*4 物質・材料研究機構

1 に悪性リンパ腫標本画像の例を示す．

524

各症例に対するテキストデータに は施 行しされた．独立かつ密集した症例はそのサブタイ

た免疫染色の組み合わせおよびその反応が含プの特徴をよりよく表す典型的な症例である

まれており，実際には同じサブタイプの症例にことが予想され，一方で異なるサブタイプ間でおいても施行されている免疫染色の組み合わ分布が重なっている 症例においては他のサブ

せにばらつきがあることから，HE 染色標本のタイプと判断に迷うような非典型的な症例で観察で得られる情報にも違いがあることが推あることが考えられる．このような数量に対し，察される．免疫染色パターンと HE 染色標本画

第 3 数量までを使用した 3 次元空間内でカーネ像の有する特徴の関係性を示すことにより，HE

ル密度推定を適用し，各症例に対するサブタイ

染色標本画像から適切な免疫染色の組み合わ

プらしさを典型度として定量化した．

せを予測する問題などへの応用も考えられる．
本研究では数量化 III 類[1]を用いて免疫染色および症例の関係性を数量化する．数量化 III 類
は各サンプルが変数に反応した か否かといった質的データに基づき数量化を行う手法であり，ここでは各症例が免疫染色 110 種類に対して各染色を施行したか否かを二値で表したデータを用いて手法を適用する．

図 2 数量化 III 類により算出された，免疫染色の組
み合わせ間の相関に基づく症例の分布．サブタ
イプごとにまとまった分布が観察される．

(a) 混合細胞型(b) 結節硬化型

4．まとめ
悪性リンパ腫の診断テキストデータ 中の免

図 1 悪性リンパ腫の例（ホジキンリンパ腫）．

3．実験

疫染色情報を解析することで，各症例のもつサ5539 症例の免疫染色情報に対して数量化 III

ブタイプの典型度の算出を行った．撮影された類を適用した．対象の症例に関して，第 1，第 2HE 染色画像を組み合わせた解析を行うことで，数量を x 軸，y 軸としてプロットしたものを図提案した典型度の妥当性を検証していく．

2 に示す．今回対象としたサブタイプは混合細謝辞

胞型ホジキンリンパ腫(HLMC)，結節硬化型ホ

本研究は堀科学芸術振興財団の助成を受けジキンリンパ腫(HLNS)，びまん性大細胞型 B 細て行われた．

胞リンパ腫(DLBCL)，血管免疫芽球性 T 細胞リ

利益相反の有無ンパ腫(AITL)であり，DLBCL については胚中心なし

B 細胞型(GCB)と非胚中心 B 細胞型(nGCB)に細文分され，計 5 種類のサブタイプの症例を示して［1］

献Hayashi C: On the prediction of phenomena

いる．図中の各点は互いに近ければ近いほど施from qualitative data and the quantification

行された免疫染色の組み合わせが類似していof qualitative data from the mathematico-

ることを示しており，ホジキンリンパ腫，B 細statistical point of view. Annals of the

胞由来リンパ腫，T 細胞由来リンパ腫の 3 種類

Institute of Statistical mathematics, 3: 69-の疾患群のプロットが大別できる分布が確認

98, 1951

525

Prediction of Immunostaining Patterns by Combining H&E Stained
Pathological Images and Diagnostic Text Data
Noriaki HASHIMOTO*1, Tatsuya YOKOTA*1, Masato NAKAGURO*2, Kei KOHNO*2, Shigeo NAKAMURA*2,
Ichiro TAKEUCHI*1,3,4, Hidekata HONTANI*1*1 Nagoya Institute of Technology*2 Nagoya University Hospital*3 RIKEN*4 National Institute for Materials Science

Malignant lymphoma is a group of blood cancers that develop from lymphocytes, a kind of white blood cell. As these
diseases are classified into more than 70 subtypes, pathological diagnosis is performed by observing hematoxylin andeosin (H&E) stained tissues and several immunohistochemically stained tissues. For computer aided diagnosis, subtypeclassification of malignant lymphoma from digital HE stained tissue images is considered, but it is quite challenging
because of varieties of malignant lymphoma tissue specimens and difficulties of diagnosis even by expert pathologists.
In this study, by analyzing immuno staining information included in diagnostic text data and combining with H&E
stained tissue images, we develop a method to predict immuno staining patterns required to determine diseases.

Key words: Malignant lymphoma, Pathological image, Immunohistochemical staining, Whole slide image

526

OP4-19

舌の表面特徴に基づく機械学習を用いた
舌苔分布推定手法の検討
吉村裕一郎*1，太田雄大*2，Vladmir Bochko*3, Pauli Falt*4,
Markku Hauta-Kasari*3，並木隆雄*5，中口俊哉*1
要旨
近年コンピュータ支援による定量的な舌診断に関する研究が進められている．舌診は漢方の診断法の一種であり，舌の色彩，形状，湿潤，舌苔の状態等から患者の体調を診断するが，計測の難しさから舌苔を解析する研究は少ない．そこで，本研究では RGB 画像からの機械学習を用いて舌苔の推定を試みた．具体的には，舌苔に関する指標である舌苔の物理量と被覆領域を推定した．教師データとしては，先行研究で舌苔計測における有効性が示された，蛍光撮影画像を用いる．回帰型学習器を用いて蛍光量を推定し，蛍光量と物理量との関係式から物理量を推定した．また被覆領域推定においては，分類型学習器を用いて蛍光撮影画像から小領域単位で被覆有無のラベルを作成し，舌苔被覆の有無を判別した．実験では学習器として Random Forest を用いて性能を評価した．13 名の舌画像から 3231 サンプルを抽出し交差検証を行った結果，通常撮影された RGB 画像からの舌苔被覆領域推定手法の有効性が示唆された．
キーワード：舌画像解析，漢方医学，舌苔，機械学習，テクスチャ解析

1．研究目的

る定量的な舌診断に関する研究が進められて漢方医学の診断法の一つである舌診は，舌のいる[1]-[8]．一方で対象は舌本来の（舌苔が無い

色彩，形状，湿潤，舌苔の状態等の舌所見から，

舌質）領域の色彩や形状，湿潤等に着目してお患者の体調や血流の状態，病気の進行度合いをり，舌苔を計測，解析する研究は少ない．

診断する．漢方医学の分野に於いて古くから舌舌苔とは舌表面に付着している苔状の物質

診は重視されているが，その理論は医師の主観である．主として糸状乳頭に由来する剥離上皮，に深く依存しており，客観性，系統性が欠けて

食物残渣，唾液，微生物，白血球などの堆積にいる．そこで近年では，コンピュータ支援によ

よって形成されたものとされる．医師が舌苔を診る際には色や量，被覆状態，湿潤状態につい―――――――――――――――――――て観察する．過剰な舌苔は，消化器疾患や糖尿*1 千葉大学フロンティア医工学センター

病と関連付けられる[9]ことが知られており，健〔 〒 263-8522 千 葉 市 稲 毛区 弥 生 町 1-

康状態と生活習慣の悪化を，舌苔量より推測す33〕e-mail: yysmr@chiba-u.jp

ることができることから，舌診において重要な*2 千葉大学大学院融合理工学府*3ElectricalEngineeringand指標の一つとされる．

Energy

舌苔計測の先行研究として，波長 405nm にピTechnology, University of Vaasa

ークを持つ光源により舌苔中の細菌が励起し*4 University of Eastern Finlandて蛍光を発することを用いた蛍光撮影がある*4 千葉大学医学部和漢診療科[10]．舌苔の量に応じて蛍光が強くなることが投稿受付：2018 年 5 月 15 日

527

確認されており，蛍光撮影の舌苔計測における有効性が示されている．しかし，蛍光撮影は紫外光に近い光源を用いており，専用の蛍光撮影装置が必要であるため，汎用性や安全性に課題が残る．そこで本研究では，通常撮影された舌の RGB 画像から機械学習を用いて舌苔量に関連する指標である蛍光を推定することで，舌苔

顎台

カメラと光源量を推定する事を試みた．

(a) 側面

2．撮影環境1）舌撮影装置(b) 正面

図 1 積分球を用いた舌撮影装置(TIAS) [2]

本研究では舌の RGB 画像と蛍光撮影により取得される蛍光画像を使用する．各画像の撮影には，図 1 に示す積分球を使用した舌撮影装置(TIAS：Tongue Image Analyzing System，タカノ
株式会社)[2]を用いた．図１はそれぞれ TIAS の外観を示しており，図 1(b)に確認できる穴正面に顔を置き，舌画像を撮影する．TIAS では，積分球内で照明を使用することにより 内部で拡散反射が生じ，舌全体に対して光が均一に照射される．これにより，舌粘膜や唾液による光沢

図 2 TIAS 内部に設置した励起光源が発生しない画像が取得でき，外部の環境に依存しない撮影が可能となる．また被験者の顎を顎台に固定することにより，被験者が安定した姿勢で舌を出すことが可能となるよう工夫を施している．よって撮影装置に対する舌の角度と距離を一定に保った上，同一の環境での舌の撮影が可能となる．撮影には Canon 製の EOS
Kiss X7(画像サイズ：5184 画素×3456 画素，階調：RGB8 ビット)を使用した．
(a) RGB撮影

2）蛍光撮影文献 11，12 より，歯垢に含まれる口腔内細菌(b) 蛍光撮影

図 3 TIAS による撮影画像例

が 405nm の波長光に励起され，605nm の波長の光を取得する．

蛍光を発することが報告されている．また歯垢
と舌苔に含まれている細菌には関連があり，舌蛍光撮影には 405nm にピークを持つ LED 光

苔も同様に 405nm の波長光に励起され，蛍光が源(OSV5XME1C1E，OptoSupply Co.Ltd.)を TIAS

発生することが，舌苔の採取前後の蛍光画像と内部に 12 個設置した．設置した光源を図 2 に舌苔の乾燥質量を使用した実験によって 確認示す．光源により舌苔が励起され発生した蛍光されている[10]．本研究における蛍光撮影は，こを取得することで蛍光画像を撮影する．蛍光撮

れらの先行研究において開発された撮影方法

影装置で使用する励起光源は近紫外領域に近を TIAS に導入したものであり，紫外域に近い

く，撮影対象も粘膜組織である舌であるため安波長光を撮影対象に照射し，対象物が発した蛍

全性に配慮が必要である．提案システムでは，

528

ACGIH(American Conference of Governmental
Industrial Hygienists)の指針である，波長 380nmの場合，最大 47J/𝑐𝑚2 という指標に対して，
245 μW/𝑐𝑚2 であり，およそ 53 時間連続照射しない限り基準値を超えない事を確認した．更に
安全性をより高めるために 励起光源の照射時(a) RGB撮影

間を最小にすることを試みた．励起光源と撮影装置をストロボで同期させ，撮影する瞬間のみ(b) 蛍光撮影

図 4 舌輪郭の位置合わせと小領域分割

励起光源を照射した．
舌撮影装置による同被験者の RGB 撮影画像

表 1 学習に使用した特徴量と蛍光撮影画像例を図 3 に示す．図 3(a)において，舌苔が被覆している部位は白みが強く示されており，舌苔量が増すほど図 3(b)において，蛍光が強くなっていることが確認できる．
3．提案手法初めに TIAS により舌の RGB 画像と蛍光撮
影された蛍光画像を取得する．RGB 画像から算出された複数の画像特徴量を入力とし，蛍光画
像を教師データとした学習器により，舌の蛍光強度を推定する．また同様に蛍光画像を教師データとした学習器により，舌苔被覆領域の推定も行った．舌の RGB 画像と蛍光画像の画像サ
イズは共に 5184 画素×3456 画素である．

に分割する．小領域ごとに，RGB 画像からはテ

1）舌輪郭の位置合わせ

クスチャや色彩に関する計 37 種類の特徴量を

TIAS を用いた実験では，RGB 画像と蛍光画算出して学習器に入力した．蛍光画像からは小像を取得する際，異なった光の照射を行ってい領域内の平均輝度値を蛍光強度として算出し，るため，同時に撮像する事は出来ない．従って

学習器出力の教師データとして使用した．算出

舌領域において同一箇所の特徴量と教師デー

した特徴量を表 1 に示す．色彩に関する特徴量タを生成するために RGB 画像と蛍光画像におとして RGB 値や L*a*b*値等をはじめとした基

ける舌輪郭の位置合わせを行う必要がある．

本的な色成分とそれらの比を用いた値 を使用

舌輪郭の位置合わせ手法は村井らの手法[5]した．またテクスチャ特徴量としてフラクタルを用いた．まず図 4 中の白線のようにそれぞれ次元やガボールフィルタを算出し，舌表面の凹の舌画像において舌輪郭を手動で指定する．そ

凸等の部分的変化を定量化した．

して，黄色に示す重心を通る水平な線を基準に機械学習手法としては Random Forest 法[14]15°ごと引いた直線と，緑点で示した輪郭線とを使用し，ハイパーパラメータは Grid Search にの 24 の交点と重心点を対応点として Thin Plate

より最適化した．提案手法により学習された学Spline method[13]により変形を行った．

習器を用いて舌の RGB 画像から舌表面の小領

2）蛍光強度の推定

域ごとの蛍光強度を推定した．

舌輪郭の位置合わせを行った舌画像 を使用

3）舌苔被覆領域の推定

し，図 4 中の青いグリッド線に示すように，そ

蛍光強度の推定が可能となったことにより，の領域内を 100 画素×100 画素の矩形の小領域

矩形の小領域毎の蛍光量から，機械学習を用い529

表 2 被験者の諸元

図 6 推定結果例
舌苔被覆の有無を推定した．
画素数の割合4．実験
1）蛍光強度の推定実験方法
蛍光強度推定における提案手法の有効性を評価するために 13 名の被験者に対して実験を行った．それぞれの被験者の諸元を表 2 に示す．
尚，後述する実験結果などにおける被験者番号

蛍光量は，全て表 2 の被験者と対応している．実験で
図 5 舌苔被覆領域の蛍光量分布は TIAS を用いて舌の RGB 画像と蛍光画像を連続して撮影し，上記の手法を用いて画像を矩て舌苔領域の推定を行うことを検討した．

形の小領域に分割する．全被験者の小領域の合蛍光量を基に舌苔の被覆領域を決定するた計は 3231 サンプルとなった．

めには，蛍光量のしきい値を設定する必要がある．そこで比較的被覆領域が明瞭な 3 名の被験Leave One Subject Out (LOSO)の交差検証を者の舌画像から，舌苔が被覆している領域と被行い，全ての被験者の舌画像で評価を行った．

覆していない領域のマーキングデータを作製

LOSO 交差検証とは，一人の被験者から得られした．図 5 に抽出した領域における，蛍光量のるデータセットを評価用セット，残り被験者の確率密度分布を示す．図 5 中の緑線は舌苔が被

全データセットを学習用セットとし，N 人の被覆している領域の蛍光量を表し，青線は舌苔が験者に対して評価者を切り替えて N 回の評価被覆していない領域の蛍光量を表す．本研究にを実施する交差検証法である．今回の評価では

おいては，確率密度分布の交点である蛍光量 68

13 名の被験者で LOSO 交差検証を実施した．
有効性を評価するために，提案手法により推を舌苔被覆領域のしきい値として設定した．
この基準を基に，全ての蛍光画像から舌苔領定される蛍光強度と撮影された蛍光画像から域のマーキングデータを作製する．本データは取得される蛍光強度の差を平均平方二乗誤差

RGB 画像と共に舌苔領域推定のための，機械学により評価した．また，より視覚的に評価する

習における教師データとして使用する．機械学

ために縦軸を提案手法により推定される蛍光習手法には，同様に Random Forest 法を使用し，強度，横軸を蛍光画像から取得される蛍光強度

ハイパーパラメータは Grid Search により最適として交差検証ごとに誤差図を作成した．推定化した．提案手法により学習された学習器を用

結果の出力例を図 6 に示す．誤差図内の青い点

いて舌の RGB 画像から舌表面の小領域ごとのは矩形領域ごとの結果を示しており，正確な推530

表 3 特徴量の重要度(1%以上)

許容誤差

蛍光量

低

医師による
舌苔量評価

少

中

医師の診断幅

表 4 平均平方二乗誤差による評価

高多

図 7 許容誤差決定における医師の基準(a) 被験者 5 の結果(許容誤差範囲内)定である程，対角を結ぶ赤で示した理想直線の近くに位置する．
また特徴量の重要度を算出することで，各特徴量が推定精度にどの程度寄与しているかについて検証を行った．重要度が 1%以上である
上位 17 種類の特徴量とその重要度を表 3 に示(b) 被験者 9 の結果(許容誤差範囲外)

す．全 37 種類の特徴量を学習器に入力した場

図 8 蛍光量推定の評価結果

合と，前述の基準で選択した 17 種類の特徴量のみを学習器に入力した場合で精度評価を行医師の診断幅 =蛍光量 𝒎𝒂𝒙 − 蛍光量 𝒎𝒊𝒏
𝟑段階

い，特徴量選択の有効性を評価した．
更に蛍光量推定の精度評価における許容誤(1)で示され許容誤差は差を設定した．許容誤差決定の概要図を図 7 に許容誤差 =示す．漢方医学における従来の舌苔評価は，医師の目視による経験的評価がなされており，舌医師の診断幅𝟐(2)として設定する．

苔の厚さは 3 段階で評価される．この時実際に

2）蛍光強度の推定実験

医師が見分けている診断幅は赤矢印で示した

被験者 13 名を交差検証し，平均平方二乗誤範囲で存在することから，今回は医師が見分け差により評価をした．全 37 種類の特徴量を入ている診断幅の半分の値を許 容誤差として設力した場合と 17 特徴量のみを学習器に入力し定した．よって本研究における医師の診断幅はた場合の交差検証における推定誤差を表 4 に示

531

す．平均推定誤差，最大推定誤差及び 13 名中

表 5 混同行列と識別率

10 名の被験者における推定誤差で 17 特徴量のみを使用した場合の精度が，上回ったことを確認した．従って特徴量選択の有効性が示唆されたことから，後述する実験においては 17 特徴
量のみを使用した結果を示す．
交 差 検 証 の 平 均 誤 差 は 21.35， 最 大 誤 差 は

正答率 74.2%

33.87 となった．また本実験における許容誤差
は式(1)，(2)と表 4(b)より 27.29 である．交差検

被験者 5

証の推定結果において，許容誤差範囲内にある

正答率：81.0％

被験者例を図 8(a)に，範囲外の被験者例を図8(b)にそれぞれ示す．
評価結果より，13 名中 10 名の被験者は許容誤差範囲内となった．図 8(a)に示すように，誤差が少ない被験者の場合，蛍光画像から取得さ推定領域

れた蛍光量が上昇するにつれて，提案手法により推定した蛍光量が上昇していることが確認

正解領域(a) 被験者 5 の推定結果できる．つまり舌苔の被覆度合いに応じた，正

被験者 9

確な推定がなされていることが確認できる．一

正答率：72.1％

方で，図 8(b)に示す被験者においては，推定誤差が大きく，許容誤差が達成できていない．また推定結果より，舌苔の被覆が少ない領域においては推定精度が高いが，舌苔が多く被覆している領域においては，推定精度が低いことが確推定領域認された．これらの誤差が大きい被験者は，舌正解領域

苔が比較的多量に被覆している傾向が確認で(b) 被験者 9 の推定結果

きることから，学習データの多様性が十分では

図 9 舌苔被覆領域の推定結果無いことが考えられる．本実験で用いたデータ
セットにおいて，舌苔が多量に被覆しており，の蛍光画像から，3.3 節にて設定したしきい値

蛍光量が非常に大きいサンプルや，舌苔の色調を用いて舌苔の被覆の有無を判定する．舌苔被が異なるサンプルが被験者毎にのみ存在する

覆領域の推定精度は推定結果と正解ラベルを場合がある．この誤差は多様な舌苔サンプル画

比較し，混同行列と識別正答率によって評価す

像を取得する事で改善が可能であるため，新たる．被験者数及び小領域数は前述の実験と同一な画像の収集を試みることを検討する．

の条件である．
混同行列を表 5 に示す．識別正答率は 74.2%

3）舌苔分布の推定実験方法
提案手法により RGB 画像より，舌苔量の推であり，感度は 78.9%，特異度は 69.0%となっ定が可能となったことから，次に舌苔分布の推た．被験者ごとの舌苔被覆領域推定結果例を図定を行う．教師データとしては，引き続き舌輪9 に示す．図 9(a)は比較的高精度で舌苔被覆領

郭の位置合わせ済みの，RGB 画像と蛍光画像を域が推定された例であり，図 9(b)は一部の舌苔用いる．学習及び識別時には，前述の実験と同被覆領域が推定できていない例である．これは様に，100 画素×100 画素の矩形の小領域ごと

3.3 節にて設定した，しきい値や小領域中に舌に有無を判別する．正解ラベルは，被験者ごと苔が占める割合が少ないような，境界付近の蛍532

光量推定精度が起因していると考えられる．従record the gloss components of the tongue,って今後，医師などの専門家が領域を指定した

BioMed Research International, vol. 2015,

マーキングデータを作製し，実験を行うことに

ID 249609, 10, 2015より，精度が向上する事が期待できる．

［3］

Fumina Kobayashi, Akira Morita, Takeshi
Oji,

et.al.:

BreadthMeasurement

of

5．結論

Sublingual

Vein

using

Near-Infrared

本研究において，通常撮影された RGB 画像

Photography,Proc.

1stInternationalのみを用いて，舌苔の蛍光強度と舌苔分布を推

Conference定する手法を提案した．積分球を用いた舌撮影(ICAI2015), 269-271 (PB1-07), 2015

装置(TIAS)により取得される舌の RGB 画像か

［4］

on

Advanced

Imaging

Yudai Ota, Toshiya Nakaguchi, Masami

ら特徴量を算出する．また舌の蛍光画像から教Shishikura, et.al.: Evaluation of Color

師データとして蛍光強度を算出し，同一領域かConversion Accuracy using Tongue Colorら特徴と蛍光強度を算出するために，RGB 画像

Chart, Proc. of 13th AIC Congress 2017,と蛍光画像の舌輪郭の位置合わせを行った．

OS24-04, 2017

Random Forest 法により蛍光強度と舌苔被覆領［5］

Kazunari Murai, Toshiya Nakaguchi, Akira
Morita, et.al.: Association Analysis of

域を推定し，実験により有効性を評価した．
今後の課題として，現在 20 から 24 歳の被験

Tongue Color Spatial Distribution and者 13 名からなるデータセットにより評価を行

Physiological Index based on Tongue Shapeっており，データセット中の舌苔の多様性が不Normalization, Proc. of 13th AIC Congress

足していることが挙げられる．様々な年齢層，2017, OS24-03, 2017

健康状態の被験者の舌画像を取得し，学習デー［6］

Kazunari

Murai,

ToshiyaNakaguchi,

タセットにおける舌苔の多様性を向上させる

Yuichiro Yoshimura, et.al.: Optimization

ことが，今後の課題である．また舌苔の被覆領

for Thin Plate Spline Registration of

域を推定できたことにより，専門医が舌苔量をTongue基準として診断を行う所見に対して，舌診断支NOLTA2018, 5183, 196-199, 2018

援システムを開発し診断の提示方法について［7］

SpectralImages,Proc.

ofTingxiao Yang, Yuichiro Yoshimura, Akira

検討を行う．

Morita,et.al.:

Fully

Automatic

利益相反の有無

Segmentation of Sublingual Veins from
Retrained U-net Model for Few Nearなし

Infrared Images, The Ninth International
文［1］Workshop on Image Media Quality and its

献Applications (IMQA2018), 46-52, 2018

S. Yamamoto, Y. Ishikawa, T. Nakaguchi,
et.al.: Temporal Changes in Tongue Color

［2］

［8］

Qichao Tang, Tingxiao Yang, Yuichiro

as Criterion for Tongue Diagnosis in

Yoshimura, et.al.: Full Automation of The

Kampo Medicine, Forsch Komplementmed

Tongue Image Analyzing System, The

2012, 80-85, 2012

Ninth International Workshop on Image

Toshiya Nakaguchi, Kanako Takeda, Yuya

Media

Ishikawa, et.al.: Proposal for a new non-

(IMQA2018), 53-56, 2018

contact method for measuring tongue［9］moisture to assist in tongue diagnosis, anddevelopment

of

the

TongueQualityanditsApplications

小島 健, “舌苔の臨床的研究”, 日本口腔外科学会, 31(7), 1659-1678 (1985)

Image［10］ Yudai Ota, Shuhei Iino, Toshiki Ichinose,

Analyzing System, which can separatelyet.al.:

533

Proposaland

EvaluationofFluorescence Imaging System for Non-

primary and secondary caries next toContact Tongue Coating Measurement andcomposite : an in situ study, Oral Microbiol

Tongue Protrusion Guide, 第 35 回日本医Immunol, 23(1), 7-13 ,2008

用 画 像 工 学 会 大 会 (JAMIT2016), 48,［13］ Bookstein, F. L.: Principal Warps: Thin-

2016

Plate Splines and the Decomposition ofDeformations,［11］ Coulthwaite L, Pretty IA, Smith PW, et.al.:IEEE

Analysis

Transactions
andon

The microbiological origin of fluorescence

Patternobserved in plaque on dentures during QLFIntelligence.11(6): 567–585, 1989

analysis, Caries Res, 40(2), 112-116, 2006［14］ Breiman, L.: Random Forests, Machine
Learning, Vol.45, 5-32, 2001［12］ Thomas RZ, Van der Mei HC, Van der Veen
MH, et.al.: Bacterial composition and red
fluorescence of plaque in relation to534

MachineA Study for Tongue Coating Estimation
via Machine Learning using Tongue Surface Features
Yuichiro YOSHIMURA*1, Yudai OTA*2, Vladmir Bochko*3, Pauli Falt*4, Markku Hauta-Kasari*3,
Takao NAMIKI*5, Toshiya NAKAGUCHI*1*1 Center for Frontier Medical Engineering, Chiba University*2 Graduate School of Science and Engineering, Chiba University*3 Electrical Engineering and Energy Technology, University of Vaasa*4 University of Eastern Finland*5 Dept. of Japanese-Oriental(Kampo) Medicine, Chiba University

Tongue diagnosis, which is one of the diagnostic methods of Kampo medicine, diagnoses the physicalcondition of patients from tongue features. Recently, computer-aided tongue diagnosis researches are in progress.
However, there are few studies to measure tongue coating which is one of the most important tongue feature.
Therefore, we aim to estimate fluorescence intensity related to tongue coating amount via machine learning from RGB
images. First, the tongue image is divided into small rectangular regions. For each rectangular region, 17 feature values
related to texture and color are calculated and input into the classifier. The tongue fluorescence images are used as theground truth. The 3231 samples are extracted from 13 tongue images. The stable accuracy is confirmed, and thepossibility of estimation indicated fluorescence intensity from RGB images.
Key words: tongue image diagnosis, Kampo medicine, tongue coating, machine learning, texture analysis

535

OP4-20

Dense V-Net automated segmentation approachfor gross tumor volumes on 3D planning CT images
for lung cancer stereotactic body radiation therapy
Risa NAKANO*1，Hidetaka ARIMURA*2, Mohammad HAEKAL*3,
Saiji OHGA*4, Tadamasa YOSHITAKE*4, Yoshiyuki SHIOYAMA*4
Abstract
Automated segmentation of gross tumor volumes (GTVs) for lung cancer are highly demanded in clinical practice ofstereotactic body radiation therapy (SBRT) to reduce intra- and inter-observer variabilities in GTV contours, which
may lead to the variability of treatment dose distributions. Hence, we attempted to develop an automated segmentation
approach for lung cancer GTVs using a dense V-Net deep learning, which has more advantages to the segmentation ofsmaller structures than the conventional V-Net. Datasets of 3D planning CT images and GTV contours determined byradiation oncologists for 194 lung cancer cases were fed into the dense V-Net as input and teacher data, respectively.
Dice’s similarity coefficients (DSCs) were calculated to evaluate the proposed approach. The proposed approachachieved an average DSC of 0.792. The average DSCs for solid and part solid GGO types were 0.807 and 0.782,
respectively. The proposed approach could be useful to delineate the various types of GTVs in treatment planning forlung cancer SBRT.
Keywords：deep learning, segmentation, dense V-Net, 3D-medical image

1. Introduction
Delineation of the gross tumor volumes (GTVs) constitutes one of the most important phases of treatment planning[1]. However, the delineation is time-consuming and has a potential source of errors in radiation therapy, because the
GTV regions are manually delineated on treatment planning computed tomography (CT) images by treatment planners
with having different skill level in current radiation therapy [2]-[5]. In this regards, automated segmentation approachesof GTVs are highly demanded in clinical practice of stereotactic body radiation therapy (SBRT) to reduce intra- andinter-observer variabilities in GTV contours, which may lead to the variability of treatment dose distributions. In paststudies, a lot of efforts have been made in developments of more accurate segmentation approaches of the GTVs using――――――――――――――――――――――――――――――――――――――――――*1 Department of Health Sciences, Graduate School of Medicines, Kyushu University〔3-1-1 Maidashi,
Higashi-ku, Fukuoka 812-8582, Japan〕
e-mail: rs19nkn@gmail.com*2 Department of Health Sciences, Faculty of Medical Sciences, Kyushu University*3 Department of Physics, Faculty of Mathematics and Natural sciences, Institut Teknologi Bandung*4 Department of Clinical Radiology, Graduate School of Medicines, Kyushu University536

machine learning techniques including deep learning to recognize structures in various imaging modalities (e.g. CT,
positron emission tomography, and magnetic resonance imaging) [6]-[8]. Hence, we have attempted to develop an
automated segmentation approach for lung cancer GTV in SBRT using a dense V-Net deep learning, which has moreadvantages in the segmentation of smaller structures with a novel loss function based on Dice’s similarity coefficient(DSC) than the conventional V-Net [9],[10].

2. Materials and Methods
This study was performed under the approval of the Institutional Review Board of our university hospital. Datasetsof three dimensional (3D) planning CT images and GTV contours determined by radiation oncologists for 194 lungcancer cases, who received SBRT were selected for this study. They were fed into the dense V-Net as input (3D-planning
CT images) and teacher (GTV contours) data, respectively, by using a NiftyNet platform, which is an open source
convolutional networks platform for medical image analysis and image-guided therapy [11]. The dense V-Net uses a
fully convolutional neural network and enables high-resolution activation maps through memory-efficient dropout andfeature reuse. Our dense V-Net was trained and tested in a 10-fold cross validation test with the 3D-planning CT volumes.
In the training step, we employed an augmentation technique (flip, rotation and scaling) to avoid overfitting [12]. Table
1 shows the summary of hyper-parameters of this study. As a loss function, we selected a Dice loss function, which
directly maximizes the similarity between the predicted GTVs and the reference regions over all voxels. In order toevaluate the proposed approach, we calculated DSC, which denotes the similarity between the reference region
determined by radiation oncologists and the GTV region estimated using proposed approach and ranges from 0 to 1.
Table 1 Hyper-parameters for dense V-Net deep learning.
Number of iterations
25000 times
Batch size
1
Learning rate
0.0001
Dropout
0.75
Activation function
Scaled exponential Linear Unit
NetworkDense V-Net
Number of data
194
Types of augmentations Rotate, flip, scale
Loss function
Dice function
Optimizer
RMSprop

3. Results and Discussion
Figure 1 illustrates segmentation results for 3 cases with reference GTVs (white line) and regions estimated by the
proposed approach (green line). The proposed approach achieved an average DSC of 0.792. The average DSCs for solidand part solid GGO types were 0.807 and 0.782, respectively.
In this study, we attempted to develop an automated approach for delineation of GTV region and compare the accuracy
by using DSC. As a result, the dense V-Net deep learning approach achieved the better performance for lung cancer
cases. However, the number of data in this study is not sufficient for deep learning. Therefore, we attempt to use

537

augmentation technique which can increase training cases similar to clinical cases with artifact and noise at the sametime as collecting high quality data.
In conclusion, the proposed approach can shows the potential to be useful to delineate the various types of GTVs intreatment planning for lung cancer SBRT.

Fig. 1 Segmentation results for 3 cases. White line shows the reference GTVs and green line shows the regions
estimated by the proposed method. 3D-DSCs are shown in these planning CT images.
Competing interests
The authors have no conflicts of interest to declare. The authors alone are responsible for the contents and writing of
the paper.
Acknowledgement
The authors are grateful to all members in Arimura laboratory (http://web.shs.kyushu-u.ac.jp/~arimura), whose
comments made enormous contribution to this study.

References［1］

Shalini KV, Michael GJ, Myo M, et al.: Uncertainties in volume delineation in radiation oncology: A systematic review andrecommendations for future studies. Radiother Oncol J Eur Soc Ther Radiol Oncol, 121 (2): 169-179, 2016

［2］

Emmanuel RV, Hugi JWLA, Yuhua G, et al.: A semiautomatic CT-based ensemble segmentation of lung tumors:
Comparison with oncologist’s delineations and with the surgical specimen. Radiotherapy and Oncology, 105(2):167-173
2012

［3］

Tim L, Johan van S, Mark G, et al.: Clinical evaluation of atlas and deep learning based automatic contouring for lungcancer. Radiotherapy and Oncology, 126(2): 312-317, 2018［4］

Sharp G, Fritscher KD, Pekar V, et al.: Vision 20/20: perspectives on automated image segmentation for radiotherapy.
Medical Physics, 41(5) ,2014［5］Angela VB, Geert B, Liesbeth B, et al.: ET-CT-Based Auto-Contouring in Non-Small-Cell Lung Cancer Correlates With
Pathology and Reduces Interobserver Variability in the Delineation of the Primary Tumor and Involved Nodal Volumes.
International Journal of Radiation Oncology*Biology*Physics, 68(3):771-778, 2018

538

［6］

Kawata Y, Arimura H, Ikushima K, et al.: Impact of pixel-based machine-learning techniques on automated frameworks
for delineation of gross tumor volume regions for stereotactic body radiation therapy. Physica Medica, 42: 141-149, 2017［7］

Liu Y, Stojadinovic S, Hrycushko B, et al.: A deep convolutional neural network-based automatic delineation strategy for
multiple brain metastases stereotactic radiosurgery. PLoS One, 12(10), 2017［8］

Men K, Chen X, Zhang Y, et al,: Deep Deconvolutional Neural Network for Target Segmentation of Nasopharyngeal Cancer
in Planning Computed Tomography Images. Front Oncol, 2017［9］

Eli G, Francesco G, Yipeng H, et al.: Automatic Multi-Organ Segmentation on Abdominal CT With Dense V-Networks.
IEEE Transactions on Medical Imaging, 37(8):1822-1834, 2018

［10］

Fausto M, Nassir N, Seyed-Ahmad A, et al,: V-net: Fully convolutional neural networks for volumetric medical image
segmentation. 3D Vision, 2016

［11］

Eli G, Wenqi L, Carole S, et al,: NyftyNet : a deep-learning platform for medical imaging. Computer Methods and Programsin Biomedicine, 158:113-122, 2018［12］

Hussain Z, Gimenez F, Yi D, et al, Differential Data Augmentation Techniques for Medical Imaging Classification Tasks.”
AMIA Annu Symp Proc. 2017: 979–984, 2017539

OP4-21半教師あり学習を用いた根拠提示可能なメラノーマ識別
村林

誠也*1

彌冨

仁*1

要旨
深層学習を用いたメラノーマ自動診断支援における信頼性向上のため，我々は識別根拠の提示技術において一定の成果を実現してきた．しかしながら臨床現場で利用される指標に基づく可読性の高い教師デー
タ作成は医師に依頼する必要があるため数が限られ，それに起因する予測器の過学習，精度面での改善の必要性が残されていた．そこで本研究では，半教師あり学習手法である Virtual adversarial training を応用し，限られた数の教師ラベル付きデータに加え，比較的入手しやすい異なる関連するラベル（診断ラベル）付
きのデータを活用することで，メラノーマの診断指標である 7-point checklist の各項目予測器の改良を検討した．教師ラベル付きの 226 症例に加えて，メラノーマ or 母斑の診断ラベルのみが付与された 9,124 症例
を学習に利用することで，診断指標各項の予測誤差は 2%程度改善，診断指標の各数値から求められる診断
精度は AUC で 6.5%程度向上し，同診断指標を適用した皮膚科医と同等の診断精度を実現した．
，深層学習，半教師あり学習
キーワード：ダーモスコピー，コンピュータ自動診断（CAD）

1．はじめにの教師つきデータと，それらの情報のないより多診断が難しい悪性度の高い皮膚がんであるメラ

くの画像データを用いて上記診断指標の優れたノーマ（悪性黒色腫）の早期発見と高精度な診断予測器を構築した．本研究の目的は，他に多く見実現のため，特に近年深層学習技術による自動診られる自動診断精度を追及する事ではなく，ブラ断手法の開発が行われている［1］．これらの手法

ックボックス化されたシステムの結果に対するは専門医に匹敵する高い識別精度を実現してい可読性・信頼性向上のために，診断根拠の定量的るが，識別根拠を提示できず信頼性の面で改善のな提示を目指したものである．

余地が残されていた．この問題に対し我々は臨床現場で利用される診断指標に基づくダーモスコ

2．方法

ピー特徴の数値予測器を試作した［2］．しかし，

1) 深層学習を用いた診断指標予測器

学習のために必要な教師データは医師に依頼す本実験では，一般物体画像で事前学習済みのる必要から作成コストが高く，極めて少量（226 例） ResNet-101 を用い，臨床におけるメラノーマの診のデータのみで構築された予測器においては，精断指標である 7-point checklist［4］{S1:不規則な網度面での改善の必要性が残されていた．一方，少構造, S2:青白い領域, S3:不規則な血管パターン,量のラベル付き学習データに加え，大量のラベル

S4:不規則な枝状構造, S5:不規則な色素沈着, S6:不なしデータを学習に活用する半教師あり学習の均一な点, S7:色素抜け構造}の有無[1, 0]とメラノ枠組みの中で，Virtual adversarial training (VAT)［3］ーマ/母斑の計 8 項目の予測器を構築した．診断指は，なめらかな識別境界を構築する制約を導入す

標 7 項目の学習には 4 人の皮膚科専門医によってることで優れた成果を実現している．

同項目への評価がなされた 226 症例のデータを用

本研究では VAT を応用することで，限られた数

い，メラノーマ/母斑の学習にはメラノーマ/母斑――――――――――――――――――――

ラベルのみ付与済みの 9,124 症例も用いた．

*1 法政大学大学院理工学研究科応用情報工学2)半教師あり学習による準ラベルデータ活用
本実験では，半教師あり学習手法の一つである専攻〔〒184-8584 東京都小金井市梶野町 3-7-2〕
e-mail:seiya.murabayashi.9j@stu.hosei.ac.jp

540

表1

7-point checklist に基づく診断結果の感度，特異7-point checklist 各項目の予測

ID

皮膚科医
(𝜎)

(i)教師あり(MAE)(ii)半教師(MAE)(iii)半教師 +MN
(MAE)

S1
S2
S3
S4
S5
S6
S7
ave

0.250
0.209
0.072
0.154
0.297
0.250
0.148
0.197

0.342
0.200
0.106
0.244
0.265
0.314
0.225
0.242

0.324
0.141
0.090
0.327
0.174
0.299
0.206
0.222

0.329
0.154
0.071
0.369
0.191
0.322
0.213
0.236

表2

度，area under the ROC curve (AUC)を表 2 に示す．
7-point checklist 各項目の予測において半教師あり学習適用後の予測誤差は 2%程度改善した．また，診断指標の各数値から求められる診断精度
は AUC で 6.5%程度向上し，特にメラノーマ or
母斑ラベル利用時には皮膚科医を上回る結果を示した．

7-point checklist に基づく診断結果†

評価指標

4．考察とまとめ半教師あり学習手法を用いた非ラベルまたは

診断精度異なるラベル情報が付与されたデータの追加活感度[%]

特異度[%]

AUC

皮膚科医

76.0

80.3

0.781

(i) 教師あり

59.6

82.8

0.712

(ii) 半教師

63.6

92.3

0.780

断精度を示した．これにより，純粋なメラノーマ(iii) 半教師+MN

72.7

84.6

0.787

/母斑識別について 90%程度である同識別器と併† : 2 × (𝑆1 + S2 + S3) + S4 + S5 + S6 + S7 ≥ 3.0 が悪性せて用いることで高精度かつ定量的な診断根拠

用により，臨床で使用される指標に基づく可読性高い診断において皮膚科専門医に匹敵する診の提示可能な自動診断の実現が期待できる．
Virtual adversarial training (VAT)を参考に，教師デ今後，各予測項目と実際のダーモスコピー特ータ付与済みの 226 症例に加え，診断指標の情報

徴の対応について更なる妥当性の検証を行う．

はないものの，最終的な診断結果であるメラノー
利益相反の有無マ or 母斑のラベルのみが付与された計 9,124 症例

なしのデータも診断指標予測器の学習に利用し，予測文

能向上への影響を検証した．

献［1］A. Esteva，B. Kuprel，R. A . Novoa et al.:3) 評価実験

Der matol ogi st-level classification of ski n

本研究では以下の 3 条件で予測器の学習を行い，cancer with deep neural networks. Nature 542,
115-118, doi:10.1038/nature21056, Feb. 2017.

比較を行った．

［2］村林誠也，彌冨仁：深層学習器を用いた(i) 教師あり：診断指標ラベル付き 226 例のみ

悪性黒色腫自動識別の識別根拠の評価．第(ii) 半教師：VAT 適用，226 例+9,124 症例

37 回日本医用画像工学会大会, 2018

（メラノーマ or 母斑ラベル非活用）［3］T. Miyato, S. Maeda, S.Ishii, et, al.: Virtual(iii) 半教師+MN : VAT 適用，226 例+9,124 症例

Adversarial Training: A Regularization Method（メラノーマ or 母斑ラベル活用）
7-point checklist の各項目の数値予測能は平均絶for Supervised and Semi-Supervised Learning.

対誤差（MAE）で，7-point checklist の各数値からIEEE Trans Pattern Analysis and Machine

求 め ら れ る 診 断 結 果 に つ い て は ， 10-fold crossIntelligence, 2018
［4］G. Argenziano, G. Fabbrocini, P. Carli et al.:validation 法で評価した．

Epiluminescence microscopy for the diagnosis of
ABCD rule of dermatoscopy and a new 7-point

3．結果
7-point checklist 各項目の予測結果および皮膚科

checklist based on pattern analysis. Archives of

医 4 名による評価の分散を表 1 に示す．また，

Dermatology No.134, pp.1536-1570 1998.

541

Explainable melanoma diagnosis using semi-supervised learning
Seiya MURABAYASHI*1, Hitoshi IYATOMI*1*1 Graduate school of Science and Engineering, Hosei University
In order to improve the readability of automated diagnosis support for melanoma, we have realized certain
achievements on quantifying their clinical findings such as 7-point checklist. Here, we need to ask dermatologists tocreate gold standard label based on the criteria in advance, while it is so expensive that the number of available labeleddata is limited. Therefore, there remains a need for improvements in over-fitting and accuracy in our previous model.
In this study, we applied a virtual adversarial training (VAT) as a semi-supervised training framework and build areliable estimator of each item defined in the 7-point checklist using quite limited number of labeled data and larger
number of data with relevant but different label. We used a total of 226 labeled images and other 9,124 images withdifferent type of label information, i.e. melanoma or benign. In our model, the prediction error of each clinical item isimproved by about 2% and the diagnostic accuracy obtained based on them is improved by about 6.5% by AUC. We
confirmed the diagnosis performance is equivalent to expert dermatologists who applied the same criteria.
Key words: Dermoscopy, Computer-aided diagnosis (CAD), Deep learning, Semi-supervised leaning

著者紹介
村林 誠也 (むらばやし せいや)
2018 年法政大・理工・応用情報工卒．現在，同大大学院修士課程在学
中．電子情報通信学会学生会員．

彌冨 仁 (いやとみ ひとし)1998 年慶大・理工・電気卒．2000
年同大大学院・理工研・電気修士課
程，2004 年同博士課程修了．20002004 年日本ヒューレット・パッカード（株）．現在，法政大・理工・教授.博士（工学）,博士（医学）．
機械学習および, それらを元にした画像解析，言語処理，セキュリティなどの研究に従事．

542

OP4-22

肝臓がん検出器のための Conditional GANによる病変画像生成池田裕亮*1

道満 恵介*1

目加田 慶人*1

縄野 繁*2

要旨
肝がんの読影において CT 画像を医師が目視で行っており，医師の負担となっている．そのため，機械学習による読影支援が求められているが，機械学習に用いる症例画像を大量に集めることは困難である．そのため病変画像の生成手法が研究されている．従来手法である DCGAN による病変画像生成では，学習デー
タに見えが異なる病変画像を混ぜて用いたため，異なる特徴が混ざった病変が生成される問題があった．
本稿では CGAN を用いた病変画像生成手法を提案し，CNN で構築した検出器の精度により評価した結果を報告する．肝臓の辺縁部と非辺縁部の 2 種類のラベルを付与し，CGAN の学習を行った．学習後，CGANで生成した病変画像を検出器の学習に用いた結果，検出率が 0.85，一症例当たりの誤検出が 0.20 となり，従来手法より検出精度が向上した．
キーワード：CT 画像，深層学習，コンピュータ診断支援，画像生成

1．はじめにPoisson Blending 法（PB 法）[2]

肝がんの診断は CT 画像を医師が目視で行っ

肝がんの濃度分布を模擬する方法（濃度分布法）[3]ている．医師の負担を軽減するため機械学習を

Deep Convolutional Generative Adversarial

用いた自動検出による読影支援が求められてNetworks（DCGAN）[4][5]いる．しかし，機械学習に用いる大量の学習データを集めることは困難である．そのため病変

上記の 3 つの手法で生成した病変画像と実病変画像の生成手法が研究されている．

画像を検出器の学習データとして用いること

これまで我々は肝臓がん検出器を二次元ので検出精度が向上した．しかし，DCGAN を用

畳み込みニューラルネットワーク（2D-CNN）といた病変画像生成手法では 3 次元の DCGAN の

三次元の CNN（3D-CNN）で構築した[1]．また，学習に肝臓辺縁部と非辺縁部にある 見えが異検出器の学習データの不足を補うため以下の 3なる病変画像を混ぜて用いたため，それらの特つの手法で生成した．

徴が混在した不自然な病変画像が生成される問題があった．

――――――――――――――――――

そこで本稿では DCGAN で表現できる病変の*1 中京大学 大学院工学研究科

多様さを維持しながら，不自然な病変画像の生〔〒470-0393 豊田市貝津町床立 101〕

成を抑制するため，ラベル情報を用いることで

e-mail: ikeda.y@md.sist.chukyo-u.ac.jp

特徴が異なる病変を別々に学習する Conditional

e-mail: kdoman@sist.chukyo-u.ac.jp

GAN（CGAN）を用いた病変画像生成を提案す

e-mail: y-mekada@sist.chukyo-u.ac.jp

る．

*2 国際医療福祉大学三田病院
e-mail: snawano@iuhw.ac.jp

543

表3

(a) 非辺縁(b) 辺縁図 1 辺縁と非辺縁の実病変画像断面
表1
ラベル
辺縁
非辺縁

辺縁
非辺縁

図2

モデル

実病変

PB 法

2D
3D

737
110

3,000
1,000

濃度分
布法
3,000
1,000

非肝
がん
4,500
1,500

表4

手法ごとに異なる検出器の学習データ
CGAN
手法
モデル DCGAN
辺縁
非辺縁
2D
3,000
0
0
従来
3D
1,000
0
0
CGAN
2D
0
3,000
0
辺縁
3D
0
1,000
0
CGAN
2D
0
0
3,000
非辺縁
3D
0
0
1,000
2D
0
1,500
1,500
CGAN
3D
0
500
500

2D-CGAN の学習データ
実病変
回転等
255
1785
482
3374

表2
ラベル

検出器に共通の学習データ

3D-CGAN の学習データ
濃度分
実病変 回転等 PB 法
布法
26
390
6087
5072
84
1260
4554
5926

表5
手法
従来
CGAN 辺縁CGAN 非辺縁CGAN(a) 非辺縁(b) 辺縁CGAN で生成した病変画像断面

検出器の検出結果
検出率
誤検出率
0.80
0.25
0.85
0.35
0.75
0.20
0.85
0.20

3.1．CGAN の学習データ
2D-CGAN の学習に用いた病変画像を表 1 に，

2．CGAN を用いた画像生成
転移性肝がんは肝臓辺縁部と非辺縁部にお3D-CGAN の学習に用いた病変画像を表 2 に示いて異なる特徴を持つ．非辺縁部では図 1（a）

す．これらの表中の「回転等」は，幾何変形にのように病変は球形になるが辺縁部では図 1（b）

基づくデータオーギュメンテーションによるのように辺縁に沿った形になる．そのため水増しを表している．3D-CGAN の学習データ

CGAN の学習データに辺縁部と非辺縁部の 2 つにおいては実病変の数が十分ではないためにのラベルを付与する．検出器は 2D-CNN と 3D-学習が収束しない．そのため文献[3]と同様に，

CNN で構成されているため CGAN も二次元のPB 法と濃度分布法で生成した病変画像を加え

CGAN （ 2D-CGAN ） と 三 次 元 の CGAN（ 3D-

学習を行った．
これらの条件で学習した病変を図 2 に示す．

CGAN）の二つのモデルを作成する．
3．実験

これらの生成した病変画像を検出器の学習デCGAN で生成した病変画像を評価するため検ータとして用いる．

出器の学習データとして生成画像を用いた．検

3.2．検出器の学習データ

出器には学習に未使用の 20 症例の CT 画像を検出器の学習に用いたデータのうち実病変

入力し，その検出率と一症例当たりの誤検出率

等の数を表 3 に，DCGAN または CGAN によっを用いて提案手法の評価を行う．以降，CGANて生成したデータ数を表 4 に示す．

の学習データ，検出器の学習データ，検出結果，3.3．結果考察について述べる．

20 症例に対する検出器の検出結果を表 5 に示す．従来手法と比べ CGAN で生成した辺縁部

544

と非辺縁部の病変のどちらも学習に用いた場

謝辞

合では検出率は上がり，一症例当たりの誤検出

本研究の一部は，日本学術振興会科研費補助率は低下した．このことから提案手法の有効性

金の援助による．

を確認できる．
3.4．考察利益相反の有無CGAN で生成した辺縁部に特有なアピアランなし

スを持った病変画像のみで学習した場合，検出率は向上したが，1 症あたりの誤検出数は増え

文た．また，非辺縁部の特徴のみを持った病変画［1］

献小 西 他 , “人 工 的 な 病 変 画 像 を 用 い た像で学習した場合はこれとは逆の結果となっ3D-CNN による転移性肝がん検出”，電た．一方，これら両方を用いた場合，検出率と子通信学会 医用画像研究会(MI)技術研

1 例あたりの誤検出数が共に最も良い結果にな

究 報 告 , vol.116, no.393, pp.21-22, Jan.

った．学習データ数の比率については検討の余

2017

地があるものの，辺縁と非辺縁の特徴を個別に［2］

P. Perez et al. “Poisson image editing”,

生成して利用することは有効である ことが示

ACM Special Interest Group on Computer

唆された．

2003, pp.27-31, July 2003

4．まとめ

［3］

小西他,

“人工的病変画像を用いた

機械学習のために必要な大量の学習データ

CNN に よ る 転 移 性 肝 が ん 検 出 手 法 ”,を生成する手法として，CGAN を用いた病変生

Medical Imaging Technology 「研究速報成手法を提案した．肝臓がんにおいては，肝臓（A）」, vol.37, no.1, pp46-50, Jan.2019の辺縁部と非辺縁部においてその見た目が異

［4］

A.

Radfordetal.

“Unsupervisedなるため，それぞれ個別に生成し，CNN による

representation

learning

検出器の学習データとして利用することで，convolutional

generative

DCGAN を用いた病変生成手法よりも検出器のnetworks”,

検出精度が向上した．しかし，評価に用いた症

Representations 2016, 67, May. 2016

例が 20 症例と少ないため十分な評価とはいえ

［5］

Int.

Conf.

with

deep

adversarial
on

Learning

T. Konishi et al. “Lesion image synthesis

ない．そのため今後大規模な評価実験を行う必

using DCGANs for metastatic liver cancer

要がある

detection”, Proc. of Int. Workshop on
Frontiers of Computer Vision 2018, O4-4,
Feb. 2018545

Image Generation using Conditional GAN for Constructing
a Metastatic Liver Cancer Detection
Yusuke IKEDA*1, Keisuke DOMAN*1, Yoshito MEKADA*1, Shigeru NAWANO*2*1 Graduate School of Engineering, Chukyo University*2 International University of Health and Welfare Mita HospitalThe diagnosis for liver cancer is visually performed by doctors with CT images, which take a lot of time. For thisreason, an interpretation support using machine learning is required. It is, however, difficult to collect a large numberof case images for machine learning. Thus, we study a lesion image generation method. In the conventional method
using DCGAN, lesion images with different appearance features were mixed and used as learning data. As a result,generated images had features with different features mixed. The method proposed in this paper generates lesion
images using CGAN. CGAN is trained with learning data labeled with “edge” and “non-edge” of the liver. We
confirmed that the proposed method achieved the detection rate of 0.85 and the false detection per case of 0.20. The
detection accuracy was higher than the conventional method.
Key words: CT image, Deep Learning, Computer Aided Diagnosis, Image Synthetic546

OP4-23

Deep CNN における分類器のアテンションメカニズムを利用した CT 画像からの乳腺領域の自動抽出法

山岸 誠也*1

周 向栄*1

加藤 博基*2

原 武史*1

松尾 政之*2

加賀 徹郎*2

藤田 広志*1

要旨
本研究は，様々な検査の目的で撮影された 3 次元 CT 画像から乳腺領域を自動抽出することを目的とする．
CT 画像における乳腺領域の自動抽出に関する先行研究として，確率的アトラスに基づくアプローチが提案され，良好な抽出結果が示された．しかし，従来法では確率アトラスの作成に時間と労力が必要であった．
本研究は，以上の確率アトラスを患者ごとに自動生成する方法を提案する．具体的には，深層学習によって得られた画像分類器から乳腺領域の Attention Map を生成して確率アトラスとして代用する．提案手法を
体幹部 CT 画像 16 症例に適用した結果，生成した Attention Map は真の乳腺領域との一致度の平均値が49.6%であることを確認した．また，この Attention Map を従来法に組み込んで乳腺領域を抽出した結果，一致度が 65.3%に向上した．実験結果から，提案手法によって各 CT 画像に適切な Attention Map を動的に生成することが可能であり，乳腺領域の自動抽出の効率化が期待できる．
キーワード：乳腺領域，Attention Map，深層学習

1．はじめに検査対象とする臓器以外の画像情報の活用が近年，女性における乳癌の罹患率が増加して望ましい．他の診断目的で撮影された 3 次元

いる．乳癌は女性が罹患する癌の中で最も罹患CT 画像から乳癌のリスク評価への応用が期待率が高く，早期発見が求められている[1]．乳癌される[4]．その際には，3 次元 CT 画像から乳検診において，マンモグラフィの高濃度乳腺で腺領域の自動抽出が必要とされる[5-6]．

は乳癌発症リスクが増加することは確実であ

先行研究では，解剖構造の類似性に基づいてる[2]．計算機で乳腺量を定量できれば，乳癌発推定された乳腺位置（以下では確率アトラスと症リスクの予測に関する計算機支援診断が可呼ぶ）を CT 画像上の濃淡分布（尤度画像と呼能になる[3]．

ぶ）に合わせて，乳腺領域を自動的に抽出する

また，医療現場では CT 検査が頻繁に行われ，処理手法が提案され，66 例の CT 画像に適用した結果から確率アトラス の有効性が確認され―――――――――――――――――*1 岐阜大学大学院自然科学技術研究
科知能理工学専攻〔〒501-1193 岐阜県岐阜市 1-1〕

た[7]．しかし，確率アトラスの作成には，数多

e-mail: syama@fjt.info.gifu-u.ac.jp*2 岐阜大学医学部附属病院放射線科

く，患者の個人状況を表現する能力が不十分でくの CT 画像から乳腺領域を手動で抽出する必要があり，作業時間がかかる問題があった．また，作成された確率アトラスが汎用なものでなあった．そのために，各患者に個別な確率アトラスを効率的に生成する方法が期待されてい547

る[7]．

定することで確率アトラスを作成している[7]．

本研究は，各患者に乳腺の確率アトラスを動本手法は深層学習に基づく画像分類器の的に生成する方法を提案する．具体的には，乳Attention Map を確率アトラス(𝐿𝑎𝑡𝑙𝑎𝑠 )として活用

腺濃度を分類するための ニューラルネットワ

する．ここで，乳腺濃度（密度）を分類する際ークが，入力された CT 画像上に注目する領域に，画像分類器が CT 画像上にある乳腺領域の（Attention Map と呼ぶ）を乳腺領域の確率アトみを注目することと想定して，大まかな乳腺領ラスとして活用する．これにより，従来法[7]に域の位置が深層学習を通じてネットワークに必要とされる確率アトラスの構築に関する手記憶されることを想定する．画像分類器の学習作業を軽減して，CT 画像からの乳腺領域の抽過程に真の乳腺領域が必要とされないため，従

出処理の効率化を目指す．

来法より確率アトラスの構築作業を容易行う
ことができる．

2．方法
2.1 深層学習による Attention Map の生成

2.3 乳腺領域の尤度画像

Attention Map は Global Average Pooling の特深層学習から得られた Attention Map と CT 画

性を利用し，深層学習に得られたネットワーク

像の濃淡値分布から乳腺 の存在確率を表す画が入力画像上に注目している領域を可視化し像(𝐿𝑚𝑎𝑚𝑚𝑎𝑟𝑦 )を作成する．図 1 に処理の流れをたものである．今回，Attention Map を作成す示す．

る手法として Grad-CAM[8]を使用した．Grad-

まず，乳腺領域の位置尤度画像(𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 )を作

CAM は可視化手法の 1 つであり，分類モデル

成する乳腺領域の濃淡分布を正規分布と仮定の特徴マップから確率スコアの変化に影響をし，正規分布のパラメータ μ と σ を以下手順で与えた箇所を特定する手法である.画像処理分推定する．

野において，深層学習のパラメータの調整や，(1) 乳腺領域の濃淡分布の最頻値を乳腺領域の平均濃淡値 μ とする

判断根拠の理解に利用されている[9].

(2) μ 以下の濃淡分布を削除し，μ を基点とした深層学習のネットワークは CT 画像上にある線対称の濃淡分布を作成する．

乳腺領域を 2 つのカテゴリーに分類する
AlexNet[10]を利用した．学習サンプルとして，(3) 作成された濃淡分布から標準偏差 σ を推定する．

3 次元 CT 画像 80 症例において乳頭方向を回転軸とする 2 次元断面画像（28800 枚）を利用し推定されたパラメータをガウス関数に基づいた．医師が乳腺濃度を 2 つのカテゴリーに分類た式へ代入する(式 1)．ここで(式 1)中の𝑉𝑥 𝑦 𝑧 はし，その分類結果を深層学習の教師信号としてCT 画像の座標(x,y,z)における CT 値を表す．CT利用した．深層学習で得られたネットワークを画像(図 2-a)を𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 に変換する(図 2-b)．図 2-b

利 用 し て ， 入 力 の CT 画 像 か ら 乳 腺 領 域 のにおいて，緑で示される箇所が𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 で最も値

Attention Map を生成する．

の大きい領域となっている．直感的に，CT 画像の CT 値が乳腺領域の平均濃淡値 μ に近いほど

2.2 乳腺の確率アトラス

値が大きくなる．𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 に Attention Map(図 2-

確率アトラスは，複数の患者データにより作c) を 乗 じ る こ と で 乳 腺 の 存 在 確 率 画 像

成される，解剖学的な構造上に乳腺位置の頻度( 𝐿𝑚𝑎𝑚𝑚𝑎𝑟𝑦 ) を 生 成 す る ( 図 2-d) ． 作 成 さ れ たを表すマップである．従来法では，確率アトラ

𝐿𝑚𝑎𝑚𝑚𝑎𝑟𝑦 に膨張処理と収縮処理を施した後，閾スの作成過程で大量な CT 画像から乳腺領域の値処理によって得られた領域を乳腺領域の抽正解画像を必要とした[7]．手動で抽出した複数

出結果とする[11]．

の乳腺領域を，解剖学的なランドマークによって位置合わせし，空間的に乳腺領域の頻度を測

548

度を確認する．Attention Map での画素値（確率）が 0.5 以上を示す箇所を乳腺領域と推定したと仮定する．正解領域は医師の指導の下，16 症例の乳腺領域を手動で作成した．推定した領域と乳腺領域の正解領域との Dice 値によって評価する．Dice 値の平均が 49.6%であった．Attention
Map は乳腺領域の大まかな位置を示している
ことを確認した．乳腺領域が散在している症例に対しての過抽出が平均一致度低下の原因となった．
図 1 CT 画像からの乳腺領域の自動抽出の流れ

3.2 乳腺領域の自動抽出
𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 = exp{−(𝑉𝑥 𝑦 𝑧 −𝜇)22σ2}

Attention Map を確率アトラスとして従来法(1)に組み込むことにより得られた最終的な抽出
結果と，正解領域の Dice 値により抽出精度の評価を行う．乳腺領域の正解画像は 3.1 で使用した 16 症例と同様のものとする．
本手法によって求められる Dice 値の平均は65.3%を示した．ガウス関数で使用した μ と σの 16 症 例 の 平 均 は そ れ ぞ れ 157.0[HU] と36.0[HU]であった．Attention Map に𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 を乗じることで散在する乳腺領域や乳腺領域の末端を抽出可能にしている．図 3 に抽出結果の画像を示す．抽出に失敗している症例は𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦 の(a)

作成段階で乳腺領域と脂肪領域の分離が不十(b)分であることを確認した．(図 4)

図 3 乳腺領域の抽出結果(成功例)
左：CT 画像 中：正解領域(黄) 右：抽出結果(緑）

(c)

(d)

図 2 CT 画像と乳腺領域の抽出結果(a)：CT 画像（1 断面）(b)：𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦(c)：Attention Map(d)：𝐿𝑚𝑎𝑚𝑚𝑎𝑟𝑦

3．実験と結果
3.1 Attention Map の性能評価

図 4 乳腺領域の抽出結果(失敗例)

Attention Map による乳腺領域の位置推定の精

左：CT 画像 中：正解領域(黄) 右：𝐿𝑑𝑒𝑛𝑠𝑖𝑡𝑦

549

4．考察

効率化を進めた．体幹部 CT 画像に適用した結提案手法では各 CT 画像に対する患者の乳腺果から，提案法の有効性が示された．

位置を動的に推定することが可能である．乳腺

謝辞

領域の正解画像の作成に 1 症例あたり平均で 57

本研究の一部は文部科学省科学研究費・新学分かかった．それに対して，Attention Map の作術領域研究(課題番号

成には 1 症例あたり 2 分で行うことができる．

学研究費補助金(基盤研究(C)

特に，低濃度乳腺の正解画像の作成には多くのって行われました．

時間が必要となる．今回テストに使用した 16 症

利益相反の有無例のうち，8 症例が低濃度乳腺となっている．

26108005)，及び JSPS 科
26330134)によなし

低濃度乳腺の正解画像の作成には平均で 1 時間

文

21 分の時間が必要であった．また，乳腺領域の［1］

献

池戸祐司, 福岡大輔, 原武史, 他：全正解画像の作成は医師の経験則に頼る部分が乳房超音波画像における腫瘤像自動検大きい．以上より，多症例にわたる従来法での出システムのための左右乳房画像の比

確率アトラスの作成は困難であり，本提案手法

較による偽陽性削除法．電子情報通信による乳腺位置の自動推定が現実的な解決法

学会論文誌 D 91: 1923-1926, 2008と言える．さらに，従来法では確率アトラスの［2］

Huo CW, Chew GL, Britt KL, et al.:

作成において不可欠であった，解剖学的ランド

Mammographic density—a review on the

マークによる画像位置合わせと乳腺領域の変

current understanding of its association

形処理を削減できるため，本手法による乳腺領with breast cancer. Breast Cancer Research

域の自動抽出の効率化が期待できる．

and Treatment 144: 479-502, 2014

作成された Attention Map が真の乳腺領域を［3］

Zhou X, Kano T, Cai Y, et al.:Automatic

推定することができれば，適切な濃淡分布のパ

quantification of mammary glands on non-

ラメータ μ と σ の推定が可能となる．現段階でcontrast X-ray CT by using a novelは推定結果として 49.6%を示しており，適切なsegmentation approach.

パラメータを推測できていないと考える．精度

Imaging 2016 9785: 97851Z, 2016
［4］の高い Attention Map を作成することで尤度画

SPIE Medical

藤田広志：肺がん CT 検診 CAD システ像を用いた抽出結果が向上すると考えられる．

ムの現状と今後の展望．医学物理 35:

また，分類器は患者専用の Attention Map を作成

163-166, 2015

するため，従来の確率アトラスと比べて精度が［5］良いと考える．よって，Attention Map を確率ア

Liu S, Salvatore M, Yankelevitz D, et al.:Segmentation of the whole breast from low-

トラスとして利用することは 乳腺領域の抽出

dose chest CT images. Proceedings of SPIEに適していると考える．

Medical Imaging 2015 9414: 94140I, 2015

今後は高精度の Attention Map を作成するた［6］

Liu S, Margolies L, Xie Y, et al.: Fully

めに，深層学習における分類器の作成を工夫す

automated Breast density assessment from

る必要があると考える．

low-dose chest CT. Proceedings of SPIE
Medical Imaging 2017 10134: 101340R,
2017

5．まとめ
本研究は，CT 画像からの乳腺領域の自動抽［7］

Zhou X, Kan M, Hara T, et al.: Automated出を目指して，従来法の難点であった確率アト

segmentation of mammary gland regions in

ラスを自動的に生成する方法を提案した．深層

non-contrast torso CT images based on

学習のアプローチを従来の処理手順に組み込

probabilistic atlas. Proceedings of SPIE

んで，CT 画像における乳腺領域の自動抽出のMedical Imaging 2007 6512: 65123O, 2007

550

［8］

Selvaraju RR, Cogswell M, Das A, et al.:Grad-cam: Visual explanations from deep
networks via gradient-based localization.
2017 IEEE International Conference on
Computer Vision (ICCV), 618-626, 2017［9］

Iizuka T, Fukasawa M, & Kameyama M:
Deep learning-based imaging classification
identified cingulate island sign in dementia
with Lewy bodies. BioRxiv 592865: 2019［10］ Krizhevsky A, Sutskever I, & Hinton GE:
Imagenetclassification

convolutional

neuralwithdeep

networks.

In

Advances in Neural Information Processing
Systems, 1097-1105, 2012［11］ Zhou X, Kitagawa T, Hara T, et al.:Constructing a probabilistic model for
automated liver region segmentation using
non-contrast X-ray torso CT images.
In International Conference on Medical
Image Computing and Computer-Assisted
Intervention 856-863, 2006

551

Automatic segmentation of mammary gland region on CT images
based on attention mechanism in deep learning classifier
Seiya YAMAGISHI*1, Xiangrong ZHOU*1, Takeshi HARA*1, Tetsuro KAGA*2
Hiroki KATO*2 Masayuki MATSUO*2 Hiroshi FUJITA*1*1 Department of Intelligence Science and Engineering, Graduate School of
National Science and Technology, Gifu University*2 Department of Radiology, Gifu University Hospital

The purpose of this study is to automatically segment mammary gland region on 3D CT images thatscanned for various diagnostic purposes. In our previous work, we proposed an approach that used aprobabilistic atlas to segment mammary gland regions on CT images and showed good performance withpromising experimental results. However, constructing a probabilistic atlas that required in our previous
work was time-consuming and effort-expensive. In this study, we propose a method to automaticallygenerate a probabilistic atlas for each patient. Our method uses the attention map of a deep learningclassifier as a substitute for probabilistic atlas. We applied the proposed method to 16 cases of torso CT
images and confirmed that the average value of the coincidences between the attention map with the groundtruth of mammary gland region was 49.6%. We integrated these attention maps into our previous method
to segment the mammary gland region, and confirmed the coincidence value was improved to 65.3%. Theseexperimental results demonstrated the capability of our proposed method that can dynamically generate aprobabilistic atlas for each CT image specifically. This progress is expected to improve the efficiency of
automatic segmentation of the mammary gland region on CT images.

Key words: Mammary Gland, Attention Map, Deep Learning552

OP4-24

Automated approach for estimation of sizes of lung tumor
on planning CT images using dense V-net CNN
with non-negative matrix factorization
Zhuangfei MA*1，Hidetaka ARIMURA*2，Risa NAKANO*1，
Tadamasa YOSHITAKE*2，Yoshiyuki SHIOYAMA*2
Abstract
Assessment of the change in tumor volume is a substantial factor in the clinical evaluation of cancer treatment.
However, it is tedious and difficult for medical doctors to manually measure the longest diameters of lung tumors (≥10 mm) in three-dimensional medical images such as computed tomography (CT) images, and evaluate tumor
responses. We have developed an automated approach to estimate lung tumor sizes on planning CT images using
dense v-net CNN with non-negative matrix factorization (NMF). The longest, middle and shortest diameters of lungtumor were estimated by the largest, middle and smallest standard deviations in the coefficient matrices, respectively.
The errors of estimated lung tumor sizes in the longest, middle and shortest diameters were 17.53%, 21.14% and20.58%. The NMF would have a potential for estimating the longest diameters in the lung tumor sizes.
Keywords：lung tumor sizes, planning computed tomography images, dense v-net CNN, non-negative matrix
factorization

1. Introduction
Lung tumor is the commonest fatal malignancy in the developed world [1]. It has been reported by world healthorganization (WHO) that lung tumor causes more than 1.3 million deaths each year in the world [2],[3]. Lung tumor isthe most commonly occurring tumor in men and the third most commonly occurring tumor in women [4],[5].
Evaluation of lung tumor treatment outcome is a crucial task by radiologists [6]. Assessment of the change in tumor
volume is an important feature of the clinical evaluation of lung tumor therapeutics: both tumor shrinkage (objective
response), and disease progression are useful endpoints in clinical trials [7]. In clinical practice, three-dimensional(3D) medical images such as computed tomography (CT) images are used to measure the lung tumor sizes andevaluate their change. However, it is tedious and difficult for medical doctors to manually measure lung tumor longest―――――――――――――――――――――――――――――――――――――*1 Department of Health Sciences, Graduate School of Medicines, Kyushu University〔Maidashi 3-1-1,
Higashiku, Fukuoka 812-8582, Japan〕
e-mail: ma_zhuangfei@outlook.com*2 Department of Health Sciences, Faculty of Medical Sciences, Kyushu University553

diameters (≥ 10 mm) in CT images, and evaluate tumor responses (Complete Response: CR, Partial Response: PR,
Progressive Disease: PD, Stable Disease: SD). Dense V-net convolutional neural network has advantage to segment
small structures such as stage I lung tumor (≤5 cm) in stereotactic body radiation therapy (SBRT) from medical
images. Non-negative matrix factorization (NMF) can make a new coordinate system to obtain a linear representationof data. Therefore, we have developed an automated approach for estimation of sizes of lung tumor on planning CT
images using dense v-net CNN with NMF.

2. Materials and Methods
Three-dimensional planning CT images and gross tumor volumes (GTV) regions for 193 lung tumor cases (size:
4.77 mm - 71.1 mm) were selected in this study. The sizes of lung tumor were calculated in terms of a longest, middle
and shortest diameter which are orthogonal to each other by using matlab. The input data (3D planning CT images)
and teacher data (GTV regions) were fed into the dense V-Net convolutional neural network in a NiftyNet platform
which produced estimated GTV regions. The coordinates of voxels within an estimated GTV region were extracted to
be inputted as the matrix to NMF. The NMF calculated the basis matrix and coefficient matrix. The standard deviationof each row in the coefficient matrix was calculated for estimation of sizes of lung tumor. The longest, middle andshortest diameters of lung tumor were estimated from the largest, middle and smallest standard deviations in thecoefficient matrices, respectively.

3. Results and Discussion
Figure 1 shows the relationship between the reference lung tumor sizes in the longest, middle and shortest diameterand the largest (a), middle (b) and smallest (c) standard deviations which are calcualted from NMF. The errors of
estimated lung tumor sizes in the longest, middle and shortest diameters were 17.53%, 21.14% and 20.58%,
respectively.

(a)

(b)

554

(c)
Fig.1 Relationship between the reference lung tumor sizes and the largest (a), middle (b) and smallest (c) standard
deviations using NMF
In this study, the estimation error of the longest diameter was smaller than 20%, but the estimation error of the
middle and shortest diameter were larger than 20%, because the NMF method was not appropriate for estimation of
the middle and shortest diameters. Another limitation of this study is the limited number of patients (only 193).
Therefore, we have to increase the number of cases to improve our approach.
In conclusion, the proposed approach would have a potential for estimating the longest diameter in lung tumor
sizes.
Competing interests
The authors have no conflicts of interest to declare. The authors alone are responsible for the contents and writingof paper.
Acknowledgements
My special thanks are given to all members of Arimura’s laboratory in Kyushu University for their great
contributions to this research.
References［1］Sethi T: Lung cancer. Introduction. Thorax 57(11): 992-993, 2002
［2］Sun S, Bauer C, Beichel R: Automated 3-D segmentation of lungs with lung cancer in CT data using a novel robust active
shape model approach. Medical imaging, IEEE Transaction on, 31(2): 449-460, 2012［3］Cheng W, Ma L, Yang T, et al: Joint Lung CT Image Segmentation: A Hierarchical Bayesian Approach, 11(9): e0162211, 2016［4］de Margerie-Mellon C, de Bazelaire C, de Kerviler E: Image-guided biopsy in primary lung cancer: Why, when and how,97(10): 965-972, 2016［5］Zhu H, Pak CH, Song C, et al: A novel lung cancer detection algorithm for CADs based on SSP and Level Set, 25(S1):345-355, 2017［6］Peungjesada S, Chuang HH, Prasad SR, et al: Evaluation of cancer treatment in the abdomen: Trends and advances, 5(3):126-142, 2013［7］Eisenhauer EA, Therasse P, Bogaerts J, et al: New response evaluation criteria in solid tumours: revised RECIST guideline555

(version 1.1), 45(2): 228-247, 2009556

OP5-01

非ランダム間引き収集による MR 圧縮センシングの深層学習再構成
佐藤 佑紀*1

風間椋*2

伊藤 聡志*1

要旨
MRI は撮像の高速化が課題であり，近年では圧縮センシング(Compressed Sensing : CS)を用いた高速撮像が利用され始めている．CS にはサンプリングのランダム性による画質変動，反復処理に伴う計算時間の大きさなどの課題がある．ランダム性による画質変動の改善と再構成の高速化を目的として本研究では非ランダム間引き収集信号の畳み込みニューラルネットワークによる再構成について検討を行った．その結果，
ランダム間引きよりも構造の保存性に優れた良好な再生像を得ることができた．本研究により深層学習の利用によって圧縮センシングの間引き法に関して新たな可能性が示された．
キーワード：非ランダム間引き，圧縮センシング，深層学習，残差学習法，再構成

1．はじめに合のように再構成像は一意に定まるものではなく，

核磁気共鳴現象を利用した生体断面の撮像法

収集点の間引き方のランダムさ，すなわち収集点(Magnetic Resonance Imaging: MRI)は，一般的にの選び方に依存して画質は変動する．ここで，信号X 線 CT に比べると撮像時間が長く，緊急性を要すの間引き方を非ランダムとすることができれば信る場合には使用できないなどの課題がある．撮像

号収集点分布のランダム性を排除できるため，再の高速化を目的として圧縮センシング

構成像の画質安定化と信頼性の向上が期待できる．

(Compressed Sensing：CS)[1,2]を使用した高速撮

これまでに我々は非ランダム間引き収集について

像法[3]が研究され，一部は臨床で応用され始めて検討を行ってきた．結果，スパース化変換にマルチいる．CS によれば，少数の信号から画像を得られスケール化したカーブレット変換を使用することるため MRI に応用することにより撮像時間の短縮

によりランダム間引きに比肩する画質の再構成像が期待される．一方で，CS による画像再構成にはを得ることができた[3]．しかしながら，この方法で数理的な反復処理に伴う計算コストの大きさや信も再構成にはランダム間引きと同程度の計算コス号収集点の間引き方に依存した画質変動といったトを必要とした．

課題がある．MRI の 2 次元撮像に CS を応用する

近年，医用画像の再構成や雑音除去に深層学習

とき，信号は位相エンコード方向にランダムに間を利用する方法が検討されている[4]．画像に生じ引きが行われる．ランダム間引き収集された信号

た誤差成分をネットワークにより推定する残差学から画像再構成を行うとき，全信号を収集した場

習法は，高い精度で画像を復元できること，および――――――――――――――――――――*1 宇都宮大学 大学院地域創生科学研究科
工農総合科学専攻
情報電気電子システム工学プログラム[〒321-8585 栃木県宇都宮市陽東 7-1-2]
e-mail: mc196833@cc.utsunomiya-u.ac.jp*2 現在，医療システムズ株式会社

処理が従来法と比べて極めて短時間であることの2 点により大きな注目を集めている[5]．
深層学習によれば信号の間引きによる誤差を学習することができるため，信号の間引きは必ずしもランダムである必要は無く，規則的なアーティファクトの方557

を示す．DRL-CNN は全 17 層で構成され，畳み込
み 処 理 (Conv) と バ ッ チ 正 規 化 (BN) ， Rectified
Linear Unit(ReLU)の 3 つの処理から構成される．
Conv と ReLU には入力データの特徴を抽出する役割があり，BN には学習効率向上の役割がある．
入力層では Conv と ReLU を，
中間層では Conv とBN と ReLU を，出力層では Conv を行う． DRLCNN では，信号の未収集点にゼロデータを充填して再構成を行った画像(ゼロフィル再構成画像)に生じるアーティファクトを推定し，ゼロフィル再構成画像から推定したアーティファクトを減算処理することで目標とする画像を出力する．
4．画像再構成シミュレーション
4.1 学習用データセット

図 1．DRL-CNN のアーキテクチャ

本研究では，学習用データセットにフルデータ
が学習をより容易にする可能性もある．そこで，本像とゼロフィル再構成画像の画像対 40 組を用いた．

研究では再構成のさらなる高速化と再構成像の高書面により同意を得たボランティアに対し，主磁品質化を目的として，残差学習法を応用した非ラ界強度が 1.5T のキヤノンメディカル社製 MRI にンダム間引き収集を利用した CS 深層学習再構成

よって撮像を行った頭部のプロトン密度強調像をについて検討を行った．ランダム間引き収集によ使用した．撮像条件として，高速スピンエコー法をる再構成像と比較を行い本方法の有効性を検証す使用し，各パラメータは TR が 3000ms，TE がる．

13ms，スライス厚 3.0mm，フリップ角度90° ，分2．残差学習法

解能 0.94mm，マトリクスサイズ256 × 256である．

残差学習法は，K. He らが提案した残差学習[6]4.2 ネットワークの学習条件と計算機環境にバッチ正則化[7]を組合せて応用したものである．

ネットワークの学習および画像再構成に用いた残差学習法では，雑音重畳画像から雑音除去像を計算機環境を表 1 に示す．学習には GPU を用いて推定するのではなく，ネットワークに入力された

約 20 分を要した．また，学習の際に使用したネッ

画像に重畳している雑音成分を推定し，それを入トワークの設定を表 2 に示す．パラメータ更新に

力画像から減算処理することで雑音除去像を出力用いる損失関数は，真のアーティファクトと推定する．K. Zhang らは残差学習法を利用した CNN

アーティファクトの平均二乗誤差𝑙(Θ)とした．全 Nを雑音除去に応用し，従前の非線形フィルタを上枚の学習用画像のうち i 番目の画像における損失

回る雑音除去性能が得られることを示した．

関数には次の式(1)を使用した[8]．
このときΘはネッ

3．深層学習を利用した CS 再構成

トワークのパラメータを表している．

本研究では残差学習法を用いる CNN(Deep𝑁1𝑙(Θ) =∑‖𝑅(𝑦𝑖 ; Θ) − (𝑦𝑖 − 𝑥𝑖 )‖22
2𝑁

Residual Learning CNN: DRL-CNN と称する)．

𝑖=1を使用する．図 1 に DRL-CNN のアーキテクチャ

558

(1)

CPU
RAM
GPU
Software

表 1 計算機環境

5. 考察Intel Core i7-4790 (3.60GHz)
32GB (PC3-12800)
NVIDIA GeForce GTX1800
MATLAB R2017b
MatConvNet 1.0-beta25
CUDA Toolkid 9.0/ cuDNN 7.0.5

非ランダム間引きによる再構成とランダム間引きによる再構成を比較すると，図 3 より非ランダ
ムの方が弱いアーティファクトがやや多く認められるが，図 3(b)に示す CNN に入力したゼロフィル
再構成像上の殆どのアーティファクトを除去する

表 2 学習時のネットワーク設定
パラメータ更新手法
バッチサイズパッチ
マトリクスサイズ
パッチのストライド
エポック数
学習用画像
学習係数

ことができた．これは非ランダム間引きによって

Adam
128

ゼロフィル再構成像に生じたアーティファクトが40 × 40

規則的な現れ方をすることにより，CNN による学1030
MR 実画像 40 枚
1~10 エポック：10−3
11~20 エポック：10−4
21~30 エポック：10−5

習が容易になり，効果的にアーティファクトの除ランダム雑音状にならずにコヒーレント性の強い去が行われたものと考える．表 3 に示す PSNR とSSIM の評価結果より，PSNR と SSIM のいずれも非ランダム間引きの方が優れた数値が得られた．
また，再構成像の拡大図においてコントラストの表現を比較すると，信号収集比が小さい場合のラ

4.3 画像再構成

ンダム間引きによる再構成は，ややぼやけた画像

学習用データセットとは異なる 7 枚のプロトンになる傾向にあったが，非ランダムによる再構成

密度強調像を使用し，信号収集比を 30%，40%，50%ではより鮮鋭な画像が得られた．赤矢印に示す個として画像再構成を行った．使用した信号間引き所に着目すると，非ランダム再構成の方が鮮鋭さ収集のパターンを図 2 に，再構成の結果を図 3 にを有しており，画像の構造保存性が高いことがわ

示す．

かる．コントラストの面でも良好な復元が行われ画質の定量的評価にはピーク信号対雑音比ていた．規則的に信号間引きを行うと折り返しア

PSNR(Peak Signal-to-Noise Ratio)および画像の構造

ーティファクトが現れるが，像自体に“ぼけ”は生的 類 似 性 を 評 価 す る SSIM(Structural SIMilarity

じにくい．一方，ランダム間引きでは，アーティフ

index)[9]を用い，7 枚の再構成画像の評価値を平均

ァクトのコヒーレンス性は低くなるが，画像に“ぼしたものを比較に使用した．表 3 に PSNR と SSIM

け”が生じる傾向がある．そのため，アーティファの評価結果を示す．

クトを正確に検出・除去することができれば，規則
表 3 再構成画像の評価結果
信号収集比
30%
40%
50%

PSNR[dB]
30.74
27.81
33.66
29.65
38.16
33.00

信号間引き法
非ランダム
ランダム
非ランダム
ランダム
非ランダム
ランダム

559

SSIM
0.95320.93200.97610.95080.99130.9714

利益相反の有無なし

文 献[1] Donoho DL: Compressed sensing ．IEEE Trans
Inform Theory，52: 1289–1306，2006[2] Candès EJ ， Wakin MB: An Introduction To
Compressive Sampling．IEEE Signal Processing
Magazine，25: 21–30，2008[3] Ito S，Ito K，Shibuya M，et al: Compressed Sensing
MRI using Higher Order Multi-scale FREBAS forSparsifying Transform Function ，SPIE Medical
Imaging 2015，9413-16，Orlando，USA，2015

図 2 本研究で使用した信号間引き収集パター
ン
的な間引きを行う提案法の方が鮮鋭な画像を再構成できる可能性がある．以上の理由により，表 3 に[4] Wang S，Su Z，Ying L，et al: Accelerating magnetic
resonance imaging via deep learning．IEEE 13th
International Symposium on Biomedical Imaging，
Prague，2016，pp514-517

示すように非ランダムな間引き収集による再構成
像は，PSNR と SSIM ともにランダム間引きよりも高い値を示したものと考える．CNN を利用する再[5] Han YS，
Lee D，Yoo J，
et al: Accelerated Projection
Reconstruction MR imaging using Deep Residual
Learning．25th Anuual Meeting of International
Society for Magnetic Resonance in Medicine ，Hawaii，O690，2017

構成法にあっては，規則的な間引きは有望な方法である可能性が本研究により示された．

6. まとめ[6] He K，Zhang X，Ren X，et al: Deep Residual
Learning for Image Recognition．IEEE Conference
on Computer Vision and Pattern Recognision，Las
Vegas，2016，pp770-778

本研究では，圧縮センシングの MRI 応用において再構成像の品質安定化と再構成の高速化を目的として，非ランダム間引き収集を利用した深層学[7] Ioffe S ， Szegedy C: Batch normalization:
Accelerating Deep Network Training by Reducing
Internal Covariate Shift ． 32nd International
Conference on Machine Learning，37，448-456，
2015

習再構成について検討を行った．その結果，汎用的なランダム間引き収集を利用したCS 深層学習再構
成よりも構造の保存性に優れ，かつコントラスト[8] Zhang K，Zuo W，Chen Y，et al: Beyond a
Gaussian Denoiser: Residual Learning of Deep
CNN for Image Denoising．IEEE Transactions on
Image Processing，26，3142-3155，2017の良好な再構成像を得ることができた．今後は再構成像のさらなる高品質化に向けてネットワーク
アーキテクチャの改良について検討するほか，3 次[9] Wang Z，Bovik AC，Sheikh HR，et al: Image
Quality Assessment: From Error Visibility to
Structural Similarity．IEEE Trans Image Proc，
13:600-612，2004

元撮像について検討を行う予定である．

謝 辞
本研究の一部は，科学研究費補助金(16K06379,
19K04423)の補助を受けて実施された．また，研究遂行にあたり，画像データを提供いただいたキヤノンメディカルシステムズ(株)に感謝の意を表し
ます．

560

図 3 再構成結果：(a, c)フルデータ像，(b, d)ゼロフィル再構成画像，(e, g, i, k, m, o)非ランダム間引き再構成，(f, h, j, l, n, p)ランダム間引き再構成

561

Deep Learning based Image Reconstruction in MR Compressed Sensing
using Non-randomly Under-sampled Signal
Yuki SATO*1, Ryo KAZAMA*2, Satoshi ITO*1*1 Graduate School of Regional Development and Creativity, Utsunomiya University*2 Medical Systems Co., Ltd.

Reduction of acquisition time is a major issue in MRI. A recently proposed theory, Compressed Sensing (CS)
has been applied to MR imaging (CS-MRI). In general, random under-sampling in signal space is used in CSMRI and high-quality images can be reconstructed using small amount of signal; however, image quality
depends on the randomness of sampling pattern. We have been studied a new CS-MRI method that uses
regularly under-sampled signal in order to stabilize the obtained image quality.
In this paper, a novel CS-MRI image reconstruction method for non-randomly under-sampled signal using
Deep learning was proposed and demonstrated. Simulation and experiments showed that high quality images
having sharp edges and keeping the contrast of tissue ware obtained.
Key words: Non-randomly sampling, Compressed Sensing, Deep Learning, Residual Learning, Reconstruction562

OP5-02

CT 画像再構成におけるメタルアーティファクト除去の新手法
千北

一期*1

工藤

博幸*1

森

和希*1

金

鎔采*1

要旨
金属クリップや歯科用インプラント等，人体に比べて吸収係数が高いオブジェクトを含む対象に対して CT
画像再構成を行った場合，ビームハードニング等の物理現象によって再構成画像にメタルアーティファクトが発生する．従来は step 1.メタル部分を同定し，step 2.金属部分を通過する投影データを補間等によって埋めることでアーティファクトを抑制していた．この方法は 2step 必要であり演算の過程で数理的に不確かな仮定を置くことによって解かれる．提案法では，これらの問題を解決する．方法は Kudo によって提案されたフォルトトレラント画像再構成［1］に基づいており金属部分を通過した投影データを異常値としてみなしこれを除去する再構成法として適用する．また，データ項には Huber ノルム，損失項には NonLocalTV［2］を適用することで，従来の方法と同程度の精度の再構成画像を構築することができ，メタ
ルアーティファクト問題に対する新しい方向性の枠組みが提唱された．
キーワード：CT 画像再構成，メタルアーティファクト，フォルトトレラント CT，NonLocalTV，Row-Action

1．はじめにる．

人体の吸収係数に比べて高いオブジェクト

これまでこの問題に対して，主にセグメンテ

を含む物体に対して CT 画像再構成を行うと，ーションによってメタルの位置を同定し，この筋状のアーティファクトや黒い帯状のアーテ

事前情報を用いた再構成法[3] が多く取られてィファクト等が発生する．原因は連続 X 線が物

きた． この方法ではまず，メタル部分を二値化

質を透過する際，高エネルギーのものに比べ低処理等でマスクし，メタル部分の投影データ上

エネルギーのほうがより吸収するという性質

での影響を逆投影を用いて考える．次に，投影のためである．この結果，エネルギーのピーク

データ上でのメタルの影響が現れる部分をマが本来の位置よりも低い方向にシフトしてしスクしたデータから導き出し，ここを線形補間

まい画像に不合理が発生する．これらの問題はや反復的な手法によってメタルの影響のない

総称としてメタルアーティファクトと呼ばれ状態の画像を復号する．これを背景画像と呼ぶ．
最後にマスクしたメタル画像と背景画像を画――――――――――――――――――

像的に重ね合わせ最終的にメタルアーティフ*1 筑波大学大学院システム情報工学研

ァクトを除去した画像を得る．

究科コンピュータサイエンス専攻

この方法は背景画像とメタル画像を分離す〔〒305-8573 つくば市天王台 1-1-1〕

るステップと背景画像を復号するステップのe-mail:chigita@imagelab.cs.tsukuba.ac.jp

二段階のステップが必要であり，その過程で数理的に不確かな仮定を置く必要がある，メタル

投稿受付：2019 年 5 月 15 日を正しく分離する必要があるといった問題が

563

残る．

フォルトトレラント再構成法において，式（2）

これらの問題点を解決するため本研究では，のように𝐿2 ノルムを用いる理由として，異常値

フォルトトレラント再構成法に基づく方法をの影響を受けないように正しい画像を再構成提案する．フォルトトレラント再構成法は投影

し，異常値に対して頑健であるためである．ま

データ上に真値から大きく外れた値があるとた通常の再構成法の𝐿+ ノルムを用いる方法に比

きにも，この外れ値や異常値の影響に頑健な再べて異常値に対して鈍感に再構成されるため，構成法である．

異常値部分だけを取り除くことができる．

フォルトトレラント再構成法を適用するこ

この再構成法が用いられる例として，CT 装とで，従来必要だった２つのステップを統合し，置の一部の検出器が壊れているケース，ある投

数理的に正しい仮定のもとで問題を解くこと

影方向のデータのみ欠損しているケースなどができる．本研究では歯科用 CT 及び腹部 CT 画が挙げられる．これらは観測に失敗した欠損値

像 に 対 し て メ タ ル ア ー テ ィ フ ァ ク ト の 除 去のを異常値として捉えることで，フォルトトレラ

実験を行った．

ント再構成法を適用している．
メタルアーティファクト除去に適用する場

2．手法

合にも同様に考える．メタルによる影響を異常

2.1 従来手法

値として捉えることで，メタル位置やその影響

フォルトトレラント再構成法について説明を同定し，影響を受けていない画像をフォルトするため，まずは通常の CT 画像再構成の方法

トレラント再構成法によって作る．よって最終について示す．

的に以下の式（3）の一式のみを解くことでメタ

通常の逐次近似的手法では評価関数としてルアーティファクトの除去を実現する．

デ ー タ 項 𝑓(𝒙)と 正 則 化 項 𝜓(𝒙)の 和 に よ っ て 表min

す方法である．特にデータ項は式（1）のように

𝒙

𝑨𝒙 − 𝒃 22 + 𝛽𝜓(𝒙)

(3)

表される．
正則化項𝜓(𝒙)は再構成画像の隣接画素のなめ
𝑨𝒙 − 𝒃 ++𝑓 𝒙 =らかな輝度変化を評価する TotalVariation のう(1)

ち，局所的な変化に対しても適切に評価されここで，𝒙 ∈ ℝ. は再構成対象となる画像の画素

る NonLocalTV を用いる．ここで𝛽は重みを示を並べたベクトル，𝒃 ∈ ℝ/ は投影データの標本

すパラメータである．

地を並べたベクトル，𝑨 ∈ ℝ/×. は投影操作を意
2.3 提案手法 2: Huber 損失関数を用いる方法

味するシステム行列とする．
本論文では𝐿2 ノルムを用いたフォルトトレラ

こちらのフォルトトレラント再構成法ではント再構成法及び，Huber 損失関数を用いたフ

データ項𝒇(𝒙)に対して Huber 損失関数を用いる

ォルトトレラント再構成法の 2 つについて示す．

これを適用すると式（4）となる．ただし，式（4）中で出てくる関数𝑯(𝒙)は Huber 損失関数であり，式（5）で表される．

2.2 提案手法 1: 𝑳𝟏 ノルムを用いる方法
こちらのフォルトトレラント再構成法では

𝑓 𝒙 =データ項𝑓(𝒙)に対して，𝐿2 ノルムを用いる． 適
用すると式（2）となる．

8

𝐻(𝒂76 𝒙 − 𝒃6 )

=
692

𝑓 𝒙 =

𝑨𝒙 − 𝒃 228

𝒂76 𝒙 − 𝒃6

=

(2)

692

564

𝑨𝒙 − 𝒃 7(4)

𝐻 𝒙 =

𝑥+
2

𝑇+
𝑇𝑥 −
2

Algorithm 1 : Proposed Method[step0] 初期化
Require: 𝛼P > 0，𝜀 > 0，𝒙(P,2) ← 𝟎
Ensure: 𝒙(W,2)
for 𝑘 ← 1, 𝑛 do
[step1] stepsize の更新

𝑥 <𝑇
(5)
𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒𝛼 ([) ←\]
2^_[[step2] 各投影方向に対する演算
for 𝑖 ← 1, 𝐼 do

また，式（5）において T は原点付近での𝑳𝟐 ノ
ルム的振る舞いを行う部分とその他領域での

𝒃 b𝒂c 𝒙(d,e)

𝑒 ← − 𝒊 (d)𝒊𝟏

𝑳 ノルム的振る舞いを行う部分の境目を担う

\

𝒂𝒊 f
f

−1
𝑒 ≤ −1𝜆 ← 𝑒 −1 < 𝑒 < 11𝑒≥1[step3] 解の更新
𝒙([,6^2) ← 𝒙([,6) − 𝜆𝛼 ([) 𝒂𝒊
endfor[step4] 正則化項の最適化問題を解く
𝒙([,8^+) ← prox\ d n(𝒙) (𝒙)閾値である．
この性質はメタルアーティファクト除去においては，𝑳𝟏 ノルムが異常値に対して鈍感に作用した結果，メタルアーティファクト以外のノイズに対しても鈍感に反応してノイズがうま
く消されない問題を解決する．𝑳𝟐 ノルム的振る[step5] 𝑘の更新
𝒙([^2,2) ← 𝒙([,8^+)
endforreturn 𝒙(𝒏,𝟏)

舞いを行う部分で通常のノイズを除去し，𝑳𝟏 ノ
ルム的振る舞いを行う部分によってメタルア
ーティファクトを除去することにつながる．最終的には式（6）のみを解くことで再構成画像を得る．正則化項は𝑳𝟏 ノルムを用いる方法と同様

3．実験結果に NonLocalTV を用いる．

3.1 データ作成

min𝒙

𝑨𝒙 − 𝒃 7 + 𝛽𝜓(𝒙)今回の実験ではメタルアーティファクトの(6)原因となる主に 2 つの現象をシミュレーション
する．対象画像は歯科用 CT で用いられたデー

2.4 NonLocalTVタである．埋め込むメタルは直径 2.6mm，3.6mm，

NonLocalTV は，エッジ保存が効く非線形フ4.6mm の円形，素材はアマルガムとし，これら

ィ ル タ で あ る (NonLocalMeans: NLM) を ハ イ

を画像中に埋め込む．画像は 185mm×185mm とパーパラメターとして用いる TV の拡張方法のした． 投影方向数は 512 方向とした．表示する一つである．NLM の重みは線模様のようなもの

コントラストレンジは𝜇換算で[0.0,1.0]とした．

に対して大きくなる性質がある．そのため，メシミュレーションはビームハードニングにタルアーティファクトによって生じる線状の関するもの[5-6] と，ポアソンノイズに基づく

アーティファクトに対しても通常の TV や重み計測誤差の 2 つである．

付き TV に比べてノイズ除去に大きく寄与する
ことが予想される．
2.5 反復式
式（3）及び式（5）を Row-Action 型の近接ス
プリッティング[4] によって解くために反復式の形に変形する．まとめたものを Algorithm1 に示す．

図 1 歯科用 CT 画像(左)及びメタルを含んだ
歯科用 CT 画像(右)565

FBP 法提案法(𝐿2 ノルム)

OS-SART+TV 法

提案法(Huber 損失関数)

図 2 実験結果
表 1 数値評価
FBP 法

OS-SART+TV 法

提案法 1(L2 ノルム)

提案法 2(Huber 損失関数)

RMSE

0.411738

0.476509

0.233891

0.2332707

PSNR

37.168181

35.899183

42.080355

42.124429

SSIM

0.921136

0.961689

0.995088

0.995033

図 1 にメタルを埋め込む前の画像及び，メタルることがわかる．特に SSIM で比較した時によを埋め込んだ理想的な再構成画像を示す．

り良い結果を示している事がわかる．これは評価指標から考えるに，細部の構造が他の方法に3.2 評価指標

比べて詳細に再構成できていることを意味す

定量的な評価指標として RMSE，PSNR，SSIMる．

を用いる．また定性的にも評価する．各指標の次に，定性的に評価する．定性的にみると，提案法は他の 2 つの手法に比べてストリーク

式は以下のようになる．
𝑅𝑀𝑆𝐸 =1𝐽

PSNR = 20 log2P

アーティファクトが除去できている．これは，

x𝒙𝒋 − 𝒙w+(7)

正則化項として，NonLocalTV を採用した結果と考えられる．NonLocalTV は各サポートウィ

y92

MAX +
1
𝐽

+
x
y92 𝒙𝒋 − 𝒙w

ンドウの中で重みを最小にする効果があるた(8)め，この結果が出ていると定性的に評価できる．
4．まとめ

SSIM =(2𝜇„ 𝜇„ + 𝑐2 )(2𝜎„„ + 𝑐+ )+(𝜇„ + 𝜇„+ + 𝑐2 )(𝜎„+ + 𝜎„+ + 𝑐+ )実験により，メタルアーティファクトの問題(9)を 1 つの単純な式の求解にモデル化できたこと，
フォルトトレラント再構成法がメタルアーティファクトの除去に有効な手法であることが3.2 実験

示された．また，これが Row-Action 型の反復式

比較対象として FBP 法 ，OS-SART＋TV 法

によって解くことが可能であることも示され[7]， 提 案 法 (𝐿2 ノ ル ム を 用 い る も の )， 提 案 法た．

(Huber 損失関数を用いるもの)で比較する．実際

さらに，正則化項に NonLocalTV を用いるこに再構成された画像を図 2 に示す．また，これとでより効率的にノイズを除去できることがらの数値評価の結果を表 1 に示す．

分かった．

まず定量的に評価する．表 1 を見ると提案法

今後の課題として，より細かなコントラスト

がどの従来法に比べても良い結果を示していの保存の手法の検討が求められる．

566

利益相反の有無
なし
文

［1］

献

H.Kudo, K.Takaki, F.Yamazaki et al.:［5］

Proposal of fault-tolerant tomographic

X-ray

image reconstruction Proceedings Volume

Simulation Study.IEEE Trans. Nuclear

9967, Developments in X-Ray Tomography

Science Symposium, pp. 1860-1865, 1998.

X; 99671K, 2016.
［2］
［3］

［6］

Computed

Tomography:

A

Ramakrishna K, Muralidhar K, Munshi P.:
insimulated

X-ray

Xavier Bresson.: A Short Note for Nonlocal

Beam-hardening

TV Minimization, Technical Report, 2009.

tomography.NDT&E International. vol 39,

Xiaomeng Zhang, Lei Xing.: Sequentially

pp 449-457, 2006.

reweighted TV minimization for CT metal［4］

B. De Man, et al.: Metal Streak Artifacts in［7］

R. Gordon, R. Bender, and G. T. Herman.

artifact reduction. Med. Phys., vol. 40, no.

Algebraic reconstruction techniques (ART)7, pp. 071907-1-071907-12, 2013.

for threedimensional electron microscopy

PL.Comettes,J.-C.Pesquet.:Proximaland x-ray photography. J. Theor. Biol., Vol.

splitting method in signal processing, Fixed

29, pp. 471481,1970.

Point Algorithmsfor Inverse Problems in
Science and Engineering, 2010.

567

A New Framework for Metal Artifacts Reductionin CT Image Reconstruction
Kazuki CHIGITA*1, Hiroyuki KUDO*1 , Kazuki MORI*1, Yongchae KIM *1*1 Graduate School of Information and Systems University of Tsukuba

Metal artifacts caused by implants for teeth degrade quality of CT image. In this study, we propose a new framework
to solve the problem of metal artifact in CT image reconstruction. Up to now, the algorithm for metal artifact reductionneeds two step. In the first step, detecting metal in sonogram image. The second step, reconstruct CT image which
exclude effect of metal using first step data with interpolation. However, our solution consists from only one step. The
key idea of this method is using Fault-Tolerant image reconstruction. Fault-tolerant image reconstruction wasdeveloped for image of including deficit measurement data by Kudo et al [1]. We apply to the problem of metal
artifacts reduction. In Fault-tolerant image reconstruction, it uses L1 norm error or Huber error for data term, and total
variation for regularization term. In proposed method, NonLocal TV [2] is used for regularization term, and solved
with proximal splitting. The results demonstrate that the proposed method is able to reduce the metal artifacts
successfully most cases.

Key words: CT Image Reconstruction, Metal Artifact, Fault-Tolerant Image Reconstruction, NonLocal TV,
Row-Action568

OP5-03

Computed Tomography Image Reconstruction from Neighbor
Slices using 2D U-Net Convolutional Networks
Shuqiong WU*1，Megumi NAKAO*1,
Mitsuhiro NAKAMURA*3,

Keiho IMANISHI*2

Tetsuya MATSUDA*1

Abstract
Usually, computed tomography (CT) image reconstruction refers to a process of creating tomographic images from thesinogram. To reduce the radiation during the scanning, many algorithms were proposed to realize the reconstruction
from sparse viewpoints. Generally, these methods can be divided into two categories: analytical and iterative
approaches. Analytical methods are difficult to achieve high accuracy, whereas iterative algorithms suffer from highcomputation cost. To solve the problem, we apply 2D U-Net convolutional networks to CT image reconstruction. In
contrast to the conventional methods, the proposed approach realizes the reconstruction from already created CT slices,not the sinogram. Using the U-Net, we can create a middle slice between two adjacent CT slices. This means that we
can decrease the number of slices to reduce the radiation. We compared the proposed algorithm with linear interpolation.
Experiment results show that the proposed approach totally outperforms the linear interpolation.
Keywords：Computed tomography, sinogram, U-Net, CNN, reconstruction

1. Introduction
Medical diagnosis based on CT images brings people great benefits because they can present every detail of the innerhuman body. However, the patients also suffer from radiation during a CT scanning. To solve the problem, many
researchers focus on developing approaches for low-dose CT. The mainstream is sparse-view-based image
reconstruction [1-3], which reduces the radiation by scanning from less viewpoints. One popular method is Filtered
back-projection (FBP) that can reconstruct CT images from the sinogram in a high speed [1]. However, noise andartifacts often occur as the number of scanning viewpoints reduces. To address this issue, many studies apply iterativetechniques to refine the reconstruction, though it brings more calculation [2]. Recently, an approach based on
convolutional neural networks (CNN) was proposed to reconstruct the CT images [3]. It outperforms many traditional
methods in both accuracy and speed. Differently from these algorithms, our study aims at reconstructing CT images
from already reconstructed slices, i.e. a new middle slice can be created from two adjacent slices. Then the radiation canbe reduced by using less slices.
――――――――――――――――――――――――――――――――――――――――――*1 Graduate School of Informatics, Kyoto University〔Yoshida-honmachi, Kyoto, 606-8501, JAPAN〕
e-mail: wusq@i.kyoto-u.ac.jp〔Shuqiong Wu〕*2 e-Growth Co., Ltd.〔403, Shimo-Maruya-cho, Nakagyo-ku, Kyoto, 604-8006, JAPAN〕*3 Graduate School of Medicine, Kyoto University〔53 Kawahara-cho, Shogoin, Kyoto, 606-8507, JAPAN〕

569

This idea is almost novel, and a straightforward method to fulfill this goal is interpolation. However, to achieve higher
accuracy, we propose a U-net based method for the reconstruction.
2. Proposed algorithm
Recently, U-net was widely applied to medical image segmentation because of its high efficiency. It is a CNN whoselayers are aligned in a U structure [4]. It performs better on medical images than other machine-learning methods because
the U structure extracts both global and local features. In this research, the U-net is adopted for creating new images
instead of segmenting images. The whole architecture of the proposed method is shown in Fig. 1.

Fig. 1 Architecture of the proposed algorithm

Figure 1 shows the CT slices of one patient, where T denotes the index and N denotes the total number of the slices. The
inputs of the U-net are two slices (T-1 and T+1), and the output is the middle slice (T) between the two inputs. The
proposed method reconstructs half of the slices by U-net rather than CT scanning, so that the radiation can be halved. In
our experiment, we totally collected CT data from 130 patients. We used 5 cross-validation to evaluate the proposed
method, which means 104 are for training, and the remained 26 are for test. We used the absolute error in gray scale ([0255]) for the evaluation. The proposed algorithm was compared with the traditional linear interpolation. Table 1
summarizes all the comparison results of five crosses, which shows that an average of 14.49% improvement wasachieved by the proposed method. Figure 2 shows an example of the reconstructed CT images. The proposed method
reduces noise and artifacts significantly comparing with the linear interpolation. Here, GT means the ground truth.
Table 1 Comparison of the proposed method with linear interpolation
Mean-error-rate
Cross-validation1
Cross-validation2
Cross-validation3
Cross-validation4
Cross-validation5

Interpolation
2.138
2.481
2.603
2.677
2.839

Proposed method
1.860
2.124
2.313
2.289
2.287

Improvement
13.00%
14.39%
11.14%
14.49%
19.44%

3. Conclusions
This paper proposes a U-net-based method for CT image reconstruction. It reconstructs high quality CT images fromadjacent slices. Compared with linear interpolation, the proposed approach reduces the absolute error rate significantly.

570

Fig. 2 Example of the CT image reconstruction

Competing interests
No conflict of interest
Acknowledgement
This research was funded by the Japan Agency for Medical Research (AMED) and the Acceleration Transformative
Research for Medical Innovation (ACT-M) Program. A part of this study was also supported by JSPS Grant-in-Aid for
Scientific Research (B) (grant number 18H02766). This study was performed in accordance with the ethics committee,
Kyoto University.

References［1］Zhang S, Li W, Tang G, et al: Study on image reconstruction algorithm of filtered backprojection. Journal of Xianyang Normal
University 23: pp. 47-49, 2008.
［2］Selim M, Rashed E.A, Atiea M.A, et al.: Image reconstruction using self-prior information for sparse-view computed tomography.

571

The 9th Cairo International Biomedical Engineering Conference, pp. 146-149, 2018.
［3］Gupta H, Jin K.H, Nguyen H.Q, et al.: CNN-based projected gradient descent for consistent CT image reconstruction. IEEE
Transactions on Medical Imaging Vol. 31, No. 6, pp. 1440-1453, 2018.
［4］Long J, Shelhamer E, Darrell T: Fully convolutional networks for semantic segmentation. CVPR: pp. 3431-3440, 2015.

572

OP5-04

TV 正則化と辞書学習を用いた
OS-EM 法における PET 画像再構成
奥村 直裕*1

庄野 逸*1*2

要旨
陽電子放射撮影(Positron Emission Tomography：PET)スキャンは，癌の発見などの病理診断で注目されている．PET スキャンにおいて鮮明な画像を得ようとすれば，S/N 比をあげる必要があり，
これは観測時の被曝量増加につながる．このため被曝量を抑えつつ，画像の S/N 比をあげることが望まれている．本研究ではこの問題に対して，実画像表現とサイノグラム表現のそれぞれにおけるノイズ除去手法を組み合わせた手法を提案する．サイノグラム表現に対するノイズ除去
手法としては，辞書学習を用いた手法を適用した．実画像表現に対するノイズ除去手法としては，正則化アプローチに基づいた手法を適用した．このような 2 種類のノイズ除去手法を組み合わせてノイズ除去を行うアプローチは，従来手法と比較して有効であることを確認した．
キーワード：PET 画像再構成，スパースモデリング，辞書学習，K-SVD

1．はじめにて扱うことが多い．このようなパラメータを推現在，癌の発見といった病理診断において，定 す る 方 法 の １ つ に 最 尤 推 定 法 （ Maximum

陽 電 子 放 射 断 層 撮 影 （ Positron Emission

Likelihood estimation：ML 法）がある．最尤推定

Tomography：PET）スキャンが有効とされてい法は取得したデータに対して，モデルとなる確

る．PET スキャンでは，トレーサと呼ばれる陽率分布が，最も尤もらしくなるパラメータ値を

電子を放射する放射性物質を患者に注入し，複推定する手法である．ML 法を用いた場合，推数方向から観測を行うスキャナに測 定部位を定に用いるデータが多いほど，より正確にパラ通すことでトレーサの分布データを採集する．

メータを推定することができる．PET 画像や観測は投影とも呼ばれ，得られた観測データは

CT 画像において，最尤推定法を用いて再構成

サイノグラムと呼ばれる．サイノグラムから元画像を得る手法としては，ML-EM（Maximumの空間でのトレーサ濃度の分布を画 像化する

Likelihood Expectation Maximization）法が提案さ方法は，画像再構成と呼ばれる．画像再構成は，れており［1］，ML-EM 法を高速化する手段としサイノグラムからトレーサの濃度を パラメーて OS-EM（Ordered Subsets EM） 法が提案されタとして推定し，この推定濃度値を画素値としている［2］． このような最尤推定ベースの手法
で S/N 比の高い鮮明な画像を得ようとした場合，――――――――――――――――――

十分な投影角度数で S/N 比の高い観測データが*1 電気通信大学情報理工学研究科情報学

必要となる．PET において，このような観測デ専攻

ータを得ようとすると被曝量を増や さなけれ〔〒182-8585 東京都調布市調布ケ丘 1-5-1〕

ばならず，患者に健康上の悪影響を及ぼす可能

e-mail: okumura.naohiro@uec.ac.jp

性がある．逆に，患者に考慮した観測を行うと，*2 e-mail: shouno@uec.ac.jp

S/N 比の低い画像しか得られず，アーチファク573

トと呼ばれるノイズが発生してしまう．そのたの小領域が割り当てられるので，この正方格子

め，患者への被曝量を抑えつつ，画像の S/N 比状の各領域をセルとして考える．以後，各々のの高い鮮明な画像を得ることが望まれている．

セルを再構成画像の１画素として扱う．各セル

本研究ではこの問題に対して，実画像表現と内から放射された放射線は，外部に設置された

サイノグラム表現の各々においてノ イズ除去

検出器において観測される．検出器の 1 つのセ手法適用した画像再構成手法を提案している．

ンサに対して，観測されうるセルからの放射線

サイノグラム表現に対するノイズ除去では，K-の総和を 1 つの観測データとして扱う．

SVD 法と呼ばれる辞書学習手法を適用した．辞

ここで，セルの番号を𝑖，センサの番号を𝑗と書学習はスパースモデリングの一種 でデータした時，セル𝑖からセンサ𝑗への放射線量を𝑥 と表現を少ない基底の線形和で表現す るためのし，センサ𝑗で観測される光子数データ𝑦 とする．

手法である．一方の実画像表現に対するノイズ

また放射線量 xij は，ポアソン観測過程に従う除去としては正則化アプローチに基 づいた手ものとし，各セルに割り当てられた推定パラメ

法 を 適 用 し た ． 正 則 化 項と し ては ， TV(Total

ータ λ i と j 番目のセンサから見えるセルの面

Variation) ノ ル ム を 用 い た TV-EM 法 (Total

積 cij によって支配されていることを仮定する．

variation EM)を導入した［3］．この我々の提案手

すなわち，推定すべきパラメータ λi が実画像表法でノイズ除去をした画像と，従来手法で得ら現となる．一方，このような定式化のもとで最れた再構成画像について，定量評価を行い結果

尤推定を行おうとすると，放射線量 xij が非観の比較を行った．

測な不完全データとなるため，期待 値最大化
(Expectation Maximization：EM) アルゴリズムな

2．手法

どを適用する必要が出てくる．この最尤推定原

本研究では，2 つのノイズ除去手法を組み合理に EM アルゴリズムを組み合わせた手法をわせた画像再構成手法を提案する．ここでは，

ML-EM 法と呼ぶ．導出の詳細は付録に記すが提案手法でノイズ除去に用いる，画像再構成手

推定パラメータの更新式としては

法と辞書学習を用いたノイズ除去手 法につい
𝜆 =

て述べる．
2-1. 画像再構成のモデル化

1
∑ 𝑐

𝑦𝑐 𝜆
,
∑ 𝑐 𝜆

(9)

本研究では，Shepp & Logan の想定した観測が得られる．ただし，𝜆 は一回前に推定したパモデルを用いている［4］．図 1 に観測モデルのラメータで，次の繰り返しでは新たに求まった概略図を示す．まず，撮像空間を図 1 のように𝜆 を𝜆 として推定を行う．以上のように求めた

正方格子状に区切り，ここに観測対象を配置す

更新式を用いてパラメータ𝜆 の推定を行う．
ML-EM 法には推定を収束させるために膨大るものとする．各正方格子には観測対象の断面な繰り返し回数と計算時間を要してしまう．この問題を解決する為に開 発された手法が OSEM 法である．OS−EM 法では，観測データをい
くつかのサブセットに分割し，サブセット毎にパラメータ𝝀𝒕 を更新する．そして，全てのサブセットでパラメータ𝝀𝒕 の更新を行った時点で，１回の繰り返しとしている．これにより１回の繰り返しでパラメータ𝝀𝒕 を更新する回数が多くなり，結果として収束が早くなる．
2-2. TV-EM 法
図 1

ML-EM 法に対して正則化項を導入して解の再構成画像モデルの概略図574

向上やノイズ除去を行う手法も存在する．特にて K-SVD 法[8]を用いて辞書を構築している．

正 則 化 項 込 付 き の 尤 度 関 数 の 最 大 化 は MAP

ここで，サイノグラムは列方向に角度𝜃，行方向(Maximum A Posteriori) 法 に 対 応 す る た めにセンサが捉えたデータ𝒔とする行列として考MAP-EM 法と呼ばれる [6]．MAP-EM 法は正える．任意の角度𝜃 ∗ におけるデータ 𝒔 をひと

則化項を適切に設定することにより，低 S/N 比

つのデータとして捉え，このデータがひくつかのデータからでも鮮明な画像を再構 成するこの基底（アトム）とその係数の線型和で表されとが出来る．MAP-EM 法における𝜆 の更新式も，るものとする．ここで，𝑖番目の角度𝜃 のデータ

ML-EM 法と同様に導出でき，次式のようにかの集合を𝑺 = 𝒔 として，アトムの集合は 1 つ 1

ける:

つがデータ𝒔 と同じ大きさで，𝐾個からなる集
1

𝜆 =∑ 𝑐 +𝛼𝜕𝑈(𝝀𝒕 )
𝜕𝜆

𝑦𝑐 𝜆
∑ 𝑐 𝜆

合𝑫 = 𝒅 と考える．このアトムの集合𝑫を辞書(10)と呼ぶ．さらに，𝑖番目のデータに対する𝑘番目のアトムの結合係数を𝑿 = 𝒙 とすると，𝑖番目

ここで，𝑈(∙)は正則化項，𝛼 は，正則化項をどのデータ𝒔 の線型結合は次式で与えられる．

の程度の強さで入れるかを表す制御 パラメー𝒔 =タである．この正則化項として式(11)で表され

𝒙𝒊 𝒅

(12)

る TV ノルムを用いた手法が TV-EM 法である

以上の関係を表した概念図を図 2 に示す．式(12)［7］．

は，S = DX と表されるが，データとして持って𝑈(𝝀) = 𝑇𝑉(𝝀) =いる量は S のみであり， 𝑫 と X とは一般的に(𝛁𝝀)𝒎,𝒏は求めることができない．そこで，係数行列𝑿,=(𝝀𝒎,𝒏 − 𝝀𝒎 𝟏,𝒏 ) + (𝝀𝒎,𝒏 − 𝝀𝒎,𝒏 𝟏 )に対してスパース制約を導入する．辞書学習に(11)おけるスパース性とは，可能な限り少ないアト,

ここで，𝑚, 𝑛 は画像値のインデックスを表してム数で入力を表現することを意味する．ここでいる．TV ノルムによる正則化は，隣接画像の変は辞書を入力データから獲得するこ とを考え化を画像全体で少なくすることにより，エッジ

るため，𝑿の𝑖番目の結合係数のベクトルを𝒙 とや細かな造形を保存しつつノイズを 滑らかに置くと，K−SVD 法における最適化関数は次式のする効果がある．そのため，TV ノルムによる正ように与えられる．

則化を導入した TV-EM 法では，ノイズ除去を

min‖𝑺 − 𝑫𝑿‖
𝑫,𝑿

すると同時に，エッジを保存した画像再構成が行われることが期待できる．

subject to ∀ , ‖𝒙 ‖ ≤ 𝑇(13)ただし，‖∙‖ は𝐿 ノルムであり，ベクトル中の非2-3. 辞書学習を用いたノイズ除去手法

0 要素の個数を表わしている．また，‖∙‖ はフロ

本研究では，実画像表現におけるノイズ除去

ベニウスノルムであり，各要素の 2 乗和によりだけでなく，サイノグラム表現においてもノイ入力と辞書による復元結果の差を表している．

ズ除去を適用している．サイノグラム表現におこの差を小さくするような辞書𝑫と係数𝑿を各けるノイズ除去方式としては辞書学 習と呼ばれる手法を用いた．サイノグラム表現においては，実画像表現における TV ノルムのような正則化指標が有効であるかどうかは不明なため，データ駆動型のノイズ除去手段を導入した．辞書学習は，スパースモデリングの一種で，出来るだけ少数の基底の線形和で入力を 表そうとした際の基底をサンプルデータから 推定する

図 2手法である．ここではサイノグラム表現に対し

575

サイノグラム表現辞書の概念図

係数ベクトル𝒙 の非 0 要素が 𝑇 個以下になる

𝒙 =𝒙 Ω

ように更新を行う．

(18)

また𝑬 も同様に，Ω を掛けたものを𝑬 と置く．

K-SVD 法は，辞書を固定し，使用する基底とこれらを用いて式(16)を以下のように書き換え

その係数を求める STEP1 と，係数を固定し，入ることができる．

力との誤差を小さくするようアトム を更新す‖𝑬 Ω − 𝒅 𝒙 Ω ‖ = ‖𝑬 − 𝒅 𝒙 ‖(19)

る STEP2 を繰り返すことで学習する．提案手法

これにより𝑬 を SVD によりランク１近似しでは STEP1 として，OMP（Orthogonal Matching

た解を直接使用することができ，アトムと係数

Pursuit）［9］を用いた．OMP では，観測信号 𝑺のベクトルを同時に更新することが 可能となをアトムとサポート（非 0 の係数集合）との線

る．

型結合で近似した時の残差が最小に なるよう

以上のような STEP1 と STEP2 を繰り返し行

な基底をサポート集合に逐次的に追 加していい，サイノグラム表現に対する辞書を構築する．

くことで，使用するアトムと係数を求めている．

学習後，構築した辞書 D を用いて，入力のサイ

次に STEP2 を考えてみよう．K-SVD 法では，

ノグラムに対する係数を OMP により求める．

1 回につき 1 つのアトムを更新するため，まずこのとき学習データに現れないノイ ズ成分等更新する𝑘番目のアトム𝒅 とその係数ベクトル

は係数値が小さいアトムで表現され ることが𝒙 に着目し，式(13)の最適化関数を次式のよう期待できる．このため前述の T0 個以下のアトに書き変える．

ムしか使わないというスパース制約 条件を用いるとノイズ成分を除去することが 可能にな

‖𝑺 − 𝑫𝑿‖ = 𝑺 −

𝒅𝒙

る．

(14)

3．シミュレーション実験= (𝑺 −𝒅 𝒙 )𝒅 𝒙

本章では，前章で説明した提案手法を用いた画(15)

像再構成手法を，辞書学習によるノイズ除去手(16)

法のみを用いてノイズ除去を行い OS-EM 法に

𝑬 は入力とアトム𝒅 以外のアトムと係数により画像再構成する手法と TV-EM 法による画より復元した結果との残差を表している．すな

像再構成の 2 つの従来手法との性能比較をした．

わち，𝑘番目のアトムはこの残差成分を効率良実験設定，定量評価手法，実験結果についてはく表すことが求められている．式(16)を最小化

各節で説明をする．

する最適な𝒅 と𝒙 は𝑬 を SVD（Singular Value

3-1．画像データ

Decomposition）により第一特異値に付随する特評価 実験 に用いる画像データ は東 京都長寿異ベクトルで近似することで求める ことが出

医療センター研究所から提供された 2 種類のデ来る．ただし，SVD によって得られる係数ベクータを用いた．1 つ目は，HOFFMAN 3D 脳ファ

トルは密なベクトルとなるため，非 0 要素を増ントム画像である［10］．Hoffman ファントムのやしてしまう．この問題を解決するために𝒙 の画像例を図 3 に示す．これは通常の脳中のラジ

非 0 要素のインデックスを表すような𝜔 を以下

オアイソトープ分布を解剖学的に正確に 3 次元のように定義する．

で観察することができるプラスチッ クモデル

= ‖𝑬 − 𝒅 𝒙 ‖(17)であり，放射線同位体を含む液体を注入し，フさらに，(𝜔 (𝑖), 𝑖)の位置の要素のみが 1 であァントム内での液体の摂取比 4:1:0（ 赤色：水色：

るような大きさ𝑁 × |𝜔 |配列Ω を考える．これ青色）でシミュレートできる．Hoffman ファン

を𝒙 に掛けることにより以下のような非 0 要素

トムの観測データは高さ方向に 20 分割した画のみで構成されるベクトル𝒙 に変換すること

像枚数は脳を 20 分割した 20 枚である．サイノができる．

グラムと再構成画像の例を図 4 に示す．サイノ𝜔 = {𝑖|1 ≤ 𝑖 ≤ 𝑁, 𝒙 (𝑖) ≠ 0}

576

図 4

HOFFMAN 3D 脳ファントム画像の画像例

図 5

放射線量減衰の推移

成するための学習データが必要であるため，これらは，ILSVRC2012[11]で用いられた自然画像
データセットをラドン変換したもの を用いて
(a) サイノグラム
図 3

いる．

(b) 再構成画像①辞書のアトムの数：256

サイノグラムと再構成画像の例②再構成する際に用いるアトムの数𝐿：20グラムの枚数は，1 回の観測で 63 スライス撮像③ K-SVD の繰り返し回数𝑖𝑡𝑒𝑟：200を行う観測を一定時間間隔で 40 回行ったため，④辞書の学習に用いるデータセット： 128×63×40 枚である．提案手法，従来手法による再128pixel の自然画像 400 枚をサイノグラムに構成はこのサイノグラムを用いて行った．この変換したデータ 400×128=51200 枚．画像例

2 種類の画像のサイズは共に 90×90pixel であを図 6 に示す．

る．

⑤ OS-EM 法のサブセット数：8

3-2．PET データの概要

観測回 1，15，30，スライス 19，投影角度数 64 ，実機での観測は，1 回の観測で 3 分間スキャ

8，EM 法の繰り返し回数 1，5，10 の画像再構ンを行い，全観測が終了するまでに 120 分を要成結果を図 7，図 8，図 9 に示す．この再構成結した．観測に使われた放射性同位体は 𝐶 であ果の定性評価を行う．投影角度数 64 の場合，観り，半減期は 20.39 分である．観測時の放射線

測回数 1 回では十分に観測信号が強いためどの量の減衰の推移を図 5 に示す．このように時間手法でも元の脳構造を再現できてい ると評価が経過するに連れて徐々に放射線量 が減少しできる．しかし，観測回数 1 回以降からは徐々ていることがわかる．本実験では，観測から 90にノイズが増加していき，観測回数 30 回にな

分以上，すなわち 30 回目以降の観測データは放射線量の減少により極端にノイズ が多くなるため，再構成を行わないものとする．
3-3．画像再構成
本実験では，提案手法，辞書学習による画像再構成手法，TV-EM 法により画像再構成を行った．提案手法ではいくつかのパラメータを決定する必要があるが，本研究では以下の値で実験

図 6を行った．ただし辞書学習においては辞書を構

577

学習データの画像例

図 7
図 7

EM 法の繰り返し回数 1 回の再構成画像
EM 法の繰り返し回数 1 回の再構成画像

図 8
図 8

EM 法の繰り返し回数 5 回の再構成画像
EM 法の繰り返し回数 8 回の再構成画像

図 9

EM 法の繰り返し回数 10 回の再構成画像

ると従来手法ではノイズにより脳構造が消え，TV 法の再構成画像はノイズにより細かな脳構提案手法でも微かに元の脳構造がわ かる程度

造が消えており，観測回数 30 回まで脳構造をになっていることがわかる．

保持出来ているのは僅差ではあるが 提案手法

投影角度数 8 の場合，観測回数 1 回から EM-のみであることがわかる．

578

図 10

ROI の抽出場所
図 11

EM 法の繰り返し回数 1 回の定量評価結果

図 12

EM 法の繰り返し回数 5 回の定量評価結果

図 13

EM 法の繰り返し回数 10 回の定量評価結果

図 14

各 EM 法の繰り返し回数における提案手法

3-4．定量評価
視覚的な定性評価は PET ではあまり意味を持たず，ある領域における放射線量がどれだけあり，どの程度変化したかが重要である［12］．
そこで，図 10 のようにファントム内の放射線量 が 一 様 な 分 布 で あ る 領 域 か ら Region ofInterest（ ROI）と呼ばれる局所領域を抽出し，この ROI 内の画素値の時間経過による推移に着目し定量評価を行った．具体的には，各観測回数において ROI 内の画素値の総和を計算し，総和の分散を箱ひげ図を用いて比較した．定量評
価結果を図 11，図 12，図 13 に示す．この定量評価では，ROI 中の分散が小さければ小さほど
ROI 中の変化が少なく，放射線量の減衰に左右されない，適切に観測が表現できている手法だと考える．定量評価結果を確認すると，各 EM
法の繰り返し回数において提案手法が他の 2 つの手法より分散を小さく出来ていることから，
サイノグラム表現と実画像表現の両 方でのノイズ除去が従来手法と比較して有効 であることがわかった．また，各 EM 法の繰り返し回数
での提案手法同士の比較も行った．この結果を
図 14 に示す．投影角度数が十分にある場合，各繰り返し数で最も分散が小さかったのは 1 回の時であり，投影角度数が少ない場合，各繰り返
し数で最も分散が小さかったのは 10 回の時であった．この結果から，投影角度数が十分にある場合に最適な EM 法の繰り返し回数は 1 回であり，投影角度数が少ない場合に最適な EM 法の繰り返し回数は 10 回であることがわかった．
4．まとめの定量評価結果

イノグラムに対し，辞書学習を用いたノイズ除

本研究では，PET スキャンにより得られたサ

去手法と EM-TV 法を組み合わせた手法を提案

579

し，これを用いて画像再構成を行うことでノイサに観測されるかを示す パラメータ𝑐 を考えズ除去することを提案した．提案手法と従来手る．𝑐 は，センサの有効範囲付近に放射される法との比較実験では，再構成画像に対して ROI

放射線の割合で決定できる．すなわち，図 1 のを用いた定量評価を行い結果を比較した．結果，

青い枠のような領域を考え，この中でセンサがサイノグラム表現と実画像表現の両 方でのノ観測する放射線を観測可能であるとする．この

イズ除去が従来手法と比較して有効 であるこ時，重なる領域とセルの面積との比により𝑐 をと，提案手法の EM 法の繰り返し回数は投影角求める．
こうした条件のもとで𝑥 の確率分布を以下

度数が十分にある場合 1 回，投影角度数が少ない場合 10 回の時が最も良く観測を表現できるのように表現できる．

ことがわかった．今後の展望として，現在辞書

𝑝 𝑥 𝜆 ;𝑐

学習を用いて学習しているサイノグ ラム表現

=

𝑐 𝜆
𝑥 !

exp −𝑐 𝜆(3)の辞書を深層学習により学習することで，更な以上のモデルを用いて，観測データ列{𝑦 }からる性能改善することを考えている．

パラメータ𝜆 を推定することで再構成画像が得られる．本研究で取り扱う Shepp & Logan の観測モデルの場合，観測データ列 𝑦 ，未知のパラ

謝辞

メータ列{𝜆 }，𝑖番目のセルから，𝑗番目のセンサ

本研究の PET スキャンデータを提供頂いたに観測される信号𝑥 を考える必要がある．このと共に，医学的観点より多くのご助言を頂きまとき𝑦 は式 2 より，複数のセルからの放射線𝑥した，東京長寿医療センター研究所の坂田氏にの和となる．しかし，𝑥 は実際には観測されて深く感謝申し上げると共に本稿の結 びとさせ

おらず，最尤推定の際に隠れ変数𝑥 を含むことていただきます．本研究は科学研究費 基盤(C)となる．この時， 𝑦 のみで構成される観測デー

16K00328 の支援を受けて実施された．

タを不完全データ， 𝑦 , 𝑥で構成される観測データを完全データと呼ぶ．
Shepp & Logan の観測モデルでは，不完全デ

利益相反の有無なし

ータからの推定問題と捉えることが できるため，対数尤度関数は以下のように考えることが

付録

できる．

A. ML-EM 法の導出

𝐿({𝜆 }) = log 𝑝 𝑦 , 𝑥

図 1 の関係から次のような確率モデルを考える; 𝜆

この対数尤度関数を解くには，隠れ変数 𝑥ことができる．

(4)を含む最尤推定を行う必要があるが，尤度関数が𝑝 𝑦 𝑥=𝛿 𝑦 −

𝑥

複雑化し閉じた解を与えることができない．そ(1)の た め よ り 効 率 的 な 推 定 法 と し て EM 法
(2)（Expectation Maximization）［5］を用いて解を導ここで𝛿(∙)はクロネッカーのデルタ関数であくことを考える．EM 法は隠れ変数を持つモデル

る．各セルから発生する信号𝑥 は母数𝜆 に基づのパラメータの最尤推定値を求める ための推くポアソン分布に従うものと仮定する．この母定法である．この手法は，𝑄関数と呼ばれる完全数𝜆 はセル𝑖からの放射線に関係するパラメー

データの対数尤度の条件付き期待値 を求める

タであり，再構成画像の画素値として扱う．

E-step と，𝑄関数が最大となるパラメータを求𝑝(𝑦|𝑥) = ∏ 𝑝 𝑦 𝑥

める M-step を交互に繰り返すアルゴリズムであるセルに対して，センサの幾何学的な位置によって放射線量が変動するため，𝑖番目のセルある．
ここで，断層画像に ML-EM 法を適用するこから放射された放射線がどの程度𝑖番目のセン580

とを考える．まず E-step で，求める𝑄関数を𝑄［4］

L.A.Shepp,

B.F.Logan:

The

Fourier

として，完全データの条件付き対数尤度の期待

reconstruction of a head section. IEEE

値を求める．

Transactions on Image Processing 21: 21-(𝝀|𝝀𝒕 )

𝑄

= 𝐸 ; ( ) [log𝑝(𝒚, 𝒙; 𝝀)]43, 1974(5)

この時，平均をとる確率分布を得るには𝝀を決［5］

A.P.Dempster,

N.M.Laird

D.B.Rubin:

定しておく必要がある．そのため，ここでは適Maximum likelihood from incomplete data

当な値𝜆 を用いる．最終的に𝑄関数は次式のよ

via the EM algorithm. Journal of the Royal
Statistical Society Series B 39: 1-38, 1977

うに求まる．
𝑄(𝝀|𝝀𝒕 ) =

log𝜆

−

［6］

𝑦𝑐 𝜆
∑ 𝑐 𝜆

山本翔，庄野逸: ベイズアプローチに基づいた断層画像の再構成,MPS 2009 7636: 1-6, 2009𝑐 𝜆 + const

［7］

(6)

V.Y. Panin, G.L. Zeng, G.T. Gullberg: Total
variation regulated EM algorithm. IEEE

ここで，const は𝝀に関わらない定数項である．

Transactions on Nuclear Science 46: 2202-

次に M-step で，𝑄関数の最大化を考える．これ2210,1999

は，𝜆に関して𝑄関数を微分し，値が 0 になる場

［8］

for Designing Overcomplete Dictionaries

合を求めることで与えられる．
𝜕𝑄(𝝀|𝝀𝒕 ) 1
=
𝜕𝜆
𝜆

𝑦𝑐 𝜆
−
∑ 𝑐 𝜆

for
(7)

𝑐

SparseRepresentation.

IEEE

Transactions on Signal Processing 53:
4311-4322, 2006

最大値であるための十分条件は
𝜕𝑄

M.Aharon, M.Elad: K-SVD: An Algorithm［9］(𝝀|𝝀𝒕 )=0𝜕𝜆

Y.C.Pati, R.Rezaiifar P.S.Krishnaprasad:
Orthogonal matching pursuit: recursive(8)

function approximation with applications to

であればよいので，𝜆 の更新式は式(9)のように

wavelet decomposition. Proceedings of

求まる．

27th Asilomar Conference on Signals,
Systems and Computers : 40-44, 1993
文

［1］［10］ E.J.Hoffman: 3-D phantom to simulate

献

L.A.Shepp, Y.Vardi: Maximum Likelihood

cerebral blood flow and metabolic images

Reconstruction for Emission Tomography．

for PET. IEEE Transactions on Nuclear

IEEE Transactions on Medical Imaging 1:

Science 37: 616-620, 1990

113-122, 1982
［2］

HudsonHM:［11］ Olga Russakovsky, Jia Deng, Hao Su, et al.:Accelerated

ImageNet Large Scale Visual Recognition

image

reconstruction using ordered subsets ofChallenge.

projection data. IEEE Transactions on

Computer Vision 115:211-252,2015

Medical Imaging 13: 601-609, 1994
［3］

International

Journalof［12］ Nodoka Iida, Hayaru Shouno: Quantitative

M.Ahron, M.Elad: Image denoising via

Evaluation of Reconstructed Image withsparse and redundant representations overFiltered Back Projection Bayes Method.

learned dictionaries. IEEE Transactions on

PDPTA 2015 1: 324-329, 2015

Image Processing 15: 3736-3745, 2006581

Ordered Subsets EM algorithm for PET Image Reconstruction by use of
Dictionary Learning and TV regularization
Naohiro Okumura*1, Hayaru Shouno*1*1 The University of Electro-Communications

Nowadays, Positron Emission Tomography (PET) scan is focused in the field of pathological diagnosis. In order toobtain a clear image in the PET scan, it is necessary to increase the S/N ratio, which leads to an increase in exposure
dose at the time of observation. For this reason, it is desired to increase the S/N ratio of the image while suppressing
the exposure dose. In this research, we applied a method combining two noise reduction methods to this problem.
First, we used a noise reduction method using dictionary learning for the sinogram representation. The second used anoise reduction method for the real image representation based on the regularization approach. As a result, it was
found that an approach combining two noise reduction methods is more effective than the conventional method.

Key words: PET image reconstruction, Sparse modeling, Dictionary learning, K-SVD

著者紹介
奥村 直裕 (おくむら なおひろ)2018 年津山工業高等専門学校専攻科・
電子・情報システム工学専攻卒.現在，電気通信大学博士課程前期課程．これまでに自己組織化マップの深層化，PET
画像のノイズ除去などに関する研究に従事．

庄野 逸 (しょうの はやる)
1992 年大阪大・基礎工学部・生物工学科卒．1994 年同大大学院博士前期課程修了．現在，電気通信大学 情報理工学研究科・教授．工博．画像処理などを応用先とした機械学習，ニューラルネ
ットワークに関する研究に従事．
IEEE，電子情報通信学会，情報処理学
会，物理学会，神経回路学会，各会
員．

582

OP5-05

テンプレート（全ての原稿の種類に共通） Ver． 2．1（2019．3．28 改訂）

拡散尖度撮像法のパラメタ推定のための生成型 Q 空間学習における最適雑音量の自動決定に向けて
内濱

良介*1

河野 智奈美*1 佐々木 公*1, *2

増谷

佳孝*1

要旨
我々は，深層ニューラルネットワークの学習に合成データのみを用いる生成型 Q 空間学習による拡散 MRI
パラメタ推定の研究を行っている．これまでに学習用の合成データと推定対象のデータの雑音量が同等の場合，最も頑健な推定が可能であることが実験により示唆されているが，実画像の雑音量を測定することは容易ではない．そこで本研究では，拡散尖度撮像法(DKI)のパラメタ推定を例として，与えられた実画像に対して最適な雑音量の学習データを決定するための方法を検討したので報告する．
キーワード：Q 空間学習 ，拡散尖度，深層学習，雑音量

1．はじめには，生成型 Q 空間学習によるパラメタ推定のた

生体内水分子の拡散を定量化する拡散 MRI

めの深層ニューラルネットワーク(Deep Neural

では，様々な信号値モデルに含まれるパラメタ

Network: DNN)の研究を行ってきた．これまでの推定によって，対象部位の局所の構造，性質に学習用の合成データと 推定対象の実画像の等の情報が得られる．本研究では，拡散の非ガ雑音量が同等の場合，最も頑健な推定が可能でウス性を定量評価できる モデルである拡散尖あることが実験により示唆されている[2]．し度撮像法(Diffusional Kurtosis Imaging: DKI)を対

かし，実画像の雑音量を測定することは容易で象とする．DKI はパラメタとして拡散係数 D おはない．そこで本研究では， DKI のパラメタ推

よび拡散の非ガウス性特徴である拡散尖度 K を定を例として，与えられた実画像に対して最適持つ．パラメタ推定は最小二乗法によるフィッな雑音量の学習データを決定するための方法

ティング(Least squares fitting: LSF)が主流であるを検討したので報告する．具体的には，生体領が，機械学習でパラメタを推定する Q 空間学習

域と空気領域の信号値の統計，推定値分布のが提案されている[1]．また，学習を合成データ

LSF との比較である．

のみで行う生成型 Q 空間学習がある[2]．我々
2．方法――――――――――――――――――

1) 使用した DKI データ*1 広島市立大学大学院情報科学研究科

推定対象の実画像として，3 名の正常ボラン

医用情報科学専攻〔〒731-3166 広島市安ティアの脳 DKI 画像を広島平和クリニックに

佐南区大塚東 3-4-1〕て撮影した（倫理委員会承認済）．撮像条件は，

e-mail: uchihama@medimg.info.hiroshima-

ボクセルサイズが 2mm×2mm×2mm，マトリッcu.ac.jp

クスサイズ 256×256×70，MPG の印加方向が*2 広島平和クリニック〔〒730-0856 広(0,1,0)，b 値が 0，311，1244，2800(𝑠⁄𝑚𝑚2 )，信島県広島市中区川原町 1-31〕

号加算回数（nex）1~4 の 4 種である．

583

2) 生成型 Q 空間学習

分布のピーク差が，最適な学習ノイズ量を決定

以下の範囲で学習データを生成した．

に寄与することが示唆された．

基準信号値 𝑆0 ：500~ 8000

拡散係数 D：

0.2~6.0 × 10−3 (𝑚𝑚2 ⁄𝑠 )謝辞:データの取得にご協力頂いた広島平和ク

拡散尖度 K：

0.0~2.0

リニックの皆様に感謝致します．

拘束条件 D・K：≤ 2.0 × 10

−3

利益相反の有無：なし

これらに基づき，実画像データと同じ b=311，
1244，2800 (𝑠⁄𝑚𝑚2 )での信号値の組を信号値モデルの式に基づき105 サンプル発生させ，各信0.06

号値にライス分布雑音を付加した．雑音の標準

0.05

偏差の𝑆0 に対する割合を学習ノイズ比とし，0.0,

0.04

0.1, 0.2, 0.3, 0.4, 0.5 の 6 種類とした．学習は異0.03なる初期値で 10 回行った．

0.02

←0.26

nex1
nex2
nex3
nex4

0.01

3) 空気領域と生体領域の信号比

0大津の閾値処理法[3]を複数回適用して生体LSF

領域と空気領域の分離を行った．この閾値処理

0

0.1

0.2

0.3

0.4

0.5

図 1 拡散係数 D におけるエラー率 (縦軸:%)により分離した生体領域と空気領域の平均信号値の比：R を各データに対して得た．
4) 推定値の分布および推定エラー

0.15

←0.19

nex1

LSF および 6 種の学習ノイズ比の DNN により𝐷と𝐾の推定を行い，分布のピークを観察した．

nex2

0.1

nex3

また，推定値が負となったボクセル数の脳領域

nex4
0.05

全体に対する割合をエラー率として求めた．

0

3．結果

LSF

大津の閾値処理法を 4 回適用した結果が生体

0

0.1

0.2

0.3

0.4

0.5

図 2 拡散尖度 K におけるエラー率 (縦軸:%)

領域と空気領域の分離に適していた．R は nexの増加とともに増加する傾向が見られた．
推定値の分布のピークを比較すると，学習ノ文

イズ比の上昇に伴い拡散係数𝐷 では LSF より［1］

献

V. Golkov , et al. q-Space Deep Learning:

高い値に，拡散尖度𝐾では低い値にシフトした．

Twelve-Fold

また，図 1 および 2 に被験者１のエラー率の結Diffusion MRI Scans, IEEE Trans. Med.

果を示す．DNN による 𝐷の推定のエラー率はImg., vol.35, no.5, pp1344-1350 (2016)

LSF より低く，ノイズ比 0.0 で最も低かった．

［2］

Y.

Masutani,

Shorter

Noise

and

Level

Model-Free

Matching

また， 𝐾でも LSF よりエラー率が低く，ノイズ

Improves Robustness of Diffusion MRI

比 0.5 において最もエラー率が低かった．

Parameter Inference by Synthetic Q-Space
Learning, proc. ISBI 2019, April. (2019)
［3］

4．まとめ

N． Otsu， A threshold selection method

MRI 画像に含まれるノイズ量の直接の測定はfrom gray-level histograms， IEEE Trans．

困難であるが，本研究で求めた空気領域と生体Sys. Man. Cyber, vol.9, no.1, pp.62–66

領域の信号値比および最小二乗法との推定値(1979)

584

Toward Automatic Determination of Optimal Noise Levelin Synthetic Q-Space Learning for DKI Parameter Inference
RYOUSUKE UCHIHAMA*1, CHIINAMI KAWANO*1, KOU SASAKI*1, *2, YOSHITAKA MASUTANI*1*1 Hiroshima City University*2 Hiroshima Heiwa Clinic

We have been studying on synthetic Q-space learning for diffusion MRI parameter inference. So far, it was revealed
that noise level matching between training data and test data brings most robust inference results. However, it is not
simple to estimate noise level in clinical MRI data. In this study, we examined several methods for determination of
the optimal noise level for DKI parameter inference by Q-space learning.

Key words: Q-space learning, diffusional kurtosis, deep learning, noise level

著者紹介
内濱 良介 (うちはま りょうすけ)2019 年広島市立大学情報科学部医用情報科学科卒．同大学院博士前期課程在学．
日本医用画像工学会学生会員．
河野 千奈美 (かわの ちなみ)2019 年広島市立大学情報科学部医用情報科学科卒．
佐々木 公 (ささき こう)2018 年広島市立大学大学院情報科学研究科博士前期課程修了．同後期課程在学．
広島平和クリニックにて診療放射線技師として勤務．
増谷 佳孝 (ますたに よしたか)1991 年東大・工・精密機械工学科卒．
1994 年同大大学院・工学系・精密機械工学専攻修士課程，1997 年同博士課程了．
ハンブルク大医用数学・情報処理研究所，シカゴ大病院放射線科，東大病院放射線科などを経て 2018 年現在，広島市立大学大学院医用情報科学専攻・教授．
2003 年日本医用画像工学会論文賞および奨励賞受賞．博士（工学）・博士（医学）．拡散 MRI を中心とした多次元の医用画像解析の研究に従事．医用画像工学
会，電子情報通信学会，磁気共鳴医学会，IEEE など，各会員．

585

OP5-06

カラー腹腔鏡画像診断のためのコントラスト強調とSRCNN 超解像処理の最適条件に関する考察
河畑

則文*1

中口

俊哉*2

要旨
医用画像診断におけるコントラスト処理は，各部位の領域を強調させ，異常が無いかを分類・認識することを目的としている．これらの処理の多くは，コントラスト強調に加えて，超解像処理を用いて画像解像度を上げてから分類・認識することで精度が上がるとされる．一方で，医用画像分野における深層学習の普及により，超解像処理においても精度が上がってきたが，多種多様なパラメータが存在し，それらの調整によっては十分な性能が発揮されるとは限らないことがある．そのため，どのパラメータをどのように調整すればよいかを実験により検証し，実用化する必要がある．そこで，本研究では，カラー腹腔鏡画像のコントラスト強調と超解像処理の関係について，超解像に特化した深層畳み込みニューラルネットワー
クである SRCNN に基づいた waifu2x-caffe (UpResNet10)で実験を行い，最終的に PSNR を測定し，どの程度，精度よく画像が生成できているのかを検証した．
キーワード：腹腔鏡画像, コントラスト強調, 超解像, waifu2x-caffe, Super-Resolution Convolution Neural
Network (SRCNN)

1. まえがきSignal to Noise Ratio) [1]-[5]，サポートベクター

医用画像工学分野において，従来から，各部

マシン (Support Vector Machine: SVM)[1]-[4]に位の領域を強調させるコントラスト強調は画よる分類，S-CIELAB 色空間を用いて，輝度値，像診断技術における重要な要素の一つである．

色差値を測定することで，色情報解析を行い，画像のコントラストを強調することで，病変部相互に医用画像診断に応用可能かどうかを検位の画像分類や異常がないかどうか といった討してきた [1]． 確かに，色情報（輝度や色差）

画像認識に関する処理能力や精度向上を目的

に関しては一定の知見が得られたが，色情報ととしている．一方で，近年の急速なコンピュー関係のあるコントラスト強調と超解像に関す

タシステムの演算処理技術の向上により，医用る議論まではしていなかった．コントラスト強

画像工学研究においても積極的に深層学習が調の処理を行うにあたっては，色情報は勿論の導入可能になっている．このような背景から，こと，画面解像度も関係してくるし，それによ

本研究では，医用画像におけるコントラスト強り，強調後の画像の内容も変わってくることが調について考える．

多く，今まで明らかでなかった知見が得られる

我々は今までに，腹腔鏡画像における符号化ことも多い．また，我々が利用している腹腔鏡

欠損情報の自動検出を想定した医用画像診断

画像を処理する際に，深層学習を導入していなの検討として，客観評価法である PSNR (Peakかった．確かに，非医用画像に対しては，著者の先行研究で検証したことがあるが [5]，医用―――――――――――――――――――――

画像でも同じ傾向が出るとは限らないし，どの*1 東京理科大学理工学部情報科学科〔〒278-8510

程度，深層学習が有効であるかについて，本研

千葉県野田市山崎 2641〕

究では検証したいと考える．

e-mail: norifumi@rs.tus.ac.jp

本研究では，カラー腹腔鏡画像において，コ*2 千葉大学フロンティア医工学センター〔〒263-8522

千葉県千葉市稲毛区弥生町 1-33〕

e-mail: nakaguchi@faculty.chiba-u.jp

ントラスト強調と超解像処理の関係について，
SRCNN に基づいた waifu2x-caffe (UpResNet10)[6] を用いることで，最終的に PSNR を測定し，投稿受付：2019 年 5 月 22 日

画質とコントラスト，超解像処理，深層学習の586

図 1: 本研究で使用した腹腔鏡カラー画像

図 2: 本研究で使用した腹腔鏡カラー画像（コントラスト強調前）（コントラスト強調後, AHE=1 の場合）

観点から客観的な実験を行い，画像診断に応用法を提案して，従来手法と比較して，その後，できるかどうか考察を行った．

画質評価や画質改善を行うものが多い．画像処
理分野から深層学習分野へのアプローチもあ

2. 関連研究るが，深層学習分野から画像処理分野へのアプ関連研究として，以下の 3 点に着目できる．
(a). 適応ヒストグラム均等法によるコントラ

ローチも増えてきている．
本研究では，関連研究とは異なり，(a)-(c)のスト強調に関する研究 [7]-[12]全ての内容を網羅しているため，その点におい(b). 医用画像におけるコントラスト強調に関て新規性があり，コントラスト強調，超解像，する研究 [13]-[14]深層学習の関係に関して，研究及び検証する価(c). 画質の観点からのコントラスト強調また値があると考えた．

は超解像処理に関する研究 [15]-[20]3. コントラスト強調と超解像処理(a)で は，本 研究で 扱う Adaptive Histogram

3.1. 本研究で使用した医用画像

Equalization (AHE) に関するアルゴリズムや手本研究で使用した医用画像は，図 1 に示すよ法に着目して研究がなされている．
(b)では，医用画像に関するコントラスト強うに，内視鏡により取得した，肝臓と胃の周辺調の研究がされており，主に，顕微鏡画像検査を撮影した腹腔鏡下手術動画像 (約 15 秒間)をや熱音響断層撮影の例が挙げられている．

フレーム画像として切り出したものである．図(c)では，人間視覚システムを考慮したコン

2 は，次節で説明する適応ヒストグラム均等法

トラストの測定や画質評価に関する研究が多(Adaptive Histogram Equalization: AHE)を用いてい．超解像処理を扱うものでは，超解像処理手

コントラスト強調を行った例である．使用した動画像は特定の治療行為は行っていない．

587

図 3: 医用画像の入力から出力までのフローチャート
3.2. 実験手順

本実験では，1920×1080 (pixels)に超解像処実験手順を図 3 に示す．以下に，本研究の実理を行う．超解像手法としては，機械学習

験手順を(a)-(f)の順に説明していく．

を用いて人工知能で予測，復元させる画像(a). まず，腹腔鏡下手術動画像（以下，腹腔鏡

拡大ツール waifu2x-caffe を用いる．特に，

静止画像または動画像）をフレーム静止画

ツ ー ル の 中 で UpResNet10 (Up Residual

像として切り出し処理を行う．本研究では，

Network 10: 残 差 ネ ッ ト ワ ー ク , Residual

全部で 426 枚を切り出した．

Learning とも呼ぶ) と呼ばれる深層学習手(b). 次に，フレーム静止画像として切り出した法を用いて拡大処理を行う．拡大処理の時

426 枚の腹腔鏡画像に対して，約 71 枚間隔間であるが，我々の実行環境 (Windows 10

で 7 枚のフレーム静止画像を選択する．

Pro, Intel(R) Core(TM) i7-4770 CPU @(c). 7 枚のフレーム画像に対して，画像全体に，3.40GHz, NVIDIA GeForce GT 635)では，全

H.265/HEVC 符号化を行う [21]．量子化パパターン（294 通り）を処理するのに，約2 時間かかった．

(Quantization Parameter: 𝑄𝑄 =(f). カラー腹腔鏡フレーム静止画像の原画像(d). HEVC 符号化画像に対して，コントラスト

Noise Ratio)を用いることにより，符号化画

ラメータ

𝑟𝑟𝑟𝑟𝑟𝑟, 20, 25, 30, 35, 40, 51) を 7 通り設定してと評価画像に対して，PSNR (Peak Signal to

符号化処理を行う．

強調を行う．本研究では，適応ヒストグラ

質を客観的に評定する．評価方法としては，

ム均等法 (Adaptive Histogram Equalization

客観評価指標 PSNR (Peak Signal to Noise(AHE))というコントラス ト強調手法を用

Ratio)を用いた．PSNR はあるデータが元デいて，𝐿𝐿 = 𝑟𝑟𝑟𝑟𝑟𝑟, 0.25, 0.5, 1, 2, 4 の 6 段階に設ータからその程度劣化したかを表す指標(e). コントラスト強調後，超解像処理を行う．

が小さいほど激しい劣化になる．元画像

動画像からフレーム静止画像として切り𝐼𝐼𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 , 評価画像 𝐼𝐼𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 とするとき，2 つの画である．値が大きいほど劣化は小さく，値定して強調処理を行う．

出した画像は 1280×720 (pixels)であるが，588

像 の PSNR は 次 の 式 (1) (Mean Squared

Error: MSE), (2) (PSNR)のように表される．

図 10～15 の結果から，超解像処理後の PSNR

𝑚𝑚−1 𝑛𝑛−1

1
2
MSE =
� ��𝐼𝐼𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 [𝑖𝑖, 𝑗𝑗] − 𝐼𝐼𝑐𝑐𝑐𝑐𝑑𝑑𝑒𝑒 [𝑖𝑖, 𝑗𝑗]�𝑚𝑚𝑚𝑚
𝑖𝑖=0 𝑗𝑗=0

MAX 2
PSNR = 10 log10 ��MSE

4.2. waifu2x-caffe 超解像処理後の腹腔鏡画像
は処理前と比較して，PSNR の値がやや下がる(1)

ものの，誤差に近い程度に抑えられており，
waifu2x-caffe (UpResNet10)による超解像処理は有効であると考えられる．

(2)

5.

考察
実験結果から，コントラスト強調の場合，Q3.3. 実験方法と評価方法
実験方法としては，本研究では，コンピューのパラメータ変動のみが PSNR に影響している

タによる客観評価を主としているため，ヒトにわけではないことがわかる．これは，画像強調よる主観評価実験は考慮していない．実験の主を行うことにより，輝度の増減が発生し，強調な仕様としては，コンピュータの動作環境

前には明らかでなかった部位の表示が可能に(Windows 10 Pro, MATLAB R2016a)，画像の画面

なった，あるいは，明らかであった部位の表示

解像度 (1280×720 (動画像から切り出した基準が明らかでなくなったことで，通常，Q が低くの 画 像 ) ， 1920 × 1080

なれば，PSNR が高い傾向にあるが，そうとは(waifu2x-caffe(UpResNet10)を用いて超解像した画像)である．

限らなくなったのではないかと考えられる．

評価方法としては，原画像と符号化画像に対し，
6.

PSNR を計算し，287 通りについて分析した．

まとめ
本研究では，カラー腹腔鏡画像診断のための

4.

腹腔鏡画像のコントラスト強調と超解像処理

実験結果の関係について，深層学習を導入することによカラー腹腔鏡フレーム静止画像をコントラり，実験を行い，考察を行った．

スト強調した画像の PSNR を表した棒グラフを

本研究の結果から，コントラスト強調のパラ

図 4～9 に示す．また，コントラスト強調した画

メータ L が(1) ref, (2) 0.25, 0.5, (3) 1, 2, 4 とで像に waifu2x-caffe による超解像処理をした画像の PSNR を表した棒グラフを図 10～15 に示す．
ここで，図 4～15 の縦軸は PSNR, 横軸は AHE

PSNR の値の傾向の違いが見られた．Waifu2xcaffe による超解像処理に関しては，処理前と比における L (Luminosity)とフレーム番号である．

べて PSNR は誤差に近い程度であり，拡大処理

また，図 16, 17 は各々コントラスト強調後と超が問題無く実行されていることが確認できた．
図 24 から，コントラスト強調処理画像では，解像処理後の全体の PSNR を示している．そして，図 18～23 はコントラスト強調後の画像のL=0.5, 1 の時に，超解像処理前後の差が見られ

PSNR と超解像処理後の画像の PSNR の差分（絶たので，コントラスト強調と超解像に関する関対値）を表している．

係が見られた．
今後の展望としては，画像を高品質に提示するために，画質改善手法や深層学習のパラメー

4.1. コントラスト強調後の腹腔鏡画像

タを工夫することにより医用画像における最図 4～9 の結果から，AHE の値が(1) ref, (2)

適な画像提示方法について考慮していく．

0.25, 0.5, (3) 0.1, 0.2, 0.4 とで PSNR の変動に違いが見られた．フレーム間においては，AHE が謝辞

ref の場合ではほぼ差は見られないが，ref 以外

本研究は，千葉大学フロンティア医工学センの場合ではフレーム間で特徴が見られた．

ターの協力の下で実施されたので，感謝する．

589

[9]. K. Gu, X. Yang, and W. Zhang et al.:

利益相反の有無本研究における利益相反は無い．

“Automatic Contrast Enhancement Technology

文With Saliency Preservation,” IEEE Trans. on

献[1]. 河畑則文, 中口俊哉: “画像領域別のテクス

Circuits and Systems for Video Technology,

チャ解析に基づく腹腔鏡画像の領域分割

Vol.25, No.9, pp.1480--1494, September 2015.

に 関 す る 基 礎 検 討 ”, 映 情 学 技 報 , vol.43,[10]. W. Ke, C. Chen, and C. Chiu: “BiTA/SWCE:

no.5, ME2019-37, pp.125--130, 2019 年 2 月．

Image Enhancement with Bilateral Tone[2]. 河畑則文, 中口俊哉: “画像領域別のテクス

Adjustment and Saliency Weighted Contrast

チャ解析に基づく腹腔鏡画像の医用画像

Enhancement,” IEEE Trans. on Circuits and

診断への応用”, 日本コンピュータ外科学

Systems for Video Technology, Vol.21, No.3,

会誌, vol.20, no.4, pp.366--367, 2018 年 11 月.

March 2011.

[3]. 河畑則文, 中口俊哉: “符号化欠損領域の自[11]. C. Sun, S. Ruan, M. Shie et al.: “Dynamic

動検出を想定した腹腔鏡画像の色情報解Contrast Enhancement based on Histogram

析と医用画像診断における改善と効率的

Specification,” IEEE Trans. on Consumer

な 分 類 器 パ ラ メ ー タ の 適 用 ”, 信 学 技 報 ,Electronics, Vol.51, No.4, pp.1300--1305,

vol.118, no.286, MI2018-42, pp.21--26, 2018

November 2005.
[12]. J. Shin and R. Park: “Histogram-Based

年 11 月．
[4]. N. Kawabata: “Image Diagnosis for Coded

Locality-Preserving Contrast Enhancement,”

Defect Detection on Multi-view 3D Images,”

IEEE Signal Processing Letters, vol.22, no.9,

Proc. of The Ninth International Workshop on

pp.1293--1296, September 2015.

Image Media Quality and its Applications[13]. J. Song, Z. Zhao, J. Wang et al.: “Evaluation of(IMQA2018), PS-10, pp.110--119, September

Contrast Enhancement by Carbon Nanotubes

2018.

for

Microwave-Induced

Thermoacoustic

Quality

Tomography,” IEEE Trans. on Biomedical

Assessment of the Multi-view and Super-Engineering, vol.62, no.3, pp.930--938, March

resolution Images Based on CNN,” Proc. of

2015.

[5]. N.

Kawabata:

“HEVC

Image

on

[14]. S. Cakir, D. C. Kahraman, R. Centin-Atalay etConsumer Electronics (GCCE 2018), POS1A-

al.: “Contrast Enhancement of Microscopy

3, pp.38--39, October 2018.

Images Using Image Phase Information,” IEEE

2018

IEEE

7th

GlobalConference

Access, vol.6, pp.3839--3850, January 2018.

[6]. waifu2x-caffe:[15]. K. A. Panetta, E. J. Wharton, and S. S. Agaian:https://github.com/lltcggie/waifu2x-“Humancaffe/releases, accessed May 22, 2019.

VisualEnhancement[7]. G. Park, H. Chuo, and M. Choi: “A Contrast

andSystem-Based

Image

Logarithmic

Contrast

Enhancement Method using Dynamic Range

Measure,” IEEE Trans. on Systems, Man, andSeparate Histogram Equalization,” IEEE Trans.

Cybernetics—Part B: Cybernetics, vol.38, no.1,

on

ConsumerElectronics,

Vol.54,

pp.174--188, February 2008.

No.4,[16]. W. Kao, J. Ye, and M. Chu et al.: “Image

November 2008.

Quality[8]. T. Kim and J. Paik: “Adaptive Contrast

ImprovementforElectrophoretic

Gain-Controllable

Displays by Combining Contrast Enhancement

Clipped Histogram Equalization,” IEEE Trans.

and Halftoning Techniques,” IEEE Trans. on

EnhancementonConsumer

Using

Electronics,

Vol.54,

Consumer Electronics, Vol.55, No.1, February

No.4,

2009.

pp.1803--1810, November 2008.

590

図 4: AHE=ref (1280x720, Original)

図 7: AHE=1 (1280x720, Original)

図 5: AHE=0.25 (1280x720, Original)

図 8: AHE=2 (1280x720, Original)

図 6: AHE=0.5 (1280x720, Original)

図 9: AHE=4 (1280x720, Original)591

図 10: AHE=ref (1920x1080, UpResNet10)

図 13:AHE=1 (1920x1080, UpResNet10)

図 11: AHE=0.25 (1920x1080, UpResNet10)

図 14:AHE=2 (1920x1080, UpResNet10)

図 12: AHE=0.5 (1920x1080, UpResNet10)

図 15: AHE=4 (1920x1080, UpResNet10)592

図 16: All (1280x720, Original)

図 19: AHE=0.25 (|SR-Orig|)

図 17: All (1920x1080, UpResNet10)

図 20: AHE=0.5 (|SR-Orig|)

図 18: AHE=ref (|SR-Orig|)

図 21: AHE=1 (|SR-Orig|)593

[17]. M. Abdoli, F. Nasiri, and P. Brault et al.:“Quality assessment tool for performancemeasurement of image contrast enhancement
methods,” IET Image Process., Vol. 13, Iss. 5,
pp.833--842, 2019.
[18]. T. Celik: “Spatial Entropy-based Global andLocal Image Contrast Enhancement,” IEEE
Trans. on Image Process., vol.23, no.12,
pp.5298--5308, December 2014.
[19]. K. Gu, G. Zhai, and W. Lin et al.: “The Analysis
of Image Contrast: From Quality Assessment toAutomatic Enhancement,” IEEE Trans. on
図 22: AHE=2 (|SR-Orig|)

vol.46,Cybernetics,

no.1,

pp.284--297,

January 2016.
[20]. W. Shi, J. Caballero, and F. Husz 𝑎𝑎́ r et al.:“Real-Time Single Image and Video Super-

resolution

Using

an

Efficient

Sub-Pixel

Convolutional Neural Network,” Proc. of
CVPR2016, pp.1874--1883, 2016.
[21]. F. Bossen, D. Flynn, and K. Sühring, “HM
Software Manual,”
https://hevc.hhi.fraunhofer.de/svn/svn_HEVC
Software/, accessed May 22, 2019.

図 23: AHE=4 (|SR-Orig|)

図 24: All (|SR-Orig|)594

A Discussion on Optimum Condition between Contrast Enhancement
and SRCNN Super-resolution Processing to Diagnose Color
Laparoscopic Image
Norifumi KAWABATA*1, Toshiya NAKAGUCHI*2*1 Department of Information Sciences, Tokyo University of Science*2 Center for Frontier Medical Engineering, Chiba University
The contrast image processing in the medical image diagnosis is purposed to classify and recognize whether there isfault or not by enhancing each body region. To improve precision, most of these image processing is classified andrecognized after image resolution improvement by processing of super-resolution in addition to contrast enhancement.
On the other hand, appearing of deep learning in medical imaging technology field, the precision of super-resolution
processing is improved, however, there are many types of parameter in this processing, and it may not be enough toperform whether there is adjustment of them or not. Therefore, we need to practice by verifying in experiments how toadjust parameter. In this study, we carried out experiments by using waifu2x-caffe (UpResNet10) based on SuperResolution Convolutional Neural Network (SRCNN) specialized to super-resolution processing for the relation
between contrast enhancement (Adaptive Histogram Equalization: AHE) and super-resolution processing with thecolor laparoscopic medical images, and then, we measured Peak Signal to Noise Ratio (PSNR). Finally, we discussed
whether these methods can be generated how well images accurately or not.
Key words: Laparoscopic Image, Contrast Enhancement, Super-resolution, waifu2x-caffe, Super-Resolution
Convolution Neural Network (SRCNN)

595

OP5-07

テンプレート（全ての原稿の種類に共通） Ver. 2.1（2019.3.28 改訂）

動作計測による顔の粘弾性シミュレーション
黒田

嘉宏*1 加藤大城弘樹*1 谷川千尋*2,3

理*1

健治*2,4高田

吉元 俊輔*1

要旨
顔の動きは感情を身体的に表出することから，コミュニケーションにおいて重要な役割を担う．生体組織のもつ粘弾性的な性質は年齢や傷によって変化し，動きに大きく影響する．しかし，従来は顔の動きの表現に着目した医療支援システムは少ない．本研究では，加齢や手術による顔の運動様態の変化を表現することを目的として，顔の粘弾性特性の計測を行うとともに粘弾性モデルに基づく顔の変形シミュレーショ
ンを再現するシステムを構築した．実際に計測した運動を元に，顔の運動する様子を計算して表現することを可能とする．発表では，本研究における粘弾性モデルおよびシミュレーション結果について報告する．
キーワード：粘弾性シミュレーション，顔変形，特徴追跡，有限要素法，術後予測

1．はじめにミュレーションしている[1]．また，医学分野で人が他者とコミュニケーションを行うとき，は皮膚の粘弾性の計測が盛んに行われている．

言語以外の情報として顔の表情なども重要な皮膚にせん断変形を行った場合や吸引した際役割を果たす．顔の表情のうち，顔の動きは代の皮膚の応答を観測し，瞬時弾性と呼ばれる急表的な感情の身体的表出の一つである．顔の動峻な皮膚変形とその後の粘性の強い緩やかな

きの CG 生成や本人の顔の動きを取り込んだ

皮膚変形が生じることを前提に皮膚の力学的

3D アバター生成など様々な研究開発がなされ応答を定量化して，年齢や皮膚疾患の有無によている．

る違いが調査されている[2]．バネ要素とダンパ

医療分野においては外科手術後の顔形態の要素から構成される Zener モデルは弾性と粘性予測は重要な意味をもち，顔の変形を対象としによる複合的な軟組織の変形を表現する基本た物理シミュレーションや物理パラメータの的なモデルである．しかし，上記の実測結果と計測が行われてきた．Flynn らは筋による皮膚一致しないという問題が残る．

変形を連続体に基づく有限要素法を用いてシ本研究では，有限要素法に基づいた顔形状の運動シミュレーションを目的として，複合的な――――――――――――――――――

粘弾性パラメータにより顔表面の皮膚変形を*1 大阪大学大学院基礎工学研究科

表現し，さらにその複合的なパラメータを近似〔〒560-8531 豊中市待兼山町 1-3〕する手法を提案する．

e-mail: ykuroda@bpe.es.osaka-u.ac.jp*2 大阪大学国際医工情報センター

2．有限要素法による複合粘弾性表現のため*3 大阪大学大学院歯学研究科の粘弾性パラメータの動的切り替え手法*4 シンガポール国立大学

並列した一つずつのばねとダンパから構成

投稿受付：2019 年 5 月 15 日

される粘弾性モデルに対して，一定の外力f" の596

ステップ入力を与えたときの変位𝑢の応答は，
%

.

2

'

/

'

𝑢 = & (1 − exp (− 00 , 𝜏 =displacement [mm]以下の式で表される．
(1)

ただし，t は時間，𝑘, 𝜂はそれぞれ弾性係数，粘性係数であり，𝜏は時定数を表す．さらに，同モ
デルを直列に多層接続した場合の応答は，以下の式で表される．
7

.

8

8

2

8
𝑢 = f" ∑9(2):;7 ' (1 − exp (− / 00 , 𝜏: = 'time [s]8

本研究では，複数の粘弾性パラメータを時間的

図 1 フィッティング結果の例．計測データに対してに切り替えることによって式(2)を近似し，顔形

1 層モデルは大きく異なるのに対して，2 層モデ状を表現する 3 次元メッシュの各要素に成り立ルおよび動的切り替え手法は概ね一致した．

つ運動方程式を有限要素法によって離散化して顔の運動をシミュレーションする．例えば，
2 層の場合は，以下のように切り替えることとする．切り替える時間は時定数等から決定する．
𝑘
𝑘=< 7
𝑘A

(𝑡 ≤ 𝑡7 )𝜂, 𝜂=< 7(𝑡 > 𝑡7 )𝜂A(𝑡 ≤ 𝑡7 )(𝑡 > 𝑡7 )(3)3．粘弾性の計測とフィッティング
顔表面の粘弾性を計測するために，吸引圧 50kPa，プローブ測定開口部 2 mm の条件のもと，

図 2 有限要素法を用いて顔を変形した結果の例．

吸引 3 s とそれに続く開放（無吸引） 3 s を 1セットとして，被験者 41 名に対して頬，鼻下，3．まとめ

咬筋，上唇，下唇の 5 部位を 3 セットずつ計測

本研究では，有限要素法により表現可能な動した．データについては，大阪大学国際医工情的切り替えに基づく複合粘弾性表現手法を提報センター研究倫理委員会の承認(001) を得て案した．

取得された．図 1 は，1 層と 2 層のモデルで計測変位にフィッティングした場合，そして粘弾

利益相反の有無なし

性パラメータをある時刻に切り替えた場合のフィッティング結果を示す．本実験では，切り文

替える時間として，医学分野で瞬時弾性の時間［1］

献Flynn C, Stavness I, Lloyd J, et al: A finite

として一般的に想定されている 0.1 s とした[2]．

element model of the face including an

また，最小化問題の解法としてはシンプレック

orthotropic skin model under in vivo

ス探索法を用いた．

tension.

Computer

MethodsinBiomechanics and Biomedical Engineering,

三次元メッシュの一部の点を駆動し，有限要

18(6): 571–582, 2013.

素法を用いて粘弾性シミュレーションした結果の例を図 2 に示す．駆動する際には，デプス

［2］

Barel

O,

Lambrecht

R,

ClarysP:

カメラ Kinect v2 を用いて顔の変位の計測を行

Mechanical Function of the Skin: State ofい，対応点に対して与える変位を境界条件とし

the Art. Skin Bioengineering, 26: 69–83,て，残りの点の変位を算出した．

1998.

597

Viscoelastic Facial Simulation based on Motion Measurement
Yoshihiro KURODA *1, Hiroki KATO*1, Chihiro TANIKAWA*2,3, Shunsuke YOSHIMOTO*1, Osamu OSHIRO*1,
Kenji TAKADA*2,4*1 Graduate School of Engineering Science, Osaka University*2 Global Center for Medical Engineering and Informatics, Osaka University*3 Graduate School of Dentistry, Osaka University*4 National University of Singapore

Facial motion plays an important role in communication as it represents emotion physically. Viscoelastic
characteristics change by age and wound, and effect on facial motion. However, a few conventional studies of medical
support system focused on representation of facial motion. The aim of this study is to represent changes of behavior of
facial motion depending on age and plastic surgery. We developed a system representing facial deformation byviscoelastic model in addition to measurement of facial viscoelastic properties. Based on the measured motion, thesystem enabled to represent facial motion by simulation. In this presentation, we report the viscoelastic model and thesimulation results.
Key words: Viscoelastic simulation, Facial deformation, Feature tracking, Finite element method, Postoperative
prediction598

OP5-08

3 次元点群の位置合わせによる顔の対称面検出

木村

細木

大祐*1

陸 慧敏*1

菜美子*2

大河内

孝子*2

金 亨燮*1

野添 悦郎*2

中村 典史*2

要旨
口唇裂とは，胎児の顔面が癒合する過程において唇が完全に形成されない場合に生じる先天異常で，日本においては約 500 人に 1 人の割合で発生する．左右対称な口唇と外鼻を形成することを目的として治療が行われているが，医師の主観に依存した判断基準に基づいているため，手術部位の対称度合を定量的に判断する必要がある．本論文では，手術部位の対称性を解析するための顔の対称基準となる面を検出する手法を提案する．提案法では被験者の顔を撮影した 3 次元点群データに対し，顔器官を点として検出したのち，口唇裂による形状変化の影響が顕著とされる上唇から鼻尖点までの領域を除外した鏡像反転点群との位置合わせを行う．次に，元の点群内の 1 点と鏡像反転像内の対応点の間を垂直 2 等分する平面を求める
ことにより対称基準面を設定する．提案法を実 3 次元点群データに適用した結果，良好な精度で対象基準面を検出することができた．
キーワード：口唇裂，対称性解析，3 次元点群，ICP 法

1．序論

顔に潜在的に存在する対称基準を検出する必

口唇裂は世界で最も頻度の高い先天異常の 1

要がある．

つとされており， 胎児の顔面が癒合する過程

顔の対称性解析手法の一般的な方法として 2において唇が完全に形成されない場合に生じ次元顔写真の画像解析が挙げられる[3]．画像解る先天異常である[1, 2]．手術は複数回に渡って析は幅広い分野で応用されており，口唇裂解析

行われ，生後 3 カ月頃に機能的な問題を解決すにおいて有用であると思われる．しかし，2 次

るための一次手術を行い，それ以降は左右対称

元顔写真を利用した顔の対称性解析において，な外鼻および上唇を形成するための手術を行

顔の凹凸形状まで考慮できないことから，立体う．しかし，術部の非対称性を示す定量的な評的な情報が不足しているといえる．よって，3 次

価法がないため，判断基準が医師の主観に依存

元データ解析を用いた顔の潜在的な対称面をすることから，患者や家族らには定性的な評価

検出し，それに基づいた手術部位の非対称度をしか提示できないのが現状である．そこで，術立体的に評価し，口唇裂による形態的な影響を部の非対称性を表す指標を与えるにあたって，踏まえた定量的指標を提示することは，医用画像解析による新しい指標提供の面で有用であ――――――――――――――――――

り，その開発が求められている．本論文では，*1 九州工業大学工学部工学専攻

手術部位の対称性解析を可能とするため，口唇〔〒804-8550 福岡県北九州市戸畑区仙

裂患者の顔の 3 次元点群データからの対称面の

水町 1-1〕

検出手法を提案し，実データによる有効性を検

e-mail: kimhs@cntl.kyutech.ac.jp

証する．

*2 鹿児島大学大学院医歯学総合研究科〔〒890-8544 鹿児島市桜ヶ丘 8-35-1〕
投稿受付：2003 年 1 月 31 日

599

2．手法

ルに保持する．これは顔器官検出の最後の処理

本論文では，口唇裂手術前後における口唇外で検出された，2 次元画像上の点を 3 次元点群

鼻形態の定量的解析を可能とすべく，口唇裂患上に復元するために用いる．

者の顔面の対称基準 面を自動で設定するため

次に，顔器官を検出する領域を画像内で決定の画像処理手法を提案する．顔面の対称性を解するため，HOG 特徴量[4]を用いた物体検出手

析するにあたって，カメラで患者の顔を撮影し法により顔領域を決定する．HOG 特徴量の計算

た 2 次元の画像解析が有効であると考えられる．

はまず，各ピクセルの輝度値からその勾配強度

しかし，手術部位の口唇外鼻形態を精密に解析と勾配方向を求め，勾配方向で量子化を行う．

するためには，2 次元顔写真では表面の凹凸形

セルと呼ばれる領域ごとに勾配方向で量子化状の情報が欠落しているといえる．そこで立体された勾配強度のヒストグラムを作成する．複的，すなわち 3 次元的な形状を把握して解析す数のセルを持つ，ブロックと呼ばれる領域ごとるため，本論文では非接触型 3 次元形状測定装にヒストグラムの正規化を行うことにより，特置を用いて得た顔の 3 次元点群データに対し，徴量が抽出できる．顔領域の検出には検出窓内

その対称基準を自動的に設定する手法を提案の HOG 特徴量を入力とした線形 SVM[5]を用いする．手法全体の流れを図 1 に示す．

る．重なり合ったブロックを敷き詰めた検出窓
を，すべての位置・スケールで設定し，各ブロ

2.1．顔器官検出

ック内において HOG 特徴量を計算する．検出

まず，2 次元画像上で顔器官を検出するため，

窓内の特徴量を SVM に入力し，顔の有無を検3 次元点群（図 2 左）を𝑥𝑦平面に投影する．作

出窓ごとに決定する[4]．

成する画像の大きさを512 × 512[pixel]とし，点検出された顔領域に対し，Kazemi らの手法[6]群の重心が中心となるように平行移動させ，全により顔器官のランドマーク位置を決定する．

体が画像内に収まるように点群のサイズを 100

これは，回帰を繰り返すことによって顔の推定分の 1 にリサイズする．その後，𝑥𝑦平面上で点形状を求めるものである．顔のすべてのランド

群内の各点を近傍のピクセルに割り当て，割り

マークの位置を 1 つの形状𝑺でベクトル表現す当てられた点の色の平均値をそのピクセルのると，次式によってランドマークの推定が繰り画素値とする．このとき，割り当てられた点の返し行われる．

̂(𝑡+1) = 𝑺
̂(𝑡) + 𝑟𝑡 (𝐼, 𝑺
̂(𝑡) )
𝑺

𝑧座標の平均値を奥行き情報としてそのピクセ(1)

最後に，2 次元画像上で決定した顔器官のラン
ドマーク点を 3 次元点群上に再投影する．これSTARTは，点群を画像上に投影した際に各ピクセルに保持させた奥行き情報を用いる．まず，ランド
マーク点の存在するピクセルの座標から，𝑥𝑦𝑧

顔器官検出

座標空間上の𝑥𝑦座標を決定する．次に，そのピROI 選択

対称面検出
y

END
z

𝑥
図 2 顔器官検出

図 1 処理全体のフローチャート600クセルの奥行き情報で大まかに点群上の位置

2.3．対称面検出（𝑧座標）へ移動し，その位置の最近傍に存在す

まず，Global Registration により，2 つの点群

る点を 3 次元点群上のランドマーク点の位置とを大まかに重ね合わせたのち，Local Registration

する．本手法で用いるランドマーク点は，右目で精密な位置合わせを行う．位置合わせを行っの外眼角・鼻尖・口角を示すもののみを用いる．

たのち，元の点群から一点を選択し，その点を以上の処理により得られた点群データを図 2 右反転した点を鏡像反転した点群内から選択す示す．

る．これら 2 点の位置関係から潜在的対称軸となる平面を生成する．以下に概要を示す．

2.2．領域分割(A) Global Registration

次処理において左右非対称な領域，すなわち口唇裂による口唇外鼻の形態変化が顕著に現

Global Registration の流れを図 4 に示す．まず，れる領域を含んだままであると，鏡像反転像と対応付けを行う点を選択するため，点群の各点の位置合わせを精度よく行うことが困難であにおいて Harris 3D 特徴量[7]を計算する．

る．そこで本処理では，口唇外鼻の形態変化が

これは，2 次元画像における Harris 特徴量[8]影響を及ぼす領域（非対称領域）とそうでないが輝度勾配を用いている代わりに，3 次元座標

領域（対称領域）とに分割する．

空間における各点の法線を用いて記述される．

口唇裂は上唇に裂が生じ鼻孔周辺にまで至Harris 3D 特徴量を計算することにより，点群内るものもある．よって，この領域を非対称領域の凹凸が顕著な点が検出できるため，その点にとして取り除くため，顔器官検出で得られたラ

おいて FPFH(Fast Point Feature Histogram)特徴量

ンドマーク点のうち，左右の口角を示す 2 点と[9]を計算する．FPFH 特徴量は点の局所的な幾

鼻尖点を示す 1 点を用いて非対称領域を設定す

何学的性質を記述する．そのため，潜在的軸対る．左右の口角 2 点を結ぶ線分を底辺として持称である顔において，顔の右側と鏡像反転した

ち，鼻尖点からその線分までの距離を高さとす

顔の左側が類似した形状であるように，ある一る長方形を作成し，これを非対称領域とする．
START

その領域内を法線方向に平行移動した空間にある点をすべて取り除くことにより，点群内の非対称な部分を除去し，対称領域のみを残す．
以上より得られる非対称領域の除去例を図 3 に

キーポイント検出

示す．
特徴量計算

対応点探索

誤対応除去

剛体変換推定(a) 元の点群画像(b) 非対称領域除去後の画像

END

図 3 非対称領域除去例

図 4 Global Registration のフローチャート

601

点と反転像内におけるその点の近傍点で計算群の任意の点𝑲𝑝 と鏡像反転した点群内の対応された特徴量は類似したものが得られると考点𝑲𝑚 を結ぶ線分のベクトル𝒏を次式で計算すえられる．そして，元点群と反転点群との特徴る（図 6）．

量間距離が最近傍となる点同士を対応付ける．

𝒏=しかし，これらの対応の中には誤対応(Outlier)𝑲 𝑚 − 𝑲𝑝
(3)が 含 ま れ る た め ， RANSAC(Random Sample‖𝑲𝑚 − 𝑲𝑝 ‖= (𝑥𝑛 , 𝑦𝑛 , 𝑧𝑛 )Consensus)によりそれらを取り除く[10]．最後に，本手法においては，任意の点𝑲𝑝 を顔器官検出でValue得られたランドマーク点のうち，右目の外眼角Decomposition)[11]により，反転点群を元点群に点を用いる．これは，点群の重心点を𝑲𝑝 とした

位置合わせする剛体変換ベクトルを推定する．

場合，𝑲𝑝 は点群の中央付近に位置するため，重以上の計算で求められた 剛体変換ベクトルをね合わせにより𝑲𝑝 と𝑲𝑚 間の距離が短くなると適用した例を図 5 に示す．同図では，反転点群

考えられ，位置合わせで残った誤差により，平（灰色）を元点群（緑色）へ位置合わせ（赤色）

面が大きく回転してしまう恐れがある．ここでしている．

𝑲𝑝 を点群の中央から離れている点を用いるこ残 っ た 対 応 か ら

SVD(Singularとにより，位置ずれ精度の影響を低減すること(B) Local Registrationができる．そこで，点群の中央から離れており，

局所位置合わせの手法として，点と点との距かつ確実にその点を選択できるため，顔器官検離を最小化すべき目的関数として用いる point-

出で得られる外眼角点を選択し，これを点𝑲𝑝 と

to-point ICP[12]を適用する．Point-to-point ICP のする．次に，対応点𝑲𝑝 と𝑲𝑚 間の中点𝒄を次式に

流れは，2 点群間における各点を最近傍点と対より求める．

𝑲𝑚 + 𝑲𝑝2
𝑥𝑘𝑚 + 𝑥𝑘𝑝 𝑦𝑘𝑚 + 𝑦𝑘𝑝 𝑧𝑘𝑚 + 𝑧𝑘𝑝
=(
,
,
)
2
2
2
= (𝑥𝑐 , 𝑦𝑐 , 𝑧𝑐 )応付けたのち，剛体変換を推定する．剛体変換𝒄=

推定では，変換後の点群と位置合わせ先の点群間で対応付けられた点間の距離の 2 乗誤差，

𝐷 = ∑‖𝒚𝑖 − (𝑹𝒙𝒊 + 𝒕)‖2

(2)

(4)

を最小化する回転行列𝑹と並進ベクトル𝒕を求以上より，法線𝒏を持ち，点𝒄を通る平面を次式める（ただし，𝒚𝑖 は元の点群，𝒙𝒊 は鏡像反転した

𝑥𝑛 (𝑥 − 𝑥𝑐 ) + 𝑦𝑛 (𝑦 − 𝑦𝑐 ) + 𝑧𝑛 (𝑧 − 𝑧𝑐 ) = 0 (5)点群の各点の座標を示す）．

で求める．

(C) 平面計算
2 点群の位置合わせが完了したのち，元の点

図 5 Global Registration 適用例

図 6 平面計算の概念図

602

3．実験結果
本 論 文 で は Canfield Scientific 社 製 のVECTRA® H1 で撮影された口唇裂患者の顔面の 3 次元点群データ 23 症例を用いた．用いる
PC は CPU3.4[GHz]メモリ 16.0[GB]であった．
検出した平面の精度評価は，医師の指導の下で作成した対称平面を Ground Truth とし，提案法により得られた基準面との比較により行った．3 次元空間上で比較を行うため，精度評価

図 8 2 完全左右対称モデルに用いるパラメータとして𝑥軸方向の平行移動
距離，𝑦，𝑧軸方向の回転角度の計 3 つを用い，

表1

結果と Ground Truth との差を誤差として計算しX 軸回転誤差[mm]

た．図 7 に示すように，任意の 2 平面は，𝑥軸方実験結果（完全な左右対称モデル）

0.1900 × 10−6向の平行移動，𝑦，𝑧軸方向の回転によって平面同士を重ね合わせることができる．つまり，2 平

表2面の位置・角度差はこれら 3 つのパラメータでY 軸回転誤差[deg]
0

Z 軸回転誤差[deg]
0.4000 × 10−6

実験結果（口唇裂患者データ）表現できるため，精度評価として用いた．まず，

X 軸回転誤差[mm]

本手法を用いて得られた対称基準面の確から

0.6871

Y 軸回転誤差[deg]
0.8342

Z 軸回転誤差[deg]
1.3633

さを検証するため，完全な左右対称モデル（図8）を対象に実験を行った．1 データ当たり用いた点群は約 1 万点であり，計算時間は 1 分程度であった．その結果を表 1 に示す．次に，完全に左右対称でない人の顔に対する有効性を確認するため，口唇裂患者の顔データ 23 例に対して実験を行った．図 9 は本手法を適用した結果の一例である．その結果を表 2 に示す．

図 9 実験結果例

4．結論
本論文では，口唇裂患者の顔を撮影して得た3 次元点群データから，手術部位の左右対称性を定量評価するために必要となる，顔の対称基準を検出する手法を提案した．
本手法により完全 な左右対称モデルの対称基準を検出でき，患者 23 名のデータに対しては，全体として𝑥軸方向の並進誤差，𝑦軸，z軸方

図 7 2 平面の重ね合わせ

向 の 角 度 誤 差 は そ れ ぞ れ ， 0.687[mm] ，0.834[deg]， 1.363[deg]となり，顔の対称性解

603

and remote control，vol. 24，pp.774-780，

析の基準として提示できる精度であった．

1963．

今後の課題は，本手法により検出した顔の対称基準をもとに，手術結果の対称性解析手法の［6］

Kazemi et al. ，“ One millisecond face

提案やさらなる高速画像位置合わせ法の開発

alignment with an ensemble of regressionなどである．

trees，”Proceedings of the IEEE ConferenceonComputer

VisionandPattern

Recognition，pp.1867-1874，2014．

謝辞
本研究の一部は，文部科学省科学研究費補助［7］Sipiran, Ivan et al.，“Harris 3D: a robust
extension of the Harris operator for interest

金(19K10271)の補助を受けている．

point detection on 3D meshes，”The VisualComputer，vol. 27，no. 11，pp.963-976，

利益相反の有無

2011．

なし
［8］
文
［1］

高橋

detector，”Alvey vision conference，vol.15，

献no.50，1988．

他，“口唇裂・口蓋裂の基礎と臨床，”日本歯科評論社，pp.1-29，1996．
［2］

［3］

［5］

［9］

Rusu et al.，“Fast point feature histograms

他，“口唇裂口蓋 裂の総合治療(FPFH) for 3D registration，”Robotics and

成長に応じた諸問題の解決，”克誠堂出Automation, ICRA'09. IEEE International

版株式会社，2006．

Conference on. IEEE, pp.3212-3217, 2009.

森口

Kimura N ， Kim HS ， Okawachi T ，［10］ Fischler et al.，“ Random sample consensus:

Fuchigami T，Tezuka M，Kibe T，Yamadaa

S ， Amir MS ， Ishihata K ， Nozoe E ，applications

Nakamura N，“Pilot study of visual andautomated cartography”，Communications

quantitative image analysis of facial surfaceof the ACM，vol.24，no.6，pp.381-395，

asymmetry in unilateral complete cleft lip

1981．

and palate，”Cleft Palate-Craniofacial J，［4］Harris et al.，“A combined corner and edge

paradigm

for

model

fitting

with

to

image

analysisand［11］ Arun et al.，“Least-squares fitting of two 3-

E-published ahead of print，2018．

D point sets，”IEEE Transactions on Pattern

Dalal et al. ，“ Histograms of oriented

Analysis & Machine Intelligence，vol.5，

gradients for human detection，”Computer

pp.698-700，1987．

Vision and Pattern Recognition, 2005.

［12］ Besl et al.，“Method for registration of 3-

CVPR 2005. IEEE Computer Society

D shapes ，” Sensor Fusion IV: Control

Conference on，vol. 1，pp.886-893，2005．

Paradigms and Data Structures，vol.1611，

Vapnik et al.，“Pattern recognition using

International

generalized portrait method,”Automation

Photonics，pp.586-607，1992．

604

Societyfor

OpticsandDetection of Facial Symmetric Plane
Based on Registration of 3D Point Cloud
Daisuke HOSOKI*1, Huimin LU*1, Hyonseop KIM*1
Namiko KIMURA*2, Takako OKAWACHI*2, Etsuro NOZOE*2, Norifumi NAKAMURA*2*1 Kyushu Institute of Technology*2 Kagoshima University.

Cleft lip is a birth defect that occurs when the lips are not completely formed during healing of the face of the fetus. In
Japan, it occurs in about 1 in 500 people. Although treatment is performed to form a symmetrical outer nose, it isnecessary to evaluate the degree of symmetry of the surgical site quantitatively because it is based on the judgment
criteria that depend on the doctor's subjectivity. In this paper, we propose a method to detect the plane which is thesymmetry basis of the face to analyze the symmetry of the operation site. In the proposed method, the face organ isdetected as points from 3D point cloud of the face. Then, the mirror image inversion excluding the area affected by shapechange due to cleft lip is aligned with the original point cloud. Next, a symmetric plane is set by finding a plane thatbisects vertically between one point in the original point cloud and the corresponding point in the mirror image. As aresult of applying the proposed method to real 3D point cloud, we could detect the symmetric plane with good accuracy.

Key words: Cleft Lip, Symmetric, Analysis, Point Cloud, Iterative Closest Point605

OP5-09

放射光 CT を用いた
肺 3 次元ミクロ血管解析
島谷崚平*1 斉藤くるみ*1
梅谷啓二*3 阪井宏彰*4

泓田彰汰*1
中野恭幸*5

河田佳樹*2

仁木登*2

岡本俊宏*6 伊藤春海*7

要旨
肺の正常形態と極早期の疾患形態のミクロレベルでの画像化とその定量的な形態解析は，次世代の胸部画像診断への貢献が期待できる．しかし，3 次元のミクロ構造と細血管は十分に解析されていないという現状がある．本研究は，高輝度放射光 CT で撮影した肺 3 次元画像血管系を可視化して定量的に解析する．
キーワード：放射光 CT，肺，SPring-8，血管解析

射光 CT で撮影し，その画像から血管系の微1．はじめに肺の正常形態と極早期の疾患形態のミクロ細構造を 3 次元的に可視化して定量的に解析レベルでの画像化とその定量的な形態解析は，する．

次世代の胸部画像診断に貢献することが期待できる．高輝度な放射光 CT を利用すること

2．放射光 CT の撮影条件と肺標本

は，微小焦点の X 線管を用いたマイクロ CT

撮影対象の伸縮固定肺標本は直径 3.6 cm でと比較して，高い信号雑音比で数 µm オーダ

あり，Heitzman 法に準じて作成された．二次の空間分解能を有する高精細な CT 画像の収小葉の細血管を観察するためにナノ粒子造影集が期待される．ビームハードニング効果の剤としてバリウムを使用した．撮影した肺標影響を受けずに微細構造の高コントラストな

本は米国人肺標本である.撮影装置には大型画像を得ることにより，ミクロ形態の定量的放射光施設 SPring-8 の BL20B2 ビームライン

な計測への応用にも期待される．しかし，3を使用した．

次元の細血管は十分に解析されていないという現状がある．本研究では肺標本を高輝度放3．肺胞房領域の解析
肺胞房は呼吸細気管支から先の肺胞管と肺――――――――――――――――――

胞嚢をまとめた領域である.肺胞房は Fig.1 の*1 徳島大学大学院先端技術科学教育部〔〒770-0856

手順に従って肺胞房領域の血管系を解析する

徳島市南常三島町 2-1〕

[1]．まず，閾値処理により壁構造を抽出し，

e-mail: 501938020@tokushima-u.ac.jp

膨張・収縮処理を行うことで肺動静脈を抽出*2 徳島大学大学院社会産業理工学研究

して，太い箇所をマニュアルで補正する．次部に，肺細動静脈を抽出する．肺細動静脈は造*3(公財)高輝度光化学研究センター

影剤が充填しており CT 値が高いと考えられ*4 兵庫県立尼崎総合医療センターる(Fig.2)ので閾値処理により抽出する．毛細*5 滋賀医科大学

血管は，径が 10μｍ以下といわれている．本*6 Cleveland Clinic Heart

研究で使用している再構成画像は 1 pixel =3 μ

*7 福井大学ｍであるため，毛細血管は 1 から 3 pixel であ606

る．よって目視で抽出することは困難である．
そのため 4 次元曲率やヘシアンフィルタな
どの各種フィルタを用い抽出する．抽出結果
より，血管系を定量的に解析する．
Fig.2 末梢血管の造影状態を示した模式図
4．抽出結果
肺胞房領域における血管 系の抽出結果をFig.5 に示す．Fig.5 は肺細動静脈まで抽出したものである．
■壁ラベル(a)壁構造の抽出

1 ,000 μm
■肺動脈

■肺動脈
Fig.5 血管系の抽出結果(b)肺動静脈の抽出

■肺静脈

4．まとめ
肺標本の放射光 CT 画像から，肺胞房領域の肺細動静脈を抽出できた．今後は，血管系の自動抽出アルゴリズムを構築する．
■肺動脈
WL -500

利益相反の有無WW 1500なし文［1］(c)造影剤領域である肺細動静脈の抽出

献

K.Saito, S.Ohnishi, Y kawata et al:
Pulmonary blood vessels extraction fromdual-energy CT images using a
synchrotoron radiation micro-CT,
Proc.SPIE Medical Imaging,2019

100 μm(d)Exposure Render での毛細血管の抽出
FIg.1

血管系の解析手順

607

Analysis of 3D microstructure of the lungusing synchrotron radiation micro-CT image.

Ryohei SHIMATANI*1,Kurumi SAITO*1, Shota FUKETA*1,Yoshiki KAWATA*2,Noboru NIKI*2
Keiji UMETANI*3,Hiroaki SAKAI*4,Yasutaka NAKANO*5,Toshihiro OKAMOTO*6,Harumi ITO*7*1 Tokushima University Graduate School of Advanced Technology and Science*2Tokushima University Graduate School of Technology,Industrial and Social and Science*3Japan Synchrotron Radiation Research Institute*4 Hyogo Prefectural Amagasaki General Medical Center*5 Shiga University of Medical Science*6Cleveland Clinic Heart and Vascular Institute*7 University of Fukui Biomedical Imaging Research Center

Microscopic imaging of the normal form of the lung and the disease form at the very early stage and its
quantitative morphological analysis can be expected to contribute to the next generation chest imaging.
However, three-dimensional microstructures and microvessels are not fully analyzed. This study
visualizes and quantitatively analyzes the lung three-dimensional imaging vasculature taken by
high-intensity radiation CT.

Key words: :synchrotron radiationmicro-CT(SRμCT), lung , SPring-8,blood vessel analysis

608

OP5-10

Ver. 2.1（2019.3.28 改訂）

CT 画像と顎運動情報を用いた VR 咬合器の開発
伊藤崇弘*１，重本修伺*１，伊藤光彦*１，木原琢也*１，
井川知子*１，重田優子*１，小川 匠*１
要旨：我々は，歯科臨床において患者個々の形態と機能をより正確に再現できる VR 咬合器（Virtural Reality
Articulator）の開発を進めている．VR 咬合器は CT 画像による顎頭蓋形態情報,歯列模型による口腔内形態情報,顎運動測定による顎運動情報を同一座標系で統合することで得られ,患者の実際の顎口腔系の形態と機能を仮想空間上で再現することができる．今回，顎変形性関節症症例の術前，術中の顎位の妥当性や機能評価に VR 咬合器を応用し,高い有用性が認められたので報告する．

キーワード：CT ,顎運動 ,VR 咬合器

1．緒言

合接触状態や関節窩に対する下顎頭の位置を仮想

歯科臨床においては，咬合および顎口腔系の機空間上で可視化することができる（図１）．

能を正しく検査，診断することは非常に重要であ

今回,顎関節の変形性関節症症例に対して患者る．従来は，顎口腔系の一部の形態と機能を単純化

情報を用いて VR 咬合器を構築し術前・術中の治療して再現する咬合器（図 1-a）を用いて評価される顎位の妥当性や機能評価に応用した結果，高い有ことが一般的である．しかし従来型の咬合器は患用性が認められたので報告する．

者の形態や，顎運動を直線近似的に再現するもの
で，全ての患者情報を表現するものではない．そこで我々は，患者個々の形態と機能をより正確に再現するとともに顎機能評価が可能な VR 咬合器（Virtural Reality Articulator）の開発を進めている（図 1-b）．VR 咬合器は CT 画像から得られる形態
情報と，顎運動測定により得られる機能情報を同一座標系にて統合することで、従来型の咬合器で図１ 従来型と VR 咬合器は観察できなかった機能運動時（咀嚼時など）の咬2．方法――――――――――――――――――

１）VR 咬合器の構築（図２）*１鶴見大学歯学部クラウンブリッジ

CT 撮影：本学附属病院設置の高速らせん型 X 線

補綴学講座〔〒230-8501 神奈川県横浜市

CT 画像装置 RADIX-Prima（日立メディコ）を用い

鶴見区鶴見 2-1-3〕て行った（撮像マトリックス：512×512，スライス

e-mail: ito-t@tsurumi-u.ac.jp

厚：0.625mm，FOV：210mm）．得られた DICOM デ609

ー タ は ３ 次 元 画 像 処 理 ソ フ ト Amira （ Visage
Imaging） にて顎顔面頭蓋骨の関心領域についてセ
グメンテーション処理後，頭蓋骨および下顎骨の三次元モデルを CT 座標系（ΣCT）で製作した．
歯列形態計測：患者の口腔内の型取りから得た歯列石膏模型を，パターン投影法を原理とした三次元形状計測装置 D900（3Shape）を用いて計測し，歯列形態の三次元モデルをスキャナー座標系（ΣSC）
で製作した．
顎運動測定：独自に開発した磁気ベクトル空間
方式顎運動測定器 MMJ3 を用いて顎運動測定を行

図２ VR 咬合器の構築った．被験運動は咬頭嵌合位から始まる矢状面内限界運動とし，サンプリング周波数 100Hｚで 3 回MR 所見では，左側顎関節の関節円板前方転位を認測定した．顎運動座標系（ΣMM）は図２に示す上顎めた（図５）．上記所見より低位咬合を伴う左側顎

歯列上の 3 標点（切歯点 IN，左右第一大臼歯中心関節の変形性関節症と診断した．咬合高径の挙上窩 L6, R6）をとおる上顎咬合平面座標系で前方，左を伴う下顎位の修正が必要であることを患者に説方，上方を正とする右手座標系である．

明し，同意が得られたため術前の顎運動検査，CT

座標系の統一：CT 座標系（ΣCT），スキャナー座

撮影と歯列模型の計測を行った．治療顎位の決定標系（ΣSC）と顎運動座標系（ΣMM）をΣMM に座標

後，上下顎プライマリプロビジョナルレストレー

系を統一した．ΣSC は，上顎歯列上の 3 標点（IN、ションを製作，口腔内に装着した．プロビジョナル

L6、R6）のそれぞれの座標系における座標値から

装着 5 ヶ月後（術中）（図５）の顎運動測定をと歯座標変換行列 TSC-MM を求めΣMM に変換した．ΣCT

列模型の計測を行った。術前、術中の VR 咬合器をは，まずΣSC に変換するために特徴点の座標値から構築し，設定した治療下顎位の妥当性と機能評価

変換行列 TCT-SC を求めた．その後，TSC-MM を用いてを行った．

ΣMM に変換した．座標系の統一，可視化および解析は，三次元データ処理ソフトウェア Leios（EGSsrl）と Visual C++ （Microsoft）を用いた自作のアプ
リケーションを使用した．
２）症例概要および治療経過患者 64 歳女性．上下前歯部の咬耗，下顎臼歯部欠損および咬合時左側顎関節疼痛を認めた（図３）．パノラマエックス線所見では左側下顎頭に変形を認めた．パノラマ顎関節 4 分割パノラマエッ
クス線所見では下顎頭位は，左側が後上方位，右側が後下位に変位していた．また左側下顎頭の並進運動の制限を認めた（図４）．

図３ 術前口腔内写真

610３）治療顎位と顎機能の評価
上顎骨に対する下顎骨の治療顎位と顎機能の評
価には全運動軸（Kinematic Axis:KA）[１]および最小運動軸（Least Motion Axis:LMA）[２]を用いた．
KA は，矢状面における運動範囲は下顎頭付近で最も収斂した軸として表される．KA は顎機能異常者
では求められない場合がある．LMA は矢状面における運動範囲が最小になる軸であり，顎機能異常の有無を問わず軸として算出される．顎機能健常者において KA に対して前方約 5mm，
下方約 30mmの位置に算出される（図７）．KA および LMA は
shigemoto の方法[３]に準じて自動で算出した．
KA，
LMA の直線性，各軸点の運動軌跡および両軸の位置関係より機能を評価した．

図４ パノラマおよび四分画 X 線写真
上段矢印：左側下顎頭の後上方位を認める
下段矢印：開口時の並進運動の制限を認める

図７ 顎機能健常者の KA および LMA
In:切歯点，L6, R6:左側，右側第一大臼歯中心窩
図５ MR 画像
３．結果，考察

矢印：関節円板の前方転位を認める

形態情報と顎運動情報を統合することで，機能運動時（咀嚼時など）の上顎骨に対する下顎の空間的な位置を仮想空間上で直感的に理解することが可能となった．しかし，下顎位や顎関節の運動範囲を客観的に評価するためには，基準となる解析点，軸，平面などを定義する必要がある．今回は，形態情報と顎運動情報上に加えて顎歯列上の３標点（In,L6,R6）とこれらを通る上顎咬合平面および下顎骨の立体運動を表現する運動軸 KA と LMA を可視化できる VR 咬合器を構築した．

図６ 術中口腔内写真611

治療顎位： 術前の上顎骨を基準として VR 咬合器を用いて評価すると治療顎位では，下顎骨が右側に偏位して開口しているのが視覚的に理解できた．術中の咬頭嵌合位は左側全運動軸点で平均0.95mm 前下方，右側で平均 1.5mm 下方にあった．
切歯点は，術前に対して後方に平均 1.39mm，右側に平均 0.81mm，下方に平均 4.90mm 移動していた（図８）．
顎機能評価：VR 咬合器を用いて評価すると図９に赤丸で示すように，術前では，患側である左側に

図８ 治療顎位の評価

おいて全運動軸点（KAP）が適切な位置に算出され術前の下顎骨をグレーで示すない場合があった（図９）．最小運動軸点（LMAP）
は全ての計測で直線状に分布していた．術中では，３回全ての計測において KAP および LMAP が直線上に算出され，KA に対して LMA は平均約5.5mm 前方，21.6mm 下方に位置していた（図１０）．
治療により KAP が直線状に算出でき KA と LMAの関係に健常者と同様の傾向が認められたことか
ら顎機能が改善したことが示されたと考えられる．

図９ 術前時の KA と LMA（KA 非算出例）

次に，個々の KAP と LMAP の運動軌跡について検討した．術前では，健側である右側において KAP
は図５に示す顎機能健常者と同様に下に凸の弓状の顆路を移動するが，患側である左側に向かうに従い運動範囲は小さく，顆路は直線的になり，KAPが直線上に算出されなかった（図９）．下顎位を修正した術中では，KAP は患側である左側において

図１０ 術中の KA と LMAも健側に近い形態の顆路上を移動していた．LMAPは術前，術中ともに直線上に分布していたが，個々

術前，術中の上顎に対する下顎の位置の変化を仮の運動範囲を観ると患側の左側ほど運動範囲が小想空間上で可視化できる．

さくなっている．これは左側下顎頭の並進運動が

また三次元モデルに運動情報を統合することで，制限され主として回転運動で開口量を担保してい治療顎位の妥当性や顎口腔系の機能に改善状態をたと考えられる．

客観的に評価することができた．これにより最終

術中は術前に対し左側での LMAP の運動範囲が的な治療開始次期を客観的に決定できることから，

広がっていることから下顎位を修正することで，

VR 咬合器が日常歯科臨床において有用であるこ左側下顎頭が並進運動できるように改善したと考えられる．CT 画像より得られた三次元モデルは，

612とが示された．

利益相反の有無なし
文 献[１] 河野正司：下顎の矢状面内運動に対応する顆
頭運動の研究 第二報マルチフラッシュ装置による矢状面運動軸の解析．補綴誌 1968; 12，350-380.
[２] Hirai S, et al: relationship between the mandiblular
movements and deformation of the Coronoid
process and the Condyle. J Jpn Assoc Oral Rehabil
2016; 29: 35-46.
[３] Shigemoto S, et al. :Effect of an exclusion range ofjaw movement data from the intercuspal position on
the estimation of the kinematic axis point. Medical
Engineering and Physics 2014; 36(9): 1162-1167.

613

Development of virtural articulator utilizing
CT data and jaw kinematic data
Takahiro ITO*1, Shuji SHIGEMOTO*1, Mitsuhiko ITO*1, Takuya KIHARA*1,
Tomoko IKAWA*1, Yuko SHIGETA*1, Takumi OGAWA*1*1 Department of Fixed Prosthodontics, Tsurumi University School of Dental Medicine
We developed a virtual reality (VR) articulator technique that can reproduce exact structure andfunction of masticatory system for individual patients and be used easily in a dental clinicalsetting. The cranium and mandible models are created from CT scan data, and the upper andlower dental surface models are created using a noncontact 3D laser scanner. Jaw movements aremeasured using an electromagnetic jaw tracking device. This technique requires accurate methods
combining three-dimensional (3D) imaging and jaw movement data. By transforming these
imaging and jaw tracking data into one coordinate system, structure and function of masticatory
system of individual patients can be visualized in computer graphics.
In this study, we evaluated the treatment planning and status of masticatory function in
osteoarthritis of the temporomandibular joint by applying VR articulator technique, and thenfound its high usability in dental practice.
Key words: computed tomography, jaw movement, virtural reality articulator

614

OP5-11グラフ畳み込みニューラルネットワークを用いた
腹部動脈血管名自動命名の初期検討
日比

裕太*1

林 雄一郎*1

小田昌宏*1

北坂 孝幸*2

三澤 一成*3

森

伊東 隼人*1

健策*1 ,4 ,5

要旨
本稿では，3 次元腹部 CT 像から抽出された腹部動脈領域に対してグラフ畳み込みニューラルネットワーク
を用いた血管名自動命名についての検討を行ったので報告する．血管は構造が複雑で個人差が大きく，その構造の把握は困難である．血管名を自動命名することにより医師が外科手術の際に患者の血管構造を把握する助けとなり，医師の負担を軽減することができる．そのため，これまで腹部動脈領域に対して機械学習を用いた血管名自動命名を行う手法がいくつか提案されてきた．また，近年ではグラフ構造に対する機械学習が盛んに行われており，その有用性が示されている．そこで本稿では，血管構造をグラフ構造と捉え，血管が持つ太さや長さ，腹部臓器との位置関係などを特徴量としてグラフ畳み込みニューラルネッ
トワークを用いた機械学習による血管名自動命名を行った．100 症例の CT 像に対して血管名自動命名を行った結果，平均精度は 85.2%であった．
キーワード：血管，グラフ畳み込みニューラルネットワーク，3 次元 CT 像, 解剖学的名称認識, 血管構造解析

1．はじめに

機械学習は，ソーシャルネットワーク解析・創外科手術を行う際には，患者の正確な血管構薬・材料科学などの多岐にわたる分野でその有造を術前に得られる 3 次元腹部 CT 像から 把用性を示している．そこで，本稿では血管木構

握することが重要である．これまでにも腹部動造をグラフと捉え，グラフ畳み込みニューラル

脈領域に対して自動命名を行う手法がいくつ

ネットワークを用いた血管名自動命名 手法にか提案されてきた．鉄村らは血管に対する解剖ついて検討する．
2．手法

学的名称自動命名を，木構造として表現された
血管領域全体にわたる各血管枝の血管ラベル

本手法は従来手法［1］と同様に，3 次元腹部推定問題として捉え，条件付確立場を用いた機CT 像から腹部動脈領域の木構造の構築，およ械学習により自動命名を行った［1］．また，近び各血管枝が持つ特徴量を抽出する．特徴量に

年盛んに研究されているグラフ構造におけるは，血管の長さや直径，血管を除く 7 つの臓器
（肝臓，脾臓，右腎，左腎，胃，胆嚢，膵臓）――――――――――――――――――とのユークリッド距離および方向ベクトルな*1 名古屋大学大学院情報学研究科

どを使用する．

〔〒464-8601 名古屋市千種区不老町〕

学習と推定にはグラフ畳み込みニューラル

e-mail: yhibi@mori.m.is.nagoya-u.ac.jp

ネットワークである MoNet[2]を用いる．グラフ*2 愛知工業大学情報科学部

畳み込みとは，グラフ上の注目ノードとその隣*3 愛知県がんセンター

接ノードの特徴量を集約し，フィルタをかける*4 名古屋大学情報基盤センター

ことで次の層のノードの特徴量とするもので*5 国立情報学研究所

ある． 本手法では，血管木構造を重みなし無向

医療ビッグデー

タ研究センターグラフと捉え MoNet[2]を適用する．このグラフ

615

では，各血管枝をノード，血管枝が持つ特徴量

動脈領域に対する自動命名手法の検討を行い，をノードの特徴量，血管枝の接続関係をノード

その有用性を確認した．今後は精度の向上を図間の接続関係に対応させる．入力には，ノードるとともに，血管の全自動抽出結果への手法のの接続関係と各ノードの特徴量及び学習用の適用も検討し，半自動抽出結果に適用したもの

正解ラベルデータを使用する．ネットワークはと同程度の精度となる手法の構築を目指す．

2 回のグラフ畳み込みの後に softmax 関数によるクラス分類を行い，各ノードについてその推謝辞

定ラベルを出力する．

日頃から熱心に御討論頂く名古屋大学森研

3．実験と結果

究室の諸氏に感謝する．本研究の一部は科研費

本稿では，腹腔鏡下手術を行う際に重要とな

17H00867， 17K20099， 26560255， 26108006，

る 22 種類の腹部動脈を主な自動対応付けの対AMED 19lk1010036h0001，堀科学芸術振興財団，

象とする．また，ラベルの推定には前述の 22 種

JSPS 二国間交流事業によった．

類の血管とそれ以外の血管を含め，全 45 種類

利益相反の有無を対象とする．この学習と推定には MoNet[2]をなし．

使用し，初期学習率は 0.01，結果は 3000epoch

文

学習後のものとする．実験には 3 次元腹部 CT［1］献

鉄村悠介, 林雄一郎, 小田昌宏 他：機像から半自動で抽出した血管領域画像 100 症例

械学習を用いた腹部動脈血管名自動命に対して 10 分割交差検定法を用い，自動命名

名におけるデータ拡張法の適用に関すをおこなった．精度の評価には F 値を使用した．

る検討．信学技報 118 : 191-196, 2019

血管名自動命名精度は平均 85.2%であり，従来

Monti F, Boscaini D, Masci J, et al.:［2］

手法［1］の平均精度 95.7%には及ばなかった．

Geometric Deep Learning on Graphs andまた，提案手法による自動命名結果を表 1 に，Manifolds Using Mixture Model CNNs.

自動命名結果の例を図 1 に示す．

CVPR: 5115-5124, 2017

4．考察
表 1 のように自動命名精度が平均 85.2%であったことは，グラフ畳み込みニューラルネット
ワークを用いた血管名自動命名手法の初期検討としては十分な成果であり，本手法の有用性を示すことができたといえる． しかし，図 1 からわかるように，推定結果に出現しない血管がある．これは血管によってノード数に偏りがあり，数が少ない血管については精度が低いと考(b) 推定結果(a) 正解データえられる．精度向上にはこの問題について考慮

図 1 血管名自動命名例（同じ色は同じラベ

した学習データの調整が必要であるといえる．

ル．(a)で存在する RGEA,RGA,LGEA が(b)では5．むすび出現しない．）

本稿では，グラフ畳み込みニューラルネット
ワークを用いて 3 次元腹部 CT 像から抽出した

表 1 提案手法による各データセットの自動命名精度

データ セットF 値 (%)

1
82.9

2
80.9

3
85.5

4
86.5

5
84.2

616

6
86.6

7
83.4

8
87.3

9
85.6

10
86.9

平均
85.2

Study on Automated Anatomical Labeling of Abdominal Arteries Using
Graph Convolutional Neural Network
Yuta HIBI*1, Yuichiro HAYASHI *1, Takayuki KITASAKA*2,
Hayato ITOH*1, Masahiro ODA*1, Kazunari MISAWA*3 and Kensaku MORI*1, 4, 5

*1 Graduate School of Informatics, Nagoya University*2 Faculty of Information Science, Aichi Institute of Technology*3 Aichi Cancer Center Hospital*4 Information Technology Center, Nagoya University*5 Research Center for Medical Bigdata, National Institute of Informatics

In this paper, we report an automated anatomical labeling using graph convolution neural networks for abdominal artery
regions extracted from 3D abdominal CT images. Because the structure of the blood vessels is complex and individual
differences are large, understanding it is difficult. The automated anatomical labeling of the blood vessels can help
surgeons to understand the patient's blood vessel structure in surgery, thus reducing the burden on surgeons. Therefore,
several automated blood vessel labeling techniques have been proposed using machine learning for the abdominal artery
region. In recent years, machine learning for graph structures has been actively studied, and its usefulness has beenshown. In this paper, we considered blood vessel structure as graph structure, and examined blood vessel automatedanatomical labeling by machine learning using graph convolution neural networks that utilize feature values including
the thickness and length of blood vessels and positional relationships of them to abdominal organs. As a result of
automated anatomical labeling for CT volumes of 100 cases, the average accuracy was 85.2%.

Key words: Blood vessel, Graph convolutional neural network, CT volume, Anatomical names recognition, Bloodvessel structures analysis

617

OP5-12

FCN を用いた骨シンチグラムにおける骨格認識処理の改良
星野 ゆり*1

斉藤 篤*1

大崎 洋充*2

明*3

讓治*3

河邉

吉田 敦史*3

東山 滋

清水 昭伸*1

要旨
本報告では，前後面のラベルを同時に入力可能な butterfly 型の fully convolutional network (FCN)を用いた
骨シンチグラム上の骨格認識処理の改良について報告する．提案手法では，従来の手法により認識された前後面の骨格ラベルと確率マップの画像，および，骨格の正解ラベルを用いて FCN の学習を行う．この学
習済みネットワークに未知症例に対する従来の前後面の骨格認識ラベルを入力することで，ラベルに含まれる誤りを訂正する．本稿では，提案手法を実際の 246 症例に対する従来手法による骨格認識ラベルに適用した結果について示し，提案手法の有効性や限界について議論する．
キーワード：骨シンチグラム，骨格認識，butterfly 型ネットワーク，全畳み込みネットワーク

1．はじめにた．encoder では，convolution と max-pooling を

骨シンチグラム上の骨転移による異常集積

3 回繰り返した後，前後面の特徴マップを結合の検出は容易ではなく[1]，コンピュータによるし，さらに convolution と max-pooling を 2 回行検出支援が求められている．本研究室で開発しう ． decoder で は ， encoder 側 と 同 じ 回 数 のたシステムは，骨格認識と異常集積検出の 2 つconvolution と up sampling（deconvolution）を繰の処理からなり[2][3]，医師による病変の検出をり返し，入力画像と同サイズの画像を，対象の支援する．従来の骨格認識処理[2]では，高濃度

骨格数に１（背景）を加えた数だけ出力する．

の異常集積の存在や骨の向きや形状の違いが

なお，全ての convolution と deconvolution では

原因で認識に失敗することがあった．

batch normalization と ReLU 関数を使用した．ネットワーク構造を図 1 に示す．

本 稿 で は ， butterfly 型 の fully convolutional
network(FCN)[4]を 用 い た 改 良 法 に つ いて 提 案する．また，提案法を実際の症例 246 症例を用いて性能評価した結果についても報告する．
2．butterfly 型の FCN を用いた誤りの訂正提案法は，従来の骨格認識処理の出力ラベル（128×576 pixel）を入力とし，図 1 に示すネッ
トワークによりラベルに含まれる誤りを訂正する．前後面のラベル画像を同時に処理するために，butterfly 型をしており，U-Net と同様に
encoder 側から decoder 側に向けてリンクを張っ

図 1 butterfly 型の FCN

ネットワークの学習の損失関数にはソフト――――――――――――――――――

マックスクロスエントロピーを用いた(式(1))．

*1 東京農工大学大学院工学研究院〔〒184-8588 東京都小金井市中町 2-24-16〕

1

𝑒 𝑦𝑖

𝑁

𝑖=1 𝑒

𝐿𝑜𝑠𝑠 = − ∑𝑁
𝑖=1 𝑡𝑖 log(∑𝑁e-mail: s191637v@st.go.tuat.ac.jp

𝑦𝑖

)

(1)

ここで，𝑁は総クラス数，𝑖は各クラスを表す変*2 群馬県立県民健康科学大学大学院診療放数であり，𝑡𝑖 は正解ラベル，𝑦𝑖 は出力である．

射線学研究科提案手法では，学習データ数を補うために，*3 大阪市立大学医学部附属病院核医学科

618

従来の認識結果のラベルだけでなく，ラベルに法により 1 個（図 2(c)赤丸）に減少した事が分する前の確率の画像も利用し，また，ラベルやかる．しかし，黄丸で示すように，拾いすぎに

確率画像の反転を行った．さらに，汎化性を高より不自然な結果が得られるなどの問題も確めるために，encoder 側と decoder 側を結ぶリン

認された．

クに対して dropout[5]を行った．

4．まとめ
本稿では，butterfly 型のネットワークによる

3．実験条件と実験結果
3.1 実験条件

骨格認識処理の改良を提案した．また，本手法

試料画像には，骨シンチグラム 246 症例 492

により，平均#(ΔCC)，平均#(Δhole)を削減するこ枚（512*1024[pixel], 2.8[mm/pixel]）を用い，入とができたが，解剖学的に不自然な形状に再構力は従来の処理による骨格認識ラベル（大腿骨成してしまう症例も存在した．今後は，不自然と上腕骨）とした．評価値は，3-fold CV 法でテな形状になるのを防ぎつつ平均 DS の向上およスト症例に対して計算した dice score(DS)，連結

び平均#(ΔCC)，平均#(Δhole)を零に近づけるた成分数(8 連結)と穴の数(4 連結)の，正解との差

めに，損失関数や入力画像を工夫することによ

分値#(Δ connected component (ΔCC))，#(Δhole)とり，さらなる改良精度向上を行う予定である．

した．学習時のミニバッチ数は 16，optimizer に文

は adam[6]を使用し，パラメータはα=0.001,β［1］_1=0.9,β_2=0.999 とした．
［2］

提案手法を全例に適用した結果を表 1 に示す．
表 1 全症例適用結果
平均
平均
平均 DS
#(ΔCC)#(Δhole)0.86850.16880.080250.86820.07420.03455

金森巧：“骨シンチグラムからの解剖学的骨格認識処理の改良”．東京農工大学修士論文，

また，平均#(ΔCC)が減少した例を図 2 に示す．

従来[2]
提案

小野慈：骨シンチによる骨転移診断．南江堂，東京，2002, pp1-30

3.2 実験結果・考察

手法

献

2019
［3］

H. Wakabayashi，A．Saito，S．Higashiyama，
J. Kawabe, S. Shiomi, A. Shimizu, “Detection ofbone metastasis in a scintigram using U-Net,”
Proc. ofComputer Assisted Radiology andSurgery(CARS 2018), Berlin, Germany, S260
June 2018.
［4］

A. Sekuboyina, M. Rempfler, J. Kukačka, G.
Tetteh, A. Valentinitsch, J. S. Kirschke, B. H.
Menze, “Btrfly Net: Vertebrae Labelling with
Energy-based Adversarial Learning of Local
Spine Prior”, arXiv: 1804. 01307, 2018

［5］

NitishSrivastava,

Krizhevsky,
(a)
正解

(b)
従来[2]

Ilya

Geoffrey Hinton,

Alex

Sutskever,

RuslanSalakhutdinov” Dropout: A Simple Way to(c)
提案

Prevent Neural Networks from Overfitting”,

図 2 骨格認識改良結果例

Journal of Machine Learning Research 15, 2014［6］

表 1 より，平均 DS は先行研究よりも低下し

D. P. Kingma, J. Ba, “Adam: A Method forているが，平均#(ΔCC)と平均#(Δhole)は減少し

Stochastic Optimization”, 3rd Internationalている事が分かる．また，図 2 より，改良前はConference for Learning Representations, San#(ΔCC)は 3 個であった（図 2(b)赤丸）が，提案

Diego, 2015619

Improvement of skeleton recognition from a bone scintigram using a
FCN
Yuri HOSHINO*1, Atsushi SAITO*1, Hiromitsu DAISAKI*2, Atsushi YOSHIDA*3, Shigeaki HIGASHIYAMA*3,
Joji KAWABE*3, Akinobu SHIMIZU*1*1 Tokyo University of Agriculture and Technology*2 Gunma Prefectural College of Health Sciences*3 Osaka City University Hospital

Abstract:
This paper reports an improvement of skeletal recognition process using a butterfly type fully convolutional network(FCN) which allows simultaneous input of both anterior and posterior skeleton labels. The proposed network is trainedusing anterior and posterior skeleton labels and their probability maps recognized by the previously proposed approach
as well as true labels of skeletons. The errors in anterior and posterior skeleton labels by the previously proposed
approach will be corrected by the trained network. This paper presents the results of applying the proposed network to
the skeleton labels of 246 cases and discuss the effectiveness and limitation of the proposed method.

Key words: bone scintigram, skeleton recognition, butterfly type network, fully convolutional network620

OP5-13

Mask R-CNN を用いた小児胸部 X 線画像における肺領域の自動抽出
魚住

春日*1

松原

尚輝*1

寺本

篤司*1

日木

あゆみ*2

強*2

河野

達夫*3

齋藤

邦明*1

藤田

広志*4

本元
要旨

小児には肺炎の高い感染, 重症化のリスクが存在するため, 正確な診断や治療が早急に求められる. そこで本論文では, 小児肺炎などの胸部疾患を対象としたコンピュータ支援診断システムの開発を目的に, 解析領域である肺野の抽出手法を提案する. 肺野の抽出には Deep learning の一種で, 物体検出と領域抽出を同時に行う Mask R-CNN を用いた. Mask R-CNN の学習には ChestX-ray8 データベースより選択した小児
200 枚, 成人 800 枚の合計 1000 枚の胸部 X 線画像を用いた. 肺炎と診断された小児の胸部 X 線画像を用いて検証したところ, Jaccard index の平均値は 93.1%, Dice index の平均値は 96.4%となり, 高い肺野抽出精度が確認された.
キーワード：人工知能, コンピュータ支援診断, 胸部 X 線画像, 肺野抽出, 小児

1．はじめにるために肺野の抽出が必要となる.

免疫力が低く, 集団生活の中にいることが多肺野の抽出は肺野内の病変検出において必い小児は, 肺炎への感染や重症化のリスクが高

要不可欠な処理であり, 様々な胸部 CAD で用い. そして WHO の調査によると 5 歳未満の小いられている. これまでにヒストグラムを用い児の死因の 16%を肺炎が占めている[1]. 肺炎がた閾値処理による手法[3]や, 解剖学的特徴に基疑われると胸部 X 線検査が行われるが, 小児はづいて特異点を設置し, その特異点における関ポジショニングが難しいうえに, 成長に伴い肺数を利用した手法[4, 5], パターン認識や特徴量野が大きく変化するため再現性の低い画像と解析に基づいて肺野の境界を決定する手法[6]なる. そのため医師は症状だけでなく, 年齢な――――――――――――――――――

ど様々な条件を考慮したうえで診断を下して*1 藤田医科大学大学院保健学研究科

おり, その負担は大きい. また, 小児にみられ〔〒470-1192 愛知県豊明市沓掛町田楽ケる疾病は種類が多い一方で発生数が少ないた

窪 1 番地 98〕

め, 1 つの疾病に対する医師の経験が不足しや

e-mail: teramoto@fujita-hu.ac.jp(寺本篤司)

すい[2].

*2 茨城県立こども病院

現在までに肺炎をはじめとする胸部疾患を〔〒311-4145

茨城県水戸市双葉台 3 丁目 3−3 番地１〕

対 象 と し た コ ン ピ ュ ー タ 支 援 診 断 技 術 (以 下

*3 東京都立小児総合医療センター 〔〒CAD)が複数報告されているが, 小児を対象と183-8561 東 京 都 府 中 市 武 蔵 台 2 丁 目

したものはない.

8−29〕

小児を対象とした胸部 X 線画像による CAD*4 岐阜大学 工学部 電気電子・情報工学

システムの実現に向けた最大の課題は, 肺野の科 〔〒501-1112 岐阜県岐阜市柳戸 1−1〕

位置, 大きさ, FOV など多様な像が存在することである. そのため, 解析領域を肺野に限定す

621

図1

Mask R-CNN のアーキテクチャなどが報告され, 病変検出精度に大きく貢献しYoubao Tang ら は , Multimodal Unsupervisedている. しかし, いずれも肺野の境界に関する

Image-to-image Translation

一般的な仮定や統計的な特徴に基づいた手法

Data augmentation と Semantic segmentation 技術であるため, 前述したように多様な像が存在すの一つである Criss-Cross Network (CCNet)[14]にる小児胸部 X 線画像には適した方法でない. まよる肺野抽出手法を発表し, U-net を用いた場合

た近年, 高い物体認識力をもつ Deep learning をよりも正確に肺野が抽出された[15]. 上記のよ用いた手法が報告されている. Deep learning にうに様々な手法が考案されているがいずれもお け る Semantic segmentation 技 術 に は小児を対象としたものではない.

FCN(Fully Convolutional Networks)[7], U-net[8],(MUNIT) を用いた

そこで本研究では, Deep learning 手法のひと

Segnet[9]などがある. Rabia Rashid らは FCN を

つ で あ り , Object detection

用いた肺野抽出手法を報告した[10]. 247 枚の胸segmentation を同時に行う Mask R-CNN[16]を用部 X 線 画 像 を 含 む Japanese Society of

いて小児胸部 X 線画像における肺野の自動抽Radiological Technology(JSRT) デ ー タ セ ッ ト と出を試みた.

Montgomery County データセットと独自で作成

2．方法

したデータセットの 3 つを用い, 各データセッ

2-1. Mask R-CNN のモデル

トを FCN の学習用とテスト用に 3:2 に分け 10

本研究で使用した Mask R-CNN の構造を図 1

分割交差検証を行った. その結果, それぞれに示す. Backbone は ResNet101 で構成され, 入

97.1％, 97.7％, 94.2％の肺野抽出精度が得られ力画像に対する特徴マップを出力する. その後

た. Alexey A. Novikov らは U-net をベースに, パ

RPN に て , こ の 特 徴 マ ッ プ を 用 い な が らとInstance

ラメータによる最適化を試みた[11]. JSRT デー

Bounding box を決定する. Backbone は非常に深タセットを用いて 3 分割交差検証を行った結果,

いネットワークであるため入力画像が荒くな

U-net に Dropout を適用した場合が最も高精度ってしまう. そこで FPN[17]にて, 入力画像をで, Jaccard index は 94.8％となった. また, Wei

アップサンプリングすることで解像度を回復

Dai らは FCN によって生成されたマスクと Goldする. Roi align layer では Bounding box の pixel

standard を敵対させ, 精度を高めるネットワー

レ ベ ル で の 位 置 ず れ を 補 正 し , Head に てクを構築し, FCN を単独で用いた場合よりも物

Bounding box 内の Segmentation を行う. なお

体 検 出 精 度 の 指 標 で あ る Intersection overHead は畳み込み層 7 層の FCN で構成されていUnion(IoU)が 4.3％向上したことを報告している.

る[12]. Jyoti Islam らは, 学習させる 758 枚の胸2-2. Mask R-CNN の学習部 X 線画像を拡大, トリミング, 反転などの処

Mask R-CNN の学習には NIH が公開している理を加え Data augmentation を行ったのち U-net

ChestX-ray8 データベース[18]を使用した. このの学習を行い, 98.6％の肺野抽出精度が得られデータベースから肺野を明確に定義することた[13].

ができる成人の胸部 X 線画像 800 枚, 小児の画

622

像を 200 枚の合計 1000 枚をランダムに選択し,ることが原因である. しかし, この課題はス抽出対象である肺野領域のみを一定のラベル

ムージング処理やダイレーション処理を行う

値で塗りつぶしたラベル画像を作成し, 原画像

ことで容易に改善できる課題であると考えらとのペアを学習データとした. 初期重みには,れる.

Microsoft COCO(MS COCO)[19]により学習された重みを用い, 独自に作成した学習データによってネットワーク全体を再度学習することで,重みを更新した. 学習環境を表 1 に示す.
学習
環境

パラ
メー
タ

表 1 学習環境とパラメータ
CPU : Core i7 7700k
使用機器
GPU : NVIDIA GeForceGTX 1080Ti
メインメモリ : 16GB
OS : Ubuntu 16.04 LTS
使用ソフト Keras
学習回数
画像サイズ
学習係数
最適化手法

(a)入力画像 (b)正解画像 (c)出力画像
図 2 Mask R-CNN による肺野抽出結果

TensorFlow
150 回
512×512
0.001
SGD

3．まとめ
小児胸部 X 線画像における肺野抽出を Mask
R-CNN を用いて行った. その結果, 炎症の程度
や肺野の大きさに影響されることなく, 良好な

3．検証

検出結果が得られた.

本手法による肺野抽出には ChestX-ray8 デー
タベースに保存されている肺炎と診断された 0

利益相反の有無～15 歳までの胸部 X 線画像 17 症例を用いた.

なし

Mask R-CNN における肺野抽出精度を評価するため, 正解画像と出力画像の類似度を評価した.
定量評価には 2 つの集合の類似度を表す Jaccard
index[20]と Dice index を用いた[21].

文[1]2|-∩/|
𝐷𝑖𝑐𝑒 𝑖𝑛𝑑𝑒𝑥 = |-|3|/|

World Health Organization: WHO: Pneumonia.
2015 https://www.who.int/en/news-room/fact-|-∩/|

𝐽𝑎𝑐𝑐𝑎𝑟𝑑 𝑖𝑛𝑑𝑒𝑥 = |-∪/|（1）献sheets/detail/pneumonia[2]

相田典子：小児科領域における医療技術を考える. 映像情報メディカル 47/13 2015 年（2）

12 月号: 1138-1142, 2015
4．結果と考察

[3]

MacMahon: Automated lung segmentation in

本手法による肺野抽出結果の一例を図 2 にdigitized

示す. Jaccard index の平均値は 93.1%, Dice

きさに依存することのない良好な結果が得ら

posteroanterior chest radiographs

Author links open overlay pane. Academic

index の平均値は 96.4%となり, 肺野の大部分
が正確に抽出された. 炎症の程度や肺野の大Samuel G.Armato, Maryellen L.Giger, HeberRadiology 5: 245-255, 1998
[4]

Matthew S.Brown, Laurence S.Wilson, Bruce
D.Doust, Robert W.Gill, et al.: Knowledge-

れたが, 肺野の境界部分の検出が不十分であbased method for segmentation and analysis ofる傾向が確認された. これは肺野抽出技術にlung boundaries in chest X-ray images.

おいて共通の課題であるが, 肺尖, 肺底部,

Computerized

縦郭との境界部のコントラストが不鮮明であMedicalGraphics22: 463-477, 1998

623

Imagingand[5]Á. Horváth, G. Horvath: Segmentation of Chest

Deep

X-ray Radiographs, a New Robust Solution.

arXiv:1811.12638: 2018

IFMBE Proceedings37: 655-658, 2011
[6]

[14]

[8]

segmentation.

regions

arXiv:1811.11721: 2018.

on

chest

radiographs. Academic[15]

You-Bao Tang, Yu-Xing Tang, Jing Xiao, et al.:XLSor:

Segmentor on Chest X-Rays Using Criss-Cross

Semantic Segmentation. Proceedings of the

AttentionandCustomized

Radiorealistic

IEEE conference on computer vision andAbnormalities

Generation.

MIDL

pattern recognition: 3431-3440, 2015

Conference Full Submission: 1-11, 2019

Ronneberger, Olaf, Philipp Fischer, Thomas

[16]

A

RobustandAccurate

Lung

2019

Kaiming He, Georgia Gkioxari, Piotr Dollar, etBrox: U-Net: Convolutional Networks foral.: Mask R-CNN. Proceedings of the IEEE

Biomedical Image Segmentation. Medical

international conference on computer vision:

Image Computing and Computer-Assisted

2961-2969, 2017[17]

Tsung-Yi Lin, Piotr Dollar, Ross Girshick, etBadrinarayanan, Vijay, Alex Kendall, Roberto

al.: Feature pyramid networks for object

Cipolla:detection. Proceedings of the IEEE Conference

SegNet: A Deep

Convolutional

Architecture

for

Image

on Computer Vision and Pattern Recognition:
2117-2125, 2017[18]

Xiaosong Wang, Yifan Peng, Le Lu, et al.:Hospital-scale

chest

x-ray

benchmarksonweakly-2495, 2017

Chestx-ray8:

R. Rashid, M. U. Akram, T. Hassan: Fully

database

Convolutional Neural Network for Lungs

supervised classification and localization of

Segmentation from Chest X-Rays. Image

common thorax diseases. Proceedings of theAnalysis and Recognition10882: 71-80, 2018

IEEE conference on computer vision andAlexey A. Novikov, Dimitrios Lenis, David

pattern recognition: 2097-2106, 2017

Major, et al.: Fully Convolutional Architectures

[19]

and

Tsung-Yi Lin, Michael Maire, Serge Belongie,

Chest

et al.: Microsoft coco: Common objects inRadiographs. IEEE transactions on medical

context. European conference on computer

imaging37: 1865-1876, 2018

vision8693: 740-755, 2014

forMulticlass

Segmentationin

Wei Dai, Joseph Doyle, Xiaodan Liang, et al.:
SCAN:

Structure

Correcting[20]

P. Jaccard: Distribution comparée de la flore

Adversarial

alpine dans quelques régions des Alpes

Network for Organ Segmentation in Chest X-

occidentales et orientales. Bulletin de la Soci etrays. Deep Learning in Medical Image Analysis

e Vaudoise des Sciences Naturelles37: 81-32,

and Multimodal Learning for Clinical Decision

1902

Support, Deep Learning in Medical Image[13]

preprint

Darrell: Fully Convolutional Networks foranalysis and machine intelligence39: 2481-

[12]

arXiv

Long, Jonathan, Evan Shelhamer, Trevor

Encoder-Decoder[11]

Zilong Huang, Xinggang Wang, Lichao Huang,method for automatic identification of lung

Segmentation. IEEE transactions on pattern[10]

preprint

et al.: Ccnet: Criss-cross attention for semantic

Intervention9351: 234-241, 2015
[9]

arXiv

L Li, Y Zheng, M Kallergi, et al.: Improved

Radiology8: 629-638, 2001
[7]

Learning.

[21]

Dice, Lee R.: Measures of the amount ofAnalysis and Multimodal Learning for Clinicalecologic

Decision Support11045: 263-273, 2017

Ecology26: 297-302, 1945

Jyoti Islam, Yanqing Zhang: Towards Robust
Lung Segmentation in Chest Radiographs with624

association

betweenspecies.

Lung Region Segmentation on Pediatric Chest X-rays using Mask R-CNN
Haruka UOZUMI*1, Naoki MATSUBARA*1, Atsushi TERAMOTO*1, Ayumi NIKI*2, Tsuyoshi HONMOTO*2,
Tatsuo KONO*3, Kuniaki SAITO*1, Hiroshi FUJITA*4*1 Graduate School of Health Sciences, Fujita Health University*2 Ibaraki Prefectural Children’s Hospital*3 Department of Radiology, Tokyo Metropolitan Child Medical Center*4 Department of Electrical, Electronic & Computer Engineering, Gifu University
Children have a high risk of pneumonia infection due to low immunity and collective life living in a group, so accurate
diagnosis and early treatment are required. The purpose is to develop the decision support system for thoracic diseases
using chest X-ray images in this paper. And as a pilot study, we propose extraction of the lung region using Mask RCNN. Mask R-CNN is a kind of deep learning and perform object detection and segmentation at the same time. 1000
images including 200 child images and 800 adult images were used to train Mask R-CNN.
High accuracy of lung field extraction has been confirmed even if various chest X-ray images of children such as lungfield size exist, average of Jaccard index was 93.1% and Dice index was 96.4%.
Key words: Artificial intelligence, CAD, Chest X-ray image, Lung segmentation, Pediatrics625

OP5-14

深層学習を用いた非造影 CT 画像からの複数臓器領域の抽出に関する検討
林

雄一郎*1

申 忱*1
三澤

Holger R. Roth*1

一成*2

小田 昌宏*1

森 健策*1, 3, 4

要旨
本稿では深層学習を用いた非造影 CT 画像からの複数臓器領域の抽出について述べる．医用画像解析において医用画像から人体の解剖学的構造を自動認識することは重要な処理である．我々はこれまで深層学習を用いて造影 CT 画像から複数の臓器領域を自動抽出する研究を行ってきた．医療現場では，非造影の CT
画像も数多く使用されているため，非造影の CT 画像からも複数臓器領域を自動抽出することができれば非常に有用である．本研究では，従来研究と同様に 3D U-net を用いて非造影 CT 画像から複数臓器領域を自動抽出する．学習の際に，従来研究において造影 CT 画像を用いて学習したモデルを初期値とし，非造
影 CT 画像を用いてファインチューニングを行う．実験の結果，ファインチューニングした 3D U-net により非造影 CT 画像から複数臓器領域を抽出できることを確認した．
キーワード：セグメンテーション，ディープラーニング，U-net，ファインチューニング，CT 画像

1．はじめにても，CT 画像から複数の臓器領域を自動抽

コ ン ピ ュ ー タ 支 援 診 断 （ Computer Aided

出する手法が複数の研究グループから報告さ

Diagnosis; CAD）システムやコンピュータ支れている［1-5］．我々の研究グループにおい援外科（Computer Aided Surgery; CAS）シスても，深層学習を利用した複数臓器領域の自テムにおいて様々な機能を実現するためには，

動抽出手法を提案してきた［4, 5］．この手法

医用画像中の人体の解剖学的構造を自動認識

では門脈相の造影 CT 画像を対象としていたすることは重要である．そのため，これまでが，医療の現場では造影された CT 画像に加に医用画像から様々な解剖学的構造を自動抽えて非造影の CT 画像も数多く撮影されてい出する研究が行われてきた．腹部領域においるため，非造影の CT 画像からも臓器領域を自動抽出することができれば非常に有用であ――――――――――――――――――

る．そこで本稿では，これまで我々の研究グ*1 名古屋大学大学院情報学研究科

ループで開発してきた 3D U-net を用いた複数〔〒464-8601 名古屋市千種区不老町〕

臓器領域の自動抽出手法を用いて非造影 CT

e-mail: yhayashi@mori.m.is.nagoya-u.ac.jp

画像からの複数臓器領域の自動抽出を検討し*2 愛知県がんセンター消化器外科たので報告する．

*3 名古屋大学情報基盤センター*4 国立情報学研究所医療ビッグデータ

2．提案手法研究センター

提案手法では，3D U-net を用いた造影 CT626

画像からの複数臓器領域の抽出手法［4, 5］

インチューニングすることで抽出精度が向上

を基にして，非造影 CT 画像から動脈，門脈，したことが確認できる．特に，血管領域は抽

肝臓，脾臓，胃（内部），胆嚢，膵臓の 7 つの出精度の向上が大きいことが確認できる．ま臓器領域を抽出する．従来研究では 340 画像

た，造影 CT 画像を用いて学習したモデルでと多数の造影 CT 画像を用いて学習を行っても肝臓や脾臓などの比較的大きな臓器は良好いたため，得られた学習済みモデルは，非造に抽出できていることが確認できる．

影 CT 画像からの臓器抽出においても有用であると考えられる．そこで提案手法において

4．むすびも 3D U-net を用いて非造影 CT 画像から複数

本稿では，深層学習を用いた非造影 CT 画

臓器領域の抽出を行う．学習では，従来研究像からの複数臓器領域の自動抽出について述で得られた学習済みのモデルを初期値とし，べた．造影 CT 画像を用いて学習された 3D

非造影 CT 画像を用いてファインチューニン

U-net を非造影 CT 画像によりファインチュー

グする．また，学習の際には学習データを増ニングすることで，非造影 CT 画像からの臓加させるために，入力画像に平行移動，回転，器領域の抽出精度が向上することが確認でき

B スプラインを用いた非剛体変形を適用してた．今後の課題としては，より多くの症例でデータ拡張を行う．

の評価，抽出精度の向上などが挙げられる．
謝辞

3．結果ならびに考察
44 症例の非造影 CT 画像を，30 症例の学習

日頃ご討論いただく名古屋大学森研究室諸用画像と 14 症例の評価用画像に分割して実氏に感謝する．本研究の一部は JSPS 科研費験を行った．CT 画像の仕様は，画像サイズ

26108006，17H00867，17K20099，JSPS 二国

512pixel×512pixel， 画 素 サ イ ズ 0.625mm～

間 交 流 事 業 ， AMED

0.812mm，スライス枚数 488 枚～663 枚，ス

18lk1010028s0401，19lk1010036h0001，堀科学

ライス厚 1.0mm，再構成間隔 0.8mm である．

芸術振興財団によった．

の 課 題 番 号

実験ではディープラーニングのフレームワー
利益相反の有無

クとして Keras［6］を用いた．また，非造影なし

CT 画像から血管領域を抽出することは困難であることが多いため，同一症例の動脈相と文門脈相の造影 CT 画像と非造影 CT 画像との非剛体レジストレーションを行い，位置合わ［1］

献Shimizu A, Ohno R, Ikegami T, et al.:

せされた複数時相の CT 画像を用いて臓器のSegmentation of multiple organs in

正解ラベル画像を作成した．

non-contrast 3D abdominal CT images.

抽出結果のボリュームレンダリング表示を

Int J Comput Assist Radiol Surg 2:

図 1 に示す．ここでは，2 症例のファインチ

135-142, 2007ューニング前後のモデルによる抽出結果を，［2］

Okada T, Linguraru MG, Hori M, et al.:

胃領域を除いて示している．また，Dice 係数

Abdominalを用いて抽出結果を評価したところ，ファイfrom CT images using conditional

ンチューニング前の平均 Dice 係数は 0.69，フshape–location

ァ イ ン チ ュ ー ニ ン グ 後 の 平 均 Dice 係 数 はintensity priors. Med Image Anal 26:

0.79 であった．表 1 に各臓器領域の平均 Dice

1-18, 2017係数を示す．図や表から非造影 CT 画像を用

［3］

いて，造影 CT 画像で学習済のモデルをファ

andsegmentation
unsupervised

Zhou X, Takayama R, Wang S, et al.:
Deep

627

multi-organ

learningofthesectionalファインチューニング前

ファインチューニング後

ファインチューニング前

ファインチューニング後

図 1 抽出結果のボリュームレンダリング表示
表 1 抽出された各臓器領域の Dice 係数

動脈
0.67
0.77

ファインチューニング前
ファインチューニング後

門脈
0.24
0.57

［5］

appearances of 3D CT images for

［4］

肝臓
0.92
0.96

脾臓
0.91
0.94

胃
0.98
0.97

胆嚢
0.50
0.60

膵臓
0.62
0.69

Shen C, Roth HR, Oda H, et al.:anatomical structure segmentation based

Evaluation of 3D fully convolutionalon an FCN voting method. Med Phys 44:

networks5221-5233, 2017segmentation in contrast-enhanced CT.

Roth HR, Oda H, Zhou X, et al.: AnInternational

application

Assisted Radiology and Surgery 13:

convolutional
image

of

cascadednetworks

segmentation.

3D
for

fully

medicalfor

multi-class

Journaloforgan

Computers21-s22, 2018
［6］

Computerized

CholletFandhttps://keras.io, 2015

Medical Imaging and Graphics 66:
90-99, 2018628

others:Keras,

A study on segmentation of multiple organs
using deep learning from non-contrast CT volume
Yuichiro HAYASHI*1, Chen SHEN*1, Holger R. ROTH*1, Masahiro ODA*1,
Kazunari MISAWA*2, Kensaku MORI*1, 3, 4

*1 Graduate School of Informatics, Nagoya University*2 Department of Gastroenterological Surgery, Aichi Cancer Center Hospital*3 Information Technology Center, Nagoya University*4 Research Center for Medical Bigdata, National Institute of Informatics

This paper reports segmentation of multiple organs from non-contrast CT volume using deep learning. In medical
image analysis, it is important to recognize patient specific anatomical structures in medical images such as CT
volumes. We have studied on multiple organs segmentation method from contrast-enhanced CT volume. Since
non-contrast CT volumes are also usually used in the medical field, segmentation of multiple organs from
non-contrast CT volume is useful. In this study, we extract multiple organs from non-contrast CT volume using 3DU-net proposed in our previous studies. We perform fine-tuning from pre-trained model using non-contrast CT
volumes. The experimental results showed that the fine-tuned 3D U-net model could extract multiple organs from
non-contrast CT volume.

Key words: Segmentation, Deep learning, U-net, fine tuning, CT volume629

OP5-15

顎口腔領域の CT 画像における金属アーチファクト低減を用いた筋骨格セグメンテーション-金属アーチファクトのシミュレーションによる精度検証森谷 友香*1
重田 優子*2

Abdolali

Fatemeh*1

井川 知子*2

阪本 充輝*1

三島 章*2

小川 匠*2

大竹 義人*1
佐藤 嘉伸*1

要旨
顎口腔領域における病気の診断・治療計画では，筋骨格構造の解析が重要であり，この観測には一般的にCT が用いられる．しかしながら，金属製の歯科充填物等がある場合，CT 画像上には金属アーチファクトが生じ，筋骨格構造の認識が困難である．我々は，金属アーチファクトのある CT 画像において，筋骨格セグメンテーションの精度を向上させる研究を進めてきた．しかし，これまではアーチファクト低減後の画像から作成した正解データを用いて精度評価を行っており，真に正確な評価ができていないことが問題であった．また，金属部分が既知でないとき，NMAR に失敗する場合があった．そこで本研究では，金属アーチファクト低減において NMAR に処理を一部追加・変更した手法を提案し，金属アーチファクトをシミュレーションして得られた CT 画像によって自動セグメンテーショの精度検証実験を行ったため，その結果を報告する．
キーワード：CT 画像，金属アーチファクト低減，金属アーチファクトのシミュレーション，3D U-Net

1．はじめにファクトを Normalized Metal Artifact Reduction

顎口腔領域の筋骨格構造解析は，顎変形症や(NMAR)［1］を用いて低減し，低減後の画像か

顎関節症といった顎口腔機能異常の診断，手術

ら畳み込みニューラルネットワーク を用いる

計画，術後評価に有用であり，対象の筋骨格をことにより，患者固有の筋骨格の自動セグメン

自動抽出し解析することが求められている．しテーション精度を向上させる研究を進めてきかし，CT 撮影範囲内に金属製の歯科充填物等

た［2］［3］．しかし，顎口腔領域において，こがある場合，CT 画像上には金属アーチファク

れまでは金属アーチファクト低減後の画像かトが生じ，この場合，CT 画像からの筋骨格セグら作成した正解データを用いて精度評価を行

メンテーションは困難である．

っており，真に正確な評価ができていないこと

我々はこれまで，CT 画像における金属アーチが問題であった．また，金属アーチファクトのある CT 実画像に対して NMAR を適用する場――――――――――――――――――

合，撮影対象者の口腔内に存在する金属製の歯*1 奈良先端科学技術大学院大学先端科

科充填物等の位置や形状の情報が既知でない学技術研究科ため，これまではしきい値により金属と考えら〔 〒 630-0192 奈 良 県 生 駒 市 高 山 町れる部分の抽出を行い，これを用いて NMAR を8916-5〕

適用していたが，症例によっては図 1 に示すよ

e-mail: moritani.yuka.mt0@is.naist.jp

うに NMAR に失敗してしまう場合があった．

*2 鶴見大学歯学部

そこで，本稿では，金属アーチファクトをシ

630

NMAR
成 功
例
[HU]

[cm-1][HU][HU][cm-1]

[HU]

NMAR
失敗
例

図1

(a)
(b)
(c)
NMAR 成功例と失敗例．(a):金属アーチファクトあり CT 実画像（NMAR 前），(b):prior，(c):NMAR 後．NMAR 失敗例では，しきい値により抽出した金属部分（(b)中の黄色部分）の一部
が prior の空気領域に重なり（赤の矢印で示す部分），このため NMAR に失敗する．
ミュレーションして得られた CT 画像を用い，り抽出し，処理を一部追加・変更した手法であNMAR や NMAR に処理を一部追加・変更した

る．本稿ではこれらを順に NMAR1，NMAR2，

提案手法を用い，精度検証を行うことを目的と

NMAR3 とする．
NMAR3 についてさらに説明する．そもそもする．

NMAR によって図 1 に示したような問題が生
2．手法じる原因として，NMAR で uncollected sinogram

まず，金属アーチファクトのない CT 実画像

を prior sinogram で除算した際に 0 に近い値でに対し，画像上の歯の一部分に金属部分を仮定

除算してしまい，normalized sinogram の金属領して，シミュレーション[4]によって金属アーチ

域の線形補間に影響があるためであると考えファクトのある CT 画像を得る．次に，シミュら れ る ． こ の た め ， NMAR で は normalized

レーションにより得られた CT 画像に対し，

sinogram において，投影された金属領域の両端

NMAR を用いて金属アーチファクト低減を行の線形補間を行っているのに対し，NMAR3 でう．最後に，金属アーチファクト低減後の CT 画

は，図 1 のような問題が生じるとき，normalized

像に対し 3D U-Net［5］を用いて筋骨格の自動

sinogram の線形補間を行う範囲を変更する処理

セグメンテーションを行う．

を追加する．具体的には，以下のとおりである．
1. normalized sinogram 上の値が 3 より大きいかどうかを判定する．

2.1. NMAR
本研究では次の 3 種類の NMAR を適用し，

2. 上 記 1. で 3 よ り 大き い 場 合 ， normalized

それぞれ検証実験を行った．1 つめは，金属部

sinogram の線形補間において，通常の NMAR分の位置や形状が既知でないと仮定し，しきいでの線形補間領域の両端のうち，どちらか一値により金属部分を推定して NMAR を適用す方の値が 2 より大きいかどうかを判定する．

る手法である．2 つめは，シミュレーションに

3. 上記 2. で 2 より大きい場合，その位置に最際して作成した金属部分の位置や形状の情報も近い局所的最小値の位置を金属領域内でを用いて NMAR を適用する手法である．3 つ

新たに算出し，その位置と金属領域のもう一めは，NMAR において金属部分をしきい値によ方の端の線形補間に変更する．

631

表1

シミュレーションにて仮定したパラメータとそのときの金属アーチファクトの程度

金属アーチファクトの程度

Mild artifact

Severe artifact

金属の密度

6.0，8.0，11.6 g/cm3

5.0，6.0，8.0，11.6，13.0 g/cm3

金属の種類

チタン

鉄

パラジウム合金

ポワソンノイズの程度

1010，1011

109，1010，10 11

109，1010，10 11

2 種類

金属の位置のパターン
30

パラメータの組み合わせの合計

30

金属：鉄

金属：パラジウム合金

金属の密度[g/cm3]

金属の密度[g/cm3 ]ポワソンノイズの程度

金属：チタン
金属の密度[g/cm3 ]

[HU]

図2

シミュレーションにて仮定したパラメータとそのとき生成された CT 画像の例．本研究では，

緑線で囲んでいるものを Mild artifact，赤線で囲んでいるものを Severe artifact とした．
なお，上記手順 1. にて normalized sinogram 上

合金の 3 種類，金属の密度 5 種類および CT 画の値が 3 以下である場合は通常の NMAR と同像上に生じるポワソンノイズの程度 3 種類を仮様の処理を行うこととした．

定し，様々な CT 画像撮影条件を想定したシミュレーションを行った．その中で金属アーチフ

3．実験

ァクトの程度を目視で確認し，表 1 および図 2

3.1. 使用データ
本実験では，顎口腔領域を対象とした CT 実のように，Mild artifact と Severe artifact の 2 グ
ループに分けた．

画像を使用した．金属アーチファクトのシミュ
レーションに 1 症例，3D U-Net における学習用・検証用およびテスト用データとして 35 症

3.3. 生成画像の画質精度評価
生成画像の画質精度の評価には，PSNR およ

例，計 36 症例の CT 実画像を用いた．これらのび相互情報量(MI)を用いる．なお，PSNR の算出

CT 画像は鶴見大学歯学部にて撮影され，36 症に用いる画像は CT 画像を WW=500，WL=100

例すべての CT 画像において金属アーチファク

で正規化したものであり，また，MI の算出には，

トは含まれていない．画像サイズは 512×512×

CT 画像を-1000HU から 4000HU の範囲でビン

77～100，1 voxel あたりのサイズは 0.41mm×

数 255 の度数分布にしたものを用いる．

0.41mm×1.00mm となるようリサイズやクロップを行った．

3.4. セグメンテーションの精度評価
本稿の自動セグメンテーション結果の精度

3.2. シミュレーションにて考慮するパラメータ
金属アーチファクトのシミュレーションに

評価では，金属アーチファクトのない CT 実画

おいて，金属の種類をチタン，鉄，パラジウム

ンを ground truth とする．評価指標は平均表面像から作成したマニュアルセグメンテーショ

632

CT image
Absolute error

[HU]

[HU]

PSNR [dB]

―

15.42

17.36

17.35

17.16

MI

3.846

1.880

1.738

1.744

1.720

(a)

(b)

(c)

(d)

(e)

図3

Mild artifact の場合の低減結果の一例．(a):金属アーチファクトなし CT 画像，(b):NMAR 前，

CT image(c):NMAR1 後，(d):NMAR2 後，(e):NMAR3 後．

Absolute error

[HU]

[HU]

PSNR [dB]

―

10.13

5.01

11.86

12.78

MI

3.846

1.377

0.058

1.474

1.494

(a)

(b)

(c)

(d)

(e)

図4

Severe artifac の場合の低減結果の一例．(a):金属アーチファクトなし CT 画像，(b):NMAR 前，(c):NMAR1 後，(d):NMAR2 後，(e):NMAR3 後．
間距離誤差(Average Symmetric Surface Distance:

し，どちらもノイズの大きさは想定した 3 種のASD) を用いた．

うち中程度ものを仮定した際の結果である．
PSNR および MI は，いずれも金属アーチファ

4．実験結果クトなし CT 画像と各生成画像により算出した

4.1. NMAR 結果
金属アーチファクトのない CT 実画像に金属ものである．
図 3 より，Mild artifact の場合，NMAR1，2，部分を追加しシミュレーションおよび金属ア3 いずれを使用した場合も NMAR 前より PSNR

ーチファクト低減を行った結果の一例を図 3 おの値が高くなり，MI は同程度であった．また，

3

よび 4 に示す．図 3 は密度 6.0 g/cm のチタン，
33 種の NMAR 間の差は大きくないことが読み取れる．

図 4 は密度 6.0 g/cm のパラジウム合金を仮定

633

下顎骨
ASD[mm]

0.140

3.834

1.761

2.007

1.774

咬筋
ASD[mm]
図 5

0.387
1.655
0.454
0.445
0.454
(a)
(b)
(c)
(d)
(e)
セグメンテーション結果の一例．(a):金属アーチファクトなし CT 画像，(b):NMAR 前，(c):NMAR1 後，(d):NMAR2 後，(e):NMAR3 後．
図 4 より，Severe artifact の場合，NMAR2，3を適用した場合に NMAR 前より PSNR と MI の値が高くなった．図 4 に示しているスライスでは，NMAR1 を適用した場合に図 1 と同様の問題が生じ，NMAR に失敗している．ただし，Severe artifact の場合のすべてのスライスにおいて NMAR1 適用時に NMAR に失敗しているわ
けではなく，また，この問題が生じている場合，スライスによっては NMAR3 を適用した際にもNMAR に失敗する場合があった。
4.2. セグメンテーション結果
NMAR 前後の画像を用いた場合の下顎骨・咬筋のセグメンテーション結果の一例を図 5 に，
下顎骨・咬筋・内側翼突筋のセグメンテーショ
ン結果の ASD のグラフを図 6 に示す．図 5 の
赤の矢印で示した部分において，NMAR 前後でセグメンテーション結果が異なり，NMAR 後の方が NMAR 前と比較して ASD が小さくなっていることが読み取れる．また，図 6 より，まずNMAR 前後で比較すると，金属アーチファクトの程度に関わらず，下顎骨・咬筋・内側翼突筋
すべてにおいて NMAR 後の方が ASD が小さく，セグメンテーション精度の向上が見られる．
図6

NMAR 前後の画像を用いたセグメンテー

さらに図 6 より，Mild artifact の場合，NMAR

ション結果の ASD．有意差は**:0.01，*:0.05 での 種 類 に よ る ASD の 違 い は 小 さ く ， Severe

あり，青色で示した有意差は対応のある t 検定

artifact の場合，NMAR の種類による ASD の違の結果，灰色で示した有意差は Wilcoxon の符号いが顕著であることが読み取れる．特に下顎骨順位検定の結果である．なお，NMAR 前後の有のセグメンテーションにおいて，対応のある t

意差の算出は行っていない．

検定より，NMAR3 後の ASD と NMAR1 後の

634

図7

大規模データベースでのセグメンテーション結果（一部抜粋）．

ASD，および NMAR3 後の ASD と NMAR2 後NMAR に失敗したのは 64 スライスであり，の ASD それぞれで有意差ありとなっており，

NMAR に失敗したスライス数は NMAR1 適用時

NMAR2，3，1 の順に ASD が小さく，セグメンと比較して 17 減少した．しかし，この 17 スラテーション精度の向上がみられるといえる．一

イスにおいて，金属アーチファクトは残存して方，咬筋および内側翼突筋のセグメンテーショ

おり，その影響により筋肉部分の目視による確ンにおいては，NMAR2 を適用したときの ASD

認が困難であった．

がそれぞれ最も小さく，NMAR1 後と NMAR3

また，NMAR3 は，そもそも NMAR 失敗の判
定や normalized sinogram の線形補間領域の指定

後に精度の差は見られなかった．

に用いる normalized sinogram の値を実験的に決4.3. 大規模データベースでの結果
以上の結果をふまえ，金属アーチファクトのめている．これらの値は，本研究にて金属アー

ある CT 実画像 395 症例に対して NMAR3 を用する際に NMAR に失敗する問題に直面し，こいて金属アーチファクト低減を行ったのち 3Dれを解決する値としてあくまで実験的に定め

U-Net により筋骨格の自動セグメンテーションた値であり，最適な値であるとはいえない．こを行った．結果の一覧を図 7 に示す．この結果のため，NMAR3 後は NMAR1 後と比較して下より，下顎骨，咬筋の形状は患者間で様々であ

顎骨のみ ASD に有意差が表れるにとどまった

ることがわかる．

と考えられる．

チファクトのある CT 実画像に NMAR1 を適用

5．考察

6．まとめ

Severe artifact の場合，3 種の NMAR 間で ASD

本稿では，セグメンテーション精度について，
NMAR 前後，および 3 種の NMAR 間での比較の値が異なった理由を次のように考察する．
本実験で NMAR1 適用時に NMAR に失敗し検証を行った．今後，より多くの金属アーチフてしまった 8１スライスについて，NMAR2 適

ァクトなし CT 実画像を用いて金属アーチファ

用時には，どのスライスにおいても NMAR のクトのシミュレーションを行い，手法 NMAR3

失敗は見られなかった．これが，下顎骨・咬筋・の精度検証を通じて大規模データベースでの

内側翼突筋すべてにおいて NMAR1 後の ASD

セグメンテーションの精度向上を目指す．また，と NMAR2 後の ASD に有意な差が表れた理由

その結果を用い，さらなる解剖学的解析を行うであると考えられる．一方，NMAR3 適用時に予定である．

635

International

謝辞

Societyfor

OpticsandPhotonics, 2019.

本研究の一部は KAKENHI 26108004 の支援
による．

［3］

森谷 友香, Fatemeh Abdolali, 阪本 充輝,
et al.: 顎口腔領域の CT 画像における金利益相反の有無

属アーチファクト低減を用いた筋骨格
セグメンテーション, In proceedings of

なし
文
［1］

医用画像研究会(MI), Okinawa, 2019

献

Meyer E, Raupach R, Lell M, et al.:Normalized(NMAR)

metalinartifact

computed［4］

network based metal artifact reduction in

tomography.

X-ray computed tomography. IEEE Trans

Medical physics, vol.37, no.10, pp.5482-

Med Imag 37.6: 1370-1381, 2018

5493, 2010.
［2］

Zhang Y, Yu H: Convolutional neural

reduction［5］Çiçek Ö, Abdulkadir A, Lienkamp S, et al.:Sakamoto M, Hiasa Y, Otake Y, et al.:

3D U-Net: learning dense volumetric

Automated segmentation of hip and thighsegmentation

muscles in metal artifact contaminated CT

International conference on medical image

using

computing

CNN.

International

Forum

on

Medical Imaging in Asia 2019. Vol. 11050.

from
and

sparsecomputer-assisted

intervention, pp. 424-432, 2016

636

annotation.

Musculoskeletal Segmentation ofMetal Artifact-Reduced Maxillofacial CT Images－ Evaluation Using Metal Artifact-Simulation －Yuka MORITANI*1, Fatemeh ABDOLALI*1, Mitsuki SAKAMOTO*1, Yoshito OTAKE*1,
Yuko SHIGETA*2, Tomoko IKAWA*2, Akira MISHIMA*2, Takumi OGAWA*2, Yoshinobu SATO*1*1 Graduate School of Information Science, Nara Institute of Science and Technology*2 School of Dental Medicine, Tsurumi University

The segmentation of musculoskeletal structures, e.g. masseter muscle and mandible, in computed tomography (CT)images is important for the diagnosis and treatment planning of maxillofacial disorders. However, the presence of ametal prosthesis, such as dental fillings, leads to metal artifacts in the CT images that degrade the segmentation accuracy.
In our previous study, we developed a musculoskeletal segmentation method applied to metal artifact-reduced CT
images and evaluated it based on the manual trace produced from metal artifact-reduced CT images. In this research,instead, we simulated metal artifacts in the CT images and evaluated the segmentation accuracy using labels produced
from CT images without metal artifact. In addition, we proposed an improvement of the conventional Normalized Metal
Artifact Reduction (NMAR) method, and compared the impact of three metal artifact reduction methods on thesegmentation accuracy.

Key words: CT Image, Metal Artifact Reduction, simulation of metal artifacts, 3D U-Net

637

OP5-16

Faster R-CNN による肝臓がん候補領域の抽出法
古月
平野

夢奇*1

陸 慧敏*1靖*2 間普 真吾*2

田辺

金 亨燮*1昌寛*3

木戸 尚治*4

要旨
近年，肝臓がんは男女計で世界第 4 位の死亡者数となっている．肝臓がんの代表的な治療法として，手術が挙げられる．手術を行うには，事前にがんの個数やその大きさの情報を知る必要がある．その際に利用されるのが X 線 CT をはじめとする画像診断である．これらの診断では，得られた CT 像から肝臓の領域やがんの領域を抽出（セグメンテーション）することにより，最終的に 3 次元でその形状を復元することができる．本論文では，ダイナミック CT におけるがん領域を効率的に抽出するための画像解析法を構築するための前段階として，画像上に大まかながんの関心領域としての矩形領域を初期領域として求める手法を提案する．手法としては入力画像に前処理を施した後，改良を加えた Faster R-CNN を用い，がん領域を含む関心領域を矩形で抽出する．本手法をダイナミック CT の動脈相 11 症例に適応した結果，Recall：
71.72[%]，AP：64.60[%]という結果が得られた．
キーワード：コンピュータ支援診断，畳み込みニューラルネットワーク，物体検出，Faster R-CNN

1．序論

いる[1]．しかしながら，ダイナミック CT は複肝臓がんの診断において，X 線 CT，MRI な

数の時相画像の経時的変化を比較読影する必どの画像診断は極めて重要な役割を持つ．特に，要があるため，患者一人あたりに要する読影量

造影 CT において，造影剤を急速静注して経時は通常の撮影の数倍に膨れ上がっている．さら的に撮影するダイナミック CT は，がんの鑑別，に，CT 装置の高精度化に伴い，一度に撮影され描出，病期診断に非常に有用であるといわれてるデータ量が激増しているため，医師の読影負――――――――――――――――――

担は深刻な問題になっている．そのため，医師*1 九州工業大学大学院工学府工学専攻

が短時間に肝がんを見落とすことなく診断で〔〒804-8550 福岡県北九州市戸畑区仙水

きる環境の整備が必要とされ，CAD(Computer

町 1-1〕

Aided Diagnosis)システムの開発に対する要望

e-mail: kimhs@cntl.kyutech.ac.jpが高まっている．
そこで本論文では，肝臓がんの診断および治*2 山口大 学大学院創成 科学 研究科工学系学域知能情報工学分野

療計画立案のため，コンピュータを用いた定量〔〒755-8611 山口県宇部市常盤 2-16-1〕

的な解析を可能にすべく，がんの候補領域を矩*3 山口大 学大学院医学 系研究科

形で抽出・その矩形内のがん領域の抽出(セグメ

放射

線医学講座

ンテーション)の 2 つを基軸とする，〔〒755-8505 山口県宇部市南小串 1-1-1〕

CAD(Computer Aided Diagnosis)システムの開発*4 大阪大 学大学院医学 系研究科

を最終目標とする．すなわち，がんの自動抽出

人工

知能画像診断学共同研究講座

から関心領域の自動設定の後に，がんのセグメ〔〒565-0871 大阪府吹田市山田丘 2-2〕

ンテーションを行うことにより，医師への負担軽減を行うためのシステム構築を目指す．

638

具 体 的 に は ， CNN(Convolutional Neural
Networks)を用いた物体検出手法の一つである
Faster R-CNN による，がんの候補領域を矩形で抽出した後，その矩形内でがんのセグメンテー
ションを行う．従来の肝臓がんの検出に関する研究の多くは，肝臓領域内でそれぞれのがんに関心領域を設定せず，がんのセグメンテーショ
ンを行っている．そのため，複数のがん領域の間隔が近い場合において，セグメンテーション
精度が低下するという問題がある[2]．その問題

図 1 肝臓領域を改善するため，事前にがんの関心領域を自動で設定し，その関心領域内で最終的ながん領域のセグメンテーションを行うことにより，セグ
メンテーション精度の低下を防ぐ．本論文では，これらの目標を達成するための第一段階として，がんの関心領域を，CNN を用いて自動で設定する手法を提案する．
2．手法
本手法の流れは，肝臓領域の抽出とその抽出結果の切り出しによる前処理と深層学習によ

図 2 肝臓領域の切り出し例

る関心領域の抽出となる．また，本手法ではダイナミック CT における動脈相の CT 画像のみ

CNN における物体検出は，画像中から対象物を用い，がんの初期候補領域を矩形で抽出する．

体の位置とその物体が何であるかを特定する

2.1．画像領域の抽出及び切り出し技術であり，コンピュータビジョンの分野で重前処理における肝臓領域の抽出とその抽出

要なトピックスの一つである．また，バウンデ

結果の切り出しを行う．図 1 に動脈相におけるィングボックスと呼ばれる，物体を取り囲む矩肝臓領域を緑色で示す．その肝臓領域を切り抜

形領域を特定することを目標とする． 代表的いた CT 画像を図 2 に示す．肝臓領域を特定すな一般物体検出アルゴリズムに R-CNN 系，

る理由は，肝臓領域内でがんの抽出を行うため

YOLO(You only Look Once)系，SSD(Single Shot

である．これにより，肝臓以外の骨や他の臓器

Detector)系の 3 つがある[4-6]．R-CNN 系は，この誤抽出を防ぐことが可能である．ただし，本の 3 つのアルゴリズムの先駆けであるため拡張

論文ではこれらの肝臓領域抽出処理はすべて性が高いことから，本論文における処理対象で手動で行った．

あるがんの候補領域の抽出に Faster R-CNN[7]2.2．深層学習を使用した．
2.3．Faster R-CNN

画像解析の分野では，深層学習は文字認識や一般物体の分類に限らず，物体検出やセグメン

Faster R-CNN は，CNN を用いた一般物体検出

テーションにも広く応用されている[3]．本論文

アルゴリズムの一つである[7]．このネットワー

では，CNN を用いた一般物体検出アルゴリズム

ク の 前 身 に は ， R-CNN ， SPP(Spatial Pyramidの一つである R-CNN(Region-based CNN)に改良

Pooling)Net，Fast R-CNN が存在する[8,9]．Fasterを加えた Faster R-CNN[7]を用い，がんの候補領

R-CNN は，これらのネットワークの欠点を改善

域を矩形で抽出する．

したものになる．次に，Faster R-CNN のネット

639

ワーク構造を図 3 に示す．ただし，FC(Fully
Connected)は全結合層である．Faster R-CNN のネットワーク構造は， backbone 部，RPN(Region
Proposal Network)部，head 部の 3 つに分けることができる．
(A) backbone 部
backbone 部では，入力画像の特徴を抽出する役割がある．この backbone 部では，複数の畳込み層から構成される，既存のネットワークアー
キテクチャの全結合部を除いた部分を利用す

図 3 Faster R-CNN の構造

る．このネットワークアーキテクチャには，
VGG(Very Geometry Group) や ResNet(Residual
Network) な ど が あ る ． 本 論 文 で は ， 事 前 にImageNet で訓練された ResNet101 を採用した[10]．
(B) ResNet
画像分類問題において，ネットワークの層の深さは重要な要素であり，層が深いほど精度が向上すると考えられているが，より深いネット
ワークを学習させようとすると，勾配消失問題などが発生して精度が悪化することが知られ
図 4 RoI Align layerている．ResNet(Residual Network)は，このような深いネットワークにおいて発生する，精度劣化問題の解決を目指して考案された．ResNet は，(D) RoI Align layer

勾配消失問題を防ぐため，残差を用いた学習を

図 3 の RoI Align layer について説明する．本行う．複数積み重ねられた層が，直接最適な写

来，Faster R-CNN のこの部分の層には RoI Pool

像となるように学習するのではなく，残差の写

layer と呼ばれる層があった[7]．この部分の層の像が最適となるように学習する[10]．

役割は RPN から出力されたサイズが様々な領(C) RPN

域候補(Region Proposal)をプーリングにより，最RPN(Region Proposal Network)部では，物体ら終的に統一されたサイズの特徴マップとしてしき領域候補を抽出する役割がある[7]．RPN で出力することである．しかしながら，RoI Poolは，sliding window（3x3[pixel]のボックス）を

layer はプーリングを行う際，Region Proposal のbackbone 部の出力から得られた特徴マップ上

サブピクセルサイズのずれを考慮してリサイ

でスライドさせる．その後，sliding window に複ズを行う．そのため，最大 0.5[pixel]のずれが発数のアンカーボックスを適応し，“物体とみな生してしまう．これは最終的に出力される画像

すか否か”と“正解とする領域からどれだけずにおいて，16[pixel]のずれに相当する．

れているか”を出力する．すなわち，アンカー

そこで本論文では，RoI Pool layer の代わりにボックス内の物体及び非物体に関する確率 と

RoI Align layer を用いる．RoI Align layer は，ボックスの中心座標及び幅と高さを出力する．

Mask R-CNN に利用されており，図 4 のように

また，アンカーボックスの数は基本的に 9 個(スRegion Proposal の領域をそのまま等分割を行う

ケ ー ル ： 128,256,512[pixel] と ア ス ペ ク ト 比 ：[11]．その後，サブピクセル座標を持つグリッド

1:2,1:1,2:1 の組み合わせ)である．

点の値を特徴マップ上の近傍の 4 つの画素から

640

バイリニア補間法(Bilinear Interpolation)を用い含む矩形領域の抽出精度を評価する．AP は，て算出する[8]．そして，この 4 つのグリッド点

precision-recall curve の 下 部 面 積 (AUC:Areaの値を用いてプーリングを行う．このようにしUnder Curve)から求めるため，recall(再現率)とて，図 4 では 3x3 サイズの特徴マップとして出

precision(適合率)の両方を平等に評価している

力される．ただし，本論文での RoI Align layer で指標である．recall とは，実際にがんであるもの

は図 4 と異なり，最終的に 7x7 サイズの特徴マのうち，正しくがんであると抽出されたもののップで統一を行った．この RoI Align layer を用

割合を意味する．precision とは，がんであるといることにより，最終的に出力される画像にお抽出したもののうち，実際にがんであるもののける Region Proposal のずれを解消することがで割合を意味する． recall，precision は次式で与

きる．

えられる．

(E) head 部

𝑟𝑒𝑐𝑎𝑙𝑙 =head 部では，RoI Align layer で得られた結果
を用い，物体の位置とその物体が何であるかを

𝑎
𝑎+𝑏+𝑐

𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =特定する．図 3 より，2 つの FC 部はそれぞれ× 100[%](1)× 100[%]

(2)

𝑎
𝑎+𝑑

ユ ニ ッ ト 数 1024 で 全 結 合 さ れ て い る ．

ここで，式(1)と式(2)の a，b，c，d は，それぞclassification，すなわち，クラス識別層では，ク

れ表 3 に示す混合行列に含まれる領域の数を意

ラス数と同じ数のユニットで全結合されてお味する．

り，活性化関数に softmax 関数を用い，それぞ3.2．実験結果

れ領域候補においてクラスごとの確率を得る．

11 症例に対し，前処理を行った CT 画像を

box regression，すなわち，領域抽出層ではクラFaster R-CNN の入力として用いた．これにより

ス数の 4 倍の数のユニットで全結合されおり，得られたそれぞれのデータセットにおけるが領域候補に対する 4 つの位置情報(バウンディ

んの recall と AP 及びその平均を表 4 に示す．

ングボックスの中心座標と幅と高さ)を得る．

ただし，表 4 は RoI Pool layer を用いた従来手法[7]と RoI Align layer を用いた提案手法の比較結3．実験と結果果である．続いて， 従来手法及び提案手法を使

本論文における実験で使用された データセ用したときの出力画像の例をそれぞれ図 5 と図ットの画像情報を表 1 に示す．症例数は 11 で6 に示す．

ある．使用する画像は，すべて動脈相の CT 画
像である．また，11 症例すべてに，少なくとも
画像サイズ
症例数
画像枚数

1 個以上のがんが存在する．
3.1．評価方法
Faster R-CNN によるがん領域の抽出には，n分割交差検証(n-fold cross validation)による性能評価を行う．これは，全てのデータを症例ごとにランダムで n 分割し，(n-1)組を学習に用い，残る 1 組をテストに用いる方法である．実験で用いたデータセットの詳細を表 2 に示す．また，それぞれのデータセットにおいて左 30 度回転を行うことによるデータ水増しを行っている．
本論文では，4 分割交差検証により，各テスト
データセットに対する AP(Average precision)を求め，その平均を算出することにより，がんを

641

表 1 画像情報
512×512[pixel]
11[症例]
800[枚](200 枚は，がんを含む)

表 2 実験データセットの詳細
病変がある
病変がない
データセット
画像枚数
画像枚数
1
96
203
2
28
132
3
77
210
4
71
229

表 3 性能評価のための混合行列
病変の真のラベル
positive
negative
a
d
病変
抽出
抽出
b
e
非病変
結果
c
f
未抽出

域として求めるための画像解析法を提案した．
Faster R-CNN に対し，RoI Pool layer（従来手法[7]）及び RoI Align layer（提案手法）のそれぞれ用いて抽出を行った結果，表 4 より recall の
平均がそれぞれ 70.49[%]と 71.72[%]となり，APの平均がそれぞれ 62.70[%]と 64.60[%]となった．

データ
セット
1
2
3
4
平均

表 4 の結果はがんの TP(True Positive)を判断す

表 4 実験結果
RoI Pool layer
RoI Align layer（従来手法[7]）（提案手法）
recallAP
recallAP
0.9375 0.8804 0.9479
0.88940.6522 0.5722 0.6087
0.56820.6000 0.4488 0.6000
0.45950.6301 0.6097 0.7123
0.66890.7049 0.6270 0.7172
0.6460

るときの基準である IoU(Intersection over Union)の閾値を 0.6 と設定した場合の結果である．すなわち，Faster R-CNN で出力されたバウンディ
ングボックスと grand truth のバウンディングボ
ックスの IoU が 0.6 以上の場合，そのボックスの中の物体をがんとみなす．そのため，表 4 における recall と AP はほとんど変化のない結果となっている．しかしながら，図 7 と図 8 に示すように閾値である IoU の値を上げるにつれて，
recall と AP のそれぞれの値が RoI Pool layer（ 従来手法）及び RoI Align layer（提案手法）を用いた場合において顕著な差が発生している．ただし，図 7 と図 8 は recall と AP のそれぞれの差が最も顕著だったデータセット 1 を使用した場
合のグラフである．図 7 及び図 8 より，IoU の閾値が 0.8 のときにおいて，提案手法のほうが従来手法より recall 及び AP で大幅に高くなっ

図 5 従来手法 を使用した場合ていることがわかる．このことから提案手法は従来手法と比べ，バウンディングボックスの位置に関して高精度な抽出ができていることが
わかる．

1
0.8

recall0.6

図 6 提案手法 を使用した場合

従来手法

0.4

提案手法
0.2
0

4．考察

0.6

本論文では，ダイナミック CT におけるがん

0.65

0.7

0.75

0.8

IoU の閾値

領域を効率的に抽出するための画像解析法を

図 7 IoU の閾値を変化させたときの recall

構築するための前段階として，画像上に大まか
ながんの関心領域としての矩形領域を初期領

642

1

Deep learning based automatic liver tumor

0.8

segmentation in CT with shape-based postprocessing. MIDL 2018 Conference: paper

AP

0.6

62, 2018

0.4

従来手法

0.2

提案手法

［3］

岡谷貴之：深層学習．株式会社

講談社

サ イ エ ン テ ィ フ ィ ッ ク ， 2018,pp.1-54,
pp.79-110

0
0.6

0.65

0.7

0.75

［4］

0.8

IoU の閾値

R. Girshick, J. Donahue, T. Darrell, et al.:Rich feature hierarchies for accurate object
detection

図 8 IoU の閾値を変化させたときの AP

andsemantic

segmentation.

CVPR '14 Proceedings of the 2014 IEEE
Conference

また，図 5 及び図 6 より，提案手法のほうがon Computer Vision and

Pattern Recognition, pp.580-587, 2014

従来手法よりバウンディングボックスの中心にがんが位置することからも，提案手法のほう［5］

J. Redmon, S. Divvala, et al.: You only lookがバウンディングボックスの位置に関して高once: Unified, real-time object detection.

精度な抽出ができていることがわかる．

IEEE Conference on Computer Vision and
Pattern Recognition (CVPR), pp.779-788,
2016

5．まとめ
本論文では，ダイナミック CT におけるがん［6］

W. Liu, D. Anguelov, et al.: SSD: Single

領域を効率的に抽出するための画像解析法をshot構築するための前段階として，画像上に大まか

Conference on Computer Vision (ECCV),

ながんの関心領域としての矩形領域を初期領

pp.21-37, 2016

域として求めた．手法としては入力画像に前処［7］multibox

detector.

European

S. Ren, K. He, R. Girshick, et al.: Faster R-

理を施した後，Faster R-CNN を用い，がん領域

CNN: Towards real-time object detection

を 含 む 関 心 領 域 を 矩 形 で 抽 出 し た ． RoI Poolwith region proposal networks. NIPS, Vol.1,

layer（従来手法）及び RoI Align layer（提案手法）

pp.91-99, 2015のそれぞれ用いて抽出を行った結果，提案手法［8］

K. He, X. Zhang, et al.: Spatial Pyramid

は従来手法と比べ，バウンディングボックスのPooling in Deep Convolutional Networks

位置に関して高精度な抽出ができた．

for

VisualRecognition.

EuropeanConference on Computer Vision (ECCV),

今後の課題としては，抽出された矩形領域内

pp.346-361, 2014

で最終的ながん領域のセグメンテーションを行い，従来のセグメンテーション手法との比較

［9］

R.

Girshick:

Fast

R-CNN.

IEEE

International Conference on Computer

検討を行う必要がある．

Vision (ICCV), pp.1440-1448, 2015［10］ K. He, X. Zhang, et al.: Deep Residual

利益相反の有無

Learning for Image Recognition. IEEEなし

Conference
文［1］Pattern Recognition (CVPR), pp.770-778,

献

2016

尾川浩一 他：医用画像工学ハンドブッ［11］ K. He, G. Gkioxari, et al.: Mask R-CNN.

ク．日本医用画像工学会，2018,pp.567［2］on Computer Vision and

571

International Conference on Computer

Grzegorz Chlebus, Andrea Schenk, et al.:Vision (ICCV), pp. 2961-2969, 2017643

A Detection Method for Liver Cancer Region Based on Faster R-CNN
Muki FURUZUKI*1, Huimin LU*1, Hyoungseop KIM*1
Yasushi HIRANO*2, Shingo MABU*2, Masahiro TANABE*2, Shoji KIDO*3*1 Kyushu Institute of Technology*2 Yamaguchi University.
*3 Osaka University

In recent years, liver cancer has become the fourth-largest number of deaths in the world for men and women in total.
The treatment of liver cancer mainly needs surgical removal of the cancer and surrounding liver tissue. Therefore, inorder to perform surgery, it is necessary to know in advance the number and size of cancer. To analyze the liver cancer,
multi-phase CT images is used. In these diagnoses, the shape can be finally restored in 3D by extracting the region of
the liver and the region of cancer from the CT image. In this paper, we propose a method of obtaining a rectangularregion as a rough cancerous region of interest, as a preliminary step to construct an image analysis method for efficiently
extracting cancerous regions in multi-phase CT. As a method, after preprocessing the input image, using Faster R-CNN
which has been improved, the region of interest including the liver cancer region is extracted as a rectangle. We applied
our method to 11 cases of arterial phase of multi-phase CT, and the result of recall of 71.72 %, average precision (AP)of 64.60 % was obtained.
Key words: Computer Aided Diagnosis, Convolutional Neural Network, Object Detection, Faster R-CNN

644

OP5-17Binary Malignancy Classification of Skin Tissue using
Reconstructed Reflectance from Macropathology Multi-Spectral
ImagesEleni ALOUPOGIANNI*1，Hiroyuki SUZUKI*2, Takaya ICHIMURA*3,
Atsushi SASAKI*3, Hiroto YANAGISAWA*3, Tetsuya TSUCHIDA*3,
Masahiro ISHIKAWA*4, Naoki KOBAYASHI*4, Takashi OBI*2
Abstract
This study investigates whether reconstructed spectral reflectance from macropathology multi-spectral images(macroMSI) can assist binary classification of tissue malignancy to identify excised tissue margin during skin cancer
diagnosis. We captured high resolution 7-channel macroMSI of 10 samples before and after formalin fixing and apathologist labeled 115 regions of interest. We reconstructed spectral reflectance by adaptive Wiener Estimation.
Subsets of reconstructed spectra were input to k-Nearest Neighbors (kNN) and Support Vector Machine (SVM)
classifiers and evaluated by average area under curve of stratified 5-fold cross validation. Results revealed that
unfixed spectra were a superior feature set as classifier input. SVM outperformed kNN classifier.
Keywords：macropathology, multispectral imaging, skin cancer classification, spectral reflectance1.

Introduction

Skin cancer has been an increasing health concern in Japan with crude mortality rates doubling in a span offifteen years [1]. At present, macropathology lacks standardization [2] and is manually performed, allocating highworkload to pathologists. The purpose of this study is to investigate the effectiveness of binary malignancy
classification of skin cancer with traditional machine learning, using reconstructed spectral reflectance frommacropathology multi-spectral images (macroMSI) in order to automate detection of malignancy margins.
2.

Materials and Methods

We captured macroMSI of excised skin using a multi-spectral camera with RGB sensitivity across 7 channels in thevisible spectrum resulting to the raw subimages shown in Fig. 1. After approval of experimental procedures from thecouncil of Saitama Medical University Hospital, we collected skin specimens from 10 patients, who provided―――――――――――――――――――――――――――――――――――――*1 Department of Information and Communications Engineering, Graduate School of Engineering,Tokyo Institute of Technology〔Tokyo, Japan〕e-mail: aloupogianni.e.aa@m.titech.ac.jp*2 Research Institute for Innovation in Science and Technology, Tokyo Institute of Technology 〔Tokyo, Japan〕*3 Faculty of Medicine, Saitama Medical University 〔Saitama, Japan〕*4 Faculty of Health and Medical Care, Saitama Medical University 〔Saitama, Japan〕

645

informed consent, at the Central Pathology Department of the hospital. A trained pathologist identified and labeled a
total of 115 regions of interest (ROI) of skin tissue at 3 states: a) specimen surface prior formalin fixing (unfixed), b)
specimen surface after fixing (fixed) and c) interior after cross-sectioning (cross-sectioned), as described in Table 1.
We captured a macroMSI for each specimen at every tissue state. For comparison purposes, we also measured thereflectance spectrum of each ROI.

Table 1 Breakdown of the malignancy and fixing state of
the captured dataset.
Tissue State
Malignant
BenignTotal
Unfixed
21
14
35
Fixed
23
18
41
Cross-sectioned
24
16
39
Fig. 1 Example of the captured multi-spectral image
From the raw macroMSI and for known camera system parameters, we reconstruct the reflectance spectrum ofeach ROI by Wiener estimation, with smoothing matrix modeled as the correlation of measured spectra and spatial
denoising using Bayesian inference [3]. Reconstruction results were evaluated using average Normalized Root
Mean Square Error (NRMSE). Binary classification of skin cancer malignancy is tested with 5-fold stratified
cross validation on two traditional machine learning classifiers: k-Nearest Neighbors (KNN) and Support Vector
Machine (SVM). Performance was evaluated using balanced accuracy [4] defined as the average of specificity andsensitivity, and standalone specificity. High specificity is crucial in computer-aided diagnosis systems, due tofalse positive predictions creating high costs for further treatment as well as an additional burden to the patient.
3.

Results

The use of MSI improved reflectance reconstruction compared to RGB images, halving NRMSE as shown in
Table 2. Additionally, NRMSE was lower for unfixed dataset compared to tissue after fixing. In Fig. 2, we observethat reconstruction for benign tissue is worse than malignant tissue for all tissue datasets, especially for tissue after
fixing. Comparison of classification performance in Fig. 3 showed that SVM had greater specificity
compared to KNN for all tissue fixing states both for measured and reconstructed spectral as input. Although KNNclassifier resulted in higher prediction accuracy, the compromise for low false positive rates makes SVM more

Table 2 NRMSE of reflectance spectrum reconstruction forvarious combinations of image source and tissue state.
CrossSource
Unfixed
Fixed
Total
Sectioned
RGB
0.13290.09640.15900.1084MSI
0.05170.06490.07070.0542

Fig. 2 MSI-based reconstruction NRMSE permalignancy class for various tissue states.

646suitable for diagnosis in the present study. SVM-based classification using measured input achieved balanced
accuracy around 80% and specificity above 80%, whereas reconstructed input exceeded only 60% and 75%
respectively. Such a difference in performance is expected for reconstructed input, considering the small amount ofchannels that estimated the entire length of the spectrum. The inclusion of unfixed data in classification showed
improved accuracy for both measured and reconstructed input. While observing that fixed tissue has higher specificity
for measured input, this does not hold for reconstructed input, possibly due to the high NRMSE of fixed tissue.
Additionally, the high NRMSE of benign tissue reconstruction may be the cause of low specificity and low accuracy.

(a)

(b)

Fig. 3 – Classification performance using (a) measured and (b) reconstructed reflectance spectra as input to the classifiers.

4.

Conclusions

We investigated reflectance reconstruction from macroMSI images for use in binary malignancy classification ofskin cancer specimens during pathological diagnosis. Results revealed the superiority of SVM for practical use interms of specificity, and the importance of including unfixed tissue in the analysis due to its low reflectancereconstruction error. Comparison of classification based on measured and reconstructed input suggests reflectance as a
useful feature for binary malignancy classification of skin tissue.
Conflict of interest
In this work, the authors have no conflict of interest to declare.
Acknowledgement
We are thankful to Olympus Corporation for the provision and support of the camera equipment during capturing.

References［1］J. Cancer Information Service National Cancer Center: National estimates of cancer incidence based on cancer registries inJapan (1975-2013). 2013［2］Romaguera R., Nassiri M. and Morales A.R: Tools to Facilitate and Standardize Grossing. Histologic, 1:17-21, 2003
［3］Urban P., Rosen M. R. and R. S. BERNS: A Spatially Adaptive Wiener Filter for Reflectance Estimation. Color and Imaging
Conference, Society for Imaging Science and Technology, 2008(1): 279-284 , 2008［4］Brodersen K. H., Ong C. S., Stephan K. E., et al: The Balanced Accuracy and Its Posterior Distribution. Proceedings of 20th
International Conference on Pattern Recognition, Istanbul, 3121-3124 , Aug. 2010647

OP5-18

FDG PET-CT の腫瘍領域教師データを半自動的に作成する
アルゴリズムの提案と性能評価
平田健司*1，古家翔*1，真鍋治*1，孫田恵一*2，小林健太郎*1，
渡邊史郎*1，豊永拓哉*3，玉木長良*4，志賀哲*1
要旨
FDG PET-CT での悪性病変のセグメンテーションは深層学習に期待される課題であるが，放射線科医に定義された膨大な教師データを必要とする．PET では閾値処理により教師データ作成が比較的容易ではあるが，腫瘍集積と生理的集積が隣接するとき用手的作業を要する．この作業を効率化し再現性を高めるア
ルゴリズムを考案し，実装および操作者間の再現性を確認したので報告する．このアルゴリズムでは，最初に SUV≥2.5 を満たすボクセルを自動で抽出し，操作者は確実に腫瘍内であるボクセルを指定する．非腫瘍部分が結合している場合には，確実に腫瘍外であるボクセルを追加で指定する．次に 2 点を分離できる
最小閾値を探索し，これで解決できない場合は最急降下法および最近傍法を用いる．頭頸部癌と婦人科癌の計 23 例に対して 2 人の核医学医師が本法で教師データを作成したところ，Dice similarity coefficient が0.98±0.03 と高い一致率が得られた．今後の教師データの作成に有用であると考えられた．
キーワード：FDG PET-CT, 深層学習, 教師データ作成, アルゴリズム,

1．はじめに

2．方法

FDG PET-CT での悪性病変のセグメンテー

中咽頭癌の原発巣のみを取り出す作業を例

ションは，深層学習にとって最も期待される課に，全体の流れを図 1 に示す．まず SUV≥2.5 を

題の 1 つである．深層学習に基づく効率的な AI

満たす全てのボクセルを抽出する．次に，確実構築には，放射線科医によって定義された膨大に原発腫瘍内と考えられる空間内の点を 操作

なデータベースが重要である．CT および MRI者が指定する（赤マークを配置）．原発巣が他のと比較して，PET では閾値法や勾配法を用いて集積体（転移や炎症・生理的集積）の近くに位自動的なセグメンテーションが成功することが多いため，PET 上の腫瘍境界決定（教師デー――――――――――――――――――

タ作成）は比較的容易である．しかし，生理学*1 北海道大学大学院医学研究院画像診的または炎症性の取り込みに隣接する腫瘍を断学教室分離するには，通常は手動操作を要するが，時〔〒060-8638 札幌市北区北 15 条西 7 丁間がかかるだけでなく再現性の低下をもたら目〕す．そこで今回，腫瘍と非腫瘍が隣接するとき

e-mail: khirata@med.hokudai.ac.jpに，高速かつ高い再現性で腫瘍のみを分離する*2 北海道大学病院放射線部

アルゴリズムを考案し実装した．アルゴリズム*3 米国イェール大学 PET センターの詳細と再現性実験の結果を報告する．

*4 京都府立医科大学放射線医学教室

648

置している場合，それらの集積体も赤でマーク

3．結果されるため，これを除去する作業が必要となる．

この方法は全対象 患者に対して成功した．

これら非腫瘍性の構造物の内部に，操作者は青DSC は 0.98±0.03 (平均±SD)と高い再現性

マークを置く．同一領域内に赤マークと青マーが得られた．23 人中，14 人 (頭頸部癌の 6/13

クを持つため，ラベルが衝突し、一時的に緑で人，婦人科癌の 8/10 人)において DSC は 1.0 (完表示される．両者を分離することができる最小

全一致) となった ．なお ，対応 する metabolicの閾値を探索することで，ラベル衝突を解決す

tumor volume (MTV)は 96±127 mL 対 97±126 mL

る．最小閾値が見つからない場合は最近傍法を(VOIA 対 VOIB)であった．

用いる．操作者が満足するまでこの操作を繰り
4．結論

返す．
再現性を評価するために，2 人の操作者が独

FDG PET-CT に腫瘍領域教師データを作成す

立に，頭頸部癌(N=13)と婦人科癌(N=10)の原発るための効率的なアルゴリズムを考案し，高い巣を分離する課題に取り組んだ．いずれの症例

再現性を確認した．今後の教師データの作成にも原発巣に FDG の集積亢進が認められた．結有用であると考えられた．

果 の 評 価 に は ， 以 下 の 式 で 計 算 さ れ る Dice
similarity coefficient (DSC)を用いた．
𝐷𝑆𝐶 =

謝辞
本研究は JST の COI 若手連携研究ファンド

2|𝑉𝑂𝐼𝐴 ∩ 𝑉𝑂𝐼𝐵 ||𝑉𝑂𝐼𝐴 | + |𝑉𝑂𝐼𝐵 |の助成を受けた (採択番号 H31W09)．

ここで，VOIA と VOIB は 2 人の操作者によって定義された VOI である．DSC は 0 から 1 ま

利益相反の有無での実数をとり，大きいほど高い再現性を表す．

なし

図 1 ここでは中咽頭癌の原発巣のみを分離することを目指す．操作者は原発巣に赤マーク(a)を配置すると，これと連続した領域すべてが赤に変わる（頸部リンパ節とは他スライスで連続している）．次に原発巣以外の青マーク(b)を配置
すると，同一領域内に赤マークと青マークを持つため緑に変化する．そこで考案したラベル衝突解決アルゴリズム
が，自動的に原発巣（赤）とその他（青）に分離する．

649

An algorithm to generate training data semi-automaticallyon FDG PET-CT
Kenji HIRATA*1, Sho FURUYA*1, Osamu MANABE*1, Keiichi MAGOTA*2, Kentaro KOBAYASHI*1,
Shiro WATANABE*1, Takuya TOYONAGA*3, Nagara TAMAKI*4, Tohru SHIGA*1*1 Department of Nuclear Medicine, Hokkaido University, Sapporo, Japan*2 Division of Medical Imaging and Technology, Hokkaido University Hospital, Sapporo, Japan*3 PET center, Yale University, New Haven, CT, USA*4 Department of Radiology, Kyoto Prefectural University of Medicine, Kyoto, Japan
Segmentation of malignant lesions with FDG PET-CT is a greatly expected task for deep learning, but a large amountof training data defined by radiologists is required to train AI system. Although threshold-based segmentation isrelatively easier for PET images compared to CT and MR images, manual modification of segment is needed whentumor accumulation and physiological/inflammatory accumulation are adjacent. We aimed to propose an algorithm toprepare training data efficiently and reproducibly, and to test the reproducibility between two operators. In thisalgorithm, first, PET image voxels that satisfy SUV≥2.5 are automatically extracted, and the operator specifies voxelsthat are definitely in the tumor. If non-tumor accumulation is connected to the tumor, the operator is requested to
specify voxels that are definitely outside of the tumor. Next, the minimum threshold that can separate two points (i.e.,tumor and non-tumor) is exhaustively searched. Using this method, two nuclear medicine physicians segmented theprimary lesion of head-and-neck cancer and gynecological cancer (N=23). As the results, the Dice similarity
coefficient was 0.98 ± 0.03. In conclusion, the new method may be useful for training data preparation on FDG PETCT.
Key words: FDG PET-CT, deep learning, training data, algorithm

650OP5-19

乳腺領域の自動抽出を用いた深層ニューラルネット
ワークによる乳房超音波画像における腫瘤検出
楊凱文*1 叶嘉星*2 鈴木藍雅*1,*2 坂無英徳*1,*2
要旨
乳房超音波検査における腫瘤の発見率向上のために、機械学習技術を用いた診断支援システムの実現が期待されている。従来の手法では、画像中のノイズと乳腺以外の脂肪や筋肉の影響で、腫瘤を過検出することが多い。本稿ではこの問題を解消するために、乳腺領域の自動抽出と腫瘤候補領域の検出を組み合わせた深層ニューラルネットワークによる腫瘤検出手法を提案する。提案手法では、深層学習モデル
である AlexNet と U-Net を用いて腫瘤候補と乳腺領域を検出し、両者から出力される腫瘤らしさと乳腺
らしさの尤度を統合して最終的な判定を行う。実験では、実際の乳腺超音波検査にて取得されたデータセットを用いて、従来手法と比べ検出精度が向上し、過検出が削減されることを確認した。
キーワード：乳房超音波画像、コンピューター診断支援、異常検知、深層ニューラルネットワーク、画
像セグメンテーション向上を図る手法が提案されている。しかし、山1．はじめに

崎らの手法では乳腺の周辺領域における領域

乳がんによる死亡者数の増加は深刻な社会分割の精度が低く、腫瘤の検出精度が十分では問題となっており、早期発見による良好な予後なかった。

のためには定期的な乳がん検診が重要である。

そこで本稿では、深層ニューラルネットワー

がん検診における乳房超音波検査では、医師

クを用いた腫瘤候補の検出と乳腺領域の抽出(検査者)が超音波プローブを操作すると同時結果を統合し、高精度な腫瘤検出を行う手法をに、描出される乳房超音波画像を観察し、病変提案する。

部位を発見する複数の作業を要する。そのため、乳がんの正確な発見には検査者の技量や経験

2．乳房超音波画像を要し、経験の浅い検査者は病変を見落とす危

乳房超音波検査では、検査者(医師)が超音波

険性がある。乳房超音波検査における病変の見プローブを乳房にあて、超音波プローブを操作落とし防止のため、乳房超音波画像から病変をしながら超音波診断装置 のディスプレイに表自動検出するコンピューター診断支援 診断支

示される超音波画像を観察する。プローブから援システムが開発されている［1］。

組織に超音波を放射し、反射された超音波の振近年、深層学習に代表される人工知能技術の幅をグレースケールの輝度値に変換すること発展が著しく、超音波診断支援に適用した研究で画像を描出する。組織の構造に応じて反射さも多く報告されている ［2］［3］。山崎らの文献 ［4］れる超音波の振幅が異なるため、明るさの違い

では、乳腺以外の部位における過検出を抑制すとしておのおのの組織の構造を観察することるため、乳腺組織を自動抽出し、乳腺以外に位ができる。乳房における超音波画像では、画像

置する腫瘤候補を抑制することで検出精度の上部から順に、皮膚や脂肪、乳腺、筋肉と肋骨が順に描出される。乳腺組織で発生するがんが――――――――――――――――――

乳がんであり、乳房超音波検査では、乳腺組織*1 筑波大学大学院システム情報工学研究科に着目して検査を行う。

知能機能システム専攻〔〒305-8577 つくば市天王台 1-1-1〕
e-mail：kevin.yang@aist.go.jp*2 産業技術総合研究所651

は、乳房超音波画像は既定サイズに分割された矩形領域（パッチ）単位ごとにリサイズを行い
AlexNet へと入力され、パッチ毎に乳腺らしさの確率（0〜1）が出力される。AlexNet のもつ汎化性能を十全に引き出すために、転移学習の技
術を用いて、一般画像（ImageNet）で事前学習済みの AlexNet モデルに乳房超音波画像における腫瘤候補を検出させる。転移学習とは、医療画像のように学習データが少量に限られるタ
スクへと機械学習手法を適用する際に、データ量の多い別のドメインのタスクについて学習させたモデルがあるとき、関連する別ドメインのタスクに対して学習済みのモデルを利用する手法である ［6］。

図 1 提案手法のフローチャート

実際の乳房超音波画像データにおいて、腫瘤

3．提案手法の構成(異常)の箇所は正常箇所に対して相対的に少な

本研究で検出の対象とする乳がんは、超音波

く、クラス間のデータ量が著しく不均衡である。

画像診断において、皮下脂肪と筋肉の中間に位そのため、転移学習の際にデータ数の大きいク

置する乳腺組織に腫瘤像として観察される。そラスに出力が過剰に適合し、病変の見落としにのため、過検出の抑制のためには、画像中の乳繋がる。したがって、学習の際に学習データの腺組織の占める位置を検出する必要がある。

不均衡に対して、その影響を削減するための対提案手法の流れ図を図 1 に示す。提案手法に策が必要である。

おいて、腫瘤像の検出を行う超音波画像は、異本研究では、AlexNet の学習における損失関なる２つのニューラルネットワークモデルに数に、クラス不均衡を削減する重み付きクロス

入力される。腫瘤候補領域の検出(図１左)には、エントロピー損失［ 7］を用いて、上記の問題の解

事前学習済みの AlexNet を利用し、画像中の局消を図った。モデルの出力Yと、真のラベルTの所領域に腫瘤が含まれるかの検出を行う。さら間 の 重 み 付 き ク ロ ス エ ン ト ロ ピ ー 損 失 Lは 式に検出結果による過検出を抑制するために、乳(1)で与えられる：腺領域の抽出(図１右)では、U-Net による乳腺

1

𝑁

L = − ∑𝑛=1 ∑𝐾
𝑖=1 𝑤𝑖 𝑇𝑛𝑖 log⁡(𝑌𝑛𝑖 )領域抽出を行う。最終的な腫瘤候補の呈示の際

𝑁(1)には、U-Net による乳腺領域の抽出結果と腫瘤

ここで N はデータセットのサンプル数、K はク

検出モデルの出力を統合することで、乳腺領域

ラス数である。w は誤差関数のハイパーパラメ

以外に生じた腫瘤像の過検出を削減する。

ータで各クラスごとの損失の重みを表す。w は一般にクラスごとのデータ数の割合によって

3.1 AlexNet による腫瘤像の検出定める。提案手法ではこの重み付きクロスエン［5］

Krizhevsky らが提案した AlexNet

は、大規

トロピー損失関数を用いて、クラス間のコスト

模画像認識コンペンティションである ILSVRC

を均衡させ、AlexNet の転移学習を行う。

2012 の画像認識タスクにおいて、最高の認識率

3.2U-Net による乳腺領域のセグメンテーションを達成したモデルである。AlexNet は 227×227
px の RBG 画像(3 チャネル)カラー画像を入力にセマンティックセグメンテーション は画像

取り、1000 個のオブジェクトカテゴリへ分類すの各画素を、クラスに分割する問題の総称であるモデルである。腫瘤候補領域の検出においてる。すなわち、画像から特定の物体や領域の占

652

図2

U-Net の構造 [8]より引用、一部改変

める空間的情報を最も精緻に抽出する問題と力として得られた各ピクセルの乳腺領域の確も言える。

率 マ ッ プ を 𝐼𝑖𝑗 ∈ ℝw×h と す る 。 こ こ で w =U-Net［8］は 2015 年に発表されたピクセル単794, h = 493はそれぞれ画像の横および縦のピ

位の画像セグメンテーションを行うためのモ

クセル数である。はじめに、画像の乳腺領域にデルであり、主に医用画像を対象として設計さ関する確率マップを大津の二値化法［9］によって、れ て い る 。 U-Net は 図 2 の よ う な Encoder-

バイナリ画像に変換する。ここでピクセル値がDecoder 構造を持つモデルである。

1 の画素が、U-Net により乳腺領域とされた領提案手法においては乳腺組織領域を抽出す域である。次に式(3)のように画像の各縦方向るために、U-Net を用いた。U-Net の学習の際にの位置jにおける乳腺領域の確率を算出する:

は、脂肪、乳腺、筋肉組織とそれ以外の背景の𝑆𝑒𝑔

𝑃・ 𝑗 ＝

4 クラスにセグメンテーションを行い、超音波
画像の各画素に対して、乳腺領域の確率を算出

∑𝑤
𝑖=1 𝐼

・𝑗

(3)

max ∑𝑤
𝑖=1 𝐼・ 𝑗𝑗

ここで検知矩形領域の中心ほど乳腺が存在する。

する確率が高いという仮定の下で、矩形領域中の腫瘤に注目するため、1 次元ガウスフィルタ

3.3 乳腺領域の確率による腫瘤検出

ー処理を行う。1 つの異常候補の検知窓に対し本節では、AlexNet を用いた腫瘤を含むパッて式(4)のように、腫瘤である確率Pdetect を算出

チ画像の検出結果と、U-Net による乳腺領域のする。

抽出結果の統合手法について述べる。 まず、

𝑆𝑒𝑔

AlexNet により腫瘤が検知されたパッチのうち、

𝑃𝑑𝑒𝑡𝑒𝑐𝑡 = 𝑃𝐴𝑙𝑒𝑥𝑁𝑒𝑡 ∑100
𝑦=1 𝑃⋅𝑦⋅ 𝒩50 (𝑦)(4)

出力の Softmax 層において𝑃AlexNet = 0.9以上の

ここで、𝒩50 (y)は平均 50, 分散 225 のガウス分確率で腫瘤を含むと検出されたパッチ画像を布であり、大きさ100 × 100⁡pxの検知窓の中心腫瘤候補として検出する。

にピークを持つ。

これらの腫瘤候補は、乳腺組織の位置を考慮

Pdetect を一つの入力データセットから得られしない矩形切り出しから得られているため、乳た Q 個の腫瘤候補領域すべてに対して求め、腫腺領域の過検出を多く含む。そこで 3.2 節で得瘤の検出確率の列[𝑃𝑑1 ⁡𝑃𝑑2 ⁡⋯ 𝑃𝑑𝑄 ]を得る。最終

られた各ピクセルに対する乳腺の確率の算出

的な腫瘤の検出の際には、これらの腫瘤の検出

結果を用いて、乳腺領域外から得られた腫瘤候確率の列[𝑃𝑑1 ⁡𝑃𝑑2 ⁡⋯ 𝑃𝑑𝑄 ]に対して、1 次元の K-補のパッチ画像を除去する。いま、U-Net の出means［10］を利用し、過検出と正例の 2 クラスタ

653

に分類する。これらのクラスタ中心のうち、大きな値を持つ方を正例とし、このクラスタ中心
θTP を腫瘤検知の閾値としてPdetect > 𝜃𝑇𝑃 を満たす矩形領域を腫瘤として検出する。
4．実験
4.1 AlexNet による腫瘤像の検出
4.1.1 データセット
実験では AlexNet の入力として、乳房超音波
画像から切り出した 100×100px のパッチ画像を用いた。画像の前処理として、各パッチ画像

図 3 ROC 曲線による各手法の比較に対して、超音波画像に多く含まれるスペック
ルノイズを低減し、腫瘤の輪郭を強調するために、ヒストグラム均等化［11］

常：0.9 とした。Method3 と Method4 では、転移を行った。学習デ学習を用いずに AlexNet のモデルを利用した。

ータにおいて、腫瘤を含むパッチ画像のサンプ

Method3 は重み付き Softmax 層を利用したモデ

ル数は、正常な画像と比較して少ないたため、

ル、Method4 は通常の Softmax 層を用いたモデ

異常データに対してはデータ拡張によるサンルである。

プル数の水増しを行った。データ拡張には、腫瘤像を中心とした上下左右 5 px の位置ずらし、

4.1.3 評価方法と結果

及び 3、6、9°ごとの回転によるリサンプリン

腫瘤の検出性能を評価指標として、receiver

グを行った。これらの処理により、１つの腫瘤

operating characteristic（ROC）［12］曲線を用像に対して 12 枚のパッチ画像を生成した。実いた。ROC 曲線は、検知結果の過検出率(false

験に用いた異常・正常を含むパッチ画像のデー

positive fraction)と 検出 率 (true positive

タ量を 表 1 に示す。

fraction)をプロットした軌跡を表したグラフである。ROC 曲線が左上に近づくほど異常検出

表 1 腫瘤像検知のデータセット

性能が高いといえる。更に，ROC 曲線が左上に

正常

異常画

異常画

近 づ く こ と を 定 量 的 に 表 し た 指 標 が （ area

画像

像拡張

像拡張

under the curve; AUC）値である。AUC 値は ROC

なし

あり

曲線の右下領域の面積を表し、AUC 値が１に近17,652

いほど異常検出の性能が高いことを表してい

学習用(12 名)

90,405

1,471

検証用(2 名)21,454462

る。実験の結果得られた ROC 曲線と AUC 値を図

テスト用(3 名)

29,805162

3 に示す。
図 3 から、Method１の ROC 曲線は Method2、3、4 と比較して左上にあり、AUC 値が最も高い

4.1.2 比較手法

ことがわかる。

実験では、四つの比較手法を用いて腫瘤の検4.2U-Net による乳腺領域のセグメンテーション

出精度の比較を行った。Method1 と Method2 は、ImageNet により学習済みの AlexNet のモデル

4.2.1 データセット

であり、Method1 は重み付き Softmax 層、Method2は通常の Softmax 層を用いた。重み付き Softmax

U-Net の学習においては、7 名の被験者から層におけるクラスごとの重みは正常: 0.1、異得られた 475 枚の 794×493px 超音波動画像を654

学習データとして使用した。ラベルは手作業でフレームレートは 34fps の動画像である。異常

脂肪と乳腺と筋肉と背景の 4 種類を付けた。検検知実験のデータでは、フレーム画像から縦横

証データセットには同一の患者を含まない 44

各 100px のパッチ画像を使用した。テスト画像枚の乳房超音波画像を用いた。

からの腫瘤検出においては、動画像の各フレー
ムに対して横方向 20px, 縦方向 10px の移動幅

4.2.2 評価方法と結果

で、100×100px の検知窓を切り出して検出を行

画像セグメンテーションの性能を評価指標った。

として、最も広く用いられる Intersection over4.3.2 評価方法と結果

Union (IoU) を用いた。各クラスの IoU は、正しく分類されたピクセル数と、真にそのクラスに提案手法の評価には学習データに含まれな含まれるピクセルの合計数の比率である。
IoU スコア⁡ =TPTP⁡+⁡FP⁡+⁡FN

い 5 名の患者から撮影された乳房超音波動画像
をテスト画像として用いた。提案手法による、

(5)

⁡⁡

検知窓単位での検出結果を表３に示す。また、

ここで TP, FP, FN はそれぞれ真陽性、偽陽性、

テスト画像に含まれる腫瘤像の検出率を表 ４および偽陰性のピクセル数を表す。

に示す。

U-Net の学習においては、最適化アルゴリズ
ムに慣 性項付 き確 率的勾 配降下 法 (Momentum-

表 3 腫瘤検知と過検出を抑制する結果

SGD) を 用 い た 。 慣 性 項 は α = 0.9 、 学 習 率 は

患者

検出窓総

異常検出

提案

正

η =0.005、Weight decay における L2 正則化項

ID

数

ネット

手法

解

は 0.005 とし、学習曲線が十分に収束するまで

01

575,672

5599

811

344

1000 エポックの学習を行った。上記のパラメー

02

512,272

516

32

32

タで学習させたモデルによるセグメンテーシ

03

616,248

5654

167

85

ョンの結果を 表 2 に示す。

04

811,520

3415

202

51

05

1,298,432

6489

752

446

合計

3,814,816

21673

1964

959

表 2 U-Net による IoU の結果

学習

テスト

背景

0.80220.6590脂肪0.78590.6460

患者

動画の

腫瘤を

AlexNet提案手法

乳腺0.70500.6208

ID

フレー

含む

で検出

で検出

筋肉

0.47060.2403

表 4 腫瘤を含むフレーム数ごとの評価

ム総数
01

227

29

29

29

02

202

6

6

6

03

243

15

15

10

04

320

8

8

8

提案手法の有効性を検証するため、腫瘤あり

05

512

47

47

47

と判定された 5 名の患者(AlexNet と U-Net に

合計

1504

105

105

100

4.3 乳腺領域の確率による腫瘤検出使用しないデータ)から撮影された乳房超音波画像を用いて腫瘤検出実験を行った。

表 3 から読み取れるように、AlexNet 単体による腫瘤の検出精度は 959/21673=4.42%である

4.3.1 実験条件のに対して、提案手法による結果は実験で使用した超音波画像は 256 階調値のグ959/1964=48.8%と、提案手法により過検出を大レースケール画像であり、縦 493px、横 794px、655

図 4 フレームで見落としの例
幅に抑制できることがわかった。一方で、表 4に見るように、AlexNet 単体による腫瘤の再現
率 は 100 ％ で あ る の に 対 し 、 提 案 手 法 で は95.2％患者 03 の腫瘤を含む 5 フレームで見落としが生じた。これは AlexNet による腫瘤候補

図 5 過検出の例

領域の検出の際に Softmax 層の出力の閾値を0.9 と高く設定したためであると考えられる。

手法を提案した。提案手法では、画素単位の領

図 4 に被験者 03 における見落としフレームの域分割を行う深層学習モデルである U-Net を用例を示す。

いて、乳房超音波画像から腫瘤が発生しうる乳提案手法により、AlexNet 単体の結果と比較

腺領域の抽出を行い、超音波画像中から乳腺領して、過検出が大幅に抑制されたものの、提案

域の位置を推定する。次に、事前学習済みの深手法で除去できない 乳腺領域における過検出

層畳み込みニューラルネットワークと重み付は依然として多い。過検出の例を図 5 に示す。

き識別層を組み合わせた転移学習モデルを用

これらの過検出を一層抑制するための、今後のいて、超音波画像中のパッチ画像からの腫瘤検課題としては、以下が挙げられる。

出を行った。

① 腫瘤検出モデルと乳腺領域分割モデルそれ

実験では提案手法の有効性を検証するため、ぞれの性能を向上させる

腫瘤ありと判定された 5 名の患者から撮影され② 超音波検査が動画像である特性を活かし、た、乳房超音波画像に対して提案手法を適用し時間方向の隣接フレーム情報も加えて、腫た。提案手法による、腫瘤像のフレーム単位で瘤検出を行うの検出率は 95.24％であり、さらに乳腺領域の③ 腫瘤候補の検知モデルを乳腺の画像のみで抽出結果との統合によって、異常検知のみを用学習させる。

いる手法と比較し過検出を大幅に低減した。

5．まとめ

利益相反の有無

本論文では、乳がんの発生する乳腺以外での本研究における利益相反は存在しない。

腫瘤の過検出を低減するために、乳腺領域の自動抽出と腫瘤候補領域の検出を組み合わせた、
深層ニューラルネットワークによる腫瘤検出

文
［1］

献

Cheng, Heng-Da, et al. "Automated breast
cancer detection and classification using
ultrasoundimages: A survey." Patternrecognition 43.1 (2010).299-317.
［2］

Haskins, Grant, Uwe Kruger, and Pingkun
Yan. "Deep Learning in Medical Image

656

［3］

Registration: A Survey." arXiv preprint"The meaning and use of the area under aarXiv:1903.02026 (2019).

receiver operating characteristic (ROC)

Razzak, Muhammad Imran, Saeeda Naz,curve." Radiology 143.1 (1982). 29-36.

and Ahmad Zaib. "Deep learning for
medicalimage

processing:

Overview,

challenges and the future." Classification in
BioApps. Springer, Cham, (2018). 323-350.
［4］

山崎優大,et al."乳腺超音波画像からの異常検出に関する研究."電気情報通信学会東京支部学生会研究発表会, 東京 13 (2012).

［5］

K Krizhevsky A, Sutskever I, Hinton G E.
Imagenetclassification

convolutional[C]//Advances

with

deep

neuralnetworks

neuralinformation

inprocessing systems. (2012). 1097-1105.
［6］

Pan, Sinno Jialin, and Qiang Yang. "Asurveyontransfer

Transactions onlearning."

knowledge

and

IEEE
data

engineering 22.10 (2009).1345-1359.
［7］Guiaşu, S. Weighted entropy. Reports on
Mathematical

Physics,2(3),165-179.

(1971).
［8］

Ronneberger O, Fischer P, Brox T. U-net:
Convolutional networks for biomedical
image

segmentation[C]//International

Conference on Medical image computing
andcomputer-assisted

intervention.

Springer, Cham, (2015).234-241.
［9］

Otsu N. A threshold selection method fromgray-level histograms. IEEE transactionsonsystems,

man,

and

cybernetics,(1979).9(1). 62-66.
［10］ Jain, Anil K. "Data clustering: 50 years
beyond K-means." Pattern recognition
letters 31.8 (2010).651-666.
［11］ Singh

R

P,

Dixit

M.

Histogramequalization: a strong technique for image
enhancement[J]. International Journal of
Signal Processing, Image Processing andPattern Recognition, (2015). 8(8).345-352.
［12］ Hanley, James A., and Barbara J. McNeil.

657

Tumor Detection in Breast Ultrasound Images by Deep Neural
Network with Automatic Extraction of Mammary Gland Region

Kaiwen YANG *1,Jiaxing YE *2
Aiga SUZUKI *1,*2,Hidenori SAKANASHI *1,*2*1 Graduate School of Systems and Information Engineering, University of Tsukuba*2 National Institute of Advanced Industrial Science and Technology (AIST)The realization of a diagnosis support system using machine learning technology is expected in order toimprove the detection rate of a mass in breast ultrasonography. Conventional methods overdetect the mass due
to noise in the image and the effects of fat and muscle other than the mammary gland. In this paper, in orderto solve this problem, we propose a mass detection method by deep neural network combining automatic
extraction of mammary gland area and detection of mass candidate area. In the proposed m ethod, we use thedeep learning model AlexNet and U-Net to detect the mass candidate and the mammary gland region, integrate
the likelihood of the mass likelihood and mammary likelihood output from both, and make the final judgment.
In the experiment, it was confirmed that detection accuracy was improved and overdetection was reduced
compared to the conventional method, using a data set acquired by actual mammary gland ultrasonography.
Key words:Breast ultrasound images, Computer-aided detection, Anomaly detection, Deep neural network,
Image segmentation

658

OP5-20

レディオミクスによる肺がんの再発リスクの予測-レディオミクス特徴量の比例ハザード性の検証-

吉岡 拓弥*1

内山 良一*2

要旨
レディオミクス研究では，生存時間分析の代表的な手法であるコックス回帰モデルが用いられることが多い．しかし，病変から取得したレディオミクス特徴量は，比例ハザード性を満たしていない可能性がある．
本研究では，肺がんの再発リスクの予測にコックス回帰モデルを適用した．患者の治療前 CT 画像の腫瘍領域を手動でマーキングし，
腫瘍領域から 367 項目のレディオミクス特徴量を取得した．
367 項目から Lasso
を用いて 5 項目を選択し，選択された 5 項目のレディオミクス特徴量を入力変数としてコックス回帰モデ
ルを構築した．レディオミクス特徴量の比例ハザード性を Schoenfeld 残差によって検証した．実験の結果，レディオミクス特徴量が比例ハザード性を満たす可能性は低く，比例ハザード性を仮定しないモデルを適用すべきとの知見を得た．
キーワード：レディオミクス, 再発，肺がん，コックス回帰モデル，比例ハザード性

1．緒言量（レディオミクス特徴量）を入力変数とした

病院内に蓄積されたビッグデータを活用し，コックス回帰モデルが用いられることが多い

知的情報処理技術を用いて医療の支援を行う[8-10]．コックス回帰モデルを用いるときの不研究に，コンピュータ支援診断[1]とレディオミ

可欠な仮定は，「比例ハザード性」である．もしクス[2-8]がある．コンピュータ支援診断は，病比例ハザード性が成り立たなければ，モデルの変の存在診断や良悪性の鑑別診断の支援に応線形成分が時間とともに変化することを意味用されてきた．一方，レディオミクスは，病変する．レディオミクス特徴量は，病変の形状やを発見した後の医療のプロセスを支援するも濃度変化など病変の活動と関係した特徴量でので，サブタイプ分類や予後予測に関する研究あるため，レディオミクス特徴量の値が時間とが行われている．医療は，存在診断，鑑別診断，ともに変化する可能性が高い．そこで本研究で治療の順番に行われるから，コンピュータ支援は，肺がんの再発リスクの予測を例に，肺がん診断は前半の医療を，レディオミクスは後半の患者の治療前 CT 画像から得たレディオミクス

医療を支援するシステムとして分類できる．

特徴量が，比例ハザード性を満たすのかを検討

レディオミクスによる予後予測に関する研した．

究では，画像の病変部から得た高次元画像特徴
2．実験試料――――――――――――――――――

本実験では，The Cancer Imaging Archive[11]の*1 熊本大学大学院保健学教育部

NSCLC-Radiogenomics を 用 い た ． NSCLC-[〒862-0976 熊本県熊本市中央区九品寺 4 丁目

Radiogenomics には，非小細胞肺がん患者 211 例

24 番 1 号]が収録されている．そのうち，ステージⅠに分

e-mail: 181w0210@st.kumamoto-u-ac.jp

類された 80 例を選択し，それらの治療前 CT 画

*2 熊本大学大学院生命科学研究部（保）659像および再発までの時間を実験に用いた．
3）再発リスクの予測
再発リスクの予測法は，2 つのモデルに大別

3．方法
本手法の概要を述べる．まず，取得した患者される．1 つ目は，1 年後などの期間を固定したの CT 画像から腫瘍領域を手動でマーキングし，場合に，再発した症例と再発しない症例の 2 群

マーキングした領域のレディオミクス特徴量を区別するパターン認識の問題として取り扱を一般公開されているソフトウェア MaZda[12]う考え方．2 つ目は，再発までの時間を入力変を用いて 367 項目取得した．次に，367 項目の数として用いて生存時間分析の問題として取レディオミクス特徴量から再発リスクの予測り扱う考え方である．後者の利点は，単に再発に有用な特徴量を least absolute shrinkage andの有無を予測できるだけでなく，再発までの時

selection (Lasso)[13]を用いて 5 項目選択した．

間の予測が可能であるため，経過観察をどのく選択した 5 項目のレディオミクス特徴量を入力

らいの間隔で行えば良いかの目安を得ること変数としたコックス回帰モデル用いて再発リができる点である．そこで本研究では，後者のスクの予測を行った．コックス回帰モデルは，モデルを検討した．

比例ハザード性を仮定したモデルである．よって，レディオミクス特徴量が比例ハザード性を（1）コックス回帰モデル
コックス回帰モデル[14]は，生存時間分析の満たすのかの検証を行った．

基本的なモデルである．本研究では，再発リス
クの予測に応用するために，死亡のイベントを

1）腫瘍領域のマーキング
80 例の CT 画像に対して，腫瘍が最も大きく再発に置き換えることでモデルを構築した．あ

描出されているスライス画像を 1 枚選択して実験に用いた．腫瘍領域は著者の 1 人が手動でマる特定の時間における当該患者の死亡のハザードが𝑝個のレディオミクス特徴量𝑋1 , 𝑋2 , ⋯ , 𝑋𝑝

ーキングした．この際，腫瘍の形状特徴が正確の値𝑥1 , 𝑥2 , ⋯ , 𝑥𝑝 に依存すると仮定した場合，𝑖番に計算できるように，スピキュラも含めてマー目の患者のハザード関数ℎ𝑖 (𝑡)は，次式で表すこ

キングした．

とができる．
ℎ𝑖 (𝑡) = exp(𝛽1 𝑥1 + ⋯ + 𝛽𝑝 𝑥𝑝 )ℎ0 (𝑡)(1)

ここで，𝛽𝑝 はレディオミクス特徴量の係数を表2）レディオミクス特徴量の計測と選択
マーキングした腫瘍領域のレディオミクス

す．また，ℎ0 (𝑡)はベースラインハザード関数と特徴量は特徴量解析ソフトウェアとして一般呼ばれ，すべてのレディオミクス特徴量の値が公開されている MaZda[12]を用いて 367 項目取得した．レディオミクス特徴量を取得する際のゼロである患者のハザード関数を表す．パラメ
ータ係数𝛽𝑝 の値は，実験データから最尤法を用

パラメータは MaZda のデフォルト値をそのまいて決定することができる[14]．ハザード関数

ま用いた．例えば，テクスチャ特徴量を計算す

は，当該患者が時点𝑡で生存していたという条件

るための濃度共起行列を取得する際のパラメのもとでその時間に死亡する確率である．しかータは，濃度階調が 16，画素間の距離が 1～5，

し，このハザード関数は結果の表示には用いら

方向が 0 度，45 度，90 度，135 度である．

れず，一般的には生存関数（本研究では再発関実験に用いた患者が 80 例であるのに対し，数と表現するのが適切かもしれない）が用いら

レディオミクス特徴量が 367 項目であるため，れる．生存関数とは，生存時間が𝑡以上となる確再発の予測に有用なレディオミクス特徴量を率𝑆(𝑡)であって，ハザード関数から累積ハザー

選択して次元削減を行う必要があった．そこで，

ド𝐻(𝑡)を求め，𝑆(𝑡) = exp{−𝐻(𝑡)}に代入するこLasso[13]を用いてレディオミクス特徴量を 5 項とによって求められる．

目選択した．

660

（2）比例ハザード性度を表す．GeoY は，腫瘍領域の重心の垂直（yコックス回帰モデルを用いるときの不可欠軸）座標を表している．GeoAox は，オリエンタ

な仮定は，「比例ハザード性」である[14,15]．こル角度を表している．GeoW9 は，腫瘍領域に外

こで，1 つの変量を含むコックス回帰モデルを接する長方形の面積を腫瘍領域に存在する画考える．(1)式のハザード関数を素数で除した値である．

対数ハザード関数の差は，[𝑔(𝑡, 𝑥 = 𝑎, 𝛽) − 𝑔(𝑡, 𝑥 = 𝑏, 𝛽)] = (𝑎 − 𝑏)𝛽 (4)

表 1 選択されたレディオミクス特徴量
レディオミクス特徴量#1Perc.90#2
GrKurtosis
#3
GeoY
#4
GeoAox#5
GeoW9
図 1 に，5 項目のレディオミクス特徴量に関すであるから，対数ハザードの差は時間に依存しる Schoenfeld 残差の散布図および平滑化曲線をない．この仮定を「比例ハザード性」と呼ぶ．

示す．図に見られるように，残差の値がゼロ近もし，比例ハザード性が成り立たないならば，辺に散在しているとは言えず，平滑化曲線も大モデルの線形成分（x𝛽：変数の値）が時間とときく湾曲している．したがって，レディオミク

もに変化することを意味する．一般に，病変かス特徴量は，比例ハザード性を満たしているとら得たレディオミクス特徴量の値が時間ととは考えられず，コックス回帰モデルを用いた解もに変化しないという仮定は成り立つのであ析は，不適切である判断できる．

ℎ(𝑡, 𝑥, 𝛽) = exp(𝛽𝑥)ℎ0 (𝑡)(2)と表現する．このハザード関数の対数を𝑔(𝑡, 𝑥, 𝛽) = ln[ℎ(𝑡, 𝑥, 𝛽)]と定義すると，
𝑔(𝑡, 𝑥, 𝛽) = ln[ℎ0 (𝑡)] + x𝛽
(3)となる．このとき，𝑥 = 𝑎から𝑥 = 𝑏までの変化のろうか．病変は，悪性度が高くなるに連れて，形状や濃淡が歪になるのではないか．もし，そうであるならば，コックス回帰モデルを用いた解析は，レディオミクス研究には，不適切であると判断できる．
Schoenfeld 残差は，コックス回帰モデルを当てはめた後の比例ハザード性の評価に用いられる．詳細は文献[14,15]に譲るが，Schoenfeld 残差が，ランダムにゼロ付近に散在しているなら
ば，比例ハザード性を満たす．そこで本研究では，各レディオミクス特徴量の Schoenfeld 残差を求めてプロットすることによって，比例ハザード性の検証実験を行った．
4．実験結果及び考察
Lasso により選択された 5 項目のレディオミ
クス特徴量を表 1 に示す．Perc.90 は，腫瘍領域を二値化処理する際に，全領域の 90%が画素値0（黒）となる画素値の値を表す．GrKurtosis は，注目画素(𝑥, 𝑦)に対して，(𝑥 − 1, 𝑦)と(𝑥 + 1, 𝑦)の差の 2 乗，ならびに(𝑥, 𝑦 − 1)と(𝑥, 𝑦 + 1)の差の図 1 選択された 5 項目のレディオミクス特徴量に関2 乗の和の平方根を注目画素における濃度勾配

する Schoenfeld 残差の散布図および平滑化曲線と定義した時，領域内の各画素の濃度勾配の尖661

5．まとめfeatures for pattern recognition of lung

治療前の CT 画像から得たレディオミクス特cancer histopathology and metastases,

徴量を用いて肺がん患者の再発リスクを予測

Computerする手法を考案した．レディオミクス特徴量はBiomedicine, 159: 23–30, 2018.

比例ハザード性を満たしていない可能性が高［8］Methods andPrograms in

Aerts HJ, Velazquez ER, Leijenaar RT, et

いため，一般的に生存時間分析で用いられるコ

al.,ックス回帰モデルを用いた分析手法は，レディ

noninvasive imaging using a quantitative

オミクス研究には不適切であると判断できる．

radiomics

今後は，比例ハザード性を仮定しない生存分析

Communications, 5:4006, 2014.

の手法を採用して再発リスクを予測する方法［9］の研究開発を行う予定である．

Decodingtumourphenotypeapproach,by

NatureLi Q, Kim J, Balagurunathan Y, et al., CT
imaging features associated with recurrence
in non-small cell lung cancer patients after

利益相反の有無

stereotacticなし

body radiotherapy,

RadiatOncol., 12: 158, 2017.
［10］ Mattonen SA, Davidzon GA, Bakr S, et al.,
文

［1］

［2］

献

[18F] FDG Positron Emission Tomography

Li Q, Nishikawa RM, Computer-aided(PET) Tumor and Penumbra Imaging

detection and diagnosis in medical imaging,

Features Predict Recurrence in Non-Small

CRC Press, 2015.

Cell Lung Cancer. Tomography. 5(1): 145-

Gillies

RJ,

KinahanPE,

Hricak153, 2019.

H,［11］ NSCLC-Radiomics,

Radiomics: images are more than pictures,［3］

they are data, Radiology, 278(2), 563-577,

https://wiki.cancerimagingarchive.net/disp

2016.

lay/Public/NSCLC-Radiomics, 最 終 ア ク

Mazurowski MA, Radiogenomics: what it

セス日 2019 年 5 月 11 日.
［12］ MaZda, http://eletel.eu/mazda, 最 終 ア ク

is and why it is important, Journal of

セス日 2019 年 5 月 11 日.

American College of Radiology. 12(8):862-［13］ 杉山将，井出剛，神嶌敏弘，他，監訳．

866, 2015.
［4］

Phillips I, Ajaz M, Ezhil V, et al., clinical

統計的学習の基礎

applications of textural analysis in non-

グ・推論・予測．共立出版，東京，2014.

small cell lung cancer, Br J Radiol,［14］ Collett D: Modelling survival data in

91(1081): 20170267, 2018.
［5］

［6］

medical research, second edition. Chapman& hall CRC, 2003.

Thawani R, McLane M, Beig N, et al.,Radiomics and radiogenomics in lung［15］ David WH, Lemeshow S, May S: Applied

cancer: A review for the clinician, Lungsurvival analysis, regression modeling ofCancer, 115: 34–41, 2018.

time-to-event data, second edition, John

Shi L, He Y, Yuan Z, et al., Radiomics for

Wiley & Sons, Inc., 2008.

response and outcome assessment for nonsmall cell lung cancer, Technology inCancer Research & Treatment, 17: 1-14,
2018.
［7］

データマイニンFerreira Junior JR, Koenigkam-Santos M,
Cipriano FEG, et al., Radiomics-based

662

Prediction of the recurrence risk in patientswith lung cancer using radiomics-Verification of proportional hazards property of radiomic featuresTakuya YOSHIOKA*1, Yoshikazu UCHIYAMA*2*1 Gradient School of Health Science, Kumamoto University*2 Department of Medical Physics, Faculty of Life Sciences, Kumamoto University.

Cox regression model, which is a typical method for survival data analysis, is often used in radiomics researches.
However, radiological features obtained from the lesions might not satisfy with proportional hazards property. In thisstudy, Cox regression model was applied to predict the recurrence risk of lung cancer. First, we manually segmented
the tumor regions and subsequently determined 367 radiomic features. Five radiomic features were selected by using
least absolute shrinkage and selection (Lasso). Cox regression model with 5 selected radiomic features was employed
for the estimation of recurrence risk. The proportional hazards property of the radiomics features were verified by
Schoenfeld residuals. As the experimental result, we found that the possibility in which radiomics features satisfy withproportional hazards property was low. Therefore, we got a knowledge that another model which does not assume
proportional hazards property should be used for the survival data analysis in radiomics researches.

Key words: Radiomics, Recurrence, Lung cancer, Cox regression model, Proportional hazards property663

OP5-21

深層学習を用いた胃 X 線検査画像における腫瘍領域自動検出の試み
市川

梨沙*1

野村 敬清*2

彌冨 仁*1

橋本順*2

要旨
X 線検査は CT や MRI，内視鏡検査などの専門的検査方法と比べて容易なため，がんのスクリーニング
として集団検診で広く利用され検診者母数が極めて大きい．一方でがん等疾病の検出感度は専門的検査と比較して低いという問題がある．機械学習を用いた自動診断支援に関する研究も主に後者の専門的検査結果を対象としたものがほとんどであり，胃部 X 線検査に対する近年の成果は極めて数少ない．こうした背景から本研究では物体検出と識別を同時に行う深層学習手法である single shot multibox detector (SSD)を用いた胃部 X 線検査画像を対象とした腫瘍領域の自動検出システムを試作した．本システムは胃がん患者 39名，計 375 枚の胃部 X 線検査画像を元に構成され，患者ベースの 5-fold cross validation を用いた腫瘍検出能として平均 F 値=14.81(再現率=92.82%、特異度=8.05%)を実現した．
キーワード：胃部 X 線，深層学習，自動診断支援，集団検診

1．はじめにまれている．

日本では年間約 100 万例のがんが新たに診断

近年画像認識手法である Convolutional Neural

され，約 37 万人の死亡が確認されている．死亡

Networks(CNN)の医療分野への応用に関する研数を部位別にみると胃がんは第三位で約 12%

究が広がっている．内視鏡画像からの胃がん検を占める．胃がんは進行が早期の段階であるほ出においては再現率 92.2%，適合率 30.6%を実ど発症後の生存率が高く，ステージ 1 で診断さ現している[3]．一方で消化管 X 線検査画像に対れた場合の 5 年相対生存率は 94.9%である．こする診断システムの研究成果は極めて少ない．
そこで本研究では医師の胃 X 線検査での腫のため早期発見が重要とされている[1]．
発生率法を用いた胃がん検査感度の報告で瘍の見逃しを無くすこと目的として，胃 X 線

は，内視鏡検査は 95.4%であり胃 X 線検査の検査画像において CNN による自動病変領域検85.5%と比較して疾患の検出精度は高い[2]．し出・識別システムを試作した。

かし，一日に診断できる人数に限りがあるため全ての受診者を検査することは困難である．こ2．方法のようながん検診の現状から,検査が容易であ2.1

り集団検診で広く利用されている胃 X 線検査

東海大学医学部より提供された胃 X 線画像

でのスクリーニングによる高精度な診断が望を元にデータセットを構築した．胃に腫瘍のあ

データセットる患者の胃 X 線画像に対し，専門医による腫瘍――――――――――――――――――

位置のマークを元に 腫瘍を囲む最小の長方形*1 法政大学理工学部応用情報工学科（計 39 患者 375 画像中，731 箇所）を Ground〔〒184-0002 東京都小金井市梶野町 3-7-2〕

True boxes (GT)として生成することでデータセ

e-mail: iyatomi@hosei.ac.jp

ットを作成した．

*2 東海大学医学部専門診療学系画像診断学

664

2.2

single shot multibox detector(SSD)[4]

4．考察とまとめSSD は一般的な CNN である VGG-16 モデル

表 1 よりα=0.15 の場合，再現率において医をベースとしたネットワークを使用しており，師の診断を超える精度を実現したが，適合率が本実験では入力画像を 300×300 pixel とする

低いため誤検知が多いことがわかる．一方でαSSD300 を用いた．SSD300 は 1 枚の画像につき=0.2 の場合，誤検出は少ないが検出すべき領域

8732 個の Box を提案する.SSD の学習時には，の見逃しも多い．再現率と適合率はトレードオ

GT との Intersection over Union(IoU)が 0.45 以上

フの関係であり，予測値θの低い Box を非表示の．また，本実験では予測領域に対する予測値とすることで誤検出の削減が可能である．しかがθ={0.15,0.2}以上の Box のみを表示させた．

し，本研究の目的は医師の診断見逃しを無くすことであるため，複数個の予測領域のうち正解

2.3

評価手法

領域が含まれ，医師の注意を引くことができれ

患者ベースの 5-fold cross validation を用い，ば有意義であると考える．

適合率および再現率を算出することで性能評

患者 39 名分の極めて小さいデータセットを価を行った．評価段階では正解領域と予測領域用いて医師に匹敵する精度を実現したことかの IoU が 0.1 以上で検出成功とした．

ら，CNN により胃 X 線検査画像からの腫瘍領域の検出は可能であると考えられる．新たな患3.

結果者や健全な人のデータセットを加えることに

表 1 に胃 X 線画像における腫瘍検出結果精より病変領域検出精度の向上が期待できる．

度，図 1 に病変領域検出結果画像例を示す．
利益相反の有無
表 1 腫瘍領域検出結果．

なし

予測値θ

0.15

0.20

適合率[%]

8.46

17.83

再現率[%]

92.82

86.33

文
［1］

献

国立がん研究センターがん情報サービ
ス, <https://ganjoho.jp/reg_stat/statistics/index.html> , (参照 2019-5-10)［2］

Hamashima C, Okamoto M, Shabana M, etal.: Sensitivity of endoscopic screening for
gastric cancer by the incidence method. Int
J Cancer, 2013

［3］

Hirasawa T, Aoyama K, Tanimoto T, et al.:Application of artificial intelligence using a
convolutional neural network for detecting
gastric cancer in endoscopic images.
Gastric Cancer :653-660, 2018

［4］

Liu W, Anguelov D, Erhan C, et al.: S
sd:Single shot multibox detector. Europe
an Conference on Computer Vision :21–37, 2016

図 1 腫瘍検出結果例(上段:腫瘍正解位置

下段

左(検出成功):θ=0.15 下段右(検出失敗):θ=0.2)665Preliminary study on automated detection of involved regions
from abdominal X-ray images
Risa ICHIKAWA*1, Takakiyo NOMURA*2, Hitoshi IYATOMI*1, Jun HASHIMOTO*2*1 Hosei University Faculty of Science and Engineering*2 Tokai University School of Medicine
X-ray exams are widely used in mass screening because they are more convenient than specialized
examinations such as CT, MRI, and endoscopy. On the other hand, however, there remains a problem that thesensitivity of X-ray exams them is low compared to the specialized ones. Most of studies on automateddiagnosis support using machine learning is mainly for the latter, while there are very few investigations on
abdominal X-ray examination despite the large number of potential patients. In such a situation, we developed
an automatic tumor area detection system for abdominal X-ray images using single shot multibox detector(SSD). We used a total of 375 abdominal X-ray images from 39 patients and trained SSD. Our system attained
an average F-value of 14.81 (recall=92.82%, precision=8.05%) under patient-based five-fold cross validation.

Key words: abdominal X-ray, deep learning, automated diagnosis support, mass screening666

OP5-22

疾患股関節の CEA の自動計測と大規模データベースでの有用性の検討田中雄基*1

日朝 祐太*1

上村圭亮*2

大竹 義人*1

菅野 伸彦*2

高尾正樹*2

佐藤 嘉伸*1

要旨
大規模医用画像データベースに対する病態解析の必要性が高まっている．そこで我々は変形性股関節症に着目し，大規模医用画像データベースに対する変形性股関節症の分類である一次性と二次性の自動分類を目標とする．本研究ではそのための第一歩として三次元 CT 画像から Convolutional Neural Network (CNN)を用いて解剖学的特徴点を特定し，臨床で用いられている Center Edge Angle(CEA)を自動で計測する．また診療科を問わず網羅的に収集された約一万症例の CT データベースから変形性股関節症の有病率の測定に利用できるかを検討する．
キーワード：大規模医用画像データベース，CNN，CEA，変形性股関節症，解剖学的特徴点

1．はじめにれている[3]．そこで本研究では，この手法を大変形性股関節症とは関節軟骨の変性あるい

規模医用画像データベースに 自動で適用するは摩耗により関節に退行性の変化をきたす一ことで，変形性股関節症の有病率の測定を行う

連の疾患である．一次性と二次性に分類されてことを目的とする．本稿では，CNN を用いて三おり，日本では臼蓋による大腿骨頭の被覆が浅次元 CT 画像から解剖学的特徴点を自動で抽出

くなることによって不安定になる臼蓋形成不し，CEA の計測の自動化を行い，大規模データ

全に続発する二次性が多い[1]．また，股関節のベースへの有用性を検討する．

骨形態異常により大腿骨頭から頸部または臼2．手法

蓋に衝突が生じることで障害をきたす大腿骨

提案方法のフローチャートを図 1 に示す．CNN

寛骨臼インピンジメントが一次性の変形性股は三次元 CT 画像の各 Axial 断面スライスを入関節症の原因であると報告されている[2]．これ――――――――――――――――――

らの疾患を診断するために単純 X 線画像を用*1 奈良先端科学技術大学院大学 先端科学

いて臼蓋と骨頭の位置関係の評価を行い，CT 画

技術研究科 情報科学領域

像からより詳細な位置関係を評価し，立体的把〔〒630-0192 奈良県生駒市高山町 8916-5〕

握や術前計画に利用している．Wiberg らは骨頭e-mail: tanaka.yuki.tw4@is.naist.jp

中心と臼蓋外側縁を結ぶ線と骨盤水平線に対*2 大阪大学大学院 医学研究科

する垂線のなす角度である CEA を提案し，臨

投稿受付：2019 年 5 月 22 日

床において重要な判断材料の 1 つとして用いら667

力とし，ランドマークを推定するためのヒート

少することが報告されている[5]．そのため，正マップを出力する．ただし，CT 画像に対して[-確な正面像が必要になる．しかしながら，正確

150, 350]区間での階調処理を行った画像を入力に正面像を撮影することは容易ではなく，本手する．テスト時にはヒートマップを出力した後法で推定可能な三次元方向での角度を考慮にに，後処理として，カーネルサイズ 15x15x15，

入れた判断も臨床では重要となるのではない

シグマ 5 pix のガウシアンスムージングを行い，かと考えている．

三次元画像内で最大値を持つ座標を最終的なランドマークとする．
3. データセット
本研究で用いた臨床用 CT 画像は大阪大学病院で撮影された股関節変形症患者の in vivo な画像である．患者数は 88 人であり，画像の Fieldof view は 360×360 mm2 ，マトリックスサイズ
は 512×512，画像の解像度は 0.703125×0.703125
mm，スライス間隔は 1.0-6.0 mm で撮影した後，ボリューム全体のスライス厚が 1.0 mm になる
ように補間した．ランドマークの正解として 3D
Slicer(NAMIC, 2008)を用いて，左右の大腿骨頭中心と臼蓋外側縁に計 4 点の解剖学的特徴点を手動で抽出した．

図 2 CEA の BoxPlot と最大誤差と最小誤差と中央値

4. 実験のときの予測結果を示す．青い角度線が CNN の

CNN の学習時に用いる正解データとして，解予測結果であり，赤い角度線が正解である．

剖学的特徴点を中心とする三次元のガウス球

6. まとめ(sigma=15 pix)を作成した．自動で推定した CEA

本研究では，CNN を用いて股関節 CT 画像かと正解の CEA との誤差で評価した．2-fold 交差

ら CEA を測定するための解剖学的特徴点の自検証により提案手法の有効性を検証した．CNN

動抽出する手法を提案した．今後は大規模医用の構造には U-Net[4]を用いた． CEA の誤差の画像データベースに適用し，有病率の測定およBoxplot を図 2 に示す．CEA の最大誤差は 52.360

び，別の臨床で用いている定量的指標も含める

deg，最小誤差は 0.010 deg，中央値は 5.933 deg

ことで変形性股関節症を評価する判断材料をとなった．

増やす予定である．
謝辞
本研究の一部は，KAKENHI 19H01176 および
KAKENHI 26108004 の支援による．
利益相反の有無

図 1 提案手法のフローチャート

なし

5. 考察

文

CEA の推定誤差が大きい要因として，Axial 平［1］

面に垂直な方向でのずれが大きいと考えられ

献

Noguchi Y, Miura H, Takasugi S, et al.:Cartilage and Labrum Degeneration in theる．これは CNN の入力画像が 2D のため，三次

Dysplastic Hip Generally Originates in the

元的な骨形状を考慮出来ていないことが 原因

Anterosuperior Weight-Bearing Area. Anであると考えられる．

Arthroscopic Observation. Arthroscopy 15:

また，CEA は骨盤が後傾することによって減196-506, 1999

668

［2］

Pollard TCB, Villar RN, Norton MR, et al.:Genetic influences in the aetiology offemoroacetabular impingement. J Bone
Joint Surg Br 41:209-216, 2010

［3］

HansonJA,

Kapron

AL,

et

al.:

Discrepancies in measuring acetabular
coverage: revisiting the anterior and lateral
center edge angles. J Hip Preserv Surg.
2:280–286，2015［4］

Ronneberger, et al.: U-Net: Convolutional
networks

forbiomedical

image

segmentation. MICCAI, 9351: 234-241,
2015.
［5］

幸博和，原俊彦 他：骨盤後傾に伴う股関節の荷重部傾斜角と CE 角の変化について-MPR 像を用いた検討．整外と再外 57: 332-336, 2008

669

Automated Measurements of CEA of Diseased Hip Joint
And The Usefulness in Big Database Analysis
Yuki TANAKA*1, Yuta HIASA*1, Yoshito OTAKE*1, Masaki TAKAO*2, Keisuke UEMURA*2,
Nobuhiko SUGANO*2, Yoshinobu SATO*1*1 Graduate School of Information Science, Nara Institute of Science And Technology*2 Graduate School of Medicine, Osaka University
The need for automatic approaches for pathophysiological analysis in big databases of medical images is increasing. In
this study, we aim at the automatic classification of primary and secondary osteoarthritis in a big database. Anatomical
landmarks were localized from 3D CT images by using a convolutional neural network (CNN). The center of edge
angle (CEA), which is used in the diagnosis of osteoarthritis, was estimated. Preliminary results show the efficiency ofthe proposed method. We will further examine its feasibility on a large database consisting of approximately 10,000
CT images.

Key words: Big Medical Image Data，CNN，CEA，Osteoarthritis，Anatomical Landmarks670

OP5-23

A Study on Quantitative Evaluation of Kidney Tumors using 3D
Fully Convolutional Network
Chenglong Wang1, Masahiro Oda2, Yuichiro Hayashi2, Naoto Sassa3,
Tokunori Yamamoto3, Kensaku Mori2,4,5Abstract
Partial nephrectomy is a common treatment for kidney tumors. Due to the wide variety of tumor’s anatomical structures,
relations between tumor’s morphology and surgical outcomes have gained a lot of research interests. Quantitativeevaluation of kidney tumor can help physicians to have a better understand of tumor status. Manual segmentation of
kidney and tumor is a time-consuming and expensive task. In this work, we used a 3D fully convolutional network toautomatically segment kidneys and tumors, and then use traditional statistical analysis methods to quantitatively
evaluate the kidney tumor. By using deep-learning based method, kidneys and tumors can be precisely extracted from
3D CT scans. The quantitative analysis can be used for further surgical planning, such as renal clamping strategy. Oursegmentation accuracies of kidney and tumor were 93.4% and 42.3%.
Keywords：Kidney tumor, FCN, Quantitative analysis of tumor

1. Introduction
Nowadays, partial nephrectomy is a common treatment for kidney tumors. Due to the wide variety of tumor’s
anatomical structures, relations between tumor’s morphology and surgical outcomes have gained a lot of researchinterests. Tumor’s morphology is a major factor affecting the nephrectomy surgical planning. However, traditional
manual segmentation of kidney and tumor is a time-consuming. An automatic computer-aided diagnosis (CAD) systemfor quantitative analysis of kidney tumors can contribute to a more efficient diagnosis. To quantitatively analyze kidney
and tumor, a precise segmentation of both two regions is needed. In this work, we use a fully convolutional network(FCN) to automatically segment kidney and tumor. Then, quantitative measures, such as sphericity, distance andintensity deviation, are used to analyze kidney tumor. This quantitative analysis can be used for further surgical planning,such as renal clamping strategy.

2. Methods
In this work, we use a 3D U-Net like architecture incorporated with a spatially-aware unit to segment kidney and―――――――――――――――――――――――――――――――――――――
1. Graduate School of Information Science, Nagoya University.
2. Graduate School of Informatics, Nagoya University.
3. Nagoya University Graduate School of Medicine.
4. Information and Communications Headquarters, Nagoya University.
5. Research Center for Medical Bigdata, National Institute of Informatics.

671

Fig. 1 Overall architecture of our FCN.
tumor. The major difference between our network and original U-Net architecture [1] is that we incorporate spatial
information into our FCN. Since anatomical position of human tissue is almost invariant, the introduction of spatial
information can effectively reduce outliers (false positives). The architecture of our FCN is illustrated in Fig. 1. The
input volumes of the network are sub-volumes cropped using sliding-window method. As shown at the bottom ofarchitecture, we introduced a 3-channel spatial information containing relative coordinate information which can be𝑥𝑦 𝑧

calculated by [ , , ] , where 𝑥, 𝑦, 𝑧 denote voxels’ coordinates of input volume, 𝑊, 𝐻, and 𝐷 represent width,𝑊 𝐻 𝐷height, and depth of input CT volume. At a training phase, randomly cropped sub-volumes were fed to network fortraining FCN. We used sliding-window strategy to crop CT volume into 96 × 96 × 96 sub-volumes feeding to the
FCN. Output results were voxelwise segmentation results. At a prediction phase, test CT volume was first cropped into
sub-volumes using sliding-window method, then, voxelwise segmentation results were obtained by the trained FCN.
Finally, segmented sub-volumes were merged to a single segmentation volume.
After segmentation of kidney and tumor regions, quantitative analysis is performed for kidney tumor regions. In thiswork, we consider three measurements, including intensity deviation, sphericity, and distance between a kidney and atumor. Let 𝑉, 𝑆 and 𝐷 denote these three measurements respectively. Measurements for single tumor can be describedas:𝑉𝑖 = |𝑻𝑖 − 𝐸(𝑻)|,1

2

𝑆 = 𝜋 3 (6𝑁)3 ⁄𝐹 ,(1)

𝐷 = 𝑑(𝒈 𝑇 , 𝒈𝐾 ),where, 𝑻 denotes tumor region, 𝐸(⋅) is mean value, 𝑖 ∈ 𝑁 denote index of voxel inside of tumor region. 𝑁 and 𝐹
represent the number of voxels of whole tumor region and its surface. 𝒈 𝑇 and 𝒈𝐾 denote the gravity position of thetumor and kidney regions. 𝑑(⋅) is Euclidean distance. Based on these measurements, we can obtain a rough quantitativedescription of tumors segmented.
3. Experiments
In this work, we have 20 contrast-enhanced CT scans. Each case contains one kidney tumor confirmed by clinicians.
Considered the limited dataset, we first used a public dataset, kits19 [2], for pre-training of our FCN and then finetune
the FCN on our own dataset. We randomly separated our data into training/test with rate of 0.9/0.1, and performed
Monte-Carlo cross-validation (MCCV) three times. Thus six cases were tested in our experiments.

672

Table 1 Quantitative segmentation results of six test cases. DSC denotes Dice score.
Kidney DSC (%)
Tumor DSC (%)

Case 177.6
0.0

Case 2
97.3
70.3

Case 3
95.1
32.4

Case 4
96.6
67.2

Case 598.0
82.2

Case 6
95.9
2.1

Mean
93.4
42.3

Fig. 2 Two examples of segmentation results. Kidney and tumor regions are marked in red and green.
No data augmentation was performed during training. The learning rate for pre-training and finetuning is set to 0.001
and 0.0001. Adam optimizer was used in this work. Batch size was set to 6 during training. Training epoch was set to5000 times.
Detailed quantitative segmentation results are shown in Table 1. From Table 1, we can find that Dice scores (DSC) of
kidney were reasonable high but DSCs of tumors were low and not robust. Several segmentation results are shown in

Fig. 3 Two examples of quantitative analysis results of kidney tumors. Square of voxelwise intensity deviation isrendered with pseudo-color mapping 0 to blue and 1 to red.

673

Fig. 2. Tumor segmentation accuracy of Case 5 is reasonable acceptable. However, segmentation accuracy of Case 1 isdeteriorated, tumor was totally under-segmented. One considerable reason is that the contrasting conditions of Case 1 isslightly different from other cases. In this paper, we used manually annotated data to quantitatively analyze tumors
regarding the low segmentation accuracy. We demonstrated two quantitative analysis examples in Fig. 3. For a clear
visualization, we visualized the square of intensity deviation 𝑽2 . We first normalized 𝑽𝟐 to [0, 1], and rendered thetumor in pseudo-color mapping 0 to blue and 1 to red color. Sphericity is an important measurement of tumor. Lower
sphericity suggests the higher possibility of cancer. Distance between a tumor and a kidney effect the blood feeding.
Shorter distance indicates the high risk of faster-growing tumor.
4. Conclusions
In this work, we presented a preliminary study on quantitative evaluation of kidney tumors using 3D fully convolutional
network. We used a 3D FCN to segment kidney and tumors automatically. Three measurements, intensity deviation,
sphericity, and distance between a kidney and a tumor, are used to quantitatively analyze tumors. As aforementioned,
although the segmentation accuracy of tumors was low and not robust, the experimental results showed the potential ofusing FCN in kidney tumor segmentation task. The quantitative analysis results of tumors can be used for further precise
surgical planning. To validate our approach on larger dataset is one of our future works.

Competing interests
This work has no conflict.

Acknowledgement
Parts of this research was supported by MEXT/JSPS KAKENHI (26108006, 26560255, 17H00867, 17K20099) andHori Foundation, and the JSPS Bilateral Collaboration Grant and AMED (191k1010036h0001)

References［1］Çiçek Ö., Abdulkadir A., Lienkamp S.S., et al: 3D U-Net: learning dense volumetric segmentation from sparse annotation. In:
International conference on medical image computing and computer-assisted intervention 9901: 424-432, 2016［2］KiTS19 Challenge, https://kits19.grand-challenge.org

674

OP5-24

網膜動脈硬化症分類のための静脈口径計測
畑中

裕司*1

立木 宏和*2

川崎 良*3

村松千左子*5

藤田 広志*6

齋藤

公子*4

要旨
網膜動脈硬化症の主な所見である網膜動静脈交叉現象の診断を支援するために，網膜動静脈交叉部の近くの静脈口径を計測する処理の開発を目的とする．従来に提案した手法は，血管の抽出時に血管壁が滑らかに検出できず，計測位置によって静脈口径の値がばらつく問題点があった．本研究では，P 型フーリエ記述
子を用いて血管壁と血管の骨格を平滑化して，問題を改善させた．さらに，二値画像および濃淡画像の二次微分値を用いた血管壁の決定処理を開発し，静脈口径の計測精度を高めた．提案した方法を 95 枚の眼底画像に適用したとき，手動計測した静脈径との平均誤差と標準偏差は 1.39±1.11 画素と良好な結果を得た．
キーワード：口径計測，エッジ検出，プロファイル解析，交叉現象，動脈硬化

1．はじめにScheie 分類［1］や Keith-Wagner 分類慶大変法

網膜動脈硬化症は自覚症状を伴わずに進行が用いられてきた．Scheie 分類では高血圧性変することがあり，網膜の血管閉塞性病変の前段化と動脈硬化性変化に分けて判定が行われ，0階または脳梗塞などの全身疾患の前段階であ～4 の 5 段階判定の動脈硬化性変化の 1～3 度るといえるため，その早期発見が必要である．

が動静脈交叉現象（以下，交叉現象）の程度で一方で，眼底は人体で血管を直視できる唯一の判定されている．交叉現象は，硬化する動脈が領域であるので，高血圧や動脈硬化などの循環交叉する静脈を圧迫し，静脈の形状や走行方向

器系の検査に眼底検査が利用されている．眼底が変化する現象である．また，交叉現象は現在

検査は非侵襲かつ簡便な検査方法であるので，の血圧だけでなく過去の血圧にも関連してい人間ドックでは必須項目となっている．眼底画るとの報告［2］，交叉現象を有する人は，有さ像の循環器疾患の分類には，長年に渡ってない人の 2 倍の確率で脳卒中を発症する可能性――――――――――――――――――があるとの報告［3］がある．したがって，交叉*1 滋賀県立大学電子システム工学科

現象を早期に発見することが不可欠である．

〔〒522-8533 滋賀県彦根市八坂町 2500〕

早期発見の機会である人間ドックや健診では，

e-mail: hatanaka.y@e.usp.ac.jp

眼底検査は眼底カメラにて撮影した画像診断*2 滋賀県立大学大学院工学研究科電子が定着している．しかし，画像を目視判定する

システム工学専攻

主観的かつ定性的な方法が一般的であり，静脈*3 大阪大学大学院医学系研究科視覚情口径の計測などの定量的な判定は殆ど行われ報制御学ていないことが実情である．
コンピュータによる動静脈交叉部における*4 篠田総合病院眼科*5 滋賀大学データサイエンス学部

定量的な血管解析に関する報告がある［4-7］．

*6 岐阜大学工学部電気電子・情報工学科

横内らは，方向付き微分法で血管壁を強調して投稿受付：2019 年 5 月 15 日

675

抽出することによって，交叉現象を解析する手動脈法を提案した［4］．Nguyen らは，交叉の影響を受けない位置の静脈口径を用いた矩形を交叉V1

静脈部付近の静脈にマスクし，マスク内で実際にセV2

グメンテーションした静脈の面積を求めることで，交叉部の静脈口径を推測する手法を提案している［5］．われわれは，交叉部付近に同心円を設定し，円周上の静脈領域の画素値プロフ

図 1 静脈口径比の計測

ァイルをゼロクロス法によって静脈壁を決定し，静脈口径を計測する手法を提案している

交叉点入力［6］．また，抽出した血管の良壁と骨格を通る
直線の長さが最短のときを静脈口径とする手前処理法も提案している［7］．しかし，従来手法［6, 7］

血管抽出

は静脈の抽出精度に依存する問題があった．本
論文では，P 型フーリエ記述子を用いて血管抽

静脈認識

出後の血管壁と血管の骨格を平滑化 すること

静脈の輪郭・骨格の補正により，抽出精度のばらつきを抑制する処理を提案する．さらに，二値画像および濃淡画像の

静脈口径の計測

二次微分値を用いた 血管壁の決定方法につい

図 2 静脈口径計測処理の流れても述べる．
2．方法
交叉現象は，図 1 に示すように交叉する動脈の影響を受けない位置の静脈口径 V1 と交叉付近の静脈口径 V2 の比（V 2/V1，静脈口径比）を用

(a)

(b)

(c)

(d)

いて判定される［8］．交叉現象は，硬化した動

図 3 血管の骨格抽出．(a)原画像，(b)前処理画像，

脈が静脈を圧迫し，交叉部の静脈が細く見える(c)血管強調，(d)決定した血管領域（白）とそ現象であるので，静脈口径比が小さくなるほどの骨格（赤）

異常である．本論文では，V2 と V1 を計測する処理について述べる．
から血管を抽出する．

提案する手法は図 2 のように 5 つの処理から構成する．医師は眼底画像から診断に最も有用

まず，G 成分画像にガンマ補正および線形関な交叉部を選んで，その静脈口径比を考えるた数による階調処理を行い，図 3(b)のように血管め，本研究では眼底画像からユーザがマウス等を強調する．撮影光で血柱反射が生ずると，血で交叉点 CP を与えることにした．

管抽出に失敗することがあるため，Closing 処理
によって血柱反射の影響を軽減した．次に，筆2.1

者らが開発した二重リングフィルタとブラッ

前処理と血管抽出RGB カラー眼底画像の G 成分の波長の光をクトップハット変換を組み合わせた手法［9］をヘモグロビンが吸収するため，動脈と静脈のコ用いて血管を強調する（図 3(c)）．そして，二値ントラストが共に高くなる．そこで，ユーザが化処理を適用して血管領域を決定し，Hilditch の

指 定 し た CP を 中 心 と し た 関 心 領 域 （ ROI:

方法［10］で細線化することによって，図 3(d)Region of Interest）を設定し，G 成分画像の ROIのように血管の骨格を抽出した．

676

2.2

静脈認識

最初に ROI 内の血管構造を理解するために分岐点と交叉点を検出する．骨格の任意の画素の 8 近傍に骨格をなす画素が４画素存在すれば
交叉点，3 画素存在すれば分岐点として検出した［11］．ここで，ユーザ指定の CP に最も近い

(a)

(b)

(c)

交叉点を静脈口径比計測の対象とする．
図 4 に示すように血管抽出処理によって血管の一部領域が欠損したり，動脈硬化の進行によrって交叉する静脈が奥に押し込まれて写 った
りしていない場合，図 4(a)のようなパターンにならず，上述の方法では交叉として認識できな

(d)

(e)

い．そこで，図 4(a)～(c)に示すパターン 1，2，

図 4 交叉パターンと血管の一部が欠損した交叉の3 を想定して交叉部を認識する．まず，パター

例．(a)パターン 1：通常の交叉，(b)パターン

ン 1 は上述の処理で認識できる．次に，パター

2：交叉部をなす血管の一部欠損，(c)パターン

ン 2，3 は，上述の方法が CP 付近で分岐点と認

3：交叉をなす血管の一本の半分が欠損，(d)(b)

識された場合に該当する．図 4(d)に示すように，と(c)の判別法，(e)血管の一部欠損のある例．

分岐点から半径 r 以内に他の血管領域（ラベル）が存在する場合はパターン 2，存在しない場合
はパターン 3 とする．
最後に，CP 付近の交叉部を消去し，血管を枝に分割する．この段階で，パターン 1，2 の場合は 4 本，パターン 3 は 3 本の枝が認識される．
そして，交叉点で向かい合う 2 つの枝領域を同

(a)

(b)

(c)

(d)

一の血管と定義する．各枝領域の骨格を 2 pixel
膨張した領域の G 成分の画素値の平均値を計算し，枝のペアの認識に利用する．同種の血管同士の場合，異種の血管同士の場合と比較して，
G 成分の画素値の差は小さいため，平均値が近い 2 本の枝をペアとする．また，G 成分画像において，静脈は動脈よりも画素値が低くなる傾

図 5 血管の輪郭と骨格の補正．(a)補正前，(b)骨格向にあるので，平均値が高いペアを動脈，低いと血管壁の平滑化後，(c)(a)の拡大，(d)交叉部

ペアを静脈と定義した．
2.3

の骨格補正

静脈の輪郭と骨格の補正

この段階では，血管の骨格線と血管壁が波打

2.1 の処理を用いると，図 5(a)のように血管壁っている状態である．P 型フーリエ記述子［12］が凸凹に抽出されることがある．このような領を用いて，血管壁や骨格の凸凹を表現する高周域を細線化すると，細線も蛇行してしまう．特波成分を除去することにより，図 5(c)のようにに，図 5(b)に示すように交叉部の骨格が正確に交叉部以外で蛇行する血管の輪郭と骨格を補得られないことが多い．そこで，交叉部におけ正した．P 型フーリエ記述子を適用した理由とる静脈の骨格をスプライン補間して，図 5(c)にして，図形の輪郭線や平面上の曲線を周波数領示すように平滑化した．

677

域で記述するものとして フーリエ記述子が知られているが，骨格や血管壁は開曲線であるので，開曲線に適用可能な P 型フーリエ記述子を
選定した．
2.4

静脈口径の計測

静脈の口径は，骨格の各画素において骨格の

図 6 骨格に垂直な直線 P-line の例

走行方向と垂直な直線（P-line）を考え，P-line
上で血管壁を 2 点検出し，それらのユークリッ

背景画素
血管画素
骨格画素
注目画素

ド距離とした．ここで，P-line は一定長さとし，交叉領域に重なる場合は除外した．P-line の一例を図 6 に示す．本論文では，3 種類の血管壁の検出法（手法 1，手法 2 および手法 3）を提案
し，それぞれを比較した．

(a)

(b)

(c)

(d)

手法 1 ではまず，2.3 で平滑化した静脈の輪
郭と P-line が交わる画素 ep を図 7(a)のように探索した．図 7(b)に ep の例を示す．次に，画素 epを含む血管壁の画素を n 個抽出し，それらに対して最小二乗法を適用して，図 7(c)に示すような n−1 次方程式を得た．最後に，近似式と P-line

骨格と垂直に交わる直線（P-line）
P-lineと交わる血管壁画素ep
画素Pの近傍の輪郭画素
最小二乗法により作成した近似式

図 7 口径計測の手法 1 の流れ．(a) P-line と血管のの交点を求め，交点間の距離を静脈口径とする．

輪郭の交点画素の探索，(b)探索された ep の手法 2 では，G 成分画像にヒストグラム平坦

例，(c)血管壁の近似式の例，(d) P-line と近似化処理を適用し，P-line 上のプロファイルから式の交点の計算

ゼロクロス法［13］によって血管壁を決定することを試みた．しかし，静脈の血柱反射の影響
二次微分値

で血管壁以外がゼロクロスで検出されてしまう問題があった．そこで，血管の骨格（プロファイルの中心）から見て二次微分の値が最大となる点（図 8 青点）を求め，最大値の外側の最

0

初のゼロクロス点（図 8 赤点）を血管壁とした．
手法 3 は，手法 1 と手法 2 の組合せである．

プロファイル座標

予備実験において，手法 1 では実際の血管壁よ

図 8 ゼロクロス法ベースの血管壁の決定例．青りも外側の画素を血管壁として検出する傾向

点：左右での最大二次微分値．赤点：決定しがあった．また，手法 2 で用いた最大二次微分た血管壁．

値をもつ画素は，実際の血管壁よりも内側に存在する傾向があった．そこで，手法 1 と 2 を組み合わせる．まず，図 9 のように 2.3 で得た静脈の輪郭（輪郭画素を 255，非輪郭画素を 0 とした 256 階調の画像）をガウシアンフィルタを用いて平滑化した．この画像を重み分布と定義

図 9 血管壁の重み分布．左：手法 1 の血管壁．

する．続いて，P-line 上で血管壁らしさ IVW を

右：ガウシアンフィルタ適用後の重み分布．

式(1)のように定義し，計算した．

678

IVW=SDVWV(1)

表 1 観察者 A~C 間の計測誤差
観察者
A-B
B-C
C-A

ここで，SDV は P-line における二次微分値，WV
は P-line における重み分布の画素値である． P-

絶対誤差の平均標準偏差1.100.897 pixels
1.701.15 pixels
1.431.12 pixels

line 上で IVW が最大となる点を血管壁とした．
表 2 交叉点の位置ずれによる交叉部の認識

3. 実験結果と考察
検診で撮影された眼底画像を用いて，提案手交差の位置法を評価する．対象はトプコン社の眼底カメラ

CP

TRC-NW200 で 撮 影 さ れ た 95 枚 で あ り ，CP +(+5, +5)CP +(+5, -5)CP +(-5, +5)CP +(-5, -5)20481536 pixels の 24bit カラー画像である．本
実験は，滋賀県立大学「研究に関する倫理審査委員会」の承認下で行った．
3.1 静脈口径の手動計測
最初に，眼底画像の研究を担う 3 名が全画像

認識
率
1.00
(95/95)0.979(93/95)0.968(92/95)0.968(92/95)0.968(92/95)

交叉パターン 1，2，3
1
2
3
NG
84

8

3

0

84

7

2

2

83

7

2

3

84

6

2

3

82

7

3

3

表 3 静脈口径の計測誤差の交叉部付近の静脈の口径を手動で計測した．

計測手法
1
2
3
従来手法

眼底画像 1 枚毎に観察者 1 名が交叉点 CP を指定した．その CP を中心として 10 画素刻みで半径 10～110 画素の同心円を描画し，各円周に交わる静脈の口径を手動計測した．ただし，交叉

絶対誤差の平均標準偏差2.071.34 pixels
3.323.19 pixels
1.391.11 pixels
2.411.34 pixelsと分岐によって明らかに口径が変化した箇所
は計測の対象外とした．3 名の観察者が計測し準として，上下左右に各 5pixels 位置ずれした場

た静脈口径の違いを調べるため，観察者間の計合の交叉部の認識精度を調べた．表 2 にその結測誤差を絶対誤差の平均および標準偏差 を求果を示す．数値は分類した交叉部の数である．

めた．表 1 にその結果を示すが，観察者間には観察者が指定した CP の位置を基準にすれば，

平均約 1.4pixel の計測誤差がみられた．眼底画

95 箇所全ての交叉を認識でき，84 箇所を正し

像全体の血管口径計測のためのデータベース

くパターン 1 に分類できた．しかし，CP から

REVIEW［14］において，3 名の専門家が正解を

5pixel 位置ずれすると，コントラストの低い血作成しているが，専門家間で最大約 1.3pixel の管の抽出精度が下がり，パターン 1 以外に分類誤差が生じた報告があることから，本手動計測される場合があった．認識できなかった交叉部の誤差は許容できると考えた．

も，コントラストの低い動脈を十分に抽出できなかったことが原因である．

3.2

交叉点 CP の指定ズレによる交叉部の認
3.3

識精度

静脈の口径計測法の比較

実際にユーザが交叉点 CP を指定する際，マ2.4 で述べた 3 つの血管壁の決定手法によるウス操作の場合は位置ずれが生じて再現性が静脈口径の計測誤差について調べた．また，誤ない．CP の位置ずれが生じた際に，交叉部の認差の大きさの目安を知るために，従来手法［7］

識精度が保証できるかを検討した．CP がずれるの絶対誤差も調べた．95 箇所の交叉部に対してと ROI が変化するため，前処理などの画像の強絶対誤差を求めた結果を表 3 に示す．

調処理に影響し，血管の抽出結果が変化すると

手法 1 は，血管抽出後に二値化された画像か予想できる．ここでは，3.1 で指定した CP を基ら P 型フーリエ記述子による血管壁や骨格の線

679

分の平滑化を行うことから，網膜領域の模様のった．その結果，二値画像および濃淡画像の二影響を受けにくい．誤差の要因としては，計測

次微分値を用いた手法が良好であった．観察者

手法が血管抽出の精度に依存していることがによる手動計測との絶対誤差の平均±標準偏あげられる．近年は深層学習を用いたセグメン

差は 1.39±1.11 pixel となり，観察者間で生ずるテーション手法の開発が盛んであるが，多くの絶対誤差と同等であり，提案手法は人間が血管

学習データを用意することが困難であること，壁を凝視して計測する水準に達したといえる．

少ないデータでも静脈口径を計測できる手法

コントラストが低い血管 の抽出精度の向上がを目指したことから，本研究では機械学習を用課題として残っており，さらなる開発が必要でいないフィルタベースの手法を適用した．

ある．本研究では検診施設の眼底画像を使用し手法 2 は，ゼロクロス法を基本としているた

たため，明確に交叉現象の進行した症例が含まめ，血柱反射や網膜の色むらからゼロクロス

れず，交叉現象の判定実験を行わなかった．異が多く生じてしまう．特に，血管領域内の小さ常例を多く収集し，評価実験を行う必要がある．

なエッジを誤検出してしまうことが目立った．
つまり，手法 2 では実際の血管壁の内側を検出謝辞してしまうことが多いため，本研究では手法 1，
2 を組み合わせた手法 3 を考えた．

研究遂行にあたり貴重なご助言を賜りまし
た滋賀県立大学工学部の 奥村進氏および小郷

さらに，血管壁の決定方法について，手法 3

原一智氏に深謝いたします．本研究の一部は公の最大二次微分値 SVD を用いて血管壁を決定

益財団法人テルモ科学技術振興財団，JSPS 科研する手法を新たに定義して検討する（手法 4 と費 16K01415 および 26108005 の助成を受けたもする）．また，手法 1 と手法 4 がそれぞれ決定のです．

した血管壁の中点を血管壁とする手法 5 も新たに定義する．95 箇所の交叉部に適用したところ，
絶対誤差の平均は手法 4 が 2.08pixels，手法 5 が利益相反の有無なし．

1.48pixels であった．手法 4 の絶対誤差は手法 1と同等，手法 5 の絶対誤差も手法 3 に近い値と文なった．しかし，血管と網膜のコントラストが［1］

献Scheie HG: Evaluation of ophthalmoscopic

低い場合，すなわち SDV の変動が小さい場合，changes of hypertension and arteriolar

手法 4 では血管壁近くの網膜の色むらを血管壁

sclerosis. Arch Ophthalmol 49: 117-138,

として誤検出する可能性があり，手法 5 を用い

1953

た計測の結果にも悪影響を与えると考えられ

［2］

Wong

T,

Mitchell

P:

The

eye

in

hypertension. Lancet 369: 425-435, 2007

る．以上のことより，静脈口径の計測のための血管壁の決定には手法 3 が良いと結論づける．

［3］

Wong T, Klein R, Couper D, et al.: Retinal
microvascular abnormalities and incident

3．まとめ

stroke:The

atherosclerosis

risk

in

本論文では，網膜動脈硬化症の診断支援のた

communities study. Lancet 358: 1134-1140,
2001

めに，網膜動脈交叉部における静脈口径の計測法について言及した．従来手法では血管抽出の［4］

横内久猛，山本真司，鈴木孝治，他：眼精度が口径計測に強く影響していた．本論文で底写真の自動認識（その 1） 血管境界は，静脈の骨格および輪郭をスプライン補間お線抽出による眼底写真中の交叉現象のよび P 型フーリエ記述子を用いて平滑化するこ

自動認識．医用電子と生体工学 12: 123-とによって，従来の問題点を軽減させた．また，

130, 1974

複数の血管壁の検出手法を考え，比較実験を行

［5］

680

Nguyen U, Bhuiyan A, Park L, et al.: Anautomated method for retinal arteriovenous［6］［11］ 畑中裕司，原［8］

底写真における血管の追跡処理によるimages. IEEE Trans Biomed Eng 60: 3194-

動脈の口径不同の自動検出．生体医工3203, 2013

学 42: 236-240, 2004

高橋亮，畑中裕司，中川俊明，他：眼［12］ 上坂吉則：開曲線にも適用できる新し底画像における高血圧症診断支援のたいフーリエ記述子．電子情報通信学会

めの血管交叉部の自動解析．Med Imag

論文誌 A J64-A: 166-173, 1984［13］ Marr D, Hildreth E: Theory of edge

Hatanaka Y, Muramatsu C, Hara T, et al.:detection. Proc Royal Soc London B: Biol

Automatic

Sciences 207: 187-217, 1980

arteriovenous

crossing

phenomenon detection on retinal fundus［14］ Al-Diri B, Hunter A, Steel D, et al.:images. Proc SPIE Medical imaging 2011

REVIEW - A reference data set for retinal

7963: 79633V, 2011vessel proﬁles. Proc 30th Int Conf IEEE中島章，新井宏明：成人病の眼底検査．

Eng Med Biol Soc: 2262-2265, 2008

キャノン販売株式会社，東京，1984［9］

向栄，他：眼nicking quantification from color fundus

Tech 24: 270-276, 2006
［7］

武史，周

［15］ 中川俊明，林佳典，畑中裕司，他：眼底

岩瀬達彦, 村松千左子, 畑中裕司, 他：

画像診断支援システムのための血管消眼底画像における細動脈狭窄評価のた去画像を用いた視神経乳頭の自動認識

めの主幹動静脈の自動検出および分類

及び擬似立体視画像生成への応用．電法 ． 電 子 情 報 通 信 学 会 技 術 報 告 109:

子 情 報 通 信 学 会 論 文 誌 J89-D: 2491-

189-193, 2010

2501, 2006［10］ Hilditch CJ: Comparison of thinningalgorithms on a parallel processor. Imag
Cision Comput 1: 115-132, 1983

681

Retinal Vein Diameter Measurement
for Arteriosclerosis Retinae Classification
Yuji HATANAKA*1, Hirokazu TACHIKI*2, Ryo KAWASAKI*3, Koko SAITO*4
Chisako MURAMATSU*5, Hiroshi FUJITA*6*1 Department of Electronic Systems Engineering, School of Engineering, the University of Shiga Prefecture*2 Division of Electronic Systems Engineering, Graduate School of Engineering, the University of Shiga Prefecture*3 Department of Vision Informatics, Graduate School of Medicine, Osaka University*4 Department of Ophthalmology, Shinoda General Hospital*5 Faculty of Data Science, Shiga University*6 Department Electrical, Electronic & Computer Engineering, Faculty of Engineering, Gifu University

The purpose of this study is to develop a vein diameter measurement in order to aid diagnosis of arteriovenous nicking,which is main retinal arteriosclerosis. The previous method could not detect a blood vessel wall smoothly, thus variation
pf vein diameters measured was large. In this study, the vein diameter measurement was improved by smoothing theblood vessel walls and vessel skeletons using P-type Fourier descriptors. Moreover, this method was also improved bydeveloping a vessel wall detection method using binarized vessel image and second derivative in gray-level one. The
mean absolute error and standard deviation of vein diameter measurement was reached to 1.39±1.11 in 95 region ofinterest with arteriovenous crossing points.

Key words: Measurement of vessel diameter, Edge detection, Profile analysis Retinal image, Arteriovenous nicking,Arteriosclerosis682

第 38 回日本医用画像工学会大会（JAMIT2019)大会役員委員会名簿
五十音順・敬称略
佐藤

嘉伸

大竹

義人

宮崎

靖

原

武史

中田

典生

増谷

佳孝

委員長
委

員

有村 秀孝
石田 隆行
伊藤 聡志
彌冨
仁
上村 幸司
内山 良一
大沢 博之
大城
理
小田 昌宏
小尾 高史
河田 佳樹
北坂 孝幸
北村 圭司
木戸 尚治
金
亨燮
木村 裕一
工藤 博幸
椎名
毅
清水 昭伸
周
向栄
庄野
逸
陣崎 雅弘
菅
幹生
杉本 直三
滝沢 穂高
田中 利恵
陳
延偉
中口 俊哉
根本 充貴
野村 行弘
畑中 裕司
花岡 昇平
羽石 秀昭
平野
靖
本谷 秀堅
目加田慶人
森
健策
八上 全弘
山谷 泰賀
湯浅 哲也

大会長
奈良先端科学技術大学院大学
大会長補佐
奈良先端科学技術大学院大学
業務委員長
日立製作所
チュートリアル委員長
岐阜大学
企業連携委員長
東京慈恵会医科大学
プログラム委員会
広島市立大学
九州大学
大阪大学
宇都宮大学
法政大学
国立循環器病研究センター
熊本大学
キヤノンメディカルシステムズ
大阪大学
名古屋大学
東京工業大学
徳島大学
愛知工業大学
島津製作所
大阪大学
九州工業大学
近畿大学
筑波大学
京都大学
東京農工大学
岐阜大学
電気通信大学
慶応義塾大学
千葉大学
京都大学
筑波大学
金沢大学
立命館大学
千葉大学
近畿大学
東京大学
滋賀県立大学
東京大学
千葉大学
山口大学
名古屋工業大学
中京大学
名古屋大学
京都大学
量子科学技術研究開発機構 放射線医学総合研究所
山形大学

683

日 本 医 用 画 像 工 学 会（JAMIT）
役 員 名 簿( 平成 31 年 4 月 22 日現在 )五十音順・敬称略
氏名
会

長

副 会 長

常任幹事

幹

事

監

事

尾川

浩一

工藤 博幸
佐藤 嘉伸
大沢 博之
小尾 高史
北坂 孝幸
清水 昭伸
中田 典生
原
武史
花岡 昇平
宮崎
靖
目加田慶人
湯浅 哲也
石垣 武男
石田 隆行
伊藤 聡志
上村 幸司
大松 広伸
岡田 知久
掛川
誠
笠井
聡
勝俣健一郎
川岸 将実
木戸 尚治
黒木 嘉典
真田
茂
陣崎 雅弘
杉本 直三
滝沢 穂高
武田
徹
陳
延偉
土居 篤博
縄野
繁
仁木
登
野崎 太希
長谷川純一
畑中 裕司
羽石 秀昭
平野
靖
藤田 広志
細羽
実
増谷 佳孝
森
健策
森
雅樹
山谷 泰賀
吉川 悦次
安藤
裕
篠川
毅

所属
法政大学
筑波大学
奈良先端科学技術大学院大学
キヤノンメディカルシステムズ
東京工業大学
愛知工業大学
東京農工大学東京慈恵会医科大学
岐阜大学
東京大学
日立製作所
中京大学
山形大学
名古屋城北放射線科クリニック
大阪大学
宇都宮大学
国立循環器病研究センター
網走刑務所
京都大学
中央システム技研
コニカミノルタ
国際医療福祉大学
キヤノン
大阪大学
新村病院、博愛会 HPN 東京
公立小松大学
慶応義塾大学
京都大学
筑波大学
北里大学
立命館大学
富士フイルム国際医療福祉大学
徳島大学
聖路加国際病院
中京大学
滋賀県立大学
千葉大学
山口大学
岐阜大学
京都医療科学大学
広島市立大学名古屋大学
札幌厚生病院
量子科学技術研究開発機構 放射線医学総合研究所
浜松ホトニクス
JCHO 埼玉メディカルセンター
島津製作所

684