情報処理学会研究報告
IPSJ SIG Technical Report

細胞数カウントに向けた CNN を用いた尿中有形成分の分類
淺倉健太1

越村三幸2

池田大輔 2藤田博 2

概要：尿沈渣検査では，尿中成分である赤血球，白血球，上皮細胞，細菌などを正確に分類・カウントする必要がある．本研究では，顕微鏡画像において尿中の各有形成分の分類を行うことを目的とする．深層学習の一手法である畳み込みニューラルネットワークを用い，100 検体の顕微鏡画像から切り出した有形成分の画像約１万枚で分類学習を行ったところ，正答率 97.26%のモデルを得た．学習画像の取得に使用した機器の後継機として，解像度の向上等を行った別モーダルにおいて追加調査をした所，同等の性能とならないことを確認したのでこれらを合わせて報告する．
キーワード：細胞数カウント，尿沈渣，顕微鏡画像，深層学習，Fully Convolutional Networks，LeNet

Toward Cell Counting in Urinalysis:
Making a Naive Neural Network Model for Early StudyKENTA ASAKURA†1 MIYUKI KOSHIMURA†2DAISUKE IKEDA†2 HIROSHI FUJITA†2Abstract: In urinalysis, we need to classify and count urine sediment particle like Red Blood Cells(RBCs), White BloodCells(WBCs), epithelial cells or bacteria in a microscopic examination. This study was designed to assess the classification
performance of Convolutional Neural Network(CNN) in urine microscopic images. We collected 100 urine samples and clipped
10,128 images with three kinds of labels; RBCs, WBCs and others. Then, we obtained a model with 97.26% accuracy in classifying.
Also, we have applied the model to the successor machine so as to examine its performance in another modality.
Keywords: cell counting, urinary sediment, urinalysis, microscopic image, deep learning, Fully Convolutional Networks, LeNet

1. はじめに細胞数のカウントはそれ自体が定量的な指標であり，これを用いて作られた半定性的な指標と合わせて様々な用途で利用されている．細胞数カウントを用いた検査はその需適用可能であるか調べた．その後，次世代機である
USCANNER premio で取得された画像群における性能実験を行い，モーダルの違いによる影響を調査した．

2. 手法

要の大きさから業務効率化のため自動化が望まれる一方で，本研究では，USCANNER の機能のうち分類部分を置き製品として考えると精度をいかに保障するかが問題となる．

換えることを考える．USCANNER が認識する有形成分は自動運転や医療機器の分野においては，AI の説明可能性に成分ごとに大きさが異なるため，そのうちの赤血球およびよって動作の妥当性を示す試みもある．

白血球を対象として｛赤血球，白血球，その他｝の 3 種類

我々は現在，尿中有形成分分析装置 USCANNER（東洋紡製）における深層学習応用に取り組んでいる．USCANNERに分類する．
2.1 データの取得は，撮像，物体検出，分類，カウントを自動で行う．画像

本研究における対象成分はそれぞれ異なる病気の疑いを用いた自動化では，画像自体を保存しておくことで同じを示唆するものであり，学習に十分なデータを得るために画像を人が確認することが出来るため，説明可能性確保のはこれらが含まれる検体を選ぶ必要がある．そこで本研究前段階として検証可能性が確保される．USCANNER におでは，USCANNER によって取得されたデータのうち，専門いて，機械学習により行われている撮像後の作業を深層学家が有形成分数に関して主観評価を行い，有形成分同士の習で置き換えるのが我々の目標である．USCANNER は現重なりが少ないデータを選定した．

在，撮像部の変更が予定されている．そこでまず初期検討

以下，USCANNER (E)により取得されたデータを学習デとして，現世代の USCANNER (E)で取得された画像群を用ータ，USCANNER premio で取得されたデータを検証デー

い て 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク （ Convolutionalタと呼ぶ．学習データは専門家により選定された 100 件，

Neural Network，CNN）による分類実験を行い，深層学習がそれぞれ 25 枚の画像（1600×1200[pixel]）と，USCANNER

1 九州大学大学院システム情報科学府
Graduate School of Information Science and Electrical Engineering, Kyushu University

2 九州大学大学院システム情報科学研究院
Faculty of Information Science and Electrical Engineering, Kyushu Universityⓒ2020 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
が検出した有形成分の位置情報，分類，および分類毎のカ2.3 分類実験用データの作成

ウントを含む．また，同データから，専門家が対象成分にUSCANNER により取得される画像には複数の有形成分関して画像を確認しながら USCANNER の分析結果を編集が含まれる．そのためまず事前準備として，元画像からし，Ground Truth（以下，GT）を作成した．検証データは赤USCANNER が出力した有形成分の位置情報を基に部分画血球を多く含む 4 件および追加取得された白血球を多く含像を切り出すプログラムを作成した．これにより，分類のむ 4 件の計 8 件であり，DPI の変更に伴い画像のサイズがための部分画像生成を自動化できる．部分画像のサイズは，2048×1536[pixel]である以外は学習データと同様である．

学習データにおいて白血球の直径がおおよそ 37[pixel]であ2.2 CNN の構成および学習ったため，USCANNER が出力する位置情報を中心に 40×

本検討では，入力画像のサイズ変更に対応できるよう全40[pixel]とし，切り出した画像に GT を基としたラベル付

層 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク （ FCN: Fully

けを行った．その後，再度対象成分のラベルが付いている

Convolutional Network）を用いた．モデルの構造は LeNet1切り抜き画像を確認し，修正を行った．結果として，学習を参考に全結合層を畳み込み層に置き換えてモデルを作成

データに 3 種合計で 14033 枚の画像を得た．詳細を表 3 にし，深層学習を適用した場合のベースラインを定めること示す．
表 3 学習データの構成を目的とした．
CNN の入力は 40×40[pixel]の RGB 画像であり，各ピクセ種別

ルの値を 1/256 として 0-1 の範囲に収まるよう線形変換を赤血球

11623871549

行う scale 層を用いた．また，提案手法におけるニューラル

白血球

1767

5892356

層は，LeNet が畳み込み 2 層，全結合 2 層の計 4 層であっその他

7596

253210128

学習用

評価用合計[枚]たため，これに合わせて畳み込み 4 層とした．LeNet 等で見られる畳み込みの pooling 層であるが，本検討では使用

2.4 追加検討

しない．全結合層を排した影響として，ニューラル層の出モデルの学習は学習データのモーダルに最適化される．

力が入力に応じた広さを持つ形状になるため，ニューラル

本研究において，学習データの作成には専門家の確認を行層の次に global pooling 層をおいて出力の広さを 1×1 に変って GT を作成する必要があるため，現行機のデータを用換した後，Softmax による活性化を行う．

いて学習したモデルが次世代機のデータに対応可能か検討

表 1 FCN-1 の構造層

入力

カーネルを行った．解像度の変更により DPI は 1.28 倍になっている

活性化関数

出力が，丸めるため 1.3 倍として 52×52[pixel]で切り出し，linearに 40×40[pixel]へ変形した．追加検討においては赤血球およData

3@40x40--3@40x40

び白血球のみに着目する．検討用に初め 4 件 219 枚の画像

Scale

3@40x40--3@40x40を得たが，そのうち 3 枚の白血球画像に関して正答率 100%Conv1

3@40x40

5x5-50@40x40であったため追加で 4 件 323 枚の画像（うち白血球は 291

Conv250@40x40

9x9-125@40x40枚）を得たのでこれらを合わせて計 542 枚の画像として評Conv3

125@40x40

1x1

ReLU

700@40x40

価する．

Conv4

700@40x40

1x1-

3@40x403@40x40-

Softmax

3@1x1

globalpooling

3. 実験 1
3.1 FCN の作成
モデルの説明可能性を下げる要因として最適化によりハイパーパラメーター探索を行うことが挙げられる．本研

表 2 FCN-2 の構造
活性化

究ではハイパーパラメーター探索を行わずにモデルを策定

層入力

カーネル

Data

3@40x40--3@40x40Scale

3@40x40--3@40x40

力サイズを 40x40 とした．また，受容野の考えに基づき，

Conv1

3@40x405x5-

50@20x20

Conv2 のカーネルサイズを出力サイズが 2 倍になるのに合Conv250@20x20

5x5-

125@10x10

わせて 5x5 から 9x9 とした．次に入力が mnist のようなグ

Conv3

125@10x10

11x11

ReLU

700@10x10

レースケールではなく RGB の画像を使用するため次元数

Conv4

700@10x10

1x1-

3@10x103@10x10-

Softmax

3@1x1

globalpooling関数

出力する試みとして以下のように定めた．まず，神経科学における受容野を参考に，モデルを理解しやすいよう全層の出を増加させた．次に，全結合層の出力はベクトルであり，ベクトルは広さ 1x1 のテンソルであるから，全結合層から畳み込み層に変更した Conv3 および 4 のカーネルサイズを1x1 としてモデル FCN-1 を作成した．

ⓒ2020 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
表 4 FCN-1 の混同行列

表 5 FCN-2 の混同行列

予測

正解

赤血球
白血球
その他
合計

赤血球
347
28
6381

白血球
3452154609

その他
64024722518

予測

合計
38758925323508

赤血球
正白血球
解その他
合計

実験結果の混同行列を表 4 に示す．表 4 より，全体の正赤血球347
286381

白血球
34521
54609

合計
その他
6 387
40 5892472 25322518 3508

表 6 各性能指標の値

答率は 95.21%である一方，赤血球および白血球に関する性

赤血球

白血球

その他

能指標は低く，赤血球に関する感度は 89.66%，白血球では正答率.9875.9778.9800.9818

88.46%となった．

適合率.9409.9223.9897.9509

3.2 考察

再現率.9457.9474.9826.9586

特異度.9926.9839.9734.9833

対象成分の分類感度が低い原因を考える．感度は正答率

平均より低いもののチャンスレベルよりは高いことから，ある程度は対象成分に関する学習が出来ており，FCN-1 の構造に性能を低下させる積極的な要因があると考えられる．

4.2 考察
医療の分野で一般に使われる評価指標として感度と特

そこで Conv4 の出力 1x1 に対応する入力を考えてみる異度があり，このうち感度は再現率と等しい．特異度のマと，Conv4 および Conv3 ではカーネルサイズが 1x1 である

クロ平均を計算すると 98.33%となった．表 6 より，それぞため padding が 0 となり 1x1 であるが，Conv2 および Conv1

れの分類で見ると，赤血球および白血球の分類では感度がではそれぞれ 4 および 2 の padding が必要となるため特異度より低く，その他の分類では逆に感度の方が特異度

1+4x2+2x2 で 13x13[pixel]の広さが受容野となる．白血球のより高くなった．FCN-2 における，受容野を考慮したカー

大きさがおよそ 37x37[pixel]であるから不適切な受容野がネルサイズの設定は有効であると考えられる．

設定されていることが分かる．
以上を受け，次節では受容野に関して改善を行った．

4. 実験 2
4.1 FCN の改良

5. 追加検討
学習時と異なるモーダルでは期待される性能が発揮されないことが予想される．追加検討として，学習時と異なるモーダルにおける性能調査を行った．2.4 節で述べた検証

実験 1 より，受容野の改善を考えた．まず LeNet と同様データにおいて FCN-2 を評価した結果を混同行列としてに出力サイズに関して Conv1 および Conv2 のストライド

表 7 に示す．また，実験 2 と同様に各性能指標の値を計算（stride）を 2 とすることで半分になるようにし，同時にした結果を表 8 に示す．

conv2 のカーネルサイズを 5x5 にすると 13x13 の受容野と検証データにその他が含まれないため分母が該当ラベなり，実験 1 と等しい．次に全結合層から畳み込み層に変ルの総数となる再現率で比較を行うと，実験 2 では赤血球

更した Conv3 および Conv 4 について考える．LeNet の第 4

白血球それぞれ 94.57%，94.74%（表 6）に対し，学習時と層はベクトルからベクトルへの変換であるから Conv4 のカ異なるモーダルではそれぞれ 71.37%および 71.09%（表 8）

ーネルサイズは 1x1 で正しいが，第 3 層は前層の出力全てと明らかに低い．一方で，統計的情報のみ利用し，全て赤からベクトルへの変換であるから Conv3 のカーネルサイズ

血球白血球と答えるなどした場合をチャンスレベルとしてが不適切であると言える．以上から，Conv3 のカーネルサ考えると，今回は全て白血球と答えることで正答率 54.24%

イズを Conv2 の出力サイズである 10x10 以上となるようにを得られるが，このチャンスレベルよりは高い．

大きくすればよいと考えられる．

以上から，以下のことが言える．まず，モーダル変更に以上より，Conv3 のカーネルサイズを 11x11（カーネルサおいては，モーダル変更後の学習データを学習に使用する

イズは奇数にする必要がある）としたモデル FCN-2 を作成ことが望ましいと考えられる．次に，チャンスレベルとのし，実験 1 と同様に学習・評価を行った．FCN-2 の混同行比較で，モーダル変更前に獲得された特徴量の一部がモー列を表 5 示す．また，2 値分類としてみた場合の性能指標

ダル変更後においても効果的に働いていると思われる．モの値を表 6 に示す．全体の正答率は，97.26%であり，多クーダル変更前のデータに希少な検体がある場合などは，一ラス分類における性能指標[2]を計算すると，マイクロ平均

般にマルチモーダルにおいて行われているように，両モーは全体の正答率と同じく 97.26%，マクロ平均では正答率ダルのデータを使用することや，転移学習を行うことも有98.18%，適合率 95.09%，再現率 95.86%であった．

用であると考えられる．

ⓒ2020 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

表 7 マルチモーダルにおける FCN-2 の混同行列

予測

正解

赤血球
白血球
その他
合計

赤血球
177100187

白血球362090245

その他
375010

合計
2482940542

表 8 マルチモーダルにおける標の値
赤血球

白血球

その他

平均

正答率.8506.7768-.8137

適合率.9465.8531-.8998

再現率.7137.7109-.7123

特異度.9660.8548-.9104

図 1 FCN により得られるヒートマップの例（元画像（左，白血球），処理後の画像（中央），Conv4 の出力を加工したもの（右）．右図では緑が白血球，青がその他を表し，値は緑が一番大きいため max pooling により最終的な出力は白血球となり一致する．））
謝辞

本研究は東洋紡株式会社との共同研究によるものである．ご討論いただいた同社の奥田洋平氏に感謝する．

参考文献

6. おわりに[1]

本研究では，顕微鏡画像診断における深層学習の導入検討として実験を行い，正答率 97.26%のモデルを得た．また，[2]追加検討により，異なるモーダルにおいてモデルの性能が低下することを確認した．
本研究のように，診断機器において深層学習を導入する[3]

場合，導入機器における学習データの収集が望ましいが，診断機器ではどこに設置されている製品でも同じ結果が求[4]められるため，発売後の再学習は禁止されると予想される（専門部会の議事録が公開されている[3]）．また，本結果が[5]示すように，モーダル変更の影響は少なくないと考えられるため，ベースラインとして変更前のモデルを生成することは有用であるが，同じモーダルで学習したモデルよりは性能が低下すると予想できる．この点に関して，モーダル変更後の機器と深層学習のモジュールのリリース時期をず[6]

Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-basedlearning applied to document recognition,” Proc. IEEE, vol.86, no.
11, pp.2278–2324, 1998.
R. Sebastian and M. Vahid, “多クラス分類のための性能指標,” Python 機械学習プログラミング 達人データサイエン
ティストによる理論と実践, 2nd ed., 株式会社クイープ訳, 福島真太郎監訳. 株式会社インプレス, 東京, 2018, p.207.
“AI 専門部会 | 独立行政法人 医薬品医療機器総合機構”.
https://www.pmda.go.jp/rs-std-jp/subcomm-3rd/0007.html, (参照2018-11-08).
D. Onoro-Rubio and R. J. Lopez-Sastre, “Towards PerspectiveFree Object Counting with Deep Learning,” ECCV 2016 14th Eur.
Conf. Amsterdam, Netherlands, pp.615–629, 2016.
O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional
Networks for Biomedical Image Segmentation,” Medical Image
Computing and Computer-Assisted Intervention -- MICCAI 2015,
pp.234–241, 2015.
B. Romera-Paredes and P. H. S. Torr, “Recurrent instancesegmentation,” Lect. Notes Comput. Sci. (including Subser. Lect.
Notes Artif. Intell. Lect. Notes Bioinformatics), vol.9910 LNCS,
pp.312–329, 2016.

らす等，深層学習の導入を促進するには何らかの打開策が必要であると考える．
また，今後の課題として，本研究では性能を向上させるための手法を適用しなかったが，ハイパーパラメーター探索や一般画像認識で高性能を記録しているモデルの利用などが挙げられる．また，展望として，FCN-1 の Conv4 のように，出力サイズを入力サイズと同じにすると，分類に関するヒートマップ（図 1）が得られる．ヒートマップからカウントを回帰する研究として[4]が挙げられる．また，このヒートマップをさらに発展したものとして，画像のセグメンテーション[5][6]が挙げられる．このセグメンテーションは，物体検出において画像の 2 値化等が用いられているが，これに代わる技術である．

ⓒ2020 Information Processing Society of Japan

4