Panasonic Technical Journal Vol. 63 No. 1 May 2017

全層転移学習によるプロテオミクス解析
Proteomics Analysis using All-Transfer Deep Learning

澤田好秀佐Yoshihide Sawada氏

本慧Kei Ujimoto

要藤佳州

Yoshikuni Sato

林宣

中田透

Toru Nakada

宏Nobuhiro Hayashi旨
本稿では，少数の学習データを用いて高精度な深層学習を実施するための新たな転移学習法を提案し，それをプロテオミクス解析に適用した結果を報告する．プロテオミクス解析とは，たんぱく質を分子量と電荷量に基づいて分離し画像化した二次元電気泳動像を利用してたんぱく質の解析を行う技術であり，生物学者や医学者より注目を集めている．疾病の識別や創薬の分析，テーラーメイドの化粧品などに役立つと言われている一方，検体の収集が困難であり，高精度な判定が難しいという課題がある．そこで本稿では，転移学習と深層学習を組み合わせることで小規模データにおける識別精度の向上を試みた．従来と異なり，ニューラルネットワークの出力層も含めた全層を再利用する手法を提案し，有効性を敗血症識別によって確認できたので報告する．
Abstract
We have proposed a novel method of transfer learning for deep neural networks and applied it to proteomics analysis. Proteomics
analysis uses two-dimensional electrophoresis images split off from proteins on the basis of the degree of charge and molecularweights, and it is widely attracting attention from biological researchers and doctors. However, it is difficult for proteomics analysis toaccurately classify diseases, lead to drug discoveries, and produce tailor-made cosmetics because it is not easy to collect the images
needed for the analysis. In this article, we describe our efforts to improve the classification performance of the analysis by combining
transfer learning and deep learning when we only have a small-scale dataset. The main difference between our proposed method andthe conventional method is that we transfer all layers of neural networks including the output layer. We confirmed the effectiveness of
our method by applying it to sepsis classification.に，かつ包括的に確認することができ，疾病の識別や創1．はじめに薬の分析，テーラーメイドの化粧品などに役立つと言わ近年，プロテオミクス解析が注目を浴びている[1]．プ

れている[1]．

ロテオミクス解析とは，たんぱく質を分子量と電荷量に通常，たんぱく質の状態を計測し，その計測結果より

基 づ い て 分 離 し 画 像 化 し た 二 次 元 電 気 泳 動 像 （Two診断を行う場合には，バイオマーカーを利用する．バイ

Dimensional Electrophoresis Images, TDEIs）を利用して，オマーカーは特定のたんぱく質が明確に発現しているか体内のたんぱく質の状態を解析する技術のことである．

否かを判定する際に利用され，たんぱく質との生物学的TDEIsの例を第1図に示す．TDEIsはX軸が分子量，Y軸がな相関関係が明確な疾病を診断する場合に広く利用され電荷量での分離結果を表し，画像中の黒領域がたんぱくている．そのため，たんぱく質との相関関係が不明瞭な質を表す．これにより，複数のたんぱく質の状態を一度場合や複数のたんぱく質の微細な変化が診断に有用な場
合には，十分な性能を発揮することができない．

分子量

そのような疾病の一例として敗血症が挙げられる．敗血症とは，体内に入った細菌が原因で多臓器不全を起こ

電荷量す，全身性炎症反応症候群のことであり，患者の約25 %が死に至る病である．この重篤性を考慮して，敗血症をターゲットとした診断支援システムについて報告する．
本稿では，診断支援システムとして，教師有学習[2]を
（a）

第1図

（b）

二次元電気泳動像の例（a） 敗血症患者の二次元電気泳動像（b） 非敗血症患者の二次元電気泳動像
Fig. 1 Examples of two-dimensional electrophoresis images

28採用する．教師有学習では，事前に正解ラベル付きの学習用のデータを複数用意しておき，そのデータを利用してモデルを構築する．そして，新規データが入力された際には，そのモデルを利用して新規データの正解ラベル（a） Images of patients suffering from sepsisを推定する．一方，TDEIsを対象とした場合，TDEIsを識（b） Images of patients free from diseases.

別に利用した先行研究は存在しないため，識別に有効な

29

先端研究特集：全層転移学習によるプロテオミクス解析

f ( hL | x sj ) = hL +1 = W L +1h L + bL +1 ････････････（3）

画像特徴量は未解明である．そのため，自動で画像特徴を学習できる深層学習[2]の適用が望ましい．しかし，

なお，ℎ はL番目の層を表し，TDEIsの生成機器のスループットの低さ，および患者デはバイアスを表す．

はL番目の層の重み，ータであることに起因するデータ収集の困難さより，学習用データを十分に収集することは難しい．そのため，一般に大量のデータを利用する深層学習はそのままでは（a）

転移元データ

目標ベクトル

0.0

0.5

0.6

0.30.2に転移学習を適用する．転移学習とは，対象とする識別

全層再利用

転移先データ（b）

0.01.0

関連度ベクトル

敗血症

0.4

0.25

0.3

0.1

0.05

…

…

次に，転移元データで構築したモデルを転移先データの0.10.1識別に利用する．この際，転移先と転移元データの教師

…

0.15
…

手法は，まず転移元データを用いてモデルを構築する．

0.05 0.2

…

…

非敗血症

0.05

0.3

ルを再利用することで識別精度を向上させる手法であり，深層学習への適用も広く研究されている[4][5]．これらの0.35…

…

タ（転移元データ）を用いてモデルを構築し，そのモデラベルが異なり，直接利用することが困難であるため，

…

…

0.0

0.0

微調整（Fine-tuning）

そこで本稿では，高精度な識別を行うために深層学習タスクに関するデータ（転移先データ）とは異なるデー

1.0…の識別率は低下し，さらには過学習[3]に陥る．

0.00.0…

適用できない．もし，そのまま適用した場合，システム

1.00.05

関連度ベクトル

転移先データ0.35 0.05（c）

0.15 0.15…

層）を取り除く．そして，取り除いた層を置き換え，置0.05 0.05…

出力層のみ，もしくは出力層を含む中間層の一部（上位微調整（Fine-tuning）

き換えた層，もしくは全層を転移先データで再学習する．
しかし，このアプローチでは，少数の学習データで上位層を再学習する必要があるため，それによる識別精度の第2図

提案手法の概要[6]（a）転移元データを利用してDNNを学習低下や過学習を防ぐことは難しい．これを防ぐには，転（b）転移先データのカテゴリごとに関連度ベクトルを推定

移元データで構築したモデルの出力層を含む，すべての（c）モデル全体に微調整をかけ，転移元データで構築した層を再利用する必要があると考える．そこで本稿では，出力層の情報も含めてすべて再利用する新たな手法である，全層転移学習を提案する．

モデルを転移先データ用のモデルへと転移
Fig. 2 Overview of our proposed method [6]（a）Training DNN for source task（b）Computing target vectors of each target label

以降では，提案手法について説明した後に，TDEIsを（c）Tuning all parameters to transfer

用いた敗血症識別を対象とした実験結果を示し，提案手次に，構築したDNNにl番目のカテゴリに対応する転移法の有効性を示す．

先データ を直接入力することで，転移先データのl番目のカテゴリに対応する関連度ベクトル を（4）式に従っ2．全層転移学習て算出する（第2図（b））．関連度ベクトルは，転移元デ提案手法の概要を第2図に示す[6]．以降では，第2図にータのカテゴリによって構成させる次元の基底ベ

従って提案手法の各ステップについて説明する．まず，クトル（（2）式）で表現される空間上で，転移先データ転移元データを用いて深層ネットワーク（Deep Neuralの各カテゴリを表現する代表ベクトルのことである．

Network, DNN)を下式に基づいて構築する（第2図（a））．
l ({ y s , x s }) =1Ns y − f (h | x ) ･････････（1）jsjLsj2

ただし， は下式のようにj番目の転移元データの正解

rl = arg max hL+1 p ( hL +1 | x tj ) ･････････････････ （4）本稿では，確率分布 (ℎ| )に正規分布を仮定する．

これは，転移元DNNを（1）式のように回帰モデルによって構築しているため，自然な仮定である．すると，関ラベルに対応するone-hotベクトルを表す．

連度ベクトル は下記のように，l番目のカテゴリに対応

yis = {0,1}する転移先データの出力ベクトルの平均で表現すること

y sj = [ y sj ,1 , y sj , 2 , … , y sj , DL +1 ] T･･･････（2）は転移元データのカテゴリ数， はj番目の転移元データ，は転移元データ数を表し， (ℎ |の層（出力層）の次元のベクトルを表す．

)はL+1番目ができる．

rl =1N t (l )n t (l )jf ( hL | x tj ) ･････････････････（5）29Panasonic Technical Journal Vol. 63 No. 1 May 2017

30

ただし，

( )はl番目のカテゴリに対応する転移先データ数を表す．このステップにより，転移元データで構

3.1 他手法との比較結果
本節の実験では，転移元データとして，敗血症／非敗築したDNNの出力層を取り除く必要なく，出力層の結果血症の正解ラベルが付いたTDEIsとは異なる別のTDEIsも再利用可能となる．のデータセットを用いた．具体的には，TDEIsの生成の最後に，下式に基づいて，モデル全体を微調整（Fine-違い[6]を識別するDNNを構築した．詳細を第1表に示す．

tuning）することでモデルを転移させる（第2図（c））．

二次元電気泳動像はさまざまな方法で生成することが可 r − f (h | x ) ･････････ （6）能である[1]．本実験では，10種類の生成方法で二次元電ただし， はj番目の転移先データであり， は転移先て利用し（第1表），これら生成方法を転移元データの正データ数を表す．なお， の正解ラベル に対応する関解ラベルとして9種類のカテゴリ，合計180症例用意した．

連度ベクトルが である．

また，残りの1種類の方法で生成された二次元電気泳動像

l ({ y t , x t }) =

1Nt

j l

Ltj2

気泳動像を生成し，そのうちの9種類を転移元データとし

この微調整のステップは，モデルの中間層で算出されを転移先データとして利用し，敗血症／非敗血症の正解る特徴量も変更しつつ，各カテゴリの関連度ベクトルをラベルを付した．すなわち，転移元と転移先データは，中心として，転移先データを各カテゴリに集約させるこ

正解ラベルも画像の作成方法も全く異なるデータを利用とと等しい．すなわち，転移先データのクラス内分散がしていることに注意する．

小さくなり，Fisherの評価基準[7]が大きくなる効果がある．
これらのステップにより，出力層を含めたすべてのパラメータに転移元データに関する制約を加えることができ，パラメータの初期値を乱数によって決定する際に起こり得る，不適切な局所解を避けることが可能となる．
これにより，識別率は低下や過学習を避けることができ

第1表

二次元電気泳動像の転移元データのリスト

Table 1 List of source two-dimensional electrophoresis images# of images

Type of protocolNs(1)=25

Change an amount of protein

Ns(2)=4

Change a concentration protocolNs(3)=30

Unprocessed

Ns(4)=49Only top-2 abundant protein removal

N (5)=11Top-2 abundant protein concentrated

新規データxに対する識別では，構築したDNNに新規

Ns(6)=15

14 abundant protein concentrated

データを入力した際の出力ベクトル (ℎ | )と各カテゴ

Ns(7)=12

Plasma sample instead of serumNs(8)=19

Sugar chain removalNs(9)=15

Other protocol

る．

リの関連度ベクトル を比較し，新規データxを最も近いs

関連度ベクトルに対応するカテゴリのデータとして判定する．
第2表に実験結果を示す．なお，本実験では，中間層3. 実験結果の数Lを1, 2, 3, 4と変化させ，各手法の性能を評価し，識別精度（classification accuracy）が最高となった場合を表

TDEIsを用いた敗血症識別を対象として，提案手法と中に示している．PCAが主成分分析を行った後にロジス

他手法との比較実験を行った．比較手法としては，DNNティック回帰を実施した手法，NTLが転移なし（Non-を利用せずに主成分分析を行った後にロジスティック回Transfer

帰[3]を実施する方法，転移なし，半教師有DNN，文献[4]，Learning）が半教師有DNNを表す．また，DNNの中間層および文献[5]の手法を用いた．なお，半教師有DNNは転の次元数は188次元としており，これは転移元および転移Learning） ，SSL（Semi-supervisedSupervised

移先データだけでなく転移元データも含めて各層の事前学習を行う手法のことを指す．DNNの学習アルゴリズム

第2表として積層雑音除去自己符号化器（Stacked Denoising

Table 2中間層の次元数を変更した場合の各手法の精度
Classification performance as function of the number ofhidden layers

Autoencoders, SdA）[2]を採用し，微調整には確率的勾配PPV

MCC

ACC

PCA0.875

0.5450.816

本実験では，敗血症患者のTDEIsを30例，非敗血症患NTL(L=1)

0.725

0.755

0.878

者のTDEIsを68例用意した．画像サイズは53 pixel×44

SSL(L=1)

0.682

0.736

0.857

pixelのグレースケールであり，2分割交差検定にて精度を[4](L=1)

0.732

0.783

0.888

評価した．

[5](L=1)

0.750

0.8

0.898

proposed(L=3)

0.875

0.859

0.939

降下法[2]を利用した．

3031

先端研究特集：全層転移学習によるプロテオミクス解析

先データを主成分分析し，寄与率99.5 %以上となる次元

そこで本稿では，中間層の次元数Di（i=1, 2, 3）は188, 500,数である．これらは，コンパクトなDNNを構築すること1000のなかから最適な次元数を選択した．なお，TDEIsにで，転移元データの過学習を抑えるために設定した．まおいても同様に，中間層の次元数を188, 500, 1000と変更た，転移元データにおいても交差検定を行い，転移元デして実験を行い，188次元の場合が最適であったことは事ータで構築したDNNに過学習が発生していないことは前に確認している．

事前に確認している．

第3表に比較結果を示す．この表より，MNISTおよび表中のACCが識別精度を表している．また，参考指標

CIFAR-10を転移元として利用することで，転移学習を実として，PPV，MCCも求めた．PPVは陽性的中率（Positive

施しない場合よりも識別性能が向上することが確認できPredictive Value），MCC（Matthews Correlation Coefficient）る．一方，転移元データ数が少ないにも関わらず，TDEIsとは下記の式で求まる指標である．

を転移元として利用した場合がMCC，ACCは最も精度がMCC =TP × TN − FP × FN高かった．これは，精度向上のためには，例えデータ数(TP + FP)(TP + FN)(TN + FP)(TN + FN)が少なくとも，転移先データの識別に有効な基底ベクト･･････（7）ル（（2）式）を利用すべきであることを示唆している．

ただし，TPは真陽性（True Positive），TNは真陰性（True

基底ベクトルは，転移元データに依存しており，本手法

Negative），FPは偽陽性（False Positive），FNは偽陰性（False

では転移先データを用いて変更することはできない．そNegative）を表す．PPVは医療現場にてよく利用される指のため，基底の選択方法，すなわち，転移元データの選標であり，この値が高いほど確定診断に向いている．一び方が高精度な識別には重要となる．
そこで，次節にて，方，MCCは敗血症および非敗血症のデータ数のアンバラ

関連度ベクトル間の距離に基づいた転移元データの選択ンスを考慮した精度指標である．なお，どの指標においに関する一考察を述べる．ても，数値が1に近い方が精度が高いことを示しているこ第3表とに注意する．
第2表より，中間層を3層に設定した際の提案手法がPPV，MCC，ACCにおいて最高値を示していることが確認できる（表中の太字）．このことから，提案手法が最も精度が高く，特に確定診断に有用であることがわかる．
3.2 転移元データを変更したときの精度比較

転移元データを変更したときの敗血症識別精度の比較

Table 3 Classification performance of actual sepsis data classification
for different source tasks
PPV

MCC

ACC

NTL(Di=188)

0.725

0.755

0.878

CIFAR-10(Di=500)

0.923

0.804

0.918

MNIST(Di=500)

0.839

0.786

0.908

TDEIs(Di=188)

0.875

0.859

0.939

次に，転移元データを変更したときの提案手法の識別性能の変化を示す．本実験では，MNIST [7]とCIFAR-10

3.3 関連度ベクトル間の距離と認識精度の関係[8]の2種類のデータセットを転移元データとして利用し，提案手法は，各カテゴリの関連度ベクトルを算出し，TDEIsを転移元データとして利用した場合と比較した．

それを利用することで微調整を実施する．そのため，算MNISTとは，手書き文字の認識のためのデータセットで出した各カテゴリの関連度ベクトル間の距離が近ければ，あり，画像サイズは28 pixel×28 pixel，各データには「0」

識別性能は十分に向上しないことが予想される．そこでから「9」までの10カテゴリの正解ラベルが付されている．

本節では，識別性能と関連度ベクトル間の距離との関係

一方，CIFAR-10とは，「飛行機」，「乗用車」，「鳥」，「猫」，性についての一考察を示す．

「鹿」，「犬」，「蛙」，「馬」，「船」，「トラック」の10カテ

第3図に第3.2節において，転移元データをMNIST，ゴリの正解ラベルが付されたデータセットであり，画像CIFAR-10，TDEIsと設定したときの関連度ベクトルを示

サ イ ズ は32 pixcel×32 pixelで あ る ． な お ，MNISTとす．第3図（a）がTDEIs，（b）がMNIST，（c）がCIFAR-10

CIFAR-10は 画 像 サ イ ズ を 第3.1節 の 実 験 と 同 様 に53のときの関連度ベクトルである．図より，認識精度が最pixcel×44 pixcelへと変更し，かつCIFAR-10はカラー画像も高かったTDEIsを転移元データとして選んだ場合が，であるため，グレースケールへと変換した．また，MNIST敗血症および非敗血症の関連度ベクトルの値が大きく異=50000であり，中間層の数なっていることが見て取れる．これは，関連度ベクトルとCIFAR-10のデータ数はLは前節で最適であった値に固定した（L=3）．また，間の距離によって，認識精度を微調整前に予測できる可MNISTとCIFAR-10のデータ数はTDEIsよりも多いため，能性を示唆している．したがって，事前に複数の転移元PCA基準でTDEIsと同様に次元数を圧縮すると，DNNのデータセットで学習したDNNを用意しておくことがで表現能力が低下し，識別性能が低下する可能性がある．

きれば，関連度ベクトル間の距離に基づいて，疾病や他31Panasonic Technical Journal Vol. 63 No. 1 May 201732の識別タスクに適切なDNNを選択できると考える．これ

する新たな転移学習法を提案し，TDEIsを用いた敗血症により，適切な基底ベクトルの変更が実現できると考え識別へと適用した．その結果，提案手法が従来法の識別る．これに関する詳細な解析は今後の課題である．

精度を上回ることを確認した．
今回提案した出力層の結果も転移させるという発想は

1.2

これまでになく，加えて，機械学習をTDEIsに適用し，1.0

Sepsis(Di=188)

疾病診断を行った例もこれまでにない．そのため本稿は，Non-Sepsis(Di=188)

機械学習分野だけでなく，生物学や医学分野に対する貢0.8

γ0.6

献も高いと考える．

0.40.2

提案手法によって得られた認識精度は，現在，敗血症0のバイオマーカーとして利用されているプレセプシンと-0.2比較しても遜色ないものと考える（PPV：86.6 %，MCC：-0.466.5 %，ACC：86.0 %）[8]．しかし，現在のデータ数は-0.6
123456789（a）Source Label (TDEIs)

まだ十分であるとは言えないため，広範囲なデータの拡充と，さらなる分析が必要である．

0.5

本稿で提案した手法は，DNNの構造が大きくなればSepsis(Di=500)

0.4

Non-Sepsis(Di=500)

0.3γ（googLeNet [9]など），最後の微調整（第2図（c））では転移先への転移が十分に実施しきれない可能性がある．

0.2

加えて，本手法は転移元の出力次元を基底とするため，0.1

転移元の出力次元数が転移先データ数よりも遥（はる）

0

かに大きい場合には「次元の呪い」と呼ばれる現象によ-0.1って過学習が起き，遥かに小さい場合には表現能力が低下するために識別精度が減少する可能性が高い．これら-0.2
0123456789（b）Source Label (MNIST)
0.10の内容に加え，関連度ベクトルの生物学的意味合いを含めた精査や中間層の次元数などのネットワークの最適構
造の詳細解析は今後の課題とする．また，softmax関数[2]0.0Sepsis(Di=500)を利用した場合の関連度ベクトルの推定手法の検討や，Non-Sepsis(Di=500)

複数転移元データからの選択や異なる疾病への適用も行γっていく予定である．
0参考文献
[1]

-0.0

林宣宏, “バイオサイエンス 生体の高精度かつハイスルー
プットなプロファイリング--改良型2次元電気泳動法を基盤技術に用いる高性能プロテオミクス,” 未来材料, vol.11,（c）Source Label (CIFAR-10)

第3図

関連度ベクトルの比較（a）TDEIs，（b）MNIST，（c）CIFAR-10
横軸は各転移元データのラベルを表し（TDEIsは第1表の番号，MNISTは数値），縦軸は関連度ベクトルの各変数の値を表す．

no.1, pp.42-49, 2011.
[2]

麻生英樹 他, 深層学習 Deep Learning, 神嶌敏弘（編）,（株）[3]Christopher M. Bishop, Pattern Recognition and Machine

近代科学社, 東京, 2015.
Learning, Springer, New York, 2010.
[4]

representations

Fig. 3 Comparison of relation vectors

number in Table 1, and MNIST is the digit), and the Y-axis

using

convolutional

neuralnetworks,”

Proceedings of the IEEE Conference on Computer Vision and（a） TDEIs, （b） MNIST, （c）CIFAR-10The X-axis represents the label of source domain (TDEIs is theM. Oquab et al., “Learning and transferring mid-level image

Pattern Recognition, pp.1717-1724, June 2014.
[5]

P. Agrawal et al., “Analyzing the performance of multilayer
neural networks for object recognition,” Proceedings of therepresents the value of the relative vector.

European Conference on Computer Vision, pp.329-344, Sept.
2014.

4. まとめ[6]

Y. Sawada et al., “All-Transfer Learning for Deep Neural
Networks and Its Application to Sepsis Classification,”

本稿では，DNNのすべてのパラメータを転移可能と32

Proceedings of the European Conference on Artificial Intelligence,

33

先端研究特集：全層転移学習によるプロテオミクス解析

pp. 1586-1587, Aug. 2016.
[7]

石井健一郎 他, わかりやすいパターン認識,（株）オーム社,[8]

金子守 他, “新規敗血症マーカーとしての「プレセプシン」,”[9]

C. Szegedy et al., “Going deeper with convolutions”,

東京, 1998.
生物試料分析，vol.37，no.5，pp.311-320，2014．
Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition, pp.1-9, June 2015.

執筆者紹介
澤田 好秀

Yoshihide Sawada

ビジネスイノベーション本部
AIソリューションセンター
AI Solutions Center, Business Innovation Div.
博士（工学）（2017年3月まで先端研究本部に所属）
佐藤 佳州

Yoshikuni Sato

ビジネスイノベーション本部
AIソリューションセンター
AI Solutions Center, Business Innovation Div.
博士（工学）（2017年3月まで先端研究本部に所属）
中田透

Toru Nakada

先端研究本部 基盤技術研究部
Fundamental Technology Research Department,
Advanced Research Div.

氏本 慧

Kei Ujimoto

東京工業大学 生命理工学研究科
School and Graduate School of Bioscience andBiotechnology, Tokyo Institute of Technology

林宣宏

Nobuhiro Hayashi

東京工業大学 生命理工学院生命理工学系
Dept. of Lift Science and Technology,
Tokyo Institute of Technology
博士（理学）

33