修士論文 要旨

適応免疫系の強化学習的理解
数理情報学専攻 48-166208
指導教員

1 はじめに

加藤卓也
小林徹也 准教授

3 T ヘルパー細胞集団のモデル

適応免疫系の特徴は、病原体それぞれに適した攻撃細T ヘルパー細胞集団の数理モデルをいくつかの既存胞の応答パターンを学習できる点にある。このようなの強化学習モデルを発展させることで構築する。

学習は適応免疫系の細胞集団の中でも主に T ヘルパー

3.1

RBM を発展させた T ヘルパー細胞集団モデル細胞集団と呼ばれる細胞集団によって担われている。

Restricted Boltzmann Machine (RBM) を使用した

本論文ではこの T ヘルパー細胞集団の学習ダイナミク

強化学習モデル [1] を応用して数理モデルを構築していスの数理モデルの構築を試みる。

く。今、T ヘルパー細胞は K 種類存在し、各種類 k の2 学習ダイナミクスの強化学習との対応細胞は nk 個存在すると仮定する。また、種類 k の l 個目の細胞の活性度を hkl ∈ {0, 1} と表現し、彼らは抗原T ヘルパー細胞集団の学習は、各病原体に対して様々i と wki ∈ R の親和性をもち、攻撃細胞 j に ukj ∈ R のな応答パターンを試すことでそれらがその病原体にど影響を持つと仮定する。このことを RBM の記述に準れほど効果的であるかを知り、効果が比較的大きい応答

じ、以下のようなハミルトニアンで表す。

パターンを記憶していく、試行錯誤のプロセスとして記述することができる。このような描像に従えば、免疫細H(s, a, h) =nkK ∑∑k=1 l=1胞集団のダイナミクスは以下の特徴で記述できる。下NM∑∑hkl (wki si +ukj aj ), (1)
i=1

j=1

記の 4 つの特徴は強化学習におけるマルコフ決定過程

細胞集団の戦略 π(a|s) はこのハミルトニアンにより定(MDP) の 4 つの特徴、状態集合、行動集合、遷移確率、義されるボルツマン分布に従うと仮定し報酬とそれぞれ対応する。

• 抗原パターン集合 S = {0, 1} 。病原体の一部であN∑exp(−H(s, a, h)),π(a|s) = ∑ hh,a exp(−H(s, a, h))(2)る抗原の内、どの種類のものが存在するかを示す。と表す。以上の戦略に SARSA 学習を適用すると、細N 種類の存在が仮定され、種類 i の抗原が存在す

胞数分布の変化はエピソード {s, a, r, s′ , a′ } に対してる場合 si = 1 と表現。

• 攻撃細胞の活性化パターン集合 A = {0, 1} 。M
Mnk ← nk + αnk λk (s, a, s′ , a′ ),(3)

種類の攻撃細胞の存在が仮定され、種類 j の攻撃細となる。ただしここで α は学習率である。さらに λk は胞が活性化していれば aj = 1 と表現。

各種類 k の T ヘルパー細胞の増殖率であり• 抗原パターンが s であるときに攻撃細胞の活性化パターンが a となった際、その影響により抗原分′′布が s となる確率 P (s |s, a)。

• 抗原分布が s であるときに攻撃細胞の活性化分布 aがどれほど効果的かを表す報酬 r = R(s, a) ∈ R。
効果が高いときに大きい値を取ると仮定。

λk = Gk (s, a) + Ek (s, a, s′ , a′ ) − Dk (s, a),(4)Gk = r log(1 + exp(τk (s, a))),(5)

Ek = γ Q̃(s′ , a′ ) log(1 + exp(τk (s, a))),(6)

Dk = Q̃(s, a) log(1 + exp(τk (s, a))),∑∑τk =wki si +ukj aj ,(7)ij(8)となっている。

T ヘルパー細胞集団は抗原パターン s の情報を元に導出された学習ダイナミクスは現実の T ヘルパー細攻撃細胞へと攻撃の指示をだし、彼らの活性化パター胞と多くの類似点を持つ。Gk の 2 つの項はそれぞれ樹ン a を定める役割を担う。これを抗原パターン s で条状細胞表面の補助刺激分子による T 細胞表面のレセプ

件づけられた攻撃細胞の活性化パターン a 上の確率分

ター CD28 への刺激 (r に対応) と抗原による TCR へ

布 π(a|s) を定めることで表現し、戦略と呼ぶ。彼らはの刺激 (log(1 + exp(τk )) に対応) と考えることができより高い報酬 R(s, a) を得られるように戦略 π(a|s) をる。この解釈の下では、どのようにして T ヘルパー細変化させる。

胞集団の学習に寄与しているかが不明であった CD28適応免疫系の強化学習的理解 (加藤卓也)

への補助刺激分子による刺激 [2] は、T ヘルパー細胞集においても、学習ダイナミクスのうち Ek の効果の生物団に対する報酬の役割を持っている可能性が示唆され的な解釈が難しい。

る。また Dk に対応する現象として Fas リガンドによ

この項 Ek の生物学的な解釈を容易にするため、確率る活性化誘導アポトーシスがある。この対応が正しけ

的山登り法 [5] を発展させた学習ダイナミクスを提案す

れば、単に細胞数が増えすぎないように T ヘルパー細る。このダイナミクスにおいて細胞集団分布 {nk }Kk=1胞を減らすためだけの機能であるとされていた活性化の変化は誘導アポトーシス [3] は、このモデルにおいて細胞を選択的に減らすことでその分布を調整し、学習を進ませる役割が示唆される。
しかしこのモデルにおいては、学習ダイナミクスのzk ← γzk + αhk (s)∑jukj (aj − āj )nk ← nk + αnk rzk ,∑āj = σ(ujk nk hk (s)),
k(18)
(19)
(20)

うち Ek の効果が生物的な解釈が難しく、さらに戦略と記述され、項 Ek はでてこない。ただしここで α は学π(a|s) の生物学的対応が不明確である。

習率である。各種類 k の T ヘルパー細胞が外部からの3.2 DQN を発展させた T ヘルパー細胞集団モデル

刺激を zk に記憶して、その値に依存して増殖するよう

以下では Deep Q Network (DQN)[4] を応用し、戦な描像となっている。zk が細胞内分子の濃度などに対略 π(a|s) の生物的な解釈が容易であるモデルを提案す応すると考えればこのようなダイナミクスは生物的なる。今、種類 k の T ヘルパー細胞部分集団は抗原分布解釈が容易であり、T ヘルパー細胞について似たダイナ

s によってミクスは確かめられている [6]。

∑hk (s) = σ(wki si ),i(9)だけ活性化されると仮定する。ただしここで σ はシグモイド関数である。また、種類 j の攻撃細胞の活性度∑以上で提案した学習ダイナミクスはそれぞれ現実のT ヘルパー細胞と類似する点を多く持っている。それ

aj は T ヘルパー細胞の活性度に依存して確率的にp(aj = 1|s) = σ(4 結論らの類似点は T ヘルパー細胞において知られた性質で(10)ある、樹状細胞からの補助刺激、活性化誘導アポトーシで定まるとする。よって T ヘルパー細胞集団の戦略はスなどが学習に対してどのように寄与しているかを示

kujk nk hk (s)),

唆することができる。

exp(Q̃(s, a))π(a|s) = ∑,a exp(Q̃(s, a))∑∑Q̃(s, a) =nk hk (s)ujk aj ,kj(11)(12)となる。RBM を応用したモデルにおいては戦略 π の生物解釈が不明確であったが、このモデルはそのような問題を持たない。ここに SARSA 学習アルゴリズムを当てはめると、エピソード {s, a, r, s′ , a′ } に際して細胞数分布の変化はnk ← nk + αnk λk (s, a, s′ , a′ ),(13)となり、増殖率 λk は

λk = Gk (s, a) + Ek (s, a, s′ , a′ ) − Dk (s, a), (14)Gk = rhk (s)Σj ukj aj ,′′(15)Ek = γ Q̃(s , a )hk (s)Σj ukj aj ,(16)Dk = Q̃(s, a)hk (s)Σj ukj aj ,(17)となる。これらの項の内 Gk と Dk は RBM モデルと同様の生物学的な解釈が可能である。しかしこのモデル

参考文献[1] B. Sallans et al., Reinforcement learning with factored states and actions, J. Mach. Learn. Res., Vol.
5, August, pp. 1063-1088, 2004
[2] L. Chen et al., Molecular mechanisms of T cell costimulation and co-inhibition, Nat. Rev. Immunol.
13(4), 337-242, 2013[3] S. Maher et al., Activation-induced cell death: thecontroversial role of Fas and Fas ligand in immune
privilege and tumour counterattack, Immunology
and cell biology, 80(2), 131-137, 2002
[4] V. Mnih et al., Playing atari with deep reinforcement
learning, arXiv preprint arXiv:1312.5602, 2013[5] H. Kimura et al., Reinforcement learning by stochastic hill climbing on discounted reward, ICML 1995
[6] J. Rachmilewitz et al., A temporal and spatial summation model for T-cell activation: signal integration
and antigen decoding, 23(12), 592-595, 2002