多目的最適化アルゴリズムを使用した Reservoir Computing の最適化
森川恵海

1

(指導教員：Aubert-Kato Nathanael)

はじめに

2.2

Reservoir Computing(RC) は再帰的ニューラルネッ
トワーク (Recurrent Neural Network: RNN) の実装方法の一種であり，特徴として中間層と出力層間の重みのみ学習していくという特徴を持つ．従って RC の学習の効率や精度などは使用する中間層によって変化する．
本研究では化学反応ネットワーク (Chemical Reaction
Network:CRN) ベースの RC について考え，多目的最適化アルゴリズムを使用し，最適な中間層を探索する．

2関連研究

2.1

Reservoir Computing

Pen DNA toolbox

DNA 分 子 は 予 測 可 能 な 反 応 を す る の で ，CRN を 設 計 す る の に 適 し て い る ．本 研 究 で はPEN DNA toolbox[3] を用いて CRN の設計を行なっていく．PEN DNA toolbox とは DNA と酵素の反応を基盤とした CRN のアセンブリツールである．
PEN DNA toolbox は図 2A に示すように，DNA の産出・自己触媒・阻害の 3 種類の反応を規定する．それぞれ図 2B に示すような濃度の変化が起こり，グラフで表すと図 2C のようになる．これらの反応を組み合わせて CRN を作成し．濃度変化パターンを作成していく．

まず，RNN とは内部に Reservoir と呼ばれる再帰的特徴を持つニューラルネットワークの一種であり，再帰的特性を持つことによって動的メモリのようにインプットがない状態でも活性化状態を保つことができるという特徴を持つ．特に神経回路などの生物学的ニューラルネットワークは典型的な再帰的システムであり，このようなシステムを模倣し，人工 RNN はターゲットシステムに近づけるために学習することが可能である．
Reservoir Computing(RC) は RNN の実装方法の一種であり，Jaeger らの研究 [1] により開発されてきた．
RNN の通常の構造ではノードを完全に相互接続しすべての接続の重みを更新することで学習が行われるた
め，計算量が膨大なものとなる．一方，RC はまずネッ
トワークに入力を供給し、出力を取得する入力層と出力層が存在する (図 1)．Reservoir のノードは疎に接続し，重みはランダムな値で初期化され学習によって変化することなく固定される．望む出力を得るために、
Reservoir から出力層への接続の重みのみを計算し学習され，RNN よりも比較的少ない計算量で計算することが可能となる．

図 2: PEN DNA toolbox A: DNA の反応, B: 濃度の変化, C:グラフで表示したもの

2.3

多目的最適化アルゴリズム

まず，多目的最適化問題を下記のように定める．1 ：max F (x) = (f1 (x), f2 (x), ..., fm (x))Tsubject to x ∈ Ω(1)

ここで Ω は変数域であり F : Ω → Rm は実数 m 個の目的関数，目的空間 Rm で構成される．多くの場合（1）の各目的は互いにトレードオフの関係であるため，すべての目的を同時に最大化することはできず, どの目的を優先するかで解が変化する．
x, y ∈ Ω について ∀i ∈ {1, ..., m}, xi ≥ yi と,∃j ∈{1, ..., m}, xj < yj が成り立つ時に x は y を支配しているという事ができる．ここで，F (x) が他の点に支配されていない時，つまりある目的におけるパレート最適点のいかなる改善も、少なくとも１つの他の目的における悪化をもたらさなければならない時，F (x) をパレート最適ベクタと呼び，パレート最適ベクタの集合をパレートフロントという．
本研究では Nondominated Sorting Genetic Algorithm II(NSGA-II)[4] を用いて最適化を行う．NSGAII は遺伝的アルゴリズムの一種であり，支配されている数に応じてソートを行い次世代の個体を選んでいくというアルゴリズムである．

図 1: Reservoir Computing のモデル図
また，本研究では Reservoir として再帰的特性を持
つ CRN を用いる．Reservoir として CRN を用いる有用性は Goudarzi ら [2] によって示されている．また，
CRN を使用することによって分子ロボティクス等への応用が容易となる．インプット，アウトプットとして化学物質の濃度変化パターンを用い，化学物質の濃度変化パターンから出力を判別する．

1 最小化問題の場合も同様に定義することが可能である．

47

3

実験

3.1

実験設定認できる．

PEN DNA toolbox を用いて CRN を作成し DNA 濃度のパターンをシミュレーションを行い，インプットからベンチマークを使用して算出されるターゲットを比較して，より設定されたタスクに近い濃度パターンを吐き出す CRN を NSGA-II を使用して探索する実験を行う (図 3)．この時，ターゲットと濃度パターンのシミュレーション結果の差異が小さいものほど良く適応度が高くなるとする．先行研究 [5] では, 単一タスクでの最適化を扱っている.．
本研究では，複数のインプットパターン，および CRNのグラフサイズを目的とし，最適化を行う．CRN は濃度を維持するのが得意なものもあれば振動の早い動きが得意なものもあるため，NSGA-II を使用し，パレートフロントを探索する．また，グラフサイズが小さものほど in vitro での実験と計算機上のシミュレーショ
ン結果での差異が小さいため，グラフサイズが小さいものほど適応度が高くなるように設定する．比較のため，NSGA-II を用いたものと Random に突然変異を起こし次世代とする手法の 2 つを使用する．

図 5: 世代ごとの各タスクの適応度を表したもの

Random なものは初期の方で適応度が NSGA-II を使用したものより上回っているが，CRN を確認すると図 4(左図) のようにグラフサイズが大きくなっていることが確認できた．
先行研究 [5] で一つのタスクに対して最適な CRN を探索した際，グラフサイズが 5 付近のものを見てみると適応度は 24 付近を示している．本研究で使用した2 つのタスクの適応度をそれぞれ確認すると，平均でおよそ 17 程度となる．これより複数のタスクに対して最適化をした場合，最大の各適応度を得るのは難しいことがわかる．

4

多目的最適化アルゴリズムを使用して，確かに複数の性質を持つ CRN を得ることができた．多目的最適化アルゴリズムを使用することによって比較的小さいネットワークを得ることができている．ただ，複数のタスクに対して最大の適応度をだす CRN を得るのが難しいことがわかった．
今後の展望として，現在は計算機上でシミュレーションを行なっているが，in vitro な実験を行うことによって実際の挙動の確認を行いたい．また，現在はベンチマーク問題を使用しているが，実際の化学反応は濃度パターンがスムースに変化するため，インプットの改善を行いたい．また，他の多目的最適化アルゴリズムを用いてシミュレーションを行い，挙動を比べたい．

図 3: 実験設定

3.2

まとめと今後の展望

実験結果と考察

両手法とも個体数 世代数がおよそ 1600 となるように設定し，実験を行なった．図 4 が実際に作成できたCRN である．Random に作成したものに比べ NSGAII を使用した CRN は小さく設計できていることがわかる．

参考文献[1] H. Jaeger and H. Haas. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667):78–80, 2004.
[2] A. Goudarzi, M. R Lakin, and D. Stefanovic. Dna reservoir
computing: a novel molecular computing approach. InInternational Workshop on DNA-Based Computers, pages
76–89. Springer, 2013.
[3] K. Montagne, R. Plasson, Y. Sakai, T. Fujii, and Y. Rondelez. Programming an in vitro dna oscillator using amolecular networking strategy. Mol. Sym. Biol., 7(1):466,
2011.

図 4: 作成した CRN 例 (左図)Random,（右図) NSGAII
実験を複数回行い, 適応度とその中央値をプロットした (図 5). およそ 25 世代まで行くと適応度の中央値が打ち止めになるが，その後も実験によっては良い個体ができていることがわかる．Random と NSGA-IIの比較により多目的最適化アルゴリズムの有用性が確[4] K. Deb, A. Pratap, S. Agarwal, and T. Meyarivan. A fastand elitist multiobjective genetic algorithm: Nsga-ii. IEEETrans. Evo. Comp, 6(2):182–197, 2002.
[5] W. Yahiro, N. Aubert-Kato, and M. Hagiya. A reservoir
computing approach for molecular computing. In ALIFE
2018, pages 31–38. MIT Press, 2018.

48