平成２９年度
九州大学大学院 総合理工学府
先端エネルギー理工学専攻

修 士 論 文論文名
ニューラルネットワークによる
ホールスラスタの制御

氏

名

淵上 太貴

指導教員名

山本 直嗣

目次
第 1 章 序論 .................................................................................................................................... 1
1.1 背景 ....................................................................................................................................... 1
1.2 電気推進機 ........................................................................................................................... 1
1.3 目的 ....................................................................................................................................... 3
第 2 章 ホールスラスタ ................................................................................................................ 4
2.1 原理 ....................................................................................................................................... 4
2.2 ホールスラスタの基本設計 ............................................................................................... 5
2.3 最適磁場の時間変化 ........................................................................................................... 8
第 3 章 ニューラルネットワーク ................................................................................................ 9
3.1 順伝播型ネットワーク ....................................................................................................... 9
3.2 活性化関数 ......................................................................................................................... 11
3.3 ニューラルネットワークによる学習 ............................................................................. 12
3.4 誤差逆伝播法 ..................................................................................................................... 13
3.5 勾配消失問題 ..................................................................................................................... 15
3.6 過学習 ................................................................................................................................. 16
第 4 章 学習のテクニック .......................................................................................................... 17
4.1 重みの更新手法 ................................................................................................................. 17
4.1.1

SGD .............................................................................................................................. 17

4.1.2

Momentum ................................................................................................................... 17

4.1.3

AdaGrad ....................................................................................................................... 18

4.1.4

AdaDelta....................................................................................................................... 18

4.1.5

Adam ............................................................................................................................ 19

4.1.6

更新手法の比較 .......................................................................................................... 20

4.2 重みの初期値 ..................................................................................................................... 21
4.3 過学習の緩和 ..................................................................................................................... 26
4.4 ハイパーパラメータの検証 ............................................................................................. 30

第 5 章 結果及び考察 .................................................................................................................. 32
5.1 放電電流の時間変化に関する実験 ................................................................................. 32
5.1.1

実験体系 ...................................................................................................................... 32

5.1.2

放電電流の時間変化の予測 ...................................................................................... 34

5.2 推進性能の時間変化に関する実験 ................................................................................. 36
5.2.1

実験体系 ...................................................................................................................... 365.2.2

推進性能の時間変化の予測 ...................................................................................... 42

第 6 章 結論 .................................................................................................................................. 46
参考文献 .......................................................................................................................................... 47
謝辞 .................................................................................................................................................. 51

第 1 章 序論
1.1

背景

世界初の人工衛星「スプートニク」が打ち上げられて以来,宇宙開発が活発に行われるようになった[1].当初は冷戦状態であったため,軍事的な利用が目的であった.
しかし,通信衛星や科学衛星,地球観測衛星などの非軍事衛星も打ち上げられるようになり,宇宙開発が活発に行われるようになった.そして日本においても,日本版のGPS である準天頂衛星「みちびき」や気象衛星「ひまわり」などが打ち上げられ,人工衛星は今日の我々の生活にはなくてはならないものとなった.
その人工衛星の軌道制御や姿勢制御には推進機が必要不可欠である.近年,この推進機として化学推進機ではなく電気推進機を用いる流れが加速してきている[2].実際に日本においても,推進系に化学推進機を搭載しないオール電化衛星のための高効率かつ大推力を実現する電気推進機の開発が急ピッチで進められている[3].
電気推進機は,小惑星探査機「はやぶさ」のミッションでその有意性が実証された事からも分かるように,従来の化学反応によるエンタルピー上昇を推進力に変える
化学推進機と比べると 5 倍から 10 倍比推力が高い[4].そのため探査機や人工衛星の総重量において占める割合が高い推進剤の重量を大幅に削減することが可能である. もちろん電源質量の分だけ重量は増えてしまうが,衛星全体の質量が大幅に低減できるミッションが多数あり,実際に電気推進機を搭載した探査機や人口衛星は増加している.一方で,宇宙空間で利用できる電力には制限があり,現状では化学推進機と比較すると推力が小さい.そのため電気推進機においては,単位電力当たりの推力である推力電力比が重要な指標となっており,他の電気推進機と比べると,燃費を示す比推力および推力電力比のバランスがいいホールスラスタが注目を集めている[5,6].

1.2 電気推進機
電気推進機は電気エネルギーによってキセノンなどの推進剤を電離させプラズマ化する.そのプラズマを加速させ反作用で推力を得る推進機である.イオンスラス
タやホールスラスタ,アークジェット,MPD スラスタなど様々なものがあり,それぞれの長所短所に合わせたミッションに用いられている.図 1.1 に代表的な各種推進機の推力密度と比推力の関係を示す[5].イオンスラスタは空間電荷制限電流則の影響を受けるために推力密度が低く,推進機は大型になってしまう.アークジェットや
MPD スラスタは電流の集中によって電極が損耗してしまい,耐久性に不安がある推進機である.一方でホールスラスタは,イオン加速領域に電子が存在するため準中性を保つことができる.このため空間電荷制限則を受けず,推力密度が高くコンパクトという特徴がある.また電源の数も少なく済むため信頼性が高く,高電圧を必要とし1

ないため電源をコンパクトにできる.さらに長寿命化が期待でき,比推力 1500-2000
秒,効率が 50%以上を達成できる点も利点である[7,8].宇宙機への搭載例として,月探査用の技術試験衛星である SMART-1[9]の主推進や静止衛星の南北制御 7)などが挙げられる.ホールスラスタは今後の宇宙推進機においても主要な地位を占めると考えられ,日本においても様々な研究機関[10-12]で研究開発が行われている.また,IHI[13]や三菱電機[14]などの民間企業においても研究開発が進められており,これら企業の協力の下,技術試験衛星 9 号機においてホールスラスタが採用された[15].

図 1.1 各種推進機の推力密度と比推力の関係[5](出典：栗木恭一, 荒川義博: 電気推進ロケット入門, 東京大学出版会, 2003, p21)

2

1.3

目的

ホールスラスタはホール電流を利用した推進機であり,その由来からもわかるよ
うに磁場の形状や強度が推進性能に大きな影響を及ぼす[16].しかも最適な磁場の形状や強度はホールスラスタの個体ごとに異なる.また放電電圧や推進剤流量などの作動条件だけではなく,チャンネル壁の損耗による推進機の形状変化に伴い最適な磁場形状や強度は時々刻々と変化してしまう.さらに困難な事に,その変化の仕方
はそれぞれの推進機の使われ方や表面粗さ,加工精度でも変化する.このためあらかじめ行う地上試験からの予想や理論では最適なパラメータでの制御が困難であり,
現状では手動によって制御が行われている.しかしながら,近い将来多くのホールス
ラスタが宇宙空間で使われる際に,1 つ 1 つのスラスタの個性に合わせて手動で制御することは人的・金銭的コストの面からも見合わなくなることが予想される.
そこでホールスラスタの時々刻々と変化する最適磁場を自動で制御することができれば,運用コストを削減することができる.しかも,常に最適動作点での作動になるため,運用期間全体に亘ってのホールスラスタの寿命向上,推進効率の向上を図ることができる.しかし,ホールスラスタ内部の物理は非線形現象であり,ホールス
ラスタの制御を PID 制御などで行うことは困難である.そこで生物の脳の神経回路網を模倣したモデルであるニューラルネットワークを用いることで,自動制御できるのではないかと考えた.ニューラルネットワークは非線形現象に強く,人間が行っているような経験から導いた制御も可能になる.本研究の目的は,時々刻々と変化する最適磁場をニューラルネットワークによって予測し,自動制御の可能性を検証することである.

3

第 2 章 ホールスラスタ
2.1 原理図 2.1 にホールスラスタの概略図を示す.ホールスラスタは円環状のプラズマ加
速チャンネルの上流にアノード,外部にカソードがそれぞれ位置している.加速チャ
ンネルの半径方向に磁場,軸方向に電場を印加することでプラズマが軸方向に加速され,推力を得るという仕組みである[4].この加速チャンネルの長さがイオンのサ
イクロトロン半径よりも短く,同時に電子のサイクロトロン半径よりも長く設計する.このように設計することで,イオンは磁場の影響をほとんど受けることなく電場によって軸方向に加速されるが,電子は磁場によってトラップされ円周方向に𝐄 ×
𝐁ドリフトする.この電子のドリフトによって生じる円周方向の電流はホール電流と呼ばれている.このホール電流と外部磁場との干渉による電磁加速を主たる加速機構としていることがホールスラスタという名前の由来である.電子の動きを流体として見たときに,ホール電流と磁場の相互作用によって生じるローレンツ力と電界による静電力が釣り合って,加速チャンネルの内部に強い電場が維持されると考えることができる[8].このローレンツ力の反作用は,ホール電流がスラスタの中心軸上に作る軸方向の磁場とスラスタがもつ軸方向の磁場との反発力という形でス
ラスタに伝達されると考えられる.
ホールスラスタは通常出口付近に電子源があり,ここから供給される電子の一部はスラスタから排出されたイオンビームの空間電荷を中和する中和器としての役割もある.残りの電子は加速チャネル内をアノード側に向かって拡散する.この電子の拡散によって加速チャネル内には電子が常に供給され中性粒子との衝突によってプラズマを生成する.それと同時にチャンネル内のプラズマが電気的に準中性に保たれる.
以上のような仕組みによりイオンエンジンとは異なり,電離加速領域に常に電子が存在するため,推進機内部においてはほとんどの領域において準中性が保たれる.このため,空間電荷制限則を受けずに,高い電流密度を維持することができ結果として推力密度は高くなり,コンパクト化が可能な推進機である.

4

図 2.1 ホールスラスタの概略図

2.2

ホールスラスタの基本設計

ホールスラスタの加速チャンネルで,𝜔𝑒 𝜏𝑒 ≫ 1

(2.1)

𝑟𝑒 ≪ 𝐿 ≪ 𝑟𝑖

(2.2)

𝐿 ≪ 𝜆𝑚(2.3)という条件を満たすように各パラメータを設定すると,電子のみが周方向にトラッ
プされ,𝐄 × 𝐁ドリフトしてホール電流が発生する.一方でイオンは磁場の影響をほとんど受けることなく印加電場によって軸方向に加速される状態にできる.
ここで𝜔𝑒 [Hz]は電子のサイクロトロン周波数,𝜏𝑒 [sec]は電子の衝突時間,𝑟𝑒 [m]と𝑟𝑖 [m]はそれぞれ電子とイオンのラーマ―半径,𝐿[m]は加速チャンネル長,𝜆𝑚 [m]はイオンの平均自由行程である.
これらの条件によって,軸方向の電場を𝐄,径方向の磁場を𝐁,電子密度を𝑛𝑒 とすると,𝐄 × 𝐁ドリフトによって生じるホール電流密度𝑗は5

𝑗 = 𝑒𝑛𝑒

𝐸
𝐵

(2.4)

となる.これによるローレンツ力𝐹ℎ は
𝐹ℎ = 𝑗𝐵 = 𝑒𝑛𝑒 𝐸(2.5)となる.つまり,ホールスラスタは電子の軸方向への動きを径方向の磁場によって妨げ,軸方向に強い電界を維持することができる.そのために加速部のイオンを静電的に加速するという結果になる.したがって,ホールスラスタはイオンエンジンのような静電加速型の推進機の性質を持ちながら,スラスタ自身は電子の軸方向の静電加
速を打ち消すように働くローレンツ力に起因して推力を得るという電磁加速型の推進機の側面を併せ持っている[4].
ホールスラスタは式(2.1)~(2.3)を満たすように設計されている.以下にそれぞれの式を説明する.
1) 𝜔𝑒 𝜏𝑒 ≫ 1
この式はチャンネル内部で電子が𝐄 × 𝐁ドリフトをする条件である.𝜔𝑒 𝜏𝑒 はホールパラメータと呼ばれており,電子が 1 回衝突を起こすまでにどれだけ旋回運動するかというのを表している.一般的なホールスラスタでは200~300程度となる[7].
電子のサイクロトロン周波数𝜔𝑒 と電子の衝突時間𝜏𝑒 は以下のように書ける[17].
1
𝜏𝑒 =
(2.6)
𝜎e 𝑛𝑣e
𝜔e =

𝑒𝐵
𝑚e

(2.7)

σe [𝑚2 ]は電子の衝突断面積, n[𝑚−3 ]は中性粒子密度,𝑣e [m/s]は電子の速度,eは電気
素 量 ,𝐵[T] は 磁 場 , 𝑚e [kg] は 電 子 の 質 量 で あ る . ま た , チ ャ ン ネ ル 内 の 電 子 がBoltzmann 分布であると仮定すると,電子の速度𝑣𝑒 は次式のように表される.
𝑣e = √

2𝑘𝐵 𝑇𝑒𝑚e(2.8)2) 𝑟𝑒 ≪ 𝐿 ≪ 𝑟𝑖
この式は,加速チャンネル内で磁場によって電子のみがトラップされ,イオンは磁場に捕らわれることなく電場によってチャンネル外へ排出される条件を表している.電子とイオンのラーマ―半径𝑟𝑒 と𝑟𝑖 はそれぞれ以下の式で表される[18].
𝑚𝑒 𝑣𝑒
𝑟e =
(2.9)
𝑒𝐵
𝑟𝑖 =

𝑚𝑖 𝑣𝑖
𝑒𝐵

6

(2.10)

ここで,𝑚𝑒 [kg]と𝑚𝑖 [kg]はそれぞれ電子とイオンの質量,𝑣𝑒 [m/s]と𝑣𝑖 [m/s]はそれぞれ電子とイオンの速度である.イオンの熱速度が電場による速度に比べて無視できるほど小さいと仮定すると,イオンの速度𝑣𝑖 は次式で表される.
𝑣𝑖 = √

2𝑒𝑉𝑚
𝑚𝑖(2.11)

ここで𝑉𝑚 [V]はイオンの平均加速電圧である.また𝑣e は式(2.6)より求まるので,式(1.2)は以下のように書き換えることができる.
2𝑚𝑖 𝑉𝑚√2𝑚𝑒 𝑘𝐵 𝑇𝑒≪ 𝐿𝐵 ≪ √𝑒𝑒(2.12)

3) 𝐿 ≪ 𝜆𝑚
この式はチャンネル内でイオンが中性粒子と衝突せずに加速される条件である.
イオンの平均自由行程𝜆𝑚 は,イオンと中性粒子との衝突断面積を𝜎𝑖 とすると,
1 1
𝜆𝑚 =(2.13)
4√2 𝜎𝑖 𝑛と表される.

7

2.3 最適磁場の時間変化
ホールスラスタは 2.1 節で述べたとおり,ホール電流を利用した推進機であり,加速チャンネル内に印加する半径方向の磁場の特性がスラスタの作動特性に大きな影響を与える.この磁場強度や磁場形状は内側コイル電流と外側コイル電流によって制御している.
図 2.2 は寿命初期のホールスラスタと 5730 時間作動させた後のホールスラスタ
を示してある[19].この図からもわかるようにホールスラスタでは,イオンがチャンネル壁に衝突してしまうことによって壁面が損耗してしまう.このチャンネル壁の損耗によって,効率よく作動させるための最適な磁場が時々刻々と変化してしまう.
またその変化の仕方はそれぞれの個体やその使われ方によって異なり,理論式どおりの推力や推進効率にはならない.ホールスラスタを効率よく作動させ,寿命を向上させるためには最適磁場で制御する必要がある.

図 2.2

寿命初期と 5730 時間作動させた後のホールスラスタ[19]8

第 3 章 ニューラルネットワーク
3.1

順伝播型ネットワーク

生物の脳の神経回路網を模倣したモデルのことをニューラルネットワークという[20].画像認識[21],文字認識[22],株価予測[23],天気の予測[24]といった多岐にわたる分野で応用・研究されている.
順伝播型ネットワーク（feedforward network）は,ニューロンを層状に並べ,その隣接層間でのみニューロンが結合する構造である[25].ネットワーク構造は図 3.1 に示してあるように,入力層,中間層,出力層からなっており,入力層側から出力層側へ一方向に信号が伝播するネットワーク構造である.

図 3.1

図 3.2

ネットワーク構造

ニューロンの出力

ネットワークを構成している各ニューロンは図 3.2 に示すように,複数の入力信号を受け取り,１つの出力信号を次の層のニューロンに受け渡す[26].図 2.2 のニューロンが受け取る総入力 u は,
𝑢 = 𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑤3 𝑥3 + 𝑏(3.1)のように表される.ここで,𝑤1や𝑤2 は重み（weight）と呼ばれるパラメータであり,各信号の伝達度合を表している.一方,𝑏はバイアスと呼ばれるパラメータで,ニューロ
ンの閾値を示している.この入力信号の重み付き総和𝑢を関数𝑓に代入することによってそのニューロンの出力とする.
𝑧 = 𝑓(𝑢)(3.2)

この関数のことを活性化関数と呼び,活性化関数によって人の神経細胞のように入力信号を線形または非線形変換することができる[27].この各ニューロンの繋がりを階層的にすることによってネットワークを構成している.

9

第𝑙 − 1層のニューロンを𝑖 = 1,2, ⋯ , 𝐼 ,第𝑙層のニューロンを𝑗 = 1,2, ⋯ , 𝐽で表すと,
第𝑙 − 1層のニューロンの出力から第𝑙層のニューロンの出力が決まるまでの計算は,以下のように一般化される.
𝐼

𝑢

(𝑙)

= ∑ 𝑤𝑗𝑖 (𝑙) 𝑧𝑖 (𝑙−1) + 𝑏𝑗

(𝑙)

(3.3)

𝑖=1

𝑧 (𝑙) = 𝑓(𝑢(𝑙) )図 3.3

𝑙層目の出力10(3.4)

3.2 活性化関数
生体の細胞では,細胞間相互作用（シナプス結合）によって細胞同士が信号を受け渡している[28].その信号の出力を模倣するためにニューラルネットワークでは
様々な関数が用いられてきた.この関数のことを活性化関数と呼ぶ.1986 年にRumelhart, Hinton, Williams によって誤差逆伝播法（backpropagation）が提案されて以来[29],ニューラルネットワークでは,
1
𝑓(𝑥) =(3.5)
1 + exp(−𝑥)𝑓(𝑥) = tanh(𝑥)(3.6)

といった活性化関数がよく用いられてきた.式(3.5)の関数をシグモイド関数,式(3.6)の関数を双曲線正接関数と呼び,これらの活性化関数の登場により単純パーセプト
ロンから多層ニューラルネットワークへと進むことができた.しかし,これらの活性化関数は計算コストが大きくなってしまうという問題があった.また,後述する勾配消失問題も発生し,学習が困難になってしまうことがある.これらの問題に対処する関数として,式(3.7)に示してある ReLU 関数[30]が近年の深層学習においてよく使われている.本研究では,この ReLU 関数の派生した関数である式(3.8)の Leaky ReLU
関数[31]を中間層の活性化関数として用いた.ここで負側の傾きをなだらかにするため𝑎 = 0.01に設定した.また,出力層の活性化関数は恒等写像である.
𝑥 (𝑥 > 0)𝑓(𝑥) = {0 (𝑥 ≤ 0)(3.7)

𝑥 (𝑥 > 0)𝑎𝑥 (𝑥 ≤ 0)

(3.8)

𝑓(𝑥) = {図 3.4

典型的な活性化関数とそれぞれの形
11

3.3

ニューラルネットワークによる学習

ニューラルネットワークの特徴であり強みは,データから学習できる点である.こ
こで学習とは訓練データに適合するように重みパラメータを自動で調整していくことである.訓練データは教師データとも呼ばれ,訓練データにできる限り近くなるようにする必要がある.そこでニューラルネットワークの学習では,近さの尺度として損失関数（loss function）という指標が用いられる[26].ネットワークの出力を𝑦𝑘 ,目標の値である訓練データを𝑡𝑘 とすると,全ての訓練データに対する
1
𝐸 = ∑(𝑦𝑘 − 𝑡𝑘 )2
(3.9)
2
𝑘

で表される二乗誤差を用いる.この二乗誤差が小さくなるような重みパラメータを求める.
学習の目標は,損失関数が最小になるパラメータを求めることである.しかしながら,損失関数は複雑であるため最小値をとるパラメータを直接得るのは困難である.
そこで損失関数を小さくする方向に重みパラメータを動かすことで関数の最小値を探していく.この方法を勾配法という.勾配とは
𝜕𝐸
𝜕𝐸
𝜕𝐸(3.10)
∇E ≡
=(
,⋯,
)
𝜕𝒘
𝜕𝑤1
𝜕𝑤𝑀
で表される損失関数に対するそれぞれの重み成分の偏微分である.この勾配を用いて損失関数が小さくなる方向（−∇E）に重みパラメータを少し動かすことを何度も繰り返す.t 回目の重み𝒘𝑡 を動かした後の重みを𝒘𝑡+1 とすると
𝒘𝑡+1 = 𝒘𝑡 − 𝜀∇𝐸(3.11)

で表される式で重みが更新されていく.ここで,εは更新の量を表すパラメータであり,学習係数または学習率と呼ばれている.1 回の学習でどれだけ重みパラメータを更新するかというのを決める役割を持っている.この値が小さすぎると学習に時間がかかり過ぎ,逆に大きすぎると局所解にトラップされ性能の悪いモデルになってしまう.したがって,この学習係数εの決定が学習の良し悪しを大きく左右し,適切な学習係数を設定する必要がある.
式(3.11)では全ての訓練データに対して計算される損失関数を最小化することを考えたが,訓練データを一つずつ使ってパラメータの学習を行う方法がある.この方法を確率的勾配降下法（SGD : Stochastic Gradient Descent）という[32].「確率的」というのは,データを無作為に選び出し,その勾配を使って重みパラメータを更新するためである.更新の手順としては,1 つの訓練データについて計算される損失関数
𝐸𝑛 (𝒘)の勾配∇𝐸𝑛 によって
𝒘𝑡+1 = 𝒘𝑡 − 𝜀∇𝐸𝑛

(3.12)のように更新される.本研究ではこの確率的勾配降下法をもとにしたその他の更新手法の比較,初期値の重要性,過学習の抑制などを論じていく.
12

3.4

誤差逆伝播法

初期のニューラルネットワークの研究において,多層にできないという問題があった.順伝播型のネットワークでは式(3.1)～式(3.4)に示してあるように,入力信号に重みをかけバイアスを加え,活性化関数に代入するという計算をして出力層まで信号を伝えていく.そして式(3.9)のように出力層の値と目標の値との二乗誤差を算出
し,式(3.11)のようにその誤差を小さくする勾配方向にそれぞれの重みを更新していく.つまり,それぞれの層で重みパラメータに関する損失関数の勾配𝜕𝐸(𝒘)⁄𝜕𝒘を計算する必要がある.出力層の勾配計算は比較的容易に計算できるが,中間層の勾配計算,特に入力層に近い層の勾配計算は面倒で計算に時間がかかってしまう.例えば,
ネットワークの層数を L 層とし,1 つの入力𝒙𝑛 に対する l 層の勾配を考える.二乗誤差は𝐸𝑛 = 1⁄2 (𝒚(𝒙𝑛 ) − 𝒕𝑛 )2 であり,第 l 層の勾配は二乗誤差を重み𝑤𝑗𝑖 (𝑙) で微分する
ことで,
𝜕𝐸𝑛

𝜕𝒚

𝜕𝑤𝑗𝑖

𝜕𝑤𝑗𝑖

= (𝒚(𝒙𝑛 ) − 𝒕𝑛 )(𝑙)(3.13)(𝑙)となる.さらに,右辺の𝜕𝒚⁄𝜕𝑤𝑗𝑖 (𝑙) を求めなければならないが,この計算では関数𝒚(𝒙)が𝒚(𝒙) = 𝑓(𝒖𝐿 )= 𝑓(𝒘(𝐿) 𝒛(𝐿−1) + 𝒃(𝐿) )= 𝑓(𝒘(𝐿) 𝑓(𝒘(𝐿−1) 𝒛(𝐿−2) + 𝒃(𝐿−1) ) + 𝒃(𝐿) )(3.14)⋮= 𝑓 (𝒘(𝐿) 𝑓 (𝒘(𝐿−1) 𝑓(⋯ 𝑓(𝒘(𝑙) 𝒛(𝑙−1) + 𝒃(𝑙) ) ⋯ )) + 𝒃(𝐿) )のようになり,𝜕𝒚⁄𝜕𝑤𝑗𝑖 (𝑙) を求めるために微分の連鎖律を何度も繰り返さなければならない.そのため計算も大きくなり,時間がかかってしまう.この難点を克服するために提案されたのが誤差逆伝播法である[29].
誤差逆伝播法では図 3.5 のように常に+1 を出力するノードを設けている.そして,(𝑙)

このノードと各ニューロンに結合する重み𝑤0𝑗 (𝑙) をその層のバイアス𝑏𝑗 とすることで式(3.14)のように微分の連鎖律を何度も繰り返すことなく微分を効率よく計算できる.式で表すと,l 層のニューロンへの入力は,𝑙 − 1層の第 0 ノードの出力𝑧0 (𝑙−1)を𝑧0 (𝑙−1) = 1とすることで,
𝑛

𝑢𝑗

(𝑙)

𝑛
(𝑙)

= ∑ 𝑤𝑗𝑖 𝑧𝑖(𝑙−1)+ 𝑏𝑗 = ∑ 𝑤𝑗𝑖 (𝑙) 𝑧𝑖 (𝑙−1)

𝑖=1

𝑖=0

のようになる.

13(3.15)

図 3.5

常に+1 を出力するノードを設けたネットワーク

第 l 層の重み𝑤𝑗𝑖 (𝑙) について考えると,損失関数の勾配は
𝜕𝐸𝑛
(𝑙)

𝜕𝑤𝑗𝑖

(𝑙)

=

𝜕𝐸𝑛 𝜕𝑢𝑗(𝑙)(3.16)(𝑙)𝜕𝑢𝑗 𝜕𝑤𝑗𝑖となる.次に右辺第 1 項𝜕𝐸𝑛 ⁄𝜕𝑢𝑗 (𝑙) について考える.図 3.3 を見ると,第𝑙層の j 番目のニューロンはそのニューロンの出力である𝑧𝑗 (𝑙) を通して,第𝑙 + 1層の各ニューロン
k の総入力𝑢𝑘 (𝑙+1) を変化させ,これが出力層まで続くことで損失関数に影響を与える.したがって連鎖律により,
𝜕𝐸𝑛
(𝑙)

𝜕𝑢𝑗

(𝑙+1)

=∑
𝑘

𝜕𝐸𝑛 𝜕𝑢𝑘
(𝑙+1)

𝜕𝑢𝑘

(𝑙)

𝜕𝑢𝑗

(3.17)と分解できる.ここで,
𝛿𝑗

(𝑙)

≡

𝜕𝐸𝑛
(𝑙)

𝜕𝑢𝑗

(3.18)と定義する.式(3.3)と(3.4)より,𝑢𝑘 (𝑙+1) = ∑𝑗 𝑤𝑘𝑗 (𝑙+1) 𝑧𝑗 (𝑙) = ∑𝑗 𝑤𝑘𝑗 (𝑙+1) 𝑓(𝑢𝑗 (𝑙) ) となる
ので,𝜕𝑢𝑘 (𝑙+1) ⁄𝜕𝑢𝑗 (𝑙) = 𝑤𝑘𝑗 (𝑙+1) 𝑓′(𝑢𝑗 (𝑙) )となる.よって式(3.17)は𝛿𝑗(𝑙)= ∑ 𝛿𝑘(𝑙+1)(𝑤𝑘𝑗 (𝑙+1) 𝑓′(𝑢𝑗 (𝑙) ))(3.19)

𝑘
(𝑙)

(𝑙+1)

のようになる.この式から,𝛿𝑗 は次の層の𝛿𝑘を求めることで計算できることがわかる.これを拡張すると,出力層の各ニューロンのδが求まれば,式(3.19)を繰り返し適用することで任意の層のδを算出することができる.出力層のδについては損失関数が二乗誤差であり,出力層の活性化関数は恒等写像であるので,𝛿𝑘(𝐿)= 𝑢𝑘 (𝐿) − 𝑡𝑘 = 𝑧𝑘 (𝐿) − 𝑡𝑘 = 𝑦𝑘 − 𝑡𝑘

(3.20)となる.したがって,ネットワークの出力値と目標の値の誤差が出力層から入力層の14

向き,つまり順伝播とは逆方向に伝播される.誤差逆伝播法という名前はこれが由来
である.
次に式(3.16)の右辺第 2 項の𝜕𝑢𝑗 (𝑙) ⁄𝜕𝑤𝑗𝑖 (𝑙) は𝑢𝑗 (𝑙) = ∑𝑖 𝑤𝑗𝑖 (𝑙) 𝑧𝑖 (𝑙−1) より
(𝑙)

𝜕𝑢𝑗

(𝑙)
𝜕𝑤𝑗𝑖

= 𝑧𝑖 (𝑙−1)(3.21)(𝑙)となる.これと式(3.18)の𝛿𝑗 を式(3.16)に代入することで求める損失関数の勾配は
𝜕𝐸𝑛(𝑙)= 𝛿𝑗 𝑧𝑖 (𝑙−1)(3.22)(𝑙)𝜕𝑤𝑗𝑖のように表される.以上が誤差逆伝播法の学習プロセスである.

3.5

勾配消失問題

誤差逆伝播法の登場によって勾配計算を効率的にすることができ,ネットワークの多層化が可能になった.しかし,多層にしたネットワークの学習がうまくいかなくなる勾配消失問題が生じた[33].勾配消失問題とは,3.5 節で述べた誤差の逆伝播計算をするときに,δの値が急速に小さくなり 0 になる（または急速に大きくなり発散する）ために,学習が困難になることである.シグモイド関数を例にとって考える.関数
は式(3.5)に示してある通りであり,その微分は𝑓′(𝑥) = 𝑓(𝑥)(1 − 𝑓(𝑥))となる.これらからわかるように入力の値が大きくなれば,微分の値は小さくなっていく.この微分の値が入力層側まで伝播することで,δの値が指数的に小さくなりほとんど 0 になってしまう.また,活性化関数の微分だけでなく,δは各層の重みが小さいと急速に小さくなり,各層の重みが大きいと急速に大きくなってしまう.
この勾配消失を緩和する関数がランプ関数（ReLU : Rectified Linear Unit）である(3-10).式(3.7)で示してあるように,ReLU は非常にシンプルな関数である.そのため,出力計算や勾配計算を高速に行うことができる.ReLU の特徴としては,スパースなネットワークにできる点である.仮にあるニューロンへの入力が 0 以下であれば,その出力は 0 になり,勾配も 0 となる.結果として,そのニューロンは学習に関与しなくな
り,ニューロンの選別が行われることになる.そのため,ReLU を活性化関数として用いたネットワークは,いくつかのニューロンだけが非零であるスパースなネットワークとなる.また,シグモイド関数の場合では,入力値が大きいと微分の値が小さくなり学習を困難にさせていた.しかし ReLU の場合では,入力値が正であればその微分は 1 となり学習を妨げることはない.このような理由から,近年の深層学習ではこの ReLU が多く用いられている.

15

3.6

過学習

3.5 節までは訓練データに対する誤差を小さくすることを考えてきた.しかし,学習の目的は,与えられた訓練データだけではなく未知のデータ（テストデータ）に対して正しく予測することである.つまり,汎化能力の高いモデルにする必要がある.
汎化能力が乏しいモデルは過学習が起きている可能性がある.ここで,過学習とは図3.6 に示してあるような,訓練データに対してはよく学習されているが,未知データに対しては適合できていない状態である[34].この図では,黒点が訓練データ,直線が望ましいフィッティング,青い線はネットワークが表現した線である.訓練データにはよく適合しているが,フィッティングとはかけ離れた次数の大きな関数になっている.過学習が起きる原因としては,訓練データの数が少ないことやネットワークが大量のパラメータを持ち,表現力の高いモデルであることが考えられる.中間層の層数やニューロン数を増やすことで,複雑で表現力の高いモデルを作ることはできるが,過学習が起きやすくなる.そこで,表現力の高さを保ちつつ過学習を抑制し,テス
トデータにも適合する汎化能力の高いネットワークにすることがニューラルネッ
トワークの学習の鍵である.

図 3.6

過学習の例

16

第 4 章 学習のテクニック
4.1

重みの更新手法

4.1.1

SGD

確率的勾配降下法（SGD）の更新手順は 3.3 節で述べたとおりであるが,改めて書
くと,
𝜕𝐸𝑛
(4.1)
𝜕𝒘𝑡
となる.𝜀は学習係数であり,学習させる際はあらかじめ0.01や0.001などの値を決めておき,重みパラメータを更新する.SGD の実装は簡単であるが,学習が非効率になる場合がある.例えば,学習係数が小さすぎると学習に時間がかかり,大きすぎると収束を妨げ極小値付近で損失関数が変動してしまい,発散してしまうこともある.また,一度決めた値を用いるので,学習モデルによっては学習係数の決定が困難になることもある.
𝒘𝑡+1 = 𝒘𝑡 − 𝜀

4.1.2

Momentum

この SGD の収束性能を向上させる方法の 1 つにモーメンタム（Momentum）という手法がある[35].名前からもわかるように SGD に慣性項を加える方法である.具
体的には,重みパラメータの更新量に 1 つ前の更新時の更新量のいくらかを加算して更新を行う.t − 1回目の重みの更新量を∆𝒘𝑡−1 ≡ 𝒘𝑡−1 − 𝒘𝑡−2 とすると,
𝜕𝐸(𝒘𝑡 )
(4.2)
𝒘
=𝒘 −𝜀
+ 𝜇∆𝒘𝑡−1𝜕𝒘𝑡で表される式で更新する.ここで𝜇は加算する割合を決定するハイパーパラメータであり,𝜇 = 0.5~0.9程度の範囲で値を選ぶ.
損失関数が二乗誤差などの深い谷状の形であり,さらにその谷底に高低差があまりない場合,SGD は効率が悪くなってしまう.谷が深く高低差があまりないために,最小値である谷底を少し外れた点では勾配が谷底に直交する方向に生じてしまう.
そのため,谷底をジグザグ行ったり来たりする経路になり,非効率な学習となってしまう.Momentum は慣性項を加えることで,谷の方向に沿って最小値に効率よく向かうことができる.ボールがお椀の上を転がって谷底に向かっていく動きがMomentum のイメージである.
𝑡+1

𝑡

17

4.1.3

AdaGradSGD では前もって決めた学習係数でステップ幅が変わり,小さすぎると収束に時間がかかり,大きすぎると収束しなくなってしまうという欠点があった.しかしながら,学習の初期は誤差も大きいので学習係数を大きく設定し,学習が進むにつれて学習係数を小さくすることで学習を効率良く進めることができるといえる.このコンセプトのもと考えられたのが John Duchi らが提唱した AdaGrad である[36].この手法では,重みパラメータの 1 つ 1 つの要素に対して学習係数を調整しながら学習を行うことができる.式で表すと,ℎ𝑡 = ℎ𝑡−1 + ∇𝐸(𝒘𝑡 )2ε
𝒘𝑡+1 = 𝒘𝑡 −∇𝐸(𝒘𝑡 )
√ℎ𝑡

(4.3)
(4.4)

となる.ℎ0 には,値を無限大に発散させないために10−8 などの小さな値を設定する.
また,εは初期学習係数であり,この値はあらかじめ決めておかなければならな
い.AdaGrad ではこれまで経験した損失関数の勾配の値を 2 乗和として保持することで,大きく更新された重みパラメータの学習係数を小さくすることができる.この学習係数の減衰を各重みパラメータの要素ごとに行うことができる.

4.1.4

AdaDelta

AdaDelta は[37],Matthew D. Zeiler が提唱した手法である.AdaGrad や RMSprop[38]を改良したものであり,以下のように重みパラメータを更新する.
ℎ𝑡 = 𝜌ℎ𝑡−1 + (1 − 𝜌)∇𝐸(𝒘𝑡 )2√𝑠𝑡 + 𝜖(4.5)

∇𝐸(𝒘𝑡 )

(4.6)

𝑠𝑡+1 = 𝜌𝑠𝑡 + (1 − 𝜌)𝑣𝑡 2(4.7)

𝒘𝑡+1 = 𝒘𝑡 − 𝑣𝑡

(4.8)

𝑣𝑡 =

√ℎ𝑡 + 𝜖ここで,𝜖は10−6 などの小さな値を設定する.上式からも分かるように,学習係数を決める必要がない更新手法である.AdaGrad では,すべての勾配情報を参考に重みパラメータを更新しているが,AdaDelta ではより直近の勾配情報を優先して更新することができる.

18

4.1.5Adam

Adam（Adaptive Moment Estimation）は Diederik P. Kingma, Jimmy Lei Ba によって提唱された手法である[39].この手法では,勾配の平均と分散の概算値を利用して学習係数を更新する.式で表すと,
𝑚𝑡+1 = 𝛽1 𝑚𝑡 + (1 − 𝛽1 )∇𝐸(𝒘𝑡 )(4.9)

𝑣𝑡+1 = 𝛽2 𝑣𝑡 + (1 − 𝛽2 )∇𝐸(𝒘𝑡 )2
𝑚𝑡+1
𝑚
̂=
1 − 𝛽1 𝑡(4.10)𝑣̂ =𝑣𝑡+1
1 − 𝛽2

𝒘𝑡+1 = 𝒘𝑡 − 𝛼(4.11)(4.12)𝑚̂

(4.13)√𝑣̂ + 𝜖となる.𝜖には10−8 などの小さな値を設定する.AdaGrad や AdaDelta,RMSprop の長所を併せ持つ手法であり,現状一番評価されている.

19

4.1.6

更新手法の比較

どの更新手法を用いるべきであるかは,解くべき問題によって異なる.現状では,すべての問題で優れた手法というのはなく,自ら決める必要がある.そこで,今回挙げた 5 つの手法における学習スピードの比較を行った.その結果を以下の図 4.1 に示す.この図からも分かるように,Adam と Momentum では学習はなかなか進まなかった.これら 2 つの手法は今回用いたデータに対する更新手法には適していないと考えられる.そのほかの手法では同じように学習が行われていたが,計算コストとしては AdaDelta では SGD と比べて同じ更新回数でもおよそ 2 倍時間がかかった.一方で,AdaGrad の場合では,確かに SGD より計算コストはかかるが,図からもわかる
ように損失関数の減少が一番速くその勾配も安定していた.そのため,他の手法と比べて学習が速く行われることが期待できるので,今回は AdaGrad を更新手法として
採用した.

図 4.1

更新手法の比較20

4.2

重みの初期値学習を始める際に重みの初期値を決める必要がある.最も一般的な方法はガウス分布に従うランダムな値を初期値とする方法である.このガウス分布の標準偏差σの決め方が学習の結果に影響を与え,重みの初期値が大きい値であると,過学習や勾配消失問題が起きやすくなる.そのため,標準偏差が 0.01 などの小さな値のガウス分
布にすることで重みの初期値を小さくし,過学習を起きにくくする.標準偏差の決め方については用いる活性化関数によって異なっている.ニューロンの活性化関数にシグモイド関数などの値域に上下限がある関数を用いる場合 ,Xavier Glorot とYoshua Bengio が提唱した「Xavier の初期値」[40]が適している.Xavier の初期値では,前層のニューロン数が n 個であれば,1⁄√𝑛の標準偏差を持つ分布を用いることで適切な重みのスケールにしている.一方で,ReLU 関数を活性化関数として用いる
場合は Kaiming He らが提唱した「He の初期値」[41]を用いることが推奨されている.He の初期値では前層のニューロン数が n 個であれば,√2⁄𝑛の標準偏差を持つガ
ウス分布を用いることで適切な重みのスケールにしている.ReLU 関数は負の領域が 0 であるため,倍の係数をかけることでその分の広がりを持たせている.
重みの初期値が適切かどうかは,中間層のアクティベーション（活性化関数に代入した後の値）の分布を見ることで知ることができる.そこで,中間層の層数を 5 層,
中間層のニューロン数を 100 個,活性化関数に Leaky ReLU を使用したネットワー
クにおいて,標準偏差が 0.01 のガウス分布,Xavier の初期値,He の初期値を重みの初期値としたときの各層のアクティベーション分布を調べた.使用したデータは,後述
する放電電流の時間変化の 2550 個のデータである.その結果を図 4.2~4.4 に示す.
それぞれの図において,横軸がアクティベーション値,縦軸がカウント数を示している.順伝播方向にデータを流し（更新せず）,その時の各ニューロンのアクティベーション値をヒストグラムにしたものである.この結果から,標準偏差が 0.01 のガウ
ス分布を重みの初期値として用いた場合,各層のアクティベーションがとても小さな値になっている.そのため,誤差を逆伝播させる際の勾配が小さくなり,学習が進
まなくなってしまう.次に,Xavier の初期値を用いた場合,層が深くなるにつれて,ア
クティベーションの値が 0 に偏ってきている.5 層程度では問題はないが,さらに層数を増やすと勾配消失問題が起きる可能性がある.一方,He の初期値を用いた場合,
少し歪ではあるがアクティベーションの広がりが保たれている.そのため層数を増やしても問題なく学習が進み,逆伝播の際も適切な値が伝播されることが予想される.今回,実際に制御する際のことを考慮してデータの正規化を行っていない.そのため歪な分布になったが,データの正規化を行えば各層でのアクティベーション分
布は均一なものとなることが確認できた.

21

(a) 1-layer(b) 2-layer(c) 3-layer(d) 4-layer(e) 5-layer
図 4.2

標準偏差が 0.01 のガウス分布を重みの初期値としたときの各層のアクティベーション分布22

(a) 1-layer(b) 2-layer(c) 3-layer(d) 4-layer(e) 5-layer
図 4.3

Xavier の初期値を重みの初期値としたときの各層のアクティベーション分布

23

(a) 1-layer(b) 2-layer(c) 3-layer(d) 4-layer(e) 5-layer
図 4.4

He の初期値を重みの初期値としたときの各層のアクティベーション分布

24

4.2.1 節で述べた重みの初期値の違いによって,学習の進み方がどのように違ってくるのかを検証した.使用したデータは前節と同じ,放電電流の時間変化の 2550 個のデータである.また使用したネットワークは前節と同じく,中間層が 5 層,中間層のニューロン数が 100 個,中間層の活性化関数に Leaky ReLU を使用したネットワー
クで,更新手法は簡単のため SGD を採用した.図 4.5 にその結果を示す.横軸は更新
回数,縦軸は損失関数（二乗誤差）の対数スケールを示している.図 4.5 からもわかるように,標準偏差が 0.01 のガウス分布を重みの初期値として用いた場合は学習が進んでいない.これは,順伝播の際に各層のアクティベーションがとても小さな値になってしまったため,勾配が小さくなり学習が滞ったからである.一方で,Xavier の初期値と He の初期値を重みの初期値として用いた場合,滞りなく学習が進んでいる.
また同図からも分かるように,He の初期値の方が学習は早く進んでいる.そのため,今回はこの He の初期値を採用した.

図 4.5

重みの初期値による損失関数の比較

25

4.3

過学習の緩和3.7 節で説明した過学習はネットワークの自由度（特に重みの数）が高いほど起きやすくなる.ただし,ネットワークの自由度が高いということは表現能力が高いということであり,過学習を起こさないために自由度を下げるのは望ましくない.そこ
で,過学習抑制のために重みの自由度に制約を設ける正則化の手法がいくつかされている.その一つに学習時に大きな重みを持つことに対して制約を加える重み減衰（weight decay）[42]という手法がある.この手法では次のように,重みの二乗和（二乗ノルム）を損失関数に加算し,これを最小化する.
𝜆(4.14)
𝐸̃ (𝒘) ≡ 𝐸(𝒘) + ‖𝒘‖22
ここで,λは正則化の強さを制御するハイパーパラメータであり,便宜上 weight decay係数と呼ぶことにする.λの値を大きく設定すればするほど,大きな重みを持つことに対して強い制約をかけることができる.通常λ = 0.01~0.00001程度の範囲で設定する.勾配降下法の更新式は,
𝒘𝑡+1 = 𝒘𝑡 − 𝜀(𝐸(𝒘) + 𝜆𝒘)(4.15)のようになり,重みは自身の大きさに比例した速さで減衰するように修正される.この重み減衰は総数が少なく,ときに大きな値をとる必要があるバイアス項には適用
しない.
過学習を抑制する手法としては,他にも Dropout という手法がある[43].ニューラ
ルネットワークがより表現能力の高いモデルになってくると上記の weight decay だ
けでは過学習に対して対応が難しくなる.Dropout は提案されたのは最近だが,過学習を抑制する手法として多くの場面で良い結果が得られており,大規模なニューラ
ルネットワークの成功の要因の一つに挙げられる.Dropout の学習過程としては,ニューロンを確率的に選別,消去しながら学習するという流れである.入力層と中間層のニューロンを決まった確率𝑝でランダムに選び,消去して通常の最適化を行う.ただし,更新のたびに選び出すニューロンを変えて学習を行う.テスト時には各層のすべてのニューロンに信号を伝達させるが,その際に各層の各ニューロンの出力に𝑝を乗算する.これは,テスト時のニューロン数が学習時と比べて1⁄𝑝 倍に増えていることを補っている.入力層は𝑝 = 0.2,中間層は𝑝 = 0.5程度が望ましく,よく使われている.この Dropout は前述した weight decay と併用することで精度の向上が図れる.

26

図 4.6

Dropout Neural Net Model [43]：左が通常のニューラルネットワーク,右がDropout を適用したネットワーク

過学習を抑制する手法として挙げた,weight decay と Dropout を実装し学習を行った.訓練データとして,JAXA－9 大学共同開発の 5 kW 級アノードレイヤ型ホールス
ラスタ[44]の 73 点の作動点の作動条件およびその際の推力データを用いた.用いたネットワークは中間層の層数が 5 層,中間層のニューロン数が 100 個のネットワー
クであり,更新手法として AdaGrad を採用した.訓練データとして 73 個のデータでは少なすぎ,また訓練データに対してネットワークが表現できる自由度が高いため,過学習が起きやすい状況である.そこで,weight decay と Dropout を用いないネット
ワーク,weight decay を導入したネットワーク,weight decay と Dropout を導入したネットワークについて考え,過学習を抑制できているかを調べた.まず 73 個のデータのうち 67 個のみを訓練データとして学習させ,6 個のデータをテストデータとした.
図 4.7 に訓練データの学習結果を示す.図 4.7(a)は目標の推力分布図で,ネットワー
クを用いてこの分布図になるように学習させる.目標の推力分布図に適合していな
ければ学習ができておらず,テストデータを予測することはできない.図 4.7 からも分かるように,weight decay と Dropout を用いないネットワークと weight decay を導入したネットワークでは目標の推力分布図を再現できており,学習がうまくいっている.一方で,weight decay と Dropout を導入したネットワークにおいてはネットワ
ークの出力値がほぼ一定の値になってしまい,学習がうまくいかなかった.コードの問題も考えられるが,各層のニューロンを消去する確率 p を𝑝 = 0にした（weightdecay のみを導入した場合と同様にした）場合には通常通りの挙動になったため可能性は低い.

27

(a)

(b)

(c)

(d)

図 4.7 訓練データの学習結果：(a)目標の推力分布図, (b)weight decay と Dropout
なしのネットワークによる再現, (c)weight decay を導入したネットワークによる再現, (d)weight decay と Dropout を導入したネットワークの再現
次に,訓練データを学習したそれぞれのネットワークにおいてテストデータを予測させた.その結果を図 4.8 に示す.weight decay と Dropout なしのネットワー
ク,weight decay を導入したネットワークでは概ね推力を予測できていた.放電電圧が 350 V 以上の領域は訓練データにおけるデータが少なかったため精度は悪くなったが,過学習を起こしているとまでは言えなかった.一方で,Dropout を導入したネットワークの場合では,訓練データを学習できていなかったため,予測した推力は実際の推力とかけ離れたものとなった.データによっては過学習が起きる場合もある
ことから,過学習を抑制する手法として今回は weight decay のみを採用した.しかしながら,過学習を抑制する手法として,他にも重み上限[45]があり,Dropout を組み合わせることで高い精度になったという報告もあり[43],今後検討の必要がある.

28

(a) weight decay と Dropout なしの場合(b) weight decay を導入した場合(c) weight decay と Dropout を導入した場合
図 4.8 ニューラルネットワークによる推力予測29

4.4 ハイパーパラメータの検証
ニューラルネットワークでは,重みやバイアスといった自動で調整されていくパ
ラメータの他に多くのハイパーパラメータが存在する一番重要な学習係数以外にも,訓練回数や中間層のニューロン数,中間層の層数,weight decay 係数などがある.そのハイパーパラメータに適切な値を設定しなければ,学習が全く進まなくなったり,性能の悪いモデルになったりしてしまう. 今回,放電電流の時間変化に関するデー
タに対して,中間層の層数が 5 層,中間層のニューロン数が 100 個のネットワークを用い,更新手法としては AdaGrad を採用し,過学習の抑制のために weight decay を導入した.ここで,ハイパーパラメータとして学習係数εと weight decay 係数λの 2 つがあり,最適な値の範囲を決定する必要がある.
ハイパーパラメータの最適化には従来グリッド探索が行われていた.グリッド探索とは,ハイパーパラメータごとに候補群が決まっており,それらを組み合わせて最適なハイパーパラメータの組み合わせを探す方法である.しかし,Momentum やAdam を用いる場合やドロップアウトを導入する場合ではハイパーパラメータの数が増え,最適なハイパーパラメータの組み合わせを調べる際にグリッド探索では効率が悪い.さらに近年では,すべてのハイパーパラメータをランダムに設定し,一番良い組み合わせを採用するランダム探索が優れているということが報告されている[46].この理由として,学習係数などの一部のハイパーパラメータは影響が大きい
が,その他は変えてもそれほど影響しないという性質があるからだと考えられている.
これまでのデータセットは,訓練データとテストデータの 2 つを利用してきた.訓練データで学習させ,テストデータでその汎化能力を評価するというものであったが,ハイパーパラメータの性能評価をする際にはテストデータを用いて評価してはならない.テストデータを用いてハイパーパラメータを調整すると,テストデータに対して過学習を起こすことになるからである.そこで,ハイパーパラメータの調整用データとして,検証データを用いることが一般的である.最も簡単な方法としては,訓練データの中から 20％程度を抜き出し検証データとすることである.この検証データと訓練データの認識精度を調査することでハイパーパラメータの最適化を行った.
今回,AdaGrad におけるハイパーパラメータである学習係数と weight decay 係数
をランダム探索で最適化した.学習係数εを10−1から10−4 ,weight decay 係数を10−4 から10−8 の範囲で変化させてハイパーパラメータの最適な範囲を絞っていった.その認識精度の高い順に並べた結果と認識精度の低い順に並べた結果を図 4.7 と図 4.8に示す.ここで認識精度とは,ネットワークが表現する値と実際の訓練データや検証
データの商で定義した.

30

図 4.7Best-10 までの学習係数と weight decay 係数の組み合わせ

図 4.8

Worst-10 までの学習係数と weight decay 係数の組み合わせ

この結果を見ると,効率良く学習が進むのは,学習係数が10−2 から10−3 ,weight decay
係数が10−6 から10−8 のオーダーであると考えられる.この学習係数と weight decay
係数のオーダーが合っていれば認識精度にそれほど有意な差が見られなかったので,今回は学習係数ε = 0.001,weight decay 係数λ = 1.0 × 10−6 を採用した. ただし,データセットが異なればハイパーパラメータの最適値も異なるため,データセットに合わせてハイパーパラメータの検証を行う必要がある.
今回は上述したランダム探索でハイパーパラメータの最適化を行った.,ハイパー
パラメータを含めて最適化問題として,ベイズ最適化の枠組みでハイパーパラメー
タを自動調整する研究[47,48,49,50]も活発に行われている.そのため,ハイパーパラ
メータの決定方法も検討の余地がある.
31

第 5 章 結果及び考察
5.1

放電電流の時間変化に関する実験

5.1.1

実験体系

本実験で使用したホールスラスタは外径 56 mm,内径 40 mm の 200 W 級マグネチ
ックレイヤ型ホールスラスタである.図 5.1 に使用したホールスラスタの概観を示す.スラスタ中心部に 1 つ,外側に 4 つのソレノイドコイルが設置されおり,これらによって半径方向の磁場が形成されている.内側コイルと外側コイルに流す電流の大きさと比を変えることで,磁場強度及び磁場形状を変更することができる.
今回,推進剤流量を 1.02 mg/s,放電電圧を 150 V と固定し,ホールスラスタの内側
コイルと外側コイルの比を 1：4 に保ちながらそれらの値を変化させ,時間経過に伴う放電電流の電流値を計測した.その結果を図 5.2 に示す.横軸が時間,縦軸が上から放電電流,内側コイル電流,外側コイル電流の電流値である.この図からも分かるよ
うに,放電電流が時間経過に伴って小さくなっている.これは,壁面の温度上昇に伴い中性粒子の温度も上昇し,中性粒子密度が低下し,これに伴いプラズマ密度が低下したことによって放電電流が減少したためである.この放電電流の時間変化からも分かるように,得られる推進性能は時間変化してしまう.この時間変化をモデル化できれば,コイル電流などの特定のパラメータを印加したときの推進性能が予測でき,その時に印加したパラメータを摘出することで時間変化を追随する最適制御が可能になると考えられる.本来であれば経年変化を見たいのだが,多くの時間を要し設
備的にも厳しいことから,今回はこの放電電流の時間変化に伴う減少を,ニューラル
ネットワークを用いて予測できるか調査した.

図 5.1

マグネチックレイヤ型ホールスラスタの概観

32

図 5.2 放電電流の時間変化

33

5.1.2放電電流の時間変化の予測

図 5.2 で見られる時間変化に伴う放電電流の低下を,ニューラルネットワークを用いて予測した.今回用いたネットワークは図 5.3 で示してあるように,中間層の層数が 5 層,中間層のニューロン数が 100 個の順伝播型ネットワークである.入力層側に推進剤流量,放電電圧,内側コイル電流,外側コイル電流,時間を入力し,その作動条
件時の放電電流を出力層側の訓練データとして入力した.また,今回もちいた訓練データは図 5.2 に示してある800~1310秒のデータであり,予測するテストデータは1335~1460秒のデータである.

図 5.3

放電電流の時間変化を予測するためのネットワーク構造

ニューラルネットワークを用いて予測した放電電流の結果を図 5.4 に示す.黒線と赤線はそれぞれ実験値と予測値を示している.黒線の突出している箇所は異常放電であり,今回用いたデータでは予測できなかった.異常放電を除いて考えると,今回用いたネットワークは実験値の放電電流を概ね予測できており,その平均相対誤差は0.993%と非常に小さな値となった.特に,下限値の時間経過に伴う低下も予測できており,今後はこのネットワークを用いることで放電電流の時間変化を追随することができ,シミュレーションの一面でも有益であると考えられる.また,任意の流量,放電電圧,内側コイルと外側コイルの値から放電電流を予測することができた
ので,特定の放電電流になるパラメータを摘出することで最適制御にもつながると
いえる.

34

図 5.4

ニューラルネットワークによる放電電流の時間変化の予測

35

5.2 推進性能の時間変化に関する実験
5.2.1

実験体系

本実験で使用したホールスラスタは 5.1 節で述べたものと同様である.5.1 節では放電電流の時間変化についての実験であったが,今回は推力や推進効率といったホールスラスタの推進性能の時間変化についての実験を行った.
この実験では 5.1 節と同じく推進剤流量を 1.02 mg/s と固定し,放電電圧,内側コイ
ルと外側コイルを変化させてその時に得られる推力,電力, 放電電流,推進効率,比推力を計測した.ただし,内側コイルと外側コイルの電流比は 1：4 に保たれている.そして,間隔を空けて再び推進性能を計測することで,時間変化に伴って推進性能がどのように変化するのかを調査した.それぞれの結果を図 5.5 に示す. Map 1 から Map
6 はおよそ 30 分ごとに計測したデータであり,横軸が内側コイル電流,縦軸が放電電圧,カラーマップがそれぞれ推力,電力,放電電流,推進効率,比推力を示している.これ
らの図からも分かるように,同じコイル電流や放電電圧を印加したとしても,得られる推進性能が時間経過に伴って変化してしまう.これは,5.1 節でも述べた壁面の温度上昇に伴う中性粒子密度の低下などが原因として考えられる.しかし,ホールスラスタの内部現象は極めて非線形で,他の複合的な要因も考えられ,推力や推進効率な
どの推進性能の時間変化を定量的に表すことは困難である.そこで,ニューラルネッ
トワークの非線形問題に強い特徴を活かして推進性能の時間変化を予測できるかを調査した.この推進性能の時間変化を予測できていれば,そのネットワークは時間変化に対応する関数になっていると考えられる.例えば推進効率であれば,効率が最大となる内側コイルと外側コイルの電流値をその関数から見つけることが可能になる.つまり,この時間変化に対応しているネットワークを用い,推力,電力,推進効率,
放電電流,比推力が一定以上または一定以下になる値を摘出することで時間変化を追随する最適制御につながると思われる.

36

(a) Map 1(b) Map 2(c) Map 3(d) Map 4(e) Map 5(f) Map 6
図 5.5

推力の時間変化

37

(a) Map 1(b) Map 2(c) Map 3(d) Map 4(e) Map 5(f) Map 6
図 5.6

電力の時間変化38

(a) Map 1(b) Map 2(c) Map 3(d) Map 4(e) Map 5(f) Map 6
図 5.7 放電電流の時間変化

39

(a) Map 1(b) Map 2(c) Map 3(d) Map 4(e) Map 5(f) Map 6
図 5.8 推進効率の時間変化

40(a) Map 1(b) Map 2(c) Map 3(d) Map 4(e) Map 5(f) Map 6図 5.9比推力の時間変化

41

5.2.2推進性能の時間変化の予測

図 5.5 から図 5.9 で見られる推進性能の時間変化を,ニューラルネットワークを用いて予測した.今回用いたネットワークは図 5.10 に示してあるように,中間層の層数が 5 層,中間層のニューロン数が 100 個の順伝播型ネットワークである.入力層側に推進剤流量,放電電圧,内側コイル電流,外側コイル電流,時間を入力し,その作動条件
時の推力,電力,放電電流,推進効率,比推力を出力層側の訓練データとして入力した.
また,今回用いた訓練データは図 5.5 から図 5.9 に示してある Map 1 から Map 5 までのデータであり,予測するデータは Map 6 のデータである.

図 5.10推進性能の時間変化を予測するためのネットワーク構造

ニューラルネットワークを用いて予測した放電電流の結果を図 5.11 に示す.それ
ぞれの図においてカラーマップは図 5.5 から図 5.9 の Map 6 の推進性能の値で割った変化率を示してある.この結果を見ると,推力・比推力の予測についてはその平均
相対誤差は約5.39 %と約7.35 %と比較的良い結果となった.比推力は推力と推進剤流量から求まるため,推力と比推力の精度が似通った変化率になったことは望ましい結果であった.一方で電力,放電電流,推進効率については,その平均相対誤差はそれぞれ約19.2 %, 16.9 %, 15.5 %と推力と比推力の結果に比べて乏しくなった.
電力は放電電圧と放電電流から,推進効率は推力と電力からそれぞれ求まり電力,放電電流,推進効率の予測精度は同じような分布になった.推力,推進効率の予測と電力,放電電流,推進効率の予測を比較すると,放電電流のモデル化ができていないことが推察される.特に,放電電圧が高く磁場が弱い場合に予測精度が悪くなっている
ことが分かった.この理由としては,時間変化が大きくデータ数が少なかったことが挙げられる..5.1 節の放電電流の予測においては良くモデル化できていたことから,
42

精度を向上させるためにはデータ数を増やす必要があると考えられる.しかし,今回は Map 1 から Map 6 までにデータが限られていたため,データ数を減らすことで学
習精度の変化がみられるか調査した.ここで用いた訓練データは Map 1 から Map 3までのデータであり,予測するデータは Map 6 のデータである.その結果を図 5.12 に示す.推力,電力,放電電流,推進効率,比推力の平均相対誤差はそれぞれ,約12.1 %, 19.1 %, 19.8 %,18.0 %,9.62 %とデータ数を減らしたことによって悪くなった.図 5.11 と図 5.12 の結果を比較するとデータ数を増やすことで精度の向上が見られた.また,異常放電が起きやすい放電電圧が高く磁場が弱い領域においても精度の向上が見られたことから,推進性能のモデル化を行うためにはデータ数を増やす必要があると考えられる.

43

(a) Thrust(b) Power(c) Discharge current(d) Thrust efficiency(e) Specific impulse
図 5.11

Map 1 から Map 5 までのデータで Map 6 の推進効率を予測した結果

44

(a) Thrust(b) Power(c) Discharge current(d) Thrust efficiency(e) Specific impulse
図 5.12

Map 1 から Map 3 までのデータで Map 6 の推進効率を予測した結果

45

第 6 章 結論
本研究では,ニューラルネットワークを用いたホールスラスタの自動制御の可能性を検証することを目的として,放電電流の時間変化や推進性能の時間変化を予測した.その際,学習を円滑に進めるための更新手法や初期値,過学習の抑制する手法についても検討した.結果を以下にまとめる.
重 み の 更 新 手 法 に は 確 率 的 勾 配 降 下 （ SGD ） を 基 に し た Momentum や
AdaGrad,AdaDelta,RMSprop,Adam などがあり学習をスピードの向上を図ることができる.今回用いた学習データでは AdaGrad が一番学習スピードは速くなったが,これは学習モデルやハイパーパラメータの設定値で結果が変わるので留意すべきである.
重みの初期値として,標準偏差が 0.01 のガウス分布や Xavier の初期値を設定すると各層のアクティベーション値がとても小さな値になったり,層が深くなるにつれて 0 に偏ったりしてしまう.そこで ReLU 関数や Leaky ReLU 関数においては He の
初期値を用いることで多層のネットワークによる学習が可能になり,学習スピードも向上する.
過学習を抑制する手法として今回用いたデータにおいては Weight decay が有効であることが分かった.一方で,近年多くの場面で良い結果を示している Dropout に
ついては学習がうまくいかず,予測値と実際の値がかけ離れてしまった.しかし,この Dropout と重み上限を組み合わせることで高い効果があると報告されているので再考の必要がある.
上記の AdaGrad,He の初期値,Weight decay を採用し,中間層の層数が 5 層,中間層のニューロン数が 100 個のネットワークを用いて放電電流の時間変化を予測した.
その結果,平均相対誤差は0.993%となり異常放電を除くと概ね予測できていた.次に同じネットワークを用いて,推進性能である推力,電力,放電電流,推進効率,比推力の予測を行った.その結果,推力と比推力は比較的良い結果となったが,電力,放電電流,推進効率については放電電圧が高く磁場が弱い領域において精度が乏しかった.
理由としては,この領域においては異常放電が起きやすく,現状のデータ数では放電
電流のモデル化が難しいと考えられる.推進性能のモデル化を行うためにはデータ数を増やす必要があると考えられる.
今回,ホールスラスタの自動制御に向けてニューラルネットワークによる推進性
能の予測を行った.その結果,データ数を増やすことで時間変化に対応することは可能であり,自動制御につながると推論できる.今後はデータ数を増やし,予測精度を高めていき,任意の時間の任意のパラメータの際の推進性能と合致するかを確かめたのちに,実際の制御系に組み込む必要がある.

46

参考文献
[1] 「宇宙産業の現状と動向について」（内閣府 宇宙開発戦略推進事務局）<http://www8.cao.go.jp/space/comittee/27-sangyou/sangyou-dai1/siryou3-1.pdf>（2018/01/05 アクセス）.
[2] 「小特集 次世代の宇宙電気推進技術」, プラズマ・核融合学会誌, Vol. 77, No.
8, pp.763-792 (2001-8).
[3] Yushi Hamada, Junhwi Bak, Rei Kawashima, Hiroyuki Koizumi, Kimiya Komuraaki,
Naoji Yamamoto, Yusuke Egawa, Ikkoh Funaki, Shigeyasu Iihara, Shinatora Cho,
Kenichi Kubota, Hiroki Watanabe, Kenji Fuchigami, Yosuke Tashiro, Yuya Takahata,
Tetsuo Kakuma, Yusuke Furukubo, and Hirokazu Tahara: Hall Thruster Development
for Japanese Space Propulsion Programs, Trans of JSASS, Vol. 60, No. 5, pp.320–326(2017).
[4] 栗木恭一・荒川義博: 電気推進ロケット入門, 東京大学出版会 (2003).
[5] H. R. Kaufman: Technology of Closed-Drift Thrusters, AIAA journal, Vol. 23, No. 1,
pp.78-86 (1985).
[6] V. Kim: Main physical feature and processes determining the performance of stationary
plasma thrusters, Journal of Propulsion and Power, Vol. 14, No. 5, pp.736–743 (1998).
[7] 荒川義博, 小紫公也, 平川美晴: ホール推進機, 日本航空宇宙学会誌, Vol.46,
No.530, pp.146-153 (1998).
[8] 小紫公也,荒川義博: ホールスラスタの性能とプラズマ加速過程, 日本航空宇宙学会誌, Vol. 40, No. 465, pp.568-575 (1992).
[9] C. R. Koppel and D. Estublier: The SMART-1 Electric Propulsion Subsystem, AIAA
paper 2003-4545, 39th Joint Propulsion Conference, Huntsville, Alabama, July 20–23(2003).
[10] K. Komurasaki and Y. Arakawa: Hall-Current Ion Thruster Performance, Journal of
Propulsion and Power, Vol. 8, No. 6, pp. 1212–1216 (1992).
[11] T. Miyasaka, Y. Shibata, K. Asatio and K. Segawa: Investigation of Acceleration
Channel Processes in Hall Thrusters by Particles Simulations, Trans. of Japan Soc. for
Aeronautical and Space Sci., Vol. 7, No. ists26 pp.Pb_83-Pb_88 (2009).
[12] S. Yuge and H. Tahara: Performance Enhancement of a 1-kW Anode-layer Hall Thruster,
IEPC paper -2005-020 (2005).
[13] Ikkoh Funaki, Shigeyasu Iihara,Shinatora Cho, Kenichi Kubota, Watanabe Hiroki, Kenji
Fuchigami, Yosuke Tashiro: Hall Thruster Development for All-electric Propulsion
Satellite and Deep Space Explorers, AJCPP2016-047 (2016).
[14] T. Ozaki, Y. Inanaga, T. Nakagawa, Y. Kasai, K. Matsui: Development status of highpower xenon Hall thruster of MELCO, ISTSpaper 2006-b-34, 25th international
symposium on space technology and science (2006).
47

[15] 「技術試験衛星 9 号機プロジェクト移行審査の結果について」（国立研究開発
法人宇宙航空研究開発機構）
http://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/059/shiryo/__icsFiles/afieldfile/2017/05/22/1385842_3.pdf （2018/01/05 アクセス）.
[16] 弓削政郎,白崎篤司,田原弘一: ホールスラスタの推進効率および内部効率に与える磁場特性, 日本航空宇宙学会論文集, Vol. 55, No. 636, pp.8-16 (2007).
[17] 高村秀一: プラズマ理工学入門, 森北出版株式会社 (1997).
[18] Francis F. Chen: Introduction to plasma physics and controlled fusion, Springer
International Publishing (2015).
[19] Charles Garner, John Brophy, James Polk, and Lewis Pless: A 5,730-hr cyclic endurance
test of the SPT-100, AIAA paper 1955-2667, 31st Joint Propulsion Conference andExhibit, San Diego, CA,U.S.A. (1995).
[20] 麻生英樹: ニューラルネットワーク情報処理-コネクショニズム入門,あるいは
柔らかな記号に向けて,産業図書 (1998).
[21] T. Okatani: Deep Learning for Image Recognition, Journal of Japanese Society for
Artificial Intelligence, Vol. 28, No. 6 (2013).
[22] 西正明, 河本敏志: ニューラルネットワークを用いた文字認識の一検討, 山口
大学教育学部附属教育実践総合センター研究紀要第 9 号 (1998).
[23] 左毅: ベイシアンネットワークの株価予測への応用, 名古屋大学大学院情報科
学研究科修士論文 (2012).
[24] Veronica J. Berrocal, Adrian E. Raftery, Tilmann Gneiting and Richard C. Steed:
Probabilistic Weather Forecasting for Winter Road Maintenance, American Statistical
Association Journal of the American Statistical Association, Vol. 105, No. 490 (2010).
[25] Ian Goodfellow, Yoshua Bengio and Aaron Courville: Deep learning, Cambridge,
Massachusetts: The MIT Press (2016).
[26] 岡谷貴之: 深層学習, 講談社 (2015).
[27] Jacek M. Zurada: Introduction to Artificial Neural Systems, pp 32-36 (2006).
[28] Gary R. LewinBruce D. Carter: Neurotrophic Factors, Springer Berlin Heidelberg(2014).
[29] D. E. Rumelhart, G. E. Hinton, and R. J. Williams: Learning representations by backpropagating errors, Nature, Vol. 323, No. 9, pp. 533-536 (1986).
[30] Karen Simonyan and Andrew Zisserman: Very deep convolutional networks for largescale image recognition, CoRR, Vol. abs/1409.1556 (2014).
[31] A. L. Mass, A. Y. Hannun, and A. Y. Ng: Rectifier Nonlinearities Improve Neural
Network Acoustic Models, In International Conference on Machine Learning (2013).

48

[32] L´eon Bottou: Large-scale machine learning with stochastic gradient descent, In Yves
Lechevallier and Gilbert Saporta, editors, Proceedings of the 19th International
Conference on Computational Statistics (COMPSTAT’2010), pages 177–187, Paris,
France, August 2010. Springer.
[33] Yoshua Bengio, Patrice Simard, and Paolo Frasconi: Learning long-term dependencies
with gradient descent is difficult, IEEE Transactions on Neural Networks, 5(2):157–166(1994).
[34] R. Caruana, S. Lawrence, and C. Lee Giles: Overfitting in neural networks:
Backpropagation, conjugate gradient, and early stopping, In Advances in Neural
Information Processing Systems 13, pages 402–408, Denver, Colorado, MIT Press(2001).
[35] Ning Qian: On the momentum term in gradient descent learning algorithms, Neural
Networks 12(1):145–151 (1999).
[36] John Duchi, Elad Hazan, and Yoram Singer: Adaptive Subgradient Methods for Online
Learning and Stochastic Optimization, Journal of Machine Learning Research 12, July11, 2121-2159 (2011).
[37] Matthew D. Zeiler: Adadelta: An adaptive learning rate method, CoRR, abs/1212.5701,
2012. URL http://arxiv.org/abs/1212.5701.
[38] Diederik P. Kingma and Jimmy Lei Ba: Adam: A method for stochastic optimization, In
Proceedings of International Conference on Learning Representations (2015).
[39] T. Tieleman and G. Hinton, Lecture 6.5 - rmsprop, courser: Neural networks for machinelearning (2012).
[40] Xavier Glorot and Yoshua Bengio: Understanding the difficulty of training deep
feedforward neural networks, In Proceedings of the International Conference on
Artificial Intelligence and Statistics (AISTATS2010), Society for Artificial Intelligenceand Statistics (2010).
[41] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun: Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, In 10261034 (2015).
[42] Anders Krogh and John A. Hertz: A simple weight decay can improve generalization, In
Advances in Neural Information Processing Systems, Vol. 4, pp. 950-957. Morgan
Kaufmann (1992).
[43] N. Srivastava, G. E. Hiton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov: Dropout:
A simple way to prevent neural networks from overfitting, Journal of Machine Learning
Research, Vol. 15, pp. 1929-1958 (2014).

49[44] Yushi Hamada, Junhwi Bak, Rei Kawashima, Hiroyuki Koizumi, Kimiya Komuraaki,
Naoji Yamamoto, Yusuke Egawa, Ikkoh Funaki, Shigeyasu Iihara, Shinatora Cho,
Kenichi Kubota, Hiroki Watanabe, Kenji Fuchigami, Yosuke Tashiro, Yuya Takahata,
Tetsuo Kakuma, Yusuke Furukubo,
and Hirokazu Tahara, “Hall Thruster
Development for Japanese Space Propulsion Programs”, Trans of JSASS, Vol. 60, (No.
5), 2017, pp. 320–326.
[45] N. Srebro and A. Shraibman: Rank, trace-norm and max-norm, In Proc. 18th Annual
Conference on Learning Theory, COLT 2005, pp. 545-560, Springer (2005).
[46] James Bergstra and Yoshua Bengio: Random search for hyper-parameter optimization,
Journal of Machine Learning Research, Vol. 13, pp. 281-305 (2012).
[47] Jasper Snoek: Bayesian optimization and semiparametric models with applications toassistive technology, PhD thesis, University of Toronto (2013).
[48] Jasper Snoke, Hugo Larochelle, and Ryan P. Adams: Practical Optimization of machinelearning algorithms, In Advances in Neural Information Processing Systems, pp. 29512959 (2012).
[49] Jasper Snoke, Kevin Swersky, Richard S. Zemel, and Ryan P. Adams: Input warping forBayesian optimization of non-stationary functions, In International Conference on
Machine Learning (2014).
[50] Jasper Snoke, Oren Rippel, Kevin Swersky, Ryan Kiros, Nadathur Satish, Narayanan
Sundaram, Md. Mostofa Ali Patwary, and Ryan P. Adams: Scalable Bayesian
optimization using deep neural networks, ArXiv e-prints, February 2015.

50

謝辞
本研究の遂行ならびに本論文の作成にあたり,山本直嗣教授には学部時代を含め3 年間,研究や学生生活に関する多くの助言,助力を賜りました.ここに深く感謝の意を表します.また,研究生活やミーティングを通して活発な議論にお付き合い頂いた
森田太智助教授,中島秀紀教授に深く感謝いたします.また,研究に関する各種書類や手続きを行って頂いた馬渡隆子秘書,大内田秘書に深く感謝致します.
研究室では,毎日充実した日々を与えて下さった先進宇宙ロケット工学研究室の皆様にお礼を申し上げます.研究生活において様々な助言を頂いた斎藤直哉氏，牛尾康一氏，枝本雅史氏,江川雄亮氏,パルサアリユーセフィアン氏,黄燕氏,池田凌氏,
長野公勇氏,児島富彦氏,竹末一平氏,大坪正和氏,長島圭祐氏,黒江雄貴氏,高木真理子
氏,丸井一生氏に感謝致します.また,同じ修士 2 年として研究生活だけでなく就活や私生活まで,色々相談にのって助けてくれた板谷佑太朗氏,岩本政隆氏,川原友太郎
氏,小山智樹氏,福本湧氏に深く感謝致します.
最後に,私を見守り支えて下さった家族に深く感謝致します.

51