機械学習とシステム同定の橋渡しによる繰り返し学習制御の新展開
代表研究者

大西亘

東京大学大学院工学系研究科電気系工学専攻講師

1 概要
タスクを繰り返す間に学習を行う反復学習制御(ILC)は，半導体露光装置，プリンタ，産業用ロボットといった，精密制御が必要な応用先において幅広く用いられている。この制御法は，過去の位置決め誤差の情報を用いて繰り返し試行を行うことで，センサの分解能レベルの位置決め精度を達成することができる。そのため，特にムーアの法則による指数関数的な性能向上が求められる半導体露光装置においては欠かせないものとなっている。
ILC は通常，既存の閉ループ系に対するアドオンとして設計される。まず，この閉ループ系のフィードバック制御器のパラメタチューニングに対し，データ駆動とシステム同定を橋渡す手法を提案した。本成果は国際英文論文誌２報，国際会議 1 報の成果を得た。本成果について，第２章で報告する。
出力追従を目指す従来の ILC と，状態追従を目指す ILC を比較すると，出力追従を目指す従来の ILC は，サンプル点間で振動することが報告されている。そこで申請者らにより提案された，状態追従型 ILC は，サンプル点間応答が改善されることが示されている。ところが，この最終的な位置決め性能は，状態変数の推定精度に依存している。ここで，Batch-to-Batch で駆動される反復学習制御においては，前タスクの時系列データをオフライン処理するため，非因果的なフィルタリングが可能である。そこで，非因果的状態推定法を提案した。これにより，ノイズの条件が一定であっても，推定精度の高い状態変数推定が可能になる。これをモータ位置決め装置に対して適用し，追従性能が向上したことが示され，国際会議において口頭発表に至った。本成果は第３章で報告する。
さらに，ILC の性能とタスク柔軟性を両立するため，ニューラルネットワークを用いた ILC を提案した。
ある指令値に対して高精度に追従できる Frequency domain ILC の収束後の制御入力を，教師データとして用いることで，学習効率を高めるという考えに基づいている。様々な構成のニューラルネットワークにおいて，位置決め制御に適用した際の汎化性能と位置決め性能について実験的比較を行った。本手法は現在国際論文誌において査読中である。本成果は第４章で報告する。

2 システム同定直接駆動のフィードバック制御器（外乱オブザーバ）自動設計
2-1 背景産業界における熟練技術者の不足により，サーボシステムにおけるフィードバック制御器のゲイン調整の自動化が望まれている。ノンパラメトリックモデルである，周波数応答データを用いた制御器最適設計法としては，遺伝的アルゴリズム[1-1]，Nelder-Mead 法[1-2]，粒子群最適化[1-3]などが提案されている。凸最適化に基づく手法は，望みの開ループ特性との差を最小化する手法[1-4]や，Concave-Convex Procedure による逐次線形化(Sequential Convex Programming: SCP)による手法[1-5]が提案されている。一般に，制御器パラメタの最適化問題は，非凸問題である。一方で，それを凸近似すると，その近似問題においては局所最適解が大域最適解であるという特性や，商用・非商用のソルバが充実しているため，凸化する研究が多くなされている。
2-2 成果申請者は，まず文献[1-6]において，２次 Q フィルタを持つ外乱オブザーバの凸最適化に基づく，システム同定直接駆動の自動設計法を提案した。外乱オブザーバは，図 1-1 のような構成をしており，外乱を推定・補償することで，プラントのノミナル化と高い外乱抑圧特性をもたせるものであり，市販のサーボドライバにも導入されている。
本手法は，図 1-3 に示す非凸な制約条件で定式化される外乱オブザーバの設計問題について，図 1-4 の凸近似を行うことで，線形行列不等式（Linear Matrix Inequality）として定式化するものであり，一般的なソルバを用いて最適化することができる。さらに本手法は，任意次数 Q フィルタ[1-7]や，ノミナルプラントと Q フィルタの同時最適化[1-8]へと発展した。図 1-2 に示した精密位置決めステージを用いた実験により，1
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 1-5 に示すように高い外乱抑圧性能を示すことが実証された。担当した博士学生は優秀博士論文賞を受賞した。

図 1-1：外乱オブザーバのブロック図図 1-2：精密位置決め実験ステージ

図 1-3：非線形な原問題

図 1-4: 凸化した問題

図 1-5: 実験結果
2
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

[1-1] K. S. Tang, K. F. Man, G. Chen, and S. Kwong, “An optimal fuzzy PID controller,” IEEETransactions on Industrial Electronics, vol. 48, no. 4, pp. 757–765, 2001
[1-2] S. Lee, N. Marsolan, T. Sun, S. Lee, and B. Kilian,“Application of Self-Optimizing Controllers
to Variable Time-Delay Processes,” in American Control Conference, pp. 1275–1280, 1985.
[1-3] Z.-L. Gaing, “A Particle Swarm Optimization Approach for Optimum Design of PID Controller
in AVR System,” IEEE Transactions on Energy Conversion, vol. 19, no. 2, pp. 384–391, 2004.
[1-4] A. Karimi and G. Galdos, “Fixed-order H ∞ controller design for nonparametric models byconvex optimization,” Automatica, vol. 46, no. 8, pp. 1388– 1394, 2010.
[1-5] A. Yuille and A. Rangarajan, “The Concave-Convex Procedure,” Neural Computation, vol. 15,
no. 4, pp. 915–936, 2003.
[1-6] X. Wang, W. Ohnishi, and T. Koseki, “Bandwidth Maximization of Disturbance Observer Basedon Experimental Frequency Response Data,” SICE Journal of Control, Measurement, and System Integration,
vol. 13, no. 6, pp. 257–264, 2020.
[1-7] X. Wang, W. Ohnishi, and T. Koseki, “Frequency Response Data-based Disturbance Observer Design
via Convex Optimization,” in IFAC World Congress, 2020.
[1-8] X. Wang, W. Ohnishi, and T. Koseki, “Data-based simultaneous design of plant model and robust
filter in disturbance observer,” in American Control Conference, pp. 4089–4094, 2021.

3 状態追従型 ILC における，未来情報を活用したノイズ影響低減
3-1 背景出力追従を目指す従来の ILC と，状態追従を目指す ILC を比較すると，出力追従を目指す従来の ILC は，図[2-1]に示すようにサンプル点間で振動することが報告されている。そこで申請者らにより提案された，状態追従型 ILC は，制御対象の出力だけではなく，状態変数に追従することで，サンプル点間応答が改善されることが示されている[2-1]。ところが，この最終的な位置決め性能は，状態変数の推定精度に依存しているため，高帯域なオブザーバを備える必要があった。しかしながら，通常の因果的オブザーバの枠組みでは，一般に推定速度と測定ノイズに対する感度にトレードオフがある。
そこで本研究では，Batch-to-Batch で駆動される ILC においては，前タスクの時系列データをオフライン処理するため，非因果的なフィルタリングが可能であることに着目し，非因果的オブザーバをこの枠組に導入することを提案した。

図 2-1: 出力追従型 ILC と状態追従型 ILC の収束時の波形の比較（数値シミュレーション）
3-2 結果非因果的状態推定により，ノイズの条件が一定であっても，図 2-2 に示すように推定精度の高い状態変数

3公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

推定が可能になる。これを図 2-3 に示すモータ位置決め装置に対して適用し，図 2-4 に示すように追従性能が向上したことが実証され，国際会議において口頭発表に至った。

図 2-2: 提案する非因果的状態推定のコンセプト

図 2-3: モータ位置決め装置

4
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 2-4: 実験検証。状態推定誤差が減少したことが実験的に示された。

[2-1] W. Ohnishi, N. Strijbosch, and T. Oomen, “Multirate State Tracking for Improving Intersample
Behavior in Iterative Learning Control,” IEEE International Conference on Mechatronics, 2021.

4 状態追従型 ILC における，未来情報を活用したノイズ影響低減
ILC の性能とタスク柔軟性を両立するため，文献[4-1]においてニューラルネットワークを用いた ILC を提案した。Frequency domain ILC により特定のタスクに対してほぼ完全追従する「答え」を先に与えることで，リアルタイムでの実験が必要なメカトロニクス制御に対する学習制御に対し，「教師あり学習」をすることができることを示した。これは，タスク柔軟性と性能のトレードオフを逆手に取った手法といえる。複数の構造のニューラルネットワークの汎化性能と，実機を用いた位置決め性能を比較した論文へと発展させ，これは現在国際論文誌において査読中である。
[4-1] L. Aarnoudse, W. Ohnishi, M. Poot, P. Tacx, N. Strijbosch, and T. Oomen, “Control-Relevant
Neural Networks for Intelligent Motion Feedforward,” IEEE International Conference on Mechatronics ,2021.

5
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

〈発題名Frequency Response Data BasedDisturbance Observer Design: WithApplication to a Nonminimum Phase
Motion Stage
Linearmatrix
inequality
based
data-driven disturbance observer design:
With application to a non-minimum phasemotion stage
Data-based simultaneous design of plantmodelandrobustness
filterindisturbance observer
A Non-Causal Approach for Suppressing
the Estimation Delay of State Observer
Improved state estimation by non-causal
state observer

表資料〉

掲載誌・学会名等

発表年月

IEEE/ASME Transactions
Mechatronics

IEEJ
JournalApplications

ofonIndustry

American Control Conference

2022/62022/32021/7

American Control Conference(Poster)
8th IEEJ international workshop
on Sensing, Actuation, Motion
Control, and Optimization

2022/62022/3

6
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度