機械学習とシステム同定の橋渡しによる繰り返し学習制御の新展開（延長）
代表研究者

大西亘

東京大学大学院工学系研究科電気系工学専攻准教授

1. 序論
ムーアの法則に牽引される形で近年の精密位置決め装置の位置決め精度と位置決め速度は目覚ましい発展を遂げている[1]。半導体露光装置は 2022 年時点で 3nm プロセスのチップが大量生産体制に入っているという報道 [2] があり，これからの制御にはより一層の精度と速度が求められる。また，半導体露光装置に限らず，より正確に・より速く・より安いコストで制御を行うことは次世代のモーションシステムに期待されている [3]。
制御を行う上で欠かせないこととして，フィードバック（FB）とフィードフォワード（FF）制御が存在する。安定性と外乱抑圧を実現する上で FB 制御が重要な役割を果たす一方で，高速・高追従性を実現する上で大切になるものが FF 制御である。より高速で高精度な制御を実現するためには制御対象のより詳細なモデル化に基づく FF 制御が重要となる [4]。 次世代のモーションシステムを扱うにあたり，剛体モードのみの考慮でも良い制御が実現できていた従来のモーションシステムよりも，変形モードを考慮した複雑なモデル化が必要である [3]。複雑なモデル化に伴いコントローラのハンドチューニングの難易度は飛躍的に上昇し，調整に多くの時間がかかる上最適な制御性能を実現することは難しい。そこでデータ駆動でコントローラのパラメータを自動調整する，「学習」と呼ばれる手法が近年注目を浴びている[5]。機械学習といったコンピュータサイエンスなどの分野で有名な手法を用いた例 [6–9] がある一方で，制御という分野の動的なダイナミクスを扱うことによるデータの少なさやロバスト性への厳しい要求水準により実際の適用事例は限定されている。 そうした中，制御における活用事例の多いデータ駆動の学習手法は反復学習制御（ILC）[10] と呼ばれる手法である。反復して同じ動作をする系に対象を限定することにより，極めて高速で高精度な制御を実現する。しかし，同じ動作が繰り返すという前提が崩れた際には性能が大幅に下落してしまう難点がある [11]。
ILC の研究が進み，弱点であったタスク柔軟性をする解消する基底関数ベースのアプローチ（B-ILC）[11-13] も盛んに研究されている。しかし，同じ動作を反復する系に特化させた周波数領域ベースのアプローチ（F-ILC）と比較して追従性能が劣化してしまい，図 1 と図 2 に示されるタスク柔軟性と追従精度のトレードオフ関係が存在するのが現状であった[11]。 本稿では基底関数ベースのアプローチと周波数領域ベースのアプローチを組み合わせた Combined ILC（C-ILC）を提案する。基底関数を用いることによりタスク柔軟性を確保した上で，基底関数によりモデリングしきれない部分を周波数領域ベースの ILC で補償することにより同じ動作の反復に対する高追従性を実現する。二次系のシステムのシミュレーションにおける既存の B-ILC と F-ILC との比較を通して提案手法のタスク柔軟性と高追従性の検討を行う。また，本報告書
は文献[14]から主に構成されていることを付記する。

ILC

B-ILC

5

Fig.1: Comparison of F-ILC, B-ILC, model-based
FF [11]10152025303540

Fig.2: B-ILC performance robust to task change
1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

2. 問題設定
問題設定のブロック線図を図 3 に示す。試行𝑗回目における指令値𝑟𝑗 ，制御入力（FB 制御器）𝑢𝑓𝑏 ，制御入力（FF 制御器）𝑓𝑗 ，離散時間線形時不変システム𝐺，離散時間 FB 制御器𝐾とする。𝐺と𝐾は試行間で不変であることを仮定し，事前に𝑟𝑗 を与えられているとした際の離散時間追従誤差𝑒𝑗 を最小にすることを目的とする。

3. 従来の反復学習制御（ILC）
3-1. 周波数領域型反復学習制御（F-ILC）ILC の目的は，繰り返し行われる同じタスクに対し，サンプル点において出力を指令値に完全追従させることである。これは，タスクが行われるたびにそのタスクの出力誤差の情報から学習をし，FF 入力を調整することにより行われる。この学習行程が 3 試行目まで表したのが図 4 である。タスクの試行回数を𝑗で表し一般化すると，FF 入力𝑓𝑗 は𝑒𝑗 = 𝑆𝑟 − 𝐺𝑆𝑓𝑗
𝑓𝑗+1 = 𝑄(𝑓𝑗 + 𝐿𝑒𝑗 )の式に従い逐次調整を行う。ここで，𝑆は感度関数（𝑆 = (1 + 𝐺𝐾)−1 ）を表しており，𝐿は ILC の性能を決める学習フィルタと呼ばれる。
上式より，下記漸化式が得られるので，
𝑒𝑗+1 = 𝑄(1 − 𝐺𝑆𝐿)𝑒𝑗 + (1 − 𝑄)𝑆𝑟
𝑓𝑗+1 = 𝑄(1 − 𝐺𝑆𝐿)𝑓𝑗 + 𝑄𝐿𝑆𝑟
全周波数領域内で|𝑄||1 − 𝐺𝑆𝐿| < 1を満たしていれば，(1 − 𝑄)𝑆𝑒∞ =𝑟
1 − 𝑄(1 − 𝑆𝐺𝐿)
𝑄𝐿𝑆
𝑓∞ =𝑟
1 − 𝑄(1 − 𝑆𝐺𝐿)が成り立つ。ここで注目すべきことは𝑄 = 1とすることで最終的な追従誤差が0となり，なるべく𝐿 = (𝐺𝑆)−1となる様に設計することで学習の収束を早くすることができる点である。
ここで紹介した ILC は周波数領域ベースの Frequency domain ILC（F-ILC）と呼ばれる手法である。F-ILC
は取得の容易な周波数応答データで試行領域の安定性を判別し，𝐿と𝑄を設計できることから，設計者の負担が軽く，学習のロバスト性を扱うことができる利点がある。一方で，タスクが試行毎に頻繁に変わってしまう対象とは相性が悪く，場合によっては FB 制御器𝐾のみを用いる場合よりも性能が落ちてしまう可能性がある。
3-2. 基底関数型反復学習制御(B-ILC)
B-ILC の背景
モデルベース FF 制御器は，高いプラントのモデル化が必要であるものの，高い追従特性を実現した上でタスクの変更に対し柔軟な応答を示すことが可能である[4]。そこで，この特徴に注目し，繰り返しのタスク毎

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

に FF 入力そのものではなく FF 制御器のパラメータをチューニングする基底関数ベースの Basis functionILC（B-ILC）が研究されている[11-13]。B-ILC の学習行程が 3 試行目まで表されているのが図 5 である。
実機に適用する際は，高次であるプラントを比較的低次にモデル化してしまうことから図 1 に図示するように最大のパフォーマンスは F-ILC に劣ってしまう。しかし，モデルベースの変化への柔軟性とデータ駆動の高性能・自動調整の両方の恩恵を受ける手法であり，図 2 の様にタスクの変化に影響されにくい結果を示す[11]。
B-ILC のアルゴリズム
B-ILC は試行𝑗 + 1における予測誤差の 2 ノルム∥ 𝑒̂𝑗+1 ∥2 等で表される下式の評価関数𝑉(𝜃𝑗+1 )を最小化することを目的として FF 制御器𝐹(𝜃𝑗+1 )（𝑓𝑗+1 = 𝐹(𝜃𝑗+1 )𝑟𝑗+1 ）のパラメータ𝜃𝑗+1 をチューニングする。

上式より，評価関数を最小とする様な𝜃𝑗+1 は𝐹(𝜃𝑗+1 )がプラントの逆𝐺 −1 に最も近づく時である。この際のFF 制御器の𝐹の分子と分母の次元を決定するのが下式における基底関数𝛹 𝐴 ，𝛹 𝐵 である。
𝐹(𝜃𝑗 )= 𝐵 −1 (𝜃𝑗 )𝐴(𝜃𝑗 ),𝐴(𝜃𝑗 )= 𝛹 𝐴 𝜃𝑗𝐴 ,𝜃𝑗⊤= [𝜃𝑗𝐴 , 𝜃𝑗𝐵 ] ,𝐵(𝜃𝑗 ) = 𝐼 + 𝛹 𝐵 𝜃𝑗𝐵

𝐴(𝜃𝑗 )，𝐵(𝜃𝑗 )はそれぞれプラント𝐺の予測モデル𝐺̂ の分母と分子と捉えることもできる。
なお，本論文では基礎検討のため𝛹 𝐵 = 0，𝑟𝑗+1 = 𝑟𝑗 = 𝑟として議論する。𝛹 𝐵 ≠ 0の場合には解析解を用いた議論を行うことができず，数値解を用いた議論を行う必要があるため詳細は[11]を参照されたい。
̂ は𝑆𝐺の予測値とする。
下式を定義すると， 𝑒̂𝑗+1 を得られる。 なお，ここにおける𝑆𝐺

従って，最小値を満たすのは∂𝑉(𝜃𝑗+1 )∂𝜃𝑗+1= 0の時であることから，∂𝑒̂𝑗+1= −𝛷∂𝜃𝑗+1より，であることから，以上より，
𝑒̃𝑗 = 𝑒𝑗 + 𝛷𝜃𝑗と表すことで B-ILC のパラメータ更新式を導くことができる。
𝜃𝑗+1 = 𝑄(𝜃𝑗 )𝜃𝑗 + 𝐿(𝜃𝑗 )𝑒𝑗

3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

4. 基底関数と周波数領域型を組み合わせた反復学習制御(C-ILC)の提案
図 6 に示す基底関数と周波数領域型を組み合わせた反復学習制御(C-ILC)を提案する。以下，周波数領域分と基底関数分の設計を説明する。
4.1 周波数領域 ILC 成分(𝑓 𝐼𝐿𝐶 )の設計
通常の周波数領域 ILC と異なり，基底関数 ILC 成分𝑓 𝜃 の更新分も加味した周波数領域 ILC 成分の FF 入力
𝐼𝐿𝐶𝑓 の更新を行う。
= 𝑆𝑟 − 𝐺𝑆(𝑓𝑗𝐼𝐿𝐶 + 𝑄𝜃 𝑓𝑗𝜃 )

𝑒𝑗
𝐼𝐿𝐶
𝑓𝑗+1𝜃
= 𝑄(𝑓𝑗𝐼𝐿𝐶 + 𝐿𝑒𝑗 ) + 𝑄𝜃 (𝑓𝑗𝜃 − 𝑓𝑗+1)

𝜃
更新式において第2項の𝑄𝜃 (𝑓𝑗𝜃 − 𝑓𝑗+1)が追加されているのは，基底関数 ILC 成分𝑓 𝜃 の学習した分の FF 入力を含むためである。そのため，実際に FF 入力を更新する際には𝑓 𝜃 → 𝑓 ILC の順で更新を行う。
上式を用いることにより誤差と FF 入力の漸化式を得る。

従って，全周波数領域内で|𝑄||1 − 𝐺𝑆𝐿| < 1とlim𝑗→∞ (𝐹(𝜃𝑗 ) − 𝐹(𝜃𝑗+1 )) = 0を満たすことで，
𝑒∞𝑓∞(1 − 𝑄)𝑆(1 − 𝑄𝜃 𝐺𝐹(𝜃∞ ))𝑟
1 − 𝑄(1 − 𝑆𝐺𝐿)
𝑄𝐿𝑆=
(1 − 𝑄𝜃 𝐺𝐹(𝜃∞ ))𝑟
1 − 𝑄(1 − 𝑆𝐺𝐿)=が成り立つ。
この設計を用いることで C-ILC は F-ILC と比較して学習後の誤差が|1 − 𝑄𝜃 𝐺𝐹(𝜃∞ )|倍になり，𝑄𝜃 ≈ 1と𝐹(𝜃∞ ) ≈ 𝐺 −1 を仮定することで𝑒∞ ≈ 0となることが分かる。
4.2 基底関数 ILC 成分(𝑓 𝜃 )の設計周波数領域 ILC 成分𝑓 𝐼𝐿𝐶 の存在下では，誤差𝑒𝑗 を最小化することは𝑓𝑗𝜃 = 𝐺 −1 𝑟に繋がらない。つまり，FF 制御器𝐹はプラント𝐺のパラメータを正しく学習することができない。そのため，分かりやすさのため𝑄𝜃 = 1とし，下式で表される𝑒𝑗𝜃 を定義する。

これに伴い，下式で表される新たな評価関数を最小化することを目的とすることで FF 制御器𝐹𝑗+1 のパラメータ𝜃𝑗+1 をチューニングし，𝑓𝑗𝜃 = 𝐺 −1 𝑟の学習を実現する。

以上の評価関数を最小にするのは∂𝑉(𝜃𝑗+1 )∂𝜃𝑗+1= 0の時であることから，

4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

5
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

𝜃∂𝑒̂𝑗+1̂𝑟= −𝛹 𝐴 𝑆𝐺∂𝜃𝑗+1を得る。導出の詳細は[14]を参照されたい。以上より，
̂ 𝑓𝑗𝐼𝐿𝐶𝑒̃𝑗 = 𝑒𝑗 + 𝛷𝜃𝑗 + 𝑆𝐺と表すこと C-ILC のパラメータ更新式を得る。
̂ 𝑓𝑗𝐼𝐿𝐶 )𝜃𝑗+1 = 𝑄(𝜃𝑗 )𝜃𝑗 + 𝐿(𝜃𝑗 )(𝑒𝑗 + 𝑆𝐺

5. 2 次系の数値実験による C-ILC のタスク柔軟性・高追従性の検証
5.1 制御対象とシミュレーション条件
連続系で𝐺𝑐 =1𝐽𝑠 2 +𝐷𝑠と表されるプラントを仮定し，制御周期𝑇𝑠 = 1 𝑚𝑠で零次ホールドされる 2 次系のプラ

ント𝐺を制御対象とする数値実験を通し F-ILC，B-ILC，C-ILC の性能比較を行う。𝐽 = 3 × 10−5 ，𝐷 = 32233× 10−4 とし，ノミナル値は𝐽𝑛 = 𝐽，𝐷𝑛 = 𝐷とする。つまり，離散時間プラント𝐺とそのノミナルプラント
𝐺𝑛 を下式として各種制御器を構成する。
0.016611(𝑧 + 0.9967)
𝐺=,(𝑧 − 1)(𝑧 − 0.99)
FB 制御器は𝐾 =𝐺𝑛 =3𝐺
20.4821(𝑧−0.9638)
𝑧−0.7467で統一し，最大の追従精度とタスク柔軟性を検証するため図 7 に示される 2つの軌道のうち，試行回数𝑗 = 1 ∼ 20の間は軌道 1 を，試行回数𝑗 = 21 ∼ 40の間は軌道 2 を用いる。
5.2 制御器の学習条件
3 章と 4 章より，学習を始めるにあたり，F-ILC ではロバストフィルタ𝑄と学習フィルタ𝐿，B-ILC では基底関数𝛹 𝐴 と FF 制御器初期パラメータ𝜃1 ，C-ILC では上記全てに加え性能保証フィルタ𝑄𝜃 が必要である。
̂ = (1 + 𝐾𝐺𝑛 )−1 から𝐿 = 𝑆𝐺̂ −1 を用いる。図 8 から全周波数領域
本数値例では，図 8 に示される𝑄を用い，𝑆𝐺内で|1 − 𝐺𝑆𝐿| < 1を満たしているため本来は𝑄 = 1とすることで完全追従を実現できるが，F-ILC と C-ILC の性能差を比較するためにあえて𝑄 ≠ 1とおく。残りの変数は下式の通り設定しシミュレーションを行う。
2

𝛹 𝐴 = [(1 − 𝑧 −1
1 − 𝑧 −1),() ],𝑇𝑠𝑇𝑠

𝜃1 = [𝐽𝑛 , 𝐷𝑛 ]⊤ ,𝑄𝜃 = 1

なお，本シミュレーションでは C-ILC に確実にタスク柔軟性を持たせるため，タスク変更時には周波数領域 ILC 成分の信号を0にリセットした。
5.3 シミュレーション結果
以上の条件で数値実験を行った結果が図 10 であり，各試行𝑗における追従誤差𝑒𝑗 の 2 ノルムの値がプロットされている。結果より，繰り返し同じ指令値が与えられている間は C-ILC，F-ILC，B-ILC の順に高い追従性能を示しており，指令値の変更があった際には C-ILC と B-ILC はタスク変更に対する同様の耐性を示したのに対し F-ILC では大きな誤差が生じてしまっている。
各手法の最後の試行における誤差と FF 制御入力の基底関数 ILC 成分と周波数領域 ILC 成分をプロットしたものが図 9 である。図より，C-ILC では B-ILC の基底関数 ILC 成分のみでは補いきれなかった部分を周波数領域 ILC 成分で補うことにより高い追従性能を実現していることが分かる。
また，B-ILC と C-ILC の基底関数 ILC 成分の学習状況を示したものが図 11 である。シミュレーション上での FF パラメータ𝜃の学習が一致することにより図 14 において B-ILC と C-ILC が同等のタスク柔軟性を得ていると考えられる。

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

最後に，図 10 における F-ILC と C-ILC の追従性能の違いについて，C-ILC の追従誤差は F-ILC の追従誤差の|1 − 𝐺𝐹(𝜃∞ )|倍になる。図 12 から，概ね20 𝑑𝐵の差があることが分かり，これが図 10 における F-ILC と C-ILC の誤差 2 ノルムの10倍ほどの性能差に繋がっていると考えられる。

6. 結論
本稿では，タスク柔軟で高精度な C-ILC の検討として基底関数と周波数領域設計を組み合わせ，従来の基底関数ベースのみの B-ILC，周波数領域ベースのみの F-ILC との比較検討を行った。C-ILC の基底関数 ILC 成
分では周波数領域 ILC 成分の影響を除外する形で評価関数を組むことでタスク柔軟性を，周波数領域 ILC 成
分では基底関数のみでは捉えきれないダイナミクスを補償することにより高追従性を確保した。また，二次系のシステムのシミュレーションにより C-ILC は B-ILC と同等のタスク柔軟性を持ち高精度であることに加え，F-ILC よりも高い追従性能を実現することが確認された。

[1] M. Steinbuch, T. Oomen, H. Vermeulen, “Motion Control, Mechatronics Design, and Moore’s Law,”

IEEJ Journal of Industry Applications, vol. 11, no. 2, pp. 245–255, 2022.
[2] “TSMC on track to move 3nm process to volume production in 2H22.”
https://www.digitimes.com/news/a20220415PD212.html (2022 年 9 月 1 日閲覧)
[3] T. Oomen, “Advanced Motion Control for Precision Mechatronics: Control, Identification, andLearning of Complex Systems,” IEEJ Journal of Industry Applications , vol. 7, no. 2, pp. 127–140,
2018.
[4] W. Ohnishi, H. Fujimoto, and K. Sakata, “Model-based Control Techniques for Large-Scale HighPrecision Stage,” IEEJ Transactions on Electronics, Information and Systems , vol. 140, no. 4, pp.
272–280, 2020.
[5] T. Oomen, “Learning in machines,” Mikroniek, vol. 6, pp. 5–11, 2018.
[6] K. J. Hunt, D. Sbarbaro, R. Zbikowski, and P. J. Gawthrop, “Neural networks for controlsystems—A survey,” Automatica, vol. 28, no. 6, pp. 1083–1112, 1992.

7
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

[7] O. Sørensen, “Additive feedforward control with neural networks,” IFAC Proceedings Volumes,
vol. 32, no. 2, pp. 1378–1383, 1999.
[8] L. Ljung, C. Andersson, K. Tiels, and T. B. Schön, “Deep Learning and System Identification,”
IFAC-PapersOnLine, vol. 53, no. 2, pp. 1175–1181, 2020.
[9] J. Kon, D. Bruijnen, J. van de Wijdeven, M. Heertjes, and T. Oomen, “Physics-Guided Neural
Networks for Feedforward Control: An Orthogonal Projection-Based Approach,” 2022 IEEE American
Control Conference, 2022, pp. 4377–4382.
[10] A. Bristow, Douglas, M. Tharayil, and A. G. Andrew, “A survey of iterative learning control,”IEEE Control Systems Magazine, vol. 26, no. 3, pp. 96–114, 2006.
[11] L. Blanken, F. Boeren, D. Bruijnen, and T. Oomen, “Batch-To-Batch Rational Feedforward
Control: From Iterative Learning to Identification Approaches, with Application to a Wafer Stage,”
IEEE/ASME Transactions on Mechatronics , vol. 22, no. 2, pp. 826–837, 2017.
[12] J. Van Zundert, J. Bolder, and T. Oomen, “Optimality and flexibility in Iterative Learning
Control for varying tasks,” Automatica, vol. 67, pp. 295–302, 2016.
[13] F. Boeren, L. Blanken, D. Bruijnen, and T. Oomen, “Optimal Estimation of Rational Feedforward
Control via Instrumental Variables: With Application to a Wafer Stage,” Asian Journal of Control,
vol. 20, no. 3, pp. 975–992, 2018.
[14] 弦本健太郎, 大西亘, 古関隆章: 基底関数と周波数領域設計を組み合わせたタスク柔軟で高精度なILC の基礎検討, 電気学会メカトロニクス制御研究会資料（電気学会研究会資料）, pp. 31-36, 2022.

〈発題

名Non-causal
state
estimation
forimproved state tracking in iterative
learning control
基底関数と周波数領域設計を組み合わせた
タスク柔軟で高精度な ILC の基礎検討
Task flexible and high performance ILC:
Preliminary analysis of combining abasis function and frequency-domain
approach

表資料〉

掲載誌・学会名等
Modeling,
Estimation,
Control Conference

発表年月
and

2022/10

電気学会メカトロニクス制御研究会

2022/9IFAC World Congress

2023/78
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度