倉田奨励金研究報告書 第 51 集｜2019 年度（第 51 回）助成
自然科学・工学研究部門：1 年助成■受領№1389

機械学習を援用した摩擦抵抗低減デバイスの動的制御
代表研究者

岡林希依

大阪大学

助教

Dynamic control of friction drag reducing device aided bymachine learning
Principal Researcher

Kie Okabayashi,
Osaka University, Assistant Professor

深層強化学習と数値流体力学（Computational Fluid Dynamics; CFD）を融合した最適化手法を確立する．最適化問題として，トンボの翅に見られるような折れ曲がり翼の形状最適化問題と，乱流渦の破壊により摩擦抵抗低減を行う制御の最適化問題を設定した．深層強化学習の「環境」部分に実装した CFDから得た何らかの量を変数とした報酬関数を設定し，試行錯誤的にその報酬和を最大化するような方策を学習した結果，形状や流体制御則を最適化する手法を獲得した．
An optimization method that combines deep reinforcement learning and computational fluid dynamics(CFD) is developed. The problems settings are the shape optimization of the corrugated airfoil asobserved in the wings of dragonflies, and the optimization of control law to reduce friction drag by
breaking turbulence vortices. Reward function with some variables obtained from CFD implemented inthe "environment" part of deep reinforcement learning is set, and a strategy that maximize the sum of therewards is learned through trial and error. As a result, methods for optimizing the shape and fluid control
law were obtained.

1．研究内容果的である．本研究では，1.1 はじめに

図１のような「ミウラ折り」

航空機やパイプラインなどの流体摩擦抵抗低減

をジグザグリブレットとデバイスとして，リブレットが知られている．リして利用し，周囲の流れにブレットは流れ方向に伸びるミクロン〜ミリメー

合わせて間隔を動的に変トルオーダーの溝の列であり，鮫肌の抵抗低減効化させる制御を検討した．

果に着想を得て開発された．最も高い抵抗低減効

しかしながら，そのような果が得られる溝の最適間隔は，周囲の乱れを表す制御則の構築は，「溝間隔渦のスケールとの兼ね合いで決まり，それは周囲変化率」「エネルギー投入流体の速度と粘度による．現状では平均的な流れ量」「発生する乱れによる摩擦抵抗の増大」の 3 条の状態に合わせて間隔を設定するが，できれば瞬件がトレードオフする複雑な多変数最適化問題と時の流れの状態に応じて間隔を合わせられれば効なる．

倉田奨励金研究報告書 第 51 集｜2019 年度（第 51 回）助成
自然科学・工学研究部門：1 年助成

本研究では，周囲の流れの状態が変化した際に，ミウラ折り型ジグザグリブレットの正味の抵抗低減効果を最大にするための制御手法を求めるための基盤技術として，深層強化学習と数値流体力学（Computational Fluid Dynamics; CFD）を融合した最適化手法を確立する．
1.2 最適化問題の設定
リブレット上の流れは壁乱流であり，またリブレッ

図３．CFD を環境に用いた深層強化学習の枠組み

トの細かい溝を解像するために計算負荷が大きくなる．手法の確立を優先するため，導入的な問題設定と1.3.2 CFD を環境に用いた深層強化学習の枠組み

して，トンボの翅などに見られる折れ曲がり翼につい図３に本研究で用いる深層強化学習と環境となるて，揚抗比最大を目的とした形状最適化問題を考える．

CFD の構成を示す．強化学習では，エージェントが𝑧 , 𝑧 , 𝑧 を観測し，方策πに従って形状パラメータの変化𝑎∆𝑧 , ∆𝑧 , ∆𝑧 を行動として出最適解の候補も得られているため，手法について試行力する．それを現在の状態 𝑠 に加えることで次の状態錯誤するのに適している．第二の問題設定として，リ𝑠𝑧∆𝑧 , 𝑧∆𝑧 , 𝑧∆𝑧 とする．こブレット面上の乱流への展開を見据え，比較的計算の形状パラメータを用いて環境の CFD から揚抗比𝐶負荷の軽い低レイノルズ数の壁乱流において，流体を得る．エージェントは揚抗比の関数報酬 𝑟
抵抗を効果的に低減する制御則の最適化問題を扱う． 𝑓 𝐶 （揚抗比が高いほど正の大きな値を出力する）
この問題は CFD のコストが軽く，また勾配法により𝑠を受け取る．この一連の流れを１ケースとする．エージ
1.3 折れ曲がり翼の形状最適化問題

ェントにはランダムに決定した初期形状が与えられ，1.3.1 波状翼モデル

20 ケースの学習を行い，これを１エポックと定義する．

形状最適化の設計変数を少なくするため，折れ曲がり翼における翼弦方向（x 方向）の尾根や谷の幅を正弦波の波数𝑛 𝑥𝑧2𝑧2𝑥1エポックを定め，エポックの最初に初期形状をリセットすることには，局所最適解に陥ることを防ぐ意味がある．
これを繰り返しながら，将来にわたって得られる報酬和を最大化する行動を学習する．本研究では，深層強化学

𝑧𝑧𝑧 𝑧2𝑧𝑧
1

習のアルゴリズムとして，代表的手法である Deep Q
network を拡張した Twin Delayed Deep Deterministic
1Policy Gradient（TD3）を用いる．環境の CFD としては，一般的な非圧縮流体の数値計算法を用いる．

によって表現する，波状翼モデルを定義する．𝑧 は前縁における波数，𝑧 は後縁における波数，𝑧 は二次関数の軸の位置を表し，問題はこれらの値の組み合わせ最適化に縮約される．波状翼の例を図２に示す．

1.3.3 学習結果
図４にエポックに対するエポック内平均揚抗比の変化を示す．図より 200 エポックの学習で十分に収束していることが確認された．200 エポック目の初期形状と最終形状の比較を図５に示す．収束した形状は曲板翼であることがわかる．また，揚抗比の収束値は 2.3 程度であった．これは勾配法とほぼ同様の結果であり，本手法の有効性が示

図２．波状翼の例（𝒛𝟏𝟓. 𝟎, 𝒛𝟐𝟐. 𝟓, 𝒛𝟑𝟎. 𝟕𝟓）された．本報告では省略するが，学習したニュー倉田奨励金研究報告書 第 51 集｜2019 年度（第 51 回）助成
自然科学・工学研究部門：1 年助成

ラルネットワークを別の迎角にも汎用する，いわ図７．チャネル乱流（緑は渦芯を表す）ゆる転移学習も行い，ニューラルネットワークの汎化性能を確認している．

1.4.2 CFDを環境に用いた深層強化学習の枠組み
環境としての CFD の解析対象は，図７に示す V制御をかけたチャネル乱流である．CFD にはここ
図４．エポックに対する平均揚抗比の変化でも一般的な非圧縮流れの数値計算法を用いる．
エージェントは各ケースでのセンサ位置𝑦 での乱れを表す速度成分 𝑤 を環境から状態 𝑠 として観測する．簡単のため，これ以降センサ位置𝑦 ではなく，格子番号1

図５．200 エポック目の初期形状と最終形状
1.4 乱流の抵抗低減手法の最適化
1.4.1 V 制御による乱流摩擦抵抗低減

𝑗30を扱うことでセンサ位置を表すことに替える．エージェントはその時点での方策に従ってセンサ位置番号の変化量Δ𝑗を行動として出力し，環境である CFD に受け渡す．
格子番号𝑗Δ𝑗 をセンサ位置とした時間発展を100 タイムステップ分行い，𝑗Δ𝑗 における乱れの速度成分𝑤を次の状態𝑠とする．エージ
ェントは最後の 10 タイムステップにおける抵抗低減量が多いほど大きな値をとる報酬関数𝑟 として受け取り，方策を更新する．この一連の流れを１ケースとする．翼形状最適化問題と同様に，局所最適解に陥ることを防ぐため，エージェントに

図６．V 制御の模式図はランダムに初期格子番号 1

𝑗 ,30 が与えられ，50 ケースの試行を行い，これを１エポックと定義する．強化学習アルゴリズムに TD3 を用先行研究において，壁面上で吹き出し・吸い込いる．

みを与えて抵抗低減の原因となる縦渦を破壊する「V 制御」が提案されている．図６に示すように，壁から少し離れた位置𝑦 を仮想的なセンサ位置とし，その位置での壁垂直方向の速度𝑣 と逆符号の速度 𝑣 をを壁面上で与える．先行研究では，センサ位置𝑦 の選択によって抵抗低減率が変わり，壁面摩擦速度と動粘度で無次元化した座標にして𝑦10とした時が最も効果的である報告されている．本研究では最も抵抗が低減するようなセンサ位置を学習する問題を設定し，深層強化学習とCFD を組み合わせた最適化手法を用いて，最適なセンサ位置として𝑦10に近い値が得られるかどうかを調査することによって手法を検証する．

1.4.3 学習結果
図８はケースに対するセンサ位置の遷移を表す．
学習の最初はセンサ位置の変動の振幅が大きいが，最終的には先行研究において効果的なセンサ位置であることが報告されている𝑦10付近に収束しており，学習は成功したといえる．図９に学習の終盤におけるセンサ位置の選択回数の分布を示す．やはり 𝑦10に分布のピークがあり，うまく学習できていることが検証できた．

倉田奨励金研究報告書 第 51 集｜2019 年度（第 51 回）助成
自然科学・工学研究部門：1 年助成

2．発表（研究成果の発表）
野田隼司・岡林希依・竹内伸太郎・梶島岳夫，深層強化学習による揚抗比向上を目的とした翼形状パラメータの最適化，第34回数値流体力学シンポジウム
講演論文集（オンライン，2020），No. F11-3，pp. 1-5.
野田隼司・岡林希依・竹内伸太郎・梶島 岳夫，深層強化学習を用いた折れ曲がり翼の形状パラメータ最適化の試み，第53回流体力学講演会／第39回航空宇宙数値シミュレーション技術シンポジウム（オンライン，2021），No. 1B05，pp. 1-4.
図８．センサ位置の推移
岡林希依，ミウラ折り型ジグザグリブレットによる摩擦抵抗低減の試み，ながれ，Vol. 40，No. 4 (2021)
pp. 264-270.
岡林希依・野田隼司・大淵鷹之介，深層強化学習とCFDの融合による翼形状および乱流制御手法の最適化の試み，第86回ターボ機械協会総会講演会講演
論文集（東京，2022），pp. 199-204.
Noda, T., Okabayashi, K., Takeuchi, S. and Kajishima,T., Application of Deep Reinforcement Learning andTransfer Learning for Optimization of Geometry
図９．学習終盤におけるセンサ位置の選択回数の分布

Parameters of Corrugated Wing, Proc. of AIAA
SciTech Forum 2022（オンライン，2022）, No.

1.5 終わりに深層強化学習と数値流体力学（CFD）を組み合わせた手法を，翼形状の最適化問題と乱流制御の最適化問題に適用した．今後の展開として，従来の最適化手法にはない機械学習の特徴である汎化性能の活用，転移学習の可能性を調査していく．
また，乱流は計算規模が比較的小さいものを今回の学習対象として採用したが，近年工学的に扱われる系は航空機などにマウントされた場合のリブ
レット流れを始めとして，高レイノルズ数かつ計算は大規模となることが多い．ビッグデータとしての CFD および流れ場データを，試行錯誤を要する深層強化学習とどのように効率的に融合するかが課題であると考えている．最後になりましたが，研究助成に採択いただき，研究を推進することができました．感謝申し上げます．

AIAA-2022-0458，pp. 1-11.