安定性の評価とグラフ埋め込みによるトラスの施工経路の強化学習
Reinforcement Learning for Construction Process of Truss
by Stability Assessment and Graph Embedding○小寺 正也*1，林 和希*2，大崎 純*3
Masaya KOTERA＊1, Kazuki HAYASHI＊2 and Makoto OHSAKI＊3*1 京都大学工学研究科建築学専攻

修士課程

Graduated Student, Department of Architecture and Architectural Engineering, University of Kyoto.
*2 京都大学工学研究科建築学専攻

助教

博士(工学)

Assistant Professor, Department of Architecture and Architectural Engineering, Kyoto University, Ph.D.
*3 京都大学工学研究科建築学専攻教授

博士(工学)

Professor, Department of Architecture and Architectural Engineering, Kyoto University, Ph.D.
キーワード：施工経路最適化; トラス; 強化学習; グラフ埋め込み
Keywords: Construction sequence optimization; truss; reinforcement learning; graph embedding.

1. はじめにード）からなるグラフ構造とみなし,トラスの構造性状を建築構造における最適化問題は多岐にわたり，例えば施各部材の特徴ベクトルとして抽出する。グラフ埋め込みを

工経路最適化 [1],トポロジー最適化[2],部材配置最適化

用いれば，近傍の部材や節点の数値情報だけでなくその接[3]が挙げられる。中でも施工経路は施工時の安全性や効続関係を考慮できるというメリットがある。構造物の安定率を考えるうえで重要な要素であり，過去には遺伝的アル性は構成要素である部材や節点の相対的な位置関係に大ゴリズムや動的計画法などを用いて一般的なトラス構造きく影響されるため,接続関係を考慮できるグラフ埋め込

物やケーブル構造に対して目的に適った施工経路を獲得みにより効果的にトラスの安定性を推定できると考えらする方法が提案されている[1,4]。ここでの目的は，安全性れる。なお，トラスの最適設計に強化学習とグラフ埋め込と施工効率性の観点から問題ごとに設定される。既往研究

みを組み合わせた手法を適用した例としては，密に接続し[1,4]においては，数値解析による手法を用いて部材に作たグランドストラクチャから逐次不要部材を除去して疎用する応力や仮設支持点での反力に上限を与え，施工過程なトポロジーを得るトポロジー最適化がある[2]。

中のトラスやケーブル構造がその制約を満足することが本研究の目的は,安定性を確保した施工経路を生成する目的とされていた。本研究では，とくにトラスの安定性にために強化学習とグラフ埋め込みを併用[5]する際に必要着目し，施工過程中のトラスの不安定次数が最小となるこな報酬等の諸設定を提示することである。また，その過程とを目的とすることで，仮設支持数を抑えた低コストかつで計算負荷を軽減するため構造解析を経ずに構造物の幾効率的な施工経路を生成するための強化学習に基づく手何的な特徴を抽出対象とし,学習結果を学習対象でないト法を提案する。

ラスモデルにも適用できる汎用性を獲得できることを示

状態の組み合わせが膨大な強化学習タスクに対してはニす。

ューラルネットワークなどの関数近似を用いた縮約表現がしばしば用いられる。ただし，トラスは多くの部材が複雑な接続関係をなして力を伝達しているため，トラスを対象として関数近似を用いた強化学習を行う場合，トラスの2. Q-learning とグラフ埋め込みの概要
トラス構造物のモデルとして,図 1 のような平面トラスを考える。

接続関係を関数近似過程でどのように考慮するかが大きな課題となる。本研究では，トラスの接続関係を考慮した各部材の定量的な情報を抽出するため，ウェブサイト間のリンク予測やたんぱく質の解析に用いられるグラフ埋め込みを導入する。
グラフ埋め込みはエッジとノードで構成されたグラフ構造をベクトル空間に埋め込む手法の総称であり,本研究においては平面的なトラスモデルを部材（エッジ）と節点（ノ日本建築学会情報システム技術委員会
第 44 回情報･システム･利用･技術シンポジウム論文集， 343-346 ， 2021 年 12 月，京都
Proceedings of the 44th Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 343-346 ， Dec. ， 2021 ， Kyoto

図 1 学習対象モデル－ 343 －

新した𝜇を用いて行動価値を算出する。
学習を行う上で,完成状態からすべての部材が除去されるまで一つずつ部材を除去することを 1 エピソードとし,施工経路はその逆の手順として与えられると考える。1 エ𝜇(

ピソード内で部材を除去した数を時刻t,時刻tにおけるトラスの特性を状態s ,時刻tにおいて除去する部材を選択すは唯一に定まることから,この過=𝜃 𝑤ℎ( )

=𝜃

ℎ( )

=𝜃 𝜇ℎ( )=𝜃a における目的の満足度を定量的に表す指標として，報酬R , を定義する。報酬R , は部材を除去するごとに与えら= ReLU ℎ( )程はマルコフ決定過程である。
ここで，ある状態s から行動a を決定した際に,その行動)ℎることを行動a と定義すると,ある状態s から行動a を決定した際に次の状態s(2a)𝜇( )=0( )+ℎ( )+ℎ( )+ℎ( )

(2b)

( )

(2c)
( )

(2d)

ReLU 𝜃 𝑣 ,( )(2e)
ReLU 𝜃𝜇∈

れ,また，ある状態s から行動a を決定した後に得られるこ( )(2f),とが見込まれる割引報酬和をその決定の行動価値 Q( , )と定義する。このとき,以下のベルマン方程式が成立する。
𝑄( ,) =𝑅 ,+ 𝛾 ∙ max 𝑄((1)),𝑄( , ) = 𝜃

ReLU 𝜃𝜇( );𝜃 𝜇( )(3)𝜃が学習されることによって間接的に行動価値が学習され,学習が理想的に進めばベルマン方程式の両辺の差が 0

したがって，ベルマン方程式(1)の両辺が等しくなるようになる値へ収束するため,差の二乗を損失関数としそれをに行動価値 Q( , ) を推定することが望ましく,両辺の誤差最小化する。更新量は RMSprop によって損失関数の勾配のを最小化することが Q-learning の目標となる。
Q-learning

大きさに基づいて決定される。学習は以下のように定式化により正しい行動価値の値を推定できるようになれば，各される。

状態において最も行動価値の高い行動を選択することで最適な逆施工経路が与えられる。
ここで，行動価値 Q( , ) を直接学習する場合,状態数×行動数の膨大な組み合わせ数の Q( , ) を推定する必要があり,現実的でない。この組合せ爆発による問題を解決するため，状態を縮約してトラスの安定性に関する情報をグ
ラフ埋め込みを用いて表現する。図 2 にグラフ埋め込みの概要を示す。

minimize 𝑅 ,+ 𝛾 max 𝑄(,, ) − 𝑄( ,, )(4)

(𝛩 = {𝜃 , 𝜃 , ⋯ , 𝜃 })ここで，𝛾は割引率であり，直近の報酬と後に得られる報酬の優先度を定める。以下の例では𝛾 = 0.99 とし，遅延報酬を考慮できるように設定している。また，Θ は学習過程で得られたΘの過去の値であり，Θを用いて式(4)の第三項のΘを更新することで学習を安定化させる[6]。
3. 報酬，入力と学習方法
施工経路を目的に沿うように正しく学習するためには，報酬,入力を適切に設定する必要がある。
まず，除去後の状態における不安定次数が大きいほど小さい値が与えられるように報酬を設定する。また，実際は支点から順に施工が行われるため,逆施工経路としては支図2グラフ埋め込みに用いる節点入力𝑣と部材入力𝑤点から離れている部材が優先的に除去されるのが望ましい。したがって，支点からの距離が大きいほど報酬が大き𝑤の次元を𝑛 , 𝑣の次元を𝑛 とおき,学習可能な重み係数
θ ∈ℝℝ××,θ ∈ℝ,θ ∈ ℝ××,θ ∈ℝ×,θ ∈ℝ×,θ ∈を用いて,部材を除去する際に式(2),(3)のように部材の特徴量𝜇を更新する。𝑛 は特徴量𝜇の次元を表し,以下の例では 100 とする。また，同様に学習可能な重み係数θ ∈ ℝ

報告 H19× ,θ

∈ℝ×,θ ∈ ℝ

く与えられるように，次式で報酬を設定する。

×と更𝑅 ,

=12

1−1+𝑒

∈

(5)

𝑅 , : 状態𝑠 で行動𝑎 を選んだ際の報酬
𝐽 : 状態𝑠 における不安定次数－ 344 －𝑙 : 除去対象のトラス部材𝑖の支点からの最短距離
𝛷 : 状態𝑠 で残っている部材の集合えられるため,部材の除去に関するフラグを部材の入力に，接続部材数を節点の入力に付加している。
これらの情報を用いて，4000 エピソード繰り返して学習

著者らの以前の研究[7]では報酬を式(6)で定義しており,する。ただし，汎用性の高い学習結果を得るためには一つそれに比べて式(5)では不安定次数が小さい場合の報酬差のトラスモデルでの学習だけでは不十分であり,学習結果をより大きく，支点からの距離が大きい場合の報酬差をよを学習対象のモデルと形状が大きく異なるモデルに適用り小さくしている。本報告では，式(5)を用いた際の結果とすると安定性が確保されないなどの問題がしばしば生じ式(6)を用いた際の結果を比較する。なお，𝑙る。これを解決するため，学習対象のモデルをエピソード

は平均部材長，𝐹は現状態におけるトラスの不安定次数である。

ごとに変更しながら学習を進める。
学習過程で重みΘが逐次更新されるが，10 エピソードご𝑅 ,𝑙max 𝑙=−

∈

𝑚=

(6a)

𝐹

⋯ ( max 𝑙 ≥ 5𝑙)∈

ミュレーションで得られた累積報酬以上の累積報酬を獲習パラメータとして記録する。ただし，二種類のトラスを

(6b)

∈⎨
⎪
⎩とに現在のΘを用いてシミュレーションを行い，過去のシ得できれば，その時点でのΘを最も良い性能を発揮する学.

⎧⎪𝐽1⋯ ( max 𝑙 < 5𝑙)∈

用いて学習する場合にはそれぞれのトラスに対するエージェントの性能を同時に評価しなければならない。そのため,各学習対象のトラスに対してシミュレーションを行い(6c)𝑛=−得られた累積報酬の積を用いてΘを評価する。
4. 学習結果

ここで，行動価値は報酬によって決定され,行動価値を学習するために必要な入力は不安定次数と支点からの距離の二つの指標とする。したがって，まず部材の入力に関して,部材の重心と支点からの最短距離と,部材の除去情報の二つの情報を表 1 のように設定する。また，節点の入力は,支点からの最短距離と接続している部材数として表 2式(5)の報酬式を用いて図 1 に示す二つのモデルに関して交互に学習したときの学習経過を図 3 に示す。グラフの横軸は学習回数,縦軸はその時点での各学習対象についてシミュ―レーションを行い得られた累積報酬和の積を表している。学習エピソードが増加するにつれて，得られる累積報酬が大きくなり,収束していることが読み取れる。のように設定する。
表 1：部材𝑖の入力𝑤
Index
1

入力内容

式

支点からの𝑙max 𝑙

最短距離2

除去されている

除去済み ∶ 1か否か

未除去 ∶ 0
図3

学習経過 1

表 2：節点𝑘の入力𝑣Index12

入力内容式

支点からの𝑙max 𝑙

最短距離
接続部材数𝑥4

最適化された学習パラメータΘをそれぞれのモデルに適用すると，図 4 のような施工経路が得られた。いずれのモデルに対しても不安定次数が可能な限り小さくなるよう，支点から離れた部材から除去されていることが確認でき,目的に適った施工経路が得られた。
式(6)の報酬式を用いて学習した場合の学習経過を図 6に示す。エージェントの性能が収束するまでの学習回数は部材と節点の両方に支点からの最短距離を入力しているが，これは強化学習過程で支点から離れた部材を優先的に選択するために必要である。また，隣接部材が少ないほど,その部材を除去した際に不安定な構造が生じやすいと考報告 H19式(5)の報酬式を用いた場合と比較してそれほど差違がないことが読み取れる。一方で，学習結果を式(6)を用いた場合と同じ学習対象外トラスに適用した結果，図 7 のような不安定次数の高い状態が生じて安定性に劣る経路が導か－ 345 －れてしまう。

から，不安定次数が小さい場合の報酬差が大きく，支点からの距離が大きい場合の報酬差が小さくなるように報酬設定を変更したことにより,学習の速度や収束性を損なわずに学習結果の汎用性の改善を実現できた。
今後の課題としては，さらに広範囲のトラスモデルに適用できる汎用性の獲得や,対象を 3 次元トラスに拡張したうえで同様の学習結果を実現できる報酬,入力と学習方法を提案することが考えられる。

図6

学習経過 2

図 4 学習対象トラスの部材除去過程(逆過程が施工経路）

図7

学習に用いなかったトラスの部材除去過程（式(6)を用いて学習した場合）謝辞
本研究は，JSPS 科研費（JP20H4467，JP21K20461）の助成を得た。

図5

学習に用いなかったトラスの部材除去過程（式(5)を用いて学習した場合）

5. 結論
強化学習とグラフ埋め込みを併用し，安定性を考慮した施工経路を求める手法を提案した。その過程で構造解析を用いず，未学習のモデルに対しても適用できるような報酬，入力と学習方法を提案した。とくに，著者らの以前の研究

報告 H19[参考文献]
1). 金子義信, 兼光知巳, 三井和男, 登坂宣好, 半谷裕彦, 遺伝的アルゴリズムによるトラス構造物の施工経路最適化，日本建築学会構造系論文集，Vol. 63(508), pp.87−92, 1998.
2). K. Hayashi and M. Ohsaki, Reinforcement learning and graphembedding for binary truss topology optimization under stress anddisplacement constraints, Frontiers in Built Environment, Vol. 6,
Paper No. 59, 2021.
3). T. Tamura, M. Ohsaki and J. Takagi, Machine learning for
combinatorial optimization of brace placement of steel frames,
Japan Architectural Review, Vol. 1(4), pp. 419−430, 2018.
4). 藤原淳, 大崎純, 水谷太朗, 北折智規, 加藤直樹, 細澤 治,
ケーブル補強骨組構造物の張力および施工順序最適化，日本建築学会構造系論文集，Vol. 67(556), pp. 101−107, 2002.
5). H. Dai, E. B. Khalil, Y. Zhang, B. Dilkina and L. Song, Learning
combinatorial optimization algorithms over graphs, Proc. 31st Int.
Conf. on Neural Information Processing Systems (NIPS 2017), pp.
6351−6361, 2017.
6). V. Mnih et al., Human-level control through deep reinforcement
learning, Nature, Vol. 518, pp. 529–533, 2015.
7). 小寺正也,大崎純,林和希,強化学習とグラフ埋め込みによるトラスの安定な施工経路生成, 日本建築学会大会学術講演梗概
集, 構造 I, pp. 777−778, 2021.

－ 346 －