1
日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

機械学習におけるアーキテクチャ構成とその学習手法の圏論的構造化中村 卓武，浅田 和之，菊池 健太郎，中野 圭介
本論文では勾配に基づく学習の計算の持つ構造に着目し，その学習アルゴリズムを構成する操作を圏論を用いて定義する．そしてアルゴリズムの性質や訓練手法の数学的な分析と一般化を試みる．このような学習アルゴリズムの構成
は既存研究にて既に提案されていて，振舞いに基づく抽象化を重視する Fong らの構成と，一般性とモジュール性を重視する Cruttwell らの構成があり，本研究ではこれらを融合することによってより洗練された構成を提案する．そしてこの新しい構成法では機械学習におけるアーキテクチャの結合と，アーキテクチャを用いた学習アルゴリズムの構成を同時に（順不同で）行うことができ，これらの構成の操作を同じ圏で表現できる．さらに string diagram と呼ばれる形式的なグラフィカル言語を用いることで，これらの構成を一つの図の上で表現することが可能になる．これを応用すると，教師強制と呼ばれる近似を用いた訓練法も図で表現できる．そして学習アルゴリズムに限らず，あらゆる同形の計算に対して適用できるように，教師強制を一般化できる．

計算構造の分析には既存研究と同様に圏論と呼ばれ

1 はじめにる数学の理論を用いる．圏論は数学は勿論，物理学，機械学習では日々新たな学習手法が提案されている

計算機科学，経済学，確率論などにも応用されてる抽が，それらの有用性が理論的に示されることは少な象理論である．特にソフトウェア科学に関連する強み

い．これにより，既存の学習手法を改良し，より優れとして，圏論は計算をモジュール化しモジュール同士た手法を発見する試みは経験的にならざるを得ない．

の結合を代数構造に基づいて扱うことに長けている．

そこで本研究では，機械学習における複雑な計算の構

特に 2 節で説明する string diagram [11] は圏論で造を数学的に分析することで，既存手法の有用性を明用いられる形式的なグラフィカル言語であり，これをらかにすることを目的としている．

用いるとモジュールの構成やそのモジュールの結合を

本論文ではその前段階として，計算の構造を分析す

図で表現できるようになる．特に機械学習ではアーキるための学習アルゴリズムの数学的な表現を整備す

テクチャによる予測の計算だけでなく，その訓練の計る．具体的には既存研究にて提案されている，圏論を算も同時に図示できるようになる．

用いた勾配に基づく学習アルゴリズムの構成法をよ

しかし一般には，予測の計算に対しその訓練の計算り洗練させる形で行う．そしてその簡単な応用例としは逆方向に行われる．この特殊な計算構造を扱うためて，特殊な訓練手法の持つ計算の構造を明示し，一般に，3 節で説明するレンズ [6] [10] と呼ばれる双方向化する．

の計算の一般化を圏論を介して導入する．
レンズを使用するという試みは 4 節で説明する既Categorical structuring of architecture constructions
and learning methods in machine learning.
Takumu Nakamura, 東北大学情報科学研究科, Graduate
School of Information Sciences，Tohoku University.
Kazuyuki Asada，Kentaro Kikuchi，Keisuke Nakano,
東北大学電気通信研究所, Research Institute of Electrical Communication，Tohoku University.

存研究である Fong ら [4] と Cruttwell ら [3] によって既に行われている．これらの論文ではどちらもレンズを用いた圏論的な操作によって，勾配に基づく学習による学習アルゴリズムを構成している．2 つの構成法の違いとして，Fong らは圏論を用いた振舞いの定日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

2

式化を重視していて，学習アルゴリズムに対する抽象的な枠組みをである Learner を提案している．一方

Cruttwell らは勾配に基づく学習における計算への忠実さを重視しつつ，その構成のモジュール化と微分計算の一般化を行っている．
本論文の 5 節で提案する新規構成法は，Fong らの提案した Learner に基づく学習アルゴリズムの構成に対し，その構成をモジュール化し，微分の計算を一般化する．この構成によって，アーキテクチャを組み

この string diagram では順方向から逆方向

string diagram 上で行えるようになる．
この新規構成法を応用して，6 節では学習アルゴリ

，

A

A

逆方向から順方向

へ，折り曲がるようにワイA
ヤを伸ばすことができる．ただし，この折り曲がる
ワイヤは必ず上から下への方向でなければならない．
また自明なコモノイド構造として，入力を複製する関数である copyA : A → A × A と入力を破棄する関数
である !A : A → 1 を次のように表記する．

合わせる操作と，アーキテクチャから学習アルゴリズ
ムを構成する操作が同時に（順不同で）かつ一つの

A

A

copy

A

!A

A⊗A

= A

I

= A

A
A
I

ズムに対する操作や性質を圏論的構造に基づいて分析する．そして教師強制と呼ばれる，値の近似を用いる特殊な訓練手法を分析し，数学的な構造の変化の明示とその手法の一般化を行う．

3 レンズ
レンズ [6] [10] は双方向変換と呼ばれる分野で研究されている概念である．レンズ L g, p M : A

Bはget 関数 g : A → B と put 関数 p : A × B → A の組

2 String diagram

であり，free cornering を用いて以下の図のように描

本論文では圏論における様々な射を扱うが，それ画する．

らを string diagram [11] と呼ばれる図を用いて表現する．この図では，対象（集合）をワイヤで表現
し，射（関数）をワイヤの上の箱や点として描画Aする．例として，射 f : A → B ，g : B → C をA

L g, p M

B

A

g

B

A

p

B

=

B

合成した射 g ◦ f : A → C と，射 f : A → B ，

g : A′ → B ′ の monoidal product（関数の並列の合

2 つの関数をこのように配置するメリットとして，レ成） f ⊗ g : A ⊗ C → B ⊗ D を次の図のように表現

ンズに対する基本的な操作であるレンズの合成を，次する．

の図のように箱の結合で表現できるという点にある．

A
A

g◦f

C

A ⊗ A′f ⊗g

B ⊗ B′ =

=

A

f

B

g

C

A

L g, p M

BB

L g ′ , p′ M

C
C

A

f

B

一般的にはレンズ L g, p M : A

A′

g

B′

出力された B の値を変更して右下へ入力するとき，

B は，右上から右上に入力された A の値も合わせて変更し，右下か説明の都合により free cornering [8] [9] と呼ばれる圏

ら出力する，というような操作の一般化である. すの構成法を使用する．これによって，順方向（左かると，このようなレンズは B の値が変更されないとら右）だけでなく，逆方向（右から左）の射を string

き，A の値も変更されないという性質を満たすべきで

diagram で図示することができるようになる．さらに，ある．この性質は GetPut 則 [6] [10] と呼ばれ，freecornering を用いると，以下の string diagram 上の等

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集
式で定義できる [1]．

3

タ p を出力する．

(2) Rd(f ) ではパラメータ p と入力 a を受け取り，
AA

L g, p M=

A

アーキテクチャと呼ばれる関数 f を用いて予測Ab̂ = f (p, a) を計算する．
(3) Rd(e) では予測 b̂ と予測に対する正解 b を受

ただしこの図式において，

A

け取って，その間の誤差 L = e(b̂, b) を誤差関数
は上の順方向からAの入力をそのまま下の逆方向に出力する操作である

e によって計算する．
(4) α では何も出力しない．

から，下の逆方向の出力が上の順方向の入力と一致す

次に逆方向（図式全体がなすレンズの put 関数）のるという状況を表現することができる．

計算で，(5) α は与えられた誤差を捨て，代わりに学習率 ϵ

4 既存の学習アルゴリズムの構成と呼ばれるある定数を出力する．

Fong ら [4] と Cruttwell ら [3] が提案した学習ア(6) Rd(e) では予測 b̂ と正解 b，ϵ を受け取って，

ルゴリズムの構成法を紹介する. ただし，説明の都合

予測 b̂ による誤差の勾配 ϵ∇b̂ L（ただし ϵ 倍）を上，Fong らより後に投稿された Cruttwell らの論文出力する．この勾配は微分を用いて計算され，主の結果を先に説明する．

に誤差を減らすための予測 b̂ を移動させる量として使用される．

4. 1 Cruttwell らの学習アルゴリズム(7) Rd(f ) では入力 a とパラメータ p を用いて，Cruttwell らは勾配に基づく学習における計算を圏

予測 b̂ による誤差の勾配 ϵ∇b̂ L に対し微分の連論を用いて忠実に形式化した [3]．これは主に Carte-

鎖律を適用し，パラメータ p による誤差の勾配

sian reversed diﬀerential category [2] と呼ばれる，

ϵ∇p L へ変換する．

リバース・モードの自動微分を圏論的に一般化して得(8) 最後に pOPP では勾配 ϵ∇p L を用いてパラられた圏に基づいている．この形式化では学習アルメータを修正し，出力する．勾配降下法と呼ばれゴリズムは以下の string diagram で表されるように，

る最適化手法を使用する場合，修正されたパラ

4 つのレンズを結合したレンズとして定義される．
（た

メータは p − ϵ∇p L となる．またパラメータ以外

だし表記の都合上，一部のワイヤは上下の方向に描画にも何かしらの状態 S を入出力でき，訓練の度

している．
）

に更新しつつパラメータの修正に使用できる．■

Cruttwell らの構成の特徴の一つとして，パラメータS⊗P S⊗Pの最適化に使用する学習率 ϵ の適用を，最適化を行う
レンズ pOPP で行わず，勾配の計算の段階で行って

pOPP

いる．

P P
A
A

Rd(f )

もしアーキテクチャf が，別のアーキテクチャ（レ
Q
R

B B
B
B

Rd(e)

L
L

α

イヤー）g, h の結合 A

gh B であるならば，
Rd(f ) も同様にレンズの結合で表現できる．

例 4.1. 一般的な勾配に基づく学習の場合，各レンズ

P Pは与えられた実数ベクトルに対して次のような順序で計算を行う．まず順方向（図式全体がなすレンズのget 関数）では，(1) pOPP は特に計算を行わず，入力のパラメー

AA

Rd(f )

B
B

=

A
A

Q Q

R R

Rd(g)

Rd(h)

B
B

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集4

これにより，アーキテクチャ（レイヤー）の構成に合とする．■

わせて自動微分が実行でき，誤差の勾配に対し，微分関数 e は誤差関数として扱われ，関数 d を d(x, y) =の連鎖律を段階的に適用できる．そして各パラメータ(x − y)2 と定義すると逆関数に関する条件を満たし，による誤差の勾配を求めるときに，段階的に計算されe は誤差関数としてよく用いられる平均二乗誤差∑e(b̂, b) = 1/2 ·(b̂ − b )2 †1 となる．

た誤差の勾配を流用することで効率的に計算できる．
そしてこの計算法は誤差逆伝播法と呼ばれる．

i

i

i

Fong らの学習アルゴリズムは順方向の計算（get

このように，Cruttwell らによる学習アルゴリズ関数）で予測を出力し，逆方向の計算（put 関数）でムの構成法ではアーキテクチャ（とその導関数）をは勾配降下法によってパラメータを修正し，同時に dstring diagram で構成できるだけでなく，その後のの導関数から定義される逆関数を用いて入力も修正

学習アルゴリズムの構成も string diagram 上で行う

している．この入力の修正については，平均二乗誤差

ことができる．

を用いるならば，この計算は勾配降下法による修正となる．

4. 2 Fong らの学習アルゴリズム

この学習アルゴリズムにおける訓練データ逆伝播

Fong らの結果 [4] では，学習アルゴリズムの構成法は，以下の図のようにアルゴリズム同士の結合に法や微分計算の一般化は重視されていない．しかし圏

よって計算される．このとき，順方向の計算ではあた論における関手を用いて，誤差逆伝播法の拡張となる

えられた入力 a に f (p, −) が適用されて b̂ が得られ，新しい訓練手法と，その手法を適用するための学習ア

さらに g(q, −) が適用され予測 ĉ が出力される．一方ルゴリズムの抽象的な枠組みである Learner を提案

逆方向の計算は，直感的には，予測 ĉ を正解 c に近づした．この新しい手法を誤差逆伝播法と区別するためけるようなパラメータと入力（予測）b′ を計算する．

に訓練データ逆伝播法と呼ぶことにする．

次に予測 b̂ を修正された予測 b′ に近づけるようにパ

これらの手法の違いとしては，誤差逆伝播法ではラメータと入力 a を修正する.

アーキテクチャ間で誤差の情報（誤差の勾配）を逆伝

ム間で誤差の情報（より望ましい入出力）を逆伝播

Aする．
勾配に基づく学習を行う Learner は次のように定

Q Q

P P

播するが，訓練データ逆伝播法では学習アルゴリズ

AB
Lf d,ϵ (f )Lf d,ϵ (g)

B

C
C

義される．
定義 4.2 (Fong らによる学習アルゴリズム [4]). 学

より直感的な解釈として，Lf d,ϵ (g) は b̂ を b に近づ

習率を ϵ ∈ R とし，ある関数 d : R × R → R が存在けることで，ĉ が c に近づくと主張しているため，して，その導関数 ∂d(x,y)(z, −) : R → R が逆関数を∂x

Lf d,ϵ (f ) が b̂ と b の間の誤差を減らすことで，間接的持つと仮定する．

に ĉ と c の間の誤差が減る，と考えることができる．

任意の微分可能な実数値関数（アーキテクチャ）

この訓練データ逆伝播法による勾配の計算が実は誤

f : P × A → B に 対 し て ，学 習 ア ル ゴ リ ズ ム

差逆伝播法の勾配の計算と一致することもあり，アー

Lf d,ϵ (f ) : P × A

B を次のようにレンズとして定義する．

キテクチャf から学習アルゴリズム Lf d,ϵ (f ) を構成する操作は圏論における関手になる．それにより，学

get 関数 g(p, a) = f (p, a)

習アルゴリズム同士を結合することによって，アルゴ

put 関数 p(p, a, b) = (p − ϵ∇p L, ea (∇a L))

リズムに含まれるアーキテクチャ同士の結合を表現す

ただし，(P, A, B) = (Rl , Rn , Rm ) とし，∑• L = e(b̂, b) = i d(b̂i , bi ) (b̂, b ∈ Rm )(ai , −))−1 (xi )(a, x ∈ Rn )• ea (x)i = ( ∂d(x,y)∂x†1 計算の簡略化や圏論的な都合により，1/m ではなく1/2 を用いる．このような定数倍は学習率で調整できるため実用上は問題にならない．

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集
ることができる．このように Cruttwell らの構成法とは異なり，学習アルゴリズム化とアーキテクチャの構成を同時に行うことができる．

5

数である．
注意すべき点として，Cruttwell らの構成 ( 4. 1) では学習率を誤差の勾配を求めるときに適用していた

ただし Cruttwell ら [3] によれば，Fong らの論文 [4]が，この構成では勾配降下法を行うときに適用する．

の関手は well-deﬁned にならないという問題があっ

そ し て こ の 観 察 か ら Rd(f ) の 左 右 の レ ン ズ

た．直感的には，等価な二つのパラメータを二つの−1
L idB , EB M と L idA , EA
M に関して次の仮説を立てアーキテクチャにそれぞれ部分適用した時のアーキることができ，実際に成り立つ．

テクチャ間の同一性を同値関係とし，アーキテクチャ−1
定理 5.1. レンズ L idB , EB M と L idB , EB
M は互い全体に対し同値類を考えている．しかし，アーキテクに逆レンズである．■

チャから学習アルゴリズムを構成するときに，その同値関係が保たれないという問題がある．そこで本研
究ではパラメータの等価性をより自明なものに限定
し，この問題を回避している．例えば後の定義 5.2 でProof.
−1−1
EB(b, EB (b, b′ )) = b′ , EB (b, EB(b, b′ )) = b′ .
−1を示せばよいが，これらの等式は EBの定義に用いた逆関数によって成り立つ．

使用している smallest wide subcategory Lens(C)s
は，主にパラメータを等価とみなすための相互変換を具体例として，誤差関数に平均二乗誤差を用いると−1(b, b′ ) = EB (b, b′ ) = b − b′ となり，この等式をEB制限する目的で導入している．

満たす．この命題によって Fong らによる学習アルゴ

5 学習アルゴリズムの新規構成法

リズムの訓練データ逆伝播法が誤差逆伝播法の計算

定義 4.2 の Fong らの学習アルゴリズム Lf d,ϵ (f ) をを行うことを簡単に確認できる．なぜなら次の図のよモジュール化・一般化するにあたって，その学習アルうに，Lf d,ϵ (f ) と Lf d,ϵ (g) による訓練データ逆伝播

ゴリズムが以下の string diagram にて構成できるこ法を考えると，Lf d,ϵ (f ) の L idB , EB M と Lf d,ϵ (g) のとは本研究において重要な観察である．

−1
L idB , EB
M が打ち消し合い，Rd(f ) と Rd(g) が隣接

する．

P

P
P

P

G

Q

Q

Q

G
P

P

Q

P

A

G

P

A

B

B

B

C

Rd(f )

A

B

B

A

−1
EA

A

B

Rd(f )
A

−1
EA

P

A

−1
EB

B

EB

B

C

EC

C

=

A

C

Rd(g)

B

EB

B
P

ただし，(1) Rd(f ) は Cruttwell らの構成 (4. 1) と同様に予測の計算と微分の連鎖率を適用する操作であり，(2) EB : B × B → B は予測 b̂ と対応する正解 b から誤差の勾配 ∇b̂ L を求める関数で，(3) G : P × P → P
は現在のパラメータ p とそのパラメータによる勾配∇p L を元に勾配降下法を適用する関数であり，(4)EA −1 : A × A → A は入力 a に対する関数 ea と誤差の勾配 ∇a L を用いて入力を ea (∇a L) へ修正する関

A

P Q
G

G

P Q

Q

A

C
Rd(f )

A

Q

−1
EA

A

C

Rd(g)
C

EC

C

これにより，Cruttwell らの構成と同様に誤差逆伝播法の計算が行われる．
上記の観察と定理 5.1 から，Fong らの学習アルゴ
リズムの構成法を対称強モノイダル関手として新しい構成へ一般化する．ここで，リバース・モードの自動微分が行える射からなる圏 C に対し，C における

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集6

パラメータを持つ射（アーキテクチャとみなす）からいう問題があったが，この問題を回避するためにパラなる圏を Para(C) とし，C の射から構成されるパラメータ間の等価性をより自明なものに制限した．関手

メータ付きレンズ（学習アルゴリズムとみなす）から

Gb に対しても同様に制限された同値関係を保つようなる圏を Para(Lens(C)) と表す．

に，smallest wide subcategory Lens(C)s を使用し定義

5.2. 関 手 GbLL,S,OP:

Para(C)→て OPP における最適化の計算を制限している．

Para(Lens(C)) を次のように定義する．圏 Para(C)の任意の射（アーキテクチャ）f に対し，パラメータ

6 新規構成法の応用付きレンズ（学習アルゴリズム）GbLL,S,OP (f ) を次

定義 4.2 の Fong らの学習アルゴリズムを一般化・の図のように定義する．

モジュール化し，これを string diagram によって構成できるようになった．この新規構成法を応用して，S(P ) S(P )学習アルゴリズムの性質や，近似を用いた特殊な訓練法を string diagram を用いて議論する．

OPP
6. 1 学習アルゴリズムにおける GetPut 則の圏
P P
A
A

LL−1
A

A
A

Rd(f )

論的性質

B
B

LLB

B

Fong らの学習アルゴリズムや，新規構成法による

B

アルゴリズムの振る舞いは 3 節にて説明した一般的なレンズとしての振る舞いに類似している．実際にこた だ し ，LL = {LLA }A∈C は 逆 レ ン ズ を 持 つ よれらのアルゴリズムは予測結果が正しいものに修正

う な レ ン ズ の 属 と し ，OP, S に つ い て は そ れ ぞされたとき，入力とパラメータをより正しいものにれ S : Lens(C)s → Lens(C)s ，OP : ι ◦ S ⇒ ι

修正している．そこでこれらのアルゴリズムにおけと な る よ う な 関 手 と ，レ ン ズ か ら 構 成 さ れ る 自る GetPut 則を考えると，誤差が 0（予測と正解が一

然 変 換 と す る ．ま た Lens(C)s は モ ノ イ ダ ル 圏致）ならば入力，パラメータを修正しないという性質

Lens(C) に対する smallest wide subcategory とし，となる．これはパラメータ更新の収束性の観点から学ι : Lens(C)s → Lens(C) はその包含関手とする．■

習アルゴリズムにおいて望ましい性質である．

例 5.3. 定 義 5.2 は 定 義 4.2 の Fong ら に よ る 学
習 ア ル ゴ リ ズ ム 構 成 の 一 般 化 で あ り，そ れ ぞ れ

LLA = L idB , EB M，S(P ) = P ，OPP = L idP , G Mとすると Fong らによる学習アルゴリズムが得られる．また S(P ) = P × P とし，左の P を状態，右のP をパラメータとみなすことで，Cruttwell ら [3] が使用していたような，状態を用いる最適化手法を使用することができるようになる．■
学習アルゴリズムの構成法が関手であることで，アーキテクチャの構成と学習アルゴリズムの構成が同時に行えるというメリットがあった．この新規構成法
によって，勾配に基づく学習のアルゴリズムの構成法
が関手になるための条件をより明確にすることができた．
また Fong らの構成法は well-deﬁned にならないと実際に定義 4.2 の Fong らの学習アルゴリズムでは誤差関数に平均二乗誤差を使用したとき GetPut 則を満たす [5] ことが知られているが，詳しい条件は述べられていない．そこで新規構成法（定義 5.2）を使用し，GbLL,S,OP による一般化された学習アルゴリ
ズムが GetPut 則を満たすための必要十分条件を導出する．
定理

6.1. 関 手 GbLL,S,OP:

Para(C)→

Para(Lens(C)) に対し，以下の命題は同値である．
• 任意のアーキテクチャf に対し，学習アルゴリ
ズム GbLL,S,OP (f ) が GetPut 則を満たす．

• 任意の対象 A, P ∈ C に対し，次の図式で表される 2 つの等式が成り立つ．

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

A
A
S(P )
S(P )

すなわち以下の等式が成り立つ．

A

=

LLA

A

=

OPP
0

7

0

A
A

S(P )

Gb(copyA )

S(P )

A
A
A
A

=

A
A

A
A

■

（説明の都合上，図の左辺の右側の上から 2 番目，3Proof. (⇑) はレンズにおける同型性などのレンズで番目のワイヤを交差させているが，この操作は free構成される等式によって証明できる．

cornering において非可逆であり，交差させなくとも(⇓) はアーキテクチャ P ×A

B を Gb0に適用することでそれぞれ証明できる．
ここで， A0

A
A

例 6.2. LLA が平均二乗誤差から定義されるレンズ

L idA , EA M である場合，この条件は EA (a, a) = 0 となり，この等式は予測と正解が一致している場合，誤差の勾配が 0 になることを表している．一方 OPP が勾配降下法から定義されるレンズ L idP , G M である場
合，この条件は G(p, 0) = p となり，この等式はパラメータによる誤差の勾配が 0 である場合，パラメー
タが変化させないことを表している． ■定理 5.1 によって，Gb による学習アルゴリズムが

GetPut 則を満たすとき，次の等式が成り立つ．

A

Gb(!A )=に対応付けて考えることができる．

は0

Rd(!A ) と等しい．

A

で，アーキテクチャ（予測の計算）に対する操作を，学習アルゴリズム（予測と訓練の計算）に対する操作は定数 0（零ベクトル）を出力する操作とみなすことができ，レンズ

等式は成り立つ．
）このように本構成法を用いること

6. 2 教師強制の一般化
本構成法ではアーキテクチャに対する操作を学習
アルゴリズムに対する操作に対応付けることができるが，訓練の計算のみを操作することもできる．これを用いて，教師強制（teacher forcing） [7] と呼ばれる，アーキテクチャの構造を応用した訓練手法を

string diagram で表現する．ただし表記の簡略化のため，以降は string diagram におけるパラメータのワイヤを省略する．
教師強制は次の図で表されるような，あるアーキテ
クチャf : P × A → B, g : Q × B → C から構成される回帰型ニューラルネットワーク（RNN） [7] に対しAて定義される．この RNN の重要な性質として，右下Aの B の出力は必ず右上の B よりも後に出力される．

すなわち，値を捨てる操作 !A から構成した学習アルC

ゴリズム Gb(!A ) は入力を一切修正しない学習アルゴ

A′

B
f
g

リズムとなる．これにより，アーキテクチャが出力した値を捨てる操作は，学習アルゴリズムの出力した予測を正解として入力する操作に対応することがわ

B
A′

f
g

かる．
また Gb は強モノイダル関手であるから，アーキA
テクチャの持つコモノイド構造を保ち，も !AAと同様にコモノイド構造におけるコユニットとなる．

B
A′

f
g
···

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集8

また教師強制を考える上で，次の図のように RNN アー

によって次のように表すことができる．

′

キテクチャの一部のみを考える．
（ただし A = C × A ）BA
B f (a)
a A

A

f

B
Gb(f )

Gb(copyA )Gb(g)g C g(f (a))

C
C

パラメータのワイヤと同様に，アーキテクチャへの重要な点として，string diagram で表現した教師強パラメータの適用も同様に省略する．例としてこ制は機械学習の計算から一般化されている．つまりのアーキテクチャが入力 a を元に出力する予測を

Gb(copyA ) の順方向の計算が値を複製しているといf (a), g(f (a)) と表記する．このとき，このアーキテ

う仮定は必要であるが，レンズの形式で表せるあらクチャに関手 Gb を適用して得られる学習アルゴリ

ゆる計算に対して教師強制のような近似手法を適用

ズムは，次のような string diagram で表すことがでできるということである．例えば Smithe [12] によれ

きる．

ば，ベイズの定理に基づく事前分布の更新はレンズで表すことができ，このレンズの構成法は関手的であ

B
A
A

B
Gb(f )

Gb(copyA )

Gb(g)

C
C

る．これにより，ベイズ更新に教師強制を適用できる可能性がある.
他にも上記の図式の右上に更に学習アルゴリズムを結合すると，次のような図式が得られる．

またこの図におけるワイヤの交差は，図の右の C の順方向のワイヤが B の逆方向のワイヤに合流しないことを表し，RNN アーキテクチャの性質がこの操作

Gb(h)
A
A

Gb(f )

D
D

Gb(copyA )Gb(g)を可能にしている．

C
C

次に，予測 f (a), g(f (a)) に対する正解をそれぞれ

b, c とすると，教師強制を適用したアーキテクチャで教師強制であれば，入力 a に対して予測 f (a) が計算

は次の図のように予測の計算を行う．

され，これに対応する正解 b ∈ B をアーキテクチャgB f (a)a A

f
b B g C g(b)の予測に利用していた．しかし，この図では f (a) ∈ B
に対する正解は与えられず，代わりに h(f (a)) ∈ D
に対する正解として d ∈ D が与えられるため，教師強制によって得られるアルゴリズムではない．しかしこのように，教師強制では予測 f (a) と正解 b が等しい，つまり f における訓練が完了しているという近似を行うことで，アーキテクチャg では入力 f (a) の変わりにより正確な正解 b を用いて予測 g(b) を出力する．
関手 Gb による学習アルゴリズムが GetPut 則を満Bたすと仮定すると，
は Gb(!B ) と等しくなり，B
コモノイド構造におけるコユニットになる．よって教師強制を適用した後の訓練の計算は string diagram

このアルゴリズムでは予測 f (a) に対する正解 b の代
わりに，Gb(h) によって予測 f (a) から修正された予測 b′ を用いている．このように訓練手法の圏論的な一般化によって，教師強制のような限られたアーキテ
クチャで使用されている近似手法を様々な場面に導入できる可能性がある．

日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

9

参 考 文 献7 おわりにCruttwell らの結果 [3] を基に，Fong らの学習アル
ゴリズム [4] をモジュール化・一般化した．これにより学習アルゴリズムの計算の持つ数学的な構造と，その構成要素に求められる条件が明確になった．これによりアーキテクチャの結合と学習アルゴリズムの構成を同時にかつ一つの string diagram 上で行えるようになった．そして新規構成法による計算構造を応用して，学習アルゴリズムに対する操作や性質を数学的に分析することに成功した．これにより近似を用いる特
殊な訓練手法を一般化し，その適用範囲を拡張した．
しかし学習手法の有用性，例えば教師強制を適用した学習アルゴリズムの性質などはまだ明らかにできておらず，今後の課題となっている．また新規構成法に関する課題として，Cruttwell らの結果と同様に微分計算の一般化を行っているが，例として紹介した実数関数を用いた勾配に基づく学習以外の応用はできていない．また誤差関数をレンズに一般化したが，これも明確な応用は見つかっていない．Fong らの構成法で定義できなかった誤差関数にソフトマックス交差
エントロピー誤差があるが，定義できない原因として
は d : R × R → R のような各要素ごとの誤差の和で表現できないことにある．この制約もレンズに一般化したことによって解消されたが，残念ながら，この誤差関数を用いたレンズは逆レンズを持たず，関手を構成できない．Fong らの提案した学習アルゴリズムの抽象的な枠組みは勾配に基づく学習とそこまで相性が良いわけではないかもしれない．しかし勾配を用いないような学習アルゴリズムに対しても Learner の枠組みが適用でき，同様に分析できる可能性がある．
これによりさらなる発展の余地が考えられる．

[ 1 ] Boisseau, G., Nester, C., and Román, M.: Cornering Optics, Electronic Proceedings in TheoreticalComputer Science, Vol. 380(2023), pp. 97–110.
[ 2 ] Cockett, R., Cruttwell, G., Gallagher, J., Lemay,
J.-S. P., MacAdam, B., Plotkin, G., and Pronk,
D.: Reverse Derivative Categories, 28th EACSLAnnual Conference on Computer Science Logic(CSL 2020), Fernández, M. and Muscholl, A.(eds.),
Leibniz International Proceedings in Informatics(LIPIcs), Vol. 152, Dagstuhl, Germany, Schloss
Dagstuhl – Leibniz-Zentrum für Informatik, 2020,
pp. 18:1–18:16.
[ 3 ] Cruttwell, G. S. H., Gavranović, B., Ghani, N.,
Wilson, P., and Zanasi, F.: Categorical Foundationsof Gradient-Based Learning, Programming Languages and Systems, Sergey, I.(ed.), Cham, Springer
International Publishing, 2022, pp. 1–28.
[ 4 ] Fong, B., Spivak, D., and Tuyeras, R.: Backprop as Functor: A compositional perspective onsupervised learning, 2019 34th Annual ACM/IEEE
Symposium on Logic in Computer Science (LICS),
Los Alamitos, CA, USA, IEEE Computer Society,jun 2019, pp. 1–13.
[ 5 ] Fong, B. and Johnson, M.: Lenses and Learners,
Proceedings of the Eighth International Workshop
on Bidirectional Transformations, Cheney, J. andKo, H.-S.(eds.), 2019.
[ 6 ] Foster, J. N., Greenwald, M. B., Moore, J. T.,
Pierce, B. C., and Schmitt, A.: Combinatorsfor bidirectional tree transformations: A linguistic approach to the view-update problem, ACM
Trans. Program. Lang. Syst., Vol. 29, No. 3(2007),
pp. 17–es.
[ 7 ] Goodfellow, I., Bengio, Y., and Courville, A.:
Deep Learning, MIT Press, 2016. http://www.
deeplearningbook.org.
[ 8 ] Nester, C.: The Structure of Concurrent Process Histories, Coordination Models and Languages,
Damiani, F. and Dardha, O.(eds.), Cham, Springer
International Publishing, 2021, pp. 209–224.
[ 9 ] Nester, C.: Concurrent Process Histories andResource Transducers, Logical Methods in Computer Science, Vol. Volume 19, Issue 1(2023).
[10] Riley, M.: Categories of Optics, 2018.
[11] Selinger, P.: A Survey of Graphical Languages
for Monoidal Categories, Springer Berlin Heidelberg, 2011, pp. 289–355.
[12] Smithe, T. S. C.: Bayesian Updates Compose
Optically, 2020.