機械知覚&ロボティクスグループ
中部大学 工学部 情報工学科

2023年度 山下研究室 卒業論文発表 アブストラクト
Continual Learning， Self-Supervised Learning

Contrastive Loss を導入した EMP-SSL による自己教師ありオンライン継続学習今井 孝洋
Deep Learning， Object Detection， Explainable AI

改良型 ODAM による物体検出モデルの判断根拠の可視化
仲井 悠真
Binary decomposition， Model compression， Object detection

二値分解を用いた物体検出モデルの近似計算による軽量化
大杉 佳史
Deep Learning， Object Detection， Simulator

仮想環境における物体検出モデルの検出傾向調査
小川 夏輝
Prototype， ProtoPFormer， Human Knowledge

人の注目領域を用いた ProtoPFormer による詳細画像識別の高精度化
落合 祐馬
Deep Learning， Long-Tailed Classification， Loss Function

Long-Tailed 物体認識における最適な損失関数の組み合わせ調査
亀井 靖人
Natural Language Supervision， Foundation Model， Vision and Language

ソフトテキストを用いた CLIP によるゼロショット分類
小出 清楓
Natural Language Processing， Student Performance Perdinction， Transformer

Transformer モデルによる自由記述文からの成績予測
小池 正基
Student Performance Perdinction， Word Embedding， Transformer

時系列を考慮した操作ログデータの埋め込み特徴による成績予測
舘 良太
Pose Estimation， iNeRF

物体領域サンプリングを導入した iNeRF による姿勢推定の高精度化
鈴木 海斗
Deep Learning， Gaze Estimation

周辺の詳細な選手情報を活用した視線予測
堀尾 契太
Reinforcement Learning， Multi Agent， Hungarian Algorithm

マルチエージェント強化学習におけるハンガリアン法による報酬割当三島 広暉

URL: http://mprg.jp

1. はじめにContrastive Loss を導入した EMP-SSL による自己教師ありオンライン継続学習
指導教授：山下 隆義
EP20014 今井孝洋

オンライン継続学習は，学習に各データを 1 度だけ使用
して，データストリームから一連のタスクを継続学習する手法である．従来のオンライン継続学習手法はラベルあり
データを対象にしており，実世界のラベルなしデータには対応していない．自己教師あり学習を利用することでラベ
ルなしデータからの学習が可能となるが，自己教師あり学
習手法は教師あり学習と比較して収束が遅い．そのため，オンライン継続学習では入力するデータストリームの分布が切り替わり，学習が不十分なまま新しいデータ分布の学習が始まる．そこで本研究では，オンライン継続学習手法のMinimum Redundancy (MinRed)[1] をベースに，自己教師あり学習の収束の遅さに対処した Extreme-Multi-Patch
Self-Supervised-Learning (EMP-SSL)[2] を導入した自己教師ありオンライン継続学習法を提案する．

2. 自己教師あり学習

自己教師あり学習は，ラベルなしデータから有用な表現を学習することが可能である．EMP-SSL は，自己教師あり学習の収束の遅さを解決した手法である．従来の自己教師あり学習手法は，1 つのデータに異なる 2 種類のデータ拡張を加えて 2 つのパッチを作成する．そして，それらの特徴量を近づけるように学習を行う．EMP-SSL は，データに加えるデータ拡張の種類を N 個まで増加させる．これにより，1 度に近づけるデータの特徴量を増やし，効率的に学習を進め，収束を早めている．

3. オンライン継続学習

MinRed は，バッファと呼ばれるメモリを利用した自己教師ありオンライン継続学習手法である．データの特徴量
間でコサイン類似度を計算し，類似度が低いデータをバッファに保持することで多様なデータでの学習を可能とする．
また，自己教師あり学習手法の SimSiam を利用すること
で，ラベルなしデータでの学習が可能となる．しかし，オンライン継続学習は，時間と共に学習環境が変化するため，収束の遅い自己教師あり学習手法では，入力データの分布が切り替わるタイミングによっては学習が不十分なまま新しいデータ分布の学習が始まる．そのため，自己教師あり
オンライン継続学習では，学習の収束速度が問題となる．

4. 提案手法

本研究では，自己教師ありオンライン継続学習の収束の遅さに対処することで精度向上を目指す．MinRed をベースに Contrastive Loss を導入した EMP-SSL を使用する
アプローチを提案する．オンライン継続学習の問題に対して，提案手法では EMP-SSL を使用して学習の収束を早め，各データ分布において十分に学習させることで解決する．
図 1 に提案手法の学習プロセスを示す．図 1 に示すように，提案手法は MinRed バッファを利用して古いデータを保持し，新しいデータと共に学習を行う．また，損失関数には，
EMP-SSL で使用される TCR Loss に加え，Contrastive
Loss を導入する．提案手法の損失関数 L を以下に示す．


!
!
1
j
j
 LT CR (Zi ) + λ
L=LCont (z̄ , zi )
ni=1,...nj=1,...b

(1)

&
'
1
d
LT CR (Z) = − log det I + 2 ZZ T
(2)
2
b"
(
)
exp(z̄ j · zij /τ )LCont z̄ j , zij = − log *n *blj
k=1
l=1,l!=j exp(z̄ · zk /τ )(3)

ここで，d は投影次元数，b はバッチサイズ，λ は Contrastive Loss の重み，z はデータの特徴量，z̄ は異なるパッチの同じデータの特徴量の平均，τ は温度パラメータ，det
は行列式である．この損失関数により，異なるパッチの同

EMP-SSL
重みの共有

パッチ

gradient

Data Stream
Encoder

Projection

Encoder

Projection

Encoder

Projection

gradient

MinRedBuffer

MinRedgradient

図 1: 提案手法の学習プロセス

じデータの特徴量は，そのデータの特徴量の平均に近づけ，異なるデータの特徴量の平均から遠ざけるように学習を行う．

5. 評価実験

提案手法と従来手法の MinRed，MinRed の学習方法を
EMP-SSL に変更した手法の比較を行う．

5.1. 実験概要

クラス毎，もしくはタスク毎にデータセットを並べ替え，
擬似的なデータストリームとして学習を行う．データセットには Seq-CIFAR10，Seq-CIFAR100，Seq-ImageNet100
を用いる．ネットワークには ResNet18，学習回数は 1 エ
ポック，バッチサイズは 100，リプレイバッファのサイズ
は 256，Seq-ImageNet100 の場合のみ 1,024 である．バッ
ファ内のデータを繰り返し学習する反復回数 K は，提案
手法と EMP-SSL では 3，MinRed では 50 である．評価
方法には k-NN 法を用いる．

5.2. 評価結果

最終的な k-NN 分類精度を表 1，学習過程の k-NN 分
類精度の推移を図 2 に示す．表 1 より，Seq-CIFAR10，
Seq-CIFAR100，Seq-ImageNet100 において，提案手法はMinRed よりそれぞれ 18.95pt，7.72pt，4.68pt 精度向上した．また，図 2 より，学習過程の精度も提案手法は MinRed
より高精度となることが確認できる．これらの結果より，
提案手法はオンライン継続学習において自己教師あり学習の収束速度を早め，精度を向上させることが可能である．

表 1: k-NN 分類精度

MinRedEMP-SSL
提案手法

Seq-CIFAR10
41.09
57.64
60.04

(a) Seq-CIFAR10

Seq-CIFAR100
22.56
27.18
30.28

Seq-ImageNet100
21.90
26.06
26.58

(b) Seq-CIFAR100

図 2: 学習過程における k-NN 精度
6. おわりに本研究では，MinRed をベースにした自己教師ありオンライン継続学習手法を提案した．評価実験では，従来手法と比較して提案手法の精度が向上することを確認した．今後の展望として，提案手法の改良を行い，更なる精度向上を目指す予定である．

参考文献[1] P. Senthil, et al., “The Challenges of Continuous
Self-Supervised Learning”, In ECCV，2022.
[2] S. Tong, et al., “Emp-ssl: Towards self-supervised
learning in one training epoch”, In arXiv, 2023.

改良型 ODAM による物体検出モデルの判断根拠の可視化

EP20078

1. はじめに深層学習モデルによる物体検出は, 自動運転や医療画像解析など，幅広い応用分野において利用されている．特にTransformer を用いた物体検出は，その高い検出精度が大きな注目を集めている．しかし，モデルの検出結果に対する判断根拠は不明瞭であり，ブラックボックスとされている．そこで本研究では，DETR を用いた物体検出における判断根拠の可視化に対する解釈容易性の向上を目的とし，検出物体の周辺のコンテキストを考慮した改良型 ODAMを提案する．

2.Object Detector Activation Maps

Object Detector Activation Maps (ODAM) [1] は，インスタンス固有の判断根拠を，勾配ベースで可視化する手法である．物体検出モデルが行った予測の根拠をクラスス
コアや BBox の座標など，各予測要素に対して重要度をヒートマップとして可視化する．ODAM を用いることで，モデルが各物体をどのように認識し，分類しているか可視化可能である．しかし，ODAM のような勾配ベースの手法はノイズに敏感であり，注視物体以外の領域を誤って強調することがある．そのため，解釈容易性の面で改善の余地がある．

3. 提案手法

可視化結果の解釈容易性の向上を目的として，ODAMの改良手法を提案する．ここで，図 1 に画像の一番左側に立つ人物を検出した判断根拠の可視化結果を示す．図 1(a)は BBox 拡張前，図 1(b) は BBox を 2 倍に拡張した際の可視化結果である．図 1 に示すように，ODAM による判
断根拠の可視化では，BBox の大きさを拡張することで検出物体の周辺情報を考慮しつつ，より対象物体に着目した可視化結果が得られる．

(a) 拡張率 1.0 倍(b) 拡張率 2.0 倍

図 1: 拡張率による可視化結果の変化

このように ODAM に与える検出領域が可視化に大きな影響を与えている．そこで，提案手法では，異なる拡張率のBBox での可視化結果を平均することで，着目する領域の変動を抑制させ，解釈容易性を高める．提案手法の流れを
図 2 に示す．
Detector

instance1

predictions

instance2!"#$$%&%!#'%()

backbone

･･･

mean

!!

･･･

⨀

element-wise
multiplication

⨀

"#!
!
"$

1 ∶ .+,#)$%() 3#'.
(1.0 ≤ 1 ≤ 3.0)

図 2: BBox 拡張を導入した ODAM

拡張率 α で BBox を拡張するとき，特徴マップ内の座標を (i , j)，チャンネルを k ，検出物体 p に対する特徴マップ Aijk と乗算する重みを wijk (p, α) としたとき，着目する領域は，式 (1) よりヒートマップ Hij (p, α) をとして求められる．
!
Hij (p, α) =wijk (p, α) ! Aijk
(1)
各拡張率 α に対して生成したヒートマップ Hij (p, α) を式!
(2) より，平均を求めて最終的なヒートマップ Hij(p) を獲
!
得する．
1
!
Hij
(p) =
Hij (p, α)(2)
N α

指導教授：山下隆義

本実験では，従来の ODAM と提案手法の可視化結果を比較し，提案手法の有効性を検証する．実験では物体検出モデルとして DETR を採用し，クラス信頼度が 0.7 以上の物体に対して ODAM による可視化を行う．Backboneには ResNet-50 を使用する．

4.1. 予備実験

BBox の拡張率が，ODAM による可視化結果にどのような影響を与えるか，Energy-based Pointing Game (EBPG)を用いて評価する．EBPG はヒートマップがどれだけ検出
物体の BBox に集中しているかを測定する指標である．ス
コアが高いほど，可視化結果の解釈容易性が高いことを示す．図 3 に BBox の拡張率を変化させたときのスコアの推移を示す．図 3 より，BBox を拡張することで解釈容易性が向上することが確認できる．

図 3: 拡張率の変化に伴う EBPG の推移

4.2. 定性的評価

図 4(a) に従来の ODAM，図 4(b) に提案手法の可視化
結果を示す．ここで，BBox の拡張率 α を 1.0，2.0，3.0
倍とし，平均した結果である．提案手法は，従来手法と比較して注視物体以外への着目を減少させることができた．

(a) 従来手法(b) 提案手法

図 4: 可視化結果の比較
4.3. 定量的評価

表 1 に異なる拡張率 α を組み合わせた場合の可視化について，EBPG を用いた定量的評価の結果を示す．提案手法は，従来手法と比較して最大で約 3.4pt の精度向上を確認した．つまり，物体の正確な位置と重要な特徴をより効果的に捉え，モデルの判断根拠の解釈容易性が高くなったといえる．

表 1: EBPG を用いた定量的評価!!

: local smoothing operationk

4. 評価実験･･･
elephantmean*+,#)-.- 00(+! ･･･ *+,#)-.- 00(+!

head

A

仲井悠真

Method
従来手法
提案手法 : α(1.0, 1.5, 2.0)
提案手法 : α(1.0, 2.0, 3.0)
提案手法 : α(1.0, 1.5, 2.0, 2.5, 3.0)

EBPG (%)
33.12
35.33
36.32
36.51

5. おわりに

本稿では，解釈容易性の向上を目的として ODAM の改良手法を提案した．評価実験では，従来手法と比較して解釈容易性が向上したことを確認した．今後の方針として，得られた複数の可視化結果を平均するだけではなく，勾配を用いた手法や，拡張率を確率分布に沿って決めるような
Stochastic な要素の導入を検討する．

参考文献[1] Chenyang ZHAO, Antoni B. Chan, “ODAM:
Gradient-based Instance-Specific Visual Explanations for Object Detection”, ICLR. 2023.

二値分解法を用いた物体検出モデルの近似計算による軽量化
Transformer モデルを用いた物体検出手法である DEtection TRansformer (DETR) は，高い性能を達成している．DETR は Transformer の Encoder と Decoder から構成されるため，そのモデルサイズは大きい．そのため，組み込み機器やモバイル端末等のリソースが限られた環境
で DETR を実装するには，モデルの圧縮と推論の高速化が必要となる．本研究では，DCNN のモデル圧縮を再学習なしに実現したモデルである Binary-decomposed DCNN
(BdDCNN) を参考に，DETR の畳み込み層と全結合層を二値分解することで，エッジデバイス上で動作可能にする．

2.DEtection TRansformer

DEtection TRansformer (DETR)[1] は，Transformerを採用した物体検出モデルである．物体検出を直接的な集合予測問題と捉えることで，End-to-End な学習を可能とするモデル設計になっている．DETR の構造を図 1 に示す．
backboneencoder

CNN

decoder

input
proj
positional encodingclass embed
bbox embed・・・

object queries

DETR に二値分解法を適用したモデルである Binarydecomposed DETR (BdDETR) を提案する．

3.1. 二値分解法による近似

各層の重みと特徴マップを二値化し，各層の計算を論理演算とビットカウントによる近似内積計算にする．二値同士の内積計算は実数の重みと特徴マップの値を二値化する必要がある．そのために二値分解を用いる．二値分解は，重みベクトル w ∈ RD を二値基底行列 M ∈ {−1, 1}D×kとスケール係数ベクトル c ∈ Rk に分解する．k は基底数，
D は入力次元数を示している．特徴マップは入力データに依存する負値を含んだ実数値であるため，事前に二値化できない．そこで，特徴マップの量子化に Quantization
sub-layer を導入する．これは，負値を含む実数値の特徴
マップを高速かつ効果的に特徴マップの値を量子化し，二値の演算が可能なビット表現に変換する．

3.2. 畳み込み層と全結合層の計算

DETR は，backbone，encoder，decoder，bbox embed，class embed，input proj で構成されており，これらは畳み込み層と全結合層からなる．畳み込み層と全結合層の計
算は，入力特徴マップ h と重みフィルタ w による積和計
算により計算される．そこで，この計算を式 (1) に示す二値演算に置き換える．
≈≈

4.1. メモリ圧縮率

各層におけるメモリ圧縮率を図 2 に示す．モデル全体で，約 158MB のパラメータを重み分解により約 44MB に削減
し，全体のメモリ圧縮率は約 72.2%となった．
100
90
80
70
60
50
40
30
20
10
0

73.2%

分解前
分解後

70.6%

70.9%

68.8%

Transformer
encoder

Transformer
decoder

bbox

68.7%

74.2%

class _embed

input _proj

4.2. 提案手法適用時の精度比較

図 1 : DETR の構造

3. 提案手法

本実験では，DETR と BdDETR の性能を比較する．
データセットは COCO2017，バッチサイズは 2，基底数と量子化ビット数は 8 である．

図 2 : 各層におけるメモリ圧縮率

FFNs
transformer
decoder

4. 評価実験

backbone・・・

transformer
encoder

vpaddl u16，vpaddl u32，vst1 u64 により代替することで実現する．

メモリ消費量 [MB]1. はじめにwT h

指導教授：山下隆義

EP20022 大杉佳史

ĉT M̂T (Br + min(h)1)
ĉT M̂T Br + min(h)ĉT M̂T 1(1)

ここで，B と r は Quantization sub-layer により得られた二値行列と復元係数ベクトル，min(h) は量子化時に発生したオフセットである．このとき，M̂ と B は，二値であるため式 (2) を用いて論理演算と 64bit のポップカウン
ト命令により計算できる．

M̂T B = 2 × POPCNT(AND(M̂T , B)) − ||h||(2)

ただし，64bit のポップカウント命令は，多くのエッジデバイ
スで使用されている ARM の CPU には存在しない．そのため，ポップカウント命令は vld1 u8，vcnt u8，vpaddl u8，

提案手法の適用レイヤを変更した場合の実験結果を表 1 に示す．適用レイヤの ba は backbone，en は transformer.e
ncoder，de は transformer.decoder の略称である．全ての層に二値分解法を適用した場合，精度が約 5pt 低下した．一方で，二値分解法をメモリ消費量が多いレイヤである backbone，encoder，decoder のみに限定すると精度低下を約 4pt に抑制できた．これより，適用レイヤをメモリ消費量の多いレイヤのみに絞ることで，精度低下を抑制しつつモデルサイズを約 70.9%削減できた．
表 1 : 提案手法の適用レイヤを変更した場合の実験結果
モデル

適用レイヤ

BdDETR

全て

DETR
BdDETR-ba, en, de

モデルサイズ [MB]

AP

APS

APM

APL

42.0

20.5

45.8

61.0

37.2

17.1

40.5

56.4

44.0

38.4

18.6

41.9

57.1

45.9

158.0

4.3. エッジデバイスにおける評価

実行環境による DETR と BdDETR の比較を表 2 に示す．表 2 より，実行環境が Raspberry Pi においても PCと同等の精度を確認し，BdDETR はエッジデバイス上でも実行可能である．また，推論時間に関しては，PC では
DETR より BdDETR が高速であるが，Raspberry Pi では逆に DETR が高速である．この原因は，PC のポップカ
ウント命令が 4 サイクルで動作するのに対し，Raspberry
Pi は 18 サイクルで動作するためと考える．
表 2 : 実行環境による DETR と BdDETR の比較

モデル

実行環境

AP

APS

APM

APL

PC

44.9

23.7

51.9

66.0

BdDETR

PC

40.2

19.7

43.8

63.2

191.5

DETR

Raspberry Pi

44.9

23.7

51.9

66.0

3531.1

BdDETR

Raspberry Pi

40.2

20.5

43.5

62.7

4716.2DETR

5. おわりに

推論時間 [s]444.6

本研究では，BdDETR の性能評価を行った．BdDETR
は，エッジデバイス上でも PC と同様の精度を得られるが，DETR より高速に動作しないことが分かった．今後は，エッジデバイスにおいても高速で動作するように BdDETR の構造を変更することを検討する．

参考文献[1] N. Carion, et al., ”End-to-End Object Detection
with Transformers”, ECCV, 2020.
[2] R. Kamiya, et al.,Binary-decomposed DCNN
foraccelerating computation and compressing model
without retraining , ICCV Workshop, 2017.

仮想環境における物体検出モデルの検出傾向調査

EP18020 小川夏輝

1. はじめに

安全な自動運転を実現するには，天候や時間等の変動の影響を受けずに自車両周辺の車両，二輪車，歩行者を正確に検出することが重要である．深層学習ベースの物体検出手法である YOLO[1] は，高精度かつ高速な物体検出を実現した．一方で，物体が遮蔽しているシーンなど特定の条
件下でどの程度の精度であるか十分に評価されていない．
その 1 つの要因として同一シーンにおいて，天候などでの条件が異なるデータを実世界で収集することが困難なためである．そこで，本研究では実環境の物理特性を再現した
シミュレーション環境を用いて，特定の条件下における物体検出の精度を評価する．

2. 物体検出手法

高精度な物体検出手法として，Faster R-CNN が提案されている．Faster R-CNN は，Region Proposal Network
において，物体候補領域を抽出後，各候補領域に対して，物体のクラス分類および物体の位置の特定を行う 2-stage 型の物体検出モデルである．Faster R-CNN は高い精度を達成しているが，処理速度が遅い．そこで，高精度かつ高速な物体検出手法として，YOLO が提案されている．YOLO
は，画像をネットワークに入力し，特徴を抽出する．そして，画像をグリッド分割した各領域に対して，物体のクラスと位置を同時に求める．このような 1-Stage 型の物体検出モデルとすることで，高速な物体検出を実現している．
一方．DETR [2] は物体検出モデルに Transformer を採用した手法である．DETR は，CNN と Transformer を組み合わせた高精度な物体検出モデルである．

指導教授：山下隆義

られるが，YOLOv8 は精度低下せずに他の天候および時間帯と同等以上の検出精度となっている．

図 2: 天候および時間帯を変更した際の検出精度の比較
4.3. オクルージョン度合いによる精度比較

対向車のオクルージョン度合いごとの検出精度を図 3 に示す．ここで，オクルージョン度合いとは，対向車が右折
待機車によりどれだけ遮蔽しているかを表す値である．本
評価の物体検出モデルは YOLOv8 である．図 3 より，オクルージョン度合いが高くなると検出精度は低下する．このとき，雨天時は，他の天候や時間帯よりも精度低下が大きいことが確認できる．

3.Driving Intelligence Validation Platform

Driving Intelligence Validation Platform(DIVP) は，
実環境と高い一致性を有するシミュレーション環境である．
また，図 1 に示すように，同一シーンにおいて，時間帯や天候を変更した映像を生成できる．DIVP シミュレータを活用することで，このような実世界では収集困難な条件のデータを生成して，物体検出モデルの評価が可能となる．

(a) 14 時晴れ(b) 14 時曇り

図 3: オクルージョン度合いによる検出精度の比較
待機している右折車がトラックの場合における対向車の検出結果を図 4 に示す．図 4a は晴天の場合である．これより，対向車の一部が見えていると検出できていることがわかる．一方，図 4b のように，同様のシーンでも天候が雨天の場合，検出できていない．これは，雨滴の影響，または対向車の色がトラックおよび道路と近いことの影響が考えられる．このように，DIVP シミュレータを活用する
ことで，同一シーンにおける天候の違いによる影響を調査可能であることがわかった．

図 1: DIVP で作成したデータ
4. 評価実験

DIVP シミュレータを活用して，同一シーンにおいて時
間帯や天候，走行位置など各種条件を変更したデータを生成する．そして，各種条件が物体検出に与える影響を調査
する．

4.1. 調査条件

本調査では，物体検出モデルとして，Faster R-CNN,
YOLOv8，DETR を用いる．これらの物体検出モデルは，
東京臨海部および金沢市街を走行して収集した 19,260 枚の実世界のデータを用いて学習する．評価には，右折車が待機する交差点に対向車が進入してくるシーンを対象とし，各種条件を変更したデータを生成して評価に用いる．

4.2. 物体検出モデルの精度比較

対向車に対する各物体検出モデルの検出率を比較する．
図 2 に天候および時間帯を変更した際の各検出モデルの検出率を示す．図 2 より，全ての天候および時間帯において，YOLOv8 が最も精度が高い．また，晴天時に逆光が発生する 11 時 (sunny, 11:00) において，Faster R-CNN
や DETR は，他の天候および時間帯よりも精度低下が見(a) sunny(b) rainy

図 4: 天候の違いが与える検出精度への影響
5. おわりに本研究では，DIVP シミュレータを活用して，天候や時間帯などの各種条件が物体検出モデルに与える影響について調査した．その結果，天候の違いが物体検出精度に与えることがわかった．また，オクルージョン度合いが与える影響についても調査した．その結果，雨天時に精度が低下することがわかった．今後は，他のシーンにおける各種条件が与える影響についても調査する．

参考文献[1] J. Redmon, et al., ”You Only Look Once: Unified,
Real-Time Object Detection”, CVPR, 2015.
[2] N. Carion, et al., ”End-to-End Object Detection
with Transformers”, ECCV, 2020.

人の注目領域を用いた ProtoPFormer による詳細画像識別の高精度化

1. はじめにProtoPFormer [1] は，入力画像の前景に注目するようにマスクを適用しつつ，複数のプロトタイプを用いること
画像分類を行う．しかし，ProtoPFormer は不適切な領域を注目することがある．本研究では ProtoPFormer に対して，人の知見として注目領域をモデルに与えることで，精度向上を図る．

2.ProtoPFormer

ProtoPFormer は複数のプロトタイプを用いて画像分類を行うことに加えて注目領域を可視化することができる手法である．ProtoPFormer のモデル構造を図 1 に示す．プ
ロトタイプ層は Global Branch と Local Branch から構成される．Global Branch では画像全体の情報をもつクラス
トークンを入力として大域的な特徴とプロトタイプの類似度を算出する．Local Branch では画像の各パッチの情報をもつ画像トークンを入力として各局所的な特徴とプロトタイプの類似度を算出する．その際，バックボーンネット
ワークの注目領域から作成された FP Mask を用いて前景の画像トークンのみを対象とする．そして，プロトタイプごと求めた類似度について Max pooling を行う．その後，最大値を求める．最後に，全結合層を適用し，Branch ごとにクラス確率を出力する．最後にそれぞれのクラス確立の平均を求めて出力する．
全結合

プロトタイプ

バックボーン
ネットワークGlobal Branch

Similarity
Score
1.57

FC

(#)

!!

Score

Rollout

ViT

Local Branch

Max pooling
2.35
(#)

!%
FP Mask !

: クラストークンℒ!!": 画像トークンFC

1.82: 不正解クラスの予測: 正解クラスの予測

指導教授：山下隆義

EP20031 落合祐馬

(&)

!%

$
!−1

図 1 : ProtoPFormer のモデル図
学習時に使用する損失関数を式 (1) と式 (2) に示す．
"
# c
# $
1 !
#µ̂i − µ̂cj #2 , 0
LµP P C =
max
t
−
(1)
µ
(mcl )2
i!=j

"

" !

LσP P C = tr max 0,

−tσ

$$

(2)

LµP P C は同じクラスのプロトタイプが似ているほど大きな損失を与える．ここで，ml は各クラスで使用するプロトタイプの数であり，µ はプロトタイプである．tµ は閾値である．LσP P C はプロトタイプが注目する領域を小さくする%損失である．
はプロトタイプの共分散行列の対角成分の平均であり，tσ は閾値である．

ViT

Global Branch
Local Branch

⼊⼒画像

Human_Knowledge Branch
Max pooling
2.35
(#)

!!

注⽬領域

ℒ!!"

: クラストークン

BubbleMask !

: イメージトークン: 不正解クラスの予測: 正解クラスの予測

!−1

FC

1.82

$

(%)

!!

図 2 : 提案手法

4.1. 実験条件

データセットとして CUB-200-2010 と Bubble 情報を用いる．Bubble 情報は人の知見をもとに作成したデータセッ
トである．バックボーンネットワークには DeiT の tiny モ
デルを使用する．学習条件はエポック数を 200, バッチサ
イズは 64 とする．各クラスに対するプロトタイプ数は 10とする．Local Branch と Human Knowledge Branch で使用する画像トークンの数はそれぞれ 81 個とする．

4.2. 実験結果

ProtoPFormer と提案手法を 6 つのシード値で実行した結果の最大値，平均値，標準偏差を表 1 に示す．表 1 よりProtoPFormer に人の知見を導入することで認識精度の最大値が約 1.54pt 向上していることが確認できる．
表 1 : 認識精度の比較
最大値 平均値 標準偏差
ProtoPFormer
提案手法

42.40

40.68

1.07

43.65

42.22

0.96

元画像

ProtoPFormer

提案⼿法

予測結果 : ⭕

⭕

正解: Brewer Blackbird 予測結果 : ❌

❌

ProtoPFormer と提案手法のアテンションマップの可視化結果を図 3 に示す．図 3 上部の Parakeet Auklet では
ProtoPFormer は背景を含む領域に注目しているが，提案
手法は頭部と腹部付近に注目し，正しい予測結果となった．
しかし，図 3 下部の Brewer Blackbird では頭部から腹部にかけて鳥の領域を注目したが，正しくない予測結果となった．このことから，提案手法は人の注目領域を用いて分類することが可能となるが，アピアランスが似ている場合は画像分類を間違える場合がある．

正解 : Parakeet Auklet

⼈による
注⽬領域

3. 提案手法

ProtoPFormer に人の知見を組み込むために Human
Knowledge Branch を追加した構造を提案する．提案手法の構造を図 2 に示す．追加した Human Knowledge Branch
では人が認識する際の注目領域をもとに Mask を作成する．
Mask を作成するには，まず最初に，ViT[2] が出力する画
像トークンのサイズになるように注目領域を縮小する．次に，縮小された注目領域の値に順位をつける．最後に，順位が上位の注目領域に対応する画像トークンのみを残す．その後，ProtoPFormer の Local Branch と同様にプロトタ
イプとの類似度を計算し，全結合層を適用する．各 Branchから出力された 3 つのクラス確率の平均をモデルの出力とする．学習の際に使用する損失関数は ProtoPFormer と同様である．

4. 評価実験

本実験では提案手法と ProtoPFormer の精度を比較して有効性を検証する．

図 3 : アテンションマップの可視化

5. おわりに本研究では ProtoPFormer に人の知見を導入する手法を提案し，認識精度の向上とより適切な注目領域の獲得を確認した．今後は各 Branch の寄与率を調査することにより手法の有効性を確認する．

参考文献[1] Mengqi Xue et al. ”ProtoPFormer: Concentratingon Prototypical Parts in Vision Transformers for Interpretable Image Recognition.” arXiv, 2022.
[2] Alexey Dosovitskiy et al. ”An Image is Worth16x16 Words: Transformers for Image Recognition
at Scale.” arXiv, 2020.

Long-Tailed 物体認識における最適な損失関数の組み合わせ調査

指導教授：山下隆義

EP20040 亀井靖人

1. はじめにクラス分類タスクを対象とした深層学習モデルの学習は，正解ラベルと予測確率間の損失を最小化することを目的として，パラメータを更新する．この目的を達成するために，様々な損失関数が提案されている．一方で各クラスのデー
タが不均衡な Long-Tailed 物体認識においては，各損失関数の効果について深く分析されていない．そこで本研究では，Long-Tailed 物体認識での各損失関数の認識精度および再現率を評価し，損失関数の組み合わせ傾向を調査する．

2. 損失関数

画像認識を対象とした深層学習モデルの損失関数は，「出力空間に対するもの」と「特徴空間に対するもの」の 2 つに大別できる．

3.3. 実験結果

各損失関数による精度比較を表 1 に示す．表 1 より，Comp. Loss を適用する事で Tail クラスの精度向上を確認した．PC Loss は，全クラスに適用すると精度が低下する一方，Head クラスに適用すると精度が大幅に向上することを確認した．これは，Head クラスの特徴空間を優先的に形成する事で，Tail クラスを容易に学習できるからであると考える．
表 1 : 各損失関数による精度比較 [%]Comp. Loss

Head クラス

Tail クラス

!

!

N

(1)

Complement Entropy Complement Entropy (Comp.
Loss)[1] は，不正解クラスのエントロピーを考慮する損失関数である．g を正解クラスのインデックスとすると Comp.
Loss は式 (2) となり，C ("y ) が最大となるように学習する．
Comp. Loss の最大化により，高い確率の不正解クラスが正解クラスと競合する可能性を低下させる働きを持つ．
#
$
N
k
1 ! !
y"ij
y"ij
C ("
y) = −
log
(2)
N i=j
1 − y"ig1 − y"igj=1,j!=1

2.2. 特徴空間に対する損失関数

Prototype Conformity Loss Prototype Conformity
Loss (PC Loss) [2] は，特徴空間において，同じクラスの特徴量を近づけ，異なるクラスの特徴量を離す損失関数である．
異なるクラスの特徴量を離すことで，識別境界線付近にあるサンプルの誤分類を抑制する．学習可能なクラス重心 wcと特徴量 fi の関係を αi = "fi − wyci "2 ，βi = "fi − wjc "2 ，γi = "wyci − wjc "2 とすると PC Loss は式 (3) となる．これより，αi を最小化することで特徴量をクラス重心に集め，(βi + γi ) を最大化することでクラス間を離すように働く．
N
!

1 !
Lpc =
{αi −
(βi + γi )}k−1
i3. 評価実験

25.95

41.97

69.62

27.07

42.05

68.65

27.72

41.17

69.40

25.96

40.35

68.94

24.95

43.14

70.45

28.43

!

41.55

68.74

26.90

!

41.47

68.45

26.93

43.61

69.95

29.47

!
!

!

!
!

!

Head クラスに PC Loss，Tail クラスに Comp. Loss を適用した場合に最も精度が向上することが確認できる．特に Tail クラスの精度が大幅に向上している．これは，PC
Loss により Head クラスのクラスタ分布を小さくする事
で，Tail クラスのクラスタ分布との重なりが減り，精度が向上したと考える．

3.4. 考察

学習初期と学習後期のクラス毎の認識精度を可視化し，CE Loss のみの場合と比較する．Test データにおける学
習初期と学習後期のクラス毎の認識精度を図 1 に示す．図1 より，学習初期では Head クラスの正解率が高く，学習後期になると Tail クラスの正解率が高くなる事が確認できる．特に，学習初期に PC Loss は，Head クラスに焦点を当てていることがわかる．これにより，Head クラスの学習を優先的に行いながら，Tail クラスおよび全体が学習されていると言える．以上より，PC Loss と Comp. Lossの組み合わせは実世界のデータ分布に有効であると考える.
300 Epoch

1 EpochHead：37.51 Tail：7.20

Head：68.80 Tail：26.20

1 Epoch300 Epoch

Head：37.20 Tail：0.84

Head：69.45 Tail：25.83(a)CE Loss

(3)

j!=yi

本実験では，実世界のデータ不均衡を表した Long-Tailed
データセットを用いて各損失関数で学習した際の最適な組み合わせを調査する．

3.1. 実験概要

本実験では，PC Loss，Comp. Loss をクラス全体および Head クラス，Tail クラスに適用して学習を行う．ここで，データ数が 100 枚以上のクラスを Head クラス，100
枚未満のクラスを Tail クラスと定義する．

3.2. 実験条件

Tail クラス

69.34!

Cross Entropy Loss Cross Entropy Loss (CE Loss)
は，正解クラスの予測確率を 1 に近づける損失関数である．
CE Loss (H) は，N をサンプルの総数，y を正解ラベルが1 の確率分布，ŷ を予測確率分布をすると，式 (1) となる．
1 ! T
yi · log(ŷi )N i=1

Head クラス

Tail クラス!

2.1. 出力空間に対する損失関数

H(y, ŷ) = −

All

41.14

PC Loss

Head クラス

ネットワークモデルは ResNet-20，活性化関数は ReLU，
バッチサイズは 128，学習の更新回数は 300 エポック，最適化手法は CE Loss，Comp. Loss の場合に Momentum
SGD，PC Loss の場合に SGD を用いる．学習用データセッ
トは CIFAR-100-LT を用い，不均衡率は 100 とする．また，CE Loss で 10 エポック事前学習したモデルを用いる.

(b)PC Loss + Complement Entropy

図 1 : 学習初期と学習後期の認識精度

4. おわりに本研究では，実世界のデータ分布における各損失関数の組み合わせ傾向を調査した．PC Loss を Head クラス，
Comp. Loss を Tail クラスに適用する事で，Long-Tailed
データセットの学習を効率的にできることを確認した．今後は, データセットを変更して実験を行う予定である．

参考文献[1] H. Chen, et al., ”COMPLEMENT OBJECTIVE
TRAINING”, ICLR, 2019.
[2] A. Mustafa, et al., ”Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks”,
ICCV, 2019.

ソフトテキストを用いた CLIP によるゼロショット分類

EP20052 小出清楓

1. はじめにCLIP[1] は大規模なデータセットを用いてテキストと画像間で共通する特徴表現を学習する手法である．学習済みの CLIP モデルは画像と固有名詞を予測するテキストを与えることで，ゼロショット分類が可能となる．CLIP モデ
ルは，画像とテキストの類似度をもとにクラスを予測する
ため，クラスに関する情報がテキストに多く含まれているほど類似度が向上し，分類精度が向上する可能性がある．
そこで，本研究では，CLIP モデルの追加学習をすることなく，テキストに類似しているクラス名を含むように作成したソフトテキストによる精度向上を目的とする．

2.CLIP

CLIP モデルは図 1 に示すようにテキストエンコーダと画像エンコーダの 2 つで構成されている．画像エンコーダには画像を入力し，対応する特徴を抽出する．一方，テキス
トエンコーダには，クラス名を含むテキストを入力し，対応する特徴を抽出する．このとき，全てのクラス名に対する特徴を抽出する．そして，画像の特徴とテキストの特徴の類似度を算出する．最も類似度が高いテキストに含まれるクラスを分類するクラスとする．これにより，ゼロショッ
ト分類が可能となる．
dogcat

A photo ofa {object}.

strawberry

テキスト
エンコーダ

特徴抽出

4.2. 実験結果

指導教授：山下隆義

ソフトテキストとハードテキストを用いたゼロショット
分類精度を表 1 に示す．表 1 より，ソフトテキストを入力とすると，CLIP のテンプレートを用いた場合よりもクラス分類精度が低下した．このことから，従来手法のテキス
トプロンプトに含まれていない単語を追加したことで，精度が低下したと考える．
表 1 : ゼロショット分類時の分類精度の比較 [％]テキストプロンプト
分類精度 [％]
ハードテキスト
96.19
ソフトテキスト ( like )85.56
ソフトテキスト ( look like )95.19
ソフトテキスト ( resemble )91.48

4.3. ハードテキスト特徴量の可視化

CIFAR-10 の画像とハードテキストの特徴量を UMAP
で可視化した結果を図 3 に示す．ここで，丸が画像，星がハードテキストを示す．図 3 より，画像とハードテキストの特徴量がクラスごとにまとまっていることが確認できる．
そのため，CLIP におけるゼロショット分類ではクラス名を含むテキストを与えると対応するクラスの画像の特徴量に近づくことが分かった．

…

…

airplane

car

画像
エンコーダ

𝐼1

T1

T2

T3

…

TN

I1 ∙ T1

I1 ∙ T2

I1 ∙ T3…

I1 ∙ TN

特徴抽出

推論したい画像A photo ofa strawberry.

図 1 : CLIP モデルの構成

3. 提案手法

horse

cat

ship

deer

truck

：ハードテキスト

図 3 : ハードテキスト特徴量の可視化

4.4. ソフトテキスト特徴量の可視化精度が最も高い「look like」を用いたソフトテキストと画像の特徴量を UMAP で可視化した結果を図 4 に示す．
ここで，丸が画像，星がソフトテキストを示す．
airplane
automobile

dog
cat

作成

A photo of｛dog like a cat｝
ネコに似たイヌ10 ship

図 2 : ソフトテキストの作成方法

4. 評価実験

ソフトテキストの効果を確認するために，ハードテキストとソフトテキストそれぞれに対して同じ画像を用いてCLIP による学習とゼロショット分類を行う．そして，分
類精度と特徴量の分布を比較する．
ソフトテキストを作成するためのモデルとして，ResNet50を使用する．誤差関数は交差エントロピー誤差とし，バッ
チサイズを 64，最適化には SGD を用いて 200 エポック学
習する．ソフトテキスト作成時に用いる「似ている」という単語は，英語の場合「like」だけではなく「look like」,「resemble」など複数の単語表現があるため，それぞれの単語でソフトテキストを作成する．CLIP のモデルには，
ViT-L/14 を用いる．また，特徴量の可視化は UMAP を用いる．使用するデータセットは，CIFAR-10 である．

dog
frog

bird

horse

cat

ship

deer

truck

「dog look like a cat」
「horse look like a deer」「automobile look like a truck」「truck look like an automobile」
：画像

1
2

…

画像
エンコーダ

予測値
算出

…

入力

frog

bird

：画像

CLIP モデルによりゼロショット分類を行う場合，“Aphoto of a { クラス名 }. のような 1 つのクラス名のみ含
むハードテキストを使用する．ハードテキストには，クラス間の関係性が十分に含まれていないため，類似している
クラスや車の種類などの分類が難しい．そこで，類似しているクラス名を含むように作成したソフトテキストを用いてゼロショット分類を行う手法を提案する．ソフトテキス
トは CLIP とは別の事前学習したモデルを用いて，クラス
予測値の最も高い 2 クラスを使用し，A に似た B（A likeB）として画像毎にテキストを作成する．作成方法を図 2に示す．

4.1. 実験条件

dog

automobile

プロンプト：ソフトテキスト

図 4 : ソフトテキスト特徴量の可視化
図 4 より，「automobile look like a truck」「，truck look
like an automobile」を表すソフトテキストは，automobileと truck の画像特徴の間の位置に分布しており，双方の関係性を表現している．一方で， 「dog look like a cat」は誤って cat の画像特徴の位置に分布が確認できる．そのため，追加したクラス名の特徴が強く影響してしまうことが分かった．

5. おわりに本研究では，ソフトテキストによるゼロショット分類を行い，精度を比較することでソフトテキストを用いることで生じる傾向を調査した．評価実験では，ソフトテキストによる精度の低下を確認できた．今後は，テキストエンコー
ダの追加学習，複数のソフトテキストを組み合わせることによる精度変化や特徴空間について調査する．

参考文献[1] A. Radford, et al., Learning Transferable Visual
Models From Natural Language Supervision, International Conference on Machine Learning, pp.87488763, 2021.

Transformer モデルによる自由記述文からの成績予測
EP20050 小池正基

1. はじめに教育環境のデジタル化に伴い，デジタル教材に対する学
習者の操作ログから成績予測することで，教育をサポート
する取り組みが始まっている．ログデータを収集するには，
システム構築に多大なコストが必要であることに加え，成績に関連しない不要な操作などのノイズが多く含まれており，
データの前処理を必要とする．そこで本研究では，記録するためのシステムが簡潔で記録のコストが低いアンケートに注目する．アンケートの回答文には生徒の理解度に繋がるキーワードが文脈に含まれるため，成績予測手法に有効であると考える．提案手法では，Term Frequency–Inverse
Document Frequency (TF-IDF) を用いて回答文を分析し，重要単語を成績予測に活用することで，成績予測精度の向上を図る．

2. 講義アンケートを利用した従来の学習支援手法

Tamura らは，講義受講後の自由記述感想文や課題の合否結果を記録したログデータから，BERT モデルを用いて生徒の学習意欲の予測を行っている [1] ．しかし，本研究はアンケート文から成績を予測するものではなく，アンケー
トを用いた成績予測の有効性は明らかでない．

3. 提案手法

本研究では，講義後アンケートから成績を予測する手法を提案する．TF-IDF により推定した重要単語を基に，自然言語モデル RoBERTa [2] の Attention weight を修正し，単語の傾向を考慮した成績予測モデルを構築する．

3.1.TF-IDF による成績別重要単語の推定

回答文における成績ごとの特徴的な単語を強調するために，TF-IDF を用いて回答文内の単語の重要度を評価す
る．TF-IDF は，文章に含まれる各単語の出現回数を用いて，単語の重要度を TF-IDF スコアとして表す尺度である．全文章に含まれる成績 i の文章集合 Gi に対して，各
文章 g ∈ Gi における各単語 t の TF-IDF スコア S は式(1)，式 (2) により求める．
!
g∈Gi TF-IDF(t, g, Gi )S(t, Gi ) =
(1)
|Gi |
"
#
|Gi |
TF-IDF(t, g, Gi ) = log(1 + c(t, g)) · log(2)
df (t)
ここで，c(t, g) は文章 g 中の単語 t の出現回数，|Gi | は成
績 i の文章数，df (t) は Gi で単語 t を含む文章の数である．
各成績の各単語 TF-IDF スコアが他の成績のスコアの平均よりも 2 倍以上であるとき，その単語を重要単語とする．
図 1 に各成績の重要単語を示す．
時間，信号，変換研究，著作権，パスワード

確率，検定，深層情報量，事象，回帰

暗号，調査，抽出：A：B：C

4. 評価実験

指導教授：山下隆義

本実験では，成績予測精度を比較することで，提案手法の有効性を調査する．

4.1. 実験条件

本実験では，九州大学の情報科目の講義で実施したアン
ケートの回答文と，回答者の成績が与えられたデータセッ
トを学習する．アンケートは 15 回にわたり，709 名の生徒に対して 5 つの質問を行い，回答文を収集する．アンケー
トの質問内容を表 1 に示す．回答が無い場合を除き，得られたデータ数は合計 28,669 であった．回答文を事前学習
済み RoBERTa モデルに入力し，得られた特徴ベクトルから MLP によって 5 段階の成績（A, B, C, D, F）に分類する．全体の 8 割の生徒 (552 人) の回答を学習データ，2割の生徒 (139 人) の回答を評価データとして使用する．
質問
Q1
Q2
Q3
Q4
Q5

表 1: 質問内容と未回答率

質問内容
講義を自分なりの言葉で説明してください
講義で分かったことを書いてください
講義で分からないことを書いてください
質問があれば書いてください
講義の感想や反省を書いてください

4.2. 実験結果

未回答率
22.7%
24.0%
35.7%
64.2%
25.6%

表 2 に既存の RoBERTa モデル (Baseline) と RoBERTaに提案手法を導入した場合 (Ours) の予測精度を示す．表 2より，Attention weight を修正することで，Accuracy が1.1pt 向上している．しかし，F1-score は Baseline の方が高いため，一部の成績で精度が向上していると考えられる．
図 2 に各成績の予測精度を混同行列で示す．図 2 より，Ours では，成績 A，C の精度がそれぞれ 5.3pt，8.0pt 向
上し，成績 F の精度が 7.9pt 減少している．一方で，モデルが成績 F と誤分類した結果を比較すると，Ours では誤分類が低下している．この結果から，偏った予測を行うモデルにおいて，提案手法の有効性を示すことができた．

表 2: 予測精度 [%] の比較

Accuracy
F1-score

Baseline
44.1
39.6

Ours
45.2
38.1

：D
：F

図 1: TF-IDF によって求められた重要単語
3.2. 重要単語の Attention weight の修正

RoBERTa は Transformer モデルのエンコーダ部分を用い，文章の穴埋めを行うタスク (MLM) によって事前学習した自然言語モデルである．RoBERTa のアテンション
機構は，入力トークンをクエリとし，キーとの内積をとることで Attention weight を算出する．クエリと重要単語を比較し，一致する部分の Attention weight にバイアスを加算することで，アテンション機構において重要単語が強く反映されるよう修正する．入力トークン Q について重要単語の Attention weight A を求める式を式 (3) に示す．
QK"
A(Q, K) = softmax( √+ bias)dk!i=|G|−1(3)
S(Q,Gj )

j"=i
0.1
if
S(Q,
G
i) > 2|G|−1bias =
0otherwise
ここで，K はキー，dk はモデルの次元数，|G| は G の成績の数，Gj は i 以外の成績 j の文章群，bias は Attention
weight に加算するバイアスを示す．

(a) Baseline

5. おわりに(b) Ours

図 2: 混同行列による比較本研究では，データ収集が容易である自由記述アンケー
トをデータセットに用いた成績予測モデルの有効性を評価した．また，TF-IDF を用いて成績ごとの重要単語を算出
し，Attention weight を重要単語を基準に修正する手法を提案した．その結果，提案手法の Accuracy は提案手法なしと比較して 1.1pt 上昇したが，F1-score は 1.5pt 低下した．今後は，大規模言語モデルによる成績予測，合否判定を予測するモデルの作成，成績の判断根拠の可視化を試みる．

参考文献[1] M. Tamura, et al., オンライン演習下における自由
記述感想文からの学習意欲の推論モデル”, 情報教育シ
ンポジウム論文集, 2020.
[2] Y. Liu, et al., RoBERTa: A Robustly Optimized
BERT Pretraining Approach , arXiv: 1907.11692,
2019.

時系列を考慮した操作ログデータの埋め込み特徴による成績予測

1. はじめに

EP20070 舘良太

教育現場のデジタル化に伴い，学生が電子教材に対して行った操作をログデータとして獲得できるようになった．
そのため，操作ログを用いた研究は活発に行われている．
先行研究では，操作回数ヒストグラム特徴による成績予測手法が提案されている [1]．しかし，操作回数ヒストグラ
ム特徴による成績予測では，時系列を考慮していないため，
学習プロセスを反映させた成績予測が困難である．そこで，
本研究では時系列を考慮した成績予測手法を提案する．

2. 先行研究

先行研究 [1] では，電子教材に対する操作ごとの操作
回数をヒストグラム化して入力特徴としている．これをTransformer エンコーダに入力して成績予測を行う．ヒス
トグラムを用いた入力特徴は，操作回数のみを考慮しているため，時系列情報が損失する．そのため，学習プロセスを反映させた成績予測が困難となる．

3. 提案手法

本研究では，時系列を考慮するために，一定時間ごとの操作ログデータを埋め込み特徴に変換する手法を提案する．
操作ログデータ埋め込みの手順を図 1 に示す. 本実験で用いる入力データは，任意の時間間隔で操作ログデータを分割し，分割した時間内に含まれる各操作を 1 文字で表現する．さらに，操作間隔を 1 秒以上 10 秒以下の場合に “s ，
10 秒以上の場合に “m”を追加する．分割間隔ごとに，これらの文字を連結して 1 つの疑似単語を生成する．これを
fastText[2] に与えて単語埋め込みを行う．これにより，擬似単語を操作と操作間隔の関係性を捉えた，適切な分散表
現に埋め込むことができる．以上の手順を用いて各講義で単語埋め込みベクトルを生成する．そして，各単語埋め込
みベクトルをそれぞれ 1 トークンとし，行われた全講義回分をまとめて Transformer エンコーダに入力することで，成績 5 段評価 (A,B,C,D,F) の予測を行う．

指導教授：山下隆義

る成績の予測精度を示す．表 2 より，提案手法は従来手法と比較して，精度が 12.61pt 向上した．
表 1 : 学習行動の選択数における予測精度
講義分割時間
5分
10 分
15 分
30 分

45 分

平均精度 ± 標準偏差 41.24±0.97 41.65±1.25 42.79±1.50 41.07±0.84 40.47±1.75

表 2 : 従来手法との精度比較
手法
従来手法
提案手法
平均精度 ± 標準偏差 30.18±1.36 42.79±1.50

図 2 に従来手法と提案手法の混同行列を示す．図 2 より，従来では成績 F の予測精度が 11.4%であるのに対し，提案手法では成績 F の予測精度が 28.9%と 17.5pt 改善した．これは，時系列を考慮したことにより，操作の回数やタイミングと成績の関係性を捉えることができたからであると考えられる．

図 2 : 混同行列による手法比較

5. 重要操作の分析

評価実験において最も高い精度を示した，15 分分割による成績予測時の Attention weight を分析する，Transformer エンコーダが注目した 15 分間にどのような操作が行われたかを分析する．評価データにおける重要操作の頻度を図 3 に示す．図 3 より，成績 A の学生は成績 F の学生と比較すると，“Marker”の操作が多いことが確認できる．
これは，成績 A の学生が自発的に，重要な箇所にマーカーを追加という学習行動を行っているためであると考える．

図 1 : 操作ログデータ埋め込みの手順

4. 評価実験

本実験では，提案手法を用いて Transformer エンコー
ダ による成績予測を行い，従来手法と成績予測精度を比較する．

6. おわりに

本実験では，九州大学で収集された操作ログデータを使用
する．2019 年から 2021 年までのデータを訓練データ，2022
年のデータを評価データとする．モデルは Transformer エンコーダを使用し，入力次元数は 128，層数は 4，head 数
は 1，学習率は 0.001，エポック数は 500 で学習を行う．また，成績を 5 段階評価（A, B, C, D, F）で予測する．ここで，fastText による埋め込み次元数は 100 とする．評価指標として，20 回成績を予測したときの平均精度と標準偏差を用いる．また，操作回数ヒストグラム特徴を用いた手法を従来手法とし，本研究の提案手法と比較を行う．

参考文献

4.1. 実験条件

4.2. 実験結果

表 1 に，各講義分割時間における成績の予測精度を示す．
その結果，15 分毎に分割した場合が最も高い精度であることを確認した．続いて，表 2 に，提案手法と従来手法によ

図 3 : 重要操作の分析

本研究では，時系列を考慮した学習ログデータ埋め込みによる成績予測を行った．結果として，提案手法は従来手法に比べ，成績の予測精度が 12.61pt 向上し，成績 F の学生に対しての予測精度が 17.5pt 向上した．また，Transformer
エンコーダが注目した 15 分間において，成績の良い学生
は “Marker”の操作を多く行っていることが判明した．また，図 2 より，成績予測において，成績 B，C，D の学生は予測が困難であることが分かった．今後は 5 段階評価を用いた学習ではなく，3 段階または 2 段階評価による学習を行い，各成績の予測精度の改善を図る．

[1] H. Kohama, et al., “Recommending Learning Actions Using Neural Network”, ICCE,2023.
[2] P. Bojanowski, et al., “Enriching Word Vectors
with Subword Information”, TACL, volume 5, pages
135–146, 2017.

物体領域サンプリングを導入した iNeRF による姿勢推定の高精度化

EP20061 鈴木海斗

1. はじめに物体の姿勢推定の手法の一つに，Inverting Neural Radiance Fields (iNeRF) [1] がある．iNeRF は，RGB 画像
からカメラの姿勢推定が可能である．iNeRF に入力する画
素は，中心サンプリングやランダムサンプリングにより決定する．これらのサンプリングでは，余分な背景情報が含まれたり，物体の一部のみが対象となることで推定誤差が生じることがある．正確に姿勢推定するためには，対象物体の領域を抽出するサンプリングが必要である．そこで本
研究では，二値化処理により検出した物体範囲内から画素を決定する物体領域サンプリングを提案する．

2.iNeRF による姿勢推定

iNeRF は初期値のカメラ姿勢から目標画像のカメラ姿
勢を推定する手法である．このとき，中心サンプリング
またはランダムサンプリングによって入力の画素を決定する．そして，カメラ姿勢から見た画素に対して仮想的な光線を投射し，この光線情報を pixelNeRF [2] に入力する．
pixelNeRF の出力は，光線上の色と密度であり，ボリュー
ムレンダリングにより光線に対する画素の画素値を決定す
る．レンダリングした画素と目標画像の画素の MSE を取り，誤差逆伝播法を使用してカメラ姿勢を更新する．
iNeRF のサンプリングにおいて，中心サンプリングは
局所的，ランダムサンプリングは大域的であるため，余分な背景や物体の一部のみをサンプリングしてしまうことがある．そのため，姿勢推定に有効な情報を持つ物体の画素が選択されにくく推定精度が低下するという問題がある．

3. 提案手法

姿勢推定に有効な情報を持つ画素をサンプリングするため，対象物体を考慮した物体領域サンプリングを提案する．
対象物体を検出するために，二値化処理を施す．物体領域
サンプリングでは，二値化により検出した物体の範囲内からランダムに画素を決定する．各サンプリングの比較を図1 に示す．このサンプリング方法を iNeRF に導入したネッ
トワーク構造を図 2 に示す．まず初期画像と目標画像から物体の画素を検出する．次に，この 2 つの検出結果を結合し，物体の画素をサンプリング領域とする．このサンプリ
ング領域の中からランダムに画素をサンプリングする．提案手法ではサンプリング方法のみを変更し，他は iNeRFと同様の処理を行う．2 回目以降のサンプリングは，更新されたカメラ姿勢からレンダリングされた画像と目標画像を二値化処理してサンプリング領域とする．

4. 評価実験

指導教授：山下隆義

本実験では，中心，ランダム，物体領域サンプリングを用いた iNeRF の姿勢推定精度を比較することで，提案手法の有効性を示す．

4.1. 実験条件

本実験では，サンドイッチ，マトウダイ，車，椅子のデー
タセットを [5,30] 度の範囲でランダムに回転させた 125 組
用いてサンプリング方法を比較する．推論時の設定は，最適化手法を Adam，更新回数を 200，サンプリング数を 1024，
損失関数を MSE とする．評価方法は，推定角度 [x, y, z]の誤差平均を計算する．ここで，推定角度が 20 度以上の場合はエラーとする．

4.2. 実験結果

サンドイッチ，マトウダイ，車，椅子のデータセットを
各サンプリングで姿勢推定した結果を表 1 に示す．() 内の数値は標準偏差である．表 1 より，物体領域サンプリングを用いた姿勢推定の精度が向上している．
椅子データを対象とし，更新回数 (step) が 0，100，200のときの生成結果を図 3 に示す．図 3 より，物体領域サンプリングは更新回数が 100 回目のとき，目標画像に近い形状になっており，収束が速いことが確認できる．これにより，物体領域サンプリングを用いた iNeRF の有効性を示すことができた．
データセットサンドイッチマトウダイ
車

椅子

図 1 : 各サンプリングの比較

5. おわりに

表 1 : 姿勢推定精度の比較
評価
中心
ランダム
推定の誤差 4.80 (3.34) 4.94 (3.18)
エラー率
0.16
0.14
推定の誤差 6.03 (3.57) 6.03 (3.73)
エラー率
0.39
0.04
推定の誤差 3.29 (2.80) 3.34 (2.61)
エラー率
0.01
0.04
推定の誤差 4.10 (3.55) 4.12 (2.97)
エラー率
0.16
0.15

物体領域
4.51 (3.12)
0.11
5.69 (3.34)
0.24
2.89 (2.65)
0.01
2.83 (2.69)
0.12

図 3 : 姿勢推定の可視化

本研究では，二値化処理により検出した物体内からランダムに画素を決定する物体領域サンプリングを提案した．
提案手法は，中心，ランダムサンプリングよりも姿勢推定精度が向上することを確認した．今後は，iNeRF の損失関数や最適化手法などを変更し，更なる精度向上を目指す．

参考文献[1] L. Chen, et al., “iNeRF: Inverting Neural Radiance
Fields for Pose Estimation”, IROS, 2021.
図 2 : 物体領域サンプリングを導入した iNeRF[2] A. Yu, et al., “pixelnerf:Neural Radiance Fields from
One or Few Image”, CVPR, 2021.

周辺の詳細な選手情報を活用した視線予測

1. はじめに指導教授：山下隆義

EP20099 堀尾契太

スポーツ選手は，スキルレベルにより視線の動きに差があることが知られている [1]．そのため，プロ選手の視線情報を活用したアマチュア選手の育成が注目されている．伊佐らはサッカーのプロ選手の視線データを収集し，任意のシーンにおけるプロ選手の視線を推定する手法を提案した[2]．しかし，RGB 画像から視線を予測するため，選手やボールとの関係が十分に活用されていない．そこで，本研
究では RGB 画像に加え，選手とボールの位置，選手の姿
勢をシーンのコンテキスト情報として入力することで，視線推定精度の向上を図る．このとき，どのような詳細情報の組み合わせが適切か定量的，定性的に分析する．

2.Dilated Inception Network

本研究では，Dilated Inception Network(DINet)[3] を用いて視線推定を行う．図 1 に DINet のモデルアーキテクチャを示す．DINet は，特徴抽出器に拡張畳み込み処理を用いた Dilated Residual Network(DRN)，Dilated Inception
Module(DIM) を採用することで，高い精度を保ったまま計算量を減少させたモデルである．

と同様にボールのパスとキープの練習シーンから構成する
Ball Position Traning(BPT) のフレーム画像を学習デー
タに用いる．

4.2. 定量的評価

定量的評価結果を表 1 に示す．これより，選手とボールの位置，選手の姿勢情報を用いることで従来手法より精度が向上することが確認できる．また，NSS の値は位置デー
タのみを用いた場合が最も高く，CC の値は位置データのみを用いた場合が最も高い．NSS は注視点の位置を評価できるため，位置データはボールや選手の正確な位置を獲得することに寄与していると考えられる．また，CC は Ground
Truth と推定結果を確率分布と見なした際の相関を評価できるため，骨格データはシーン状況と視線の関係性の獲得に寄与していると考えられる．しかし，位置・骨格データを併用した場合，いずれかのデータのみを追加した場合と比べ精度向上がわずかである．これは，位置データと骨格データの認識精度の差異から，同時に処理した際に不適合が発生したためだと考えられる．

表 1: コンテキスト情報を追加した時の精度
位置データ

!
!

4.3. 定性的評価

図 1: DINet のモデルアーキテクチャ

3. シーンのコンテキスト情報の作成

RGB 画像のみでは獲得しにくい情報を補完するため，選手とボールの位置をバイナリマスク (位置データ)，選手の姿勢を骨格画像として作成し，入力データに追加する．

3.1. 作成方法

骨格データ

!
!

CC ↑
0.378
0.408
0.409
0.401

NSS ↑
5.048
5.537
5.445
5.383

図 3 に視線データの正解画像と，それぞれの条件での視線推定結果を示す．位置データのみを用いた場合，図3(a)(b)(c) で推定結果が正解に近いことが確認できる．また，骨格データのみを用いた場合，図 3(a)(b)(d) で推定結果が正解に近いことが確認できる．一方で，全データを用いた場合，図 3(a) および (c) では正解と同様にボールを注視しているが，図 3(b) および (d) では，正解とは異なり，手前側の選手に注目していることが確認できる．これは，全ての選手に対して Keypoint が設定していないため，
誤った入力になったことが原因と考える．

サッカー中継映像データで学習した YOLOv7 を用いて選手及びボールの位置を検出する．そして，検出した物体
領域内を1，背景を0としたバイナリマスクを作成する．また，各選手の骨格を Keypoint Detection で検出して骨格データを作成する．

3.2. シーンのコンテキスト情報の処理方法

位置データおよび骨格データをそれぞれの特徴抽出器に入力し，特徴量を連結した合成特徴量をデコーダに入力する．図 2 に変更後の DINet のモデルアーキテクチャを示す．

図 2: 変更後の DINet のモデルアーキテクチャ

4. 評価実験

シーンのコンテキスト情報の組み合わせによる精度変化を比較し，本手法の有効性を検証する．

4.1. 実験条件

最適化手法を Adam，学習率を 0.0001，エポック数を10，バッチサイズを 8 として DINet を学習した．評価指標
は The Linear Correlation Coefficient (CC)，Normalized
Scanpath Saliency (NSS) を用いる．また，先行研究 [2]5. おわりに

図 3: 定性的評価

本研究では，RGB 画像に加え，選手とボールの位置，選手の姿勢をシーンのコンテキスト情報として用いる視線推定手法を提案した．評価実験より，位置データと骨格デー
タは視線推定に有効であることが確認できた．今後は更なる精度向上に向け，シーンのコンテキスト情報の活用方法
を考える．

参考文献

[1] A.Phantak, et al., “Keep your head up―Correlation
between visual exploration frequency, passing percentage and turnover rate in elite football midfielders Sports”，MDPI Sports, 2019.
[2] 伊佐 稜, et al., “サッカーのトレーニングにおける中盤選手の注視点比較と視線推定”, メディア工学研究会，
2022.
[3] Sheng Yang, et al., “A dilated inception network forvisual saliency prediction”, TMM, 2019.

マルチエージェント強化学習におけるハンガリアン法による報酬割当

1. はじめに

EP20105 三島広暉

実世界には，商品運搬におけるロボット群の制御のように複数のエージェントが協力し合う協調タスクが存在する．
これらの協調タスクを解く手法としてマルチエージェント
強化学習がある．本手法は，他エージェントの情報を考慮して自身の行動を決定する方策を学習する．このとき，各エージェントが目的地に移動するタスクの場合，どのエー
ジェントがどの目的地に向けて行動するか決める必要があ
る．この割り当てが正しくないと高い報酬を得られない．
そこで本研究では，ハンガリアン法 [1] を用いた割り当てに基づく報酬算出法を提案する．ハンガリアン法を用いることで報酬算出時のエージェントの割り当てを求めることができ，報酬割当問題を解決可能となる．Simple Spread
環境を用いたハンガリアン法の有無による評価から，本手法の有効性を調査する．

2. マルチエージェント強化学習における問題点

マルチエージェント強化学習とは，複数のエージェントの方策を同時に学習する手法である．各エージェントが独自の方策に従い行動を決定し，決定した行動を全エージェ
ント共有の評価ネットワークにより評価することにより，
他エージェントを考慮した協調行動を獲得できる．一方で，エージェント数が増えると学習時の報酬割当が困難となり，選択した行動に対する正しい評価ができない．複数のエー
ジェントが異なるゴール（ランドマーク）を目指すタスクの場合，ランドマークを基準としてエージェントを割り当てるのが一般的である．しかし，この割り当てでは複数のランドマークに対して 1 つのエージェントが割り当てられることがある．そのため，報酬算出時に正しい割り当てを行うことは最適な協調行動の獲得に重要である．

3. 提案手法

学習時の報酬割当問題にハンガリアン法を導入した報酬算出法を提案する．ハンガリアン法による割り当ての手順を図 1 に示す．ここで，各色の丸はランドマーク，数字はエージェントを示す．各 Step を以下に示す．

Step 1： ランドマークに基づくコスト関数からコスト行列を作成．
Step 2： 行方向および列方向ごとの最小値を各要素から減算
Step 3： 行方向および列方向ごとに要素が 0 であるペアを割り当て候補とし，割り当て候補から完全マッチング可能
か判定．全割り当てが可能な場合 Step5 へ遷移．ここで完全マッチングとは，割り当て先が重複しない割り当てのことである．
Step 4： 割り当て候補以外の最小値を用いた加減算による割り当て処理後，Step3 へ遷移．
Step 5： 割り当てに基づき報酬計算

報酬算出時にハンガリアン法による割り当てを行うことで，
エージェントの割り当てを決定し報酬を算出する．コスト関数にはエージェントとランドマーク間のユークリッド距離を用いる．図 1 より，エージェントとランドマークが 1
対 1 対応した割り当てが求められ，環境内の全てのエー
ジェントとランドマークの情報を用いて報酬算出可能であることがわかる．

4.1. 実験環境

指導教授：山下隆義

Simple Spread は複数のエージェントとランドマークをランダムな位置に生成し，各エージェントが衝突を避けながらランドマークへの到達を目指すタスクである．Simple
Spread における報酬設計は，ランドマークと各エージェン
ト間の最小ユークリッド距離の負数，エージェント同士の衝突に対する負数 (−10) の和である．ここで，最小ユー
クリッド距離はランドマークを基準とし算出する．

4.2. 実験概要

本実験では，学習アルゴリズムとネットワーク構造は板谷らの手法 [2] を用い，報酬算出時のハンガリアン法の有無による比較を行う．比較対象は，ランドマーク基準による報酬（w/o hungarian）と提案手法であるハンガリアン法に基づく報酬 (w/ hunagarian) である．学習条件は，エー
ジェント及びランドマーク数を 3 個から 5 個までランダムに変え，1 エピソード間の step 数を 40 とする．エージェ
ント数が 3 または 4 では 500,000 エピソード，エージェン
ト数 5 では 800,000 エピソード学習する．エピソード終了時における各ランドマークとエージェント間の平均ユーク
リッド距離により評価する．平均ユークリッド距離の値が低いほどエージェントがランドマークに到達できていることを意味する．

4.3. 実験結果

各報酬設計で学習したモデルを用いて 50 エピソード分を評価した．エピソード終了時における平均ユークリッド
距離を表 1 に示す．ここで，表 1 の値はシード値を 5 回変
更して平均をとったものである．表 1 より，エージェント
数 4 と 5 ではハンガリアン法を用いると，ランドマークにより近づけたことがわかる．

表 1: 50 エピソード評価時の平均ユークリッド距離
ハンガリアン法w/ow/

エージェント数
3
4
5
0.64
0.97
1.07
0.73
0.77 0.99

エージェント数 4 のエピソード終了時における定性的比
較を図 2 に示す．図 2 より提案手法は，エージェントがランドマークにより近づいていることがわかる．これらの結果から，エージェント数 4 と 5 の環境はエージェント数 3の環境と比べ，エージェントとランドマークの配置が複雑となり，報酬算出時の割当が難しくなる．そのため，ハンガリアン法による割り当てが有効であったと考えられる．

図 2: ハンガリアン法の有無における定性的比較
5. おわりに本研究では，マルチエージェント強化学習における学習
時の報酬割当問題に対しハンガリアン法に基づく報酬算出法を提案した．Simple Spread による評価から，タスクが複雑であるほど，ハンガリアン法が有効であることを確認した．今後は，他環境での本手法による有効性を検証する．

参考文献
図 1: ハンガリアン法による割り当て手順
4. 評価実験

本報酬算出法の有効性を確認するため，Simple Spreadを用いて評価する．

[1] H. W. Kuhn, “The Hungarian method for the assignment problem”, Naval Research Logistics Quarterly,
1955.
[2] H. Itaya, et al., “Visual Explanation for Cooperative
Behavior in Multi-Agent Reinforcement Learning”,
In IJCNN, 2023.