機械知覚&ロボティクスグループ
中部大学 工学部 情報工学科

2020年度 山下研究室 卒業論文発表 アブストラクト
Deep Learning Data Augmentation Deep Mutual Learning

スーパークラスを考慮したmixupによるDeep Mutual Learningの高精度化
藤井 駿伍
Deep Learning Knowledge Distillation

Human-in-the-loopによる設計空間の絞り込み法を導入した知識転移グラフの探索
岩田 幸
Deep Learning Network Pruning Transfer Entoropy

移動エントロピーを用いた再帰型ニューラルネットワークの枝刈り
茅壁 稜真Deep Learning Object Tracking Dataset

物体追跡による経路データセットの自動生成とその効果
伊佐 稜
Deep Learning Activity Forecasting

パーソナルスペースを考慮したSocial GANによる経路予測
佐野 剣太
Deep Learning Graph Convolutional Network Path Prediction

関係性部分グラフを用いたGraph convolutional networkによる経路予測
宮田 昌樹
Deep Learning Reinforce Learning Self-Driving

深層強化学習によるモデル選択機構を導入した一貫学習ベースの自動運転
倉橋 利空
Deep Learning Semantic Segmentation Cross-consistency Training

運転計測情報を用いたデータ選択と半教師あり学習によるセマンティックセグメンテーション
山田 裕大
Local Image Feature

Keypoint Matching

URL: http://mprg.jp

スーパークラスを考慮した mixup による Deep Mutual Learning の高精度化
指導教授：山下隆義

EP17099 藤井駿伍
1. はじめにDeep Mutual Learning（DML）[1] は，複数のモデル
間で知識を伝達し，相互に学習を行う手法である．DMLの基となる蒸留（Distillation）[2] では，学習済みモデル
によるクラスの予測確率を教師として用いることで，モデル性能を向上させている．予測確率は Soft Target と呼び，正解クラスと他のクラスとの相対的な類似性を表現している．しかしながら，予測確率はモデル依存であり，人間が目標とした予測確率にならない．
入力データを混合して人間が目標とした予測確率となる
ような正解ラベルを作成できる方法として，mixup[3] がある．mixup は，Data Augmentation 手法として用いられ，認識精度の向上を図ることができる．一方で，mixup は混合するデータのクラスによらず同じベータ分布に従い混合するため，類似性の低いクラス同士の中間的な混合データが生成されることもある．そこで，本研究では，クラスの上位集合であるスーパークラスを利用した mixup を提案する．

提案手法における混合比率の選択は，予め設定した選択肢を用いる方法（選択制）と，ベータ分布を用いる方法が考えられる．前者は，混合対象のスーパークラスが同じ場
合は中間の混合比率で混合し，異なる場合はいずれかのクラスの比率が高くなるように混合する．後者は，スーパークラスが同じ場合は α を 8.0，異なる場合は 0.2 とする．
ベータ分布を用いることで，スーパークラスの関係に反した比率での混合を許容する．提案手法を適用した画像の例を図 3 に示す．図 3 では，orchids クラスと tulips クラス
はスーパークラスが同じであるため，中間の混合比率として 0.5，tulips クラスと trout クラスはスーパークラスが異なるため，tulips クラスの比率が高くなる 0.9 や trout
クラスの比率が高くなる 0.1 を選択している．

2.Deep Mutual Learning
DML は，複数のモデル間で予測確率を知識として伝達
し，単体学習を上回る精度を実現する手法である．DMLの概略図を図 1 に示す．学習用データを用いた通常の学習に加え，入力データに対する予測確率がモデル間で互いに近づくように学習を行う．

図 3 : 提案手法を適用した画像

5. 評価実験
評価実験により，提案手法の有効性を評価する．

5.1. 実験概要
モデルは ResNet32 とし，学習及び評価データには CIFAR100 を用いる．CIFAR100 では，100 種類のクラスが20 種類のスーパークラスに 5 種類ずつ分類されている．損失関数には交差エントロピー，予測確率を近づけ合うモデル間の損失関数には KL-Divergence を使用する．通常のmixup における α の値は 1.0 とする．

図 1 : Deep Mutual Learning

3.mixupmixup は，2 枚の画像及びラベルを混合し，新たなデー
タを生成する手法である．画像及びラベルの混合処理を式(1)，式 (2) に示す．
x̃ = λxi + (1 − λ)xj

(1)ỹ = λyi + (1 − λ)yj(2)

ここで，x̃ は混合画像，λ は混合比率，x は処理前画像，ỹは混合ラベル，y は x に対応する処理前ラベルである．xi ，
xj はランダムに選択され，λ はハイパーパラメータを α とするベータ分布 Beta(α, α) に従う確率で決められる．

4. 提案手法
提案手法では，混合対象のスーパークラスを考慮してmixup の混合比率を選択し，生成する混合データの傾向を調整する．スーパークラスは，各クラスをより大きなカテゴ
リで分類する上位集合であり，概念辞書である WordNet[4]に従って定義する．提案手法の概念図を図 2 に示す．スーパークラスが同じである orchids クラス，tulips クラスの場合，中間の混合比率になりやすくする．一方，スーパー
クラスが異なる tulips クラス，trout クラスの場合，いず
れかのクラスの比率が高くなるように混合する．これにより，DML において類似するクラス間の予測確率を重点的に学習可能となる．

5.2. 実験結果
各手法の精度を表 1 に示す．表 1 より，提案手法が最も高精度であり，ベータ分布を使用することによって更に精度が向上していることが分かる．DML において，スーパークラスを利用した mixup は有効であり，スーパークラスの関係に反した例外的な混合データを僅かに含めることも重要であることが分かる．
表 1 : 定量的評価 [%]手法
モデル 1 モデル 2

mixup 無し
mixup (α = 1.0)
選択制
提案手法
ベータ分布

71.51
71.37
72.23
73.28

71.46
71.08
71.93
73.01

6. おわりに本研究では，蒸留においてクラスの予測確率の知識が重要であることから，DML で混合データを用いて予測確率を効果的に学習する手法を提案した．提案手法では，データを混合する際にスーパークラスを考慮させ，mixup を行う．評価実験では，提案手法の有効性及び例外的な混合
データの重要性を確認した．今後は，混合画像の注視領域
やモデルの潜在表現による定性的な分析，異なるモデルや
データセットにおける有効性の調査を行う．

参考文献[1] Y. Zhang, et al., “Deep mutual learning”, CVPR, 2018.
[2] G. Hinton, et al., “Distilling the knowledge in a neuralnetwork”, NeurIPS, 2015.
[3] H. Zhang, et al., “mixup: Beyond Empirical Risk Minimization”, ICLR, 2018.
[4] G. A. Miller, “WordNet: A Lexical Database for English”, Commun. ACM, Vol. 38, No. 11, pp. 39–41, 1995.

図 2 : スーパークラスによる混合データの調整Human-in-the-loop による設計空間の絞り込み法を導入した知識転移グラフの探索
指導教授：山下隆義
EP17014 岩田幸
共同学習とは，複数のネットワーク間で知識を伝達しながら学習することで，ネットワークの性能を向上させる
学習法である．知識転移グラフ [1] は共同学習の一種であり，知識の伝達方法を自動最適化することにより，様々な学習方法を表現できる．知識転移グラフ最適化時の探索空間は非常に膨大なため，最適な知識転移グラフの獲得が困難である．そこで，本研究では知識転移グラフの探索空間
を Human-in-the-loop により段階的に絞り込む手法を提案する．

2. 知識転移グラフ
共同学習をグラフ構造で表現し，知識の伝達をゲート関数によって制御する知識転移グラフ [1] が提案されている．知識転移グラフは，各ネットワークをノードで表現し，ノード間の知識の伝達をエッジとして表現する．知識転移
グラフのハイパーパラメータは，ネットワークとゲート関数である．ゲート関数には，Through gate，Cutoﬀ gate，Linear gate，Correct gate の 4 種類がある．ノード数を3 とした知識転移グラフでは，これらのハイパーパラメー
タの組み合わせは 1,179,648 通りとなり，1 グラフあたりの学習時間は約 6 時間であるため，全探索は現実的な時間で計算不可能である．

3. 提案手法
本研究では，知識転移グラフの設計空間を Human-inthe-loop で探索と分析を繰り返して段階的に絞り込む手法を提案する．ここで，設計空間とは，最適解を探索するために人が設計する空間を指す．提案手法は精度が高いグラ
フに共通するハイパーパラメータに着目して設計空間を絞り込む．図 1 に設計空間の構築の概念図を示す．設計空間
A から絞込み，設計空間 B を得る．これを組み合わせ数が十分少なくなるまで繰り返す．設計空間を段階的に絞り込
むため，ハイパーパラメータは次第に限定される．

WRN28-2 を使用する．ゲート関数には，Through gate，Cutoﬀ gate と Linear gate を使用する．

4.2. 実験結果
表 1 に提案手法により絞り込んだ設計空間を示す．A が初期の設計空間であり，探索に使用するハイパーパラメー
タに制約はない．B は，設計空間 A の探索で最も効果が高い WRN28-2 (補助ノード) を用いた設計空間である．C
は，設計空間 B の探索で最も効果が高い Through gate (教師ラベルから補助ノードへ) を用いた設計空間である．X
は，設計空間 C の探索で最も効果が高い Through gate かLinear gate (補助ノードからターゲットノードへ) を用いた設計空間である．設計空間 X の組み合わせ数は設計空間
A の 1/81 であり，全探索の探索回数を大幅に削減できる．

表 1: 設計空間
設計空間

制約

組み合わせ数

探索回数

39,366
9,842
1,094
486

3,616
3,055
2,996
2,430

なし
+ WRN28-2+ Through+ Through or Linear

A
B
C
X

図 2 に各設計空間の EDF を示す．横軸は閾値であり，縦軸はエラー率が閾値以下となるグラフの割合を示す．n は探索で獲得したグラフの数を指す．設計空間を限定してい
くにつれて，EDF の傾きが大きくなることから，エラー率が低いグラフの集合へと設計空間を絞り込むことができた．

Cumulative probability

1. はじめに

1.0
0.8
0.6
0.4

A (n=3351)
B (n=2824)
C (n=2869)
X (n=1294)
33
34
35

0.2
0.026

27

28

29

30

31

32

Error rate [%]図 2: 各設計空間の EDF
A

B

C

X

図 1: 設計空間の構築
分析には，式 (1) に示す Empirical Distribution Function (EDF) [2] を使用する．ここで，e は閾値，ei はエラー
42率，n は探索で獲得したグラフの数である．
n∑1
F (e) =
1[ei < e]
(1)
n
i=1

提案手法は以下の Step1 から Step4 を用いて設計空間を段階的に絞り込み，知識転移グラフを探索する．
Step1. 知識転移グラフの設計空間をランダムサーチ
Step2. 知識転移グラフのハイパーパラメータの傾向分析
分析には EDF を使用し，エラー率が低いグラフに共通するハイパーパラメータを選択する．
Step3. 設計空間の絞り込み
Step2 で選択したハイパーパラメータで設計空間を限定する．
Step4. 設計空間 X の全探索
Step1 から Step3 を繰り返し，限定した設計空間 X に対して全探索を行う．

4. 評価実験
知識転移グラフの設計空間を段階的に絞り込む提案手法の有効性を検証する．

4.1. 実験概要
提案手法により限定した設計空間 X を全探索して得られたグラフを用いて 5 回学習を試行し，従来手法を用いた探索結果との比較を行う．データセットには CIFAR-100 を使用する．探索時は，train 用データセット 50,000 枚の内，訓練用に 40,000 枚，検証用に 10,000 枚を使用する．ター
ゲットノードに ResNet32，補助ノードに，ResNet32 と図 3 に設計空間 A を従来手法 [3] で探索して得られたグ
ラフと，設計空間 X を全探索して得られたグラフを示す．
赤色のノードはターゲットノードであり，“Label” は教師
ラベルを指す．括弧内に各探索方法で獲得した Top1 のグラフを用いて 5 回学習を試行した平均精度を示す．これにより，従来手法より高精度なグラフを獲得できた．探索で獲得したグラフから，学習初期に他のノードから伝達する
知識を強さを抑えると精度向上することが確認できる．また，設計空間 X の全探索結果から，教師ラベルから直接知識を伝達しない場合でも精度向上することが確認できる．
Label

Through
1. ResNet32

Label

Through Linear
Label

Linear

2. ResNet32

1. ResNet32
LinearThrough ThroughThrough Linear Linear
3. WRN28_2

設計空間Aのランダムサーチ+枝刈り
従来手法 (73.96%)

Linear Linear

Label

Linear Through2. WRN28_2

Label

Through Linear

Through

3. WRN28_2

設計空間Xの全探索
Ours (74.52%)

図 3: 獲得した最適な知識転移グラフ
5. おわりに45
本研究では，Human-in-the-loop を用いて知識転移グラフを探索した．評価実験により，グラフの組み合わせ数を削減することができた．今後は，ベイズ最適化を用いて知識転移グラフを探索する．

参考文献[1] S. Minami, et al., “Knowledge Transfer Graph for
Deep Collaborative Learning”, ACCV, 2020.
[2] I. Radosavovic, et al., “Designing Network Design
Spaces”, CVPR, 2020.
[3] L. Li, et al., “A System for Massively Parallel Hyperparameter Tuning”, MLSys, 2020.

移動エントロピーを用いた再帰型ニューラルネットワークの枝刈り
指導教授：山下隆義

EP17037 茅壁稜真
1. はじめに4.2. 実験概要

ネットワークの枝刈りは，重要度の低いニューロンを削除することで，ネットワークを軽量化する手法である．従来の枝刈り手法の多くは，静止画像を対象としており，時
系列データに最適な手法が提案されていない．そこで，本研究では時系列データを対象とした，移動エントロピーによる枝刈り手法を提案する．これにより，再帰型ニューラ
ルネットワーク (RNN) の分類精度を維持しつつニューロンを削減できることとする．

まず，ネットワークを UIUC Video Dataset を使用して動きのクラス識別の学習を行う．その後，そのネットワー
クに対して 2 種類のニューロンの削減方法を行う．一つ目
は，RNN の中間層の各ニューロンに対して，特定のニューロンを削減した際の精度を調査する．二つ目は，重要度の低いニューロンを削減した際の精度を調査する．

2. 従来手法
Liu ら [1] は，エントロピーや相互情報量を算出し，認識精度への寄与率 (重要度) が低いと考えられるニューロンを削減する手法を提案している．エントロピーはニューロンの出力から算出し，相互情報量はニューロンの出力と正解ラベルから算出する．尚この手法では，静止画像の識別を対象としており，動画像のような時系列データを対象としていない．

3. 提案手法

4.3. 実験結果
図 2 に RNN 層 (ニューロン数:128) の各ニューロンの相互情報量を x 軸，移動エントロピーを y 軸とし，特定のニューロンを削減した際の精度のカラーマップを示す．ここで，ニューロン n1 と n2 に着目すると，これらのニューロンは他のニューロンを削減した際と比べ，精度が大幅に低下することがわかる．n1 は相互情報量が低く，n2 は高い．一方で，移動エントロピーは共に低い．これより，移動エントロピーが低いニューロンが重要であると考えられる．したがって，相互情報量よりも移動エントロピーの方が認識結果への寄与率が高いといえる．

本研究では，時系列データを対象とし，移動エントロ
ピー [2] を用いた RNN の枝刈り手法を提案する．移動エントロピーは情報量の一種であり，情報の流れを抽出することが可能である．提案手法は，図 1 に示すように，中間層の時刻 t の出力を xt ，時刻 t + 1 の出力を xt+1 ，その学習データに対応する時刻 t の正解ラベルを yt とすると，移動エントロピーは式 (1) により算出できる．

∑

TY →X =∑p (xt+1 , xt , yt ) log

xt+1 ,xt ∈X yt ∈Yp (xt+1 | xt , yt )p (xt+1 | xt )(1)
Y → X は，Y から X への因果的な影響の情報理論的な定量化を示す．これにより，エントロピーや相互情報量では得られなかった時系列性を考慮した重要度を得ることができる．この移動エントロピーの値の大きさに基づき削減するニューロンを決定することで，RNN の軽量化を図る．

…

…

…

Data
Time

…

…

Convolution

…

FC
xt

…

FC

…

…

yt+1

Convolution

Convolution

t

t+1

…

1

…

…

yN

…

FC

xt+1

…

…

…

FC

TY→X

…

yt

z

…

z

y1

z

RNN
(LSTM)z

Label

Total of neurons:128

Convolution

…

…

N

図 2 : 各ニューロンの相互情報量と移動エントロピー
図 3 に RNN 層 (ニューロン数:128) のニューロンの内，相互情報量と移動エントロピーの値の高いニューロンを削減した場合 (Low) と，低いニューロンを削除した場合 (High)の認識精度の比較を示す．共に High と比べ，Low が精度が安定していることがわかる．これにより，情報量が低いほど重要なニューロンであるといえる．これは正解ラベルとの曖昧さが少ないためだと考えられる．また，相互情報量よりも移動エントロピーを用いた方が高い認識精度を維持している．これにより，相互情報量では得られなかった
重要度を移動エントロピーが獲得しているといえる．
100

図 1 : ネットワークの構造と移動エントロピーの算出

4. 評価実験
移動エントロピーによる枝刈り手法の有効性を示すために，相互情報量と移動エントロピーで枝刈りした場合の精度比較を行う．

4.1.UIUC Video Dataset
評価データは，UIUC Video Dataset を用いる．この
データセットは，静止画像の UIUC Dataset のテクスチャ画像を使用し，各画像に対して上下左右の移動，拡大縮小，
左右回転の動きを加えた動画から構成される．訓練データ
は 32,000 本，評価データは 8,000 本，フレームサイズは
32 × 32 pixels，フレーム数は 100 である．1 つの動画像中に異なる動きが含まれており，1 つの動作のフレーム数
は 50 である．

99
Accuracy(%)

ネットワークは図 1 に示ように，畳み込み層 (Convolution)，RNN 層，全結合層 (FC) からなるネットワークである．畳み込み層のチャンネル数は 16 である．RNN 層には Long Short Term Memory(LSTM) を 128 ユニット
用いる．全結合層のユニット数は対象とするタスクまたは
データセットのクラス数と同一である．

n2

n1

98
97
96
95

Low Mutual Information
Low Transfer Entropy
High Mutual Information
High Transfer Entropy

94 0(0%)5(4%)

10(8%)
15(12%)
20(16%)The number of pruned neurons(Pruning rate)

25(20%)

図 3 : RNN の枝刈りによる精度の比較

5. おわりに本研究では移動エントロピーを用いた RNN の枝刈り手法を提案した．今後の予定として，異なる指標を用いた
RNN 層のニューロンの影響の分析などが挙げられる．

参考文献[1] K. Liu, et al., “Understanding individual neuron importance using information theory.” arXiv preprint
arXiv:1804.06679, 2018.
[2] T. Schreiber, “Measuring information transfer”,
Phys. Rev. Lett., Vol.85, No.2, pp. 461–464, 2020.

物体追跡による経路データセットの自動生成とその効果
指導教授：山下隆義

EP17005 伊佐稜
1. はじめに

表 2: 作成したデータセット

深層学習を用いて経路予測を実現するには，大規模な経路データを学習する必要がある．公開されているデータセットの多くは，市街地や大学構内を空撮した鳥瞰視点映
像や監視カメラ映像を対象としている．これらの映像に対して移動対象の経路を人手でアノテーションする必要があ
るため，データセット構築の時間的コストは多大である．
また，データセットごとにビューポイントは固定されている．そこで本研究では経路情報をカメラ映像から自動で生成することにより，最小限のアノテーションコストで大規模なデータセット構築を容易にする．

2. 従来のデータセット
経路予測における代表的なデータセットとして，市街地の歩行者を対象とした ETH [1] と UCY [2] がある．また，駐車場に設置された監視カメラ映像を利用したデータセッ
トに VIRAT [3]，スタンフォード大学構内をドローンで撮影したデータセットに Stanford Drone データセット [4]がある．それぞれのデータセットの概要を表 1 に示す．従来のデータセットは物体ごとに時系列変化を確認しながら経路をアノテーションする．そのため膨大な作成コストがかかる．また，データセットは撮影したビューポイントのみに固定され，異なるビューポイントのデータは存在せず，別途撮影とアノテーションが必要となる．
表 1: 各データセットの概要
データセット

歩行者数

フレーム数

ビューポイント

シーン数

属性

ETH/UCY

1,536

57,274鳥瞰

5pedestrian

VIRAT

4,021

823,738

監視カメラ

11

Stanford Drone

11,216522,437鳥瞰

8pedestrian,car,bikepedestrian,cars,bikers,

歩行者数

フレーム数

ビューポイント

シーン数

属性93,305

1,134,684

自由1pedestrian,bikeに示す．また，CARLA で作成しているためビューポイン
トは自由に変更が可能である．

4. 評価実験表 2 で作成した 100 人分の経路情報を自動生成のみ，自動生成手法と人手でアノテーションしたときの時間的コス
トや経路の違いを比較する．人手でのアノテーションは，対象シーンを見ながら CARLA 上に経路を入力する．経路情報の比較には，各時刻のユークリッド距離の平均誤差のAverage Displacement Error(ADE)，最終時刻時のユー
クリッド距離誤差の Final Displacement Error(FDE) を用いる．

4.1. 実験結果
定量的結果を表 3 に示す．自動生成手法による経路が経路情報として適していない場合，経路を手動で修正した．
時間的コストは，人手による生成に比べ自動生成の方が約４分の 1 に短縮された．したがって，アノテーションの時間的コストを削減できたと言える．ADE/FDE は，自動生成のみに対して，経路情報として適していない約 1 割の経路を修正することで，約 41%減少する．人手のアノテー
ションによる経路と自動生成アノテーションによる経路の可視化結果を図 2 に示す．図 2(a)(b)(c) を比べると人手のアノテーションと遜色ない経路が自動生成手法により生成されていることがわかる．よって提案手法は経路軌跡の作成に有効であると考える．

skateboarders,buses,

表 3: 定量的結果

golf carts

作成時間 [min]3. データセット生成
本研究では，経路情報の獲得を自動化しデータセット生
成時のコスト削減，自由なビューポイントの変更を可能にしたデータセットの自動生成方法を提案する．データセットの自動生成には CARLA シミュレータを用いる．シミュレー
タを用いることでビューポイントの変更や，セマンティッ
クセグメンテーション画像を容易に獲得できる．

ADE/FDE[m]

人手

250

—

自動生成

50

1.31/1.23

自動生成+人手70

0.55/0.39

3.1. 物体追跡による経路データセット自動生成
提案するデータセットの自動生成の流れを図 1 に示す．
データセットの自動生成には人の往来を撮影した映像を入力する．また，経路情報をピクセル座標系からワールド座標系に変換する射影変換行列と CARLA で作成したマップを用意する．出力はワールド座標系の経路情報とマップにプロットされた経路である．
OutputObjectDetection

Tracking

Proposal
Generation

Filtering&
Coordinate
Transformation

Trajectory(world coodinates)

Input

Videos

HomographymatrixMap

Plot trajectory

図 1: 提案するデータセット自動生成の流れ
動画像からの経路獲得には，物体検出に Mask R-CNN，
物体追跡に Deep SORT を用いる．出力された矩形領域の下端を人の座標値とし経路情報を獲得する．獲得したピクセル座標系の経路情報を，CARLA 上でプロットするためにワールド座標系へ変換する．ワールド座標には緯度経度を用いる．ワールド座標と対応するシーン内のピクセル座
標から透視投影を行い，射影変換行列を獲得する．獲得した経路情報と射影変換行列を用いてピクセル座標をワール
ド座標に変換する．

3.2. 作成したデータセットの概要
自動生成手法を用いて大阪の市街地をシーンとしたデー
タセットを作成した．作成したデータセットの概要を表 2(a) 人手(b) 自動：45 °(c) 自動：90 °
図 2: アノテーションの可視化結果

5. おわりに本研究では，データセットの自動生成の提案と有効性を調査した．自動生成手法は，人手によるアノテーションとほぼ同等な経路を 4 分の 1 のコストで作成することが可能である．今後は異なるシーンのデータセットの作成と大規模データセットに有効な経路予測モデルの考案などが挙げ
られる．

参考文献
[1] S. Pellegrini, et al., “You’ll never walk alone: Modeling social behavior for multi-target tracking”, ICCV,2009.
[2] A. Lerner, et al., “Crowds by example”, Computer
Graphics Forum 26, 3, pp.655-664, 2007.
[3] S. Oh, et al., “A large-scale benchmark dataset
for event recognition in surveillance video”, CVPR,
2011.
[4] A. Robicquet, et al., “Learning social etiquette: Human trajectory understanding in crowded scenes”,
ECCV, 2016.

パーソナルスペースを考慮した Social GAN による経路予測
指導教授：山下隆義

EP17049 佐野剣太
1. はじめに
経路予測は，歩行者や自動車等の移動物体がどのような経路を未来に辿るかを予測する技術である．敵対的学習(GAN) を用いた経路予測法として Social GAN [1] が提案されている．この手法は Pooling Module を導入すること
で，歩行者同士の衝突を回避した経路予測が可能である．
しかし，Pooling Module はシーン全体の歩行者を対象とするため，予測対象との衝突に関係のない他対象の特徴量を用いて予測することがある．これにより，予測時に経路の衝突が発生する．本研究では，経路の衝突を回避するた
めに，パーソナルスペース [2] を考慮した Pooling Moduleを導入した経路予測法を提案する．

2. パーソナルスペース
パーソナルスペースを 4 区分の距離で表現する．各距離は，親密な人物との距離である Intimate Distance(0.45m)，
互いの表情が確認できる Personal Distance(1.2m)，会話が可能である Social Distance(3.5m) 及び，多人数を見渡せる距離である Public Distance(7.0m) である．

3.Social GAN
Social GAN の概略図を図 1 に示す．Social GAN は，シーン内の歩行者の観測経路を入力し，予測経路を出力するモデルである．そして，出力した予測経路または，真値を Discriminator に入力し，本物か偽物かを判定させる敵対的学習により，真値に近い経路を予測できるようになる．

図 1 : Social GAN の概略図

4. 提案手法
提案手法は Social GAN の Pooling Module にパーソナ
ルスペースを考慮する．図 2 に提案する Pooling Moduleの概略図を示す．提案手法では，予測対象を中心としたパーソナルスペース内に限定して他対象を pooling する．これにより，近傍の人物との衝突を避ける経路を予測することが期待できる．

図 2 : 提案する Pooling Module の概略図

Pi は θ 以下の全ての他対象 j の集合となる．全ての他対
象 j の特徴量 hj からの pooling を式 (2) に示す．

5. 評価実験

5.2. 実験結果
定量的結果を表 1 に示す．表 1 より，hotel と zara2 は，
閾値が Intimate Distance の場合，誤差が最も小さいことが確認できる．また，univ は，閾値が Public Distance の場合，誤差が最も小さいことが確認できる．以上の結果 から，提案手法による pooling 範囲の限定化が有効であると考える．
表 1 : 定量的結果 (ADE/FDE)
Dataset

eth

hotel

univ

zara1

zara2

AVG

Social GAN

0.87/1.62

0.67/1.37

0.76/1.52

0.35/0.68

0.42/0.84

0.67/1.21

Intimate Distance

0.92/1.84

0.56/1.17

0.83/1.50

0.46/0.99

0.35/0.75

0.62/1.25

Personal Distance

0.94/1.87

0.59/1.20

0.70/1.52

0.48/1.03

0.43/0.95

0.63/1.31

Social Distance

0.94/1.87

0.62/1.30

0.72/1.53

0.48/1.02

0.44/0.97

0.64/1.34

Public Distance

1.04/2.09

0.64/1.36

0.69/1.48

0.49/1.06

0.43/0.95

0.66/1.39

定性的結果を図 3 に示す．各色の破線は各予測対象の観測経路，実線は真値，分布は予測分布を表す．hotel，zara2
より，Social GAN の予測分布は真値から大きく外れていることが確認できる．一方で，提案手法の予測分布は，真値に近い経路となっている．
univ の scene1 より，Social GAN は赤色と桃色の予測分布が重なっていることが確認できる．予測分布の重なり
は予測対象同士の衝突の可能性が考えられ，避けるべき場面である．また，青色，緑色，及び黄色の予測分布は真値から大きく外れていることが確認できる．一方で，提案手法の予測分布は，重なりを抑えつつ，真値に近い経路となっている．
univ の scene2 より，Social GAN の予測分布は真値から大きく外れていることが確認できる．一方で，提案手法の予測分布は，真値に近い経路となっている．
これらの結果より，歩行者数が少ないシーンは Intimate
Distance が有効であり，歩行者数が多いシーンは Public
Disance が有効であると考えられる．

6. おわりに

pooling 対象の集合 Pi は式 (1) で決定する．予測対象 iの座標 (xi , yi ) と他対象 j の座標 (xj , yj ) から，相対距離を計算する．相対距離が θ 以下なら，他対象 j を pooling
対象 Pi に加える．θ はパーソナルスペースをもとに決めた閾値である． √Pi = {j| (xi − xj )2 + (yi − yj )2 ≦ θ}(1)

hi = maxj∈Pi (hj )約 4.8 秒間の予測経路とする．比較対象を Social GAN とし，評価指標には，Average Displacement Error(ADE)と Final Displacement Error(FDE) を用いる．

(2)

提案手法の有効性を評価実験により検証する．

5.1. 実験概要
評価実験には ETH/UCY[3, 4] データセットを用いる．
ETH/UCY は 5 種類のシーンから構成されている．学習
回数を 200epoch，入力を約 3.2 秒間の観測経路，出力を

図 3 : 定性的結果

本研究では，パーソナルスペースを考慮した Social GAN
による経路予測を提案した．評価実験から，提案手法の有効性を確認した．今後は，歩行者毎の最適なパーソナルス
ペースを自動で選択する機構を導入する予定である．

参考文献[1] A. Gupta, et al., “Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks,” CVPR, 2018.
[2] H. Edward, “The hidden dimension,” Anchor Books,
1966.
[3] S. Pellegrini, et al., “You’ll Never Walk Alone: Modeling Social Behavior for Multi-target Tracking,”
ICCV, 2009.
[4] A. Lerner, et al., “Crowds by example,” CGF, 2007.

関係性部分グラフを用いた Graph Convolutional Network による経路予測
指導教授：山下隆義

EP17112 宮田昌樹
1. はじめに経路予測とは，歩行者や自動車などの移動物体に対する未来の経路を予測するタスクである．経路予測には，歩行者同士の衝突を回避する手法 [1] がある．この手法は，歩行者間の関係性を距離情報に基づいてグラフで表現している．しかし，歩行者間の関係は，距離だけでなく視認状態
やグループなど，考慮すべき情報が複雑かつ多様である．
そこで本研究では，複数の関係性を考慮するための部分グ
ラフ導入した Graph Convolutional Network (GCN) による経路予測を提案する．

2. 従来手法
歩行者同士の衝突を回避する経路予測手法として SocialSTGCNN [1] が提案されている．本手法では Graph Convolutional Network (GCN) を用いて，時空間グラフを構築している．時空間グラフは，歩行者をノード，歩行者間を距離の逆数をエッジとして表現している．これによりシーン中の全ての歩行者の位置関係を表現可能である．しかしながら，視認状態，グループといった歩行者間の詳細な関係性を考慮していない．

3. 提案手法

適化手法には SGD，学習率は 0.01 とする．評価指標には各予測時刻の予測値と真値のユークリッド距離の平均誤差のAverage Displacement Error (ADE)，最終予測時刻の予測値と真値のユークリッド距離誤差の Final Displacement
Error (FDE) を用いる．

4.2. 実験結果
評価結果を表 1 に示す．近距離，同速度を考慮した場合
は，従来手法と同等である．同方向，グループ，視認状態を考慮した場合，精度の向上が見られることから，これらの関係性は経路予測の精度向上に寄与している．特に歩行者の状態を表す視認状態の効果が高いことがわかる．

表 1: 定量的評価
手法

関係性
近距離

同方向

AVG
グループ

視認状態

従来手法

✓
✓
✓

提案手法

本研究では，歩行者の状態や関係性を考慮するために，関係性部分グラフを導入した経路予測を提案する．

✓

3.1. 関係性部分グラフ
歩行者が衝突を回避する上で考慮すべき情報として，視認状態，グループ，移動情報が考えられる．視認状態とは，その対象が視野角に含まれているかを示す．グループとは，歩行者集団を示す．また，移動情報は他の歩行者との距離や移動方向，速度である．本研究では，これらの情報をエッジに用いる．すなわち，関係性部分グラフのノードは歩行者の各時刻の位置座標 (xi , yi )，エッジは各関係性とし，該当する場合を 1 ，該当しない場合は 0 と表す．近距
離は対象間の距離が閾値 1.2m 以下，同速度は 1 フレームの移動量の差が閾値 0.5m 以下，同方向はコサイン類似度
が閾値 0.5 以上とする．視認状態は人の視野角を 200 度とし，その視野範囲にいる歩行者を対象とする．

同速度

✓

✓

✓

✓
✓
✓

✓
✓

✓

✓
✓

✓

ADE

FDE

0.44

0.71

0.44

0.71

0.45

0.75

0.43

0.68

0.44

0.74

0.42

0.70

0.41

0.69

0.43

0.66

0.41

0.64

0.40

0.63

0.40

0.68

定性的評価を図 2 に示す．図 2(a) では，青色の対象が近くに位置する橙色の対象を回避するあまり，緑色の対象と接触する経路を予測している．図 2(b) では，関係性部分
グラフによって緑色の対象との衝突は回避しているが，真値から遠ざかっている．図 2(c) では，青色と橙色の対象がグループとして伴った動きを予測することで，真値に近い経路を予測できている．図 2(d) では，緑色の対象に対して，画像右下の赤色の対象を視野外としているため影響を受けず，真値に近い経路を予測できている．

3.2. ネットワーク構造
提案手法のネットワーク構造を図 1 に示す．まず GCN で，距離情報による全体グラフと，各関係性部分グラフに関する
特徴量を抽出する．抽出した特徴量をチャネル方向に連結し，point-wise convolution で特徴量を集約する．集約した特徴量を Temporal Convolutional Neural Network(TCN)に与えて予測経路の多変量ガウスパラメータ N (µ, Σ) を出力し，確率分布に沿った経路を予測する．確率分布に沿って出力された座標と真値の誤差を伝播し学習する．ここで，D は座標次元数，N は歩行者数，TO は観測ステップ数，
TP は予測ステップ数を示す．

(a) 従来手法(b) 近距離(c) グループ(d) 視認状態

図 2: 定性的評価

5. おわりに
図 1: 提案手法のネットワーク構造

4. 評価実験
提案手法の有効性を評価実験により検証する．

本研究では，関係性部分グラフを用いた Graph Convolutional Network による経路予測手法を提案した．また，関係性部分グラフを用いた経路予測によって関係性が経路予測に与える影響について検証した．今後は，関係性部分
グラフの自動生成やネットワークの改良に取り組む．

4.1. 実験概要

参考文献

本実験では，各関係性部分グラフが経路予測に与える影響を検証する．データセットには，ETH，UCY を用いる．
観測時刻は 3.2 秒 (8 ステップ)，予測時刻は 4.8 秒 (12 ス
テップ) である．バッチサイズは 128，エポック数は 250，最[1] A. Mohamed, et al. “Social-STGCNN: A Social
Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction”. CVPR,
2020.

深層強化学習によるモデル選択機構を導入した一貫学習ベースの自動運転
指導教授：山下隆義

EP17042 倉橋利空
4. 評価実験

1. はじめに一貫学習による自動運転は，車載カメラ画像を CNN に入力し制御値を出力することで，車両制御を実現している[1] ．また，様々なシーンに対応した自動運転制御を実現するために，車線追従や衝突回避のタスクごとに学習した制御モデルから，運転シーンに応じてモデルをルールに基づいて選択する手法が提案されている．しかし，ルールベースの手法では，ルールから逸脱するイレギュラーな場面への対応が困難である．
本研究では，イレギュラーな場面でも適応的にモデルを選択するために，深層強化学習によるモデル選択機構を導入した手法を提案する．

2. モデル選択による自動運転制御
ルールに基づくモデル選択による自動運転制御は，個別に用意した制御モデルを予め設定したルールにより選択するアプローチである．この手法は，制御値推定を行う制御
モジュールと，ルールベースによりモデル選択を行う選択機構から構成される．制御モジュールには，車線追従と衝突回避を目的とした 2 つの制御モデルを用いる．選択機構
では，自動車や歩行者の位置情報をバウンディングボック
ス (BB) として取得し，BB の大きさが閾値以下の場合は車線追従モデル，BB の大きさが閾値以上の場合は衝突回避モデルを選択する．これにより，運転シーンに応じた車両制御を行うことができる．しかし，自動車や歩行者の検出を失敗すると，誤って車線追従モデルが選択され，前方の自動車や歩行者に衝突してしまう．モデル選択の手法は，
このような物体検出が失敗した場面への対応が困難である．

提案手法の有効性を評価実験により検証する．

4.1. 実験概要
提案手法の有効性を示すため，物体情報を報酬設計に導入しない選択機構 (DQN) と比較する．共通の報酬設計として，走行車線を越えるか障害物に衝突したら-1 とする．
DQN の学習条件は，エピソード数を 500，エピソード終了
条件を 1000 フレーム経過とする．走行実験では，CARLAの Town01，Town02 上に車 20 台，歩行者 100 人を出現させ，6 分間の走行を 20 回試行した際の自律性 (autonomy)を評価する．人間の介入開始から自律走行再開までの時間
を 6 秒と仮定すると，自律性は式 (2) で算出できる．
intervention ∗ 6seconds) ∗ 100 (2)autonomy = (1 −elapsed time
ここで，人間の介入回数を intervention, 走行時間を
elapsed time とする.

4.2. 実験結果
表 1 に評価結果を示す．提案手法では，ステアリングの精度は DQN より約 10 ポイント精度が高く，ルールベースと同程度の運転精度である．また，物体情報を 10%欠落させた環境での評価では，ルールベースはスロットルの精度が大きく低下した．一方で，提案手法のスロットル精度は低下しない．以上より，物体検出が失敗したシーンにおいて提案手法は有効である．
表 1 : 自律性の評価結果 [%]環境

3. 提案手法
本研究では，図 1 に示すような深層強化学習を用いて，最適な制御モデルを選択する手法を提案する．
選択機構

制御モジュール

入力画像

F(x)

物体情報
10%欠落

ルールベース
DQN
提案手法
ルールベース
DQN
提案手法

ステアリング
Town01 Town02
82.7
67.8
73.8
55.3
82.5
68.2
82.8
68.2
73.8
55.3
82.5
68.4

スロットル
Town01 Town02
89.1
84.1
88.2
83.4
89.4
82.2
78.6
75.2
88.2
83.4
89.4
82.2

4.3. 注視領域の可視化による視覚的説明
M(x)車線追従モデルF′(x)アテンション機構

FC

Conv.

Conv.

Conv.

Conv.

x

FC

Conv.

Sigmoid

深層強化学習モデル(DQN)

通常

選択機構

一貫学習モデル(CNN)

ステアリング

衝突回避モデルスロットル

一貫学習モデル(CNN)

図 1 : 提案手法のネットワーク構造

3.1. 選択機構

図 2 に実際の走行シーンの可視化例を示す．図 2(a) は，
車線上にアテンションが反応し，車線追従モデルを選択している．図 2(b) は，車線上に加えて前方の車両下部に反応し，衝突回避モデルを選択している．以上より，選択機
構のモデルは前方の動的物体の有無から選択する制御モデ
ルを決定していると考察できる．
車載画像

深層強化学習には，Deep Q-Network(DQN)[2] を用いる．車載カメラ画像を入力とし，各モデルを選択すべき確率を出力する．報酬設計は，画像中に自動車や歩行者が一定以上の大きさで存在する場合に衝突回避モデルが選択されると+0.1，車線追従モデルが選択されると-0.1 とする．
反対に，自動車や歩行者が一定以下の大きさで存在する場
合に車線追従モデルが選択されると+0.1，衝突回避モデルが選択されると-0.1 とする．この報酬設計を加えることで，従来法と同様に物体の大きさを考慮した制御モデルの選択が可能となる．また，選択機構の視覚的説明を獲得するために，アテンション機構を導入する．ネットワークの注視領域を表すアテンションマップは，畳み込み層の直後に 1 × 1の畳み込み層と Sigmoid 関数により獲得する．アテンショ
ン機構におけるマスク処理を式 (1) に示す．
F ′ (x) = F (x) · M (x)
(1)

可視化結果

34

これにより注視領域を考慮したモデル選択が可能となる．ここで x は入力画像，F (x) は畳み込み層の特徴マップ，M (x) はアテンションマスク，F ′ (x) はマスク処理後の特徴マップである．

3.2. 制御モジュール
制御モジュールは，車線追従モデルと衝突回避モデルから構成されている．車線追従モデルは自動車や歩行者が存在しないシーンで用いる．一方で，衝突回避モデルは自動車や歩行者が存在するシーンで用いる．

(a)車線追従シーン(b)衝突回避シーン

5. おわりに

図 2 : 走行シーンの可視化例

35

本研究では，選択機構に深層強化学習を導入した自動運
転制御の提案と，深層強化学習のモデル判断根拠の調査を行った．今後は，新たな制御モデルを生成し，より多様なシーンに対応する自動運転の実現などに取り組む．

参考文献[1] M. Bojarski, et al., “End to End Learning for SelfDriving Cars”, arXiv preprint, arXiv:1604.07316,
2016.
[2] V. Mnih, et al.,“Human-level control through deep
reinforcement learning”, Nature, 2015.

運転計測情報を用いたデータ選択と半教師あり学習によるセマンティックセグメンテーション
指導教授：山下隆義

EP17126 山田裕大
1. はじめに
セマンティックセグメンテーションは，自動運転車の走行可能領域を把握するために必要な技術である．セマンティッ
クセグメンテーションの学習には，画像の各ピクセルに対してアノテーションする必要があり，人的コストが高い．
そのため，教師ありデータと教師なしデータの両方を用いて学習を行う半教師あり学習が注目されている．一方で，教師ありデータの割合が少ないと，過学習を起こす問題がある．そこで本研究では，教師なしデータの一部に擬似ラベルを付与した半教師あり学習法を提案する．

2. 半教師あり学習
セマンティックセグメンテーションを対象とした半教師あり学習法として，CCT[1] が提案されている．本手法は通常の教師あり学習と並行する形で，ラベルなしデータを用いた一貫性学習を行う．一貫性学習は，ラベルなしデータに対するエンコーダ出力に摂動を加えたものを入力する補助デコーダを使用し，摂動を適用していないメインデコー
ダの出力と一貫性を持たせるように学習する．これにより，単純な構造のネットワークモデルを用いた場合でも高い精度を得ることが可能となる．

3. 提案手法
本研究では，擬似ラベルを用いた半教師あり学習法を提案する．擬似ラベルは教師なしデータに対して付与したラベルであり，一部を教師あり学習に組み込むことで，過学習の回避と精度向上を目的とする．

3.1. 計測情報によるデータ選択と擬似ラベルの付与
擬似ラベルは，事前に少量の学習データで学習したモデルを用いて付与する．そのため，学習データと大きく異なるデータは最適ではない．そこで提案手法では，図 1 に示すように選択条件により教師ありデータと類似する教師
なしデータを選択する．選択条件は，データ撮影時に獲得した計測情報をもとに，位置と速度から以下のように定義する．
位置情報：教師ありデータと位置情報の近いデータを選択する．これにより，教師ありデータのドメインに似たデータを用いた学習が期待できる．
速度情報：一定以上の速度で走行しているデータを選択す
る．教師ありデータには直線の道路を走行中のデータが多いため，速度を基準にすることによって似たデータを選択することが期待できる．
上記の条件により選択されないデータは教師なし学習に用いる．

出力，H は Cross-Entropy loss である．教師なし学習は，
入力データ xu
i から獲得した特徴マップ zi に対するセグメ
ンテーション結果 g(zi ) と摂動を加えたものに対する結果
gak (zi ) の平均二乗誤差を基に学習する．摂動は，特徴に基づく摂動，予測に基づく摂動，ランダムな摂動の 3 種類である．教師なし学習における損失 Lu は式 (2) となる．

Lu =K
1 1 ∑ ∑d(g(zi ), gak (zi ))|Du | K u(2)

xi ∈Du k=1

このとき Du は教師なしデータ集合，K は摂動を適用した
補助デコーダの数，d は平均二乗誤差である．
Ls と Lu の総和を複合損失とする．このとき，Lu には
重み ωu を与える．

4. 評価実験
評価実験では，データ選択の手法による精度を検証する．

4.1. 実験概要
学習及び評価には，東京臨海部を走行して収集したデー
タを用いる．教師ありデータは 280 枚，教師なしデータ
は 5747 枚，検証用データは 100 枚である．評価指標には
mIoU を用いる．ベースラインはデータの選択をしない場
合とし，各選択手法との比較を行う．CCT の補助デコー
ダの数は 30 個である．

4.2. 実験結果
定量評価を表 1，定性的評価を図 2 に示す．表 1 より，
速度情報でデータ選択した提案手法の精度が 53.0%と最も高く，ベースラインと比較して 5.1pt 向上した．教師あり
データは，走行中のデータが多いため，位置情報による低速時の選択よりも，速度情報による定速走行時の選択によって似たデータを選択でき，高精度になったと考えられる．
定性的評価より，図 2 の赤丸で示すように，速度情報を用いる方が信号機や電柱などの小さなオブジェクトの認識精度の向上が確認できる．
表 1 : 実験結果
選択条件

教師ありデータ数
実ラベル

教師なしデータ数

mIoU[%]

擬似ラベル

-

280

0

5,747

47.9

全て

280

5747

0

47.8

提案

位置情報

280

280

5,467

51.3

手法

速度

280

280

5,467

53.0

図 2 : 定性的評価

図 1 : データの選択と擬似ラベルの付与

3.2. 損失関数

5. おわりに半教師あり学習手法として，CCT を用いる．CCT は，教師あり学習と教師なし学習を同時に行う．教師あり学習
は，過学習を抑制するために確率によって損失を 0 にする
annealed bootstrapped-CE (ab-CE) 損失 Ls を用いて学習を行う．ab-CE 損失は式 (1) により求める．
∑
1
Ls ={f (xsi ) < η}1 H(yi , f (xsi ))(1)|Ds | s

本研究では，擬似ラベルを用いた半教師あり学習において，計測情報を用いたデータ選択の有効性を示した．速度情報による選択によって，選択をしない場合と比べて 5.1ptの精度向上を確認した．今後は，異なるデータ選択方法を考案し，より高い精度を得られる条件を検討する．

xi ,yi ∈Dss

このとき Ds は教師ありデータ集合，x は教師ありデー
タ，y はラベルデータ，η はしきい値，f はネットワーク

参考文献[1] Y. Ouali, et al., “Semi-Supervised Semantic Segmentation with Cross-Consistency Training”, CVPR,
2020.