Human-like Guidance のための時空間シーングラフによる案内文生成鈴木 颯斗 †

下村 晃太 † 平川 翼 † 山下 隆義 † 藤吉 弘亘 †大久保 翔太 ‡ 南里 卓也 ‡ 王 思源 ‡† 中部大学 ‡ 日産自動車株式会社
E-mail: hayato@mprg.cs.chubu.ac.jp
1 はじめに解した上で，動的オブジェクトを含むランドマークを用いた案内文の自動生成法を提案する．また，従来の自動車の運転時に利用されるナビゲーションシステ

ナビゲーションシステムのようなテンプレート化されムは，GPS と地図データから取得した情報を用いて目た案内文の生成ではなく，言語モデルを用いることで的地までの経路等を提示してナビゲーションを行う手

高い表現力を持つ案内文の生成を実現する．

法が一般的である．ナビゲーション情報はモニタに表示されるため，ドライバの注意散漫や誤解を招く可能

2 関連研究性がある．一方で，同乗者である人によるナビゲーショ
ンは，瞬時に周辺状況を理解し，シーンの動的な情報

本章では，Image Captioning，Graph Neural Networkをもとにした案内を行う．これにより，ドライバの認知について述べる．

負担を最小限にした案内が可能である．こうした人間

2.1 Image Captioningのように振る舞うナビゲーションシステムを実現する

Human-like Guidance の研究が注目されている．

Image Captioning とは，画像とテキストを関連づけ，
画像に対する自然言語の説明文を生成するタスクであHuman-like Guidance の研究として，地図データからる．Image Captioing は主に，画像認識モデルを用いてランドマークを選択する手法が検討されている．Apple

与えらえた画像の特徴抽出を行うステップと，その画の特許 [1] として開発された技術は，地図データから目

像特徴量から言語モデルを用いたキャプション生成の標となる交差点付近の建物情報をもとに案内を行う．ラステップで行う．

ンドマークをもとにしたナビゲーション手法は実用的

Image Captioning の初期手法である Show and Tell[4]であり，様々な改善手法が検討されている．Amanda らは，Convolutional Neural Network (CNN) [5] を用いて画[2] は，ドライバの好みに合わせたランドマーク選択の最適化方法を提案した．さらに，Jana ら [3] は，周辺に像の特徴を抽出し，Recurrent Neural Network (RNN) [6]

存在する選択可能なランドマークとの距離や方向を考細に説明することが可能となった．Show and Tell に At-

によるキャプション生成を行う．これより，入力画像を詳慮して最適なランドマークを選択する方法を提案した．

tention Mechanism を導入した Show, Attend and Tell[7]ランドマークを用いたアプローチは，地図データを最は，画像上の単語に関連する領域に注目を当てることで新の状態とある必要がある．また，地図データを参照

モデルの性能を向上させた．Bottom-Up and Top-Down

せず，視界情報をもとにしたナビゲーションを行うア

Attention[8] は，物体検出器で検出した領域の物体ラベ

プローチが考えられる．その場合，周辺環境に存在す

ルから，直接言語モデルでキャプションを生成する手るオブジェクトと位置関係を理解する必要がある．自法である．このアプローチの導入により，画像内の物

動車の分野に関しては，自動運転の高性能化を目標と体や構造を考慮したキャプションの生成が可能となる．

して，走行シーンの動画像から周辺環境を人間のようTransformer[9] の登場以降，Transformer を用いたアに詳細に理解することに対して焦点を当てた研究が盛プローチが主流である．Transformer は，自然言語処理んである．しかし，動画像から周辺の環境を理解したにおいて優れた性能を発揮し，その柔軟性と並列処理

うえで，人間に対してナビゲーションする研究は行わ能力が Image Captining に適していることが示されていれていない．

る．CPTR[10] は，CNN と Transformer を組み合わせた本研究では，Human-like Guidance の実現に向け，視手法であり，従来の Image Captioning 手法と比較して界情報をもとにした人間のようなナビゲーションを再大幅に精度が向上した．

現するアプローチを考える．本研究では，動画像から2.2 Graph Neural Network

検出したオブジェクトの空間的な情報と時間的な変化

グラフ構造データの解析や予測において，Graph Neu-をシーングラフとして表現し，効果的に周辺環境を理

ral Network (GNN) [11] が用いられる．ノードとエッジ

から成るグラフに GNN を適用することで，ノードの隣

表 1: YOLOv8 による検出対象クラス

接関係やグラフのトポロジーを考慮した処理が可能とな
Class ID
０
１
２
３
５
７
９

る．GNN における代表的なモデルの 1 つである Graph

Convolutional Networks (GCN) [12] は，畳み込み層をグラフに適用して特徴の抽出を行うことで，ノード分類
やグラフ分類において高い性能を発揮した．GCN の拡張モデルの 1 つである Spatial Temporal Graph Convolu-

tional Networks (ST-GCN) [13] は，空間的なグラフ構造

Class Namepersonbicyclecar
motorbikebus
truck
trafﬁc lightに加えて，時系列データに対する畳み込み操作を組み合わせた手法である．本手法は，ノードの空間的な配置

G = {Vt , Et | t = 1, . . . , T }と，ノードの時間的変化を同時に考慮することで，時空間的な特徴を捉えることが可能となった．
また，画像上のオブジェクトをノードとして捉え，そ(1)

ここで，T はフレーム数，Vt はノード集合，Et はエッジ集合である．

の情報を構造化したシーングラフとして表現し，GNNを用いた手法も存在する [14]．シーングラフは，画像

3.1.1

ノード集合 Vt

中のオブジェクトを検出し，検出されたオブジェクト同士の位置関係およびオブジェクト同士の意味的な関係

ノード集合 Vt は，シーン画像に存在する自動車や歩をグラフで表現したものである．Graph R-CNN[15] で行者，自車両などのオブジェクトを表す．自車両を表

は，Mask R-CNN[16] によりオブジェクトを検出し，オ

すセルフノードを Vt,sel f とし，その他のオブジェクト

ブジェクト同士の関係性を推定してシーングラフを生を表すオブジェクトノードの部分集合を Vt,ob j とする．

成する．シーングラフは画像を効果的に理解をする手

ここで，シーン内に k 個のオブジェクトが存在する

法として効果的であることが示されている．

と仮定した場合，Vt,ob j は式 (2) のように定義する．
ob j
ob j
ob j
}
, . . . , Nt,k
, Nt,2Vt,ob j = {Nt,1

3 提案手法
本研究では，Human-like Guidance の実現に向け，視界情報からナビゲーションを行うアプローチを考える．
走行シーンにおける動画像は，ナビゲーションに必要(2)

N は各オブジェクトを示すノードを表す．また，セルフノード Vt,sel f は式 (3) のように定義する．自車両を表すノードの追加を行うことで，シーン内のオブジェク
トと自車両との関係性を考慮することが可能となる．

となるオブジェクトに加え，建物などの不要となる情報が多数含まれており，動画像から周辺状況を理解す

Vt,sel f = {Ntsel f }る上で影響を与える可能性がある，こうした課題の解決において，画像全体のテクスチャ情報を用いるので従って，ノード集合 Vt は式 (4) のように定義する．

はなく，画像に含まれるオブジェクトに着目して周辺

Vt = Vt,ob j ∪ Vt,sel f

状況の構造を捉えるアプローチを導入し，画像の空間情報をオブジェクトとその関係性に着目したシーング

(3)

ob j

オブジェクトノード Nk(4)

は物体検出器の出力情ラフとして表現することを考える．また，人間がナビ報を用いる．ここで，物体検出器は Microsoft COCO

ゲーションを行う場合，周囲の動的なオブジェクトの情(2017) Dataset[17] で 事 前 学 習 し た You Only Look

報を考慮して最適なナビゲーションを行う．そこで本Once(YOLO)v8[18] を用いる．また，ナビゲーション

研究では，時系列情報を導入して拡張した時空間シーに必要となる対象のみに焦点を当てるため，表 1 に示

ングラフを生成するアプローチを提案する．これによすクラスのみを検出対象とする．ここで，オブジェク

り，車両周辺オブジェクトの位置関係や動作の変化とトノード Nk

いった時間的な変化を考慮することが可能になる．次座標を保持する．さらに，BBox 領域を用いてオブジに，言語モデルを用いることで時空間シーングラフのェクト画像を切り取り，CNN による特徴抽出を行う．

入力に対応した自然な案内文を生成する．

抽出したオブジェクトの画像特徴量 Imagek

3.1

時空間シーングラフの生成

ob jには，検出結果である Class ID と BBox

ob j

∈ Rdob j

はノードに保持する．従って，オブジェクトノードは

時空間シーングラフの生成手法の概要について図 1

j
ob j
Nob
k = {ClassIDk , BBoxCoordinatek , Imagek } となる．

に示す．空間情報及び時系列情報を表現した時空間シー

セルフノードは Nsel f = {ClassID, Sel fCoordinate,

ングラフ G を式 (1) として定義する．

Action} と定義する．Class ID は，YOLOv8 の検出可能クラスに “sel f ”クラスを追加することで対応し，そimageObjectDetec�on

33m

31m

29m

31

33

31m

&

+

DistanceEs�ma�on

29
31

Ac�on

Spa�al Scene Graph・・・

Input Scene Data

・

・

・

Self
Node

Clipping

・・・・TemporalEdge

Object
Node

CNN

・

・

・

・

・

+
Ac�on

Spa�al Temporal Scene Graph

Temporal Connec�on・・・

図 1: 時空間シーングラフの生成の ID を用いる．自車両の座標は，画像の中心最下部の座標を暫定的に用いる．また，ナビゲーションを行う
ようなタスクにおいては，“右折”や “左折”，“直進”とωdistance =f camera × hreal
hBBox × himage(7)

いった交差点に対する動作が既知の情報であることがf camera はカメラの焦点距離，hreal は現実のオブジェク

前提である．よって，この情報をセルフノードの情報

トの高さ，hBBox は BBox の高さ，himage は入力画像のとして与える．しかし，直接この情報を与えてしまう

高さをを示す．物体間距離をエッジの重みとして用いると，セルフノードとオブジェクトノードのサイズが一ことで，オブジェクトとの距離関係や位置関係といった致しないため，GNN への適応が不可能となる．そこで，特徴をシーングラフとして表現することが可能になる．

Action = E(x) ∈ Rdaction として埋め込み処理を行うことで対応する．ここで，E(·) は埋め込み処理を表し，x は交差点に対する動作情報を表す．従って，daction = dob j

次に，時系列方向に接続するエッジを定義する．時空間シーングラフでは，与えられたフレーム (t = 1, . . . , T )毎に，セルフノードと各オブジェクトノードを接続すと設定することで，オブジェクトノードとセルフノー

る．Et,temporal ob j を各 Vt,ob j の時間的エッジの部分集合，

ドは同一のサイズで扱うことができる．

Et,temporal sel f を各 Vt,sel f の時間的エッジの部分集合とし，これらは式 (8) のように定義する．

3.1.2

エッジ集合 Et

ノード集合 Vt に含まれる各ノード間の関係はエッジ

ob j
ob j
ob j
ob j
∈ Vt,ob j }, Nt+1,i) | Nt,iEt,temporal ob j = {(Nt,i, Nt+1,isel fEt,temporal sel f = {(Ntsel f , Nt+1)}

集合 Et で表される．あるフレーム t が与えられたとき，Vt,ob j に含まれる各ノード同士，及び Vt,ob j と Vt,sel f を接続することで空間情報をシーングラフとして表現する．また，Vt,ob j と Vt,sel f の間の空間エッジを表す部分
集合を Et,sel f −ob j ，Vt,ob j に含まれる各オブジェクト間の空間エッジを表す部分集合を Et,ob j−ob j と表記する．
ここで，Et,ob j−ob j は，オブジェクトノード Nt,k を用
いて式 (5) のように定義する．

(8)
従って，エッジ集合 Et は式 (9) のように定義する．

Et = Et,obj-obj ∪ Et,self-obj ∪ Et,temporalobj ∪ Et,temporalself (9)3.2

時空間シーングラフに対応した文章生成

時空間シーングラフの入力に対応した文章生成モデ
ルをグラフエンコーダと文章生成デコーダにより構成
する．モデルの詳細を図 2 に示す．グラフエンコーダで

ob j
ob j
Et,obj-obj = {(Nt,i, Nt,obj j ) | Nt,i
, Nt,obj j ∈ Vt,ob j }(5)

セルフノードと各オブジェクトノードを接続するエッジ Et,sel f −ob j は，式 (6) のように定義する．

徴の抽出を行う．ここでは，時空間シーングラフに含まれる空間情報及び時系列情報を考慮することが可能である ST-GCN を用いる．文章生成デコーダでは，グラフ

ob j
ob j
∈ Vt,ob j }Et,sel f −ob j = {((Ntsel f , Nt,i), ωdistance ) | Nt,i(6)
ここで， ωdistance は各オブジェクトノードとセルフノードを結ぶエッジに対する重みを表す．この重みは，オブジェクトとの物体間距離を用いる．物体距離は，式 (7)を用いて算出する．

は，入力された時空間シーングラフを解析し，グラフ特エンコーダで得られたグラフ特徴量から文章の生成を行う．ここでは，言語モデルとして Transformer-Decoderを用いる．学習時，Transformer-Decoder は入力シーンに対応した案内文と抽出したグラフ特徴量から単語列を逐次的に推測してデータセットに含まれる案内文の
統計的な特徴を獲得する．推論時，グラフ特徴量と文Graph-Encoder (ST-GCN)

Input Scene Data

N×
・
・
・
・
・
・

Ground Truth:

FC LayerTurn right at the intersection
where the blue car in front justturned a moment ago.

・

・

・

・

・

・

Temporal Conv
Layer

+
Ac�on

Spa�al Conv
Layer

Spa�al Conv
Layer

GraphingSpa�al-Temporal Scene Graph

LinearSo�maxFeed
ForwardPE

Add & Norm

Add & Norm

Mul�-HeadA�en�onAdd & Norm

MaskedMul�-HeadA�en�on

Embedding

Outputs(shi�ed right)

OutputProbabili�esGround Truth:

Straight at the intersection
where the red car just passed.

N×Transformer-Decoder

図 2: 時空間シーングラフに対応した文章生成

図 3: 作成したシーンと正解案内文の例

章の開始を示すトークンが入力され，学習の際に獲得した文章表現の特徴を基に単語列を逐次的に推測する提案手法のモデルは，ST-GCN と Transformer-Decoderからなり，End-to-End で学習する．学習の目的は，モデルが生成した文章と正解の文章との誤差を評価し，最小化することである．そのため，Cross-entropy 損失を用いる．学習では，各ミニバッチにおいてモデルが予測した単語の確率分布と，正解の単語を表す確率分布との Cross-entropy 損失を式 (10) より算出する．

1 M T∑ ∑ targetsi, j · log(outputsi, j )
M i=1
j=1

CARLA

Simulator[20] を 用 い る ．CARLA Simulator と は ，

モデルの学習L=−

走行シーンの撮影

デ ー タ セット 作 成 の ツ ー ル と し てことで案内文の生成を行う．

3.3

4.1

自動運転システムの開発と検証に向けたシミュレー
ターソフトである．車両や歩行者といったトラフィッ
クの生成機能や自動運転を行う機能が搭載されており，これらを活用してダッシュボードカメラの視点において走行シーンの撮影を行った．撮影条件は 10fps とし，
おおよそ交差点 50m 手前から交差点通過直後，注目対象となるオブジェクトが 1 つ以上存在するシーンを選
定した．

(10)

ここで，M はミニバッチ内のサンプル数，T は文章の長さ（単語数），targetsi, j はサンプル i において文章
内の各単語の位置 j における正解単語のインデックス，

outputsi, j はモデルが出力したサンプル i において文章
内の各単語の位置 j における各単語の予測確率である．

4.2

アノテーション

正解案内文のアノテーションは人間により行う．“Turnright”や “Turn left”といった交差点に対しての動作を先頭に配置し，それ以降は注目対象を中心とした案内方
法になるよう表現方法を統一した．アノテーションを行ったシーンの例を図 3 に示す．

4.3

作成したデータセットの概要

この Cross-entropy 損失を最小化するようにモデルのパ作成したデータセットは，合計 160 シーン，計 10219

ラメータが更新され，学習プロセスを通じて，モデル

フレームで構成される．全てのシーンに対し 1 つの正はデータセット内の文章の統計的な特徴を学習する．

解案内文と，動作情報（“right”，“left”，“straight”のテキスト形式）が含まれる．また，学習用データは 136

4 データセット
学習に用いるデータセットは，走行車両の車載カメシーン，評価用データは 24 シーンとする．

5 評価実験

ラ映像と案内文としてアノテーションされた文章のペアが必要となる．車載カメラの映像を中心としたデー

本章では，評価実験により，時空間シーングラフを

タセットは数多く存在し，代表例として Waymo Open

用いた手法の有効性を検証する．

Dataset[19] などが公開されている．これらのデータセッ

5.1

時系列情報の有無による評価

トは物体検出やトラッキング，セマンティックセグメン

時空間シーングラフを用いたアプローチの有効性をテーションなどの画像認識タスクを想定しており，案検証するため，シーン画像を直接用いた手法をベース

内文のアノテーションは含まれていない．また，案内

ラインとして比較する．また，時系列情報を含む場合

文生成タスクでは交差点付近の走行シーンが対象であの有効性を検証するため，複数のフレームを入力した

るが，既存のデータセットは交差点のない走行シーン

場合と，1 時刻のフレームのみを入力した場合で比較実が多く含まれるため不適切である．そこで，新たに案験を行う．

内文生成タスクに特化したデータセットをシミュレー
タ環境を用いて作成する．

ベースラインは，画像を用いて直接特徴を抽出する手法であるため，入力から文章生成デコーダまでの間

める場合，入力するフレーム数は 5 として固定する．まInput Scene Data
ConcatImage
Encoder

Transformer
Decoder

た，時系列情報を含めない場合においては入力するフ
Outputs+

学習における設定は，学習率を 1.0 × 1.0−4 ，エポッ

EmbeddingAc�on

レーム数は 1 となる．
ク数を 100，Dropout 率を 0.3，バッチサイズを 32 とす

図 4: ベースラインモデルの概略図

る．学習の最適化アルゴリズムには AdamW[23] を用いる．

表 2: 各モデルの詳細
シーングラフ

時系列情報

Baseline
Ours

✓

✓
✓

✓

Encoder
ResNet-18
ResNet3D-18
GCN
ST-GCN

5.3

評価指標

Decoder

各モデルで生成された案内文と正解案内文の生成

Transformer
Decoder

精度を定量的に評価する評価指標として，自然言語処理の分野で広く用いられる BLEU[24]，METEOR[25]，

ROUGE[26]，BERT Score[27] を用いる．BLEU は，生を画像エンコーダに置き換えたモデルを用いる．また，成された文章と正解文章の類似度を評価する．METEOR

提案手法と同様に，データセットに含まれる交差点の動は，単語の一致，ステミングによる一致，同義語による作情報を入力に含める．その際，Action = E(x) ∈ Rdaction

一致を評価する．ROUGE は，生成された文章と正解のとして埋め込み処理を行った動作特徴量を，画像エン文章の最長シーケンスを用いて評価する．BERT Score

コーダで得られた画像特徴量と結合する形で文章生成

は，言語モデルである BERT[28] を用いた評価指標であデコーダへ入力を行う．文章生成デコーダは提案手法

り，文脈を理解した評価が可能である．

とベースラインの比較の公平性を保つため，提案手法

5.4

定量的評価

と同一の Transformer-Decoder を用いる．ベースライン

定量的評価を行い，提案手法とベースライン手法の案

モデルの概略図を図 4 に示す．画像エンコーダでは，時内文の生成精度について比較を行う．まず，テストデー

系列情報を含まない場合は ResNet-18[21] を用い，時系

タの各シーンの中で最も精度が高いフレームのスコア

列情報を含む場合は時間的な変化を捉えることができを用いて評価した結果を表 3 に示す．ここでは，最高ス

る ResNet3D-18[22] を用いる．

コアを記録したフレームを参照することで，正解案内

提案手法において時系列情報を含まない場合，空間文の表現方法との一致度を分析する．表 3 より，ベー

情報のみを表す空間シーングラフ，すなわち，式 (1) のスライン手法は時系列情報の有無に関わらず同程度のt=1 を生成する．空間シーングラフ G は式 (11) として精度となった．しかし，提案手法において時系列情報定義される．

を考慮することで最も優れた精度を達成し，正解案内
文の一致度が高くなることを確認した．

G = {V, E}
V = V1,ob j ∪ V1,sel f

次に，各フレームで得られたスコアをシーンごとに(11)

E = E1,ob j−ob j ∪ E1,sel f −ob j
また，式 (1) で表される空間シーングラフは時系列情報を考慮する必要はないため，グラフエンコーダは空間情報の特徴を抽出する GCN に置き換える．
提案手法及びベースラインの各モデルの詳細をまとめたものを表 2 に示す．

5.2

実験条件

Transformer-Decoder の設定は，層数を 8，Multi-Head
Attention の head 数を 4，Feed Forward Networks の次
元数を 1024，エンコーダから文章生成デコーダへの入力次元数を 512 とする．提案手法におけるグラフエンコーダの ST-GCN，及び時系列情報を考慮しない場合の GCN はそれぞれ 2 層とする．動作情報の埋め込みサ
イズ daction ，及び時空間シーングラフ生成時の BBox 領
域画像特徴の抽出処理における出力サイズ dob j は，同一の 32 とする．
提案手法とベースラインにおいて，時系列情報を含平均化した際の定量的評価を表 4 に示す．ここでは，各シーンの全体的な推論精度を比較することが目的である．各時系列のスコアを平均することで，時間の経過に伴う変動や安定性に着目し，高品質な文章生成の一貫性を分析する．表 4 より，時系列情報の有無に関わらずベースライン手法と比較して提案手法はスコアが向上することを確認した．また，提案手法において時系列情報を持つ場合に最もスコアが高くなり，時空間
シーングラフは高品質な案内文生成の一貫性に寄与することが示された．

5.5

定性的評価

提案手法とベースライン手法によって生成された案
内文の比較を行うことで，提案手法の有効性を調査する．提案手法とベースライン手法の各モデルの案内文
生成結果の例を図 5 及び図 6 に示す．生成結果より，提案手法では画像内に存在するオブジェクトをを基準とした案内文が生成されていることが確認できる．時系
列情報を含む場合においては，提案手法はベースライ表 3: 最も精度が高いフレームのスコアを用いた評価結果
シーングラフ

時系列情報

Baseline

✓

✓
✓

Ours

✓

Bleu-1
0.625
0.612
0.574
0.682

Bleu-2
0.511
0.490
0.457
0.569

Bleu-3
0.430
0.404
0.357
0.461

Bleu-4
0.377
0.302
0.297
0.389

METEOR
0.678
0.662
0.670
0.748

ROUGE
0.679
0.688
0.672
0.742

BERT
0.948
0.949
0.949
0.954

ROUGE
0.553
0.556
0.598
0.624

BERT
0.928
0.928
0.929
0.933

表 4: 各フレームで得られたスコアを平均して評価した結果
シーングラフ

時系列情報

Baseline
Ours

✓

✓
✓

✓

Bleu-1
0.457
0.435
0.478
0.522

Bleu-2
0.333
0.316
0.356
0.392

Bleu-3
0.257
0.234
0.252
0.287

Bleu-4
0.202
0.180
0.209
0.224

METEOR
0.512
0.514
0.575
0.603

Ground Truth:

Turn right at the intersec�on where the white car passed.
Baseline(Without Temporal Informa�on):

Turn right at the intersec�on where the white car is located.
Baseline(With Temporal Informa�on):

Turn right at the intersec�on just before the red car.
Ours(Without Temporal Informa�on):

Turn right at the intersec�on just before the white car.
Ours(With Temporal Informa�on):

Ac�on：right

Turn right at the intersec�on where the white car passed.

図 5: 入力シーンと案内文の生成結果の例．Ours(With Temporal Information) では Ground Truth と同一の文章が生成されたことを確認できる．
Ground Truth

Turn le� at the next intersec�on, just like the red car.
Baseline(Without Temporal Informa�on)

Turn le� in the direc�on where the black car passed.
Baseline(With Temporal Informa�on)

Turn le� following the red car.
Ours(Without Temporal Informa�on)

Turn le� at the intersec�on where the red car is located.
Ours(With Temporal Informa�on)

Ac�on：le�Turn le� at this intersec�on, following the direc�on of the red car.

図 6: 入力シーンと案内文の生成結果の例．Ours(With Temporal Information) では Ground Truth と近しい文章が生成されており，オブジェクトの動作を考慮した表現となり詳細な説明がされていることが確認できる．
ンと比較してオブジェクトの進行方向や位置が考慮さ

内文を生成するアプローチを導入した．独自に作成しれていることが確認できる．動的なオブジェクトの時た Human-like Guidance に適したデータセットを用いて間的な変化を捉え，生成する案内文の表現力の向上に実験を行った結果，画像から直接特徴を抽出する方法

寄与することが示された．

と比べ，時空間シーングラフとして特徴表現すること

また，提案手法において入力する動作情報を変更しで案内文の生成精度が向上することを確認した．また，た際のそれぞれの生成結果の例を図 7 に示す．図 7 よ

時系列情報の有無による比較実験を行った結果，時系

り，入力した動作情報に合わせて適切なオブジェクト

列情報を持つ時空間シーングラフを用いた場合，オブが選択されており，そのオブジェクトを中心とした案

ジェクトの時間的な変化を考慮した案内文が生成され内文が生成されていることが確認できる．

たことを確認した．また，各シーンの全てのフレームで評価した結果，時系列情報を含む時空間シーングラ

6 おわりに

フは高品質な案内文を一貫して生成できることを確認した．従って，時空間シーングラフは，周辺環境の理本研究では，Human-like Guidance の実現を目的に，
視界情報から案内文を生成する手法を提案した．提案

解において有効であり，案内文の表現力向上に寄与することを示した．

手法では，空間情報および時間情報を表現可能な時空

しかし，本研究で作成したデータセットに含まれる間シーングラフを生成し，文章生成モデルを用いて案シーンは限定的であり，より複雑な道路環境において

Ac�on：le�Turn le� at this intersec�on, following the direc�on of the red car.
Ac�on：right
Turn right at the intersec�on where the white car passed.
Ac�on：straight
Straight at the intersec�on where the white car is located.

図 7: 提案手法において入力する動作情報を変更した際のそれぞれの生成結果の例．Action が “left”の場合は “redcar”，“right”と “straight”の場合は “white car”を注目対象とした案内文が生成され，入力した Action に合わせて適
切な案内文が生成されていることを確認できる．
の有効性は分析が不十分である．そのため，今後はデー

Zemel, and Yoshua Bengio. Show, attend and tell:

タセットの拡張により様々な状況を検証し，提案手法

Neural image caption generation with visual atten-の応用性について確認する必要がある．また，提案手

tion. In Proceedings of the International Confer-法のアプローチは実環境データにも適応することが可

ence on Machine Learning (ICML), pages 2048–

能であり，実環境シーンでの検証を行う予定である．

2057, 2015.
[8] Peter Anderson, Xiaodong He, Chris Buehler,

参考文献

Damien Teney, Mark Johnson, Stephen Gould, andLei Zhang. Bottom-up and top-down attention for im-[1] Anil K. Kandangath and Xiaoyuan Tu.

Human-

age captioning and visual question answering. In Pro-

ized navigation instructions for mapping applica-

ceedings of the IEEE Conference on Computer Visiontions, April 2015. US Patent application.

and Pattern Recognition (CVPR), pages 6077–6086,[2] Amanda Cercas Curry, Dimitra Gkatzia, and Verena Rieser.

2018.

Generating and evaluating landmark-[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob

based navigation instructions in virtual environments.

Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz

In Proceedings of the 15th European Workshop on

Kaiser, and Illia Polosukhin. Attention is all you

Natural Language Generation (ENLG), pages 90–94,
2015.

need. In Advances in Neural Information Processing[3] Jana Götze and Johan Boye. Deriving salience mod-[10] Wei Liu, Sihan Chen, Longteng Guo, Xinxin Zhu,
and Jing Liu. Cptr: Full transformer network for im-

els from human route directions. In Proceedings ofthe IWCS 2013 Workshop on Computational Models

Systems (NeurIPS), pages 5998–6008, 2017.

age captioning, 2021.

of Spatial Language Interpretation and Generation[11] Franco Scarselli, Marco Gori, Ah Chung Tsoi,(CoSLI-3), pages 7–12, Potsdam, Germany, 2013.

Markus Hagenbuchner, and Gabriele Monfardini.

Association for Computational Linguistics.

The graph neural network model. IEEE Transactions[4] Oriol Vinyals, Alexander Toshev, Samy Bengio, andon Neural Networks, 20(1):61–80, 2009.

Dumitru Erhan. Show and tell: A neural image cap-[12] Thomas N. Kipf and Max Welling. Semi-supervisedtion generator. In Proceedings of the IEEE Confer-classiﬁcation with graph convolutional networks.

ence on Computer Vision and Pattern Recognition

In Proceedings of the International Conference on(CVPR), pages 3156–3164, 2015.

Learning Representations (ICLR), pages 5425–5434,[5] Yann LeCun, Léon Bottou, Yoshua Bengio, andPatrick Haffner. Gradient-based learning applied to
document recognition.

Proceedings of the IEEE,

86(11):2278–2324, 1998.
Learning representations byback-propagating errors.

[13] Shijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial
temporal graph convolutional networks for skeletonbased action recognition. In Proceedings of the AAAI

[6] David E. Rumelhart, Geoffrey E. Hinton, andRonald J. Williams.

2017.

Nature, 323(6088):533–

536, 1986.
[7] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun
Cho, Aaron Courville, Ruslan Salakhudinov, Richard

Conference on Artiﬁcial Intelligence (AAAI), 2018.
[14] Justin Johnson, Agrim Gupta, and Li Fei-Fei. Image generation from scene graphs. In Conference on
Computer Vision and Pattern Recognition (CVPR),
2018.

[15] Jianwei Yang, Jiasen Lu, Stefan Lee, Dhruv Batra,

relation with human judgments. In Proceedings of theand Devi Parikh. Graph r-cnn for scene graph gener-

EACL 2014 Workshop on Statistical Machine Trans-

ation. In Proceedings of the European Conference onlation, 2014.

Computer Vision (ECCV), pages 690–706, 2018.

[26] Chin-Yew Lin. Rouge: A package for automatic eval-[16] Kaiming He, Georgia Gkioxari, Piotr Dollár, anduation of summarization quality. Text Summarization

Ross Girshick. Mask r-cnn. In 2017 IEEE Interna-

Branches Out: Proceedings of the ACL-04 Workshop,

tional Conference on Computer Vision (ICCV), pages
2980–2988, 2017.

2004.
[27] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q.

[17] Tsung-Yi Lin, Michael Maire, Serge Belongie, James

Weinberger, and Yoav Artzi. Bertscore: Evaluating

Hays, Pietro Perona, Deva Ramanan, Piotr Dollár,text generation with bert. In Proceedings of the 58th

and C Lawrence Zitnick. Microsoft coco: Common

Annual Meeting of the Association for Computational

objects in context. arXiv preprint arXiv:1405.0312,
2014.

Linguistics, pages 7971–7981, 2020.
[28] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and[18] Glenn Jocher, Ayush Chaurasia, and Jing Qiu. Ultralytics yolov8, 2023.

Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In[19] Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Au-

Proceedings of the 2019 Conference of the Northrelien Chouard, Vijaysai Patnaik, Paul Tsui, James

American Chapter of the Association for Computa-

Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vi-tional Linguistics: Human Language Technologies,

jay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao,

pages 4171–4186, 2019.

Aleksei Timofeev, Scott Ettinger, Maxim Krivokon,
Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens,and Zhifeng Chen. The waymo open dataset: High
resolution sensor data for autonomous driving. In
Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[20] Alexey Dosovitskiy, Thomas Brox, Nikolay Stoyanov, Tom Erez, Eddy Ilg, Alexander Pishchulin,
Maxim Yankovskiy, and Daniel Cremers. Carla: An
open-source simulator for autonomous driving, 2017.
[21] Kaiming He, Xiangyu Zhang, Shaoqing Ren, andJian Sun. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages
770–778, 2016.
[22] Kensho Hara, Hirokatsu Kataoka, and Yutaka Satoh.
Can spatiotemporal 3d cnns retrace the history of 2d
cnns and imagenet? In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition,
pages 6546–6555, 2018.
[23] Ilya Loshchilov and Frank Hutter.
pled weight decay regularization.

Decou-

arXiv preprint

arXiv:1711.05101, 2018.
[24] Kishore Papineni, Salim Roukos, Todd Ward, andWei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the40th annual meeting of the Association for Computational Linguistics (ACL), 2002.
[25] Michael Denkowski and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved cor-