観光メモリアル動画のための
車載動画キュレーションアルゴリズムの検討
片山 洋平1,2

平野 陽大1,2

諏訪 博彦1,2

伍 洋3

安本 慶一1,2

概要：近年，動画を観光に活用するケースが増えている．観光後に観光地の画像をキュレーションしメモ
リアル動画とするようなシステムは多数存在しているが，観光経路動画をキュレーションするシステムはまだ存在していない．本稿では，観光地でのレンタカー利用後の観光客に向けた，メモリアル動画のためのドライブレコーダ動画キュレーションアルゴリズムを提案する．提案手法ではクラウドソーシングにより重要度スコアを取得し，画像に写るカテゴリと地域のランドマークを利用した特徴量を用いて機械学習による重要度スコアの推定を提案した．本稿では観光経路全体の重要度スコア取得を行う本実験に向けて，沖縄で撮影されたドライブレコーダ画像を 50 枚利用した予備実験により提案アルゴリズムの性能評価を行った．予備実験の結果から「沖縄らしさ」が「メモリアル動画への必要度」と相関係数 0.92 を示し有意に強い正の相関を持つこと，提案手法から「沖縄らしさ」の重要度スコアの推定が可能であることを示唆した．

A study on driving video curation algorithm for memorial sightseeing
movie generation
YOHEI KATAYAMA1,2

YODAI HIRANO1,2 HIROHIKO SUWA1,2
KEIICHI YASUMOTO1,2

1. はじめにYANG WU3

一方，ドライブレコーダの出荷数は増加しており，2018年度は国内で年間約 367 万台が出荷されている [3]．あお

近年，インターネットにおける動画コンテンツは増加しり運転報道の影響もあり，今後も利用者は増えると考えらており，Google 社の調査では観光客の約 40%以上が観光れるが，それらの動画は事故やアクシデント時にしか利用計画を立てる際に，他の観光客のメモリアル動画などを利されておらず，動画というリッチな情報が活用されていな用すると報告されている [1]．観光終了後のメモリアル動画

い．本研究ではその点に着目し，取得される動画を観光経として，スライドショー形式で観光スポットの写真を見返路動画としてキュレーション (収集・編纂) することで，観すなどがある．RealNetworks 社の提供する「RealTimes」

光客が観光全体の様子を連続的に想起するシステムを構築

では，写真に対応する位置情報に基づいて画像からショーすることを目指す．

トムービーを作成・提供している [2]．既存研究のように観観光経路動画の活用場面は，観光前のマーケティングや

光スポット周辺の写真を利用したメモリアル動画は多数あプランニング，観光後の振り返りやシェアリングなど，様々るが，観光経路の動画は少ない．観光において大きな時間なシーンが存在する．上記のシーンはいずれも短時間で効を占める経路動画をユーザに提供することは観光全体の様

果的にユーザに提示することが望ましいと考えられる．し子を連続的に想起するための手助けになると考える．

たがって，ドライブレコーダ動画を利用する上での課題として収集動画が長時間であり直線的な道のりや信号での停12
3

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所,RIKEN
京都大学,Kyoto University

車など冗長な部分が含まれることがあげられる．
本稿では，特にレンタカーでの観光終了後の観光客に対するメモリアル動画の作成・提供のために，観光経路動画

をキュレーションするアルゴリズムを提案する．提案アルゴリズムでは，クラウドソーシングにより重要度を取得し，画像に写るカテゴリと地域のランドマークを利用した特徴
量を用いて機械学習による重要度スコアの推定を行う．また，予備実験では沖縄で撮影されたドライブレコーダ画像を利用して提案アルゴリズムの検証を行った．予備実験の結果より「沖縄らしさ」が「メモリアル動画への必要度」と相関係数 0.92 を示し強い正の相関を持つこと，提案手法
から「沖縄らしさ」の重要度スコアの推定が可能であることを示唆した．
以降の章構成は以下の通りである．2 章では，提案手法に関連した既存研究を概説すると共に，本提案の位置付け

図 1 提案手法の概要図を明らかにする．その後，3 章では，提案アルゴリズムについて述べ，4 章で提案アルゴリズムの有効性を示すため

2.3 重要度推定を用いた動画要約の研究の評価実験の内容の説明を行い，5 章で実験結果および結CISCO 社の調査では 2017 年の世界のデータ通信量のう果の考察を行う．6 章では，5 章の結果についての議論を

ち 75%が動画であることが報告されている [8]．また同調行う．最後に，7 章で本論文のまとめを述べる．

査では，2022 年には動画の通信量が 82%まで増加するこ

2. 関連研究とが予測されている．これに伴い動画要約の研究が各分野で盛んに行われている．Song ら [9] は YouTube 上の多様

本章では，本研究と関係する既存研究としてドライブレなカテゴリの動画に対して 2 秒ごとに重要度を推定し，そコーダ動画を活用した研究とシーンの重要度を利用した動こから要約動画を作成している．汎用的な要約動画の作成

画要約の研究について概説し，本研究の位置づけを明確にには適しているが，メモリアル動画を作成するというタス

する．

クにおいては重要なシーンが落とされる可能性がある．金谷ら [10] は，観光歩行時の 1 人称カメラから重要度の推定

2.1 ドライブレコーダ動画の活用研究を含むキュレーションを行い，観光経路動画を作成しユー

既存のドライブレコーダ動画の主な活用事例は，運転技術

ザに提示する手法を提案している．ここで，歩行と走行車

や運転マナーのフィードバックに関するものである [4][5]．

両では通るルートや視点が異なるため，この手法を直接メ

これらの研究では運転者や車体の運転情報を用いており車

モリアル動画作成に応用することは難しい．

外の風景を取り扱うものは少ない．Takenaka ら [5] の研究

ドライブレコーダ動画からメモリアル動画を作成する上ではドライブレコーダ動画から抽出される運転動作に対応

で，視聴者の興味にあわせて重要な場面を提示することがした音楽を合わせて要約動画を作成している．これは抑揚求められるが，各個人に合わせて人手でキュレーションすのあるキュレーションによって，視聴者を退屈にさせない

ることは現実的ではない．よって，本稿ではメモリアル動

要約手法が必要であることを示唆している．佐藤ら [6] は，画における重要なシーンの抽出アルゴリズムを提案する．

動画中から動き特徴や標識を検出して観光のための道案内
要約動画を自動生成している．この手法では今後観光をするユーザを対象に動画生成を行っているため，メモリアル
動画の生成には適さない．

3. 提案手法
本研究で提案するアルゴリズムの概要を図 1 示す．入力
として車両のエンジンが始動してから，切られるまでのドライブレコーダ動画を使用し，出力としてメモリアル動画

2.2 画像の綺麗さを評価する研究を生成する．

Talebi ら [7] の研究では，深層学習により画像の美しさについて定量的な評価を行うモデルを提案している．学習

3.1 セグメント分割

データには画像とアマチュア写真家による 10 段階の評価提案手法では，車載動画をセグメントと呼ぶ同じ意味を利用している．この研究では写真家が考える構図などのを持つフレーム群に分割し，各セグメントの重要度を推定

綺麗さを表現しているものの，運転風景での綺麗さの定量

しキュレーションを行う．セグメントの長さの単位として化はされない．したがってメモリアル動画を作成する上で経験的に 3 秒を採用する．これは車の時速 60km と仮定し重要となる綺麗な景色を定量化するタスクにおいては適さた際に，50m 先のオブジェクトがフレームアウトするまない．

での時間である．重要なセグメントとしては，観光地から車が発進・到着時のセグメント，観光地を表現するランド

図 2 DeepLabv3 による検出結果の例

図 3 YOLOv3 による検出結果の例

マークが含まれるセグメント，綺麗と感じる風景が含まれの重要度の定量化を図る．観光経路動画の重要度を評価す

るセグメントなどが想定される．

る際に，その土地への観光経験の有無は影響すると考えられる．よってクラウドソーシングのタスクを実施する際に3.2 カテゴリ別占有率の抽出は，事前にスクリーニング検査として対象地域への観光経

画像中のカテゴリを画素単位でラベル付けするタスクを

験の有無を調べた．観光経験のある対象をホワイトリスト

セマンティックセグメンテーション（Semantic Segmenta-に追加し，タスクを実施する．タスクは，評価を各セグメ

tion）と呼ぶ．予備実験の結果から，画像中の空の広さやントごとに 20 人が回答するように設定する．予備実験で道路の混雑度が重要度に影響しているとのコメントを得は沖縄の風景の評価を得た．回答者にはレンタカー利用者た．よって提案手法ではセマンティックセグメンテーショ

としての立場を想定して以下の三項目について「5． とてンで高い精度を出している DeepLabv3[11] を利用し，ドラもそう思う」から「1．全くそう思わない」の 5 段階で重要

イブレコーダ画像中に含まれるカテゴリの検出を行う．学度について回答する．レベルは Song らがクラウドソーシ

習データには街の画像に対応するセグメンテーション画ングを実施した際の指標に合わせている．

像を含むオープンデータセットである CityScapes[12] と• 沖縄らしい風景

BDD100k[13] を用いた．検出結果を図 2 に示す．画像は• 綺麗な風景

車，道路，空などを含む 20 カテゴリに画素単位で分類さ• メモリアル動画に必要な風景

れる．画像中に各カテゴリの存在する画素数を用いてカテ

図 4 は回答者から見たタスクの画面である．回答者はリ

ゴリ別の画像内占有率を算出する．

ンクをクリックすることでセグメントの画面に一時的に遷移する．

3.3 ランドマーク検出
ランドマークとはその土地を表現するオブジェクトであ

3.5 重要度推定モデルの構築

る．予備実験で受け付けたコメントの結果からヤシの木な

3.4 節で取得された重要度スコアを利用して，重要度推どのその土地のランドマークが重要度に影響していると定モデルの構築を行う．モデルの学習には特徴量として，の指摘を得た．よって提案手法では物体検出で高い精度を

セマンティックセグメンテーションから得られた 20 カテ出している，YOLOv3[14] を利用し，ヤシの木の検出を行

ゴリについて各カテゴリが画像を占める割合とランドマー

う．学習データには同時期に撮影された沖縄でのドライブ

ク検出から得られたヤシの木の有無についての 21 次元のレコーダ画像と Web からのデータクローリングによ取得

特徴量を用いる．推定には回帰分析のモデルとして重回帰された画像を利用する．検出結果を 3 に示す．

分析と Support Vector Regression (SVR) の 2 手法を提案
する．

3.4 重要度スコアの取得
セグメント重要度に関するアノテーションは観光終了後

3.6 重要度推定の観光者から取得するのが好ましい．しかし長時間におよセグメントの重要度の推定には特徴量として，セマン

ぶ動画を観光者が全て評価するのは現実的に難しい．Song

ティックセグメンテーションから得られた 20 カテゴリにら [9] は YouTube 上の動画に対し，クラウドソーシングをついて各カテゴリが画像を占める割合とランドマーク検出

利用して重要度のアノテーションを付与している．そこでから得られたヤシの木の有無についての 21 次元の特徴量

本研究でもクラウドソーシングを利用し，セグメントごとを入力とし，前節で構築した重要度推定モデルにより重要

表 1 回答者の観光経験
沖縄への観光経験
回答者数
行ったことがない

489

現在、滞在している

6

1 年以内

60

2 年以内

44

3 年以内

34

4 年以内

19

5 年以内

32

6 年〜10 年以内

106

それ以上前

210

の画像について各 20 件のアノテーションの取得を Yahoo!
クラウドソーシングを利用して行った．画像は 2019 年の8 月頃に沖縄を運転した車に備え付けられたドライブレ
コーダから撮影されたものを利用した．取得されたアノテーションに対して，3.5 節で述べた重要度推定手法を用いてそれぞれの重要度について算出した．モデル作成には
機械学習ライブラリの scikit-learn[15] を利用した．また，
データセットの規模が小さいため，50 枚の画像に対して
図 4

クラウドソーシングでのタスク画面度を推定する．

Leave-one-out 交差検証を実施した．

5. 実験結果
実験結果について，クラウドソーシングでのスクリーニ

3.7 セグメント選択推定された重要度に基づいてメモリアル動画として必要なセグメントを選択する．この際に車の出発到着セグメン

ング検査の結果，回答者のコメント，得られた重要度スコ
アを順に記す．続いて得られた重要度スコアから「沖縄らしさ」を推定した回帰分析の結果を記す．

トとは現在地の理解を促すため必要となる．残りのセグメ
ントについて，メモリアル動画の再生時間の用件を満たす
ように，重要度の高いセグメントから順番に選択する．

4. 予備実験メモリアル動画を作成する際の重要度スコアの取得には，動画単位でのアノテーションやメモリアル動画を表現

5.1 スクリーニング検査
クラウドソーシングのスクリーニング検査として 1000人を対象として沖縄への観光経験の有無を尋ねた．「沖縄に行ったことがない」と答えた回答者を除いた，489 人をホワイトリストに追加し重要度を回答するタスクを割り当てた．回答者の分布を図 1 に示す．

するだけのサンプル数を用意した本実験が必要である．本稿では本実験に備えた予備実験を実施した．予備実験では

5.2 クラウドソーシング回答者のコメント

画像からの重要度スコアの取得を少量のデータを利用し，予備実験の際にユーザには画像に対してなぜその重要度

提案アルゴリズムの重要度推定までを実施した．以下に実を付たのかについて任意でコメントを受け付けた．そこで

験目的と実験方法を記す．

得られたコメントをいくつか紹介する．

• ポジティブなコメント
4.1 実験目的
予備実験の目的の 1 つとして，観光経路での風景において重要度に有意な差が出るかを検証する．また，2 つ目の目的として，提案アルゴリズムにより正しく重要度スコア

ヤシの木が沖縄らしさを感じた
広い空で爽快感がある
海が見える• ネガティブなコメントの判定が行えるかを調査する．以上の 2 点を予備実験の目

どこにでもある普通の道路的とする．

雑多な感じがする• ドライブレコーダに関するコメント
4.2 実験方法
予備実験ではセグメントを 1 枚の画像と見立て，50 枚

フロントガラスの反射が気になる
暗い

20

15

15

10

10

5

5

0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

mean score00.0

standard deviation score

20

0.5

1.0

1.5

standard deviation score

2.0

5

1.5

4

1.0

3

0.5

2

0.0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

2.0

1mean score

図 5 「沖縄らしさ」のヒストグラム. 左：平均値のヒストグラム. 中央:標準偏差のヒストグラ

20

20

15

15

10

10

5

5

0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

mean score00.0

standard deviation score

ム. 右: 平均値と標準偏差のヒストグラムの結合.

0.5

1.0

1.5

standard deviation score

2.0

5

1.5

4

1.0

3

0.5

2

0.0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

2.0

1mean score

図 6 「綺麗さ」のヒストグラム． 左：平均値のヒストグラム. 中央:標準偏差のヒストグラム.

20

20

15

15

10

10

5

5

0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

mean score00.0

standard deviation score

右: 平均値と標準偏差のヒストグラムの結合.

0.5

1.0

1.5

standard deviation score

2.0

5

1.5

4

1.0

3

0.5

2

0.0
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0

2.0

1mean score

図 7 「メモリアル動画への必要度」のヒストグラム. 左：平均値のヒストグラム. 中央:標準偏差のヒストグラム． 右: 平均値と標準偏差のヒストグラムの結合.

(a) No32, score:1.50 (±0.97)
図 8(b) No7, score: 3.65 (±1.23)

予備実験で用いた画像の例．μとσは「メモリアル動画への必要度」について平均値と標準偏差を表している． (a) 最低スコア (μ= 1.50，σ= 0.97)， (b) 最高スコア (μ=3.65，σ= 1.23)

沖縄では京都の寺社仏閣や東京の東京タワーのように道なコメントとして高速道路のような眺めは開けているがど路からでも見られる際立ったランドマークが少ない．そのこにでも見られるような風景や，建物に囲まれているよう

代わりポジティブな意見でも見られるような「ヤシの木」

な景色を指摘する意見がみられた．その他のコメントとしや「海」といったものが地域を表現するランドマークとしてドライブレコーダの性能に起因する意見も挙げられた．

て共通認識ができていることが得られた．またネガティブ5.0

Pearson's r = 0.92, p = 6.51e-21

score

score

4.5
4.0
3.5

5
4
3

48
6

3.0

12

mean

mean

2.0
1.5
1.0
1.0

42

2

2.5

1.5

図 9

2.0

2.5

mean

3.0

3.5

4.0

score

4.5

157 18
19
424
3
38
44
8 2
34
39
36
494021 27
43 12220 910 5 45
16
13 29
26
23 35
14
302825463747 31 3350
11
32
17

41

1
0

5.0

0

1

各スコアの分布と相関関係

23predicted score45

図 11 重回帰分析の結果
5.0

Pearson's r = 0.85, p = 8.27e-15

score

score

4.5
4.0
3.5
3.0

5
4
3

6

32

1.5
1.0
1.0

42

2

2.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

5.0

mean
score
図 10 各スコアの分布と相関関係

mean

mean

2.5

15 7
18
2417 4
19
383
44
82 39
34
36
27
48
40 91
49214122
43 1020 51645
13
23
26
25
29
35 1430
12
28
46
37 50
47
33
31
11

1
0
0

2

3

predicted score

図 12

5.3 重要度スコア
各画像に対して得られた 20 件の 3 項目への回答につい

1

4

5

SVR の結果て，平均値と標準偏差を算出したものを図 5，図 6，図 7 に

表 2 「沖縄らしさ」推定結果
method
検定手法
決定係数示す．「沖縄らしさ」や「綺麗さ」の重要度は最頻値は 2.5

重回帰分析

leave-one-out-1.48〜3.0 にあるものり，正規分布に近い分布をしている．「綺SVRleave-one-out-0.20

麗さ」では 4.0 以上の重要度が得られる画像も存在した．
一方で，「メモリアル動画への必要度」についてのヒストグ

区間を表す．

ラムでは最頻値が 2.0〜2.5 に存在しており，分布が他の 2それぞれの項目間の相関係数より，正の強い相関が確認

項目と比較して左に偏っている．このことから「メモリアされた．またどちらも有意水準 (0.05>p) を満たしている

ル動画に必要」と回答者が確信を持って回答できる画像はため，有意に相関があることが認められた．ここで最も高少ないことが推測できる．標準偏差についてはすべての項

い数値として，「沖縄らしさ」と「メモリアル動画への必要目において 1.0 に集中した分布になっている．これは，質度」の項目間の相関係数は 0.92 であった．このことは「沖問内容の曖昧性に起因していると考えられる．

縄らしい」という指標を用いてその土地のメモリアル動画

図 8 は実験で用いた 50 枚の中で「メモリアル動画へのを作成することが有効であることを示す．また他の地域に必要度」の項目で最低，最高スコアを示した画像の例であおいても同様に「その土地らしさ」を利用することでメモる．最低スコアを示した (a) はトンネル内部を運転する風

リアル動画が作成できることを示唆した．

景で，最高スコアを示した (b) の画像は，沖縄の観光地としても有名な古宇利島へ繋がる橋を渡る風景であり，左右には海がみられる．これらの画像からもクラウドソーシン
グで直感的な評価が取得できていると考えられる．

5.5 重要度の推定
図 7 の結果から「メモリアル動画への必要度」を回帰分
析により推測することは，重要度の分布が全体的に低く偏っていることから難しいと考えられる．よって，回帰分

5.4 項目間での重要度の相関算出された重要度について「メモリアル動画への必要度」との相関を算出したものを図 9，図 10 に示す．相関はピア析では強い相関関係が見られる「沖縄らしさ」の推定を行う．SVR ではハイパーパラメータチューニングは実施せずにデフォルト値を利用した．

ソンの積率相関係数 (r) と有意確率 (p) を用いた．赤色の

表 2 に提案手法で述べた 21 次元の特徴量を用いて「沖直線は単純な線形回帰直線を周囲の薄赤色領域は 95%信頼

縄らしさ」についての重要度の推定を行った際の決定係数

(a) No6,score:2.70(predicted score:2.39)(b) No11,
score: 2.40
(predicted score:2.90)
図 13(c) No32,
score: 2.20
(predicted score:-0.20)

SVR 分析で特に誤差が大きかった画像の例

を，図 11，図 12 にそれぞれの分析手法での推定値の散布

異なっている．したがって画像中に写るカテゴリから正し図を示す．どちらの手法においても極端に誤差の大きいサく推定できなかったと考えられる．これはドライブレコー

ンプルがみられるため，決定係数は低下したとみられる．

ダから車速を利用することで解消できると考える．

散布図では，重回帰分析が回帰直線から離れたデータが多(c) はトンネルの中のシーンである．今回学習の際にト数見られるのに対して，SVR では比較的多くのサンプルにンネルを 1 つのカテゴリとして学習しておらず，検出の際ついて回帰直線で表現できている．

6. 考察
本章では，予備実験の結果から得られた課題と改善方法について考察する．

に画像の大部分が Other カテゴリとして検出されている．

Other には橋の脚など学習サンプルが多くないものが含まれている．また，今回の 50 枚の学習データの中でトンネル
内部の画像はこの 1 枚であった．これにより (c) のようなカテゴリの占有率が特徴的な画像について正しく検出されなかったと推測できる．この問題への対処法として 1 つは

6.1 クラウドソーシンングでのホワイトリスト

学習データ量の拡充である．また別の方法として，画像中

今回の予備実験では，日本国内の沖縄への観光経験者をのカラーヒストグラムで閾値判定することも可能である．

ホワイトリストに追加し，クラウドソーシングのタスクを

これらの 3 画像を除いた際の SVR の決定係数は 0.36 で依頼した．したがって，重要度の判定基準などは日本人にあった．したがって今後は速度情報の追加や，データ数の依存している．しかし，近年レンタカーの利用者にはイン拡張が必要であると考えられる．

バウンドの観光客も増加している．今後はメモリアル動画を作る対象の属性 (性別や出身国) などを考慮してクラウド
ソーシングを行い，よりパーソナライズされたモデルを作ることが望まれる．

6.4 重要セグメントの選択
今回の予備実験では重要度の推定までを行った．提案手法でも述べているように，メモリアル動画として作成される動画では重要度の高いセグメントからの選択を検討して

6.2 セマンティックセグメンテーションの検出カテゴリ

いる．本実験ではメモリアル動画を視聴したユーザ評価を

今回 DeepLabv3 で検出を行った 20 カテゴリには海のラ

元にセグメントの選択手法についても改善をする必要があ

ベルは入っていない．しかし，沖縄の風景の重要度に海ると考えられる．

が影響することは予備実験のコメントから得られている．
よって学習データを拡張して海のラベルを得る必要がある．
ここでの関連研究として，土井らの研究 [16] では電車の車

7. 結論

窓に対してセマンティックセグメンテーションを行ってい

本稿では，観光地でのレンタカー利用後の観光客に向ける．本研究と同様に CityScapes データセットを利用してたメモリアル動画のためのドライブレコーダ動画キュレー

いる．この研究では，さらに ADE20k データセット [17] でションアルゴリズムを提案した．提案手法では画像処理手追加のセマンティックセグメンテーションを行い，水域の法であるセマンティックセグメンテーションや地域のラン取得を試みている．今後はこの手法を用いて海領域の取得

ドマーク検出を利用したセグメントからの特徴量の抽出方を目指す．

法や機械学習による重要度の推定を提案した．次に，50 枚の小規模な学習データセットを用いた予備実験を行った．

6.3 重要度推定において誤差が大きいサンプル

この予備実験では過去の沖縄への観光経験者を対象として

図 12 内で特に誤差の大きかった 6，11，32 番の画像にホワイトリストに追加し，クラウドソーシングにより画像

ついて DeepLabv3 により出力されたセグメンテーションのアノテーションタスクを依頼した．実験結果として，「メ

画像を図 13 に示す．(a)，(b) は駐車中の画像である．こモリアル動画への必要度」について，「沖縄らしさ」が有

れらは駐車中のため他の画像と比べた際に明らかに景色が意に強い相関関係を示すこと，推定モデルが検出誤差の大きいサンプルを除くことで決定係数 0.36 を示すことを確認した．また，検出誤差の大きいサンプルの原因について[14]考察した．今後は，データセットを拡張させて，動画からの重要度の取得をクラウドソーシングのタスクとして実行[15]する．また，今後の課題としてはセマンティックセグメン
テーションの検出ラベルの追加，セグメント選択手法の改善，作成されたメモリアル動画について視聴者の主観評価実験を行う．
謝辞 本研究を実施するにあたり，株式会社デンソーテ[16]

ン様よりドライブレコーダ動画の提供をいただいた．ここに記し感謝申し上げる．
[17]

参考文献
[1]
[2]
[3]
[4]

[5]

[6]

[7]

[8]
[9]

[10]

[11]

[12]

[13]

Ipsos MediaCT. “the 2014 traveler’s road to decisiongoogle travelstudy”. Google, 2014.
Real Networks. Real times, 2020. https://jp.real.
com/realtimes/.
JEITA・JDRC(一般社団法人ドライブレコーダー協議会).
ドライブレコーダー国内出荷実績, 2018.
Kazuhito Takenaka, Takashi Bando, Shogo Nagasaka,
and Tadahiro Taniguchi. Drive video summarization
based on double articulation structure of driving behavior. In Proceedings of the 20th ACM international conference on Multimedia, pp. 1169–1172, 2012.
Kazuhito Takenaka, Takashi Bando, and Takayuki Miyahara. Drive video recording device and method, drive
video recording system, and summarized moving image
creating device, May 24 2016. US Patent 9,350,952.
佐藤享憲. シーン文字認識と自己動作分類を用いた車載動画の要約. In MIRU:The Meeting on Image Recognition
and Understanding, 2015.
Hossein Talebi and Peyman Milanfar. Nima: Neural image assessment. IEEE Transactions on Image Processing, Vol. 27, No. 8, pp. 3998–4011, 2018.
CISCO. “cisco visual networking index global ip traﬃcforecast,2017-2022”. CISCO, 2017.
Yale Song, Jordi Vallmitjana, Amanda Stent, and Alejandro Jaimes. Tvsum: Summarizing web videos using titles. In Proceedings of the IEEE conference on
computer vision and pattern recognition, pp. 5179–5187,
2015.
Yuki Kanaya, Shogo Kawanaka, Hirohiko Suwa, Yutaka
Arakawa, and Keiichi Yasumoto. Automatic route video
summarization based on image analysis for intuitive
touristic experience. Sensors and Materials, Vol. 32,
No. 2, pp. 599–610, 2020.
Liang-Chieh Chen, George Papandreou, Florian Schroﬀ,
and Hartwig Adam. Rethinking atrous convolution
for semantic image segmentation.
arXiv preprint
arXiv:1706.05587, 2017.
Marius Cordts, Mohamed Omran, Sebastian Ramos,
Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson,
Uwe Franke, Stefan Roth, and Bernt Schiele. The
cityscapes dataset for semantic urban scene understanding. In Proceedings of the IEEE conference on computer
vision and pattern recognition, pp. 3213–3223, 2016.
Fisher Yu, Wenqi Xian, Yingying Chen, Fangchen Liu,
Mike Liao, Vashisht Madhavan, and Trevor Darrell.
Bdd100k: A diverse driving video database with scalable
annotation tooling. arXiv preprint arXiv:1805.04687,

2018.
Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767,
2018.
F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel,
B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer,
R. Weiss, V. Dubourg, J. Vanderplas, A. Passos,
D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikit-learn: Machine learning in Python. Journalof Machine Learning Research, Vol. 12, pp. 2825–2830,
2011.
土井亜香里 al. セマンティック・セグメンテーションにより抽出した景観構成要素に基づく視点のクラスタリン
グ―大阪環状線の車窓シークエンス景観を対象として―.
Master’s thesis, 大阪市立大学大学院, 2020.
Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela
Barriuso, and Antonio Torralba. Scene parsing throughade20k dataset. In Proceedings of the IEEE conferenceon computer vision and pattern recognition, pp. 633–
641, 2017.