ドライブレコーダを活用した思い出ムービー自動編集システム
尾頭 花奈（指導教員：椎尾 一郎）使用した．ドライブレコーダから取得した動画データと位置情報は，それぞれ MP4 ファイルおよび NMEAファイルとして SD カードに記録される．いずれも約1 分間のデータを 1 ファイルとして，複数のファイルが生成される．ドライブレコーダは ACC 電源の供給に連動して自動的に記録を開始/終了するため，運転中だけが記録対象である．本研究ではこれを利用し，録画時間が 10 分以上開いた場合，休憩地点もしくは目的地に到着したと判断した．
また，ドアの開閉を検出するためにリードスイッチ，離着席を検出するためにマットスイッチ，任意のタイミングで映像の切り取りを行うために，車内/外撮影用の押しボタンスイッチを設置した．そして，Arduinoを用いて，センサ・スイッチの作動時間を USB 接続した PC 2 に記録した．

図 1: 本システムの構成．

1

はじめに近年，ドライブレコーダは急速に普及している．国土交通省によると，年代・地域を問わずほぼ 100 ％の人がドライブレコーダを認知しており，その搭載率も約46 ％である [1]．ドライブレコーダの主な用途は，交通事故やあおり運転車との遭遇のような非常事態への対策であるため，ドライブレコーダに記録されたデータを活用する機会は極めて少ない．
しかし，ドライブレコーダで記録されたデータから紀行ムービを作成することには，多くのメリットがある．まず，ムービー作成のために新たに撮影機材を用意する必要がなく，手動で撮影する手間も不要である．
また，主体的に記録した画像よりも無意識的に記録された画像の方が過去の記憶を想起しやすい [2] ことから，ドライブレコーダで自動撮影した動画から作成された紀行ムービーを閲覧することで，当時の思い出がより蘇りやすいと考えられる．
ドライブレコーダの動画データは紀行ムービーの素材として有用であるものの，記録された長時間に渡るデータから．印象的なイベントが記録された箇所を選択し，結合し，エフェクトを追加するなどの作業を手作業で行うことは困難である．そこで本研究では，ドライブレコーダにより記録した旅行中の車内外の動画データを全自動で編集する，思い出ムービー自動編集システムの提案および実装を行った．

2

自動編集システム3

本システムはコマンドラインツールである FFmpeg3を利用し，以下の 5 つの処理を行う．

3.1

動画のサイズと明るさの調整

ドライブレコーダで得られた動画データは，上下に2 分割され，それぞれに車内外の映像が記録されている．ここから，通常の HD ビデオと同じ 16：9 の縦横比の領域を切り出して使用する．また，ドライブレコー
ダは車外の光量に合わせた露出で撮影されるため，車内の映像は非常に暗い．そこで，車内の映像に対しガンマ補正・彩度調整・コントラスト調整を行なった．

3.2

ハイライトカットの自動判定と切り取り

本システムは，ドライブ中に注目すべき事象が発生した際に撮影されるカットを自動抽出する（以下，ハイライトカット）．現在実装している事象は以下に示す 8 種類である．

1. 出発時：ACC 電源が ON になったときの車内/外の映像を切り取った．車外の映像には NMEA ファ
イルから取得した時刻を用いて，文字テロップと合成音声の挿入を行った．

システム概要ユーザは以下のステップでドライブ旅行を記録したムービを作成する．

2. 到着時：ACC 電源が OFF になったときの車内/外の映像を切り取った．車外の映像には，NMEA
ファイルから取得した時刻と座標情報，場所情報
API4 を用いて時刻と住所を取得し， 文字テロッ
プと合成音声の挿入を行った．

1. ドライブレコーダを起動しドライブする．必要に応じて，手動撮影を指示するスイッチを押す．
2. 帰宅後，ドライブレコーダに内蔵されている SD
カードと，旅先で撮影した写真を，本システムが稼働する PC に取り込む．

3. 県境を通過したとき：NMEA ファイルから取得した座標情報と場所情報 API を用いて都道府県名を取得し，県を跨いだ瞬間の車外の映像を切り

3. 本システムの自動編集機能を起動する．
2 MacBook Pro2.9 GHz デュアルコア Intel Core i5
macOS Big Sur バージョン 11.1
3 https://ﬀmpeg.org
4 https://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/placeinfo.html

本システムの構成を図 1 に示す．本研究では，360度カメラと GPS 機能を搭載するドライブレコーダ1 を
1 Yupiteru 社，Q-20P

81図 2: 自動編集した映像．左から，県境通過時，名所付近通過時，会話が盛り上がっているとき，地図主体表示．
取った．また，都道府県名を文字テロップの挿入と合成音声の挿入により示した（図 2）．て，透過した地図を重ね合わせる（以下，100 倍速動画）．差分が閾値未満だった場合，外の景色の変化が大きいと判断する．そして，地図を主体に表示し，車外映像は 1 秒のコマ落としで表示する（以下，地図主体表示）（図 2）．

4. 名所付近を通過したとき：NMEA ファイルから取得した座標情報と場所情報 API を用いて周辺の大規模施設や地名などの地域情報を取得し，取得した情報から名所付近を通過したときの車外の映像を切り取った．また，地域情報を文字テロップの挿入と合成音声の挿入により示した（図 2）.

3.5

前節までの処理により作成した動画をそのまま繋げると，画面が頻繁に切り替わり見づらい動画になってしまう．そこで，必要に応じて，フェードイン・フェー
ドアウト，ワイプエフェクトなどのトランジション効果を加えた．また，以下の処理を行い変化を抑えた．

5. 会話が盛り上がっているとき：MP4 ファイルから得られる音声データから人の音声周波数帯域とされる 300〜3400Hz を抽出し，振幅が閾値以上の音声データに対応する車内の映像を切り取った．
また，SpeechRecognition ライブラリ5 を利用して字幕を表示した（図 2）．

• 地図主体表示が 100 倍速動画に挟まれている場合，地図主体表示の代わりに 100 倍速動画を表示する．
• 100 倍速動画が 3 連続未満なら，それら全てを地図主体表示に変更する．

6. ドアが開いたとき：リードスイッチと Arduino を用いてドアの開閉を記録し，ドライブレコーダによる録画動画の該当箇所を切り取った．

• 地図主体表示が続かない場合，その地図情報は使用しない．

7. 離着席時：マットスイッチと Arduino を用いて離着席を記録し，ドライブレコーダによる録画動画の該当箇所を切り取った．

以上の処理を行い，ジングルや効果音を加えながら動画を時系列に繋げることで，紀行ムービーが完成する．

4

8. 手動ボタン押下時：押しボタンスイッチと Arduinoを用いてスイッチの押下時刻を記録した．スイッチが押されている間，ドライブレコーダによる録画動画の該当箇所を切り出した．
3.3

評価実験

4 回のドライブ旅行において，提案システムを使用して紀行ムービーを作成した．全体として，乗車時間の約 0.02 〜 0.04 ％の動画が生成された．プログラムの実行時間は乗車時間の約 40〜50 ％であった．長時間ではあるが，その間のユーザの手間は不要であるため実用性はあると感じた．また，乗車時間にプログラムの一部を実行し，リアルタイムで解析を行なうことで，帰宅後の処理時間を大幅に軽減できると考えている．

旅先で撮影した写真の追加

スマートフォンやデジタルカメラで撮影された写真には，撮影日時や位置情報を含む Exif 情報が記録されている．そこで，旅先で撮影した写真の Exif 情報から撮影日時を取得し，作成動画の適切な位置に表示させた．

3.4

動画の連結

5

おわりに

本研究では，ドライブレコーダのデータを活用し，旅のハイライトを自動検出して思い出動画を自動生成する思い出ムービー自動編集システムの提案と実装を行った．今後は，笑顔や笑声の検出および発話キーワードの検出を行い，切り取り箇所を増やす予定である．

地図の生成

車での旅行では，移動経路や滞在場所の地理情報も重要である. そこで，ハイライトカットの対象にならなかった録画ファイルに対しては，地図を伴った以下の表示を行うことにした．なお，前述の通り，録画ファイルは 1 ファイルあたり約 1 分である（以下，1 分録画ファイル）．
それぞれの 1 分録画ファイルの 1 フレーム目を取り出し，一つ前の 1 分録画ファイル第 1 フレームの対応
画素の RGB 値の差分の絶対値の総和を計算する．この総和を，設定した閾値と比較して以下の処理を行なう．差分が閾値以上だった場合，車外の景色の変化が小さいと判断する．そして，車外映像を 100 倍速にし参考文献[1] 国土交通省：自動車用の映像記録型ドライブレコーダー装置について，https://www.mlit.go.
jp/monitor/R1-kadai01/24.pdf. (2021-01-19).
[2] Sellen, A., Fogg, A., Aitken, M., Hodges, S.,
Rother, C. and Wood, K.: Do life-logging technologies support memory for the past?: an experimental study using sensecam, CHI ’07, pp.
81–90.

5 https://pypi.org/project/SpeechRecognition/82