救命救急センターと連携する交通事故自動通報システムによる交通弱者の被害軽減― ２０１９年度 タカタ財団助成研究論文 ―ISSN 2185-8950

研究代表者

中山 功一

研究実施メンバー

研究代表者

国立大学法人 佐賀大学 工学系研究科准教授

研究協力者

中山 功一

国立大学法人 佐賀大学 医学部教授

阪本 雄一郎国立大学法人 佐賀大学 工学系研究科助教

上田 俊

国立大学法人 佐賀大学 工学系研究科
客員研究員

佐藤 三郎

国立大学法人 佐賀大学 工学系研究科
客員研究員

大島 千佳

報告書概要2019 年度は，ドローンの自律飛行システムの改良と，社会実装に向けた検証実験に取り組んだ．
具体的には，以下の成果があった．
①CPU（NVIDIA 製 Jetson TX2）を搭載したドローン（DJI Matrice 100）による新たな自律飛行プログラムを，DJI 社の Onboard SDK を用いて作成した．送信機の電波が届かない場所で発生した交通事故に対しても，ドローンによる被害状況の把握ができるようになった．
②遠隔地で発生した交通事故の位置が大まかにしか分からない場合でも，可能性のあるエリアを巡回飛行しながら Web カメラで撮影を行い，OpenCV を用いて救助対象者を画像処理で探索するシステムを開発した．救助対象を発見した場合，その地点から救助拠点までの，車が走行可能な経路を探索し，経路上を撮影しながら救助拠点へ帰還する．これにより，救助隊がより早く到着することが可能となる．
③社会実装に向けた検証実験として，多久市防災訓練，西多久地区防災訓練にて，ドローンによる救助を想定した実験を，佐賀広域消防局と実施した．
1) ドローンのカメラで撮影した映像を，facebook を通じて配信することで，誰もがリアルタイムに映像を確認できた．
2) ドローンのカメラで上空から撮影した静止画を，サーバを介して OpenPose（画像処理により人間の姿勢をスケルトンデータで可視化するソフトウェアで処理し，その結果を Android 端末で表示した．これにより倒れている人など集まっている人の状態を迅速に認識できた．
3) 救命本部を想定した場所に 50 インチのディスプレイを設置し，ドローンのカメラの映像をリアルタイムに映し，救助隊が映像を確認した．上空からの映像でも，高精細で，各人の状態を確認することができた．
4) 河川の上空に沿って自動で飛行し，薬剤に見立てた液体を多久市民病院から西多久公民館まで運搬することに成功した．

目

次

救命救急センターと連携する
交通事故自動通報システムによる交通弱者の被害軽減
第 1 章 はじめに第2章

ドローンの自律飛行システムの改良
2.1

自律飛行システム

2.1.1

システム構成2.1.2

DJI MOBILE SDK と DJI ONBOARD SDK

2.2

AI ドローン用コンピュータ：JETSON TX2

第3章

自律飛行プログラムの作成とシミュレーション実験による検証
3.1

実験の概要と目的

3.2

自律飛行プログラム

3.2.1

自律飛行プログラムの概要

3.2.2

自律飛行プログラムのアルゴリズム

3.2.3

飛行経路の設定

3.3

シミュレーション実験

3.4

実験結果

3.4.1

被害者を発見しなかった例

3.4.2

被害者を発見した例

3.4.3

画像処理による被害者の発見

第4章

佐賀広域消防局との実証実験
4.1

実証実験の概要

4.2

薬剤運搬実験

4.3

映像配信実験

第5章

オンラインマップシステムとの連携に向けた展開
5.1

オンラインマップシステムによる情報共有

5.2

画像情報の共有

5.3

位置情報の共有

第6章
参考文献

まとめと今後の課題

第1章
はじめに
2019 年度か ら 佐 賀県で は ， 交通事 故 ワ ースト 脱 却 推進プ ロ ジ ェクト （ SAGA BLUEPROJECT）」<https://www.pref.saga.lg.jp/list03286.html>が本格始動した．2012 年から 2016 年まで 5 年連続で，人口当たりの人身事故発生件数が全国ワースト[1]であった佐賀県であるが，2017 年に全国ワーストを脱却（2017 年のワーストは静岡）し，2019 年まで 3 年連続で静岡に次ぐワースト２位である．ただし，2019 年の佐賀県内の人身事故発生件数は，過去 20 年で最低となり，着実に交通事故を減らす効果は得られていると言える．

図 1.1

交通事故発生件数の推移（出典：佐賀市役所「佐賀市における交通事故発生状況について」）

1/21

佐賀県内における交通事故による負傷者数と死亡者数は，2019 年に増加している．
しかし，この大きな理由は，被害者のうち，歩行者と高齢者の占める割合が増加したためである．
佐 賀 県 警 の 公 表 し て い る 資 料 <https://www.police.pref.saga.jp/var/rev0/0008/2957/120129113942.pdf>によると，2019 年の交通死亡事故の被害者の 53％が 65 歳以上であり，また 71％が歩行中及び自転車乗車中である．これらの交通弱者に対する救命活動の重要性は高まっている．

図 1.2

交通死亡事故被害者の年齢層（出典：佐賀県警察本部「交通死亡事故情報(令和 2 年 2 月末)」）

図 1.3

交通死亡事故被害者の状態（出典：佐賀県警察本部「交通死亡事故情報(令和 2 年 2 月末)」）

2/21

筆者らの所属する佐賀大学では，先進事故自動通報システム（Advanced Automatic Collision
Notification : AACN）とドクターヘリシステム[2]を連動させる救急ヘリ病院ネットワーク(HEM-Net）[3]を導入している．自動車には AACN などの通報装置が装備されつつある．自転
車や歩行者が事故にあった場合にも，自動で救急通報され，適切に救急救命されるシステムが期待される．
本研究では，交通事故の救急システム，その中でも，交通事故の状況をより短時間で把握して，適切な救命活動とその準備に取り掛かるためのシステムを提案している．まず，スマートフォンを用いて，歩行者や自転車の運転者が，自ら通報できないような事故にあった場
合でも，自動で事故発生とその位置情報を通報する Android アプリケーション（以下，自動通報アプリ）を開発する．次に，通報された位置情報に従い，小型の無人飛行機「ドローン」を事故現場まで自動飛行させ，上空から事故の様子を動画で撮影し，救命センターに送信する
Android アプリケーション（以下，自動操縦アプリ）を開発する．救命センターでは，自動通報アプリからの通報と，自動操縦アプリから送信される上空からの映像をもとに，救急車やドクターヘリの出動を判断する．
筆者らが提案している交通事故救急システムを図 1.4 に示す．図中の青枠で示した自動通報アプリに関する内容は 2018 年度の研究報告にて述べた．本稿では，赤枠で示したドローンの自動操縦アプリ，ドローンによる撮影，および画像処理による被害状況把握についての研究報告を述べる．

図 1.4

救急システムの概念

3/21

第2章
ドローンの自律飛行システムの改良
交通事故の救助活動に重要な情報として，現場の映像がある．特に被害者が歩行中や自転車乗車中の事故の場合，被害者の状況を少しでも早く把握することが大切である．本章では，現場の状況，特に被害者の状況を少しでも早く把握するための人工知能（AI）ドローンシス
テムに向けた，自律飛行システムの改良について述べる．

2.1

自律飛行システム

2.1.1

システム構成まずはAIドローンのプラットフォームとなるドローンの自律飛行システムについて述べる．
2018年度に開発したドローンの自律飛行システムでは，シングルボードコンピュータである
Raspberry Pi と，DJI社より提供されているDJI Onboard SDK [4]，画像処理ライブラリである
OpenCV [5]を利用した．ドローンは通常，送信機を用いて飛行制御を行うが，DJI社のドローンは自動飛行の手段としてDJI Mobile SDK及びDJI Onboard SDKが提供されている．これらは相互に通信を行うことが可能であり，連携させて自律飛行が可能となった．2019年度は，この自律飛行システムを改良した．

2.1.2

DJI Mobile SDKとDJI Onboard SDK

自律飛行システムは，DJI Mobile SDKとDJI Onboard SDKにより開発する．DJI Mobile SDK
はDJI社によって提供されているドローンの飛行補助ソフトウェア開発キットである．ドローンを操作する送信機に携帯端末をUSB接続し，携帯端末上でアプリケーションを操作することでドローンに飛行およびカメラ制御を行わせることが可能となる．DJI Onboard SDKはDJI
社の特定機種のドローンにコンピュータを搭載し，搭載されたコンピュータ上で動作するC++プログラムによる飛行制御・カメラ制御を可能にするソフトウェア開発キットである．
DJI Mobile SDKによる飛行プログラムは携帯端末上で動作し，携帯端末上のプログラムからの飛行命令をUSB接続された送信機経由でドローンに送信して飛行制御を行う．そのため飛行指示にはドローンと送信機が接続可能な距離内になければならず，ドローンのカメラを用いて画像を撮影してもその画像をその場で処理し，飛行制御に反映させるといったことができない．一方，DJI Onboard SDKによる飛行プログラムはドローン本体に搭載されたコンピュータ上のプログラムから有線接続でドローンに直接命令が可能であるため，ドローンが送信機との接続が可能な範囲外であっても自律的な飛行制御が可能である．また，ドローンに搭載されたコンピュータ内で画像処理を行うことで，その結果を飛行制御に反映させ，必要な情報を効率的に取得することができる．

4/21

2.2

AIドローン用コンピュータ：Jetson TX2

2018年度まではRaspberry Piを用いていた．カメラやセンサ等の機器を接続可能であり，拡張性にも優れているものの，高度な画像処理をするにはスペックが不足する場合があった．
2019年度は，NVIDIA製のマイコンであるJetson TX2を利用した．

図 2.1

Jetson TX2 の外観

本研究では，Jetson TX2にWebカメラを接続し，画像処理を行った．また，ドローンのフライトコントローラを介してドローン本体の飛行制御を行った．今回のシステム構成を図2.2に示す．なお，ドローン本体のカメラは，映像をリアルタイムでJetson TX2に送信できないため，画像処理には用いない．画像処理には，OpenCVを用いる．OpenCVは，Intelが開発したコンピュータビジョン向けのオープンソース・ライブラリである．

図 2.2

システム構成5/21

2018 年度までは，例えば図 2.3 のドローンで撮影した静止画から，図 2.4 の被写体（被害者）の姿勢表示を行うためには，画像データをサーバに送信する必要があった．2019 年度のシステム構成により，ドローン自身が被写体（被害者）の姿勢や動きを判別し，次の行動をドローン自身が判断できるようになった．これにより，サーバとの通信が可能な範囲（ドローンの送信機の電波の届く圏内）を超えて，交通事故の被害者の状況を把握することができるようになる．

図 2.3 ドローンで撮影した静止画

図 2.4 検知した被写体の姿勢

6/21

第3章自律飛行プログラムの作成とシミュレーション実験による検証
3.1

実験の概要と目的

人間がドローンを全く操縦する必要なく，事故現場の正確な位置と被害状況，および救助隊の移動経路の確認をできる自律飛行プログラムを作成し，その効果をシミュレーション実験により検証した．

3.2

自律飛行プログラム

3.2.1

自律飛行プログラムの概要

交通事故の通報があった場合，ドローンは，事故があった可能性がある範囲を探索エリアとし，その中を，あらかじめ定められたルートで巡回飛行する．巡回飛行中，ドローンは画像処理により“人”を探す．ただし，本章では，被害者は歩行中または自転車乗車中を想定するため，自動車の中に人がいる場合（ドローンに人が映らない場合）は想定しない．巡回飛行中，救助対象の可能性がある“人”を発見した場合，その状況を撮影し，発見位置から救助隊の拠点まで，救急車が移動すると想定される経路を，上空から撮影しながら帰還する．

3.2.2

自律飛行プログラムのアルゴリズム

本プログラムのアルゴリズムを，図3.1のフローチャートで説明する．プログラムを実行す
ると，ドローンは自動で離陸し，指定された探索エリアの巡回飛行を開始する．巡回飛行中，Webカメラで撮影を行い，OpenCVを用いて救助対象となる人を探索する．ただし，本章の実
験では，本来，人がいない場所（車道／道路わきの田んぼなど）の撮影を想定し，人の全身がカメラに写った場合を「救助対象の発見」と判断する．
救助対象を発見しなかった場合，巡回地点を継続する．すべての巡回地点の飛行が終了した場合，救助拠点へ帰還し，プログラムを終了する．
救助対象者を発見した場合，その地点から救助拠点までの，車が走行可能な経路を探索し，経路上を撮影しながら救助拠点へ帰還する．
また，このアルゴリズムとは別に，ドローン本体のフェイルセーフ機能として，バッテリーが一定以下になると自動で帰還する．

7/21

図 3.1 フローチャートで示す自律飛行プログラム

3.2.3

飛行経路の設定

本システムでは，被害者のいる可能性のある探索エリアを，飛行開始時に設定する．指定された探索エリアを，図3.2の例のようにグリッドに分ける．

図 3.2 グリッドに分けられた探索エリアの例

8/21

探索エリアは，地図情報から，通常時であれば救助隊（救急車）が走行可能であるグリッドと走行不可能であるグリッドに分けられる．図3.2のオレンジ色のグリッドは救急車が走行可能な場所であり，灰色のグリッドは走行できない場所である．今回の設定では，グリッドは1辺が5mの正方形とする．巡回飛行を開始する地点と，ドローンの帰還場所となる救助拠点の位置は，任意に設定できる．
今回の飛行経路に，前節の飛行アルゴリズムを適用した例を，図3.3を用いて述べる．8番のグリッドが，救助拠点から最も近いものとし，飛行開始地点に設定する．プログラムを実行
するとドローンは黄色の矢印のように巡回飛行を開始し，各地点で救助対象の探索を行う．
ここで，94番の地点で救助対象を発見したと仮定する．94番グリッドは，救急車が走行不可能な地点であるため，94番グリッドから最も近い救急車が走行可能な地点（85番グリッド）を計算し，そこに移動する．そこから，青い矢印のように，救急車が移動できる最短経路を，上空から撮影しながら救助拠点に帰還する．図3.3では8番グリッドから救助隊のいる地点までの飛行経路を省略しているが，救助隊のいる地点まで，救急車が走行可能なルートをたどり，上空から画像を撮影しながら帰還する．ただし，帰還する際は，急いで救助拠点に戻るために，画像処理はしない．救助拠点では，撮影された最短経路の状況を救助隊が見て，移動に問題がないかを判断する．

図 3.3 探索飛行の例

9/21

3.3

シミュレーション実験

実験環境として，図3.4に示すDJI公式シミュレータを利用する．本シミュレータは，元々は人間がドローンの操作をバーチャルな世界で行うことを目的としている．しかし本研究では，ドローンがシミュレータの中で自律飛行するため人間は操作しない．離陸，飛行，着陸などの信号はドローンから出力されるが，実際にはドローンのモータはまわらず，シミュレータ内を飛行する．飛行するドローンは，DJI Matrice210である．前節の通り，開始場所および帰還場所と8番のグリッドに設定する．送信機からの電波が届かない自律飛行を想定するため，離陸直後にドローンの送信機の電源を切る．シミュレータの中で，ドローンは，ドローンに接続されたWebカメラで撮影された実際の画像を処理しながら飛行する．今回は，カメラは研究室内の様子を撮影し，被害者を想定した人が映っていないかを探索し続けた．人が映っていた場合は，救助対象を発見したと判断する．シミュレータでは，ドローンが飛行した地点をログとして出力し続ける．

図 3.4 実験に用いた DJI 公式シミュレータ

10/21

3.4

実験結果

3.4.1

被害者を発見しなかった例

巡回飛行中に救助対象を一度も発見しなかった場合の結果の例を図3.5に示す．通過座標の項目は，左から地点の番号，緯度，経度，高度である．データが長いため，途中の一部は省略しているが，想定通り，巡回飛行の完了し，修了地点に到達した後は，帰還地点に設定した8番へ帰還していることが分かる．
なお，一部の地点でデータが重なって（同じデータが二行にわたって）表示されているが，これはSDKの仕様上の理由であり，実際には正しく移動している．

図 3.5 被害者を発見しなかった場合の飛行ルート

11/21

3.4.2

被害者を発見した例

巡回飛行中の94番グリッドで，救助対象を発見した場合の飛行ルートを図3.6に，その飛行ルートをグリッドで表したものを図3.7にそれ示す．前節と同様に，94番グリッドまでは巡回飛行を行っている．94番グリッドで，救助対象を発見したドローンは，94番の地点で帰還モードへ移行「Start returnModee at wp94」している．その後，図に示されたルートをたどって8番へ帰還している．このように，送信機の電波が届かない場所においても，ドローンが自律的に判断し，正しいルートで飛行できることが示された．

図 3.6 被害者を発見した場合の飛行ルート

12/21

図 3.7 グリッドで表した被害者を発見した場合の飛行ルート

13/21

3.4.3

画像処理による被害者の発見

前 節 で 述 べ た 実 験 結 果 の 例 に お い て ， ド ロ ー ン が 94番 グ リ ッ ド を 巡 回 飛 行
中 に ， Jetson TX2に接続されたWebカメラに映 っ た 画 像 を 図 3 . 8 に 示 す ． 9 3 番 グ リ ッ
ド ま で は ， カ メ ラ の 前 に 人 は お ら ず ， 巡 回 飛 行 を 続 け て い た ． 一 方 ， 94番 グ
リッドでカメラの前に人が立った際には，正しく人を認識できた．
な お ， 今 回 の 実 験 で は ， 人 の 検 知 は 2 . 2 節 で 述 べ た OpenCVをそのまま使っており，図2.4で示したようなOpenPose[6]による姿勢検知などは行っていない．今後は，被害者の状況をドローンが判断し，救助が必要であるか，どのような救助が必要か，などを判断できるようにする予定である．

図 3.8 被害者の発見を想定した際に撮影した画像

14/21

第4章
佐賀広域消防局との実証実験
4.1

実証実験の概要

佐賀県多久市で実施された防災訓練において，佐賀広域消防局，佐賀大学医学部附属病院救命救急センター，および中山研究室が連携して，ドローンの有用性を確認する実証実験を実施した．実験内容は，主に薬剤運搬と映像伝送の 2 つである．実証実験の様子を図 4.1 に示す．

図 4.1 実証実験の様子

4.2

薬剤運搬実験

薬剤運搬実験では，救急車や救助隊の到着が難しい場合や，到着した救助隊の救命活動に必要な薬剤が不足した場合など，ドローンで薬剤を運ぶことが望まれる場合を想定している．
出発地点で薬剤を搭載したドローンは，離陸後，目的地まで飛行する．目的地に到着後，薬剤を受け取った人間が，スマートフォンなどの端末から，ドローンに帰還指示を送る．帰還指示を受け取ったドローンは，運搬時と同じルートで出発地点に帰還する．
今回は，薬剤のある場所から事故現場まで約 1km 離れた地点を想定し，その間の河川上を通るルートで薬剤（偽薬）を運搬した．実験で運搬した 2 地点を図 4.2 に，実験で想定したイメージ
を図 4.3 にそれぞれ示す．

15/21

図 4.2 実証実験で薬剤運搬を運搬した２地点

図 4.3 実証実験で想定する薬剤運搬のイメージ
本実証実験では，自動飛行プログラムを用いて薬剤を運搬した．飛行中は画像処理を行っていない．実験結果から，ドローンは河川上を通るルートで正しく薬剤を運搬できることが示された．
今回の実験により，ドローンは薬剤運搬に有用であることが実証できた．

16/21

4.3

映像配信実験

映像配信実験では，救助隊がたどり着く前の事故の状況を把握するために，ドローンの映像を活用できるかを検証した．今回は，ドローンによって得られた映像を，cisco の web サービスを用いて中継した．中継先の端末は，救助拠点を想定した体育館に設置し，実際の中継映像を多久市の防災訓練に参加した方々に見てもらった．今回の実証実験で想定する映像配信のイメージを図4.4 に示す．

図 4.4 実証実験で想定する映像配信のイメージ
本実証実験では，消防隊の方々からのご意見も伺い，ドローンの映像中継は，救助や状況把握に有用であることがうかがえた．

17/21

第5章
オンラインマップシステムとの連携に向けた展開
5.1

オンラインマップシステムによる情報共有

本研究のシステムでは，事故が発生した位置情報を速やかに通報し，共有する仕組みが望ましい．また，撮影した映像を消防／警察／病院等で共有できる仕組みが望ましい．本章では，画像情報と位置情報を共有できるオンラインマップシステム：ロケモシェアについて述
べる．
5.2

画像情報の共有2018 年度の研究成果報告書で述べた通り，ドローンで撮影した画像を，Facebook でリアルタイム配信する仕組みを構築した．また，本報告書で述べた通り，ドローンの映像を救助隊の拠点で確認する実証実験を行った．しかし，消防／警察／病院などの異なる場所で多数の人が同時に確認するものではない．
筆 者 ら は ， 2019 年 度 に オ ン ラ イ ン マ ッ プ シ ス テ ム ： ロ ケ モ シ ェ ア <https://locamoai.com/share/>をリリースした（図 5.1）．ロケモシェアは，誰もが簡単にオリジナルマップを作成し，カスタマイズできるサービスである．マップ上の任意の場所に，写真を投稿したり，コメントを投稿したりできる，マップ型の SNS としての機能もある．町内会で地元の避難所マップ（図 5.2）を作成したり，交通事故の危険性が高い場所をマップ上に表示したりすることができる．ロケモシェアにアップロードした写真は，Web 上で公開される．特定のアカウントを持つメンバーに限定公開することもできる．このロケモシェアを利用することで，ドローンが撮影した画像を，異なる場所で，多数の人が同時に確認できる．
今後，ドローンが撮影した画像を自動でアップロードするアプリケーションを開発し，本研究成果を多くの人が利用できる体制の構築を目指している．

18/21

図 5.1 オンラインマップシステム：ロケモシェアのトップページ

図 5.2 佐賀市中心部の避難所マップ

19/21

5.3

位置情報の共有2018 年度の研究成果報告書で述べた通り，筆者らは，交通事故を検知するスマートフォンアプリを開発した．また，事故の発生位置を，Web サーバ経由でドローンに送信するシステムを構築した．しかし，位置情報を消防／警察／病院などの異なる場所で多数の人が同時に確認するものではない．
ロケモシェアでは，スマートフォンアプリと連携して，スマートフォンの位置を常に確認することができる気のもある．図 5.3 に示すように，幼稚園の送迎バスにスマートフォンを乗せておくことで，そのバスの位置を迎えに来る保護者の方に伝えるサービスを実現している．

図 5.3 幼稚園送迎バスの位置情報の共有

この仕組みを利用することで，交通事故を検知したスマートフォンアプリが，消防署等に通報すると同時に，その事故が発生した位置情報を，登録したユーザ（例えば家族やかかりつけ医院）にも同時に表示することも可能となる．今後，これらロケモシェアの仕組みと，交通事故検知スマホアプリ，およびドローンとを連携し，本研究成果を多くの人が利用できる体制の構築を目指している．

20/21

第6章
まとめと今後の課題
2 0 1 9 年 度 の 本 研 究 で は ， よ り 高 度 な 自 律 飛 行 を 実 現 す る た め に ， Je tso n
TX2 を 用 い た 自 律 飛 行 シ ス テ ム へ と 改 良 し た ． こ れ に よ り ， AI ド ロ ー ン の 機能 が 向 上 し た ． ま た ， 高 度 な 画 像 処 理 が で き る よ う に な っ た AI ド ロ ー ン が 交通事故の被害者を発見するため，自律飛行プログラムを新たに開発した．この自律飛行プログラムを用いて，救助支援システムを実装した．実験結果から，自律飛行プログラムにより，交通事故の被害者を発見できることが確認できた．さらに，佐賀広域消防局と連携した実証実験を実施した．薬剤の運搬実験と映像配信実験から，実際の救助現場に対する有効性を示した．今後の展開に向けて，オンラインマップとの連携について述べた．
今後は，実際の救助現場への導入に向けて，さらに効果的なシステムへと改良し，研究成果の社会実装を目指す．

参考文献[1] 佐賀新聞 Live（2017 年 1 月 5 日付）＜http://www.saga-s.co.jp/news/saga/10101/392405＞[2] 佐賀県医務課，佐賀県ドクターヘリの概要について＜https://www.pref.saga.lg.jp/web/var/rev0/0143/2475/201416144154.pdf＞[3] 特定 NPO 法人救急ヘリ病院ネットワーク，HEM-Net <http://www.hemnet.jp/where/>[4] DJI Onboard SDK Documentation:
https://developer.dji.com/onboard-sdk/documentation/introduction/homepage.html[5] OpenCV: https://opencv.org/opencv-4-0-0.html[6] OpenPose: https://github.com/CMU-Perceptual-Computing-Lab/openpose

21/21