SWEST22: Summer Workshop on Embedded System Technologies

20

セッション s4b @online, 2020/08/21 13:40-14:50

二輪車情報学超入門～二輪車情報学とは～

木谷 友哉 / t-kitani@kitanilab.org
静岡大学 学術院 情報学領域 准教授

2020/08/21

MQTT使った簡単なハンズオンやります20

1

 可能な人は mosquitto クライアントをインストールしておいてください mosquitto_sub/mosquito_pub

 Mac brew install mosquitto

 Linux (Raspbian etc.)
 sudo apt install mosquitto-clients

 Windows
 https://mosquitto.org/download/
曽根@BKIセンシング基盤チュートリアル

2020/08/21

自己紹介

202

 研究テーマ：Bikeinformatics
 二輪車を究極のパーソナルモビリティ (PMV) とみなしてライダーの，ライダーによる，ライダーのためだけでない二輪車・運転する人間・交通環境のセンシング基盤の構築

 高精度衛星測位を二輪車の計測手段として利用

 研究者略歴
 博士（情報科学）2006年
 専門は計算機科学，情報通信ネットワーク
 自動車技術会 二輪車の運動特性部門委員会 幹事
 電子情報通信学会，情報処理学会，測位航法学会
北海道 宗谷丘陵, 2013/07/09

Bikeinformatics
情報科学的二輪車研究

2020/08/21
203

2020/08/21

課題：交通渋滞，道路建設/維持/管理20

4

 交通渋滞：国内でも年間12兆円の経済損失
 二輪車の主要市場の新興国で二輪から四輪のモーダルシフト

 適材適所のモビリティの配置の重要性
 二輪車の活躍は，渋滞だけではなく，道路インフラの設計や都市計画にも影響
SWEST22: s4b 二輪車情報学超入門

目標：二輪車（とそのセンシングデータ）が変える未来の交通 二輪車の車体運動の理解への挑戦

2020/08/21
205

力学的ロール角

四輪車と比べて，二輪車は複雑

 人間の身体運動の理解への挑戦

車体ロール角運転者たる人間の動作も大きく影響𝑚𝑟𝜓人間のセンシングはもっと難しい𝑚g

Horizontal line

身体能力の延長としてパーソナルビークルが活躍する社会を創出したい© 2005 バンダイ
SWEST22: s4b 二輪車情報学超入門

そのためのデータ収集・活用基盤を構築

2020/08/21

二輪車センシング基盤① 二輪車センシング
HW & OS の開発

世界中の二輪車ユーザ
メイン市場のASEAN諸国への展開（社会ニーズ例2）
道路インフラ維持管理のための路面状況調査
浜松市

20

6
② 電子基準点のデー
タや車体運動データを用いた測位高精度化

位置と運動の計測データ

ITSサービスやアプリケーションとしてフィードバック

G空間情報としての精度向上

外部のビッグデータやオープンデータの統合利活用③ 地図や気象等のデータを用いたラベル付け

構造化された二輪車big data

（社会ニーズ例1）
車体運動の解析と安全性の向上④ オープンデータとして利用可能なAPIの提供

二輪車
産業界

SWEST22: s4b 二輪車情報学超入門“使える” データを得るために

2020/08/21
207

 後でのデータ処理を考えて “正しく” データを集める
 データ間の関連，付加情報（ID・位置・時刻等）が重要
 当然，データの精度はできるだけ高い方がいい ジャンクデータはいくら集めてもジャンク ビッグデータよりもリッチデータ

 付加情報（位置，時刻）の精度を上げよう！
浜名湖ガーデンパーク西駐車場, 2012/01/11
SWEST22: s4b 二輪車情報学超入門

高精度なセンシング基盤の構築に向けて

2020/08/21
208

都市レベルでの測位補正インフラ
マルチ GNSS 時代の到来

測位衛星システム保有国：米，ロ，中，EU，日，印
GPS, GLONASS, 北斗, Galileo, みちびき, NAViC

2020/08/21
209

2015年 安価な マルチGNSS対応RTK可能モジュール（u-blox M8シリーズ）の登場

アジアが測位衛星銀座
SWEST22: s4b 二輪車情報学超入門

http://www.taroz.net/GNSS-Radar.html#

2020/08/21

衛星測位の原理

2010

 未知数

𝑋1, 𝑌1, 𝑍1

 受信機の位置 𝑥, 𝑦, 𝑧

𝑋3, 𝑌3, 𝑍3

𝑋2, 𝑌2, 𝑍2

 既知
 ある時刻の3つの衛星の位置
𝑋1, 𝑌1, 𝑍1 , 𝑋2, 𝑌2, 𝑍2 , 𝑋3, 𝑌3, 𝑍3
 その時刻の各衛星からの距離 𝑑1, 𝑑2, 𝑑3

𝑟2

 連立方程式で計算可能

𝑟3

𝑟1𝑥

𝑋1 2𝑦

𝑌1 2𝑧

𝑍1 2

𝑟1𝑥

𝑋2 2𝑦

𝑌2 2𝑧

𝑍2 2𝑟2𝑥

𝑋3 2𝑦

𝑌3 2𝑧

𝑍3 2

𝑟3𝑥, 𝑦, 𝑧
実際は受信機時計の誤差 t も入れて4つの未知数

SWEST22: s4b 二輪車情報学超入門

2020/08/21

衛星測位誤差要因2011

衛星時計誤差 10 ~10
軌道情報からのずれ
電離層遅延

マルチパス
ランダムノイズ
SWEST22: s4b 二輪車情報学超入門

バイアスノイズ

対流圏遅延

受信機時計誤差 10
受信機の熱雑音コード測位と搬送波位相測位

2020/08/21
2012

トランジスタ技術2016年2月号 p. 54 より抜粋

距離差

 従来の測位：コード測位
 1.023Mbpsで繰り返されるコードが何 bit ずれているかで遅延時間を計測し，距離を求める
 実機材 1/100～1/300bit の分解能 = 1～3m

 キネマティック測位：搬送波位相測位 搬送波（1.575GHz）の波数から距離を求める
 実機材 1/100 波長の分解能 = 2mm
近隣の基準局の観測データを用いて誤差を相殺

 誤差の精密な補正のため，近くに基準局が必要
 測位信号の直接受信が必須（反射受信はNG）

SWEST22: s4b 二輪車情報学超入門

既に国内を網羅する国土地理院の電子基準点網がある ここからのデータで国内広い範囲でキネマティック測位可能
 測量向け後処理演算用

SWEST22: s4b 二輪車情報学超入門

2020/08/21
2013

民生用高精度測位サービスプラット
フォームの実装（2019年）

2020/08/21
2014 2019年：国内通信大手による補正情報配信インフラの敷設およびサービスの提供開始
 NTT docomo社, KOMATSU社, LiGHTHOUSE社
 発表（5月28日），法人向けサービス開始（10月）
 国土地理院の電子基準点，docomoによる独自基準点

 ALES社（SoftBank社とENABLER社）
 発表（6月13日），サービス開始（11月） 3300カ所にも及ぶ独自基準点網 リアルタイム高精度衛星測位（RTK-GNSS）を利用するサービス全般向けの補正情報配信
SWEST22: s4b 二輪車情報学超入門

高精度衛星測位による二輪車の位置及び姿勢の計測

2020/08/21
2015

 250ccのアドベンチャモデルバイク
 2周波RTK-GNSSを利用 1つの衛星から2つの信号を使えて，収束率が大きく向上
 収束した場合の精度は1周波と同等

 アンテナはパニアケース上部
 今回は，2つアンテナを置いてその差分から姿勢角も計測してみる
 アンテナ間距離は約23cm

左アンテナ23cm

 地面からのアンテナの高さは約133cm
 通常の座席後ろであれば80～90cm程度
 運転者が測位の邪魔になるのでアンテナ位置は高いほど良い
SWEST22: s4b 二輪車情報学超入門

右アンテナ

2020/08/21

円旋回からの8の字旋回走行
 軌跡（約20m）

2016

 3方向の変位定常円
高精度率ほぼ100%！

8の字

SWEST22: s4b 二輪車情報学超入門

メータ上受信機の軌跡とヘルメット上受信機の軌跡

2020/08/21
2017

ヘルメット上のアンテナの軌跡
メータ上のアンテナの軌跡

SWEST22: s4b 二輪車情報学超入門

ヘルメット上のアンテナの軌跡

高精度衛星測位技術を用いた小型モビリティトラッカー製作中！

① 二輪車センシング
HW & OS の開発

世界中の二輪車ユーザ

2020/08/21
20

18② 電子基準点のデー
タや車体運動データを用いた測位高精度化

位置と運動の計測データ

G空間情報としての精度向上

ITSサービスやアプリケー
ションとしてフィードバック

SWEST22: s4b 二輪車情報学超入門

2020/08/21

データーフロー

2019

基準局
TCP
TCP/MQTTMQTT/HTTPSORACOM
中継サーバ

車載端末
ローカル RTK 演算

MQTT

木谷研テスト用MQTTサーバ
後処理高精度測位演算
SWEST22: s4b 二輪車情報学超入門

後処理高精度測位演算
on Amazon Web Service

身体能力の補強 2020/08/21
Bikeinformatics から
Cyber-(Augmented)-PHYSICAL System へ 2020課題

• 交通渋滞，道路建設・維持・管理費⽤の⾼騰• 自動車⼀辺倒の⾼度交通システム（ITS）• 二輪車 ITS ，⾝体延⻑型の新モビリティの研究開発

解決策を促進させるセンシング基盤の構築• データ処理を容易にする精密な位置情報の付与

進捗• ⼆輪⾞⾞体運動センシングデバイスの研究開発• 浜松で⾼精度衛星測位環境を展開・拡⼤の検証中• 各モビリティが適材適所で活躍する交通社会

未来• ⼈間の⾝体運動も解明し，だれもが⾝体を延⻑した感覚で思うがままに移動できる⽣活環境

SWEST22: s4b 二輪車情報学超入門

2020/08/21
31

SWEST22 セッションs4b：二輪車情報学超入門

Bikeinformaticsセンシング基盤
チュートリアル静岡大学 木谷研究室
曽根卓朗 t-sone@kitanilab.org

2020/08/21

MQTT使った簡単なハンズオンやります312

 可能な人は mosquitto クライアントをインストールしておいてください mosquitto_sub/mosquito_pub

 Mac brew install mosquitto

 Linux (Raspbian, etc.)
 sudo apt install mosquitto-clients

 Win https://mosquitto.org/download/
曽根@BKIセンシング基盤チュートリアル

2020/08/21
31

BKI基盤チュートリアル

3

背景とゴールイメージ

曽根@BKIセンシング基盤チュートリアル

2020/08/21

Bikeinformaticsセンシング基盤とは？

31

4

 二輪車（パーソナルモビリティ）に関連する情報を網羅的に収集、蓄積、加工（、利用）するための情報処理基盤
ラ イダー情報サイ バー空間情報

bikeinfom atics
セン シ ン グ基盤
車両情報

曽根@BKIセンシング基盤チュートリアル

環境情報2020/08/21

BKI センシングシステム

31

5

HeadCAM

Front
CAM

Tail
CAM

Biom etric
Log g er

LiDAR

GNSS

GNSS
IM U1/Sensor
Log g er3

IM U1/Sensor

CAN

IM U2/Sensor
IM U1/Sensor

M obile System
曽根@BKIセンシング基盤チュートリアル

2020/08/21

SmartRiding（ヤマハ発動機, 2013?）

 https://www.yamaha-motor.co.jp/mc/life/apps/smartriding/ https://www.youtube.com/watch?v=HTeJ-ehk3IU
曽根@BKIセンシング基盤チュートリアル31

6

2020/08/21

BKI センシング基盤
Log g er1

7

Sync HeadCAM

Front
CAM

Foreig n DB Service

PersonLog g er2

Biom etric
Log g er

LiDAR

31

Sync
Tail
CAM

GNS
S

GNS
S

IM U1/
SensorView er API

Log g er3
IM U1/
Sensor

M etadata
Ag g reg ater

CANVehicle

Log Data
Ag g reg ater

Device Tw in API

IM U2/Sensor

IM U1/
SensorM obile System

SessionScheduleIM edia

AP

RecorderConﬁg uration

BK

VehicleProperty

I-P

F

Personal
Property

BKI
DeviceTw in???

Context

BKI M etadata DB

DEna ta

AtryppLin k

BKI Storag e

曽根@BKIセンシング基盤チュートリアル

2020/08/21

将来イメージ31

8Team Recording

HeadCAM

Log g er1

M ob ile System
M obile System

LiDAR

Crow d Recording

Log g er2

Front
CAM

Tail
CAM

Biom etric
Log g er
GNSS

GNSS
IM U/
SensorIM U/
SensorCAN

IM U/
SensorIM U/
SensorM obile System

M obileS ys temRoad Sid eStationRoadSensors

Road Sid e System
Autom obile System
Autom ob ile System
Autom obile System

曽根@BKIセンシング基盤チュートリアル

2020/08/21

BKI基盤チュートリアル

31

9

システムアーキテク
チャと実装 (前半)

曽根@BKIセンシング基盤チュートリアル

要求事項
 高品質なビッグデータ収集
 高精度、時刻同期
 自動化

 スケーラブル
 デバイスの追加・統合を自在に クラウドのパワー活用

 オープンアーキテクチャ
 （可能な限り）標準準拠
 LOD：Linked Open Data
曽根@BKIセンシング基盤チュートリアル

2020/08/21
3110

BKI センシング基盤アーキテクチャ
M edia,Data Entry

RecorderPlayer

Editor/Processor

User Client

M edia/M eta
Ag g reg ater

2020/08/21
31

11

DeviceM QTT topics

GNSS0
IM U0
IM U1

<MTM5:MTM5_7d80> "MTM5 v0.92 May 242020 11:26:09"
root= "/klab/mt/MTM5_7d80"
out = "/klab/mt/MTM5_7d80/syslog"
ul = "/klab/mt/MTM5_7d80/ul"
dl = "/klab/mt/MTM5_7d80/dl"
ctx = "/klab/mt/MTM5_7d80/ctx"<GNSS:gnss0>
root= "/klab/mt/MTM5_7d80/gnss0"
out = "/klab/mt/MTM5_7d80/gnss0/ubx"
in = "/klab/mt/MTM5_7d80/gnss0/input"<IMU:imu0>
root= "/klab/mt/MTM5_7d80/imu0"
out = "/klab/mt/MTM5_7d80/imu0/log"<IMU:imu1>
root= "/klab/mt/MTM5_7d80/imu1"
out = "/klab/mt/MTM5_7d80/imu1/log"

SD
File

M eta
Data DB

Device Tw in
Daem on

Additional
Contexts

CAN
LiDAR

View er
Service

BKI PF APIMT

M edia
DB

Data
Entry
App

LOD Cloud

曽根@BKIセンシング基盤チュートリアル

2020/08/21

物理デバイス・論理デバイス・メディア表現

曽根@BKIセンシング基盤チュートリアル

31

12

2020/08/21

MobileTracker（ロガー）構成

31

13Internet

W iFi

M obile Router

M 5Stack

M 5Stack

RFID

RFID

w ioLTE

IM U0

IM U0

SDCardSDCard

IM U1

CAN
i/f

LTE 接続

GNSS
IM U1

CAN
i/f

GNSS

W iFi接続

曽根@BKIセンシング基盤チュートリアル

MTM5 (M5Stack) Software構造曽根@BKIセンシング基盤チュートリアル

2020/08/21
3114

2020/08/21

ArduinoIDE+Emacs

31

15

曽根@BKIセンシング基盤チュートリアル

2020/08/21

実装

3116

Logger本体

GNSS
RFID reader

Pressure/Temperature

曽根@BKIセンシング基盤チュートリアル

IMU
AntenaIMU

2020/08/21
31

BKI基盤チュートリアル

17

Tour Log Sample
2020 Hokkaido Touring

曽根@BKIセンシング基盤チュートリアル

ツーリングログ紹介

2020/08/21

GoogleMapでの可視化• どんなデータが取れてるか• 測位精度のイメージ• 通信方式、記録メディアの特性の違い（MQTT, SD Card）• デバイス多重化の効果（M5MT（M5Stackベース）, neoM8N logger（自作基板）の補完関係）• スマホとの連携
これから解析予定
• IMUによる車体運動評価、路面状況解析• 周囲環境、各種イベント（休憩、給油、撮影スポット）自動記録
記録自体がまだできていない項目• Video記録、LiDAR記録
Google Mapの限界、独自UIの必要性
曽根@BKIセンシング基盤チュートリアル

3118

移動軌跡

2020/08/21
3119

曽根@BKIセンシング基盤チュートリアル

BKIサーバーを使ってのデモ MQTT サーバー（公開終了）****.shizuoka.ac.jp
port番号 40083
 ファイルサーバー
（公開終了）
http://****.shizuoka.ac.
jp:40080/data/BKI/

曽根@BKIセンシング基盤チュートリアル

2020/08/21
3120

ログの取得/記録方法

2020/08/21
3121

 mosquitto_sub –p 40083 –h
klab.info.shiuzoka.ac.jp –N –t’/klab/mt/+/syslog’ 全デバイスのsyslogを取得する場合の例
 mosquitto_pub –p 40083 –h
klab.info.shizuoka.ac.jp –t‘/klab/mt/DEVICE_ID’ –m ‘JSONDATA’ /klab/mt は固定
 DEVICE_IDでデバイスを識別 JSONDATAが記録する内容。基本はJSON 下位のtopicはデバイス種別毎に定義
曽根@BKIセンシング基盤チュートリアル

2020/08/21

BKI基盤チュートリアル

システムアーキテク
チャと実装 (後半)

曽根@BKIセンシング基盤チュートリアル

3122

2020/08/21

Cloud Platform / Services
Output f ro m Recorder,Data Entry

31

23

PlayerEdit/Processing

User Client

M edia/M eta
Ag g reg ater

M QTT topics
Distribution

View er
Service

Device Tw in Daem on

BKI PF API<MTM5:MTM5_7d80> "MTM5 v0.92 May 24 2020 11:26:09"
root= "/klab/mt/MTM5_7d80"
out = "/klab/mt/MTM5_7d80/syslog"
ul = "/klab/mt/MTM5_7d80/ul"
dl = "/klab/mt/MTM5_7d80/dl"
ctx = "/klab/mt/MTM5_7d80/ctx"<GNSS:gnss0>
root= "/klab/mt/MTM5_7d80/gnss0"
out = "/klab/mt/MTM5_7d80/gnss0/ubx"
in = "/klab/mt/MTM5_7d80/gnss0/input"<IMU:imu0>
root= "/klab/mt/MTM5_7d80/imu0"
out = "/klab/mt/MTM5_7d80/imu0/log"<IMU:imu1>
root= "/klab/mt/MTM5_7d80/imu1"
out = "/klab/mt/MTM5_7d80/imu1/log"

M eta
Data DB(m ong o)Additional
Contexts

SDFile

Data
Entry
Ap p

M ediaDB

LOD Cloud
曽根@BKIセンシング基盤チュートリアル

2020/08/21

BKI基盤チュートリアル

31

24

Software Defined MediaWIDE pj SDM-WG との関連性の紹介
https://sdm.wide.ad.jp/index.ja.html

曽根@BKIセンシング基盤チュートリアル

2020/08/21

SDM Subsystems

3125

SDM Edit/Processing Subsystem

SDM Recording Subsystem

M ediaProcessing

Perform ance

M etadata
Ag g reg ation

SDM Playback Subsystem

Contents
production
H/W

SDM -Service Connector
Hom e Theater App.

Recording Equipm ents

VR A p p .

SDM -Service Connector

RDF M etaData Generator/
Data Reg istrator
SDM -Service Connector

RDF
M etaData
M ediaFileRDF
M etaData

M ediaFileRDF
M etaData

R ef er

M ediaFileRef er
R ef er
SPA R QL Qu ery

SDM Ontology Deﬁnition
Context
schema:nameRecorderschema:name

SPARQL Endpoint
Playerschema:name

Processor
schema:name

LOD CloudMisc. Ontology
Deﬁnitions
Misc. Ontology
Deﬁnitions
Misc. Ontology
Deﬁnitions

Media
schema:nameschema:contentUrl

Ref er

曽根@BKIセンシング基盤チュートリアル

SDM ontology
Recorder派生クラスとCompositeRecorder

2020/08/21
31

26

SDM ontology v2.0 の概念構造

Media派生クラスとCompositeMedia「再帰的記述を可能とする映像音声メディア・オントロジー」、DICOMO2020
https://tlab.hongo.wide.ad.jp/wp-content/uploads/2020/05/DICOMO2020_shin_v2-3.pdf
曽根@BKIセンシング基盤チュートリアル

2020/08/21

BKI基盤チュートリアル

3127

今後の展開

曽根@BKIセンシング基盤チュートリアル

直近の課題 現状システムの不具合改修
 RPi Zero WiFi router 導入
 デバイスバリエーション 映像・音声記録
 LiDAR スキル獲得/募集
 PCB設計
 3Dモデル設計
 クラウドサービス利用
曽根@BKIセンシング基盤チュートリアル

2020/08/21
3128

クラウド基盤構築

2020/08/21
3129

 BKI DB構築
 SDM ontology BKI拡張
 LOD Cloud API構築

 Edit/Processing環境整備
 外部DBとの連携

 DeviceTwin構築
 Presentation サービス
 各種Viewer

曽根@BKIセンシング基盤チュートリアル

賛同者募集 BKI の仕組みに興味がある人。バイク乗り
 自分でデバイスを作ってみたい人 クラウドでデータを分析・加工したい人 DeviceTwin, Simulator を作ってみたい人
 クールな可視化、VR・ARを作ってみたい人 静大木谷研までコンタクトください。
 bki-info@kitanilab.org
曽根@BKIセンシング基盤チュートリアル

2020/08/21
3130

ありがとうございました

曽根@BKIセンシング基盤チュートリアル

2020/08/21
3131