日本大学
入江寿弘
Nihon University Irie Toshihiro

テーマ：共通領域(AIM)とUAV応用

6/24（土）15:30-18:30
一橋大学 一橋講堂 中会議室1

はじめに
 ドローンのアプリケーション

空撮・娯楽目的
農薬散布
物資の輸送
災害現場の調査・救助
インフラ設備の点検 問題点

周囲の人や建造物への接触の危険性
慣性センサーの誤差
GPS電波の乱反射
1

研究目的 自律制御を行うために自己位置の正確な推定
機体制御（ロボットのモデリング，飛行制御）
外界情報の取得
 自己位置の推定

慣性センサーの精度補正および障害物認識のために小型カメラを併用する
2自己位置推定 小型カメラを用いた移動距離推定，慣性センサーの精度補正と障害物の認識
 ニューラルネットワークによる自己位置推定

3

試作機体

図1 試作器機体の3Dモデル
4

機体
表-1 飛行ロボット 諸元
全長920mm

全幅920mm

全高170mm(アンテナ等除く)

機体質量約1100g(バッテリー外)，約1800g(バッテリー込)

ローターサイズ12×4.2インチ

軸間距離640mm飛行時間約7分

推奨積載量1300g(バッテリー外)，600g(バッテリー込)
5

試作機体

図2 試作機体の3Dモデル(各方向から)

6

フライトコントローラ

図3 CRIUS MultiWii SE v2.6
•フライトコントローラにMultiWii SE v2.6を使用•Arduino Nanoを拡張したものでオープンソース•慣性センサー、磁気センサー、気圧センサー内蔵
7

小型カメラと慣性センサによるセンサーフィージョン
integration
センサー加速度情報(𝒙𝒔 , 𝒚𝒔 , 𝒛𝒔 )センサー角速度情報(𝜱𝒔 , 𝜽𝒔 , 𝜳𝒔 )integration

センサー位置情報(𝒙𝒔 , 𝒚𝒔 , 𝒛𝒔 )estimation
カメラ画像

センサー速度情報(𝒙𝒔 , 𝒚𝒔 , 𝒛𝒔 )推定

カメラ位置情報(𝒙𝒄 , 𝒚𝒄 , 𝒛𝒄 )comparison

位置(x, 𝒚, 𝒛)

位置情報の比較

付図-4 カメラと慣性センサーによる自己位置推定8ピンホールカメラモデル
P (x , y , z ) = [R|T]Pcc

ccw

画像平面

yc
Pw(xw, yw, zw)
カメラ座標系xc(u0, v0)

zc
(光軸)

画像座標系

[R|T]
zw

uOc

yw

Owv

p(u, v)

xw

世界座標系

f

図-2 ピンホールカメラモデルで取り扱う座標系の関係

9ピンホールカメラモデル
R0  C y 0 S y  10
0  010   0 C x
1  S y 0 C y  0 S x

C z
 S
 z
 0

 S z
C z0

 1

  4
 7

2 3
5 6 、
 8  9 

t x T  t y t z 0  S x C x (1)Cθ : cosθの略， Sθ : sinθの略
10

カメラ移動量の推定
y
Pi ( j-1)(xi ( j-1), yi ( j-1), zi ( j-1))

zxv i ( j-1)

u i ( j-1)
Lf

R, Tuij

L+ΔLvijf

図3 2次元座標系と世界座標系の関係

11

カメラ移動量の推定式（9)で任意の回転・並進を仮定
 xi ( j 1)  xi ( j 1) y       t x   y
  xij 'R | T  i ( j 1)         t y   i ( j 1)    yij ' (2) zi ( j 1)  zi ( j 1)        t z    zij ' 
 1  1 
現在フレームjとフレームj-1の2次元座標の評価式

f  x ,  y ,  z , t z , t y , t z     uij 'ui  j 1    vij 'vi  j 1 ni 022 (3)ただし，n は2次元座標中の特徴点の数
12

３．滑降シンプレックス法
xl
x h xcxg

Contraction

xs

Reflection

xr

x e xhxh 'xlExpansion Reductionxs'

xs
図4 滑降シンプレックス法
13４．自己位置推定実験
yw
yc

xc

xw
対象物

小型カメラ

図5 カメラによる自己位置推定14110100908070605040X方向30Y方向
20100-10 0 10 20 30 40 50 60 70 80 90 100

移動距離 [mm]100-10 0 10 20 30 40 50 60 70 80 90 100-20-30-40-50-60
X方向-70Y方向-80-90-100-110
移動距離 [mm]カメラの出力値 [mm]カメラの出力値 [mm]

位置推定実験結果

図6(1) X軸方向移動時の結果 図6(2) X軸方向移動時の結果(負)
yw
ycxc
xw
15

位置推定実験結果
100-10 0 10 20 30 40 50 60 70 80 90100-20-30-40-50-60
X方向-70Y方向-80-90-100-110

カメラの出力値 [mm]カメラの出力値 [mm]110100908070605040X方向30Y方向20100-10 0 10 20 30 40 50 60 70 80 90100
移動距離 [mm]

移動距離 [mm]図7(1) Y軸方向移動時の結果 図7(2) X軸方向移動時の結果(負)
yw
yc
xc
xw
16

３D-CG画像による実験

引用：Nov 17,２００５ AVCAAF, Robust Vision for MAV
Takeo Kanade (Carnegie Mellon University)17

画像から推定した経路の比較

引用：Nov 17,２００５ AVCAAF, Robust Vision for MAV
Takeo Kanade (Carnegie Mellon University)18

自己位置推定 小型カメラを用いた移動距離推定，慣性センサーの精度補正と障害物の認識
 ニューラルネットワークによる自己位置推定19

ニューラルネットワーク
入力層

中間層

出力層

出力

入力

学習（更新）
図8 ニューラルネットワークモデル

・人間の脳の情報処理メカニズムを単純化してモデル化
・中間層の重み係数を更新し，出力を正解に近づける
20

JETSON TK1
表3 JETSON TK1 諸元

図9 JETSON TK1

CUDAコア数

192

CPU4-Plus-1 quad-core
ARM Cortex A15

メモリ

2GB

ストレージ

16GB eMMC

バス

Half mini-PCLE slot

LANGigabitEthernet

ディスプレイ接続

HDMI 1.4

インターフェイス

USB3.0SATA
Line out/Mic in
RS232シリアルポート
GPIO

21

実験方法
・研究室内にある地点を定め，そこから3m離れた地点にてカメラを設置
・周囲の点0,1,2,3の合計4方向から撮影し，画像を取得

図10 カメラの配置

図11 サンプル画像例
22

実験方法
表4 学習パラメータ
教師データ

8000

評価データ

800

テスト間隔

100

学習率0.0001

学習層数

5000
23

カテゴリー（撮影地点）

実験結果
表5 判別実験結果[%]
判別用画像の撮影地点
012
300.1
0.0
0.00.016.6
90.70.00.0
0.0
1.0
0.0
269.9
3
23.4
9.3
99.0
99.9

1: Camera 1 90.7％ 3 : Camera 3 99.9％

24

まとめ
 小型カメラによる移動距離推定の可能性を検討した

 カメラとニューラルネットワークによる自己位置推定について検討を行った

25