ࢹઢ৘ใΛ‫ͨ͠༻׆‬Ұ؏ֶशϕʔεͷࣗಈӡస੍‫ؔ͢ʹޚ‬Δ‫ڀݚ‬ࢦಋ‫ڭ‬तɿࢁԼོٛ

TP19023 ৿‫ܒ‬հ1. ͸͡Ίʹ

視線推定モデル2. Ұ؏ֶशϕʔεͷࣗಈӡస੍‫ޚ‬୅දతͳҰ؏ֶशϕʔεͷࣗಈӡసख๏ͱͯ͠ɼBojarskiΒͷ‫[ ڀݚ‬1] ͕͋Δɽ͜ͷ‫Ͱڀݚ‬͸ɼ5 ૚ͷ৞ΈࠐΈ૚ͱ 4 ૚ͷશ݁߹૚ͷ CNN ʹը૾Λೖྗ͠ɼεςΞϦϯά஋Λਪఆ͢Δɽ·ͨɼConditional Imitation Learning RS (CILRS)[2] ͸ɼResNet Λಛ௃நग़෦ʹಋೖ͠ɼϚϧνλεΫͱͯ͠ं྆଎౓ਪఆΛ௥Ճ͢Δ͜ͱʹΑΓɼӡసੑೳΛվળ͠
͍ͯΔɽCILRS Ͱ͸ɼશ݁߹૚Ͱߏ੒ͨ͠ग़ྗ෦Λ௚ਐ΍ӈࠨંͱ͍ͬͨίϚϯυͷ਺͚ͩ༻ҙ͍ͯ͠ΔɽίϚϯυʹԠͯ͡ग़ྗ෦Λ੾Γସ͑Δ͜ͱͰɼҰ؏ֶशϕʔεͷࣗಈӡసʹ͓͍ͯࠔ೉Ͱ͋ͬͨɼަࠩ఺Ͱͷߴਫ਼౓ͳ੍‫ޚ‬Λ࣮‫͍ͯ͠ݱ‬Δɽ͔͠͠ɼӡస੍‫ྖ͍ͳ܎ؔʹޚ‬Ҭʹର͢Δಛ௃Λநग़͢Δ͜ͱͰɼ੍‫ޚ‬஋ͷਖ਼͍͠ਪ࿦ʹࣦഊ͢Δͱ͍͏໰୊͕ߟ͑ΒΕΔɽ

3. ఏҊख๏ຊ‫Ͱڀݚ‬͸ɼਓͷࢹઢ৘ใΛར༻͢Δ͜ͱͰɼӡసʹඞཁͳྖҬΛॏࢹͰ͖Δӡస੍‫ޚ‬ϞσϧΛఏҊ͢ΔɽఏҊ͢ΔϞσϧͷωοτϫʔΫΛਤ 1 ʹࣔ͢ɽ

3.1 ࢹઢਪఆϞσϧࣗಈӡస࣌ʹɼਓ͕஫ࢹ͢ΔҐஔΛৗʹ‫ܭ‬ଌ͢Δͷ͸ਓ΁ͷෛ୲͕େ͖͍ɽͦ͜Ͱɼਓͷ஫ࢹྖҬΛද͢ࢹઢϚοϓΛਪఆ͢ΔࢹઢਪఆϞσϧΛ࣮‫͠ݱ‬ɼਪఆͨ͠ࢹઢ৘ใΛӡస੍‫ޚ‬Ϟσϧʹར༻͢Δɽ͜ΕʹΑΓɼਓͷࢹઢ৘ใΛ༻͍Δ͜ͱͳ͘ɼӡస੍‫ޚ‬Ϟσϧͷֶश͓ΑͼධՁ͕ՄೳͱͳΔɽࢹઢਪఆϞσϧͷωοτϫʔΫ͸Τϯίʔμ͓ΑͼσίʔμͰߏ੒͢ΔɽΤϯίʔμ͸ VGG-16 ͷ৞ΈࠐΈ૚Λɼσίʔμ͸ 4 ૚ͷ deconvolution ૚Λ༻͍Δɽަࠩ఺ͷ৔໘Ͱ͸ɼਐߦํ޲ʹΑͬͯ஫ࢹ͢ΔՕॴ͕େ͖͘ҟͳΔɽͦͷͨΊɼӡసࢦࣔͰ͋ΔίϚϯυ c ΛωοτϫʔΫʹ௥Ճ͢Δ͜ͱͰɼӡసࢦࣔʹ߹ΘͤͨࢹઢਪఆΛ
ֶश͢ΔɽίϚϯυ͸ɼΤϯίʔμ͔Β֫ಘ͞Εͨಛ௃ϚοϓͱಉαΠζʹϦαΠζ͠ɼνϟϯωϧํ޲ʹ݁߹ͯ͠௥
Ճ͢ΔɽࢹઢਪఆϞσϧͷֶशʹ͸ɼࣜ (1) ʹࣔ͢ Binary
Cross Entropy (BCE) Loss Λ༻͍Δɽ͜͜ͰɼGɼĜ ͸ͦΕͧΕࢹઢϚοϓͷਅ஋ͱ༧ଌ஋Ͱ͋ΔɽW

Lg =Deconv.

VGG-16

視線マップ Ĝ

コマンド cLinearLinear
左折LinearResNet34

右折Linear
計測値 (速度) m

運転制御モデル

速度 vt

車線追従

4Res.

D.S.

Blocks

3Res.

D.S.

Blocks

Res.

Conv. Layer

D.S.

Blocks 2

D.S.

入力画像

Res. Blocks 1ࣗಈӡస੍‫ޚ‬͸ɼपล‫ڥ؀‬ͷೝࣝɼ‫ܦ‬࿏‫ܭ‬ըɼं੍྆‫ޚ‬Λॱ࣍ߦ͏Ξϓϩʔν͕༻͍ΒΕΔɽҰํɼConvolutional
Neural Network (CNN) ͷൃలʹΑΓɼ৽ͨͳࣗಈӡస੍‫ͯ͠ͱޚ‬ɼंࡌΧϝϥը૾͔Β੍‫ޚ‬஋Λ௚઀ਪఆ͢ΔҰ؏
ֶशϕʔεͷख๏͕ఏҊ͞Ε͍ͯΔ [1]ɽຊख๏͸ɼਓ͕࣮ؒࡍʹӡసͨ͠ࡍͷ৘ใΛ‫ࢣڭ‬σʔλͱͯ͠໛฿ֶशΛߦ͏ɽೖྗʹ͸ओʹը૾͕༻͍ΒΕɼը૾ʹ͸എ‫Ͳͳܠ‬ͷӡస੍‫ʹޚ‬ແؔ܎ͳྖҬ͕ଟ͘‫·ؚ‬ΕΔ͜ͱ͕͋Δɽ͜ͷ࣌ɼCNN ͕ͦΕΒͷෆཁͳྖҬΛ஫ࢹ͢Δͱɼਖ਼੍͍͠‫ޚ‬஋ΛਪఆͰ͖ͳ͍͜ͱ͕ߟ͑ΒΕΔɽਓؒͷࢹ֮γεςϜ͸ɼࢹઢҠಈʹΑͬͯॏཁͱͳΔ৘ใΛ֫ಘͯ͠ɼࢹ֮తʹೝࣝΛߦ͏͜ͱ͕஌ΒΕ͍ͯΔɽͦ͜Ͱຊ‫Ͱڀݚ‬͸ɼࢹઢ৘ใΛӡస੍‫ޚ‬Ϟσϧʹར༻ͨ͠Ұ؏ֶशʹΑΔࣗಈӡసΛ࣮‫͢ݱ‬Δɽ

Linear直進

制御値
ステアリングスロットル
ブレーキ

Linearコマンド cਤ 1 : ఏҊख๏ͷωοτϫʔΫߏ଄ಛ௃நग़෦Ͱ͸ɼԼҐ૚ͰΤοδͳͲͷৄࡉͳಛ௃Λநग़͠ɼ্Ґ૚ͰΑΓେ‫ہ‬తͳۭؒಛ௃Λ֫ಘ͢Δɽຊख๏Ͱ͸ɼࢹઢ৘ใΛਂ͞ͷҟͳΔ 4 Օॴʹ௥Ճ͢Δɽ͜ΕʹΑΓɼεέʔϧͷҟͳΔಛ௃͝ͱʹॏཁͳྖҬΛ‫ڧ‬ௐͰ͖Δɽӡస੍‫ޚ‬Ϟσϧͷग़ྗ෦͸ίϚϯυ͝ͱʹ༻ҙ͢ΔɽίϚϯυ c ʹରԠͨ͠ग़ྗ෦Λબ୒ͯ͠ɼ੍‫ޚ‬஋Λग़ྗ͢Δɽֶश࣌ʹ͸ɼӡస੍‫ޚ‬Ϟσϧͷ֤ग़ྗʹରͯ͠ L1 Loss Λଛࣦؔ਺ʹ༻͍Δɽ͜͜Ͱɼӡస੍‫ޚ‬Ϟσϧͷग़ྗ͸ɼं྆଎౓ͱεςΞϦϯάɼεϩοτϧɼϒϨʔΩͷ֤஋Ͱ͋Δɽ

4. ධՁ࣮‫ݧ‬ఏҊख๏ͷ༗ޮੑΛௐࠪ͢ΔͨΊɼࢹઢ৘ใͷ༗ແʹΑ
Δӡసਫ਼౓ͷൺֱΛߦ͏ɽ

4.1 σʔληοτຊ࣮‫Ͱݧ‬͸ɼࣗಈӡసγϛϡϨʔλͰ͋Δ CARLA[3]ʹͯ࡞੒͞Εͨ CARLA100 σʔληοτΛӡస੍‫ޚ‬Ϟσϧͷֶशʹ༻͍ΔɽCARLA100 σʔληοτ͸ɼं྆ͷҐஔ΍৴߸‫ػ‬ͷঢ়ଶͳͲͷ಺෦৘ใ͔ΒࣗಈӡసΛߦ͏ΤΩεύʔτΤʔδΣϯτΛ༻͍ͯɼ100 ࣌ؒʹ͓ΑͿӡసσʔλΛγϛϡϨʔλ্Ͱࣗಈతʹऩूͨ͠σʔληοτͰ͋ΔɽࢹઢਪఆϞσϧͷֶशʹ͸ɼCARLA100 σʔλ͔ΒϥϯμϜͰબ୒ͨ͠ 2,000 ຕͷσʔλʹରͯ͠ɼࢹઢ৘ใΛ෇༩ͨ͠σʔληοτΛ༻͍Δɽ1 ϑϨʔϜຖʹे෼ͳࢹઢ৘ใ͕‫·ؚ‬ΕΔΑ͏ʹ͢ΔͨΊɼ੩ࢭըʹର͢Δࢹઢ৘ใΛ‫ه‬࿥͢Δɽࢹઢ৘ใͷऔಘʹ͸ Tobii Pro X3 130 Λ
࢖༻͠ɼ1 ຕͷ੩ࢭըΛσΟεϓϨΠʹ 5 ඵؒදࣔ͢Δ͜ͱͰࢹઢσʔλΛऩूͨ͠ɽຊσʔληοτͷࢹઢσʔλͷྫΛਤ 2 ʹࣔ͢ɽ(a) 動的物体(b) 信号機(c) 左折(d) 右折H

1 !!
−Gi,j log Ĝi,j −(1−Gi,j ) log(1− Ĝi,j )WH i j(1)3.2 ӡస੍‫ޚ‬Ϟσϧӡస੍‫ޚ‬Ϟσϧʹ͸ CILRS Λϕʔεʹ༻͍Δɽࢹઢ৘ใΛߟྀ͢ΔͨΊɼಛ௃நग़෦Λߏ੒͢Δ Res. Block ຖͷಛ௃Ϛοϓ Fi (x) ʹࢹઢϚοϓ Gi Λըૉຖʹ৐ࢉ͢Δɽ
Ĝi ͸ Ĝ Λ i ൪໨ͷ Res. Block ʹ͓͚Δಛ௃Ϛοϓͷղ૾౓ʹμ΢ϯαϯϓϦϯάͨ͠΋ͷͰ͋Δɽͦͯ͠ɼ஫ࢹྖҬҎ֎ͷಛ௃ྔ͕ফࣦ͢ΔͷΛ๷͙ͨΊɼࣜ (2) ʹࣔ͢Α͏ʹ৐ࢉલͷಛ௃ϚοϓΛՃࢉ͢Δɽ

Fi′ (x) = Fi (x) ⊗ Ĝi + Fi (x)(2)ਤ 2 : ‫ه‬࿥ͨ͠ࢹઢ৘ใͷྫ

4.2 ࣮‫֓ݧ‬ཁࢹઢਪఆϞσϧͷೖྗ͸ 400×176 ʹϦαΠζͨ͠ RGBը૾Λ༻͍Δɽ࠷దԽख๏ʹ͸ MomentumSGD Λ༻͍ɼֶश཰Λ 0.03 ͱ͢Δɽӡస੍‫ޚ‬Ϟσϧ͸ɼCARLA100 σʔληοτ͔Β 10 ࣌ؒͷαϒηοτΛֶशʹ༻͍Δɽ͜͜Ͱɼೖྗ͸ 200 × 88
ͷ RGB ը૾Λ༻͍Δɽ࠷దԽख๏ʹ͸ Adam Λ࢖༻͠ɼֶश཰Λ 0.0002 ͱ͢Δɽֶश͸ 2 ஈ֊ʹ෼͚ͯߦ͏ɽ͸͡ΊʹࢹઢਪఆϞσϧΛֶश͢Δɽͦͯ͠ɼࢹઢਪఆϞσϧͷॏΈΛ‫ݻ‬ఆͯ͠ӡస入力画像出力ද 1 : NoCrash Benchmark ੒ޭ཰ͷൺֱ݁Ռ [%]࣮‫ݧ‬৚݅

Training
condition
コマンド：車線追従，steer：0.02，throttle：0.00(a) 歩行者

New weather

New town

コマンド：右折，steer：-0.27，throttle：0.00

New town &weather(b) 信号機ަ௨৚݅Empty
Regular
Dense
Empty
Regular
Dense
Empty
Regular
Dense
Empty
Regular
Dense

ฏ‫ۉ‬

CILRS
92
63
1592
64
854
29
872
44
845.8

Ours
95
77
2596
60
2866
46
1266
42
1252.1ද 2 : িಥࣄ‫ʹނ‬ΑΔΤϐιʔυࣦഊ཰ͷൺֱ݁Ռ [%]࣮‫ݧ‬৚݅

コマンド：車線追従，steer：-0.02，throttle：0.02

Training
condition(c) カーブ

ަ௨৚݅Regular
Dense
Regular

New weather
Dense
Regular

コマンド：右折，steer：0.01，throttle：0.61(d) 交差点

ਤ 3 : ࢹઢϚοϓਪఆྫ : steer ͸ෛ਺Ͱࠨɼਖ਼਺ͰӈͷεςΞϦϯάૢ࡞Λද͢. throttle ͸ɼਖ਼਺ͰΞΫηϧૢ࡞Λද͢ɽ੍‫ޚ‬ϞσϧΛֶश͢ΔɽධՁ࣮‫Ͱݧ‬͸ɼγϛϡϨʔλ‫ ͯ͠ͱڥ؀‬CARLA Λ༻͍ͨ૸ߦ࣮‫ݧ‬Λߦ͏ɽධՁࢦඪʹ͸ɼNoCrash Benchmark[2] Λ༻͍ΔɽNoCrash Benchmark Ͱ͸ɼCARLA ্ͰҟͳΔλεΫΛ࣮ߦ͠ɼࣗಈӡసͷੑೳΛධՁ͢Δɽ૸ߦ͢ΔϚοϓ͸ɼֶश‫͋Ͱڥ؀‬Δ Town01 ͱະ஌‫ڥ؀‬ͷ
Town02 Ͱ͋ΔɽλεΫ͸ɼಈత෺ମͷ਺ʹΑΓ Empty
townɼRegular traﬃcɼDense traﬃc ͷ 3 छྨʹ෼͚ΒΕɼҟͳΔ‫ڥ؀‬΍ަ௨ঢ়‫͚͓ʹگ‬ΔӡసੑೳΛධՁ͢Δ͜ͱ͕
ՄೳͰ͋Δɽࣄ‫ൃނ‬ੜ࣌·ͨ͸੍‫ؒ࣌ݶ‬Λ௒͑ͨ৔߹ɼΤϐιʔυ͕ࣦഊͱͳΓɼ໨త஍΁౸ୡ͢Δ͜ͱͰΤϐιʔυ੒ޭͱͳΔɽ

4.3 ࢹઢਪఆͷఆੑతධՁࢹઢਪఆ݁ՌͷྫΛਤ 3 ʹࣔ͢ɽਤ 3(a) ͷาߦऀ͕ԣ
அ͢ΔγʔϯͰ͸ɼিಥͷՄೳੑ͕ߴ͍าߦऀʹࢹઢϚοϓ͕൓Ԡ͠ɼ‫ݮ‬଎Λߦ͍ͬͯΔɽਤ 3(b) Ͱ͸ɼલํͷ੺৴߸ʹ൓Ԡ͠ɼӡసʹඞཁͳ෺ମΛ஫ࢹͰ͖͍ͯΔɽਤ 3(c)ͷΑ͏ͳΧʔϒʹ͓͍ͯɼΧʔϒͷߦ͖ઌʹ൓Ԡ͓ͯ͠Γɼਤ 3(d) ͷަࠩ఺ʹ͓͍ͯ͸ɼަࠩ఺ͷӈํ޲ʹ൓Ԡ͍ͯ͠Δɽ͜ͷ݁Ռ͔Βɼӡసࢦࣔʹ߹Θͤͨਐߦํ޲Λ஫ࢹͰ͖͍ͯΔ͜ͱ͕Θ͔Δɽ

4.4 ӡసੑೳධՁ
ද 1 ʹ૸ߦ࣮‫ݧ‬ͷ੒ޭ཰Λࣔ͢ɽද 1 ΑΓɼ΄ͱΜͲͷλεΫ‫ڥ؀ͼٴ‬৚݅ʹ͓͍ͯ CILRS ΑΓ੒ޭ཰͕ߴ͍͜
ͱ͕֬ೝͰ͖Δɽ͜ΕʹΑΓɼࢹઢ৘ใ͕ӡసਫ਼౓޲্ʹߩ‫͍ͯ͠ݙ‬Δ͜ͱ͕Θ͔Δɽ·ͨɼਫ਼౓޲্͸ɼͲͷλεΫʹ͓͍ͯ΋֬ೝͰ͖ɼ੩త෺ମͱಈత෺ମͷͲͪΒʹ͓͍ͯ΋ࢹઢ৘ใ͕༗ޮͰ͋Δ͜ͱ͕Θ͔ΔɽಉҰͷ࣮‫͚͓ʹݧ‬ΔΤϐιʔυࣦഊ‫ݪ‬Ҽͷ͏ͪɼಈత෺ମͱͷিಥ͕‫ݪ‬ҼͷΤϐιʔυࣦഊ཰Λද 2 ʹࣔ͢ɽ͜͜ͰɼCol. Ped. ͸าߦऀͱͷিಥʹΑΔࣦഊɼCol. Veh.
͸ंͱͷিಥʹΑΔࣦഊͰ͋Δɽද 2 ΑΓɼఏҊख๏͸͢΂ͯͷ৚݅‫ͼٴ‬λεΫʹ͓͍ͯࣗಈंͱͷࣄ‫͕཰ނ‬௿͍͜ͱ͕֬ೝͰ͖Δɽ੒ޭ཰͕௿Լ͍ͯͨ͠ະ஌ఱީΛ‫ؚ‬Ή৚

New townDense

New town &weatherฏ‫ۉ‬RegularDenseࣦഊ‫ݪ‬Ҽ
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.
Col. Ped.
Col. Veh.

CILRS
921
2157
6221468
930
1068
624
1470
11.1
45.0

Ours
4111647
1418
1648
916165810162052
13.1
33.3

݅ʹ͓͍ͯ΋ࣄ‫͕཰ނ‬վળ͞Ε͓ͯΓɼCILRS ʹൺ΂ͯΑΓࣗಈंʹ൓ԠͰ͖͍ͯΔ͜ͱ͕Θ͔ΔɽҰํɼาߦऀͱͷࣄ‫཰ނ‬͸ɼֶश‫͍͓ͯʹڥ؀‬͸վળ͞Ε͍ͯΔ͕ɼະ஌ͷ‫͍͓ͯʹڥ؀‬͸ࣄ‫͕཰ނ‬վળ͍ͯ͠ͳ͍͜ͱ͕Θ͔Δɽ͜Ε͸ɼֶशσʔληοτ಺ͷาߦऀ͕‫·ؚ‬ΕΔγʔϯ͕ෆ଍͠ɼͦͷଞͷγʔϯͱൺ΂ͯาߦऀʹର͢Δࢹઢਪఆ͕ࠔ೉Ͱ͋Δ͜ͱ͕ߟ͑ΒΕΔɽ

5. ͓ΘΓʹຊ‫Ͱڀݚ‬͸ɼࢹઢ৘ใΛ‫ͨ͠༻׆‬Ұ؏ֶशϕʔεͷࣗಈӡసख๏ΛఏҊͨ͠ɽࢹઢਪఆϞσϧΛ༻͍ͯɼӡసγʔϯʹ͓͚ΔॏཁͳྖҬΛ‫ڧ‬ௐ͢Δ͜ͱͰɼγϛϡϨʔλ্Ͱͷ૸ߦ࣮‫͍͓ͯʹݧ‬ӡసਫ਼౓͕վળ͞ΕΔ͜ͱΛ֬ೝͨ͠ɽࠓ‫ޙ‬͸ɼาߦऀγʔϯͷਫ਼౓޲্΍ࢹઢਪఆϞσϧͷಛ௃ྔΛӡస੍‫ޚ‬Ϟσϧʹར༻ͨ͠ख๏ͷߟҊͳͲΛ‫ݕ‬౼͢Δɽࢀߟจ‫ݙ‬[1] M. Bojarski, et al., “End to End Learning for SelfDriving Cars ”, arXiv preprint arXiv:1704.07911
2016.
[2] F. Codevilla, et al., “Exploring the Limitations ofBehavior Cloning for Autonomous Driving”, ICCV,2019.
[3] A. Dosoviskiy, et al., “CARLA: An Open Urban
Driving Simulator”, CoRL, 2017.

‫੷ۀڀݚ‬[1] ৿‫ܒ‬հ ౳, “ࢹઢ৘ใΛར༻ͨ͠Ұ؏ֶशϕʔεʹΑΔࣗಈӡస੍‫ޚ‬ͷߴਫ਼౓Խ”, ViEW, 2020.
(ଞ 2 ݅)