情報処理学会研究報告
IPSJ SIG Technical Report

安全な自転車走行を目的としたデプス推定とセマンティック
セグメンテーションによる死角領域の予測
林光隼1,a)栗 達1,b)小野晋太郎1,c)

概要：本研究では，道路上の死角を予測して安全に走行することを目指し，道路構造の幾何特性に基づいて死角を検出する．死角が奥行き値の変化する箇所や物体間の境界に発生することに着目し，単眼デプス推定画像のエッジ，およびセマンティックセグメンテーション画像のエッジを組み合わせて検出する．評価実験においては，死角領域の端部を強調した動画を生成して被験者に提示し，事前にこのような動画を見ることで実際に走行する際にどの程度安全に走行できるかを尋ねた．その結果，強調しない場合よりも評価値が上昇しており，死角を検出・強調して提示することが安全走行に寄与していることが示された．
キーワード：運転支援, 画像処理, 死角予測, デプス推定, セマンティックセグメンテーション

Prediction of Blind Spot Areas using Depth Estimation and Semantic
Segmentation for Safe Bicycle Riding
Abstract: In this study， we detect blind spots based on geometric features of the road structure with theaim of predicting blind spots on the road for safe bicycle travel．We focus on the blind spots that occur
at the boundaries between objects or at the points where the depth value changes ． We detect blind spots
by combining the edges of monocular depth estimation images and semantic segmentation image ．In theevaluation experiment， we generated a video highlighting the edges of the blind spot area and showed it tothe subjects， asking them how much watching such a video beforehand would help them ride safely before
actually riding． The results showed that the video generated using the proposed method received a higher
rating compared to the video without highlighting， indicating that detecting and highlighting the blind
spots and displaying them can better assist people in safe cycling．
Keywords: Driving Assistance， Image Processing， Urban Cycling Safety, Depth Estimation, SemanticSegmentation， Blind Spot

1. はじめにコロナ禍における Uber Eats 等の自転車を利用した宅

ち，走行する道路形状に基づいて，接触事故が発生する可能性のある場所（死角領域）を事前に予測することが安全走行に繋がると考えられる．

配サービスの普及等に伴い, 自転車の利用者が増加してお本研究では，自転車走行時における安全性を確保するたり，自転車利用者はより安全の確保を意識した走行を求めめ，画像内の死角領域との境界線を検出し，事前に死角領られている．

域の存在と場所を予測する事を目的とする．また，これに近年の自転車走行時における事故の原因として最も割合が大きいのは，建物の出入口付近や曲がり角といった死角から接近する物体との出会い頭衝突とされている．すなわ
1a)b)
c)

福岡大学 工学部
福岡県福岡市城南区七隈 8 − 19 − 1kamenrider193@icloud.com
lida@fukuoka-u.ac.jp
onoshin@fukuoka-u.ac.jp

c 2018 Information Processing Society of Japan⃝

より，自転車利用者の危機察知の補助すると共に，死角領域の少ない安全な走行マップの提供が可能となる．

2. 関連研究
従来の死角領域を検出する研究は多く存在する [1], [3],[4], [5]．石崎ら [5] は, 死角の定義を「現在見えないが将来見える領域」とし, 視点と道路領域の変化から死角を計算

1情報処理学会研究報告
IPSJ SIG Technical Reportすることが可能である．ただし，実際に死角が存在する領域に近づいて死角の存在を確かめた上で学習データを作成する必要がある．
竹村ら [1] は自動運転ソフトウェアを活用した死角領域の半隠消表示の研究を行っている．この研究では自動運転モジュール群に Auto ware を，2 組の公道で取得した Tier

IV 社の公開データを使用し，提案システムによって死角領域を可視化させる．また，ソフトウェアと公開データのみを使用する事で，自動運転車が多数走行する道路環境下で自動運転車搭載のセンサのみでも死角の可視化が出来る．
本研究では道路構造の幾何特性に着目し，死角領域から離れた場所から学習データを用いることなく死角領域を検出する．

3. 死角領域の検出手法

図 1

デプス推定実行例3.1 死角領域検出の方針
本研究において以下の死角領域の特徴に着目する：• 奥行きが急激に変化している (物体間に距離がある)．
• 別の物体が遮蔽物となって物体の一部が隠れている．
• 人などの生物は本研究では遮蔽物には含まないものとする．

3.2 要素技術に関する予備検討
死角領域の定量化に有用と考えられる技術とその概要を以下に示す．

• デプス推定
画像から各画素の奥行きを推定するアルゴリズムとし

図 2

セマンティックセグメンテーション実行例て，図 1 に示すデプス推定モデル Boosting Monocular

Depth Estimation [6] を利用する．
• セマンティックセグメンテーション
画像内の各画素に対して事前に定義したラベルを選択して関連づけるアルゴリズムとして，セマンティックセグメンテーションモデル STEGO [7] を使用する. 実
行例は図 2 に示す．

• 物体検出
画像・動画から物体の領域や位置を分類ごとに検知するアルゴリズムとして，YOLOv5 [8] を用いる．実行
例は図 3 に示す．
図 33.3 死角領域の検出に関する考察
3.1 節に提示した死角領域の特徴に対して，どの要素技術を用いれば対応可能であるか考える．表 1 より死角の検出

物体検出実行例

において，デプス推定とセマンティックセグメンテーションの併用が有効的であると考える．
物体検出について，死角領域との境界線を検出する上で

表 1

要素技術と対応する特徴不適切であるため採用しない．

3.4 提案手法 (1)
図 4 に示したフローチャートの通り，以下のアルゴリズムを実装することで死角の検出を図る.

c 2018 Information Processing Society of Japan⃝

2情報処理学会研究報告
IPSJ SIG Technical Report

図 4

図 7

提案手法（1）の実行結果 1

図 8提案手法（1）の実行結果 2

提案手法（1）のフローチャート

図 5

エッジ画像

離れた物体間に生じるエッジを死角として誤検出していることがわかる．また本研究では検出対象外である人によって生じるエッジの誤検出も見られる．

• 検出漏れの問題
図 8 の結果により，同じラベルで関連づけられた自動車間に生じるエッジの検出漏れが発生していることがわかる．また，共通エッジが取得できないことが原因
図 6

共通 (死角) エッジ画像• 死角領域を検出したい画像から，得られたデプス画像とセマンティック画像を生成する．

• Sobel フィルタを活用し，生成された画像からデプスの差が閾値 D0 (0.2) 以上のデプス エッジとセマンティックエッジを検出する (図 5)．

• 共通エッジを抽出このエッジを死角として出力する(図 6)．

による検出漏れも発生している．

3.6 提案手法 (2)提案手法 (1) に以下のアルゴリズムを追加することで検出問題の改善を図る．

• デプス値が閾値 Z0 (輝度値 200) 以上の場合は死角から除外• 人によって生じるセマンティックエッジを死角から除外• 自動車および建物の領域内に存在するデプスエッジを3.5 実行結果 (1)
死角検出のイメージ画像と共通エッジの実行結果画像の比較をいくつかのパターンで行い, 実際に求める死角が検死角に追加• 全てのデプスエッジの方向を縦方向に限定
アルゴリズム追加後のフローチャートを図 9 に示す．

出出来ているか, 誤検出が無いか等の精度確認を行った．
結果より, 共通エッジを死角として検出されている一方で，誤検出や検出漏れなどの問題が発生していることが確認できた．

• 誤検出の問題
図 7 の結果により, 建物と空のように極端にデプスのc 2018 Information Processing Society of Japan
⃝3.7 実行結果 (2)提案手法 (1) において問題が確認された死角領域の検出結果と，アルゴリズムの追加による改善を行った提案手法(2) を用いて得た本実験の検出結果を比較し，検出問題の解決に繋がったか検出精度の確認を行った．

3

情報処理学会研究報告
IPSJ SIG Technical Report

図 9

図 10

提案手法（2）の実行結果 1

図 11

提案手法（2）の実行結果 2

図 12

動画 A（死角検出・強調前）

図 13

動画 B（死角検出・強調後）提案手法（2）のフローチャート• 誤検出の改善
図 10 の結果より，提案手法 (1) で確認された極端に遠いデプスが死角から除外されていることがわかる．同様に検出対象外である人のエッジも死角から除外されている．

• 検出漏れの改善
図 11 の結果では 2 台目の自動車との間に生じるエッジの検出漏れがなくなっていることが確認出来る．セマ
ンティックで関連付けられた自動車の領域内に存在すを見る．

るエッジが死角として追加されていることがわかる．

4. システム評価
4.1 評価方法

4.2 評価結果
死角の検出・強調前後で安全に道路を走行出来る可能性は次のように変化した．まず 自転車で走行する前にあら走行シミュレーションとして事前に死角検出・強調前のかじめ動画 A を見ておく場合，その道路をどの程度安全に動画 A（図 12）と検出・強調後の動画 B（図 13）を見るこ走行できると思いますか？ という質問に対して図 14，15とを想定して死角検出システムの評価を行う (1 秒ごとにのような結果が得られた．

連続した画像を動画に変換する)．自転車で走行する前に次に 自転車で走行する前にあらかじめ動画 B を見てお動画を視聴した場合，どの程度安全に走行可能であるかをく場合，その道路をどの程度安全に走行できると思います

A と B でそれぞれ評価し，死角検出・強調前後でその変化か？ という質問に対して以下のような結果が得られた．

c 2018 Information Processing Society of Japan⃝

4情報処理学会研究報告
IPSJ SIG Technical Report• フレーム数の増加• 検出された死角領域の表示の検討
なお機能向上に関しては評価の際に寄せられた意見に沿って改善を進める方針とする．

5. おわりに図 14

評価結果（動画 A）

本論文では，デプス推定とセマンティックセグメンテーションを利用した死角領域 (死角との境界線) の検出法を提案，実行した．
デプス推定とセマンティックセグメンテーションを活用することで画像内の死角領域を検出することが可能であり，死角領域を検出した動画を事前に視聴し, 走行のシミュレーションを行うことで，より安全に走行出来る可能性が高まると考えられる．また，死角検出前後の評価値を用い

図 15

評価結果（動画 B）ることで安全な走行マップの作成・提供に繋がるといえる．
本手法は 1 枚の画像及び 1 つの動画を分割した連続の画像でのみ死角エッジの検出に成功したが，動画を用いての死角エッジの検出や死角検出システムの機能向上が今後の課題である．
謝辞

本 研 究 の 一 部 は ，科 研 費 JP21H01457 お よ び

JP21K03962 の支援により行われた．
参考文献
[1]
図 16

個別評価と評価差分[2]

動画 A(死角検出・強調前) を事前に視聴した場合の評価の平均は約 4.13，動画 B を事前に視聴した場合の評価の平[3]

均は約 4.27 となっている．
このことから動画 B(死角検出・強調後) は動画 A(死角検出・強調後) を事前に視聴する場合よりも安全に道路を走行出来る可能性を高めることがわかる．

4.3 個別評価[4][5]

回答者別の動画 A,B それぞれの評価とその差分は図 16に示す．

[6]

この結果から評価の差分がマイナスとなったのは 3 人のみであり，多くはプラスの評価となっていることが確認出来る. これにより死角検出・強調された動画を事前に視聴し，走行のシミュレーションを行うことは安全な走行を可[7]能にする上で有用であるといえる．またこの評価値およびその差分を利用することで，安全なマップの作成に繋がると考える．

[8]

竹村岩朗他. ”自動運転ソフトウェアを活用した死角領域の半隠消表示.” 第 23 回日本 VR 学会大会論文集, 14D-1(2018).
小野晋太郎他. ”走行中の車載カメラとカーブミラーによる死角の危険予知.” 生産研究 74.1 (2022): 123-128.
Yusuke Hino, Shintaro Ono, Noriaki Itagaki, Yoshihiro
Suda: ”Recognition of Risky Events Reﬂected in Road
Safety Mirror Considering Ego Vehicle’s Motion”, 7th International Symposium on Future Active Safety Technology toward Zero Accidents (FAST-zero), 2021.9
有富友紀他. ”自動運転ソフトウェアを活用した周辺車両の半隠消表示-物体検出モジュールによる半隠消候補領域の抽出.” 第 81 回全国大会講演論文集 2019.1 (2019): 215-216.
石崎慎弥他「道路死角データセット」, 情報処理学会研究報告（コンピュータビジョンとイメージメディア）,vol.
2022-CVIM-230, no. 30, pp. 1-8, 2022.5
Miangoleh, S. M. H et al.(2021). Boosting monoculardepth estimation models to high-resolution via contentadaptive multi-resolution merging. In Proceedings of theIEEE/CVF Conference on Computer Vision and PatternRecognition (pp. 9685-9694).
Hamilton, M et al.(2022). Unsupervised semantic segmentation by distilling feature correspondences. arXiv
preprint arXiv:2203.08414.
Redmon, J et al., A. (2016). You only look once: Uniﬁed,
real-time object detection. In Proceedings of the IEEE
conference on computer vision and pattern recognition(pp. 779-788).

4.4 システム機能向上
死角表示評価より死角検出システムの機能向上の為に具体的に以下のような改善案が挙げられる．

• エッジの誤検出問題
c 2018 Information Processing Society of Japan⃝5