画像センシングによる安全支援機器

技術紹介

画像センシングによる安全支援機器
長谷部

１

敦

はじめに

俊

３搭載機能

近年，あらゆる業界において人口減少に伴う労働力不足が叫ばれており，物流業界でもドライバ不足

本開発では，「安全支援」と「作業性向上」の二つのキーワードのもとに三つの機能を搭載することや荷役作業者不足が深刻な問題となっている．この問題に対応するため，物流機器メーカなどは荷役作業車両（フォークリフトなど）の安全性向上や自動化・無人化に取り組んでいる．これらの流れは自動車業界における安全支援から自動運転への発展とよく似ており，物流業界においても同様の道筋を辿ると推察される．KYBでも自動車向けの画像センシ
ングによる安全支援技術として「車線逸脱警報装１）をはじめとして様々な開発を進めてきたが，こ置」
れらの技術を物流機器用の安全支援へ応用することで新たな市場開拓へつながると考え，開発をスタートさせた．
本報では荷役作業車両への搭載評価が可能であり，かつ車線逸脱警報装置で開発した線分検出技術や深層学習など種々の技術を盛り込んだ安全支援機器の原理試作（以下，本開発）結果について紹介する．とした．搭載機能の詳細を以下に述べる．
3. １ 進路上の線分検出＆警報機能
この機能は車線認識技術のベースとなる道路区分線検出技術を応用したものであり，進行方向上にのびる区分線ではなく，進行方向に対して垂直にのびる線（停止線を想定）を検出する．その後，検出した線の位置をもとに距離を算出し，停止せずに踏み越える可能性がある場合に運転者に対して警報を発令するものである．写真 １ に線分検出機能の動作イメージを示す．検出可能な線の種類としては一般的な白線の他に青，赤，緑，黄といった有色線の検出も行えるようにした．これにより，検出した線の色に応じて警報処理や支援方法を変えるといったことを可能とした．

２

開発コンセプト

本開発を行うにあたり，開発指針となるコンセプトを検討した．検討結果を以下に示す．
①別体型カメラを複数台接続➢ 複数方向を同時に撮影し，カメラ毎に機能を分けることを可能にする②既存車両への後付け（単独動作）➢ エッジ（端末）で処理を完結させる➢

軽量でコンパクトな本体にする③防塵防水仕様➢ 屋内外問わず使用可能にする④複数機能のリアルタイム同時実行➢ 検出から警報までを瞬時に行う

写真 １

線分検出機能イメージ

3. ２ 進路上の人検出＆警報機能
この機能は画像データからの物体検出技術として近年高度な検出精度を達成している「深層学習」を用いて進行方向上の歩行者及び作業者を検出し，自車両と衝突する可能性がある場合に運転者に対して― 24 ―

KYB技報第60号

2020―４

習は特に画像認識に特化したものであり，後述する警報を発令するものである．写真 ２ に人検出機能の動作イメージを示す．深層学習を用いることにより， 畳み込みニューラルネットワークによって認識対象の特徴を自動的に学習するものである．深層学習に捉えた画像に映っている人の姿勢や向き，部位（上おける実施ステップは，大きく「学習」と「推論」半身／左右半身）などに依存しないロバストな検出に分けられる（図 １ ）．
を行うことを可能とした．

写真 ２

人検出機能イメージ

図１

3. ３ 荷物情報読取機能
この機能は従来専用のリーダで読み取っていた荷物情報（バーコード／二次元コード）をカメラによって読み取ることで，運転者が車両を降りることなく荷役作業を行うことを目指したものである．これにより荷役作業の効率化に貢献する．写真 ３ に荷物情報読取機能の動作イメージを示す．

写真 ３

4. ２ 畳み込みニューラルネットワーク
畳み込みニューラルネットワークとは畳み込み演算を取り入れたニューラルネットワークのことであり，画像を扱うタスクにおいて用いられることが多い．畳み込み演算とは図 ２ に示すように，画像を構成する画素に対して任意のサイズのフィルタを掛けることで新たな値を取得するものであり，畳み込みニューラルネットワークではこれを複数回行うことによって元の画像を特徴量に変換して学習を行う．
畳み込み演算の代表例としてはソーベルフィルタに代表されるエッジ抽出処理が挙げられる（図 ３ ）．

荷物情報読取機能イメージ
図２４

深層学習における学習と推論

画像認識における畳み込み演算例

深層学習による人検出技術

4. １ 深層学習について
深層学習とは近年発展がめざましいAI関連技術の一つで，ニューラルネットワークと呼ばれる脳神経細胞の構造を模したアルゴリズムにより対象の特徴を捉えるしくみであり，画像認識や音声認識，文章解析などの分野において一部では人間の認識性能を超えるまでに至っている．本報で紹介する深層学― 25 ―

図３

ソーベルフィルタによるエッジ抽出処理例

画像センシングによる安全支援機器

4. ３ DarkNetとYOLO
深層学習を用いた画像認識処理をリアルタイムで実現するためには物体の検出と認識を同時に実行する必要がある．本開発ではワシントン大学のJosephRedmon氏によって開発されたニューラルネット
ワ ー ク 構 造 及 び 深 層 学 習 フ レ ー ム ワ ー ク であ る
「DarkNet」と物体検出アルゴリズム「YOLO（You２）を採用した．YOLOの特徴は一Only Look Once）」
度の処理で全ての物体を検出できることであり，一画像に対して複数回の処理を実行する他の検出手法と比較すると処理が非常に高速である．YOLOは2016年の登場以降，複数回のアップデートがなされており，検出精度と処理速度が向上している．本開発においては最新版であるv3（Version3）の軽量版である「YOLOv3-tiny」を採用した．
「tiny」はネットワークの層数を減らすことで，検出精度を犠牲にする代わりに高速化を実現したもので，本開発で目指す組み込み機器でのリアルタイム検出処理を実現するための手段として適していると判断した．加えてDarkNet及びYOLOは全てC言語で実装されているため，本開発のような組み込み機器に取り込みやすいという点も採用理由の一つとなっている．

５

原理試作機

写真 ４ に製作した原理試作機の外観を，表 １ に主な仕様を示す．サイズはB5サイズ程度の面積に処理ボード，DC-DCコンバータ，警報用ブザーなどを収めた．今回は原理試作のため，メインの処理基盤には市販の画像処理ボードを採用したが，今後はカスタムボードの開発により，更に軽量かつコンパクトにしていく予定である．

表１

原理試作機仕様一覧

項目仕様

カメラ数

最大 ２ 台（ケーブル長：最大 ５ m）

搭載機能

線分検出&警報，人検出&警報，二次元コード読取

危険度判定 距離に基づく二段階判定
警報

ブザー音とライト点滅

映像出力

HDMI

外GPIO，USB2.0

部 I/F

動作環境

電源：DC24/48V（18～75V）
消費電力：最大20W
動作温度：－20～45℃

外形寸法

W250×D160×H60㎜（突起部除く）

重1.27㎏（カメラ含まず）

量

その他機能

自動シャットダウン機能（イグニッション信号連動）

5. １ 画像処理ボード
本開発では深層学習を用いるにあたり，通常の組み込み機器よりも高性能な処理プロセッサを採用する必要があった．一般的に組み込み向けの画像処理及び深層学習処理には専用チップやFPGA注１）が用いられることが多いが，今回は原理試作としてアルゴリズムの検討を行うために，ソフトウェアのみで高速処理が実現できる組み込みGPU注２）であるNVIDIA
社のJetson TX2モジュールを採用した（写真 ５ ）
．

写真 ５

5. ２

Jetson TX2モジュール

組み込みGPUモジュール

一般的に高精度な深層学習をリアルタイムで実行する環境としては，サーバやワークステーションな

写真 ４

原理試作機外観

どの高性能なマシンにGPUグラフィックボード（写真 ６ ）を搭載して実行することが多い．この構成は主にデータをクラウドに送信し，クラウド上で演算処理を行う方式で用いられるが，コストもさること― 26 ―

KYB技報第60号

2020―４ながらサイズや消費電力，発熱量なども膨大になる．
本開発では既存車両への後付け可能なことをコンセ

注 １ ）Field Programmable Gate Array（構 成 を 書 き 換

プトとしているため，ドローンへの採用実績もある組み込みGPUモジュールを選択した．表 ２ に組み込みGPUモジュールとGPUグラフィックボードの

注 ２ ）Graphics Processing Unit（主に画像処理を目的とえ可能なロジック集積回路）のこと．
した並列分散処理プロセッサ）のこと．
注 ３ ）Tera Floating-point Operations Per Second（毎秒対比を示す．結果として当初検討したコンセプトを満足する試作機の開発が行うことができた．

１ 兆回の浮動小数点演算が行えることを表す単位）のこと．

６

おわりに本開発では深層学習を取り入れつつ，三つの検出機能をリアルタイムで同時に実行可能な原理試作機を製作した．検出精度の面ではまだまだ課題もあるが，今後フィールドテストやユーザ評価などで完成度を高めていきたい．搭載機能についてもユーザごとにニーズが異なるため，現場の困りごとや課題を積極的に拾い集めて，魅力的な製品に仕上げていく予定である．
今回は物流機器をターゲットとして開発を行ったが，画像によるセンシング技術は応用性が高いため，今後は建設機械や農業機械の安全支援，各種状態監視といった幅広い分野への展開を検討していく．

写真 ６ GPUグラフィックボード（例：NVIDIA QUADRO RTX4000）
表２

GPU比較

組み込みGPU

GPUボード（Jetson TX2）

（RTX4000）

サ イ ズ［㎜］50×87

241×111（×18）

消費電力［W］

7.5160コ ア 数2562,304

処理性能［TFLOPS注３]］

1.3

7.1

コ ス ト［$］2491,300

項目著

参文

献（2016年 ４ 月）
２ ）Redmon, Joseph., Farhadi, Ali., YOLOv3: An IncrementalImprovement（2018）者 

長谷部考１ ）長谷部，原：安全運転支援技術の開発．KYB技報第52号，敦俊

2009年入社．技術本部基盤技術研
究所情報技術研究室．主に画像センシング技術開発に従事．

― 27 ―