三菱重工技報 Vol.56 No.2 (2019) M-FET 特集

技 術 論 文1

画像認識技術を応用したフォークリフト
人検知システムの開発
Automatic Human Detection System of Forklift using Image Processing Technology

中 尾 健 太 *1

松 本 知 浩 *2

Kenta Nakao

Tomohiro Matsumoto

飯 尾 聡 *2

杉 本 喜 一 *3

Satoshi Iio

Kiichi Sugimoto

昭 伍 *4

椎 﨑 弘 司 *5

Shogo Minami

Koji Shiizaki

南

フォークリフトによる事故は重大災害に繋がりやすく，安全確保のためには確実な周囲確認が不可欠である。しかしながら運転席からは死角が多く，ミラーやカメラを用いた場合でも常にそれらを注視しなければ十分な効果が得られない。そこで我々は，フォークリフトに取り付けられたカメラの映像から，深層学習を用いてリアルタイムに人を自動検出する技術を開発し，車載用 GPU に実装して運転者に警告する試作システムを開発した。今後，同試作システムを用いて実運用に近い様々な環境下で試験を行い，製品化に向けた開発を進めていく。

|1. はじめに製造現場や港湾，物流倉庫で稼働しているフォークリフトは，事故が発生した場合に重大災害に繋がりやすく，安全確保のためには確実な周囲確認が不可欠となる。しかしながら，運転席からはマストやカウンターウェイトなどが視界を遮り，多くの死角が発生してしまう。また，死角を補うためにミラーやカメラを設置した場合でも，運転者が常にそれらを注視していなければ十分な効果が得られない。そこで，図１に示すように運転者の周囲確認を支援するため，車両周辺を監視するように配置されたカメラの映像から，危険な位置に存在する人を画像認識によって自動的に検知する人検知技術を開発した。本報では開発した人検知技術とそれを搭載した試作システムの概要，及び今後の展開について述べる。

図１ 人検知システムによる安全運転支援*1 ICT ソリューション本部 CIS 部 技術士（情報工学部門）*2 ICT ソリューション本部 CIS 部*3 ICT ソリューション本部 CIS 部 主席技師 技術士（情報工学部門）*4 三菱ロジスネクスト(株) 技術本部 コンポーネント・先行技術部*5 三菱ロジスネクスト(株) 技術本部 コンポーネント・先行技術部 主席

三菱重工技報 Vol.56 No.2 (2019)2|2. 人検知技術の概要
2.1 深層学習による人検知
近年，深層学習と呼ばれる多層のニューラルネットワークを用いた機械学習手法が様々な分野に適用され，大きな成果を上げている。特に画像認識の分野では，ネットワークに様々なフィルタの畳み込みを追加して面的な特徴量を抽出する Convolutional Neural Network (以下 CNN)が盛んに研究されている。与えられた画像から特定の物体を探し出す物体検出では，いくつかの検知性能の高いネットワークモデル(1) (2)が主流となっており，いずれもエンジニアが特徴量や識別ロジックを設計していた従来の画像認識と比較して大幅な性能向上が実現されている。これらは一般物体検出を目的として構築されたモデルであり，検出対象として“人”も含まれている。今回，我々が適用するフォークリフトでは，移動体における安全支援という観点から，処理速度と検知性能の両立が求められる。このため，性能と高速性のバランスが良い Single Shot multibox Detector (以下 SSD)を用いて試験を実施した。

2.2 処理の高速化
深層学習は高い性能を達成するために多層のネットワーで構成されており，高速に処理を行うには並列計算を得意とする GPU の活用が不可欠である。しかし，通常深層学習で使用されるGPU はサイズや消費電力の点からフォークリフトのような車載環境には適していない。また，車載用 GPU も市販されており，小型かつ低消費電力を実現しているものの，並列計算能力では劣るため，深層学習をリアルタイムで実行するには高速化が必須となる。そこで我々は，SSD にMobilenet(3)と呼ばれる，深層学習で繰り返し実行される畳み込み演算を分割して計算量を削減し，性能低下を抑えつつも高速化が可能な手法をベースに評価を実施した。その結果，通常のSSD を車載用 GPU で処理した場合には 200ms/枚だった処理時間が 59ms/枚と大幅な速度向上を果たすことができた。

2.3 人検知性能の向上
次に，人検知の性能向上に取り組んだ。SSD は前述の通り一般物体検出用のモデルであり，日常の様々なシーンを学習しているため，図２に示すように必ずしもフォークリフトが使用される環境（例えば工場内や港湾など）と同じではない。つまり，人が映っているシーンの背景が学習データとは異なることになり，見逃し（人を検知できない）や誤検知（人ではないものを人として検知）の増加が懸念される。したがって，十分な検知性能を達成するためには，実環境における画像を用いてネットワークの学習を行う必要がある。そこで我々は，試験用フォークリフトにカメラを搭載して工場内を走行し，様々な状況下で画像データを収集した。収集した画像はラベル付け作業により学習用の正解データとして整理され，これらを用いて SSD を再学習させた結果，再学習前と比較して見逃しと誤検知の両方を低減することができた。特に特定の背景下で多く発生した誤検知には大きな効果があり，実環境における最適化が進んだものと考える。

図２ 一般物体検出用学習データと適用する実環境の違い

三菱重工技報 Vol.56 No.2 (2019)3|3. 試作システムの概要
3.1 システム構成
今回開発した人検知技術を車載用 GPU に実装し，図３に示すようにフォークリフトの周辺を監視可能な人検知システムを開発した。本システムでは車両に近い人を検知するための近距離監視カメラが４台，車両進行方向の遠い人を検知する遠距離監視カメラ 2 台が配置されており，各カメラからの映像が車載用 GPU に入力され，自動的に人検知処理が実行される。人が検知された
場合は，フォークリフトに設置されたスピーカから警告音が鳴動し，検知したカメラの映像と警告がモニタ画面に表示される。なお，これらの機器は全て消費電力が低い部品で構成されており，車両バッテリーからの電源供給のみで作動する。

図３ 試作したフォークリフト向け人検知システム

3.2 カメラの自動切り替え
フォークリフトは旋回性能が高いため，発進時のみならず低速走行時でも車両の周囲を要監視領域として監視する必要があり，近距離カメラを４台配置している。一方で，一定以上の速度で走行する場合は監視すべき領域は狭くなるものの，制動距離が長くなるためより遠くを監視する必要があり，前方及び後方にそれぞれ遠距離カメラを１台ずつ配置している。しかし，これら 6 台のカメラ映像を全て同時にリアルタイム処理しようとした場合，それだけ多くの車載用 GPU が必要となってしまい，消費電力や設置場所の問題が発生する。そこで，Controller Area Network(以下CAN)で車両の状態を常時取得し，それに合わせて取り込むカメラの映像を選択することにより，1台の車載用 GPU で処理を可能にした。例として図４に示すように，フォークリフトが停止時，あるいは低速走行時には移動速度が遅い，すなわち検知タイミングにある程度の時間的な余裕があることから近距離カメラ４台を順番に処理，一定以上の高速走行時には検知タイミングに時間的な余裕がないことから，進行方向の遠距離カメラ１台のみを逐次処理する。これによって，車載用GPU １台の処理能力でも，必要な範囲を必要な処理速度で監視することが可能となる。

3.3 運転者への警告
カメラ映像から人が検知された場合，直ちに運転者へ警告を行う必要がある。今回の試作シス
テムではこの通知方法として聴覚と視覚を利用した。車両の天井四隅にはスピーカが取り付けられており，人が検知されるとまずこのスピーカから警告音が鳴動する。この警告音は検知された人の居る方向から音が鳴るため，運転者が直感的に目視確認し易い仕組みとしている。具体的には，図５に示すように車両を中心とした４区画にエリアを分け，それらと各カメラの視野とを関連付ける。カメラの映像から人が検知された場合，映像のどこで人が検知されたかを判定し，そのエリアに対応したスピーカから警告音を鳴動することで実現している。一方，人を検知した場合には

三菱重工技報 Vol.56 No.2 (2019)4

車両に取り付けられたモニタにもそのカメラの映像が表示され，人と判定した領域を枠で囲んで強調表示される。なお，同時に複数のカメラで人が検知された場合，車両の状況（例えば進行方向など）に応じて表示するカメラの優先順位を決定できる仕組みとなっている。

図４ 車両状況に応じたカメラの自動切り替え例

図５ 監視エリアの区画分けと運転者への警告|4. まとめ
当社では，フォークリフトの安全支援を目的として様々な技術開発に取り組んでいる。本報では，演算負荷の高い深層学習の高速処理を実現する人検知技術，その技術を車載用 GPU に実装し，フォークリフトの安全運転支援を目的として開発した試作システムについて紹介した。試作システムは現在，製品化に向けて様々な環境下でのフィールドテストが計画されており，より確実な人検知が可能となるようデータの収集及び性能の向上にも努めていく予定である。また，さらに効果的な運転者への情報提示方法など，ヒューマンインタフェースに関しても研究を進めていく所存である。

参考文献(1) Wel, L. et al., SSD: Single Shot MultiBox Detector, ECCV. (2016)(2) Redmon, J. et al., You only look once: Unified, real-time object detection, CVPR. (2016)(3) Andrew, G. et al., MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application,CVPR. (2017)