(57)【要約】【課題】処理量の低減を図るとともに、個別の対象体の検出精度を向上させる検出装置を提供する。【解決手段】検出装置は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、複数の学習済みモデルに関する情報を記憶する記憶部と、撮像部において取得された画像情報を入力データとして、記憶部に記憶された学習済みモデルを用いて、対象体を検出する検出部と、移動体の周辺環境情報を取得するセンサと、センサにより取得された周辺環境情報を含む情報に基づいて、検出部において用いられる学習済みモデルを切り替える切替判定部と、を備える。【選択図】図１
2020170319.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置され、移動体周辺の画像情報を取得する撮像部と、
複数の学習済みモデルに関する情報を記憶する記憶部と、
該撮像部において取得された画像情報を入力データとして、該記憶部に記憶された学習済みモデルを用いて、対象体を検出する検出部と、
前記移動体の周辺環境情報を取得するセンサと、
該センサにより取得された前記周辺環境情報を含む情報に基づいて、前記検出部において用いられる学習済みモデルを切り替える切替判定部と、
を備えたことを特徴とする検出装置。
【請求項２】
前記記憶部に記憶された複数の学習済みモデルは、前記画像情報または前記対象体に応じた特化型学習済みモデルであることを特徴とする請求項１に記載の検出装置。
【請求項３】
前記センサは、前記移動体の走行位置情報、時刻情報、前記移動体周辺の照度情報の少なくともいずれか１つを含む前記周辺環境情報を取得することを特徴とする請求項１または２のいずれかにに記載の検出装置。
【請求項４】
前記切替判定部に前記学習済みモデルの切替情報を出力する切替情報生成部を備え、
該切替情報生成部は、任意の時間間隔で、前記検出部において用いられる学習済みモデルを前記記憶部に記憶された前記複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における深層学習の類似度に対するスコアが最も高い前記学習済みモデルへの切替情報を前記切替判定部に出力することを特徴とする請求項１から３のいずれかに記載の検出装置。
【請求項５】
前記切替情報生成部は、前記撮像部において取得された前記画像情報が時系列的に所定範囲の類似度を有する場合に、任意の時間間隔で、前記検出部において用いられる学習済みモデルを前記記憶部に記憶された前記複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における深層学習の類似度に対するスコアが最も高い前記学習済みモデルへの切替情報を前記切替判定部に出力することを特徴とする請求項４に記載の検出装置。
【請求項６】
前記移動体は、屋内あるいは屋外を走行するフォークリフトであり、
前記記憶部は、少なくとも昼間特化型学習済みモデルと夜間特化型学習済みモデルとを記憶し、
前記センサは、前記フォークリフトの前記周辺環境情報として、少なくとも時刻情報もしくは前記フォークリフトの周辺の照度情報を検出し、
前記検出部は、前記フォークリフトが衝突する可能性がある前記対象体を検出し、
前記検出部における前記対象体の検出結果を前記フォークリフトのオペレータに報知する報知部を備えることを特徴とする請求項１に記載の検出装置。
【請求項７】
前記移動体は、屋内を走行するフォークリフトであり、
前記記憶部は、少なくとも屋内特化型学習済みモデルまたは人物特化型学習済みモデルを記憶し、
前記センサは、前記フォークリフトの前記周辺環境情報として、少なくとも走行位置情報を検出し、
前記検出部は、前記フォークリフトが衝突する可能性がある前記対象体を検出し、
前記検出部における前記対象体の検出結果を前記フォークリフトのオペレータに報知する報知部を備えることを特徴とする請求項１に記載の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置に関する。
【背景技術】
【０００２】
近年、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）の高速化、メモリの大容量化、及び機械学習の技術が急速に進んできている。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術が確立されつつある（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia (pp. 675-678). ACM.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
深層学習では、幅広い種類の対象体を汎用的に、検出あるいは認識するために、同じネットワークを使用し、目的に応じて学習データを変更あるいは追加することにより、様々な対象体の認識を行っている。
【０００５】
しかしながら、上記の方法では、汎用性は高いものの、個々の対象体の検出精度が低いという問題がある。また、検出する対象体の種類が多くなればなるほど、ネットワークにいて検出された後に、その検出体が検出対象の中のどれなのかを判定する際の計算量が増加するという問題がある。
そこで、本発明は、上述の課題に鑑みてなされたものであって、処理量の低減を図るとともに、個別の対象体の検出精度を向上させる検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
形態１；本発明の１またはそれ以上の実施形態は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、複数の学習済みモデルに関する情報を記憶する記憶部と、該撮像部において取得された画像情報を入力データとして、該記憶部に記憶された学習済みモデルを用いて、対象体を検出する検出部と、前記移動体の周辺環境情報を取得するセンサと、該センサにより取得された前記周辺環境情報を含む情報に基づいて、前記検出部において用いられる学習済みモデルを切り替える切替判定部と、を備えたことを特徴とする検出装置を提案している。
【０００７】
形態２；本発明の１またはそれ以上の実施形態は、前記記憶部に記憶された複数の学習済みモデルは、前記画像情報または前記対象体に応じた特化型学習済みモデルであることを特徴とする検出装置を提案している。
【０００８】
形態３；本発明の１またはそれ以上の実施形態は、前記センサは、前記移動体の走行位置情報、時刻情報、前記移動体周辺の照度情報の少なくともいずれか１つを含む前記周辺環境情報を取得することを特徴とする検出装置を提案している。
【０００９】
形態４；本発明の１またはそれ以上の実施形態は、前記切替判定部に前記学習済みモデルの切替情報を出力する切替情報生成部を備え、該切替情報生成部は、任意の時間間隔で、前記検出部において用いられる学習済みモデルを前記記憶部に記憶された前記複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における深層学習の類似度に対するスコアが最も高い前記学習済みモデルへの切替情報を前記切替判定部に出力する検出装置を提案している。
【００１０】
形態５；本発明の１またはそれ以上の実施形態は、前記切替情報生成部は、前記撮像部において取得された前記画像情報が時系列的に所定範囲の類似度を有する場合に、任意の時間間隔で、前記検出部において用いられる学習済みモデルを前記記憶部に記憶された前記複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における深層学習の類似度に対するスコアが最も高い前記学習済みモデルへの切替情報を前記切替判定部に出力する検出装置を提案している。
【００１１】
形態６；本発明の１またはそれ以上の実施形態は、前記移動体は、屋内あるいは屋外を走行するフォークリフトであり、前記記憶部は、少なくとも昼間特化型学習済みモデルと夜間特化型学習済みモデルとを記憶し、前記センサは、前記フォークリフトの前記周辺環境情報として、少なくとも時刻情報もしくは前記フォークリフト周辺の照度情報を検出し、前記検出部は、前記フォークリフトが衝突する可能性がある前記対象体を検出し、前記検出部における前記対象体の検出結果を前記フォークリフトのオペレータに報知する報知部を備える検出装置を提案している。
【００１２】
形態７；本発明の１またはそれ以上の実施形態は、前記移動体は、屋内を走行するフォークリフトであり、前記記憶部は、少なくとも屋内特化型学習済みモデルまたは人物特化型学習済みモデルを記憶し、前記センサは、前記フォークリフトの前記周辺環境情報として、少なくとも走行位置情報を検出し、前記検出部は、前記フォークリフトが衝突する可能性がある前記対象体を検出し、前記検出部における前記対象体の検出結果を前記フォークリフトのオペレータに報知する報知部を備えることを特徴とする請求項１に記載の検出装置を提案している。
【発明の効果】
【００１３】
本発明の１またはそれ以上の実施形態によれば、処理量の低減を図るとともに、個別の対象体の検出精度を向上させるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る検出装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る検出装置における記憶部内の構成を示す図である。
【図３】本発明の第１の実施形態に係る特化型学習モデルを例示した図である。
【図４】本発明の第１の実施形態に係る特化型学習モデルを例示した図である。
【図５】本発明の第１の実施形態に係る特化型学習モデルを例示した図である。
【図６】本発明の第１の実施形態に係る検出装置におけるセンサの構成を示す図である。
【図７】本発明の第１の実施形態に係る検出装置における制御部内の構成を示す図である。
【図８】本発明の第１の実施形態に係る検出装置の処理フローである。
【図９】本発明の第２の実施形態に係る検出装置における制御部内の構成を示す図である。
【図１０】本発明の第２の実施形態に係る検出装置の処理フローである。
【図１１】本発明の第２の実施形態に係る検出装置におけるフレーム間の処理フローである。
【図１２】本発明の第３の実施形態に係る検出装置における制御部内の構成を示す図である。
【図１３】本発明の第３の実施形態に係る検出装置の処理フローである。
【図１４】本発明の第３の実施形態に係る検出装置におけるフレーム間の処理フローである。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図１から図８を用いて説明する。
なお、以下では、移動体としてフォークリフトを例示して説明する。
【００１６】
＜検出装置の構成＞
本実施形態に係る検出装置１は、図１に示すように、撮像部１０と、記憶部２０と、制御部３０と、センサ４０と、報知部５０とを含んで構成されており、制御部３０は、検出部３７と、切替判定部３５とを含んで構成されている。
【００１７】
撮像部１０は、移動体としてのフォークリフトに設置され、移動体としてのフォークリフト周辺の画像情報を取得する。撮像部１０は、例えば、カメラであり、移動体としてのフォークリフトのヘッドガード内側部あるいは外側部の前方走行方向の画像が撮影可能な位置に取付られている。また、カメラの取付方向は、移動体としてのフォークリフトの前方走行方向の画像が撮影可能な状態であれば特に、限定されるものではない。また、１つのカメラでは、移動体としてのフォークリフトのマストやフォーク等による死角の影響がある場合には、２つ以上のカメラにより、移動体としてのフォークリフトの前方走行方向の画像を網羅的に撮影するようにしてもよい。また、ヘッドガードの外側に台座を設けてカメラを固定するようにしてもよい。また、移動体としてのフォークリフトの進行方向（例えば、前進、後退）に合わせて、カメラが回動するような機構を設けてもよい。
【００１８】
また、カメラは、無線カメラであっても、有線カメラであってもよい。また、カメラは、スチルカメラであってもムービーカメラであってもよい。さらに、撮像部１０は、対象体によっては、例えば、ＬＩＤＡＲのようなセンサであってもよい。
【００１９】
記憶部２０は、複数の学習済みモデルに関する情報を記憶する。記憶部２０は、不揮発性メモリ等であってもよいし、ハードディスク等であってもよい。また、ネットワークで、検出装置１と接続されたサーバ等であってもよい。
【００２０】
ここで、記憶部２０に記憶される複数の学習済みモデルとしては、図２に示すように、車両特化型学習済みモデル２０Ａ、昼間特化型学習済みモデル２０Ｂ、夜間特化型学習済みモデル２０Ｃ、屋内特化型学習済みモデル２０Ｄ、屋外特化型学習済みモデル２０Ｅ、障害物特化型学習済みモデル２０Ｆ、人物特化型学習済みモデル２０Ｇ等を例示することができる。
【００２１】
一般的な深層学習に用いられる学習モデルは、汎用性をもたせるために、人や車、動物、建造物、風景等の多種多様なデータから構築されていたが、本実施形態に検出装置１では、例えば、図３に示すように、乗用車の画像や大型トラックの画像、軽自動車の画像、バスの画像といったような車のみからなる学習データに基づく車両特化型学習済みモデル２０Ａ、図４に示すように、昼間の画像や天候の画像、空の色の画像、明るさの画像といったような昼間データのみからなる学習データに基づく昼間特化型学習済みモデル２０Ｂ、図５に示すように、夜間の画像やヘッドライトの画像、テールライトの画像、街頭の画像といったような夜間データのみからなる学習データに基づく夜間特化型学習済みモデル２０Ｃ、図５に示すように、収納棚の画像やパレットの画像、屋内設備の画像、屋内標識の画像といったような屋内データのみからなる学習データに基づく屋内特化型学習済みモデル２０Ｄ、図５に示すように、トラックの画像や歩行者の画像、バイクの画像、建物の画像、電柱の画像といったような屋外データのみからなる学習データに基づく屋外特化型学習済みモデル２０Ｅ、図３に示すように、パイロンの画像やコンクリートブロックの画像、パレットの画像、バリケードの画像、クッションドラムの画像、ガードフェンスの画像といったような障害物データのみからなる学習データに基づく障害物特化型学習済みモデル２０Ｆ、図３に示すように、男性の画像や女性の画像、大人の画像、子供の画像、帽子を被った人の画像、ヘルメットを被った人の画像といったような人物データのみからなる学習データに基づく人物特化型学習済みモデル２０Ｇを記憶部２０が記憶する。
【００２２】
上記の学習済みモデルは、予めある特定の学習データをニューラルネットワーク（ＮＮ）に入力し、深層学習を行うことにより生成される。例えば、車両特化型学習済みモデル２０Ａは、車のみからなる学習データをニューラルネットワーク（ＮＮ）に入力し、深層学習を行うことにより生成される。なお、学習済みモデルは、例えば、本格稼働前の試走時に、撮像部１０から入力された撮像画像データから生成してもよいし、実際に稼働する現場の画像情報を検出対象ごとにリスト化したデータに基づいて学習済みモデルを生成してもよい。
【００２３】
制御部３０は、図示しないＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等に記憶された制御プログラムに従って、検出装置１全体の動作を制御する。本実施形態においては、例えば、後述する検出部３７における検出処理や切替判定部３５における切替判定処理を制御する。なお、これらの制御の詳細については、後述する。
【００２４】
センサ４０は、移動体としてのフォークリフトの周辺環境情報を含む情報を取得する。センサ４０は、例えば、図６に示すように、移動体としてのフォークリフトの走行位置情報４０Ａを検出するＧＰＳ受信機や画像情報とマップ情報、舵角センサ等との組み合わせ、時刻情報４０Ｂを検出するタイマや時計、移動体としてのフォークリフト周辺の照度情報４０Ｃを取得する照度センサ、移動体としてのフォークリフト走行時の加速度情報４０Ｄを検出する加速度センサ、移動体としてのフォークリフト走行時の速度情報４０Ｅを検出する速度センサ等を例示することができる。
【００２５】
報知部５０は、検出部３７における対象体の検出結果を、例えば、移動体としてのフォークリフトのオペレータに報知する。ここで、報知部５０は、検出部３７における対象体の検出結果して危険を視覚により知らせる表示装置であってもよいし、音声により知らせるスピーカ等でもよいし、例えば、移動体としてのフォークリフトのシートを振動させることによりオペレータに検出結果を知らせるバイブレータのようなものであってもよく、特に、限定されるものではない。
【００２６】
＜制御部３０の構成＞
本実施形態に係る検出装置１における制御部３０は、図７に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データセット３４と、切替判定部３５と、学習済みデータセット３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、を含んで構成されている。
【００２７】
収集部３１は、図示しない通信部１１を介し、撮像部１０からの撮像画像を収集する。ここで、収集された画像情報は、撮像画像データベース（ＤＢ）３２に格納される。
【００２８】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット３４へ格納する。
【００２９】
一方、切替判定部３５は、センサ４０から得られる移動体としてのフォークリフトの周辺環境情報を含む情報に基づいて、記憶部２０に記憶された好適な学習済みモデルを選択して、当該学習済みモデルを学習済みデータセット３６に格納する。
【００３０】
例えば、センサ４０からの走行位置情報４０Ａにより、屋内の危険個所を走行している場合には、切替判定部３５は、記憶部２０から屋内特化型学習済みモデル２０Ｄあるいは障害物特化型学習済みモデル２０Ｆを選択し、当該学習済みモデルを学習済みデータセット３６に格納する。
【００３１】
また、センサ４０からの時刻情報４０Ｂにより、時刻が夜間帯である場合には、切替判定部３５は、記憶部２０から夜間特化型学習済みモデル２０Ｃを選択し、当該学習済みモデルを学習済みデータセット３６に格納する。
【００３２】
また、センサ４０からの移動体としてのフォークリフト周辺の照度情報４０Ｃにより、照度が低い場合には、切替判定部３５は、記憶部２０から屋内特化型学習済みモデル２０Ｄあるいは夜間特化型学習済みモデル２０Ｃを選択し、当該学習済みモデルを学習済みデータセット３６に格納する。
【００３３】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する。より具体的には、検出部３７は、抽出部３３により格納された検出対象データセット３４と、切替判定部３５により格納された学習済みデータセット（例えば、車両特化型学習済みモデル２０Ａ）との、例えば、類似度に対するスコアの乖離度を算出し、この乖離度が予め定めた値以下である場合には、この乖離度を算出した検出対象データセット３４内のデータが所望の検出体であることを検出し、当該データを検出結果ＤＢ３８に格納する。なお、ここで、対象体とは、物体、人体、移動体、車線等を含むものである。
【００３４】
なお、上記では、記憶部２０に記憶された特化型学習済みモデルの切替を切替判定部３５の判断処理で実行する例を示したが、記憶部２０に記憶された特化型学習済みモデルの切替を手動で行う手動切替部を設け、移動体としてのフォークリフトのオペレータの判断で、当該特化型学習済みモデルの切替を行えるようにしてもよい。
【００３５】
＜検出装置の処理＞
図８を用いて、本実施形態に係る検出装置１の処理について説明する。
【００３６】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ１０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ１０２）。
【００３７】
切替判定部３５は、センサ４０から得られる移動体としてのフォークリフトの周辺環境情報を含む情報に基づいて、記憶部２０に記憶された好適な学習済みモデルを選択して、当該学習済みモデルを学習済みデータセット３６に格納する（ステップＳ１０３）。
【００３８】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット３４へ格納する（ステップＳ１０４）。
【００３９】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する（ステップＳ１０５）。
【００４０】
検出部３７は、抽出部３３により格納された検出対象データセット３４と切替判定部３５により格納された学習済みデータセットとの、例えば、類似度に対するスコアの乖離度に基づいて、検出対象データセット３４内のデータが所望の検出体であることを検出した当該データを検出結果データベース（ＤＢ）３８に格納する（ステップＳ１０６）。
【００４１】
ここで、制御部３０は、次の画像情報に対する処理に移行し（ステップＳ１０７）、処理すべき画像情報があるのか否かを確認する（ステップＳ１０８）。そして、制御部３０が、処理すべき画像情報がないと判断した場合（ステップＳ１０８の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０が、処理すべき画像情報があると判断した場合（ステップＳ１０８の「Ｎｏ」）には、処理をステップＳ１０５に戻す。
【００４２】
以上、説明したように、本実施形態によれば、検出装置１は、移動体としてのフォークリフトに設置され、移動体としてのフォークリフト周辺の画像情報を取得する撮像部１０と、複数の学習済みモデルに関する情報を記憶する記憶部２０と、撮像部１０において取得された画像情報を入力データとして、記憶部２０に記憶された学習済みモデルを用いて、対象体を検出する検出部３７と、移動体としてのフォークリフトの周辺環境情報を取得するセンサ４０と、センサ４０により取得された周辺環境情報を含む情報に基づいて、検出部３７において用いられる学習済みモデルを切り替える切替判定部３５と、を備えている。
つまり、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、切替判定部３５がセンサ４０により取得された周辺環境情報を含む情報に基づいて、記憶部２０に記憶された複数の学習済みモデルのうち好適と判断した学習済みモデルを用いて、検出部３７が対象体を検出する。
そのため、一般的な汎用型学習済みモデルを用いて検出を行う方式に比べて、現在の状況にあった学習済みモデルを用いて検出を行うため、特に、対象体が画像情報のどれに対応するのかを判定するための処理量の低減を図るとともに、個別の対象体の検出精度を向上させることができる。
【００４３】
また、本実施形態によれば、記憶部２０に記憶された複数の学習済みモデルは、画像情報または対象体に応じた特化型学習済みモデルである。ここで、特化型学習済みモデルとしては、昼間特化型学習済みモデル、夜間特化型学習済みモデル、屋内特化型学習済みモデル、人物特化型学習済みモデル等を例示することができる。
つまり、検出部３７が、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、切替判定部３５がセンサ４０により取得された周辺環境情報を含む情報に基づいて、記憶部２０に記憶された画像情報または対象体に応じた特化型学習済みモデルのうち好適と判断した学習済みモデルを用いて、検出部３７が対象体を検出する。
そのため、一般的な汎用型学習済みモデルを用いて検出を行う方式に比べて、現在の状況にあった特化型学習済みモデルを用いて検出を行うため、特に、対象体が画像情報のどれに対応するのかを判定するための処理量の低減をさらに図るとともに、個別の対象体の検出精度をさらに向上させることができる。
【００４４】
また、本実施形態によれば、センサ４０は、移動体としてのフォークリフトの走行位置情報、時刻情報、移動体としてのフォークリフト周辺の照度情報の少なくともいずれか１つを含む周辺環境情報を取得する。
つまり、センサ４０が取得する周辺環境情報により、移動体としてのフォークリフトの走行位置情報が例えば、危険地域あるいは注意エリアであるのか、今、現在が昼間なのか夜間なのか、移動体としてのフォークリフトが屋内にあるのか屋外にあるのかといった記憶部２０に記憶された特化型学習済みモデルにリンクした情報を得ることができる。
そのため、センサ４０が取得する周辺環境情報に基づいて、切替判定部３５が特化型学習済みモデルの選択を行うことによって、現在の状況にあった好適な特化型学習済みモデルを用いて、検出部３７が対象体を検出することができるため、一般的な汎用型学習モデルを用いて検出を行う方式に比べて、特に、対象体が画像情報のどれに対応するのかを判定するための処理量の低減をさらに図るとともに、個別の対象体の検出精度をさらに向上させることができる。
【００４５】
また、本実施形態によれば、移動体としてのフォークリフトが屋内あるいは屋外を走行し、記憶部２０は、少なくとも昼間特化型学習済みモデルと夜間特化型学習済みモデルとを記憶し、センサ４０は、移動体としてのフォークリフトの周辺環境情報として、少なくとも時刻情報もしくは移動体としてのフォークリフト周辺の照度情報を検出し、検出部は、移動体としてのフォークリフトが衝突する可能性がある対象体を検出し、検出部における対象体の検出結果をオペレータに報知する報知部を備えている。
そのため、例えば、夜間に人間の視覚では認識することが難しい対象体についても、検出装置１が的確に対象体を認識し、その検出結果を報知することにより、衝突等の発生を未然に防止するための補助装置として機能することができる。
【００４６】
また、本実施形態によれば、移動体としてのフォークリフトが、屋内を走行し、記憶部２０は、少なくとも屋内特化型学習済みモデルを記憶し、センサ４０は、移動体としてのフォークリフトの周辺環境情報として、少なくとも走行位置情報を検出し、検出部３７は、移動体としてのフォークリフトが衝突する可能性がある前記対象体を検出し、検出部３７における対象体の検出結果を移動体としてのフォークリフトのオペレータに報知する報知部５０を備えている。
そのため、例えば、死角となり得る物体や構造物の多い屋内であっても、検出装置１が的確に対象体を認識し、その検出結果を報知することにより、衝突等の発生を未然に防止するための補助装置として機能することができる。
【００４７】
なお、本実施形態においては、センサ４０が取得する移動体としてのフォークリフトの周辺環境情報に応じた特化型学習済みモデルを用いて、対象体の検出を行うことを説明したが、例えば、ユーザのニーズに対応した特化型学習済みモデルを用いて、対象体の検出を行うことも可能である。
一例として、車両特化型学習済みモデルを用いて、車両の詳細情報を取得して、荷物の積み込みモードを検出した場合に、どのトラックに荷物を載せるのかを判定する用途に適用してもよい。
また、人物特化型学習済みモデルにより人の詳細情報を取得して、不審者を検出する用途に適用してもよい。
また、同様に、人物特化型学習済みモデルにより人の詳細情報を取得して、オペレータに関する判別、例えば、オペレータの有無について判別を行う用途に適用してもよい。このような用途に応用することにより、オペレータに関する判別結果を表示したり、移動体としてのフォークリフトが有人無人兼用車である場合には、オペレータの判別の結果を配車制御に利用することができる。
【００４８】
＜第２の実施形態＞
以下、図９から図１１を用いて、本発明の第２の実施形態に係る検出装置１Ａについて説明する。
なお、本実施形態に係る検出装置１は、その構成において、第１の実施形態とは、制御部３０Ａの構成のみが異なる。
【００４９】
＜制御部３０Ａの構成＞
本実施形態に係る検出装置１Ａにおける制御部３０Ａは、図９に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データセット３４と、切替判定部３５Ａと、学習済みデータセット３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、切替情報生成部３９Ａと、タイマ部３９Ｂとを含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００５０】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの周辺環境情報を含む情報に基づいて、記憶部２０に記憶された好適な学習済みモデルを選択して、当該学習済みモデルを学習済みデータセット３６に格納する。また、切替判定部３５Ａは、後述する切替情報生成部３９Ａからの切替情報に基づいて、学習済みモデルを切り替える。また、切替判定部３５Ａは、検出部３７Ａの検出結果に基づく、切替情報により、学習済みモデルを切り替える。
【００５１】
切替情報生成部３９Ａは、任意の時間間隔、例えば、画像のフレーム間隔で、検出部３７において用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力する。また、切替情報生成部３９Ａは、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する。
【００５２】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時する。
【００５３】
＜検出装置の処理＞
図１０、図１１を用いて、本実施形態に係る検出装置１Ａの処理について説明する。
【００５４】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ２０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ２０２）。
【００５５】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの周辺環境情報を含む情報に基づいて、記憶部２０に記憶された好適な学習済みモデルを選択して、当該学習済みモデルを学習済みデータセット３６に格納する（ステップＳ２０３）。
【００５６】
抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット３４へ格納する（ステップＳ２０４）。
【００５７】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する（ステップＳ２０５）。
【００５８】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時すると、切替情報生成部３９Ａおよび検出部３７がフレーム間処理を実行する（ステップＳ２０６）。具体的には、図１１に示すように、切替情報生成部３９Ａが検出部３７により用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力し、当該学習済みモデルを学習済みデータセット３６に格納する（ステップＳ２０６１）。そして、抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット３４へ格納し（ステップＳ２０６２）、検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５Ａにより学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する（ステップＳ２０６３）。
【００５９】
検出部３７は、抽出部３３により格納された検出対象データセット３４と切替判定部３５により格納された学習済みデータセットとの、例えば、類似度に対するスコアの乖離度に基づいて、検出対象データセット３４内のデータが所望の検出体であることを検出した当該データを検出結果データベース（ＤＢ）３８に格納する（ステップＳ２０７）。
【００６０】
切替情報生成部３９Ａは、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する（ステップＳ２０８）。
【００６１】
ここで、制御部３０Ａは、次の画像情報に対する処理に移行し（ステップＳ２０９）、処理すべき画像情報があるのか否かを確認する（ステップＳ２１０）。そして、制御部３０Ａが、処理すべき画像情報がないと判断した場合（ステップＳ２１０の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ａが、処理すべき画像情報があると判断した場合（ステップＳ２１０の「Ｎｏ」）には、処理をステップＳ２０５に戻す。
【００６２】
以上、説明したように、本実施形態によれば、検出装置１Ａは、切替判定部３５Ａに学習済みモデルの切替情報を出力する切替情報生成部３９Ａを備え、切替情報生成部３９Ａは、任意の時間間隔で、検出部３７において用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する。
つまり、切替情報生成部３９Ａは、任意の時間間隔で、例えば、画像情報のフレーム間隔で、検出部３７において用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力する。そして、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する。
そのため、検出精度の高い学習済みモデルによって、検出部３７が対象体を検出するため、結果として、対象体の検出精度をさらに高めることができる。また、一般的な汎用型学習モデルを用いて検出を行う方式に比べて、現在の状況に最も適合した学習済みモデルを用いて検出を行うため、特に、対象体が画像情報のどれに対応するのかを判定するための処理量の低減を図ることができる。
【００６３】
＜第３の実施形態＞
以下、図１２から図１４を用いて、本発明の第３の実施形態に係る検出装置１Ｂについて説明する。
なお、本実施形態に係る検出装置１Ｂは、その構成において、第１の実施形態および第２の実施形態とは、制御部３０Ｂの構成のみが異なる。
【００６４】
＜制御部３０Ｂの構成＞
本実施形態に係る検出装置１における制御部３０Ｂは、図１２に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データセット３４と、切替判定部３５Ａと、学習済みデータセット３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、切替情報生成部３９Ｃと、タイマ部３９Ｂと、画像類似度判定部３９Ｄとを含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００６５】
切替情報生成部３９Ｃは、撮像部１０において取得された画像情報が時系列的に所定範囲の類似度を有する場合に、任意の時間間隔で、検出部３７において用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する。
【００６６】
画像類似度判定部３９Ｄは、抽出部３３により抽出された検出対象データセット３４内の時系列画像情報に対して、その画像情報同士の類似度を判定し、当該類似度が所定範囲内である場合に、切替情報生成部３９Ｃに対して、信号を出力する。
【００６７】
＜検出装置の処理＞
図１３、図１４を用いて、本実施形態に係る検出装置１の処理について説明する。
【００６８】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ３０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ３０２）。
【００６９】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの周辺環境情報を含む情報に基づいて、記憶部２０に記憶された好適な学習済みモデルを選択して、当該学習済みモデルを学習済みデータセット３６に格納する（ステップＳ３０３）。
【００７０】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット３４へ格納する（ステップＳ３０４）。
【００７１】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する（ステップＳ３０５）。
【００７２】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時すると、切替情報生成部３９Ｃおよび検出部３７がフレーム間処理を実行する（ステップＳ３０６）。具体的には、図１４に示すように、画像類似度判定部３９Ｄが、抽出部３３により抽出された検出対象データセット３４内の時系列画像情報に対して、その画像情報同士の類似度を判定し、当該類似度が所定範囲内であるか否かを判定する（ステップＳ２０６４）。そして、類似度が所定範囲内でないと判定した場合（ステップＳ２０６４の「ＮＯ」）には、処理を停止する。一方で、類似度が所定範囲内であると判定した場合（ステップＳ２０６４の「ＹＥＳ」）には、切替情報生成部３９Ｃに対して、信号を出力する。切替情報生成部３９Ｃは検出部３７により用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力し、当該学習済みモデルを学習済みデータセット３６に格納する（ステップＳ２０６１）。そして、抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出して、検出対象データセット３４へ格納し（ステップＳ２０６２）、検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５Ａにより学習済みデータセット３６に格納された学習済みモデルを用いて、対象体を検出する（ステップＳ２０６３）。
【００７３】
検出部３７は、抽出部３３により格納された検出対象データセット３４と切替判定部３５により格納された学習済みデータセットとの、例えば、類似度に対するスコアの乖離度に基づいて、検出対象データセット３４内のデータが所望の検出体であることを検出した当該データを検出結果ＤＢ３８に格納する（ステップＳ２０７）。
【００７４】
切替情報生成部３９Ｃは、検出部３７における深層学習の類似度に対するスコアが最も高い学習済みモデルへの切替情報を切替判定部３５Ａに出力する（ステップＳ２０８）。
【００７５】
ここで、制御部３０Ａは、次の画像情報に対する処理に移行し（ステップＳ２０９）、処理すべき画像情報があるのか否かを確認する（ステップＳ２１０）。そして、制御部３０Ａが、処理すべき画像情報がないと判断した場合（ステップＳ２１０の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ａが、処理すべき画像情報があると判断した場合（ステップＳ２１０の「Ｎｏ」）には、処理をステップＳ２０５に戻す。
【００７６】
以上、説明したように、本実施形態によれば、検出装置１Ｂの切替情報生成部３９Ｃは、任意の時間間隔で、例えば、撮像部１０において取得された画像情報が時系列的に所定範囲の類似度を有する場合に、画像情報のフレーム間隔で、検出部３７において用いられる学習済みモデルを記憶部２０に記憶された複数の学習済みモデルのうち、他の学習済みモデルに切り替える切替情報を切替判定部３５Ａに出力する。
そのため、時系列的に所定範囲の類似度を有する画像情報に対して、検出精度の高い学習済みモデルを適用することによって、検出部３７が対象体を検出するため、結果として、対象体の検出精度をさらに高めることができる。また、一般的な汎用型学習モデルを用いて検出を行う方式に比べて、現在の状況に最も適合した学習済みモデルを用いて検出を行うため、特に、対象体が画像情報のどれに対応するのかを判定するための処理量の低減を図ることができる。
【００７７】
なお、同一領域の画像を撮像する別の撮像部（例えば、ドライブレコーダー）を備え、当該撮像部による撮像画像を教師データとして、検出部３７における検出結果とのマッチング評価を行い、この評価結果に基づいて、学習済みモデルの一部を更新するような機能を有してもよい。
【００７８】
また、上記の実施形態においては、移動体としてフォークリフトを例示して説明したが、ショベルカー等の建設機械やトラクター等の農業機械等の産業機械にも適用することができる。
【００７９】
また、検出装置１の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを検出装置１に読み込ませ、実行することによって本発明の検出装置１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００８０】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８１】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８２】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８３】
１；検出装置
１０；撮像部
２０；記憶部
３０；制御部
３１；収集部
３２；撮像画像データベース（ＤＢ）
３３；抽出部３３
３４；検出対象データセット
３５、３５Ａ；切替判定部
３６；学習済みデータセット
３７；検出部
３８；検出結果データベース（ＤＢ）
３９Ａ、３９Ｃ；切替情報生成部
３９Ｂ；タイマ部
３９Ｄ；画像類似度判定部
４０；センサ
５０；報知部
【図１】
2020170319.tif 000003
【図２】
2020170319.tif 000004
【図３】
2020170319.tif 000005
【図４】
2020170319.tif 000006
【図５】
2020170319.tif 000007
【図６】
2020170319.tif 000008
【図７】
2020170319.tif 000009
【図８】
2020170319.tif 000010
【図９】
2020170319.tif 000011
【図１０】
2020170319.tif 000012
【図１１】
2020170319.tif 000013
【図１２】
2020170319.tif 000014
【図１３】
2020170319.tif 000015
【図１４】
2020170319.tif 000016