(57)【要約】【課題】移動体の周辺環境に応じて、処理速度を保ちつつ、個別の対象体の検出精度を向上させる検出装置を提供する。【解決手段】検出装置は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、複数のニューラルネットワークに関する情報を記憶する記憶部と、撮像部において取得された画像情報を入力データとして、記憶部に記憶された前記ニューラルネットワークを用いて、対象体を検出する検出部と、移動体の位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得するセンサと、センサにより取得された情報あるいは撮像部により取得された画像情報に基づいて、検出部において用いられるニューラルネットワークを切り替える切替判定部と、を備える。【選択図】図１
2020170321.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置され、移動体周辺の画像情報を取得する撮像部と、
複数のニューラルネットワークに関する情報を記憶する記憶部と、
前記撮像部において取得された画像情報を入力データとして、該記憶部に記憶された前記ニューラルネットワークを用いて、対象体を検出する検出部と、
前記移動体の位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得するセンサと、
該センサにより取得された情報あるいは前記撮像部により取得された画像情報に基づいて、前記検出部において用いられる前記ニューラルネットワークを切り替える切替判定部と、
を備えたことを特徴とする検出装置。
【請求項２】
前記切替判定部は、前記センサが取得した情報あるいは前記撮像部により取得された画像情報から徐行区域、危険区域等の低速領域を検出した場合に、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替えることを特徴とする請求項１に記載の検出装置。
【請求項３】
前記移動体の位置情報と危険エリア情報とを関連付けて記憶するデータベースを備え、
前記切替判定部は、前記移動体の位置情報と前記データベースとから、前記移動体が危険エリアを走行中であることを検出した場合に、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替えることを特徴とする請求項１に記載の検出装置。
【請求項４】
前記切替判定部は、前記センサが取得した情報あるいは撮像部により取得された画像情報から前記移動体の速度を検出し、検出した前記速度が、所定の速度よりも速い場合には、前記検出部において使用する前記ニューラルネットワークを処理速度の速い前記ニューラルネットワークに切り替え、検出した速度が、所定の速度よりも遅い場合には、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替えることを特徴とする請求項１に記載の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置に関する。
【背景技術】
【０００２】
近年、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）の高速化、メモリの大容量化、及び機械学習の技術が急速に進んできている。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術が確立されつつある（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia (pp. 675-678). ACM.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
深層学習では、幅広い種類の対象体を汎用的に、検出あるいは認識するために、対象体検出用のニューラルネットワークと対象体認識用のニューラルネットワークとを組み合わせた単一のニューラルネットワークを使用して、幅広い種類の対象体の認識を行っている。
【０００５】
しかしながら、上記の方法では、ニューラルネットワークごとに、特定の対象体に対する検出精度が異なるという問題がある。また、ニューラルネットワークごとに処理速度が異なるという問題がある。具体的には、ニューラルネットワーク層（中間層）が多いほど検出精度が高く、処理速度が遅いという傾向がある。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであって、移動体の周辺環境に応じて、個別の対象体の検出精度を向上させる検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
形態１；本発明の１またはそれ以上の実施形態は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、複数のニューラルネットワークに関する情報を記憶する記憶部と、前記撮像部において取得された画像情報を入力データとして、該記憶部に記憶された前記ニューラルネットワークを用いて、対象体を検出する検出部と、前記移動体の位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得するセンサと、該センサにより取得された情報あるいは前記撮像部により取得された画像情報に基づいて、前記検出部において用いられる前記ニューラルネットワークを切り替える切替判定部と、を備えたことを特徴とする検出装置を提案している。
【０００８】
形態２；本発明の１またはそれ以上の実施形態は、前記切替判定部は、前記センサが取得した情報あるいは前記撮像部により取得された画像情報から徐行区域、危険区域等の低速領域を検出した場合に、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替える検出装置を提案している。
【０００９】
形態３；本発明の１またはそれ以上の実施形態は、前記移動体の位置情報と危険エリア情報とを関連付けて記憶するデータベースを備え、前記切替判定部は、前記移動体の位置情報と前記データベースとから、前記移動体が前記危険エリアを走行中であることを検出した場合に、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替える検出装置を提案している。
【００１０】
形態４；本発明の１またはそれ以上の実施形態は、前記切替判定部は、前記センサが取得した情報あるいは撮像部により取得された画像情報から前記移動体の速度を検出し、検出した前記速度が、所定の速度よりも速い場合には、前記検出部において使用する前記ニューラルネットワークを処理速度の速い前記ニューラルネットワークに切り替え、検出した速度が、所定の速度よりも遅い場合には、前記検出部において使用する前記ニューラルネットワークを検出精度が高い前記ニューラルネットワークに切り替える検出装置を提案している。
【００１１】
形態５；本発明の１またはそれ以上の実施形態は、前記切替判定部に前記ニューラルネットワークの切替情報を出力する切替情報生成部を備え、該切替情報生成部は、任意の時間間隔で、前記検出部において用いられる前記ニューラルネットワークを前記記憶部に記憶された前記複数のニューラルネットワークのうち、他の前記ニューラルネットワークに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における評価が最も高い前記ニューラルネットワークへの切替情報を前記切替判定部に出力する検出装置を提案している。
【００１２】
形態６；本発明の１またはそれ以上の実施形態は、前記切替情報生成部は、前記撮像部において取得された前記画像情報が時系列的に所定範囲の類似度を有する場合に、任意の時間間隔で、前記検出部において用いられる前記ニューラルネットワークを前記記憶部に記憶された前記複数のニューラルネットワークのうち、他の前記ニューラルネットワークに切り替える切替情報を前記切替判定部に出力するとともに、前記検出部における評価が最も高い前記ニューラルネットワークへの切替情報を前記切替判定部に出力する検出装置を提案している。
【発明の効果】
【００１３】
本発明の１またはそれ以上の実施形態によれば、移動体の周辺環境に応じて、個別の対象体の検出精度を向上させるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る検出装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る検出装置における記憶部内の構成を示す図である。
【図３】本発明の第１の実施形態に係る検出装置におけるセンサの構成を示す図である。
【図４】本発明の第１の実施形態に係る検出装置における制御部内の構成を示す図である。
【図５】本発明の第１の実施形態に係る検出装置の処理フローである。
【図６】本発明の第２の実施形態に係る検出装置における制御部内の構成を示す図である。
【図７】本発明の第２の実施形態に係る検出装置の処理フローである。
【図８】本発明の第２の実施形態に係る検出装置におけるフレーム間の処理フローである。
【図９】本発明の第３の実施形態に係る検出装置における制御部内の構成を示す図である。
【図１０】本発明の第３の実施形態に係る検出装置の処理フローである。
【図１１】本発明の第３の実施形態に係る検出装置におけるフレーム間の処理フローである。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図１から図５を用いて説明する。
なお、以下では、移動体としてフォークリフトを例示して説明する。
【００１６】
＜検出装置の構成＞
本実施形態に係る検出装置１は、図１に示すように、撮像部１０と、記憶部２０と、制御部３０と、センサ４０と、報知部５０とを含んで構成されており、制御部３０は、検出部３７と、切替判定部３５とを含んで構成されている。
【００１７】
撮像部１０は、移動体としてのフォークリフトに設置され、フォークリフト周辺の画像情報を取得する。撮像部１０は、例えば、カメラであり、フォークリフトのヘッドガード内側部あるいは外側部等の前方走行方向の画像を撮影可能な位置に取付られている。また、カメラの取付方向は、フォークリフトの前方走行方向あるいはフォークリフト後方の画像が撮影可能な状態であれば特に、限定されるものではない。また、１つのカメラでは、フォークリフトのマストやフォーク等による死角の影響がある場合には、２つ以上のカメラにより、フォークリフトの前方走行方向の画像を網羅的に撮影するようにしてもよい。また、ヘッドガードの外側に台座を設けてカメラを固定するようにしてもよい。また、フォークリフトの進行方向（例えば、前進、後退）に合わせて、カメラが回動するような機構を設けてもよい。
【００１８】
また、カメラは、無線カメラであっても、有線カメラであってもよい。また、カメラは、スチルカメラであってもムービーカメラであってもよい。
【００１９】
記憶部２０は、複数のニューラルネットワークに関する情報を記憶する。記憶部２０は、不揮発性メモリ等であってもよいし、ハードディスク等であってもよい。また、ネットワークで、検出装置１と接続されたサーバ等であってもよい。
【００２０】
ここで、記憶部２０に記憶される複数のニューラルネットワークとしては、図２に示すように、対象体検出用のニューラルネットワークとしてのＳＳＤと対象体認識用のニューラルネットワークとしてのＶＧＧとを組み合わせたニューラルネットワーク２０Ａ、対象体検出用のニューラルネットワークとしてのＹＯＬＯと対象体認識用のニューラルネットワークとしてのＴｉｎｙとを組み合わせたニューラルネットワーク２０Ｂ、対象体検出用のニューラルネットワークとしてのＹＯＬＯと対象体認識用のニューラルネットワークとしてのＤａｒｋＮｅｔとを組み合わせたニューラルネットワーク２０Ｃ等を例示することができる。なお、上記はあくまでも例示であって、例えば、ＶＧＧのニューラルネットワークをベースとしてＳＳＤのニューラルネットワークを組み合わせたものでもよいし、ＭｐｂｉｌｅＮｅｔをベースとして対象体検出と対象体認識とを同時に行うＳＳＤ系のニューラルネットワークを組み合わせたものでも、あるいは、ＭｐｂｉｌｅＮｅｔをベースとしてＹＯＬＯ系のニューラルネットワークを組み合わせたものでもよい。
【００２１】
制御部３０は、図示しないＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等に記憶された制御プログラムに従って、検出装置１全体の動作を制御する。本実施形態においては、例えば、後述する検出部３７における検出処理や切替判定部３５における切替判定処理を制御する。なお、これらの制御の詳細については、後述する。
【００２２】
センサ４０は、移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得する。センサ４０は、例えば、図３に示すように、移動体としてのフォークリフトの走行位置情報４０Ａを検出するＧＰＳ受信機や画像情報とマップ情報、舵角センサ等との組み合わせ、移動体としてのフォークリフトの速度情報４０Ｂを検出する車速センサ、移動体としてのフォークリフト周辺環境情報４０Ｃを検出するための例えば照度情報を取得する照度センサ等を例示することができる。なお、移動体としてのフォークリフトの位置情報の取得は、予め位置情報が既知のマーカ等を画像情報等から検出することにより行ってもよい。
【００２３】
報知部５０は、検出部３７における対象体の検出結果を、例えば、移動体としてのフォークリフトのオペレータに報知する。ここで、報知部５０は、検出部３７における対象体の検出結果して危険を視覚により知らせる表示装置であってもよいし、音声により知らせるスピーカ等でもよいし、例えば、移動体としてのフォークリフトのシートを振動させることによりオペレータに検出結果を知らせるバイブレータのようなものであってもよく、特に、限定されるものではない。
【００２４】
＜制御部３０の構成＞
本実施形態に係る検出装置１における制御部３０は、図４に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５と、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９と、を含んで構成されている。
【００２５】
収集部３１は、図示しない通信部１１を介し、撮像部１０からの撮像画像を収集する。ここで、収集された画像情報は、撮像画像データベース（ＤＢ）３２に格納される。
【００２６】
抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する。
【００２７】
切替判定部３５は、センサ４０から得られるフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部により取得された画像情報に基づいて、記憶部２０に記憶された好適なニューラルネットワークを選択して、検出部３７に設定する。
【００２８】
例えば、センサ４０が取得した情報あるいは撮像部１０により取得された画像情報から徐行区域、危険区域等の低速領域を検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
【００２９】
また、移動体としてのフォークリフトの位置情報と、移動体としてのフォークリフトの位置情報と危険エリア情報とを関連付けて記憶する危険エリア情報データベース（ＤＢ）３９とから、移動体としてのフォークリフトが危険エリアを走行中であることを検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
【００３０】
また、センサ４０が取得した情報あるいは撮像部１０により取得された画像情報から移動体としてのフォークリフトの速度を検出し、検出した速度が、所定の速度よりも速い場合には、検出部３７において使用するニューラルネットワークを処理速度の速いニューラルネットワークに切り替え、検出した速度が、所定の速度よりも遅い場合には、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
【００３１】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により設定されたニューラルネットワークを用いて、対象体を検出する。より具体的には、検出部３７は、切替判定部３５により設定されたニューラルネットワークを用いて、深層学習を実行し、抽出部３３により格納された検出対象データ格納部３４内の検出対象データと、学習済みモデルとの、例えば、類似度の乖離度を算出し、この乖離度が予め定めた値以下である場合には、類似度に対する乖離度を算出した検出対象データ格納部３４内のデータが所望の対象体であることを検出し、当該データを検出結果データベース（ＤＢ）３８に格納する。なお、ここで、対象体とは、物体、人体、移動体、車線等を含むものである。
【００３２】
なお、上記では、記憶部２０に記憶されたニューラルネットワークの切替を切替判定部３５の判断処理で実行する例を示したが、記憶部２０に記憶されたニューラルネットワークの切替を手動で行う手動切替部を設け、移動体としてのフォークリフトのオペレータの判断で、当該ニューラルネットワークの切替を行えるようにしてもよい。
【００３３】
＜検出装置の処理＞
図５を用いて、本実施形態に係る検出装置１の処理について説明する。
【００３４】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ１０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ１０２）。
【００３５】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ１０３）。
【００３６】
切替判定部３５は、センサ４０から得られる移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報に基づいて、記憶部２０に記憶された好適なニューラルネットワークを選択して、当該ニューラルネットワークを検出部３７に設定させる（ステップＳ１０４）。
【００３７】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により設定されたニューラルネットワークを用いて、深層学習を実行して対象体を検出する（ステップＳ１０５）。
【００３８】
検出部３７は、切替判定部３５により設定されたニューラルネットワークを用いて、抽出部３３により格納された検出対象データ格納部３４内の検出対象データと、学習済みモデルとの、例えば、類似度の乖離度を算出し、この乖離度が予め定めた値以下である場合には、この乖離度を算出した検出対象データ格納部３４内のデータが所望の対象体であることを検出し、当該データを検出結果データベース（ＤＢ）３８に格納する（ステップＳ１０６）。
【００３９】
ここで、制御部３０は、次の画像情報に対する処理に移行し（ステップＳ１０７）、処理すべき画像情報があるのか否かを確認する（ステップＳ１０８）。そして、制御部３０が、処理すべき画像情報がないと判断した場合（ステップＳ１０８の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０が、処理すべき画像情報があると判断した場合（ステップＳ１０８の「Ｎｏ」）には、処理をステップＳ１０５に戻す。
【００４０】
以上、説明したように、本実施形態によれば、検出装置１は、移動体としてのフォークリフトに設置され、移動体としてのフォークリフト周辺の画像情報を取得する撮像部１０と、複数のニューラルネットワークに関する情報を記憶する記憶部２０と、撮像部１０において取得された画像情報を入力データとして、記憶部２０に記憶されたニューラルネットワークを用いて、対象体を検出する検出部３７と、移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得するセンサ４０と、センサ４０により取得された情報あるいは撮像部により取得された画像情報に基づいて、検出部３７において用いられるニューラルネットワークを切り替える切替判定部３５と、を備えている。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、センサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報に基づいて、切替判定部３５により設定された記憶部２０に記憶された好適なニューラルネットワークを用いて、対象体を検出する。
そのため、一般的に予め設定されたニューラルネットワークを用いて検出を行う方式に比べて、現在の状況にあったニューラルネットワークを用いて検出を行うため、移動体としてのフォークリフトの周辺環境に応じて、個別の対象体の検出精度を向上させることができる。
【００４１】
また、本実施形態によれば、切替判定部３５は、センサ４０が取得した情報あるいは撮像部により取得された画像情報から徐行区域、危険区域等の低速領域を検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、切替判定部３５がセンサ４０により取得された情報あるいは撮像部により取得された画像情報から徐行区域、危険区域等の低速領域を検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替え、当該ニューラルネットワークを用いて、検出部３７が対象体を検出する。
ここで、徐行区域、危険区域等の低速領域においては、処理速度よりも検出精度が重視される。
そのため、検出部３７が、徐行区域、危険区域等の低速領域において、検出精度が高いニューラルネットワークを用いて検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができる。
【００４２】
また、本実施形態によれば、検出装置１は、移動体としてのフォークリフトの位置情報と危険エリア情報とを関連付けて記憶する危険エリア情報データベース（ＤＢ）３９を備え、切替判定部３５は、移動体としてのフォークリフトの位置情報と危険エリア情報データベース（ＤＢ）３９とから、移動体としてのフォークリフトが危険エリアを走行中であることを検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、切替判定部３５がセンサ４０により取得された情報と危険エリア情報データベース（ＤＢ）３９とから危険エリアであることを検出した場合に、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替え、当該ニューラルネットワークを用いて、検出部３７が対象体を検出する。
ここで、危険エリアにおいては、処理速度よりも検出精度が重視される。
そのため、検出部３７が、危険エリアにおいて、検出精度が高いニューラルネットワークを用いて検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができる。
【００４３】
また、本実施形態によれば、切替判定部３５は、センサ４０が取得した情報あるいは撮像部１０により取得された画像情報から移動体としてのフォークリフトの速度を検出し、検出した速度が、所定の速度よりも速い場合には、検出部３７において使用するニューラルネットワークを処理速度の速いニューラルネットワークに切り替え、検出した速度が、所定の速度よりも遅い場合には、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークに切り替える。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力とし、切替判定部３５がセンサ４０により取得された情報から移動体としてのフォークリフトの速度が所定の速度よりも速い場合には、検出部３７において使用するニューラルネットワークを処理速度の速いニューラルネットワークを用いて、移動体としてのフォークリフトの速度が所定の速度よりも遅い場合には、検出部３７において使用するニューラルネットワークを検出精度が高いニューラルネットワークを用いて、対象体を検出する。
ここで、移動体としてのフォークリフトの速度が所定の速度よりも速い場合には、比較的見通しのよい安全なエリアを走行していると判断でき、移動体としてのフォークリフトの速度が所定の速度よりも遅い場合には、比較的見通しが良くない場所等の危険なエリアを走行していると判断できる。また、比較的安全なエリアにおいては、処理精度よりも処理速度を重視すべきであり、比較的危険なエリアでは、処理速度よりも処理精度を重視すべきである。
そのため、検出部３７が、移動体としてのフォークリフトの速度に応じたニューラルネットワークを用いて検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができる。
【００４４】
なお、本実施形態においては、検出部３７がセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報に基づいて、切替判定部３５により設定された記憶部２０に記憶された好適なニューラルネットワークを用いて、対象体を検出することを例示したが、撮像部１０が取得した画像情報、例えば、速度標識や警告標識等の画像に基づいて、切替判定部３５がニューラルネットワークを好適なニューラルネットワークに切り替えるように判定してもよい。
【００４５】
＜第２の実施形態＞
以下、図６から図８を用いて、本発明の第２の実施形態に係る検出装置１Ａについて説明する。
なお、本実施形態に係る検出装置１は、その構成において、第１の実施形態とは、制御部３０Ａの構成のみが異なる。
【００４６】
＜制御部３０Ａの構成＞
本実施形態に係る検出装置１における制御部３０Ａは、図６に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５Ａと、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９と、切替情報生成部３９Ａと、タイマ部３９Ｂと、を含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００４７】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部により取得された画像情報に基づいて、記憶部２０に記憶された好適なニューラルネットワークを選択して、検出部３７に設定する。また、切替判定部３５Ａは、後述する切替情報生成部３９Ａからの切替情報に基づいて、ニューラルネットワークを切り替える。また、検出部３７Ａの検出結果に基づく、切替情報生成部３９Ａからの切替情報により、ニューラルネットワークを切り替える。
【００４８】
切替情報生成部３９Ａは、任意の時間間隔、例えば、画像のフレーム間隔で、検出部３７において用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワークに切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７において特定されたニューラルネットワークへの切替情報を切替判定部３５Ａに出力する。検出部３７における上記ニューラルネットワークの特定は、例えば、フォークリフトのオペレータの評価に基づいて定められる。
【００４９】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時する。
【００５０】
＜検出装置の処理＞
図７、図８を用いて、本実施形態に係る検出装置１Ａの処理について説明する。
【００５１】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ２０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ２０２）。
【００５２】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ２０３）。
【００５３】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部により取得された画像情報に基づいて、検出部３７に記憶部２０に記憶された好適なニューラルネットワーク（第１のニューラルネットワーク）を設定する（ステップＳ２０４）。
【００５４】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により設定されたニューラルネットワーク（第１のニューラルネットワーク）を用いて、深層学習を実行することにより対象体を検出する（ステップＳ２０５）。
【００５５】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時すると、切替情報生成部３９Ａおよび検出部３７がフレーム間処理を実行する（ステップＳ２０６）。具体的には、図８に示すように、切替情報生成部３９Ａが検出部３７により用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワーク（第２のニューラルネットワーク）に切り替える切替情報を切替判定部３５Ａに出力する（ステップＳ２０６１）。そして、抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ２０６２）。検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５Ａにより設定されたニューラルネットワークを用いて、深層学習を実行することにより対象体を検出する（ステップＳ２０６３）。
【００５６】
検出部３７は、切替判定部３５により設定されたニューラルネットワークを用いて、抽出部３３により格納された検出対象データ格納部３４内の検出対象データと、学習済みモデルとの、例えば、類似度の乖離度を算出し、この乖離度が予め定めた値以下である場合には、この乖離度を算出した検出対象データ格納部３４内のデータが所望の対象体であることを検出し、当該データを検出結果ＤＢ３８に格納する（ステップＳ２０７）。
【００５７】
切替情報生成部３９Ａは、検出部３７において、評価の高いニューラルネットワークへの切替情報を切替判定部３５Ａに出力する（ステップＳ２０８）。検出部３７における上記ニューラルネットワークの評価は、例えば、フォークリフトのオペレータの評価に基づいて定められる。
【００５８】
ここで、制御部３０Ａは、次の画像情報に対する処理に移行し（ステップＳ２０９）、処理すべき画像情報があるのか否かを確認する（ステップＳ２１０）。そして、制御部３０Ａが、処理すべき画像情報がないと判断した場合（ステップＳ２１０の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ａが、処理すべき画像情報があると判断した場合（ステップＳ２１０の「Ｎｏ」）には、処理をステップＳ２０５に戻す。
【００５９】
以上、説明したように、本実施形態によれば、検出装置１Ａは、切替判定部３５Ａにニューラルネットワークの切替情報を出力する切替情報生成部３９Ａを備え、切替情報生成部３９Ａは、任意の時間間隔で、検出部３７において用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワークに切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７における評価が最も高いニューラルネットワークへの切替情報を切替判定部３５Ａに出力する。
つまり、切替情報生成部３９Ａは、任意の時間間隔で、例えば、画像情報のフレーム間隔で、検出部３７において用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワークに切り替える切替情報を切替判定部３５Ａに出力する。そして、検出部３７における評価が最も高いニューラルネットワークへの切替情報を切替判定部３５Ａに出力する。
そのため、検出精度あるいは検出速度の高いニューラルネットワークによって、検出部３７が対象体を検出するため、結果として、対象体の検出精度あるいは検出速度をさらに高めることができる。また、一般的な従来の方式に比べて、現在の状況に最も適合したニューラルネットワークを用いて検出を行うため、移動体としてのフォークリフト周辺の環境に応じて、個別の対象体の検出精度を向上させることができる。
【００６０】
＜第３の実施形態＞
以下、図９から図１１を用いて、本発明の第３の実施形態に係る検出装置１Ｂについて説明する。
なお、本実施形態に係る検出装置１Ｂは、その構成において、第１の実施形態および第２の実施形態とは、制御部３０Ｂの構成のみが異なる。
【００６１】
＜制御部３０Ｂの構成＞
本実施形態に係る検出装置１における制御部３０Ｂは、図９に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５Ａと、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９と、切替情報生成部３９Ｃと、タイマ部３９Ｂと、画像類似度判定部３９Ｄと、を含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
【００６２】
切替情報生成部３９Ｃは、撮像部１０において取得された画像情報が時系列的に所定範囲の類似度を有する場合に、任意の時間間隔で、検出部３７において用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワークに切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７において特定されたニューラルネットワークへの切替情報を切替判定部３５Ａに出力する。検出部３７における上記ニューラルネットワークの特定は、例えば、フォークリフトのオペレータの評価に基づいて定められる。
【００６３】
画像類似度判定部３９Ｄは、抽出部３３により抽出された検出対象データ格納部３４内の時系列画像情報に対して、その画像情報同士の類似度を判定し、当該類似度が所定範囲内である場合に、切替情報生成部３９Ｃに対して、信号を出力する。
【００６４】
＜検出装置の処理＞
図１０、図１１を用いて、本実施形態に係る検出装置１の処理について説明する。
【００６５】
撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ３０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ３０２）。
【００６６】
抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ３０３）。
【００６７】
切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部により取得された画像情報に基づいて、記憶部２０に記憶された好適なニューラルネットワーク（第１のニューラルネットワーク）を設定する（ステップＳ３０４）。
【００６８】
検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５により設定されたニューラルネットワーク（第１のニューラルネットワーク）を用いて、対象体を検出する（ステップＳ３０５）。
【００６９】
タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時すると、切替情報生成部３９Ｃおよび検出部３７がフレーム間処理を実行する（ステップＳ３０６）。具体的には、図１１に示すように、画像類似度判定部３９Ｄが、抽出部３３により抽出された検出対象データ格納部３４内の時系列画像情報に対して、その画像情報同士の類似度を判定し、当該類似度が所定範囲内であるか否かを判定する（ステップＳ３０６４）。そして、類似度が所定範囲内でないと判定した場合（ステップＳ３０６４の「ＮＯ」）には、処理を停止する。一方で、類似度が所定範囲内であると判定した場合（ステップＳ３０６４の「ＹＥＳ」）には、切替情報生成部３９Ｃに対して、信号を出力する。切替情報生成部３９Ａは、検出部３７により用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワーク（第２のニューラルネットワーク）に切り替える切替情報を切替判定部３５Ａに出力する（ステップＳ３０６１）。そして、抽出部３３は、撮像画像ＤＢ３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納し（ステップＳ３０６２）、検出部３７は、撮像部１０において取得された画像情報を入力データとして、切替判定部３５Ａにより設定されたニューラルネットワークを用いて、対象体を検出する（ステップＳ３０６３）。
【００７０】
検出部３７は、切替判定部３５により設定されたニューラルネットワークを用いて、抽出部３３により格納された検出対象データ格納部３４内の検出対象データと、学習済みモデルとの、例えば、類似度の乖離度を算出し、この乖離度が予め定めた値以下である場合には、この乖離度を算出した検出対象データ格納部３４内のデータが所望の対象体であることを検出し、当該データを検出結果データベース（ＤＢ）３８に格納する（ステップＳ３０７）。
【００７１】
切替情報生成部３９Ａは、検出部３７において、評価の高いニューラルネットワークへの切替情報を切替判定部３５Ａに出力する（ステップＳ３０８）。検出部３７における上記ニューラルネットワークの評価は、例えば、フォークリフトのオペレータの評価に基づいて定められる。
【００７２】
ここで、制御部３０Ａは、次の画像情報に対する処理に移行し（ステップＳ３０９）、処理すべき画像情報があるのか否かを確認する（ステップＳ３１０）。そして、制御部３０Ａが、処理すべき画像情報がないと判断した場合（ステップＳ３１０の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ａが、処理すべき画像情報があると判断した場合（ステップＳ３１０の「Ｎｏ」）には、処理をステップＳ３０５に戻す。
【００７３】
以上、説明したように、本実施形態によれば、検出装置１Ｂの切替情報生成部３９Ｃは、任意の時間間隔で、例えば、画像情報のフレーム間隔で、かつ、撮像部１０において取得された画像情報が時系列的に所定範囲の類似度を有する場合に、検出部３７において用いられるニューラルネットワークを記憶部２０に記憶された複数のニューラルネットワークのうち、他のニューラルネットワークに切り替える切替情報を切替判定部３５Ａに出力する。
そのため、時系列的に所定範囲の類似度を有する画像情報に対して、検出精度あるいは検出速度の高いニューラルネットワークによって、検出部３７が対象体を検出するため、結果として、対象体の検出精度あるいは検出速度をさらに高めることができる。また、一般的な従来の方式に比べて、現在の状況に最も適合したニューラルネットワークを用いて検出を行うため、移動体としてのフォークリフト周辺の環境に応じて、個別の対象体の検出精度を向上させることができる。
【００７４】
なお、同一領域の画像を撮像する別の撮像部（例えば、ドライブレコーダー）を備え、当該撮像部による撮像画像を教師データとして、検出部３７における検出結果とのマッチング評価を行い、この評価結果に基づいて、記憶部２０に記憶されたニューラルネットワークの一部を更新するような機能を有してもよい。
【００７５】
また、各ニューラルネットワークについて、過去の検出結果の評価を保存しておき、当該検出結果の評価に基づいて、記憶部２０に記憶されたニューラルネットワークの一部を更新するような機能を有してもよい。
【００７６】
また、検出装置１の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを検出装置１に読み込ませ、実行することによって本発明の検出装置１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００７７】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７８】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７９】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８０】
１；検出装置
１０；撮像部
２０；記憶部
３０；制御部
３１；収集部
３２；撮像画像データベース（ＤＢ）
３３；抽出部３３
３４；検出対象データ格納部
３５、３５Ａ；切替判定部
３６；学習済みモデル
３７；検出部
３８；検出結果データベース（ＤＢ）
３９Ａ、３９Ｃ；切替情報生成部
３９Ｂ；タイマ部
３９Ｄ；画像類似度判定部
４０；センサ
５０；報知部
【図１】
2020170321.tif 000003
【図２】
2020170321.tif 000004
【図３】
2020170321.tif 000005
【図４】
2020170321.tif 000006
【図５】
2020170321.tif 000007
【図６】
2020170321.tif 000008
【図７】
2020170321.tif 000009
【図８】
2020170321.tif 000010
【図９】
2020170321.tif 000011
【図１０】
2020170321.tif 000012
【図１１】
2020170321.tif 000013