(57)【要約】【課題】検知が必要とされる物体を確実に検知しつつ、検知が必要とされる物体とは区別して、それ以外の物体も検知する。【解決手段】開示の検知システム１０は、撮像部４０と、前記撮像部４０によって撮像されるエリア１５に存在する物体の位置を測定する測位センサ４５と、前記測位センサ４５によって測定された物体の位置が、前記撮像部４０によって撮像された画像におけるマーカ７０の画像座標に対応するか否かを判定し、前記マーカ７０の画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサ２０と、を備える。【選択図】図１
2020094934.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、
前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、
を備える検知システム。
【請求項２】
前記プロセッサは、前記マーカの画像座標に対応する位置にある前記物体を前記第１物体として検知するよう構成されている
請求項１に記載の検知システム。
【請求項３】
前記プロセッサは、前記マーカの画像座標に対応する位置に、前記測位センサによって測定された前記物体が存在しない場合には、前記マーカの検知を過検知として判定する
請求項１又は２に記載の検知システム。
【請求項４】
前記プロセッサは、前記画像における前記マーカのサイズを検知するよう構成され、
前記測位センサによって測定された物体の位置が前記マーカの前記画像座標に対応するか否かを判定することは、前記物体の位置と、前記マーカの前記画像座標及び前記サイズ、とを用いて行われる
請求項１から３のいずれか１項に記載の検知システム。
【請求項５】
前記プロセッサは、前記第１物体と前記第２物体とを区別した通知をするよう構成されている
請求項１から４のいずれか１項に記載の検知システム。
【請求項６】
前記マーカは、所定の位置関係を有する所定の２色以上のエリアを有する
請求項１から５のいずれか１項に記載の検知システム。
【請求項７】
前記測位センサによって測定された物体の位置が前記マーカの前記画像座標に対応するか否かを判定することは、前記測位センサによって測定される前記物体の位置と、前記マーカの前記画像座標と、の対応関係を規定した対応関係データを用いて行われる
請求項１から６のいずれか１項に記載の検知システム。
【請求項８】
前記プロセッサは、前記測位センサによって測定された、前記マーカを有するキャリブレーション用物体の位置と、前記キャリブレーション用物体が有する前記マーカの画像座標と、に基づいて前記対応関係データを生成するよう構成されている
請求項７に記載の検知システム。
【請求項９】
測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサを備える
検知装置。
【請求項１０】
測位センサによって測定された物体の位置が、撮像部によって撮像されたマーカの画像座標に対応するか否かを判定し、
前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知する
ことを含む検知方法。
【請求項１１】
第１物体に付与されるマーカと、
撮像部と、
前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、
前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記第１物体とは異なる第２物体として検知するプロセッサと、
を備える物体検知のための製品。
【請求項１２】
撮像部と、
前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、
前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、
前記撮像部及び前記測位センサが設けられる車両本体と、
を備える車両。
【請求項１３】
測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知する動作をプロセッサに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、検知システム、検知処理装置、検知方法、物体検知のための製品、車両、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１は、画像から人物に装着されたヘルメット画像を、撮像画像から抽出することで人物を検出する検知システムを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／１８６５８０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物体の検知においては、人間のように特に検知が必要とされる物体のほか様々な物体を検知することが望まれる。例えば、フォークリフトのような産業車両に搭載される検知システムでは、フォークリフトの周辺に存在する人間の存在を特に検知する必要があるが、フォークリフト近傍に人間以外の障害物が存在していれば、障害物への衝突回避のため、そのような障害物を検知することが求められる。
【０００５】
しかし、様々な物体を画像から確実かつ迅速に検知するのは容易ではない。しかも、様々な物体を検知しようとすると、特に検知が必要とされる物体を正確に検知できなくなるおそれがある。
【０００６】
したがって、検知が必要とされる物体を確実に検知しつつ、検知が必要とされる物体とは区別して、それ以外の物体も検知することが望まれる。
【課題を解決するための手段】
【０００７】
本開示のある側面は、検知システムである。開示の検知システムは、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、を備える。
【０００８】
本開示の他の側面は、検知装置である。開示の検知装置は、測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサを備える。
【０００９】
本開示の他の側面は、検知方法である。開示の検知方法は、測位センサによって測定された物体の位置が、撮像部によって撮像されたマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知することを含む。
【００１０】
本開示の他の側面は、物体検知のための製品である。開示の製品は、第１物体に付与されるマーカと、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記第１物体とは異なる第２物体として検知するプロセッサと、を備える。
【００１１】
本開示の他の側面は、車両である。開示の車両は、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、前記撮像部及び前記測位センサが設けられる車両本体と、を備える。
【００１２】
本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知する動作をプロセッサに実行させる。
【発明の効果】
【００１３】
本開示によれば、第１物体と第２物体とを区別して検知できる。
【図面の簡単な説明】
【００１４】
【図１】図１は、検知システムの構成図である。
【図２】図２は、車両及び測位エリアを示すである。
【図３】図３は、物体検知処理のフローチャートである。
【図４】図４は、測位データから物体検知する処理のフローチャートである。
【図５】図５は、検知対象及び障害物の存在を示す図である。
【図６】図６は、画像からマーカ検知する処理のフローチャートである。
【図７】図７は、画像からマーカ検知する処理の説明図である。
【図８】図８は、物体の位置と画像との対応関係を示す図である。
【図９】図９は、参照テーブルを示す。
【図１０】図１０は、表示画面を示すである。
【図１１】図１１は、キャリブレーション処理のフローチャートである。
【図１２】図１２は、キャリブレーションの初期状態を示す図である。
【図１３】図１３は、キャリブレーション中におけるキャリブレーション用検知対象の動きの説明図である。
【図１４】図１４は、学習中の状態を示す図である。
【図１５】図１５は、学習中の状態を示す図である。
【図１６】図１６は、キャリブレーションデータから参照テーブルを生成する処理の説明図である。
【発明を実施するための形態】
【００１５】
［本開示の実施形態の説明］
【００１６】
（１）実施形態に係る検知システムは、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、を備える。本実施形態では、第１物体は、マーカを有するため、確実に検知することができる。また、マーカを有しない第２物体については、測位センサによって検知された位置が、マーカの画像座標とは対応しないため、マーカを有する第１物体とは区別して検知することができる。
【００１７】
（２）前記プロセッサは、前記マーカの画像座標に対応する位置にある前記物体を前記第１物体として検知するよう構成されているのが好ましい。第１物体は、画像からマーカが検知されるだけでなく、測位センサによって測定された物体の位置とマーカの画像座標とが対応している場合に、第１物体として検知されるため、第１物体の検知精度が向上する。
【００１８】
（３）前記プロセッサは、前記マーカの画像座標に対応する位置に、前記測位センサによって測定された前記物体が存在しない場合には、前記マーカの検知を過検知として判定することができる。この場合、マーカの過検知を抑制できる。
【００１９】
（４）前記プロセッサは、前記画像における前記マーカのサイズを検知するよう構成され、前記測位センサによって測定された物体の位置が前記マーカの前記画像座標に対応するか否かを判定することは、前記物体の位置と、前記マーカの前記画像座標及び前記サイズ、とを用いて行われるのが好ましい。この場合、より精度よく検知をすることができる。
【００２０】
（５）前記プロセッサは、前記第１物体と前記第２物体とを区別した通知をするよう構成されているのが好ましい。この場合、検知システムのユーザは、第１物体と第２物体とを区別して認識できる。
【００２１】
（６）前記マーカは、所定の位置関係を有する所定の２色以上のエリアを有するのが好ましい。この場合、外乱があっても、マーカを確実に検知することができる。
【００２２】
（７）前記測位センサによって測定された物体の位置が前記マーカの前記画像座標に対応するか否かを判定することは、前記測位センサによって測定される前記物体の位置と、前記マーカの前記画像座標と、の対応関係を規定した対応関係データを用いて行われるのが好ましい。この場合、判定を容易に行うことができる。
【００２３】
（８）前記プロセッサは、前記測位センサによって測定された、前記マーカを有するキャリブレーション用物体の位置と、前記キャリブレーション用物体が有する前記マーカの画像座標と、に基づいて前記対応関係データを生成するよう構成されている。この場合、検知システムが、対応関係データを生成・更新することができる。
【００２４】
（９）実施形態に係る検知装置は、測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサを備えることができる。
【００２５】
（１０）実施形態に係る検知方法は、測位センサによって測定された物体の位置が、撮像部によって撮像されたマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知することを含む。
【００２６】
（１１）実施形態に係る製品は、マーカと検知システムとの組み合わせによって構成される。マーカと検知システムとの組み合わせは、購入者に対して販売される製品となる。実施形態に係る製品は、第１物体に付与されるマーカと、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記第１物体とは異なる第２物体として検知するプロセッサと、を備える。
【００２７】
（１２）実施形態に係る車両は、撮像部と、前記撮像部によって撮像されるエリアに存在する物体の位置を測定する測位センサと、前記測位センサによって測定された物体の位置が、前記撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知するプロセッサと、前記撮像部及び前記測位センサが設けられる車両本体と、を備える。
【００２８】
（１３）実施形態に係るコンピュータプログラムは、測位センサによって測定された物体の位置が、撮像部によって撮像された画像におけるマーカの画像座標に対応するか否かを判定し、前記マーカの画像座標に対応しない位置にある前記物体を、前記マーカを有する第１物体とは異なる第２物体として検知する動作をプロセッサに実行させる。コンピュータプログラムは、コンピュータ読み取り可能な、非一時的な記憶媒体に格納される。
【００２９】
［実施形態の詳細］
【００３０】
図１及び図２は、実施形態に係る検知システム１０及び検知システム１０を備えた車両８０を示している。検知システム１０は、車両８０の周囲の物体を検知する。車両８０は、車両本体８０Ａと、車両本体８０Ａに設けられた検知システム１０と、を備える。車両本体８０Ａは、例えば、フォークリフトなどの産業車両である。車両本体８０Ａは、油圧ショベルなどの車両系建設機械であってもよい。
【００３１】
フォークリフト等の車両は、工場・倉庫のような外乱の多い雑多な環境で使用される。したがって、検知システム１０も、外乱が多く、様々な物体が存在する雑多な環境で動作する必要がある。様々な物体全てを画像認識処理で検知するには、様々な物体全てを機械学習等の高負荷の計算処理によって検知することが考えられる。しかし、フォークリフト等が使用される環境は様々であり、検知精度を維持するには、環境に応じた複雑なパラメータ設定等が必要となる。また、機械学習等の高負荷の計算処理が必要であると、フォークリフト等の車両に安価に搭載できる組み込みシステムでは、検知までの処理に時間を要し、迅速な通知が困難である。実施形態の検知システム１０は、様々な物体のうち検知対象とそれ以外の障害物を区別して検知するため、フォークリフトなどの車両に適したシステムになっている。
【００３２】
実施形態の検知システム１０は、撮像部４０を備える。撮像部４０は、車両８０の周囲を撮像する。撮像部４０は、例えば、カラー画像を撮像できるカメラである。撮像部４０は、例えば、単眼カメラである。撮像部４０は、後述のマーカ７０の検知に用いられる。図２に示すように、撮像部４０は、一例として、車両８０の後方（図２において上方）の撮像エリア１５０を撮像するように車両本体８０Ａに取り付けられる。撮像部４０は、車両本体８０Ａの前方又は左右側方を撮像するように取り付けられてもよい。撮像部４０は、撮像した画像（動画像）を、検知装置１５へ出力する。
【００３３】
検知システム１０は、測位センサ４５を備える。測位センサ４５は、車両８０の周囲に存在する物体の位置を測定する。測位センサ４５は、例えば、超音波センサ、レーザレーダ、ステレオカメラ、又は赤外線センサによって構成される。なお、ステレオカメラは、測位センサ４５及び撮像部４０を兼ねることができる。測位センサ４５は、撮像部４０によって撮像されるエリア１５０に存在する物体を測位する。実施形態においては、図２に示すように、測位センサ４５は、車両本体８０Ａの後部（図２において上部）に取り付けられ、車両本体８０Ａの後方に存在する物体を測位する。測位センサ４５は、測位データを検知装置１５へ出力する。測位データは、少なくとも物体までの距離を含む。
【００３４】
測位センサ４５は、物体までの距離だけでなく、物体の方位を測定してもよい。実施形態においては、図２に示すように、物体の方位は、複数の測位センサ４５Ａ，４５Ｂ，４５Ｃを用いることで検知される。図２において、第１測位センサ４５Ａは、車両８０の右後方（図２において左上方）の第１測位エリア１１０に存在する物体を検知するよう車両本体８０Ａに取り付けられる。第２測位センサ４５Ｂは、車両８０の真後ろ（図２において上方）の第２測位エリア１２０に存在する物体を検知するよう車両本体８０Ａに取り付けられる。第３測位センサ４５Ｃは、車両８０の左後方（図２において右上方）の第３測位エリア１３０に存在する物体を検知するよう車両本体８０Ａに取り付けられる。検知システム１０は、複数の測位センサ４５Ａ，４５Ｂ，４５Ｃのいずれによって物体が検知されたかによって、検知された物体の方位を把握することができる。なお、複数の測位センサを用いる必要はなく、レーダセンサのように、物体までの距離及び方位を測定できる単一の測位センサを用いてもよい。
【００３５】
実施形態の検知システム１０は、撮像部４０によって撮像された画像と、測位センサ４５によって得られた測位データと、を用いることで、高精度に車両８０周辺の物体を検知する。また、実施形態の検知システム１０は、画像と測位データとを用いることで、車両８０周辺の物体の種類を区別することができる。すなわち、検知システム１０は、撮像部４０によって撮像された画像から認識される第１物体を検知するとともに、画像と測位データとを用いることで第１物体とは異なる第２物体を検知することができる。
【００３６】
実施形態において、第１物体は、検知システム１０にとっての主たる検知対象であり、例えば、人間である。第２物体は、検知システム１０にとっての従たる検知対象であり、例えば、人間以外の物体（フォークリフトにとっての障害物）である。以下では、第１物体を、「検知対象」といい、第２物体を、「障害物」という。
【００３７】
実施形態の検知システム１０は、出力装置５０を備える。出力装置５０は、車両本体８０Ａ又は検知装置１５に搭載されている。出力装置５０は、車両８０の周囲において物体が検知されたことを、車両８０の操縦者等へ通知する。出力装置５０は、例えば、ディスプレイ５１及びスピーカ５３のいずれか一方又は両方によって構成される。ディスプレイ５１は、撮像部４０によって撮像された画像中に、検知対象又は障害物の位置をオーバレイ表示する。また、スピーカ５３は、音により、検知対象又は障害物の存在を通知する。実施形態の出力装置５０は、検知対象（人間）と障害物（人間以外の物体）とを区別して通知することができる。例えば、ディスプレイ５１では、検知対象と障害物とを区別して表示することができる。スピーカ５３は、検知対象と障害物とを異なる音で通知することができる。
【００３８】
実施形態の検知システム１０は、検知装置１５を備える。検知装置１５は、プロセッサ２０と記憶装置３０とを備えるコンピュータによって構成される。検知装置１５は、例えば、車両に搭載される。検知装置１５を構成するコンピュータは、操作者等が有するスマートフォンなどのモバイル端末であってもよい。検知装置１５は、図示しないインタフェースを介して、撮像部４０、測位センサ４５及び出力装置５０に接続される。
【００３９】
記憶装置３０には、コンピュータを検知装置１５として機能させるコンピュータプログラム６０が格納されている。プロセッサ２０は、記憶装置３０に記憶されたコンピュータプログラム６０を読み出して実行する。コンピュータプログラム６０は、プロセッサ２０に物体検知処理２１を実行させる。
【００４０】
記憶装置３０には、物体検知処理２１に用いられる対応関係データ（参照テーブル）３１が格納されている。また、プロセッサ２０は、対応関係データ３１の設定（キャリブレーション）をするためのキャリブレーション処理２３を実行することができる。コンピュータプログラム６０は、プロセッサ２０にキャリブレーション処理２３を実行させる。物体検知処理２１、キャリブレーション処理２３、対応関係データ３１については、後述する。
【００４１】
図３は、物体検知処理２１の手順を示している。ステップＳ１１において、プロセッサ２０は、撮像部４０によって撮像された画像を取得するとともに、測位センサ４５Ａ，４５Ｂ，４５Ｃによって測定された測位データを取得する。
【００４２】
ステップＳ１２において、プロセッサ２０は、測位データから物体を検知する。図４に示すように、測位データから物体を検知する処理（ステップＳ１２）では、検知エリア内外判定（ステップＳ３２）が、測位センサ４５Ａ，４５Ｂ，４５Ｃ毎に繰り返される（ステップＳ３１，３３）。
【００４３】
ここで、図２に示すように、複数の測位エリア１１０，１２０，１３０それぞれは、測位センサ４５Ａ，４５Ｂ，４５Ｃからの距離に応じて、複数のエリアに区分けされている。一例として、第１測位エリア１１０は、第１測位センサ４５Ａからの距離が０から１ｍの範囲の第１近距離エリア１１０Ａと、第１測位センサ４５Ａからの距離が１ｍから３ｍまでの第１中距離エリア１１０Ｂと、第１測位センサ４５Ａからの距離が３ｍ以上の第１遠距離エリア１１０Ｃと、を有する。
【００４４】
同様に、第２測位エリア１２０は、第２測位センサ４５Ｂからの距離が０から１ｍの範囲の第２近距離エリア１２０Ａと、第２測位センサ４５Ｂからの距離が１ｍから３ｍまでの第２中距離エリア１２０Ｂと、第２測位センサ４５Ｂからの距離が３ｍ以上の第２遠距離エリア１２０Ｃと、を有する。第３測位エリア１３０は、第３測位センサ４５Ｃからの距離が０から１ｍの範囲の第３近距離エリア１３０Ａと、第３測位センサ４５Ｃからの距離が１ｍから３ｍまでの第３中距離エリア１３０Ｂと、第３測位センサ４５Ｃからの距離が３ｍ以上の第３遠距離エリア１３０Ｃと、を有する。
【００４５】
プロセッサ２０は、測位センサ４５Ａ，４５Ｂ，４５Ｃから出力された測位データに基づいて、物体が、これら９個のエリアのいずれに存在するかを判定することができる。
【００４６】
実施形態においては、近距離エリア１１０Ａ，１２０Ａ，１３０Ａ及び中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂが測位センサによる検知エリアとされ、遠距離エリア１１０Ｃ，１２０Ｃ，１３０Ｃは検知エリア外とされている。
【００４７】
前述のステップＳ３２の検知エリア内外判定では、近距離エリア１１０Ａ，１２０Ａ，１３０Ａ及び中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂ内の物体は、検知エリア内であると判定され、遠距離エリア１１０Ｃ，１２０Ｃ，１３０Ｃ内の物体は、検知エリア外であると判定される。
【００４８】
一例として、図５のように、検知対象９０及び障害物９１Ａ，９１Ｂが存在している場合、プロセッサ２０は、第１測位エリア１１０の第１遠距離エリア１１０Ｃに、何らかの物体が存在していることを検知する。同様に、プロセッサ２０は、第２測位エリア１２０の第２近距離エリア１２０Ａに、何らかの物体が存在し、第３測位エリア１３０の第３中距離エリア１３０Ｂに、何らかの物体が存在していることを検知する。また、プロセッサ２０は、第１遠距離エリア１１０Ｃの物体は、検知エリア外であり、第２近距離エリア１２０Ａ及び第３中距離エリア１３０Ｂの物体は、検知エリア内であると判定する。なお、第１遠距離エリア１１０Ｃに存在する物体は障害物９１Ａであり、第２近距離エリア１２０Ａに存在する物体は検知対象９０であり、第３中距離エリア１３０Ｂに存在する物体は障害物９１Ｂである。ただし、測位データのみからは、プロセッサ２０は、物体の種別を把握することはできない。
【００４９】
図３に戻り、ステップＳ１３において、プロセッサ２０は、検知エリア内に存在する物体の有無を判定する。検知エリア内に存在する物体が全く存在しなければ、操縦者等への通知は行われない（ステップＳ１４）。本実施形態では、仮に、画像から検知対象が検知されていたとしても、測位センサ４５によって物体が検知されていなければ、通知が行われない。
【００５０】
ここで、画像からの検知対象の検知においては、ノイズや照明・影の具合によって、まれに、検知対象が存在しないのに、誤って検知対象が検知されることがある。しかし、本実施形態では、仮に、画像から検知対象が検知されていたとしても、測位センサ４５によって物体が検知されていなければ、通知が行われない。したがって、画像による検知対象の過検知が抑制される。
【００５１】
ステップＳ１５において、プロセッサ２０は、撮像部４０によって撮像された画像から検知対象を検知するため、画像からマーカを検知する処理を実行する。実施形態においては、検知対象である人間は、ヘルメットを装着しており、ヘルメットには、画像による検知のためのマーカ７０（図１参照）が付与されているものとする。マーカ７０は、所定の位置関係を有する所定の２色以上のエリア７０Ａ，７０Ｂ，７０Ｃを有する。実施形態において、マーカ７０は、平行な青エリア７０Ａ、緑エリア７０Ｂ、赤エリア７０Ｃが、この順番で並んで構成されている。なお、検知対象の向きにかかわらず撮像部４０がマーカ７０を撮影できるように、マーカ７０は、ヘルメットの全周に設けられている。
【００５２】
図６は、画像からマーカを検知する処理の手順を示している。ステップ４１において、プロセッサ２０は、撮像部から取得した画像２００（図７参照）から、マーカ７０が有する青、緑、赤の３原色を抽出する色抽出処理を実行し、色抽出画像２１０（図７参照）を得る。なお、図７に示す画像２００は、図５に示すように検知対象９０及び障害物９１Ａ，９１Ｂが存在する場合の画像である。つまり、画像２００においては、第１遠距離エリア１１０Ｃに相当する画像座標に障害物９１Ａが表れ、第２近距離エリア１２０Ａに相当する画像座標に検知対象９０が表れ、第３中距離エリア１３０Ｂに相当する画像座標に、障害物９１Ｂが表れている。
【００５３】
色抽出処理では、ＨＳＶ色相空間における所定の値を有する青、緑、及び赤の値を有する画像領域が抽出される。ここで、ＨＳＶ色相空間における色相（Ｈ）を０から３６０の範囲の値で示し、同じく彩度を０から２５５の範囲の値で示し、同じく明度を０から２５５の範囲の値で示すものとする。この場合、色抽出処理において抽出される青は、一例として、色相が２２０よりも大きく、かつ、２６０よりも小さく、彩度が１５０よりも大きく、明度が１５０よりも大きい色である。また、色抽出処理において抽出される緑は、色相が１００よりも大きく、かつ、１４０よりも小さく、彩度が１５０よりも大きく、明度が１５０よりも大きい色である。色抽出処理において抽出される赤は、一例として、色相が２０よりも小さい、又は、３４０よりも大きく、彩度が１５０よりも大きく、明度が１５０よりも大きい色である。
【００５４】
ステップＳ４２において、プロセッサ２０は、色抽出画像２１０に基づいてマーカ判定を行う。マーカ判定は、色抽出画像２１０中に、所定の位置関係を有する青エリア１７０Ａ，緑エリア１７０Ｂ，赤エリア１７０Ｃの組み合わせからなるマーカ画像１７０が存在しているか否かの判定である。ここでの所定の位置関係は、平行な青エリア１７０Ａ、緑エリア１７０Ｂ、赤エリア１７０Ｃが、この順番で並んでいるという位置関係である。原色が、特定の位置関係で並んでいるという状況は、通常の環境では少ないため、検知対象の姿勢・照明・影その他環境中の要因の影響を抑えて、確実に検知対象（マーカ）を検知することができる。つまり、画像に基づく検知対象の検知は、マーカ７０を用いない画像認識処理によっても行えるが、マーカ７０を用いることで、より確実に検知対象（マーカ）を検知できる。また、本実施形態のマーカ７０では、２色以上の原色が用いられているため、色同士の相対評価により、照度変化の影響を回避して、マーカ７０を検知できる。
【００５５】
プロセッサ２０は、マーカ画像１７０を検知すると、マーカ画像１７０を囲むバウンディングボックス１７２を求めるとともに、マーカデータ１７３を取得する。マーカデータ１７３は、画像２００，２１０におけるマーカ画像１７０の画像座標を含む。実施形態の画像位置座標は、画像２００，２１０の左上角を原点（０，０）としたときのＸＹ座標として表される。実施形態において、画像座標は、バウンディングボックス１７２における所定位置（例えば、バウンディングボックスの中心）のＸＹ座標である。
【００５６】
マーカデータ１７３は、画像２００，２１０におけるマーカ画像１７０のサイズを含む。実施形態において、サイズは、バウンディングボックス１７２の幅Ｗ及び高さＨによって構成される。マーカデータ１７３は、画像２００，２１０におけるマーカ画像１７０の角度を含む。図７の−Ｙ方向（図７の上方）を基準方向（0deg）としたときに、実施形態において、角度Ａは、基準方向に対するマーカ画像１７０の傾きによって表される。マーカ画像１７０の傾きは、例えば、マーカ画像１７０における色の境界となる線分を抽出し、画像２００，２１０における線分の傾きを求めることによって得られる。
【００５７】
図３に戻り、ステップＳ１６において、プロセッサ２０は、マーカが検知されたか否かを判定する。画像２００，２１０中にマーカ画像１７０が全く存在しなかった場合（ステップＳ１６においてＮＯ）、プロセッサ２０は、測位センサ４５によって検知された物体は、障害物であると認識する。この場合、プロセッサ２０による処理は、ステップＳ１９に移行する。
【００５８】
画像２００，２１０中に少なくとも一つのマーカ画像１７０が存在した場合（ステップＳ１６においてＹＥＳ）、プロセッサ２０は、測位センサ４５によって測定された物体が、検知対象（人間）であるか、障害物（人間以外の物体）であるかを判定する（ステップＳ１７）。ステップＳ１７の判定は、測位センサ４５によって測定された物体の位置が、マーカ画像１７０の画像座標に対応するかのテストによって行われる。
【００５９】
図８に示すように、測位センサ４５によって測定された物体と、マーカ画像１７０と、の対応関係としては、第１ケースＣ１、第２ケースＣ２、及び第３ケースＣ３が存在する。第１ケースＣ１は、測位センサ４５によって測定された物体の位置に対応した、マーカ画像１７０が存在する場合である。第１ケースＣ１は、人間が測位センサ４５によって検知されるとともに、その人間が装着しているヘルメットのマーカ７０が検知された場合である。第１ケースＣ１においては、プロセッサ２０は、測位センサ４５によって検知された物体は、検知対象（第１物体；人間）であると認識する。第１ケースＣ１の場合、プロセッサ２０は、検知対象が存在することを、出力装置５０を介して、操縦者等へ通知する（ステップＳ１８）。
【００６０】
第２ケースＣ２は、測位センサ４５によって測定された物体の位置に対応するマーカ画像１７０が存在しない場合である。第２ケースＣ２は、マーカを有しない物体が測位センサ４５によって検知された場合である。第２ケースＣ２においては、プロセッサ２０は、測位センサ４５によって検知された物体は、障害物（第２物体）であると認識する。第２ケースＣ２の場合、プロセッサ２０は、障害物が近距離エリア１１０Ａ，１２０Ａ，１３０Ａに存在するか否かを判定する（ステップＳ１９）。障害物が近距離エリア１１０Ａ，１２０Ａ，１３０Ａに存在する場合、プロセッサ２０は、障害物が存在することを、出力装置５０を介して、操縦者等へ通知する（ステップＳ２０）。
【００６１】
障害物が中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂに存在する場合、プロセッサ２０は、操縦者等への通知を行わない（ステップＳ２１）。検知対象に関しては、検知対象が近距離エリア１１０Ａ，１２０Ａ，１３０Ａに存在していても、中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂに存在していても、通知はなされるが、障害物は、車両８０による衝突のおそれがある近距離エリア１１０Ａ，１２０Ａ，１３０Ａに存在している場合にだけ、通知がなされる。このように、検体対象とそれ以外の障害物とを区別して検知することで、通知等の処理内容を物体の種類に応じて異ならせることができる。なお、障害物が、中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂに存在している場合に、通知を行ってもよい。
【００６２】
実施形態においては、撮像部４０によって撮像された画像からマーカが付与された検知対象を検知する。しかし、マーカを有しない物体であっても、車両８０の近傍に存在すれば、障害物として検知することが望まれる。この点に関し、実施形態の検知システム１０は、マーカを有しない物体であっても、検知することができる。したがって、検知対象以外の障害物となる物体の存在の通知が可能である。また、画像から多くの種類の検知対象を検知しようとすると、計算負荷が増大するが、実施形態によれば、車両８０による衝突のおそれがある障害物を容易に検知することができる。
【００６３】
第３ケースＣ３は、マーカ画像１７０は存在するが、マーカ画像１７０に対応した位置に物体が存在しない場合である。第３ケースＣ３においては、マーカ画像１７０は、マーカの過検知であると判断され、操縦者等への通知はされない（ステップＳ２１）。マーカに近い色の背景が偶然に存在した場合には、マーカ７０は存在しないにもかかわらず、マーカ画像１７０が得られることがある。この場合、マーカ画像１７０が検出されても、測位センサは物体の存在を検出しない。したがって、マーカの検知が、過検知であると判断される。
【００６４】
プロセッサ２０は、ステップＳ１７の判定を、図９に示す参照テーブル３１を参照することで行う。参照テーブル３１は、測位センサ４５によって測定された物体の位置３３と、マーカ７０の画像座標３５Ａ等と、の対応関係が規定されている。物体の位置とマーカ画像座標とが、参照テーブル３１に既知された対応関係を満たす場合には、測位センサによって測定された物体は、検知対象であると判定される。一方、物体の位置とマーカ画像座標とが、参照テーブル３１に既知された対応関係を満たさない場合には、測位センサによって測定された物体は、障害物であると判定される。
【００６５】
実施形態においては、ステップＳ１７の判定は、参照テーブル３１と参照するという簡易な処理によって実現されているため、１フレーム分の画像及び測位データから、高速に検知対象又は障害物を検知することができる。高速な検知は、フォークリフトのように旋回速度が速く、振動がある車両において、特に有利である。
【００６６】
実施形態においては、参照テーブル３１は、物体の位置３３と、マーカデータ３５と、が対応付けられている。物体の位置３３は、第１測位センサ４５Ａによる検知結果フィールド３３Ａと、第２測位センサ４５Ｂによる検知結果フィールド３３Ｂと、第３測位センサ４５Ｃによる検知結果フィールド３３Ｃと、を有する。図９に示す各フィールド３３Ａ，３３Ｂ，３３Ｃにおいて、近距離エリア１１０Ａ，１２０Ａ，１３０Ａは、「近」で示され、中距離エリア１１０Ｂ，１２０Ｂ，１３０Ｂは、「中」で示され、遠距離エリア１１０Ｃ，１２０Ｃ，１３０Ｃは、「遠」で示されている。
【００６７】
物体の位置３３に対応するマーカデータ３５としては、マーカ画像１７０の位置座標の範囲３５Ａ、マーカ画像１７０のサイズの範囲３５Ｂ、マーカ画像１７０の角度の範囲３５Ｃと、が設定されている。位置座標の範囲３５Ａは、バウンディングボックス１７２のＸＹ座標の範囲で表され、サイズの範囲３５Ｂは、バウンディングボックス１７２の幅Ｗ及び高さＨの範囲によって表され、角度の範囲３５Ｃは、マーカ画像１７０の角度Ａの範囲によって表される。
【００６８】
例えば、参照テーブル３１において、第１測位センサ４５Ａによる検知結果フィールド３３Ａに「近」が付与された設定は、第１測位センサ４５Ａにより検知された物体が、第１近距離エリア１１０Ａに存在している場合を示す。参照テーブル３１においては、第１測位センサ４５Ａによる検知結果フィールド３３Ａに「近」が付与された設定に対応して、位置座標の範囲としてx11 < X < x12, y11 < Y <Y12が設定され、サイズの範囲３５Ｂとして、w11 < W < w12, h11 < H < h12が設定され、角度の範囲として、A11 < A <A12が設定されている。
【００６９】
例えば、図５に示すように検知対象９０及び障害物９１Ａ，９１Ｂが存在する場合、検知対象９０は、第２測位センサ４５Ｂによって、第２近距離エリア１２０Ａに存在する物体９１として認識される（図１０参照）。この場合、プロセッサ２０は、参照テーブル３１において、第２測位センサ４５Ｂによる検知結果フィールド３３Ｂにおける「中」に対応付けられたマーカデータ３５を参照する。マーカ画像１７０のマーカデータ１７３が、第２測位センサ４５Ｂによる検知結果フィールド３３Ｂにおける「中」に対応付けられたマーカデータ３５の範囲内にある。この結果、図１０に示すように、第２近距離エリア１２０Ａに存在する物体９１はマーカ画像１７０に対応している（第１ケースＣ１である）と判定される。
【００７０】
また、障害物９１Ａ，９１Ｂについては、対応するマーカ画像１７０は存在しない（第２ケースＣ２）であると判定される。
【００７１】
なお、物体９１とマーカ画像１７０の対応の有無を判定するには、画像座標を用いれば足り、サイズ及び角度を用いる必要はない。ただし、サイズを用いることで、より正確に対応関係を判定することができる。さらに、角度も用いることで、さらに正確に対応関係を判定することができる。
【００７２】
検知対象９０及び障害物９１Ａの存在を操縦者等へ通知する場合、図１０に示す表示画像２２０をディスプレイ５１に表示させることができる。表示画像２２０は、撮像部４０によって撮像された画像２００に、測位センサ４５によって検知された物体９１，９１Ａ，９１Ｂの存在を示す画像を合成したものである。物体９１，９１Ａ，９１Ｂの存在を示す画像は、物体９１，９１Ｂ，９１Ｂの位置に対応する画像座標に配置される。物体９１，９１Ｂ，９１Ｂの位置から、画像座標の変換は、変換データを参照することによって得られる。変換データとしては、図９に示す参照テーブルにおける物体の位置３３及び画像座標３５Ａを用いることができる。
【００７３】
表示画像２２０は、マーカ画像１７０と物体９１の存在を示す画像との対応していることを、通知を受けた者が視認できる表示を含んでもよい。
【００７４】
図１１は、参照テーブル３１のキャリブレーション処理２３の手順を示している。量産される普通乗用車等の一般車両では、検知システムのためのセンサの取り付け位置などが事前に詳細に設計されるのに対して、フォークリフトなどの産業車両等では、検知システム１０は後付けされることが多い。また、フォークリフトなどの産業車両等では、車体の大きさの違いや既存の車載機器の取り付け状況から、撮像部４０及び測位センサ４５の取り付け位置を一定にするのが困難である。
【００７５】
図９に示す参照テーブル３１は、撮像部４０及び測位センサ４５の位置関係を前提としているため、撮像部４０及び測位センサ４５の位置関係が、車両８０毎に異なり、一定にならならない場合、参照テーブル３１のキャリブレーション処理２３（初期キャリブレーション）が必要となる。キャリブレーション処理２３は、車両本体８０Ａに、撮像部４０及び測位センサ４５を取り付けた後に実行される。キャリブレーション処理２３は、撮像部４０又は測位センサ４５を増設した場合等に実行されてもよい。
【００７６】
参照テーブル３１のキャリブレーションは、マーカ７０だけを検知可能な外乱の少ない環境（マーカ７０でないものをマーカ７０として検知するおそれの少ない環境）で、測位センサ４５によって検知される物体の位置と、マーカデータ１７３（マーカの画像座標、サイズ、角度）と、を対応付けることによって行われる。
【００７７】
図１１のステップＳ５１において、プロセッサ２０は、測位センサ４５Ａ，４５Ｂ，４５Ｃの初期状態を学習する。初期状態は、測位エリア１１０，１２０，１３０に、マーカを有する検知対象が存在しない状態である。一例として、図１２に示す初期状態においては、第１測位センサ４５Ａ，第２測位センサ４５Ｂ，第３測位センサ４５Ｃは、いずれも「出力なし」であり、マーカも検出されない。
【００７８】
キャリブレーション処理３２のため、マーカを付けたキャリブレーション用検知対象９０が測位エリア１１０，１２０，１３０内を隈なく移動する（図１３参照）。その移動の間、プロセッサ２０は、ステップＳ５３，５４，５５，５６の処理を繰り返し実行する（ステップＳ５２，５６）。
【００７９】
ステップＳ５３では、マーカ７０の存在状態が学習される。マーカ７０の存在状態は、測位センサ４５Ａ，４５Ｂ，４５Ｃの検知結果と、マーカ７０の画像座標等（マーカデータ１７３）と、の対応関係によって示される。
【００８０】
一例として、図１４に示すように、撮像部４０によって撮像された動画像のある画像フレームのタイミングにおいて、マーカを有する検知対象９０が、第３近距離エリア１３０Ａに存在しているものとする。この場合、第３測位センサ４５Ｃの測位データより、検知対象９０が第３近距離エリア１３０Ａに存在していることが検知される。また、撮像部４０によって撮像された画像から得られた色抽出画像２１０よりマーカデータ１７３が得られる。ここでは、マーカデータ１７３として、マーカの画像座標(X,Y)=(680,249)、マーカのサイズ（W,H）=(200,100)、マーカの角度-15degが得られる。
【００８１】
マーカ７０が検知されていない状態からマーカ７０が検知されている状態になったときに、測位センサによって新たに検知された物体が、キャリブレーション用検知対象９０である。キャリブレーション用検知対象９０が検知されると（ステップＳ５４においてＹＥＳ）、図１６に示すように、測位センサ４５Ａ，４５Ｂ，４５Ｃの検知結果（物体の位置）と、マーカ７０の画像座標等（マーカデータ）と、の対応が、キャリブレーションデータ３７として、記憶装置３０に追加される（ステップＳ５５）。
【００８２】
また、図１５に示すように、他の画像フレームのタイミングにおいて、マーカを有する検知対象９０が、第１中距離エリア１１０Ｂに存在しているものとする。この場合、第１測位センサ４５Ａの測位データより、検知対象９０が第１中距離エリア１１０Ｂに存在していることが検知される。また、撮像部４０によって撮像された画像から得られた色抽出画像２１０よりマーカデータ１７３が得られる。ここでは、マーカデータ１７３として、マーカの画像座標(X,Y)=(50,150)、マーカのサイズ（W,H）=(100,50)、マーカの角度+10degが得られる。このように、マーカを付けたキャリブレーション用検知対象９０が移動することによって、複数のキャリブレーションデータ３７が得られる。
【００８３】
複数のキャリブレーションデータ３７の取得が完了すると、プロセッサ２０は、図１６に示すように、複数のキャリブレーションデータ３７における物体の位置毎のマーカデータから、参照テーブル３１におけるマーカデータ３５を構成する画像座標の範囲３５Ａ、サイズの範囲３５Ｂ、角度の範囲３５Ｃを作成または更新する。参照テーブル３１の作成または更新は、画像座標の範囲３５Ａ、サイズの範囲３５Ｂ、角度の範囲３５Ｃが、キャリブレーションデータ３７が示す画像座標、サイズ、角度を含むように、これらの範囲を決める閾値を設定又は変更することにより行われる。
【００８４】
［付記］
【００８５】
なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味、及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８６】
１０      ：検知システム
１５      ：検知装置
２０      ：プロセッサ
２１      ：物体検知処理
２３      ：キャリブレーション処理
３０      ：記憶装置
３１      ：参照テーブル（対応関係データ）
３２      ：キャリブレーション処理
３３      ：物体の位置
３３Ａ    ：検知結果フィールド
３３Ｂ    ：検知結果フィールド
３３Ｃ    ：検知結果フィールド
３５      ：マーカデータ
４０      ：撮像部
４５      ：測位センサ
４５Ａ    ：第１測位センサ
４５Ｂ    ：第２測位センサ
４５Ｃ    ：第３測位センサ
４５Ｃ    ：測位センサ
５０      ：出力装置
５１      ：ディスプレイ
５３      ：スピーカ
６０      ：コンピュータプログラム
７０      ：マーカ
７０Ａ    ：青エリア
７０Ｂ    ：緑エリア
７０Ｂ    ：エリア
７０Ｃ    ：赤エリア
８０      ：車両
８０Ａ    ：車両本体
９０      ：検知対象
９１Ａ    ：障害物
９１Ｂ    ：障害物
１１０    ：第１測位エリア
１１０Ａ  ：第１近距離エリア
１１０Ｂ  ：第１中距離エリア
１１０Ｃ  ：第１遠距離エリア
１２０    ：第２測位エリア
１２０Ａ  ：第２近距離エリア
１２０Ｂ  ：第２中距離エリア
１２０Ｃ  ：第２遠距離エリア
１３０    ：第３測位エリア
１３０Ａ  ：第３近距離エリア
１３０Ｂ  ：第３中距離エリア
１３０Ｃ  ：第３遠距離エリア
１５０    ：撮像エリア
１７０    ：マーカ画像
１７０Ａ  ：青エリア
１７０Ｂ  ：緑エリア
１７０Ｃ  ：赤エリア
１７０    ：マーカ画像
１７２    ：バウンディングボックス
１７３    ：マーカデータ
２００    ：画像
２１０    ：色抽出画像
２２０    ：表示画像
Ａ        ：角度
Ｃ１      ：第１ケース
Ｃ２      ：第２ケース
Ｃ３      ：第３ケース
Ｈ        ：高さ
Ｗ        ：幅
【図１】
2020094934.tif 000003
【図２】
2020094934.tif 000004
【図３】
2020094934.tif 000005
【図４】
2020094934.tif 000006
【図５】
2020094934.tif 000007
【図６】
2020094934.tif 000008
【図７】
2020094934.tif 000009
【図８】
2020094934.tif 000010
【図９】
2020094934.tif 000011
【図１０】
2020094934.tif 000012
【図１１】
2020094934.tif 000013
【図１２】
2020094934.tif 000014
【図１３】
2020094934.tif 000015
【図１４】
2020094934.tif 000016
【図１５】
2020094934.tif 000017
【図１６】
2020094934.tif 000018