(57)【要約】【課題】モデル画像とリアルタイム画像との比較により、移動体の経路上の変更とノイズとを精度よく識別することができる移動体監視システムを提供する。【解決手段】カメラＣを有する移動体Ｍを予め既定の経路に沿って移動させたときのカメラＣの画像をモデル画像として保存するモデル画像保存部１０と、経路に沿って移動する移動体ＭのカメラＣからリアルタイム画像を取得して保存するリアルタイム画像取得部２０と、モデル画像とリアルタイム画像との一致率を算出する画像比較部３０と、一致率に基づいて経路における移動体Ｍの位置を検知する位置検知部５０と、一致率が予め設定された閾値よりも低い区間を抽出する区間抽出部６０と、区間の長さが予め設定された閾値以上である場合にその区間に対応するモデル画像をその区間に対応するリアルタイム画像に置き換えるモデル画像更新部７０と、を備える移動体監視システム１。【選択図】図１
2017146662.tif 000002
【特許請求の範囲】
【請求項１】
カメラを有する移動体を予め既定の経路に沿って移動させたときの前記カメラの画像をモデル画像として保存するモデル画像保存部と、
前記経路に沿って移動する前記移動体の前記カメラからリアルタイム画像を取得して保存するリアルタイム画像取得部と、
前記モデル画像と前記リアルタイム画像との一致率を算出する画像比較部と、
前記一致率に基づいて前記経路における前記移動体の位置を検知する位置検知部と、
前記一致率が予め設定された閾値よりも低い区間を抽出する区間抽出部と、
前記区間の長さが予め設定された閾値以上である場合に前記区間に対応する前記モデル画像を前記区間に対応する前記リアルタイム画像に置き換えるモデル画像更新部と、
を備えることを特徴とする移動体監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを有する移動体を監視する移動体監視システムに関する。
【背景技術】
【０００２】
従来から、予め記憶された目標軌道に沿って移動空間を移動する移動体の自己位置認識システムが知られている（下記特許文献１を参照）。特許文献１に記載された移動体の自己位置認識システムは、移動空間の３次元モデルを作成する手段と、所定時間における移動体の位置及び方向からカメラ画像を取得する手段と、所定時間における目標軌道上の目標位置及び方向を算出する手段と、を備える。
【０００３】
この移動体の自己位置認識システムは、さらに、３次元モデルから目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成する手段と、この複数のモデル画像とカメラ画像との色情報の一致度を算出する手段と、この各一致度に基づいて、移動体の位置及び方向を認識する手段とを備える。
【０００４】
前記特許文献１には、上記移動体の自己位置認識システムに係る発明の効果として、モデル画像とカメラ画像とを輪郭形状に基づく画素位置情報でなく色情報の一致度に基づいて識別するので、推定される位置及び方向の信頼性が非常に高いことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０―６６９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のようなカメラを有する移動体の移動経路における位置を検知する移動体監視システムにおいては、例えば移動経路に含まれる組立ラインに工程変更があった場合などに、モデル画像の更新の必要性が生じる。このようなモデル画像の更新の必要性を、カメラのリアルタイム画像とモデル画像との一致度の低下によって検出し、モデル画像を自動的に更新することが考えられる。
【０００７】
しかし、前記特許文献１に記載された移動体の自己位置認識システムでは、モデル画像とカメラ画像とを、輪郭形状に基づく画素位置情報でなく色情報の一致度に基づいて識別する。そのため、移動経路のモデル画像の更新の必要性がないカメラ画像に含まれる人や障害物等のノイズと、モデル画像の更新の必要性が生じる工程変更等の移動経路上の変更とを精度よく識別することができないという課題がある。
【０００８】
本発明は、前記課題に鑑みてなされたものであり、モデル画像とリアルタイム画像との比較により、移動体の経路上の変更とノイズとを精度よく識別することができる移動体監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成すべく、本発明の移動体監視システムは、カメラを有する移動体を予め既定の経路に沿って移動させたときの前記カメラの画像をモデル画像として保存するモデル画像保存部と、前記経路に沿って移動する前記移動体の前記カメラからリアルタイム画像を取得して保存するリアルタイム画像取得部と、前記モデル画像と前記リアルタイム画像との一致率を算出する画像比較部と、前記一致率に基づいて前記経路における前記移動体の位置を検知する位置検知部と、前記一致率が予め設定された閾値よりも低い区間を抽出する区間抽出部と、前記区間の長さが予め設定された閾値以上である場合に前記区間に対応する前記モデル画像を前記区間に対応する前記リアルタイム画像に置き換えるモデル画像更新部と、を備えることを特徴とする。
【００１０】
本発明の移動体監視システムは、例えば、カメラを有する移動体の移動経路における位置を検知するためのシステムである。本発明の移動体システムの各部は、例えば、メモリ等の記憶装置やＣＰＵ等の演算装置を含むコンピュータ等のハードウェアと、記憶装置に記憶されて演算装置によって実行されるプログラム等のソフトウェアとによって構成することができる。移動体監視システムは、その一部に移動体を含んでもよく、その一部が移動体に搭載されていてもよい。移動体と移動体監視システムの各部との間の画像データの通信方法は、特に限定されず、有線でも無線でもよい。
【００１１】
移動体としては、特に限定されないが、工場の組立ラインの間の通路や倉庫の棚の間の通路を走行し、部品や、複数の部品を組み立てたアッセンブリーや、組立後の完成品等を搬送する構内搬送車を例示することができる。移動体に備えられるカメラは、例えば移動体の進行方向の前方や側方を撮影する。移動体に設けられたカメラは、前記モデル画像の撮影と前記リアルタイム画像の撮影に使用される。
【００１２】
モデル画像は、移動体が既定の経路のどの位置に存在するのかを特定するための基準となる参照用の画像であり、カメラを有する移動体を予め既定の経路に沿って移動させることによって撮影される。すなわち、モデル画像は、移動体監視システムによる移動体の監視を開始する前に、事前に規定の経路のすべての位置をカバーするように移動体を移動させて撮影され、移動体の経路の位置情報と対応付けられる。
【００１３】
モデル画像保存部は、上記のようにカメラを有する移動体を予め既定の経路に沿って移動させたときのカメラの画像をモデル画像として保存する。このとき、モデル画像保存部には、モデル画像とともに、モデル画像に対応付けられた既定の経路の位置情報を保存することができる。
【００１４】
リアルタイム画像取得部は、移動体監視システムによる移動体の監視が開始され、移動体が既定の経路に沿って移動するときに、移動体のカメラから移動体の前方や側方を撮影したリアルタイム画像を取得する。
【００１５】
画像比較部は、モデル画像保存部に保存されたモデル画像と、リアルタイム画像取得部によって取得されたリアルタイム画像との一致率を算出する。より具体的には、画像比較部は、モデル画像保存部に保存されたモデル画像から特徴点を抽出するモデル画像特徴点抽出部と、リアルタイム画像取得部によって取得されたリアルタイム画像の特徴点を抽出するリアルタイム画像特徴点抽出部とを有することができる。
【００１６】
この場合、画像比較部は、例えば、モデル画像特徴点抽出部によって抽出されたモデル画像の複数の特徴点と、リアルタイム画像特徴点抽出部によって抽出された複数の特徴点とをそれぞれ数値化する。そして、モデル画像の各特徴点の数値とリアルタイム画像の各特徴点の数値とを比較することで、モデル画像とリアルタイム画像の一致率を算出することができる。各特徴点の数値化は、例えば、各特徴点の明度や色度に応じて行うことができる。
【００１７】
位置検知部は、画像比較部によって算出されたモデル画像とリアルタイム画像の一致率に基づいて、既定の経路における移動体の位置を検知する。より詳細には、位置検知部は、例えばモデル画像とリアルタイム画像の一致率が予め設定された閾値以上である場合に、モデル画像に対応付けられてモデル画像保存部に保存された既定の経路の位置情報を、移動体の位置として検出する。位置検知部は、検出した移動体の位置をモニタ等の表示装置やその他の装置に出力するようにしてもよい。
【００１８】
区間抽出部は、モデル画像とリアルタイム画像の一致率が予め設定された閾値よりも低い区間を抽出する。
【００１９】
例えば、組立ラインの工程変更等により、移動体の経路の景観が大きく変化すると、変更前のモデル画像とリアルタイム画像と比較では、正確な位置検出ができないため、モデル画像の更新が必要になる。
【００２０】
モデル画像更新部は、区間抽出部によって抽出された区間の長さが予め設定された閾値以上である場合に、その区間のモデル画像をその区間のリアルタイム画像に置き換える。
モデル画像更新部は、例えば、部品の搬送等、移動体の必要な移動が終了した後に、リアルタイム画像取得部に保存された対象となる区間のモデル画像をリアルタイム画像に更新する更新処理を行うことができる。
【００２１】
また、カメラの視野を一時的に人や他の移動体等の障害物が通過すると、モデル画像とリアルタイム画像との一致率が一時的に低下する場合がある。また、例えば経路に沿って配置された部品棚の備品の在庫状況の変化によっても、モデル画像とリアルタイム画像との一致率が一時的に低下する場合がある。このような場合、モデル画像の更新の必要はない。そのため、モデル画像更新部は、例えば以下の処理を行ってモデル画像の更新を回避する。
【００２２】
モデル画像更新部は、区間抽出部によって抽出された一致率の履歴の区間の長さが予め設定された閾値より短い場合、その区間に対応するモデル画像をその区間に対応するリアルタイム画像に置き換えず、現在のモデル画像を維持する。ここで、一致率の履歴の区間の長さは、時間又は距離に置き換えることができる。
【００２３】
モデル画像更新部に区間の長さの閾値として設定する距離の閾値は、例えば１ｍ以上、より好ましくは、組立ラインの１工程の長さである６ｍ以上にすることができる。通常、カメラの視野を人が横切った場合に判定部によって画像不一致が判定される区間の長さは１ｍ程度であるため、経路上の区間の長さの閾値を１ｍ以上、又は、組立ラインの１工程の長さ以上にすることで、人や他の移動体等の外乱による画像不一致をモデル画像の更新条件から外すことができる。
【００２４】
また、モデル画像更新部に区間の長さの閾値として設定する時間の閾値は、例えば移動体の通常の移動速度で組立ラインの１工程を通過するのに必要な時間や、人がリアルタイム画像の特徴点の間を移動するのに要する時間に設定することができる。なお、区間の長さの閾値として、距離と時間の長さの双方の閾値を設定してもよい。
【００２５】
一般に、組立ラインの工程変更は、組立ラインの停止期間、例えば交代勤務の場合の１直と２直の間や１直と２直の休み時間に実施される。そのため、判定部が画像不一致を判定するためのモデル画像とリアルタイム画像の一致率の閾値は、組立ラインの稼働日の情報とラインの稼働時間の情報に応じて変更してもよい。具体的には、組立ラインの停止直後の閾値をそれ以外の場合の閾値よりも高く設定することができる。これにより、組立ライン停止直後の工程変更を精度よく検知することができる。
【００２６】
また、移動体が経路の同一区間を異なる時間に複数回に亘って通過したときに、予め設定した回数を超えて繰り返し一致率が低い区間が検出される場合には、モデル画像更新部は、その区間に対するモデル画像の更新処理を行うことができる。
【００２７】
また、移動体が、例えば部品等の積み下ろしのために経路のある位置である時間に亘って停止していた場合には、同じ位置の複数のリアルタイム画像がリアルタイム画像取得部によって取得されて保存される。この場合、モデル画像更新部は、モデル画像と差し替えるリアルタイム画像から、人や他の移動体等のノイズを除去する処理を行うことができる。
【００２８】
具体的には、モデル画像更新部は、例えば、慣性センサによる移動体の移動距離とリアルタイム画像における特徴点の移動距離とを比較し、これらが異なる範囲が存在する場合に、その範囲を人や他の移動体等の障害物として抽出する。さらに、モデル画像更新部は、同じ位置の複数のリアルタイム画像の中から、抽出した障害物の範囲が最も小さいリアルタイム画像を選択し、選択したリアルタイム画像をその位置のモデル画像と差し替える。これにより、障害物によるノイズを最小限に留めることができる。
【００２９】
また、組立ラインには、産業用ロボットのように同じ動作を繰り返す障害物が存在する場合がある。この場合、障害物が存在する範囲は一定の範囲であるため、モデル画像更新部は、その範囲をモデル画像と差し替えるリアルタイム画像から除外することができる。これにより、産業用ロボットのように同じ動作を繰り返す障害物によるノイズの発生を防止することができる。
【発明の効果】
【００３０】
以上の説明から理解できるように、本発明によれば、モデル画像とリアルタイム画像との比較により、移動体の経路上の変更とノイズとを精度よく識別することができる移動体監視システムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る移動体監視システムの概略構成を示すブロック図。
【図２】モデル画像とリアルタイム画像の一致率の履歴の一例を示すグラフ。
【図３】モデル画像とリアルタイム画像の一致率の履歴の他の例を示すグラフ。
【図４】モデル画像とリアルタイム画像の一致率の閾値の変更例を示すグラフ。
【図５】モデル画像とリアルタイム画像の一致率の時間的な変遷を示すグラフ。
【図６】リアルタイム画像からノイズを抽出する処理の一例を説明する説明図。
【図７】リアルタイム画像からノイズを除去する処理の一例を説明する説明図。
【図８】リアルタイム画像からノイズを除去する処理の他の例を説明する説明図。
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の移動体監視システムの一実施形態を説明する。
【００３３】
図１は、本発明の一実施形態に係る移動体監視システム１の概略構成を示すブロック図である。本実施形態の移動体監視システム１は、例えば、カメラＣを有する移動体Ｍの移動経路における位置を検知するためのシステムである。
【００３４】
本実施形態の移動体監視システム１の監視対象である移動体Ｍとしては、工場の組立ラインの間の通路や倉庫の棚の間の通路を走行し、部品や、複数の部品を組み立てたアッセンブリーや、組立後の完成品等を搬送する構内搬送車を例示することができる。移動体Ｍに備えられるカメラＣは、例えば移動体Ｍの進行方向の前方や側方を撮影する。移動体Ｍに設けられたカメラＣは、後述するモデル画像の撮影とリアルタイム画像の撮影に使用される。
【００３５】
本実施形態の移動体監視システム１は、主に、モデル画像保存部１０と、リアルタイム画像取得部２０と、画像比較部３０と、判定部４０と、位置検知部５０と、区間抽出部６０と、モデル画像更新部７０と、を備える。移動体監視システム１の各部は、例えば、メモリ等の記憶装置やＣＰＵ等の演算装置を含むコンピュータ等のハードウェアと、記憶装置に記憶されて演算装置によって実行されるプログラム等のソフトウェアとによって構成することができる。
【００３６】
移動体監視システム１は、その一部に移動体Ｍ及びカメラＣを含んでもよく、その一部が移動体Ｍに搭載されていてもよい。移動体Ｍと移動体監視システム１の各部との間の画像データ等の通信方法は、特に限定されず、有線でも無線でもよい。
【００３７】
モデル画像保存部１０は、カメラＣを有する移動体Ｍを予め既定の経路に沿って移動させたときのカメラＣの画像をモデル画像として保存する。モデル画像は、移動体Ｍが既定の経路のどの位置に存在するのかを特定するための基準となる参照用の画像であり、カメラＣを有する移動体Ｍを予め既定の経路に沿って移動させることによって撮影される。すなわち、モデル画像は、移動体監視システム１による移動体Ｍの監視を開始する前に、事前に規定の経路のすべての位置をカバーするように移動体Ｍを移動させて撮影され、移動体Ｍの経路の位置情報と対応付けられる。
【００３８】
モデル画像保存部１０は、例えば、以下の各部による処理を経て、カメラＣの画像をモデル画像として保存する。モデル画像の撮影時に、既定の経路に沿って移動体Ｍを移動させると、移動体Ｍに設けられたカメラＣの画像は、画像データを取り込む画像取込部２１によって取り込まれる。画像取込部２１によって取り込まれた画像データは、取込データ保存部２２に保存される。取込データ保存部２２に保存された画像データは、画像データ抜出部７１によって抜き出され、モデル画像保存部１０にモデル画像として保存される。
【００３９】
このとき、モデル画像保存部１０には、モデル画像とともに、モデル画像に対応付けられた既定の経路の位置情報を保存することができる。例えば、移動体Ｍが三次元の各軸の加速度や角速度を測定する慣性センサＳを備える場合には、既定の経路における移動体Ｍの位置を検出してモデル画像に対応付けることができる。
【００４０】
より詳細には、例えば、移動体Ｍに設けられた慣性センサＳからセンサ出力取込部８１によってセンサ出力を取り込み、センサ出力保存部８２に保存するとともに、移動量算出部８３によってセンサ出力に基づく移動体Ｍの移動量を算出する。そして、移動量算出部８３によって算出された移動体Ｍの移動量に基づいて、センサ出力用の位置検出部８４によって移動体Ｍの現在位置を検出する。センサ出力用の位置検出部８４によって検出された移動体Ｍの位置は、位置出力部９１によって外部に出力されるとともに、位置履歴保存部９２に保存される。位置履歴保存部９２に保存された移動体Ｍの位置は、画像データ抜出部７１によってモデル画像保存部１０に保存されるモデル画像に対応付けられる。
【００４１】
リアルタイム画像取得部２０は、モデル画像保存部１０にモデル画像が保存された後、移動体監視システム１による移動体Ｍの監視が開始され、既定の経路に沿って移動する移動体Ｍの前方や側方を撮影したカメラＣのリアルタイム画像を取得して保存する。リアルタイム画像取得部２０は、例えば、カメラＣから画像データを取り込む画像取込部２１と、画像取込部２１によって取り込まれた画像データを保存する取込データ保存部２２とによって構成することができる。
【００４２】
画像比較部３０は、モデル画像保存部１０に保存されたモデル画像とリアルタイム画像取得部２０によって取得されたリアルタイム画像との一致率を算出する。より具体的には、例えば、モデル画像保存部１０に保存されたモデル画像は、特徴点抽出部９３によって特徴点が抽出される。特徴点抽出部９３によって抽出されたモデル画像の特徴点は、モデル特徴点保存部９４に保存される。
【００４３】
一方、リアルタイム画像取得部２０を構成する画像取込部２１によって取得されたリアルタイム画像は、特徴点抽出部９５によって特徴点が抽出される。画像比較部３０は、モデル特徴点保存部９４に保存されたモデル画像の特徴点と、特徴点抽出部９５によって抽出されたリアルタイム画像との特徴点を、例えば、それぞれ数値化して比較し、モデル画像とリアルタイム画像との一致率を算出する。各画像の特徴点の数値化は、例えば、各特徴点の明度や色度に応じて行うことができる。また、画像比較部３０によって算出された一致率は、一致率履歴保存部３１に保存することができる。
【００４４】
判定部４０は、画像比較部３０によって算出されたモデル画像とリアルタイム画像の一致率が予め設定された閾値よりも低い場合に画像不一致を判定する。画像不一致を判定するための閾値は、例えば、判定基準保存部９６に保存され、判定部４０によって参照される。
【００４５】
位置検知部５０は、判定部４０によって画像不一致が判定されていない場合、すなわちモデル画像とリアルタイム画像の一致率が予め設定された閾値以上である場合に、画像比較部３０によって算出されたモデル画像とリアルタイム画像の一致率に基づいて、既定の経路における移動体Ｍの位置を検知する。より詳細には、位置検知部５０は、リアルタイム画像との一致率が高いモデル画像に対応付けられた既定の経路の位置情報を、移動体Ｍの現在位置として検知する。
【００４６】
位置出力部９１は、位置検知部５０又は位置検出部８４によって検出された移動体Ｍの現在位置を、例えばモニタ等の表示装置やその他の外部装置に出力する。また、位置出力部９１は、位置検知部５０又は位置検出部８４によって検出された移動体Ｍの現在位置を、位置履歴保存部９２に保存する。
【００４７】
区間抽出部６０は、モデル画像とリアルタイム画像の一致率が予め設定された閾値よりも低い区間を抽出する。区間抽出部６０は、例えば、一致率履歴保存部３１に保存された一致率の履歴と、判定基準保存部９６に保存された閾値とに基づいて、一致率が予め設定された閾値よりも低い区間を抽出する。
【００４８】
図２は、モデル画像とリアルタイム画像の一致率の履歴の一例を示すグラフである。
【００４９】
区間抽出部６０は、モデル画像とリアルタイム画像の一致率が予め設定された閾値Ｌ２よりも低い区間ａ，ｂを抽出する。一致率が閾値Ｌ２よりも低い区間ａ，ｂでは、前述のように、慣性センサＳと、センサ出力取込部８１と、移動量算出部８３と、位置検出部８４とを用いて、移動体Ｍの位置を検出することができる。
【００５０】
リアルタイム画像を用いた移動体Ｍの位置検出から、慣性センサＳを用いた移動体Ｍの位置検出への切り換えは、例えば、相対的に低い閾値Ｌ１よりも一致率が低下した場合に行うことができる。また、慣性センサＳを用いた移動体Ｍの位置検出から、リアルタイム画像を用いた移動体Ｍの位置検出への切り換えは、例えば、相対的に高い閾値Ｌ２以上に一致率が回復した場合に行うことができる。
【００５１】
これにより、移動体Ｍの位置の検出方法がノイズによって頻繁に切り換わるのを抑制できる。一例として、相対的に低い一致率の閾値Ｌ１を２５％とし、相対的に高い一致率の閾値Ｌ２を３０％とすることができる。移動体Ｍの位置検出は、移動体Ｍの移動中にリアルタイムで処理される。
【００５２】
図３は、モデル画像とリアルタイム画像の一致率の履歴の他の例を示すグラフである。
【００５３】
例えば、組立ラインの工程変更等により、移動体Ｍの経路の景観が大きく変化すると、変更前のモデル画像とリアルタイム画像との比較では、正確な位置検出ができないため、モデル画像の更新が必要になる。
【００５４】
モデル画像更新部７０は、区間抽出部６０によって抽出された一致率の履歴の区間ａ１，ｂ１の長さｌ１，ｌ２が予め設定された閾値ｌｘ以上である場合に、その区間に対応するモデル画像をその区間に対応するリアルタイム画像に置き換える。図３に示す例では、一致率の履歴の区間の長さの閾値ｌｘは、区間ａ１の長さｌ１より長く、区間ｂ１の長さｌ２よりも短い。したがって、モデル画像更新部７０は、区間ｂ１に対応するモデル画像を区間ｂ１に対応するリアルタイム画像に置き換える。モデル画像更新部７０は、例えば、部品の搬送等、移動体Ｍの必要な移動が終了した後に、モデル画像をリアルタイム画像に更新する更新処理を行うことができる。
【００５５】
モデル画像更新部７０は、例えば画像データ抜出部７１を備えることができる。画像データ抜出部７１は、位置履歴保存部９２に保存された移動体Ｍの位置の履歴を参照し、区間抽出部６０によって抽出された一致率の履歴の区間ｂ１に対応するリアルタイム画像を、取込データ保存部２２から抜き出す。さらに、画像データ抜出部７１は、モデル画像保存部１０に保存されたモデル画像のうち、抽出された一致率の履歴の区間ｂ１に対応するモデル画像を、抜き出したリアルタイム画像に置き換える。
【００５６】
モデル画像の特徴点は、移動体Ｍの位置検出のために、例えば１００ｍｍ程度の間隔で等間隔に抽出する必要がある。モデル画像更新部７０は、画像データ抜出部７１によって移動体Ｍの位置の履歴を参照することで、取込データ保存部２２に保存されたリアルタイム画像の中から必要な位置のリアルタイム画像を特定してモデル画像を更新することができる。
【００５７】
一致率の履歴の区間ａ１，ｂ１の長さｌ１，ｌ２は、時間又は距離に置き換えることができる。すなわち、区間抽出部６０によって抽出された一致率の履歴の区間ｂ１に対応する時間が、予め設定された時間の閾値よりも長い場合、モデル画像更新部７０は、その区間に対応するモデル画像をその区間ｂ１に対応するリアルタイム画像に置き換える。また、区間抽出部６０によって抽出された一致率の履歴の区間ｂ１に対応する距離が、予め設定された距離の閾値よりも長い場合、モデル画像更新部７０は、その区間ｂ１に対応するモデル画像をその区間に対応するリアルタイム画像に置き換える。
【００５８】
また、移動体Ｍに設けられたカメラＣの視野を一時的に人や他の移動体Ｍ等の障害物が通過すると、モデル画像とリアルタイム画像との一致率が一時的に低下する場合がある。また、例えば経路に沿って配置された部品棚の備品の在庫状況の変化によっても、モデル画像とリアルタイム画像との一致率が一時的に低下する場合がある。このような場合、モデル画像の更新の必要はない。そのため、モデル画像更新部７０は、例えば以下の処理を行ってモデル画像の更新を回避する。
【００５９】
モデル画像更新部７０は、区間抽出部６０によって抽出された一致率の履歴の区間ａ１の長さｌ１が予め設定された閾値ｌｘより短い場合、その区間ａ１に対応するモデル画像をその区間ａ１に対応するリアルタイム画像に置き換えず、現在のモデル画像を維持する。一致率の履歴の区間ａ１の長さｌ１は、時間又は距離に置き換えることができる。
【００６０】
すなわち、区間抽出部６０によって抽出された一致率の履歴の区間ａ１に対応する時間が、予め設定された時間の閾値よりも短い場合、モデル画像更新部７０は、その区間ａ１に対応するモデル画像をその区間ａ１に対応するリアルタイム画像に置き換えず、現在のモデル画像を維持する。また、区間抽出部６０によって抽出された一致率の履歴の区間ａ１に対応する距離が、予め設定された距離の閾値よりも短い場合、モデル画像更新部７０は、その区間ａ１に対応するモデル画像をその区間ａ１に対応するリアルタイム画像に置き換えず、現在のモデル画像を維持する。
【００６１】
モデル画像更新部７０に区間ａ１，ｂ１の長さｌ１，ｌ２の閾値ｌｘとして設定する距離の閾値は、例えば１ｍ以上、より好ましくは、組立ラインの１工程の長さである６ｍ以上にすることができる。通常、カメラＣの視野を人が横切った場合に判定部４０によって画像不一致が判定される区間の長さは１ｍ程度であるためである。また、組立ラインの１工程の長さである６ｍ以上にすることで、人や他の移動体Ｍ等の外乱による画像不一致をより確実にモデル画像の更新条件から外すことができる。
【００６２】
モデル画像更新部７０に区間ａ１，ｂ１の長さｌ１，ｌ２の閾値ｌｘとして設定する時間の閾値は、例えば移動体Ｍの通常の移動速度で組立ラインの１工程を通過するのに必要な時間や、人が１ｍを移動するのに要する時間に設定することができる。なお、区間ａ１，ｂ１の長さｌ１，ｌ２の閾値ｌｘとして、距離と時間の長さの双方を設定してもよい。
【００６３】
一般に、組立ラインの工程変更は、組立ラインの停止期間、例えば交代勤務の場合の１直と２直の間や１直と２直の休み時間に実施される。そのため、判定部４０が画像不一致を判定するためのモデル画像とリアルタイム画像の一致率の閾値Ｌ３，Ｌ４は、組立ラインの稼働日の情報と組立ラインの稼働時間の情報に応じて変更してもよい。
【００６４】
図４は、モデル画像とリアルタイム画像の一致率の閾値Ｌ３，Ｌ４の変更例を示すグラフである。図４において、（ａ）は、組立ラインの停止直後の一致率の閾値Ｌ３，Ｌ４を示し、（ｂ）は、それ以外の場合の一致率の閾値Ｌ５，Ｌ６を示している。図１に示す区間抽出部６０は、稼働日保存部６１に保存された組立ラインの稼働日の情報と、稼働時間保存部６２に保存された組立ラインの稼働時間とを参照し、組立ラインの停止直後の閾値Ｌ３，Ｌ４を、それ以外の場合の閾値Ｌ５，Ｌ６よりも高く設定する。これにより、組立ラインの変更の可能性が高い組立ライン停止直後の工程変更を精度よく検知することができる。
【００６５】
図５は、経路の同一区間におけるモデル画像とリアルタイム画像の一致率の時間的な変遷を示すグラフである。図５（ａ）から（ｃ）は、移動体Ｍが経路の同一区間を異なる時間に通過したときのモデル画像とリアルタイム画像との一致率の履歴を示している。このように、予め設定した回数を超えて同一区間で繰り返し一致率が低い区間が検出される場合には、モデル画像更新部７０は、その区間に対するモデル画像の更新処理を行うことができる。
【００６６】
また、移動体Ｍが、例えば部品等の積み下ろしのために経路のある位置である時間に亘って停止していた場合には、同じ位置の複数のリアルタイム画像が取込データ保存部２２によって保存される。この場合、モデル画像更新部７０は、モデル画像と差し替えるリアルタイム画像から、人や他の移動体Ｍ等のノイズを除去する処理を行うことができる。
【００６７】
図６は、リアルタイム画像Ｖｒからノイズを抽出する処理の一例を説明する説明図である。図７は、リアルタイム画像Ｖｒからノイズを除去する処理の一例を説明する説明図である。
【００６８】
モデル画像更新部７０は、例えば、図１に示す移動物抽出部７２を用い、図６に示すように、慣性センサＳによる移動体Ｍの移動距離Ｄ１とリアルタイム画像Ｖｒにおける特徴点の移動距離Ｄ２とを比較し、これらが異なる範囲Ｒが存在する場合に、その範囲Ｒを人や他の移動体Ｍ等の障害物として抽出する。
【００６９】
さらに、モデル画像更新部７０は、例えば図１に示す移動物除去部７３を用い、図７の（ａ）及び（ｂ）に示すような同じ位置の複数のリアルタイム画像Ｖｒの中から、抽出した障害物の範囲Ｒが最も小さいリアルタイム画像Ｖｒを選択することで、抽出した障害物の範囲Ｒを可能な限り除去する。そして、選択したリアルタイム画像Ｖｒをその位置のモデル画像と差し替えることで、障害物によるノイズを最小限に留めることができる。
【００７０】
図８は、リアルタイム画像Ｖｒからノイズを除去する処理の他の例を説明する説明図である。
【００７１】
組立ラインでは、図８に示す産業用ロボットＩＲのように、同じ動作を繰り返す障害物が存在する場合がある。この場合、障害物が存在する範囲Ｒは一定の範囲であるため、モデル画像更新部７０は、例えば図１に示す移動範囲算出部７４を用いて範囲Ｒを算出し、その範囲Ｒをモデル画像と差し替えるリアルタイム画像Ｖｒから除外することができる。これにより、産業用ロボットＩＲのように同じ動作を繰り返す障害物によるノイズの発生を防止することができる。
【００７２】
以上説明したように、本実施形態の移動体監視システム１は、カメラＣを有する移動体Ｍを予め既定の経路に沿って移動させたときのカメラＣの画像をモデル画像として保存するモデル画像保存部１０と、経路に沿って移動する前記移動体ＭのカメラＣからリアルタイム画像Ｖｒを取得して保存するリアルタイム画像取得部２０と、を有している。また、本実施形態の移動体監視システム１は、モデル画像とリアルタイム画像Ｖｒとの一致率を算出する画像比較部３０と、一致率に基づいて経路における移動体Ｍの位置を検知する位置検知部５０とを有している。そのため、本実施形態の移動体監視システム１によれば、カメラＣを有する移動体Ｍの経路における位置を、モデル画像とリアルタイム画像Ｖｒとの一致率に基づいて、精度よく検知することができる。
【００７３】
さらに、本実施形態の移動体監視システム１は、モデル画像とリアルタイム画像Ｖｒとの一致率が予め設定された閾値よりも低い区間ａ１，ｂ１を抽出する区間抽出部６０と、抽出された区間ａ１，ｂ１の長さｌ１，ｌ２が予め設定された閾値ｌｘ以上である場合にその区間ｂ１に対応するモデル画像をその区間ｂ１に対応するリアルタイム画像に置き換えるモデル画像更新部７０と、を備えている。これにより、リアルタイム画像Ｖｒに写った人や他の移動体Ｍ等のノイズによってモデル画像とリアルタイム画像Ｖｒとの一致率が低下しても、一致率が低下した区間ａ１，ｂ１の長さｌ１，ｌ２に基づいてノイズを除去し、工程変更等の経路上の変更を精度よく識別することができる。
【００７４】
したがって、本実施形態の移動体監視システム１によれば、ノイズと経路上の変更とを精度よく識別することができ、経路上の変更が発生した区間ｂ１に対応するモデル画像を、その区間ｂ１に対応するリアルタイム画像Ｖｒによって、自動的に更新することが可能になる。
【００７５】
以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
【符号の説明】
【００７６】
１    移動体監視システム
１０  モデル画像保存部
２０  リアルタイム画像取得部
３０  画像比較部
５０  位置検知部
６０  区間抽出部
７０  モデル画像更新部
ａ    区間
ａ１  区間
ｂ    区間
ｂ１  区間
Ｃ    カメラ
ｌ１  区間の長さ
ｌ２  区間の長さ
ｌｘ  区間の長さの閾値
Ｌ１  一致率の閾値
Ｌ２  一致率の閾値
Ｌ３  一致率の閾値
Ｌ４  一致率の閾値
Ｌ５  一致率の閾値
Ｌ６  一致率の閾値
Ｍ    移動体
Ｖｒ  リアルタイム画像
【図１】
2017146662.tif 000003
【図２】
2017146662.tif 000004
【図３】
2017146662.tif 000005
【図４】
2017146662.tif 000006
【図５】
2017146662.tif 000007
【図６】
2017146662.tif 000008
【図７】
2017146662.tif 000009
【図８】
2017146662.tif 000010