(57)【要約】【課題】カメラの高さ変化による画像変化の影響を低減させることができる無人搬送車を提供する。【解決手段】当該無人搬送車１０は、走行面Ｓを撮影するカメラ１８を備え、カメラ１８により撮影された走行面Ｓの画像に基づいて自動で教示経路に沿って再生走行する。無人搬送車１０は、カメラ１８の高さが基準高さと相違高さにあるときの画像を取得し、これら画像に基づいてカメラの高さに起因する画像変化を補正するための各補正パラメータ（視野幅変化率、照度ムラ補正画像）を求める。再生走行を開始する際にカメラで走行面の初期位置画像を取得し、この初期位置画像と教示走行時に取得した対応位置画像との画像マッチングを行う。その際に両画像を補正パラメータで相対的に補正する。両画像の類似度が最も高くなる補正パラメータを特定し、それを再生走行時に取得した再生経路画像と教示経路画像との画像マッチングを行う際に利用する。【選択図】図５
2019194757.tif 000002
【特許請求の範囲】
【請求項１】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車の制御方法であって、
該カメラが所定の基準高さにあるときの基準高さ画像と、該基準高さとは異なる少なくとも一つの相違高さにあるときの相違高さ画像とを該カメラによりそれぞれ取得し、該基準高さ画像と各相違高さ画像との各相違をそれぞれ相対的に補正するための複数の補正パラメータを求めるステップと、
該カメラが該基準高さにある状態で所定の教示経路に沿って教示走行しながら、該カメラで走行面の教示経路画像を順次取得するステップと、
該教示走行の後に該教示経路上の任意位置で該カメラにより該走行面の初期位置画像を取得するステップと、
該教示経路画像の中から該任意位置の近傍で撮影された対応位置画像を検索するステップと、
該初期位置画像と該対応位置画像との間の該カメラの高さに起因する画像変化を各補正パラメータで相対的に補正して、各補正パラメータで補正された初期位置画像と対応位置画像との画像マッチングをそれぞれ行い、各補正パラメータの中から該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなる補正パラメータを特定するステップと、
該教示経路に沿って再生走行をしているときに、該カメラにより該走行面の再生経路画像を取得し、該再生経路画像と、該教示経路画像のうちの該再生経路画像の撮影位置の近傍で撮影された対応教示経路画像とを、該特定された補正パラメータで相対的に補正し、該補正後の対応教示経路画像と再生経路画像との画像マッチングにより該無人搬送車の該教示経路からの位置ずれ量を求めるステップと、
を含む、無人搬送車の制御方法。
【請求項２】
該基準高さ画像と各相違高さ画像とが該走行面に配置された視野幅校正用マークを撮影して得られるマーク画像をそれぞれ含み、各補正パラメータが、該基準高さ画像のマーク画像と該相違高さ画像のマーク画像とを比較して求められる、該基準高さ画像に対する各相違高さ画像の視野幅変化率を含み、
該補正パラメータを特定するステップが、該対応位置画像を該視野幅変化率により該初期位置画像に対して相対的に拡大縮小補正をすることを含む、請求項１に記載の無人搬送車の制御方法。
【請求項３】
該無人搬送車が該カメラの視野内を照らす照明具を有しており、
該基準高さ画像と各相違高さ画像とが該走行面に配置された照度ムラ校正用面を撮影して得られる照度ムラ画像をそれぞれ含み、各補正パラメータが、各照度ムラ画像に含まれる該照明具による照度ムラを補正するための照度ムラ補正画像を含み、
該補正パラメータを特定するステップが、該初期位置画像と該対応位置画像とをそれぞれに対応する照度ムラ補正画像により照度ムラ補正をすることを含む、請求項１又は２に記載の無人搬送車の制御方法。
【請求項４】
該任意位置が該教示経路の始点又は終点である、請求項１乃至３のいずれか一項に記載の無人搬送車の制御方法。
【請求項５】
該教示経路画像が複数の参照点からなる点群画像であり、
該補正パラメータを特定するステップが、該対応位置画像の各参照点の輝度と、該初期位置画像における各参照点に対応する位置の画像点の輝度とのそれぞれの差の絶対値の和を求めて、該差の絶対値の和が最小となるときに該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなると判定するステップを含む、
請求項１乃至４のいずれか一項に記載の無人搬送車の制御方法。
【請求項６】
該補正パラメータを特定するステップが、該初期位置画像の該画像点の位置を該参照点の位置から所定の範囲内で並進及び回転させて該初期位置画像が該対応位置画像に最も良く一致する位置を求めるステップを含み、該差の絶対値の和が、該対応位置画像の各参照点の輝度と、該初期位置画像における該並進及び回転後の各位置での画像点の輝度から求められるようにされた、請求項５に記載の無人搬送車の制御方法。
【請求項７】
該無人搬送車が、該車体に設けられた荷物載置部と、サスペンションを介して該車体を支持する車輪とを有し、該荷物載置部に荷物が載せられることによりサスペンションが圧縮されて車高が低くなって該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するステップをさらに含む、請求項１乃至６のいずれか一項に記載の無人搬送車の制御方法。
【請求項８】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車であって、
該カメラにより撮影された画像を記憶する記憶部と、請求項１乃至７のいずれか一項に記載の無人搬送車の制御方法を実行する演算部と、を備える無人搬送車。
【請求項９】
該車体に設けられた荷物載置部と、
サスペンションを介して該車体を支持する車輪と、をさらに備え、
当該無人搬送車は、該荷物載置部に荷物が載せられることにより該サスペンションが圧縮されて該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該演算部が、該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するようにされた、請求項８に記載の無人搬送車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、事前に教示された教示経路に沿って自動で再生走行するようにした無人搬送車及びその制御方法に関する。
【背景技術】
【０００２】
自動で走行する無人搬送車の誘導方法として、床に誘導用のラインを配置して無人搬送車に搭載されたカメラでラインを検知しながら該ラインに沿って走行させる方法や（特許文献１）、無人搬送車に搭載されたレーザー距離計により走行エリア内に配置された再起反射材の位置を検知することによって無人搬送車の位置を特定して所定の経路に沿って走行させる方法（特許文献２）などがある。これらの方法は、何れもラインや再起反射材などを走行エリアに事前に設置する必要があるため、利用できる環境が限定される。
【０００３】
また、カメラで走行面を撮影し、走行面自体の模様や特徴などに基づいて自己位置推定や位置ずれ修正を行うことにより、所定の教示経路に沿って走行するようにした誘導方法も提案されている（非特許文献１）。この方法は、走行エリアに特別な指標を設置する必要がなく、また周囲環境の変化の影響も受けにくい。そのため、例えばラインを床に配置できない環境や、人や物の移動が多く再起反射材の検知ができなくなる虞がある環境など、従来の方法では対応できなかった環境においても利用可能であり、汎用性が高いという特長を有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５２４２６号公報
【特許文献２】特開２０１３−２３２０７８号公報
【非特許文献】
【０００５】
【非特許文献１】ビジュアルオドメトリ移動ロボットによる教示再生走行  永井伊作、渡辺桂吾  第３２回日本ロボット学会学術講演会（２０１４年９月４日〜６日）講演集
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のような無人搬送車においては、路面に凹凸や歪みがある状態でも車輪が確実に路面に接地して走行できるようにするために、車体と車輪との間にサスペンションを備えていることが望ましい。そのようなサスペンションを備えた無人搬送車においては、人や荷物などが車体に載るなどして重量が増えるとサスペンションが圧縮されて車高が低くなる。そうすると車体に搭載されているカメラや照明の高さも低くなり、それに伴って、カメラによって撮影される画像が拡大されたり、照明による画像内の照度分布が変化したりする。非特許文献１に記載の方法は、路面の模様などの比較的に細かな特徴を利用するため、上述のようなカメラの高さに起因する画像変化が生じると画像認識の精度が低下して自己位置推定や位置ずれ修正の精度が低下する虞がある。
【０００７】
そこで本発明は、カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車において、カメラの高さ変化による画像変化の影響を低減させることができる制御方法、及びそのような制御方法が実装された無人搬送車を提供することを目的とする。
【課題を解決するための手段】
【０００８】
すなわち本発明は、
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車の制御方法であって、
該カメラが所定の基準高さにあるときの基準高さ画像と、該基準高さとは異なる少なくとも一つの相違高さにあるときの相違高さ画像とを該カメラによりそれぞれ取得し、該基準高さ画像と各相違高さ画像との各相違をそれぞれ相対的に補正するための複数の補正パラメータを求めるステップと、
該カメラが該基準高さにある状態で所定の教示経路に沿って教示走行しながら、該カメラで走行面の教示経路画像を順次取得するステップと、
該教示走行の後に該教示経路上の任意位置で該カメラにより該走行面の初期位置画像を取得するステップと、
該教示経路画像の中から該任意位置の近傍で撮影された対応位置画像を検索するステップと、
該初期位置画像と該対応位置画像との間の該カメラの高さに起因する画像変化を各補正パラメータで相対的に補正して、各補正パラメータで補正された初期位置画像と対応位置画像との画像マッチングをそれぞれ行い、各補正パラメータの中から該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなる補正パラメータを特定するステップと、
該教示経路に沿って再生走行をしているときに、該カメラにより該走行面の再生経路画像を取得し、該再生経路画像と、該教示経路画像のうちの該再生経路画像の撮影位置の近傍で撮影された対応教示経路画像とを、該特定された補正パラメータで相対的に補正し、該補正後の対応教示経路画像と再生経路画像との画像マッチングにより該無人搬送車の該教示経路からの位置ずれ量を求めるステップと、
を含む、無人搬送車の制御方法を提供する。
【０００９】
当該制御方法においては、再生経路画像と教示経路画像との間のカメラの高さに起因する画像変化を補正パラメータにより補正するようにしているため、再生走行をさせたときのカメラの高さが教示走行をさせたときのカメラの高さとは異なっている場合に、カメラの高さ変化による画像変化の影響を低減させることが可能となる。これにより、カメラ画像に基づいて教示経路に沿ってより正確に再生走行をさせることが可能となる。
【００１０】
具体的には、
該基準高さ画像と各相違高さ画像とが該走行面に配置された視野幅校正用マークを撮影して得られるマーク画像をそれぞれ含み、各補正パラメータが、該基準高さ画像のマーク画像と該相違高さ画像のマーク画像とを比較して求められる、該基準高さ画像に対する各相違高さ画像の視野幅変化率を含み、
該補正パラメータを特定するステップが、該対応位置画像を該視野幅変化率により該初期位置画像に対して相対的に拡大縮小補正をすることを含むようにすることができる。
【００１１】
また、
該無人搬送車が該カメラの視野内を照らす照明具を有しており、
該基準高さ画像と各相違高さ画像とが該走行面に配置された照度ムラ校正用面を撮影して得られる照度ムラ画像をそれぞれ含み、各補正パラメータが、各照度ムラ画像に含まれる該照明具による照度ムラを補正するための照度ムラ補正画像を含み、
該補正パラメータを特定するステップが、該初期位置画像と該対応位置画像とをそれぞれに対応する照度ムラ補正画像により照度ムラ補正をすることを含むようにすることができる。
【００１２】
カメラの高さ変化に伴う画像変化としては、画像幅の拡大・縮小と、カメラの視野内を照らす照明具による照度分布の変化が主なものとして挙げられる。特にこれらの両方を同時に補正することにより、カメラの高さ変化に伴う画像変化をより正確に補正することが可能となる。なお、視野幅校正用マークとしては、例えば白地に黒丸を配置したような比較的に単純な模様が適している。また、照度ムラ校正用面としては色ムラのない例えば白紙が適している。
【００１３】
好ましくは、該任意位置が該教示経路の始点又は終点であるようにすることができる。
【００１４】
好ましくは、
該教示経路画像が複数の参照点からなる点群画像であり、
該補正パラメータを特定するステップが、該対応位置画像の各参照点の輝度と、該初期位置画像における各参照点に対応する位置の画像点の輝度とのそれぞれの差の絶対値の和を求めて、該差の絶対値の和が最小となるときに該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなると判定するステップを含むようにすることができる。
【００１５】
点群画像を利用することにより、通常の画像データを利用する場合に比べて、画像マッチングの際の計算量が低減されるため、コンピュータによるより高速な演算が可能となる。
【００１６】
好ましくは、該補正パラメータを特定するステップが、該初期位置画像の該画像点の位置を該参照点の位置から所定の範囲内で並進及び回転させて該初期位置画像が該対応位置画像に最も良く一致する位置を求めるステップを含み、該差の絶対値の和が、該対応位置画像の各参照点の輝度と、該初期位置画像における該並進及び回転後の各位置での画像点の輝度から求められるようにすることができる。
【００１７】
このようにすることにより、初期位置画像を取得したときの無人搬送車の位置が、対応位置画像を取得したときの無人搬送車の位置からずれていたとしても、そのずれが所定の範囲内であれば位置ずれを補正した上で両画像の画像マッチングを行うことができるため、適切な補正パラメータをより確実に特定することが可能となる。
【００１８】
好ましくは、
該無人搬送車が、該車体に設けられた荷物載置部と、サスペンションを介して該車体を支持する車輪とを有し、該荷物載置部に荷物が載せられることによりサスペンションが圧縮されて車高が低くなって該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するステップをさらに含むようにすることができる。
【００１９】
本発明はさらに、
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車であって、
該カメラにより撮影された画像を記憶する記憶部と、
上述の無人搬送車の制御方法を実行するための演算部と、をさらに備える無人搬送車を提供する。
【００２０】
具体的には、
該車体に設けられた荷物載置部と、
サスペンションを介して該車体を支持する車輪と、をさらに備え、
当該無人搬送車は、該荷物載置部に荷物が載せられることにより該サスペンションが圧縮されて該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該演算部が、該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するようにすることができる。
【００２１】
以下、本発明に係る無人搬送車及びその制御方法の実施形態を添付図面に基づき説明する。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る無人搬送車の斜視図である。
【図２】図１の無人搬送車の正面図である。
【図３】図１の無人搬送車の側面図である。
【図４】図１の無人搬送車の機能ブロック図である。
【図５】図１の無人搬送車の車体に荷物が載せられたときの車高変化を示す模式図である。
【図６】視野幅校正用マークを撮影したカメラの画像であり、カメラの高さ変化に伴う画像幅の変化を示す図である。
【図７】照度ムラ校正用面としての白紙を撮影したカメラの画像を示す図であり、カメラの高さ変化に伴う照度ムラの変化を示す図である。
【図８】相対運動量を求めるための点群画像を示す図である。
【図９】教示経路画像を示す図である。
【図１０】教示経路画像の部分拡大図である。
【発明を実施するための形態】
【００２３】
本発明の一実施形態に係る無人搬送車１０は、図１乃至図４に示すように、車体１２と、車体１２をサスペンション１４を介して支持するように配置された４つの車輪１６と、車体１２の中央部下面に下方に向けて取り付けられたカメラ１８とを備える。カメラ１８には外からの光を遮るためのカバー２０が取り付けられ、またカバー２０の下端部にはカメラ１８の視野内を照らすように配置された複数のＬＥＤ（照明具）２２が取り付けられている。前後の車輪１６はそれぞれ内蔵する車輪用モータ２４により回転駆動されるとともに、ステアリング装置２６により操舵される。車輪１６の駆動のための車輪用モータ２４とステアリング用モータ２５は、車体１２に内蔵された制御部３０によりそれぞれ制御されるようになっている。制御部３０には、カメラで撮影された画像や後述する補正パラメータなどを保存する記憶部３２と、後述する画像マッチングに関連した一連の処理を実行する演算部３４とが含まれる。当該無人搬送車１０は、後述するように、車体１２の上部の荷物載置部１２ａに荷物Ｍを載せた状態で、カメラ１８により撮影された走行面Ｓの画像に基づいて、事前に教示された教示経路に沿って自動で再生走行するようになっている。
【００２４】
当該無人搬送車１０は、上述のようにサスペンション１４を有しているため、図５に示すように、車体１２に荷物Ｍを乗せるとその荷重によりサスペンション１４が圧縮されて車体１２が低くなる。当該実施形態においては、３９ｋｇの荷物Ｍを載せたときに車体１２が下がる距離ｄはおよそ４ｍｍとなっている。車高が低くなることにより車体１２に搭載されたカメラ１８やＬＥＤ２２の高さも低くなり、走行面Ｓに近づくことになる。
【００２５】
カメラ１８の高さが低くなることによりカメラ１８の視野幅が小さくなり、図６に示すように、カメラ１８の画像内では物が大きく写ることになる。また、照明具であるＬＥＤ２２の高さが低くなることにより、走行面Ｓに対する照明の当たり方が変わり、図７に示すように、ＬＥＤ２２による照度ムラの状態が変化する。再生走行を行う際には、再生走行時にカメラ１８で撮影した画像と教示走行時にカメラ１８で撮影した画像とに対して画像マッチングを行って教示経路からの位置ずれを修正するようになっているが、このようなカメラ１８の画像変化が生じると画像マッチングの精度が低下し、正確な自己位置推定や位置ずれ修正を行えなくなる可能性が高くなる。そのため当該無人搬送車１０では、このようなカメラ１８及び照明具２２の高さの変化に伴う画像変化を補正するようにしている。
【００２６】
具体的には、まず、図６に示す白地に黒丸が施された視野幅校正用マークを走行面Ｓ上に配置して、視野幅校正用マークがカメラ１８に写るようにする。この状態で荷物Ｍを載せていない状態でカメラ１８により視野幅校正用マークの撮影をしてマーク画像を取得する。このときのカメラ１８の高さを基準高さＨ０とし、この時撮影された画像を基準高さ画像として制御部３０の記憶部３２に保存する。続けて、車体１２に種々の重さの荷物Ｍを載せてカメラ１８の高さを変化させた状態でカメラ１８により視野幅校正用マークの撮影をしてマーク画像を取得する。当該実施形態では重さを６．５ｋｇずつ６５ｋｇまで増加させていき、その都度マーク画像を取得する。このようにして基準高さＨ０とは異なる相違高さＨ１〜Ｈ１０で取得した複数のマーク画像を相違高さ画像として記憶部３２に保存する。次に、視野幅校正用マークに代えて、白無地の照度ムラ校正用面を配置して、同様に基準高さＨ０と相違高さＨ１〜Ｈ１０で照度ムラ校正用面を撮影して照度ムラ画像を取得し、記憶部３２に保存する。取得した各基準高さ画像と各相違高さ画像との間には、カメラ１８及びＬＥＤ２２の高さの変化に伴い、上述のようなカメラ１８の視野幅の変化や照度ムラの変化が生じ、同一物を撮影していても画像間には図６及び図７に示すように相違が生じている。
【００２７】
この相違のうちのカメラ１８の視野幅の変化に伴う相違を補正するための補正パラメータである視野幅変化率ｍｐは次の式により求められる。
【数１】
2019194757.tif 000003
ここで、ｐは荷重状態を示す指標である。ｐ＝０は荷物Ｍが載置されていない基準状態であり、ｐ＝１は荷重の荷重が６．５ｋｇｆである状態であり、以降ｐが１増加する毎に荷重が６．５ｋｇｆ増加した荷重状態を示す。また、Ｐは用いる荷重状態の総数を示す。Ａ０は基準状態（ｐ＝０）での基準高さ画像における視野幅校正用マークの黒丸部分の面積であり、Ａｐは荷重状態がｐであるときの相違高さ画像における黒丸部分の面積である。なお、黒丸部分の面積は、画像の白い領域が持つ輝度の半値を閾値として画像を二値化し、その画像の黒画素の数を数えることにより求めている。視野幅変化率ｍｐは全ての荷重状態（０≦ｐ≦１０）に対して求められる。視野幅変化率ｍｐで基準高さ画像を拡大することにより、相違高さＨｐで撮影した相違高さ画像との間の寸法の相違を補正することができる。
【００２８】
照度ムラの変化に伴う相違を補正するための照度ムラ補正画像ｐＣ(ｕ，ｖ)は、次の式により求められる。
【数２】
2019194757.tif 000004
ここで、ｕ，ｖはそれぞれ画像内の水平座標及び垂直座標であり、ｐＩ^(ｕ，ｖ)は荷重状態がｐであるときの基準高さ画像又は相違高さ画像における照度ムラ校正用面を撮影した照度ムラ画像を示す。また、Ｔは目標輝度を示す定数である。荷重状態がｐであるときにカメラ１８で撮影された画像をｐＣ(ｕ，ｖ)で補正することにより、実質的に照度ムラのない画像が得られる。
【００２９】
補正パラメータである視野幅変化率ｍｐ及び照度ムラ補正画像ｐＣ(ｕ，ｖ)を求める工程は、基本的には一度だけ行えばよく、教示経路を変更したり周囲環境が変わったりしても、再度行う必要はない。ただし、カメラや照明の位置を調整したり、交換したりした場合には、再度行う必要がある。
【００３０】
次に、無人搬送車１０を教示走行させる。教示走行は通信部３６（図４）と無線通信するコントローラ（図示しない）を作業者が手動で操作することにより行われる。教示走行が開始されると、無人搬送車１０は、カメラ１８により走行面Ｓの画像を撮影し、教示経路画像として記憶部３２に順次記憶していく。教示経路画像の取得及び記憶は無人搬送車１０が０．０５ｍ移動する毎に行われる。走行面Ｓの連続する画像間の画像の動きから無人搬送車１０の相対運動量を求め、この相対運動量を積算していくことにより無人搬送車１０の自己位置を推定する。この相対運動量の計測には図８に示すような点群画像が利用される。この点群画像は、２つの参照点群Ｇ１、Ｇ２からなり、各参照点群Ｇ１、Ｇ２はそれぞれ異なる探索中心Ｃ１、Ｃ２を持ち、その点を基準とした並進と回転の３次元探索（以下、相対探索）が行われる。この相対探索ではＳＡＤ(Sum of Absolute Difference：差の絶対値の和)相関値Ｅ(ｉ，ｊ，ｋ)を下記の数式３に基づいて求め、数式４に示すよう探索範囲（並進ｄmin〜ｄmax、回転ｋmin〜ｋmax）内で最小となる相関値Ｅminが得られたときのｉ，ｊ，ｋをその点群の相対運動量ｉｄ、ｊｄ、ｋｄとして決定する。
【数３】
2019194757.tif 000005
【数４】
2019194757.tif 000006
ここで、Ｎは点群の点数、ＴＬ(ｎ)、ＴＸ(ｎ)、ＴＹ(ｎ)はそれぞれｎ番目の参照点の輝度、ｘ座標、ｙ座標を示し、（ＯＸ，ＯＹ）は探索中心の座標を示す。また、Ｃ(ｕ，ｖ)は座標ｕ，ｖにおける画像の輝度である。さらに、ｐＸ、ｐＹは移動予想量であり、前フレームの画像における相対移動量に等しい。この移動予想量により、検索範囲を小さくして少ない計算量で相対運動量を求めることができるようになる。最終的な相対運動量（並進ｖＸ，ｖＹ，回転ω）は、各点群の相対移動量（ｖ1Ｘ，ｖ1Ｙ）及び（ｖ2Ｘ，ｖ2Ｙ）と各点群の移動予想量（ｐ1Ｘ，ｐ1Ｙ）及び（ｐ2Ｘ，ｐ2Ｙ）とを用いて以下の数式５により決定される。
【数５】
2019194757.tif 000007
ここで、Ｄは各点群における探索中心Ｃ１、Ｃ２の座標間距離である。また、（ｉ１，ｊ１）及び（ｉ２，ｊ２）は各点群において決定された相対運動量である。無人搬送車１０の位置（ｘ，ｙ）及び姿勢θは数式6に示すようにフレーム毎に計測される相対運動量（ｖＸ，ｖＹ，ω）を負方向へ積算して求める。
【数６】
2019194757.tif 000008
ここで、ｆは対応する画像のフレーム番号である。
【００３１】
教示走行が終了して無人搬送車１０が教示経路の終点にある状態から再生走行を行うと、まずカメラ１８が走行面Ｓを撮影して初期位置画像を取得する。このとき、車体１２に荷物Ｍが載せられていれば、サスペンション１４が圧縮されてカメラ１８が教示走行のときとは異なる高さとなり、同一場所を撮影していても視野幅と照度ムラが変化して異なる画像となる。当該無人搬送車１０はこのようなカメラ１８の高さに起因する画像変化を次のようにして補正する。
【００３２】
まず、教示経路画像のうちの初期位置画像を撮影した位置と同位置又は最も近い位置で撮影された画像（以下、対応位置画像）を検索する。当該実施形態では、対応位置画像は教示経路画像のうちの教示経路の終点で撮影された画像である。次に、初期位置画像と対応位置画像との間のカメラ１８の高さに起因する画像変化を、全部で１１組ある補正パラメータでそれぞれ相対的に補正して画像マッチングを行い、補正後の初期位置画像と対応位置画像との類似度が最も高くなる補正パラメータの組を特定する。具体的な演算は次の通りである。まず、下記数式７に従って初期位置画像Ｉ(ｕ，ｖ)の照度ムラを照度ムラ補正画像ｐＣ(ｕ，ｖ)により補正する。
【数７】
2019194757.tif 000009
次に、対応位置画像の各参照点の輝度Ｔｔと、補正後の初期位置画像ｐＩ’(ｕ，ｖ)の各参照点に対応する位置の画像点の輝度のＳＡＤ（差の絶対値の和）相関値ＲＳＡＤの最小値を数式８及び数式９により求める。
【数８】
2019194757.tif 000010
【数９】
2019194757.tif 000011
ここで、ｘｔ、ｙｔは参照点の座標位置であり、ｘｔ’、ｙｔ’は画像点の座標位置である。数式８から分かるように、画像点(ｘｔ’，ｙｔ’)は参照点に対して中心座標（Ｘｃ，Ｙｃ）を中心に角度ｋだけ回転し、且つ中心座標（Ｘｃ，Ｙｃ）からの距離が視野幅変化率ｍｐの割合だけ遠ざかった位置となる。なお、視野幅変化率ｍｐによる画像点の位置変更は、中心座標（Ｘｃ，Ｙｃ）に近い対応位置画像の参照点が中心座標（Ｘｃ，Ｙｃ）から遠い初期位置画像の画像点に対応付けられることを意味しており、対応位置画像を視野幅変化率ｍｐで拡大補正することと同意である。また、画像点(ｘｔ’，ｙｔ’)は、ｘ方向及びｙ方向にｉ、ｊだけ並進される。数式９のとおり、ｉ，ｊ，ｋを所定の検索範囲内で全通りに変化させながら、初期位置画像の画像点が対応位置画像の参照点に最も良く一致する位置を求め、ＲＳＡＤ(ｉ，ｊ，ｋ，ｐ)の最小値を求める。ここで教示経路画像は４つのグループに分かれており、番号ｇはグループ番号に対応した１〜４の範囲を持つ。数式９では、グループ毎に最小ＳＡＤ相関値ｐＲｇが計算される。教示経路画像は、図９及び図１０に示すように、グループ毎に微妙に異なる配置で構成されている。各グループにおける最小ＳＡＤ相関値ｐＲｇをすべて合算して最終的なＳＡＤ相関値ＲＴＯＴＡＬ(ｐ)を求め、さらに荷重状態ｐを検索範囲［０、Ｐ−１］の中で変化させたときのＳＡＤ相関値ＲＴＯＴＡＬ(ｐ)の最小値ＲＭＩＮを求める。ＲＭＩＮとなるときに初期位置画像と対応位置画像との類似度が最も高くなると判定することができ、その荷重状態をｐＤとすると、ｐ＝ｐＤであるときの視野幅変化率ｍｐＤ及び照度ムラ補正画像ｐＤＣ(ｕ，ｖ)が初期位置画像と対応位置画像との類似度が最も高くなる補正パラメータの組として特定される。また、荷重状態ｐＤに対応する荷物Mの荷重は既知であるため、補正パラメータの組を特定することにより車体１２に載置されている荷物Ｍの荷重を推定することもできる。例えば当該実施形態においてｐＤ＝１０となった場合には、荷物Ｍの重さは約６５ｋｇであると推定できる。
【００３３】
初期位置画像と対応位置画像との類似度が最も高くなる補正パラメータの組が特定されると、無人搬送車１０は教示経路に沿った再生走行を開始する。再生走行が開始されると、教示走行のときと同様に、無人搬送車１０が０．０５ｍ移動する毎にカメラ１８により走行面Ｓの画像（以下、再生経路画像）を取得していく。再生経路画像を取得すると、教示走行中に取得された教示経路画像のうちのその再生経路画像の撮影位置の近傍で撮影された教示経路画像（以下、対応教示経路画像）が検索され、再生経路画像と対応教示経路画像との画像マッチングが行われる。このときの画像マッチングにおいては、荷重状態ｐはｐＤに固定され、特定された補正パラメータの組である視野幅変化率ｍｐＤ及び照度ムラ補正画像ｐＤＣ(ｕ，ｖ)を用いて、上記数式７〜９により、Ｘ並進移動量ｉ，Ｙ並進移動量ｊ，回転移動量ｋが求められる。これにより、再生経路画像を取得した時点での無人搬送車１０の教示経路からの位置ずれ量が求められ、位置ずれが生じていたときには無人搬送車１０が推定した自己位置をＸ並進移動量ｉ，Ｙ並進移動量ｊ，回転移動量ｋにより修正する。
【００３４】
上述のように、教示経路画像は４つのグループから構成されており、最小ＳＡＤ相関値ｐＲｇを求める演算はグループ毎に独立して行われる。上記位置ずれ量を求める際の画像マッチングにおいては、各グループにおいて相関値が最小となるときのＸ並進移動量ｉ，Ｙ並進移動量ｊ，回転移動量ｋが互いに一致しないときには、その時の画像マッチングの信頼性は低いと判断して、位置ずれ修正は行わないようになっている。
【００３５】
当該無人搬送車１０において、視野幅変化率ｍｐ及び照度ムラ補正画像ｐＣ(ｕ，ｖ)からなる補正パラメータの組によるカメラ１８の高さに起因する画像変化の補正を行った場合と、この補正を行わなかった場合の再生走行の実験結果を以下に示す。表１に示すように、荷重状態ｐを荷重を０〜６５ｋｇｆまで６．５ｋｇｆ毎に変更した状態とし、各荷重状態ｐに対応する視野幅変化率ｍｐ及び照度ムラ補正画像ｐＣ(ｕ，ｖ)を求めた。教示経路は全長５ｍの蛇行した経路とし、車体１２に荷重状態ｐが０，２，４，６，８，１０に対応する重さの荷物をそれぞれ載せた状態で教示経路を一往復する再生走行を行った。表２に示すように、本発明の画像変化補正を行った場合には、何れの荷重状態でも画像マッチングは正しく行われ位置ずれ修正は１００％成功し、教示経路を正確に往復して教示経路の始点に正しく戻ってきた。荷物Ｍの重さ推定については、比較的に軽い状態では実際とはやや異なる推定結果となっているが、設定荷重が６以上（荷重が３９ｋｇｆ以上）の比較的に重い状態では正確に推定できた。一方で画像変化補正を行わない場合には、特に荷重が重い状態で画像マッチングが正しく行われず位置ずれ修正の成功率が下がっている。位置ずれ修正が正しく行われないと位置ずれが累積していき、教示経路に正確に沿った再生走行が難しくなる。例えば設定状態が１０（荷重が６５ｋｇｆ）のときには、往路での成功率が２７．３％となっており、無人搬送車１０は最終的に教示経路の終点に正確に到達することができなかった。そのため、復路の再生走行を行うことができなかった。このように、画像変化補正を行うことにより、カメラ１８の高さが変化した場合でも、正確な画像マッチングと位置ずれ修正が可能となり、結果として正確な再生走行を実現することが可能となる。
【表１】
2019194757.tif 000012
【表２】
2019194757.tif 000013
【００３６】
以上に本発明の実施形態について説明をしたが、本発明はこの実施形態に限定されるものではない。例えば、補正パラメータとして視野幅変化率ｍｐ及び照度ムラ補正画像ｐＣ(ｕ，ｖ)を用いているが、どちらか一方だけを適用するようにしてもよいし、又はカメラの高さに起因する画像変化を別の補正パラメータにより補正するようにしてもよい。また、補正パラメータを特定するための初期位置画像を取得する位置は、教示経路の終点に限らず、教示経路の始点や中間点など教示経路上の任意位置とすることができる。また、教示走行を行う基準高さは、荷物を載せていないときの高さである必要はなく、所定の重さの荷物が載った状態を基準高さとし、荷物が軽くなり車高が高くなった状態を相違高さの一つとすることもできる。この場合には、対応位置画像は初期位置画像に対して相対的に縮小補正されることもある。画像マッチングにおいて、計算量を軽減するために点群画像を用いているが、取得した画像全体による画像マッチングとするなど、他の画像マッチング方法としてもよい。さらには、カメラの高さは、サスペンションの伸縮だけでなく、例えば車輪のタイヤの圧縮などの他の要因でも変化し得るため、サスペンションを有さない無人搬送車に対しても本発明の制御方法を適用することができる。
【符号の説明】
【００３７】
１０  無人搬送車                        １２  車体
１２ａ  荷物載置部                      １４  サスペンション
１６  車輪                              １８  カメラ
２０  カバー                            ２２  ＬＥＤ（照明具）
２４  車輪用モータ                      ２５  ステアリング用モータ
２６  ステアリング装置                  ３０  制御部
３２  記憶部                            ３４  演算部
３６  通信部
Ｍ    荷物                              Ｓ    走行面
【図１】
2019194757.tif 000014
【図２】
2019194757.tif 000015
【図３】
2019194757.tif 000016
【図４】
2019194757.tif 000017
【図５】
2019194757.tif 000018
【図６】
2019194757.tif 000019
【図７】
2019194757.tif 000020
【図８】
2019194757.tif 000021
【図９】
2019194757.tif 000022
【図１０】
2019194757.tif 000023
【手続補正書】
【提出日】令和1年8月29日(2019.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車の制御方法であって、
該カメラが所定の基準高さにあるときの基準高さ画像と、該基準高さとは異なる少なくとも一つの相違高さにあるときの相違高さ画像とを該カメラによりそれぞれ取得し、該基準高さ画像と各相違高さ画像との各相違をそれぞれ相対的に補正するための複数の補正パラメータを求めるステップと、
該カメラが該基準高さにある状態で所定の教示経路に沿って教示走行しながら、該カメラで走行面の教示経路画像を順次取得するステップと、
該教示走行の後に該教示経路上の任意位置で該カメラにより該走行面の初期位置画像を取得するステップと、
該教示経路画像の中から該任意位置の近傍で撮影された対応位置画像を検索するステップと、
該初期位置画像と該対応位置画像との間の該カメラの高さに起因する画像変化を各補正パラメータで相対的に補正して、各補正パラメータで補正された初期位置画像と対応位置画像との画像マッチングをそれぞれ行い、各補正パラメータの中から該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなる補正パラメータを特定するステップと、
該教示経路に沿って再生走行をしているときに、該カメラにより該走行面の再生経路画像を取得し、該再生経路画像と、該教示経路画像のうちの該再生経路画像の撮影位置の近傍で撮影された対応教示経路画像とを、該特定された補正パラメータで相対的に補正し、該補正後の対応教示経路画像と再生経路画像との画像マッチングにより該無人搬送車の該教示経路からの位置ずれ量を求めるステップと、
を含み、
該無人搬送車が該カメラの視野内を照らす照明具を有しており、
該基準高さ画像と各相違高さ画像とが該走行面に配置された照度ムラ校正用面を撮影して得られる照度ムラ画像をそれぞれ含み、各補正パラメータが、各照度ムラ画像に含まれる該照明具による照度ムラを補正するための照度ムラ補正画像を含み、
該補正パラメータを特定するステップが、該初期位置画像と該対応位置画像とをそれぞれに対応する照度ムラ補正画像により照度ムラ補正をすることを含む、無人搬送車の制御方法。
【請求項２】
該基準高さ画像と各相違高さ画像とが該走行面に配置された視野幅校正用マークを撮影して得られるマーク画像をそれぞれ含み、各補正パラメータが、該基準高さ画像のマーク画像と該相違高さ画像のマーク画像とを比較して求められる、該基準高さ画像に対する各相違高さ画像の視野幅変化率を含み、
該補正パラメータを特定するステップが、該対応位置画像を該視野幅変化率により該初期位置画像に対して相対的に拡大縮小補正をすることを含む、請求項１に記載の無人搬送車の制御方法。
【請求項３】
該任意位置が該教示経路の始点又は終点である、請求項１又は２に記載の無人搬送車の制御方法。
【請求項４】
該教示経路画像が複数の参照点からなる点群画像であり、
該補正パラメータを特定するステップが、該対応位置画像の各参照点の輝度と、該初期位置画像における各参照点に対応する位置の画像点の輝度とのそれぞれの差の絶対値の和を求めて、該差の絶対値の和が最小となるときに該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなると判定するステップを含む、
請求項１乃至３のいずれか一項に記載の無人搬送車の制御方法。
【請求項５】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車の制御方法であって、
該カメラが所定の基準高さにあるときの基準高さ画像と、該基準高さとは異なる少なくとも一つの相違高さにあるときの相違高さ画像とを該カメラによりそれぞれ取得し、該基準高さ画像と各相違高さ画像との各相違をそれぞれ相対的に補正するための複数の補正パラメータを求めるステップと、
該カメラが該基準高さにある状態で所定の教示経路に沿って教示走行しながら、該カメラで走行面の教示経路画像を順次取得するステップと、
該教示走行の後に該教示経路上の任意位置で該カメラにより該走行面の初期位置画像を取得するステップと、
該教示経路画像の中から該任意位置の近傍で撮影された対応位置画像を検索するステップと、
該初期位置画像と該対応位置画像との間の該カメラの高さに起因する画像変化を各補正パラメータで相対的に補正して、各補正パラメータで補正された初期位置画像と対応位置画像との画像マッチングをそれぞれ行い、各補正パラメータの中から該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなる補正パラメータを特定するステップと、
該教示経路に沿って再生走行をしているときに、該カメラにより該走行面の再生経路画像を取得し、該再生経路画像と、該教示経路画像のうちの該再生経路画像の撮影位置の近傍で撮影された対応教示経路画像とを、該特定された補正パラメータで相対的に補正し、該補正後の対応教示経路画像と再生経路画像との画像マッチングにより該無人搬送車の該教示経路からの位置ずれ量を求めるステップと、
を含み、
該教示経路画像が複数の参照点からなる点群画像であり、
該補正パラメータを特定するステップが、該対応位置画像の各参照点の輝度と、該初期位置画像における各参照点に対応する位置の画像点の輝度とのそれぞれの差の絶対値の和を求めて、該差の絶対値の和が最小となるときに該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなると判定するステップを含む、無人搬送車の制御方法。
【請求項６】
該補正パラメータを特定するステップが、該初期位置画像の該画像点の位置を該参照点の位置から所定の範囲内で並進及び回転させて該初期位置画像が該対応位置画像に最も良く一致する位置を求めるステップを含み、該差の絶対値の和が、該対応位置画像の各参照点の輝度と、該初期位置画像における該並進及び回転後の各位置での画像点の輝度から求められるようにされた、請求項４又は５に記載の無人搬送車の制御方法。
【請求項７】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車の制御方法であって、
該カメラが所定の基準高さにあるときの基準高さ画像と、該基準高さとは異なる少なくとも一つの相違高さにあるときの相違高さ画像とを該カメラによりそれぞれ取得し、該基準高さ画像と各相違高さ画像との各相違をそれぞれ相対的に補正するための複数の補正パラメータを求めるステップと、
該カメラが該基準高さにある状態で所定の教示経路に沿って教示走行しながら、該カメラで走行面の教示経路画像を順次取得するステップと、
該教示走行の後に該教示経路上の任意位置で該カメラにより該走行面の初期位置画像を取得するステップと、
該教示経路画像の中から該任意位置の近傍で撮影された対応位置画像を検索するステップと、
該初期位置画像と該対応位置画像との間の該カメラの高さに起因する画像変化を各補正パラメータで相対的に補正して、各補正パラメータで補正された初期位置画像と対応位置画像との画像マッチングをそれぞれ行い、各補正パラメータの中から該補正後の該初期位置画像と該対応位置画像との類似度が最も高くなる補正パラメータを特定するステップと、
該教示経路に沿って再生走行をしているときに、該カメラにより該走行面の再生経路画像を取得し、該再生経路画像と、該教示経路画像のうちの該再生経路画像の撮影位置の近傍で撮影された対応教示経路画像とを、該特定された補正パラメータで相対的に補正し、該補正後の対応教示経路画像と再生経路画像との画像マッチングにより該無人搬送車の該教示経路からの位置ずれ量を求めるステップと、
を含み、
該無人搬送車が、該車体に設けられた荷物載置部と、サスペンションを介して該車体を支持する車輪とを有し、該荷物載置部に荷物が載せられることによりサスペンションが圧縮されて車高が低くなって該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するステップをさらに含む、無人搬送車の制御方法。
【請求項８】
走行面を撮影するように車体に搭載されたカメラを備え、該カメラにより撮影された走行面の画像に基づいて自動で教示経路に沿って再生走行するようにした無人搬送車であって、
該カメラにより撮影された画像を記憶する記憶部と、請求項１乃至７のいずれか一項に記載の無人搬送車の制御方法を実行する演算部と、を備える無人搬送車。
【請求項９】
該車体に設けられた荷物載置部と、
サスペンションを介して該車体を支持する車輪と、をさらに備え、
当該無人搬送車は、該荷物載置部に荷物が載せられることにより該サスペンションが圧縮されて該カメラの高さが低くなるようにされており、
該基準高さ及び各相違高さの間の相互の高さの相違が、それぞれ既知の重さの荷物を該車体に載置することによりもたらされるものであり、
該演算部が、該特定された補正パラメータと該荷物の該既知の重さとに基づいて、該車体に載置された荷物の重さを推定するようにされた、請求項８に記載の無人搬送車。