(57)【要約】【課題】自律移動可能な範囲を認識しつつ移動可能な経路を生成するロボット制御装置を提供する。【解決手段】ロボット前方の人の移動を検知し、人の移動に合わせてロボットを移動させて経路教示データを得て、経路教示データに沿ってロボットが自律移動するとき、周囲物体検出部にて検出したロボット移動空間の天井又は壁位置や障害物の位置より、経路教示データに対するロボット移動可能範囲を算出して自律移動用移動経路を生成し、この自律移動用移動経路に従って、駆動装置の駆動によりロボットを自律移動させるように制御する。【選択図】図１Ａ
2006185438.tif 000002
【特許請求の範囲】
【請求項１】
移動可能なロボットに搭載され、かつ、前記ロボットの前方に存在する人を検知するとともに、前記人を検知した後、前記人の移動を検知する人移動検知部と、
前記ロボットに搭載され、かつ、経路教示時、前記人移動検知部で検知された前記人の移動に合わせて前記ロボットを移動させる駆動装置と、
前記駆動装置で移動させられた前記ロボットの移動量を検知するロボット移動量検知部と、
前記ロボット移動量検知部で検知した前記移動量データを蓄積し経路教示データに変換する第１経路教示データ変換部と、
前記ロボットに搭載され、かつ、前記ロボットの周囲の全方位の画像を取得可能な全方位画像入力系及び前記ロボットの周囲の障害物を検出可能な障害物検出部とを有して、前記ロボットの周囲の前記障害物や前記ロボットが移動する空間の天井又は壁位置を検出する周囲物体検出部と、
前記第１経路教示データ変換部で変換された前記経路教示データに沿って前記駆動装置の駆動により前記ロボットが自律移動するとき、前記周囲物体検出部にて検出した前記障害物の位置より、前記経路教示データに対する前記ロボットのロボット移動可能範囲を算出するロボット移動可能範囲算出部と、
前記経路教示データと前記ロボット移動可能範囲算出部で算出された前記移動可能範囲とより、前記ロボットの自律移動用移動経路を生成する移動経路生成部とを備えて、
前記移動経路生成部で生成された前記移動経路に従って、前記駆動装置の駆動により前記ロボットを自律移動させるように制御するロボット制御装置。
【請求項２】
前記人移動検知部は、
予め、前記ロボットの周囲の、前記人を含む移動体の動きに合わせて検出する対応点位置を算出及び配置する対応点位置算出配置部と、
時系列に複数の画像を取得する時系列複数画像取得部と、
前記時系列複数画像取得部により取得された前記時系列の複数の画像間にて、前記対応点位置算出配置部により配置された対応点を検出し、検出された対応点の複数の画像間での移動量を算出する移動量算出部と、
前記移動量算出部により算出した前記移動量より、前記移動体の移動に合致する対応点であるか否かを判断する移動体移動判断部と、
前記移動体移動判断部で得られた対応点群より移動体領域を抽出する移動体領域抽出部と、
前記ロボットの周囲の特定範囲の距離画像を算出する距離画像算出部と、
前記移動体領域抽出部で抽出した前記移動体領域の範囲に合わせるように、前記距離画像算出部で算出された前記距離画像特定範囲を移動させる距離画像特定範囲移動部と、
前記距離画像特定範囲移動部による前記移動後の距離画像の移動体領域を判定する移動体領域判定部と、
前記移動体領域判定部により得られた前記距離画像移動体領域より前記移動体の位置を特定する移動体位置特定部と、
前記移動体位置特定部により前記距離画像上で特定された前記移動体の位置より、前記ロボットから前記移動体への距離を算出する距離算出部とを備えるように構成して、
前記人移動検知部により前記移動体を特定しかつ継続して前記移動体の距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項１に記載のロボット制御装置。
【請求項３】
前記周囲物体検出部は、
前記天井及び壁面に向けて配置された全方位画像入力部と、
前記全方位画像入力部から入力された画像から天井及び壁面の全景周辺部画像と天井及び壁面の全景中央部画像を変換及び抽出する変換抽出部と、
予め指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を前記変換抽出部から入力して変換及び抽出及び記憶する変換抽出記憶部と、
現時点で入力した天井及び壁面全景周辺部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景周辺部画像とで相互相関マッチングを行う第１相互相関マッチング部と、
前記第１相互相関マッチング部により前記マッチングにて得られた横方向位置関係を回転角ズレ量に変換する回転角ズレ量変換部と、
現時点で入力した天井及び壁面全景中央部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景中央部画像とで相互相関マッチングを行う第２相互相関マッチング部と、
前記第２相互相関マッチング部により前記マッチングにて得られた縦横方向位置関係を位置ズレ量に変換する位置ズレ量変換部とで構成され、
位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い、前記回転角ズレ量変換部で得られた回転角ズレ量と前記位置ズレ量変換部で得られた位置ズレ量とを含む前記ロボットの位置姿勢ズレの検出を行い、前記位置姿勢ズレにより自己位置を認識することにより前記ロボットを自律移動させるように制御する、請求項１に記載のロボット制御装置。
【請求項４】
前記ロボットの前記移動体に対する追随走行を前記移動体が指定する動作を確認する教示対象移動体識別部をさらに備えて、前記教示対象移動体識別部により確認された前記移動体に対して、前記移動体を特定し継続して前記移動体の距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項２に記載のロボット制御装置。
【請求項５】
前記移動体は人であり、前記移動体である前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項２に記載のロボット制御装置。
【請求項６】
前記ロボットの前記移動体である人に対する追随走行を前記人が指定する動作を確認する教示対象移動体識別部をさらに備えて、前記教示対象移動体識別部により確認された前記人に対して、前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項２に記載のロボット制御装置。
【請求項７】
前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項２に記載のロボット制御装置。
【請求項８】
前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項３に記載のロボット制御装置。
【請求項９】
前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項４に記載のロボット制御装置。
【請求項１０】
前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項５に記載のロボット制御装置。
【請求項１１】
前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項６に記載のロボット制御装置。
【請求項１２】
予め前記人の動きに合わせて算出及び配置する検出する対応点位置を前記人位置に合わせて、その都度、変更する対応点位置算出配置変更部を有し、前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、請求項５に記載のロボット制御装置。
【請求項１３】
前記ロボットの周囲の全方位の画像を取得可能な全方位画像入力部と、
前記画像入力部を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部と、
前記画像入力部により入力した画像から天井及び壁面全景周辺部画像と天井及び壁面全景中央部画像を変換及び抽出する変換抽出部と、
予め指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を前記変換抽出部から入力して変換及び抽出及び記憶する変換抽出記憶部と、
現時点で入力した天井及び壁面全景周辺部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景周辺部画像とで相互相関マッチングを行う第１相互相関マッチング部と、
前記第１相互相関マッチング部の前記マッチングにて得られた横方向位置関係であるズレ量を回転角ズレ量に変換する回転角ズレ量変換部と、
現時点で入力した天井及び壁面全景中央部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景中央部画像とで相互相関マッチングを行う第２相互相関マッチング部と、
前記第２相互相関マッチング部の前記マッチングにて得られた縦横方向位置関係を位置ズレ量に変換する部とを備えて構成され、
位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い、前記回転角ズレ量変換部で得られた回転角ズレ量と前記位置ズレ量変換部で得られた位置ズレ量に基づく位置姿勢ズレ検出を行い、前記ロボットの自己位置を認識することにより、前記ロボットを自律移動させるように制御する、請求項１に記載のロボット制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動ロボットが自律移動で移動可能範囲を認識しつつ移動可能な経路を生成するロボット制御装置に関する。本発明は、特に誘導路として床面に部分的に磁気テープや反射テープ等を敷設せずに、例えば、自律移動ロボットにアレーアンテナ、人に送信機等を設け、ロボット前方に存在する人の方向角を時系列に検出し、人の移動に合わせてロボットも移動させ、基本経路を人が歩いて倣い経路教示して、移動可能範囲を認識しつつ移動可能な経路を生成するロボット制御装置に関する。
【背景技術】
【０００２】
従来技術では、自律移動ロボットの経路教示及び位置検出制御方法に関し、詳細に人手にて作成した地図情報が不可欠である。例えば特許文献１では、地図情報と移動ルートの記憶部と、車体の前部及び側部に設けたセンサからの位置情報に基づいて移動体を制御することで、誘導線などのガイドを不要にしている。
【０００３】
しかしながら、家庭環境における移動ロボット経路教示では、位置データを直接人に編集させ教示させることは実用的ではない。従来の技術は、床面上を移動する移動体の地図情報を記憶した記憶部と、前記移動体の前面に設けられた第１の距離センサと、前記移動体の側面に水平方向に設けられた複数個の第２の距離センサと、前記第１の距離センサ及び前記第２の距離センサの出力をそれぞれ信号処理する信号処理回路と、この信号処理回路の出力信号が入力され、前記第２の距離センサの検出距離に基づいて走行中のずれ量を求めると共に車体角を求め、且つ前記第１の距離センサ及び第２の距離センサの検出距離に基づいてコーナ部を検出すると共に前記記憶部に記憶されている地図情報に基づいて前記移動体の位置を検出する位置検出部と、この位置検出部の検出結果に基づいて前記移動体の移動方向を制御する制御部とを具備する。
【０００４】
前記従来の技術は、記憶されている地図情報に基づいて前記移動体の位置を検出し、この位置検出結果に基づいて前記移動体の移動方向を制御する方法である。地図を教示媒介としない方法は、従来技術で見あたらない。
【０００５】
従来の技術におけるロボット経路教示及び経路生成では、位置データを直接数値又は視覚情報で人に編集させて教示させるようにしている。
【０００６】
【特許文献１】特許２８２５２３９（移動体の自動誘導制御装置  東芝）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、家庭環境における移動ロボット経路教示では、位置データを、直接、人に編集させて教示させることは実用的ではない。人の指示を順次追いかける等の手法の適用が課題である。
【０００８】
従って、本発明の目的は、位置データを、直接、人に編集させて教示させる必要がなく、基本経路を人が歩き、倣い経路を教示したのち、ロボットをその自律移動で移動可能な範囲を認識しつつ移動可能な経路を生成するロボット制御装置を提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明は以下のように構成する。
【００１０】
本発明の第１態様によれば、移動可能なロボットに搭載され、かつ、前記ロボットの前方に存在する人を検知するとともに、前記人を検知した後、前記人の移動を検知する人移動検知部と、
前記ロボットに搭載され、かつ、経路教示時、前記人移動検知部で検知された前記人の移動に合わせて前記ロボットを移動させる駆動装置と、
前記駆動装置で移動させられた前記ロボットの移動量を検知するロボット移動量検知部と、
前記ロボット移動量検知部で検知した前記移動量データを蓄積し経路教示データに変換する第１経路教示データ変換部と、
前記ロボットに搭載され、かつ、前記ロボットの周囲の全方位の画像を取得可能な全方位画像入力系及び前記ロボットの周囲の障害物を検出可能な障害物検出部とを有して、前記ロボットの周囲の前記障害物や前記ロボットが移動する空間の天井又は壁位置を検出する周囲物体検出部と、
前記第１経路教示データ変換部で変換された前記経路教示データに沿って前記駆動装置の駆動により前記ロボットが自律移動するとき、前記周囲物体検出部にて検出した前記障害物の位置より、前記経路教示データに対する前記ロボットのロボット移動可能範囲を算出するロボット移動可能範囲算出部と、
前記経路教示データと前記ロボット移動可能範囲算出部で算出された前記移動可能範囲とより、前記ロボットの自律移動用移動経路を生成する移動経路生成部とを備えて、
前記移動経路生成部で生成された前記移動経路に従って、前記駆動装置の駆動により前記ロボットを自律移動させるように制御するロボット制御装置を提供する。
【００１１】
本発明の第２態様によれば、前記人移動検知部は、
予め、前記ロボットの周囲の、前記人を含む移動体の動きに合わせて検出する対応点位置を算出及び配置する対応点位置算出配置部と、
時系列に複数の画像を取得する時系列複数画像取得部と、
前記時系列複数画像取得部により取得された前記時系列の複数の画像間にて、前記対応点位置算出配置部により配置された対応点を検出し、検出された対応点の複数の画像間での移動量を算出する移動量算出部と、
前記移動量算出部により算出した前記移動量より、前記移動体の移動に合致する対応点であるか否かを判断する移動体移動判断部と、
前記移動体移動判断部で得られた対応点群より移動体領域を抽出する移動体領域抽出部と、
前記ロボットの周囲の特定範囲の距離画像を算出する距離画像算出部と、
前記移動体領域抽出部で抽出した前記移動体領域の範囲に合わせるように、前記距離画像算出部で算出された前記距離画像特定範囲を移動させる距離画像特定範囲移動部と、
前記距離画像特定範囲移動部による前記移動後の距離画像の移動体領域を判定する移動体領域判定部と、
前記移動体領域判定部により得られた前記距離画像移動体領域より前記移動体の位置を特定する移動体位置特定部と、
前記移動体位置特定部により前記距離画像上で特定された前記移動体の位置より、前記ロボットから前記移動体への距離を算出する距離算出部とを備えるように構成して、
前記人移動検知部により前記移動体を特定しかつ継続して前記移動体の距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第１態様に記載のロボット制御装置を提供する。
【００１２】
本発明の第３態様によれば、前記周囲物体検出部は、
前記天井及び壁面に向けて配置された全方位画像入力部と、
前記全方位画像入力部から入力された画像から天井及び壁面の全景周辺部画像と天井及び壁面の全景中央部画像を変換及び抽出する変換抽出部と、
予め指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を前記変換抽出部から入力して変換及び抽出及び記憶する変換抽出記憶部と、
現時点で入力した天井及び壁面全景周辺部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景周辺部画像とで相互相関マッチングを行う第１相互相関マッチング部と、
前記第１相互相関マッチング部により前記マッチングにて得られた横方向位置関係を回転角ズレ量に変換する回転角ズレ量変換部と、
現時点で入力した天井及び壁面全景中央部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景中央部画像とで相互相関マッチングを行う第２相互相関マッチング部と、
前記第２相互相関マッチング部により前記マッチングにて得られた縦横方向位置関係を位置ズレ量に変換する位置ズレ量変換部とで構成され、
位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い、前記回転角ズレ量変換部で得られた回転角ズレ量と前記位置ズレ量変換部で得られた位置ズレ量とを含む前記ロボットの位置姿勢ズレの検出を行い、前記位置姿勢ズレにより自己位置を認識することにより前記ロボットを自律移動させるように制御する、第１態様に記載のロボット制御装置を提供する。
【００１３】
上述のように、本発明の第１態様によるロボット制御装置によれば、移動可能なロボットに搭載されたロボット制御装置において、ロボット前方に存在する人の移動を検知し、人の移動に合わせてロボットを移動させて経路教示データを得て、経路教示データに沿ってロボットが自律移動するとき、周囲物体検出部にて検出したロボット移動空間の天井又は壁位置や障害物の位置より、経路教示データに対するロボット移動可能範囲を算出して自律移動用移動経路を生成し、この自律移動用移動経路に従って、駆動装置の駆動によりロボットを自律移動させるように制御するようにしたので、移動経路範囲を人の後追いとロボット自律移動にて教示させることができる。
【００１４】
本発明の第２態様によるロボット制御装置によれば、前記第１態様において、移動体を特定し継続して移動体の（距離・方向）検知を行うことができる。
【００１５】
本発明の第３態様によるロボット制御装置によれば、前記第１態様において、位置姿勢既知の基準となる天井・壁面全景画像と、入力した天井・壁面全景画像とでマッチングを行い位置姿勢ズレ検出を行い自己位置認識することができる。
【００１６】
本発明の第４態様によれば、前記ロボットの前記移動体に対する追随走行を前記移動体が指定する動作を確認する教示対象移動体識別部をさらに備えて、前記教示対象移動体識別部により確認された前記移動体に対して、前記移動体を特定し継続して前記移動体の距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第２態様に記載のロボット制御装置を提供する。
【００１７】
本発明の第５態様によれば、前記移動体は人であり、前記移動体である前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第２態様に記載のロボット制御装置を提供する。
【００１８】
本発明の第６態様によれば、前記ロボットの前記移動体である人に対する追随走行を前記人が指定する動作を確認する教示対象移動体識別部をさらに備えて、前記教示対象移動体識別部により確認された前記人に対して、前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第２態様に記載のロボット制御装置を提供する。
【００１９】
本発明の第７態様によれば、前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第２態様に記載のロボット制御装置を提供する。
【００２０】
本発明の第８態様によれば、前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第３態様に記載のロボット制御装置を提供する。
【００２１】
本発明の第９態様によれば、前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第４態様に記載のロボット制御装置を提供する。
【００２２】
本発明の第１０態様によれば、前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第５態様に記載のロボット制御装置を提供する。
【００２３】
本発明の第１１態様によれば、前記人移動検知部は、
前記ロボットの全方位の時系列の複数の画像を取得する全方位時系列複数画像取得部と、
前記全方位時系列複数画像取得部で取得した時系列複数画像間にて、前記対応点を検出し、前記対応点の複数画像間での移動量を算出して前記移動体の移動を検知する移動量算出部とで構成され、
前記移動体を特定し継続して前記移動体と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第６態様に記載のロボット制御装置を提供する。
【００２４】
本発明の第１２態様によれば、予め前記人の動きに合わせて算出及び配置する検出する対応点位置を前記人位置に合わせて、その都度、変更する対応点位置算出配置変更部を有し、前記人を特定し継続して前記人と前記ロボットとの距離及び方向検知を行うことにより、前記ロボットを自律移動させるように制御する、第５態様に記載のロボット制御装置を提供する。
【００２５】
上述のように、本発明のロボット制御装置によれば、移動体を特定し継続して移動体の（距離・方向）検知を行うことができる。
【００２６】
本発明の第１３態様によれば、前記ロボットの周囲の全方位の画像を取得可能な全方位画像入力部と、
前記画像入力部を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部と、
前記画像入力部により入力した画像から天井及び壁面全景周辺部画像と天井及び壁面全景中央部画像を変換及び抽出する変換抽出部と、
予め指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を前記変換抽出部から入力して変換及び抽出及び記憶する変換抽出記憶部と、
現時点で入力した天井及び壁面全景周辺部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景周辺部画像とで相互相関マッチングを行う第１相互相関マッチング部と、
前記第１相互相関マッチング部の前記マッチングにて得られた横方向位置関係であるズレ量を回転角ズレ量に変換する回転角ズレ量変換部と、
現時点で入力した天井及び壁面全景中央部画像と、前記変換抽出記憶部に予め記憶した指定位置の天井及び壁面全景中央部画像とで相互相関マッチングを行う第２相互相関マッチング部と、
前記第２相互相関マッチング部の前記マッチングにて得られた縦横方向位置関係を位置ズレ量に変換する部とを備えて構成され、
位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い、前記回転角ズレ量変換部で得られた回転角ズレ量と前記位置ズレ量変換部で得られた位置ズレ量に基づく位置姿勢ズレ検出を行い、前記ロボットの自己位置を認識することにより、前記ロボットを自律移動させるように制御する、第１態様に記載のロボット制御装置を提供する。
【００２７】
本発明のロボット制御装置によれば、前記全方位画像入力部の一例としてのロボット付属全方位カメラにて、天井・壁面の全景画像を入力し、予め画像入力記憶した目標地点の天井・壁面の全景画像との位置ずれ情報を算出し、例えばロボットの駆動装置の車輪付属エンコーダによる経路積算値及び位置ズレ情報を台車運動方程式に算入し台車位置制御を行い、移動しながら目標地点からのずれを修正し、ロボットなどの作業機器による屋内作業を実施するものである。
【００２８】
これにより、詳細に作成された地図情報や、床面に設置された磁気テープ等を必要とせず、なおかつ、屋内の様々な場面に対応して、ロボットを移動させることが可能となる。
【発明の効果】
【００２９】
本発明によると、移動中での位置ズレ修正が実現可能であり、多数地点での作業を連続で短時間に行うことができる。さらに、目標地点の天井・壁面の全景画像を画像入力記憶すれば、所謂ランドマーク等の固定位置指定が不要となるものである。
【発明を実施するための最良の形態】
【００３０】
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
【００３１】
以下、本発明による種々の実施形態について添付図面に沿って詳述する。
【００３２】
（第１実施形態）
図１Ａに示すように、本発明の第１実施形態にかかるロボット制御装置は、大略平面の走行床面１０５上を走行可能なロボット１に搭載されて、移動ロボット１の前後進、及び左右側の移動を制御するものである。このロボット制御装置は、具体的には、駆動装置１０と、走行距離検出部２０と、方向角検出部３０と、人移動検知部３１と、ロボット移動量検出部３２と、ロボット基本経路教示データ変換部３３と、ロボット基本経路教示データ蓄積部３４と、移動可能範囲算出部３５と、障害物検出部３６と、移動経路生成部３７と、駆動装置１０から移動経路生成部３７までをそれぞれ動作制御する制御部５０とを備えるように構成している。
【００３３】
前記駆動装置１０は、前記移動ロボット１を右側に移動させるように左側走行モータ１１１を駆動する左側モータ駆動部１１と、前記移動ロボット１を左側に移動させるよう右側走行モータ１２１を駆動する右側モータ駆動部１２とを備えるように構成されている。前記左側走行モータ１１１と右側走行モータ１２１には、図１Ｂ及び図２に示す後側駆動輪１００がそれぞれ取付けられており、前記移動ロボット１を右側に移動させるときには、左側モータ駆動部１１により、右側走行モータ１２１の回転よりも多く、左側走行モータ１１１を回転させる。逆に、前記移動ロボット１を左側に移動させるときには、右側モータ駆動部１２により、左側走行モータ１１１の回転よりも多く、右側走行モータ１２１を回転させる。前記移動ロボット１を前進又は後退させるときには、左側モータ駆動部１１と右側モータ駆動部１２とを同期して、左側走行モータ１１１と右側走行モータ１２１とを同様に正回転又は逆回転させるようにしている。なお、ロボット１の前側には、一対の前側補助走行輪１０１が回動可能に回転自在に配置されている。
【００３４】
さらに、走行距離検出部２０は、前記駆動装置１０により移動させられる移動ロボット１の走行距離を検出して走行距離データを出力するものである。前記走行距離検出部２０の具体的な構成例としては、前記駆動装置１０の制御により駆動する左側駆動輪１００の回転数、すなわち、前記左側走行モータ１１１の回転数に比例するパルス信号を発生させて前記移動ロボット１が右側に移動した走行距離を検出する左側エンコーダ２１と、前記駆動装置１０の制御により駆動する右側駆動輪１００の回転数、すなわち、前記右側走行モータ１２１の回転数に比例するパルス信号を発生させて前記移動ロボット１が左側に移動した走行距離を検出する右側エンコーダ２２とを備えるように構成されて、前記移動ロボット１が右側に移動した走行距離と左側に移動した走行距離とを基に、移動ロボット１の走行距離を検出して走行距離データを出力するようにしている。
【００３５】
方向角検出部３０は、移動ロボット１において、前記駆動装置１０により移動される移動ロボット１の走行方向変化を検出して、走行方向データを出力するものである。例えば、左側エンコーダ２１からの左側駆動輪１００の回転数を積算して左側駆動輪１００の移動量とし、右側エンコーダ２２からの右側駆動輪１００の回転数を積算して右側駆動輪１００の移動量とし、両方の移動量の情報からロボット１の走行方向変化を算出して、走行方向データを出力すればよい。
【００３６】
人移動検知部３１は、移動ロボット１において、図１１Ａの人検出に示すように、ロボット１の例えば後部に立設された支柱３２ｂの上端に固定された、全方位画像入力系の一例としての全方位光学系３２ａにより撮像して得られた画像データ及びオプティカルフロー演算を用いてロボット１の周囲に存在する人を検出する。具体的には、オプティカルフロー演算の結果より、全周囲画像のうち、一定の角度（３０°〜１００°、ベストは７０°程度）の中に、連続して（全周囲画像の径方向に長さを有する）物体が存在している場合、人１０２が存在していると判断して人１０２を検出し、その中心角度に、ロボット１の例えば前部に配置されたステレオカメラ３１ａ，３１ｂを向けている。
【００３７】
さらに図１１Ｂなどのロボット１による人追随に示すように、ロボット１の例えば前部に配置されたステレオカメラ系３１ａ，３１ｂにより撮像して得られた画像データを用いてロボット１の前方を移動する人１０２を検出し、ロボット１の前方に存在する人１０２の方向角及び距離を検出して、人１０２の方向角及び距離データを出力する。具体的には、全周囲画像で検出された人の領域に基づき、ステレオカメラ系３１ａ，３１ｂにより撮像して得られた画像データの中で人の部分の画像の濃淡値（距離値）を平均して、人１０２の位置データ(ロボット１と人１０２との距離データ)とを算出し、人１０２の方向角及び距離を検出して、人１０２の方向角及び距離データを出力する。
【００３８】
ここで、全方位光学系３２ａは、例えば、全方位カメラより構成されるものである。全方位カメラとは、反射光学系を利用したものであり、上向きに設置した１つのカメラと、その上に設置した複合反射ミラーから構成されて、前記１つのカメラによって、前記複合反射ミラーに反射した周囲の全方位の画像を取得することができる。ここで、オプティカルフローとは、例えば全方位光学系３２ａで所定時間毎に撮像した撮像画像フレーム間の差分だけでは、ロボット１がどのように移動しているかを求めることができないことから、ロボット１がどのように移動しているかを調べるため、フレーム中の各点がどのような速度ベクトルを持っているかを求めたものである（図１３参照）。
【００３９】
ロボット移動量検出部３２は、前記人移動検知部３１により検知された前記方向角及び前記距離を時系列に監視し、同時に時系列に全方位光学系３２ａによるロボット１の上方でかつロボット１が移動する部屋の天井全景の画像を撮像して天井全景画像データを得るとともに、人の移動軌跡（経路）に合わせて（人の移動経路を再現しながら）ロボット１を駆動装置１０により移動させ、前記方向角検出部３０及び前記走行距離検出部２０から出力されるロボット１の移動方向データ及び移動距離データを用いて、ロボット１の移動方向及び移動距離よりなる移動量を検出して移動量データをロボット基本経路教示データ変換部３３などに出力する。ロボット１の移動量は、例えば、左側エンコーダ２１からの左側駆動輪１００の回転数を積算して左側駆動輪１００の移動量とし、右側エンコーダ２２からの右側駆動輪１００の回転数を積算して右側駆動輪１００の移動量とし、両方の移動量の情報からロボット１の移動量を算出すればよい。
【００４０】
ロボット基本経路教示データ変換部３３は、前記検出された移動量のデータ（ロボット１自体の移動方向及び移動距離、全方位光学系３２ａの天井全景画像データ―図９Ｂの教示結果）を時系列に蓄積して、基本経路教示データに変換してロボット基本経路教示データ蓄積部３４などに出力する。
【００４１】
ロボット基本経路教示データ蓄積部３４は、ロボット基本経路教示データ変換部３３によって出力されたロボット基本経路教示データを蓄積して移動可能範囲算出部３５などに出力している。
【００４２】
移動可能範囲算出部３５は、前記ロボット基本経路教示データ蓄積部３４で蓄積された前記ロボット基本経路教示データを基にロボット１を自律移動させながら、ロボット１の例えば前部両側に配置された例えば超音波センサ等の障害物検出部３６で障害物１０３の位置を検出し算出された障害物情報を用いて、ロボット１の移動が障害物１０３などにより阻害されることなくロボット１が基本経路１０４に対して幅方向に移動可能な範囲（移動可能範囲）１０４ａのデータ、すなわち、移動可能範囲データを算出して移動経路生成部３７などに出力する。
【００４３】
移動経路生成部３７は、前記移動可能範囲算出部３５にて出力された移動可能範囲データより、ロボット１に最適な移動経路を生成して出力する。
【００４４】
また、図１Ａにおいて、制御部５０には、前記走行距離検出部２０により検出された走行距離データ、及び前記方向角検出部３０により検出された走行方向データが所定時間間隔で入力される。そして、制御部５０に入力された走行距離データと走行方向データとを基に前記移動ロボット１の現在位置を制御部５０により演算し、その演算結果により得られた前記移動ロボット１の現在位置と移動経路生成部３７から出力された移動経路を基に駆動装置１０を制御部５０により駆動制御して、前記移動ロボット１が、正常軌道である移動経路から逸脱せずに、目標地点まで正確に走行できるよう動作制御する中央処理装置（ＣＰＵ）として制御部５０が構成されている。なお、制御部５０は、他の部分の動作制御も行うようにしている。
【００４５】
以下、前記のように構成された移動ロボット１の位置決め装置及び方法、及びその制御装置及び方法の作用、効果について述べる。
【００４６】
図３は、移動ロボット１の基本経路直接教示方法を示す。このロボット１の基本経路直接教示方法は、基本経路沿いに進む人１０２の後をロボット１が追いかけることにより、ロボット１が基本経路１０４沿いに移動し、このロボット移動時の位置情報をロボット１の基本経路教示データ蓄積部３４に累積させて、累積した位置情報を基にロボット基本経路教示データ変換部３３がロボット１の基本経路教示データに変換して、基本経路教示データを基本経路教示データ蓄積部３４に蓄積させる。
【００４７】
この基本経路直接教示方法の具体な方法としては、人１０２の移動検知部３１の全方位画像入力系３２ａ等を用いてロボット１の周囲例えば前方に存在する人１０２を検出しながら、ロボット１の駆動装置１０を駆動することにより、基本経路１０４を歩いている人１０２の後をロボット１が追いかけるように移動する。すなわち、ロボット１と人１０２との間の距離が許容範囲（例えば、人１０２がロボット１に接触せずかつ全方位画像入力系３２ａで取得する画像内から人１０２が外れない程度の距離の範囲）内に入るように、ロボット１の駆動装置１０を制御部５０が駆動制御しながらロボット１が移動しているとき、ロボット移動時の位置情報を基本経路教示データ蓄積部３４に累積して蓄積し、ロボット基本経路教示データとする。なお、図３において、１０３は障害物である。
【００４８】
図４は、ロボット１による移動可能範囲追加学習を示す。移動可能範囲追加学習とは、ロボット基本経路教示データに関連して、障害物１０３などを避けるときに移動可能な範囲である、移動可能範囲を追加して学習することを意味する。
【００４９】
人１０２によるロボット基本経路教示データを基に、例えば超音波センサ等の障害物検出部３６で検出された障害物の位置や大きさなどの障害物情報を用い、ロボット自律移動時にロボット１が障害物等１０３に直面しそうになる場合、その都度、制御部５０で駆動装置１０を制御して、障害物１０３の手前でロボット１に障害物１０３を回避させ、再び、ロボット１に基本経路１０４に沿って自律移動させる。これを障害物等１０３にロボット１が直面しそうになる毎に、その都度、繰り返してロボット基本経路教示データをロボット１の走行床面１０５沿いに拡張する。最終的に拡張して得られた最終拡張平面を、ロボット１の移動可能範囲１０４ａとして基本経路教示データ蓄積部３４に記憶する。
【００５０】
図５は、ロボット１による移動可能範囲内経路生成を示す。
【００５１】
移動経路生成部３７は、前記移動可能範囲算出部３５にて得られた移動可能範囲１０４ａより、ロボット１に最適な移動経路１０６を生成する。基本的には、移動可能範囲１０４ａの平面の幅方向中央部を移動経路１０６として生成する。具体的には、まず、移動可能範囲１０４ａの平面の幅方向の成分１０６ａを所定間隔毎に抽出し、次いで、幅方向の成分１０６ａの中央部を結んで移動経路１０６として生成する。
【００５２】
ここで、後追い教示において、教示を行うオペレータである人１０２の移動方向情報のみを使い、人１０２の位置をそのまま追いかけた場合には、図６Ａに示すように、人１０２が、赤ん坊のいる場所１０７ｂを避けようとして大略９０度に曲がるような経路１０７ａを進む。その結果として、図６Ｂに示すように、そのコーナ付近でロボット１は近道１０７ｃを選択するように動作してしまうと、ロボット１が、赤ん坊のいる場所１０７ｂを移動することになり、正しい教示ができない場合がある。
【００５３】
そこで、この第１実施形態では、人１０２の移動方向と移動距離の両方の情報を用いて、図６Ｃのようなシステムにより、オペレータの経路である経路１０７ａをロボット１の経路１０７ｄとする制御の実現を図る（図６Ｂ参照）。
【００５４】
図６Ｃのシステム６０は、前記全方位光学系３２ａとステレオカメラ系３１ａ，３１ｂなどに相当するオペレータ相対位置検知センサ６１と、前記走行距離検出部２０と前記方向角検出部３０と制御部５０などとより構成するロボット現在位置検出部６２とにより、オペレータである人１０２の教示経路に対する位置を検出し、人１０２の経路を経路データベース６４に記憶する。また、ロボット現在位置検出部６２により検出されたロボット１の現在位置に基づき、教示経路を形成し、形成された教示経路を教示経路データベース６３に記憶させる。そして、ロボット現在位置検出部６２により検出されるロボット１の現在位置と、経路データベース６４に記憶された人１０２の経路と、教示経路データベース６３に記憶された教示経路とに基づき、人１０２に対する後追い経路を形成して、形成された後追い経路に沿ってロボット１が移動するように、制御部５０で駆動装置１０を駆動制御してロボット１を移動させる。
【００５５】
より具体的なロボット１の移動は以下の通りである。
【００５６】
（１）  ロボット１が、ロボット１の進行経路と現在のオペレータ１０２の相対位置を全方位光学系３２ａで撮像して検出し、オペレータである人１０２の進む経路を生成し、生成した経路を経路データベース６４に保存する（図６Ｂ）。
【００５７】
（２）  その経路データベース６４に保存したオペレータ１０２の経路を、現在のロボット１の経路と比較して、ロボット１の進行方向（移動方向）を決め、決められたロボット１の進行方向（移動方向）に基づき、制御部５０により駆動装置１０を駆動制御して、ロボット１が人１０２の後追いを行う。
【００５８】
前記のごとく、ロボット１が人１０２の後を追いかけ、ロボット移動時の位置情報を基本経路教示データ蓄積部３４に累積し、累積した位置情報を基に基本経路教示データを移動可能範囲算出部３５により作成し、作成された基本経路教示データを基に制御部５０により駆動装置１０を駆動制御してロボット１が基本経路１０４沿いに自律移動する手法を「プレイバック型ナビゲーション」と呼ぶことにする。
【００５９】
このプレイバック型ナビゲーションの内容を改めて記述すると、ロボット１が人に追随するように移動して、ロボット１が安全に移動可能な基本経路１０４をロボット１が学習し、ロボット１が自律移動するときには、ロボット１が、前記学習した基本経路１０４に沿ってプレイバック自律移動するものである。
【００６０】
図７のプレイバック型ナビゲーションの動作フローに示すように、プレイバック型ナビゲーションの動作は、２つのステップＳ７１とＳ７２とより構成されている。
【００６１】
１つ目のステップＳ７１は、人追随基本経路教示のステップである。このステップＳ７１では、ロボット１の自律移動前に基本経路を人１０２がロボット１に教示し、同時にロボット１が移動するときの周囲のランドマーク及び目標地点も全方位カメラ３２ａから基本経路教示データ蓄積部３４に取り込んで記憶する。次いで、基本経路教示データ蓄積部３４に記憶された教示経路／位置情報を基にロボット１の移動可能範囲算出部３５で、地図情報で構成された基本経路１０４を生成する。ここでの地図情報で構成された基本経路１０４は、駆動装置１０から得られるオドメトリベースの点と線の情報より構成されている。
【００６２】
２つ目のステップＳ７２はプレイバック型自律移動のステップである。このステップＳ７２では、安全確保技術（例えば、障害物検出部３６で検出された障害物１０３に接触しないように、障害物１０３とロボット１とが接触せずかつ障害物１０３の検出された位置から十分に安全な距離だけ離れた経路をロボット１が移動するように制御部５０が駆動装置１０を駆動制御するなどの技術）を用いて、ロボット１が障害物１０３を回避しつつ自律移動する。ロボット１の自律移動前に人１０２がロボット１に教示して基本経路教示データ蓄積部３４に記憶された基本経路１０４の情報をベースとし、ロボット１の移動時の経路情報（例えば、ロボット１が新たに障害物１０３を回避したという経路変更情報）は、ロボット１が障害物１０３を回避するなどして移動可能範囲算出部３５により追加経路情報が新たに生成される都度、追加経路情報が、基本経路教示データ蓄積部３４に記憶された地図情報に追加する。このようにして、ロボット１が基本経路１０４を移動しながら、点と線の地図情報（点と線で構成される基本経路１０４）から、面の地図情報（点と線で構成される基本経路１０４に対して幅方向（ロボット移動方向と直交する方向）の移動可能な範囲(追加経路情報)１０４ａを加えた移動可能範囲内経路）に成長させて、基本経路教示データ蓄積部３４に記憶させる。
【００６３】
以下に、前記２つのステップＳ７１とＳ７２を詳述する。
【００６４】
（ステップＳ７１、すなわち、人追随基本経路教示（人倣い基本経路学習））
図８Ａ〜図８Ｃは人追随基本経路教示のステップを示す。ロボット１が自律移動する前に基本経路１０４を人１０２がロボット１に教示し、同時にロボット１が移動するときの周囲のランドマーク及び目標地点も全方位カメラ３２ａから基本経路教示データ蓄積部３４に取り込んで記憶する。基本経路１０４の教示は、例えば部屋１１０内で人１０２が、机１１１や棚１１２や壁１１３などに接触しないように、安全な経路１０４Ｐを歩き、ロボット１を人１０２に追随するように移動させる。すなわち、全方位カメラ３２ａのある一定の部分に常に人１０２が位置するように、制御部５０で駆動装置１０を駆動してロボット１を移動させる。このようにして人１０２に追随移動させるときのロボットオドメトリ情報（例えば、左側エンコーダ２１からの左側駆動輪１００の回転数の情報と、右側エンコーダ２２からの右側駆動輪１００の回転数の情報）を、駆動装置１０から基本経路教示データ蓄積部３４にそれぞれ積算してそれぞれの移動量の情報として保存する。基本経路教示データ蓄積部３４に記憶された教示経路／位置情報を基に、ロボット１の移動可能範囲算出部３５で地図情報で構成された基本経路１０４を生成する。ここでの地図情報で構成された基本経路１０４は、オドメトリベースの点と線の情報より構成されている。
【００６５】
人追随基本経路教示は、全方位カメラ３２ａによる人位置検出を用いる。まず、ロボット１から見た、ロボット１に接近する人１０２の方向を全方位カメラ３２ａの画像から、人に対応する画像を抽出することにより人１０２を検出し、ロボット１の前部を人１０２の方向に向け、次に、ステレオカメラ３１ａ，３１ｂを用いてロボット１から見た人１０２の方向とロボット１と人１０２との間の距離を検出しながらロボット１が人１０２を追いかける。言い換えれば、例えば、ステレオカメラ３１ａ，３１ｂで得られる画像の所定領域内に常に人１０２が位置し、かつ、ロボット１と人１０２との間の距離が常に許容範囲（例えば、人１０２がロボット１に接触せずかつカメラ画像内から人１０２が外れない程度の距離の範囲）内に入るように、ロボット１の駆動装置１０を制御部５０で制御しながら、ロボット１が人１０２を追いかける。さらに、基本経路教示時に超音波センサ等の障害物検出部３６にて基本経路１０４の許容幅（移動可能範囲１０４ａ）を検出する。
【００６６】
図９Ａ〜図９Ｂに示すように、人追随基本経路を学習しながら、時系列に部屋１１０の天井１１４の全景を全方位カメラ３２ａにより記憶部５１に取込む。画像取込時の位置のオドメトリ情報とともに保存する。
【００６７】
（ステップＳ７２、すなわち、プレイバック型の自律移動）
図１０はプレイバック型のロボット１の自律移動を示す。前記安全確保技術を用いて、ロボット１が障害物１０３を回避しつつ自律移動する。毎回移動時の経路情報は、ロボット１の自律移動前に人１０２がロボット１に教示して基本経路教示データ蓄積部３４に記憶された基本経路１０４の情報をベースとし、ロボット１の移動時の経路情報（例えば、ロボット１が新たに障害物１０３を回避したという経路変更情報）は、ロボット１が障害物１０３を回避するなどして移動可能範囲算出部３５により追加経路情報が新たに生成される都度、追加経路情報が、基本経路教示データ蓄積部３４に記憶された地図情報に追加する。このようにして、ロボット１が基本経路１０４を移動しながら、点と線の地図情報（点と線で構成される基本経路１０４）から、面の地図情報（点と線で構成される基本経路１０４に対して幅方向（ロボット移動方向と直交する方向）の移動可能な範囲(追加経路情報)１０４ａを加えた移動可能範囲内経路）に成長させて、基本経路教示データ蓄積部３４に記憶させる。
【００６８】
自律移動時のロボット１の位置補正には、人追随基本経路教示時に同時に取得した時系列に天井全景画像及びオドメトリ情報を用いる。障害物１０３を障害物検出部３６で検知した場合、移動可能範囲算出部３５で局所的に経路を算出して移動経路生成部３７で生成し、生成された局所的な経路１０４Ｌに沿ってロボット１が移動するように駆動装置１０を制御部５０で制御して、前記検知した障害物１０３を回避し、その後、元の基本経路１０４へ復帰する。移動可能範囲算出部３５と移動経路生成部３７による前記局所経路算出生成の際に、複数の経路が発生した場合は、最短の経路を移動経路生成部３７により選定する。局所的に回避経路算出生成した際の経路情報（局所的な経路１０４Ｌに関する経路情報）は、基本経路教示データ蓄積部３４に記憶されたステップＳ７１の基本経路（地図）情報に追加される。これにより、ロボット１が基本経路１０４を自律移動しながら、点と線の地図情報（点と線で構成される基本経路１０４）から、面の地図情報（点と線で構成される基本経路１０４に対して幅方向（ロボット移動方向と直交する方向）の移動可能な範囲(追加経路情報)１０４ａを加えた移動可能範囲内経路）に成長させて、基本経路教示データ蓄積部３４に記憶させる。このとき、例えば、前記検知した障害物１０３が赤ん坊や老人などの人１０３Ｌの場合、不意にその周囲にさらに移動する場合も考えられるため、大きく迂回するように局所的な経路１０４Ｌを生成することが望ましい。また、ロボット１が液体などを搬送する場合を考えると、液体などが誤ってこぼれると損傷しやすいテレビなどの精密機器１０３Ｍの付近をロボット１が移動する場合には、精密機器１０３Ｍの付近をやや遠ざかるように湾曲して移動するように局所的な経路１０４Ｍを生成することが望ましい。
【００６９】
前記した第１実施形態によれば、基本経路１０４を人１０２が歩き、人１０２に追随してロボット１が基本経路１０４を移動することにより、基本経路１０４をロボット１に教示したのち、教示された基本経路１０４に沿ってロボット１が自律移動するとき、障害物１０３等を避けるための移動可能範囲を算出し、前記基本経路１０４と前記移動可能範囲とにより、ロボット１が実際に自律移動可能な移動経路１０６を生成することができる。
【００７０】
以上のようなロボット１の活用場面としては、例えば、家庭内での荷物を運搬するロボットが考えられる、家の玄関にてロボットが待機しており、オペレータである人が帰宅すると、その人から荷物をロボットが受け取り、同時に、荷物を置いた人を追随対象としてロボットが認識し、その人の後ろをロボットが追随してロボットが荷物を運ぶ。このとき、家庭内のロボットの移動経路においては、公共の場と異なり、多数の障害物が存在していることが多い。しかしながら、障害物を回避する手段を備えている第１実施形態のロボットは、人の移動経路を追随することにより、その障害物を回避することができる。これは、第１実施形態のロボット１が移動経路とした経路は、直前にオペレータである人１０２が通った移動経路であるため、障害物が存在する確率が低いためである。もし万が一、人１０２が通過した後に障害物が現れても、ロボット１に搭載された障害物検出部３６により、障害物を検出して、検出された障害物をロボット１が回避することが可能である。
【００７１】
（第２実施形態）
次に、本発明の第２実施形態かかるロボット制御装置及び方法において、移動体の検出を行う移動体検出装置（人移動検知部３１に相当。）及び方法について、図１２Ａ〜図１８Ｄに沿って詳述する。なお、ここで言う「移動体」とは、人、動物、又は、自動的に移動する機器（自律移動可能なロボット、自律走行型掃除機など）などを指す。また、移動体検出装置１２００は、第１実施形態かかるロボット制御装置に新たに付加されるものであるが（図１Ａ参照）、その一部の構成要素は、第１実施形態かかるロボット制御装置の構成要素を兼用することも可能なものである。
【００７２】
前記移動体検出装置及び方法には、オプティカルフローを用いている。
【００７３】
前記移動体検出装置及び方法について説明する前に、まず、オプティカルフローの説明を図１３に示す。
【００７４】
通常、オプティカルフローは、図１３の対応点２０１に示すように、処理対象の全画面に格子点状にフローを算出する対応点２０１を配置し、時系列に継続する複数の画像上で各対応点２０１に対応する点をそれぞれ検出し、各対応点２０１に対応する点間の移動量を検出して、各対応点２０１毎のフローを得る。このため、対応点２０１は全画面に等間隔に格子点状に配置し、その対応点２０１毎にフロー算出するため、膨大な演算量となる。また、対応点２０１が多いほど、ノイズフロー検出の可能性が高まり、誤検出しやすくなる。
【００７５】
ここで、全方位光学系３２ａを用いる場合、図１６Ａの全方位カメラ画像３０２及び全方位カメラ画像３０２から対応点のみを取り出した図１６Ｂの対応点図に示すように、人１０２の足元（床に近い）領域３０２ａとなる画像中央部分の対応点３０１、及び、全方位カメラの視野外となる画像の四隅の領域３０２ｂの対応点３０１では、人及び物体の移動により発生するオプティカルフロー以外のフロー（ノイズフロー）が発生しやすい。
【００７６】
そこで、本発明の第２実施形態のロボット制御装置及び方法の移動体検出装置及び方法では、対応点（フロー算出点）３０１を配置する領域を、全画面領域に均等に配置するのではなく、ロボット１に接近する移動体の特定領域に限定し、演算量及び演算コストを削減するものである。全方位光学系３２ａの一例として全方位カメラを用いた場合の画像の実例を図１４Ａに示すとともに、その画像に対する対応点の種々の配置例を図１４Ｂ〜図１４Ｅにそれぞれ示す。
【００７７】
全方位カメラを用いて撮像された全方位カメラ画像３０２の場合（図１４Ａ）、人１０２は、画像３０２の外側円周上に現れる。このため、図１４Ｂの対応点３０１は、画像３０２の外側円周上に配置する。具体例として、２５６×２５６画素サイズの全方位カメラ画像の場合、全方位カメラ画像の外側円周上に１６画素程度の間隔で配置する。また、全方位カメラ画像３０２の内側円周上は人１０２の足等が現れ、位置検出には不適切なノイズフローが現れやすい。さらに、全方位カメラ画像３０２の場合、全方位カメラ画像３０２の四隅は、有意な画像範囲外となり、対応点によるフロー演算は不要である。従って、図１４Ｂのように、全方位カメラ画像３０２の外側円周上にフロー対応点３０１を配置しかつ内側円周上にはフロー対応点３０１を配置しないようにすると、演算コスト及びノイズ対策両面で有利となる。
【００７８】
また、図１４Ｃのように、ロボット１に対して接近する人１０２に限定して人１０２を検出する場合、全方位カメラ画像３０２の最外周の円周上のみにフロー対応点３１１を配置してもよい。
【００７９】
さらに、図１４Ｄのように、人１０２の接近と障害物１０３の接近の両方で検知する場合は、全方位カメラ画像３０２の最外周の円周及び最内周の円周上のみにフロー対応点３１２を配置してもよい。
【００８０】
また、図１４Ｅのように、高速演算のため、全方位カメラ画像３０２のｘ方向（図１４Ｅの横方向）及びｙ方向（図１４Ｅの縦方向）にそれぞれ等間隔に、格子状にフロー対応点３１３を配置してもよい。具体例として、２５６×２５６画素サイズの全方位カメラ画像の場合、全方位カメラ画像のｘ方向に１６画素、ｙ方向に１６画素の間隔で配置する。
【００８１】
第２実施形態の移動体検出方法を行うための移動体検出装置１２００は、図１２Ａに示すように、フロー算出対応点位置算出配置部１２０１と、時系列画像取得部１２０２と、移動量算出部１２０３と、移動体移動判断部１２０４と、移動体領域抽出部１２０５と、距離画像算出部１２０６ａと、距離画像特定範囲移動部１２０６ｂと、移動体領域判定部１２０６ｃと、移動体位置特定部１２０６ｄと、距離算出部１２０６ｅと、記憶部５１とを備えるように構成している。
【００８２】
前記フロー算出対応点位置算出配置部１２０１は、全方位光学系３２ａの一例である全方位カメラにより撮像された図１４Ａに示す全方位カメラ画像３０２を時系列に記憶部５１に取り込んだ全方位時系列画像の場合、図１４Ｂ，図１４Ｃ，図１４Ｄ，又は図１４Ｅに示すように、全方位時系列画像の円周上に有意な前記対応点３０１，３１１，３１２，又は３１３の位置を算出する。フロー算出対応点位置算出配置部１２０１は、対応点位置算出配置変更部１２０１ａをさらに備えて、予め移動体例えば人１０２の動きに合わせて算出及び配置する検出する（フロー算出）対応点位置を、移動体例えば人１０２の位置に合わせて、その都度、対応点位置算出配置変更部１２０１ａにより変更するようにしてもよい。このようにすれば、より一層、演算コスト及びノイズ対策両面で有利となる。また、このフロー算出対応点位置算出配置部１２０１で算出したフロー算出対応点位置の対応点３０１，３１１，３１２，又は３１３毎に、移動量算出部１２０３において、オプティカルフローを算出する。
【００８３】
前記時系列画像取得部１２０２は、オプティカルフロー演算向けに適切な時間間隔で画像を取り込む。例えば、全方位カメラにより撮像した全方位カメラ画像３０２を、数百ｍｓ毎に、時系列画像取得部１２０２により、記憶部５１に入力して記憶する。全方位カメラにより撮像した全方位カメラ画像３０２を用いる場合、ロボット１の周囲の３６０度の範囲内でロボット１に接近する移動体を検知可能であるため、接近する移動体の検知のために、移動体検知用カメラの移動及び回転の必要がない。また、時間遅延なく追随対象となる、接近する移動体（例えば基本経路を教示する人）が、ロボット１に対していずれの方向から接近しても、その移動体の検知が容易にかつ確実に可能となる。
【００８４】
前記移動量算出部１２０３は、フロー算出対応点位置算出配置部１２０１で算出された対応点３０１，３１１，３１２，又は３１３毎に、の時系列画像取得部１２０２で取得した時系列画像間で対応点３０１，３１１，３１２，又は３１３の位置関係を検知する。通常は、時系列画像の古い方の対応点３０１，３１１，３１２，又は３１３よりなる対応点ブロックをテンプレートとし、時系列画像の新しい方の時系列画像上でテンプレートマッチングを行う。このテンプレートマッチングで得られた、一致点の情報と、古い方の画像の対応点ブロック位置の位置ズレ情報をフローとして算出する。テンプレートマッチング時の一致度等もフロー演算情報として算出する。
【００８５】
前記移動体移動判断部１２０４では、対応点３０１，３１１，３１２，又は３１３毎に算出移動量を移動体の移動に合致するか否か判断する。より具体的には、この移動体移動判断部は、対応点ブロック位置の位置ズレ情報及び、フロー演算情報等を用いて、移動体が移動したかどうかを判断する。この場合、全画面で同じ判断基準を用いると、例えば移動体の例である人の足と頭の場合、人の足をフローとして検出する可能性が高くなる。しかし、実際には、人の頭を優先してフロー検知する必要がある。このため、この第２実施形態では、フロー算出対応点位置算出配置部１２０１で配置した対応点３０１，３１１，３１２，又は３１３毎に異なる判断基準を用いる。一つの実例として、全方位カメラ画像のフロー判断基準として、全方位カメラ画像の内側（具体例として、全方位カメラ画像の中心より半径１／４（横画像サイズ）より内側）では放射方向フローを残し、全方位カメラ画像の外側（具体例として、全方位カメラ画像の中心より半径１／４（横画像サイズ）より外側）では、放射と同心円の両方向フローを残す。
【００８６】
移動体領域抽出部１２０５は、合致した対応点群を統合して移動体領域を抽出する。すなわち、移動体領域抽出部１２０５は、対応点毎に算出移動量を移動体の移動に合致するか否か判断する移動体移動判断部１２０４にて合格判定したフロー対応点を統合し、移動体領域として抽出する。図１５Ａに示すように、移動体移動判断部１２０４で合格判定した対応点群４０１を囲む領域を、移動体領域抽出部１２０５により抽出する。図１５Ｂに示すように、参照符号４０２で囲まれた台形状の領域が、抽出した前記移動体領域（移動体の一例としての人の場合の人領域）の例である。なお、図１５Ｃは、人１０２の人領域のパノラマ展開画像５０２を用い、人領域パノラマ展開画像５０２の特定濃淡値射像（縦方向は５０３、横方向は５０４で示す。）より、頭を抽出した結果の説明図である。頭を抽出した領域を５０１で示す。
【００８７】
前記距離画像算出部１２０６ａは、ロボット１の周囲の特定範囲の距離画像（距離画像特定範囲）を算出する。距離画像とは、ロボット１に対して、より距離の近いものを明るく表現した画像である。特定範囲は、ロボット１の正面に対して例えば±３０°（経験値で決定。センサ等の感度によって可変。）の範囲と予め設定しておく。
【００８８】
前記距離画像特定範囲移動部１２０６ｂは、前記移動体領域抽出部１２０５により抽出された移動体領域の一例としての人領域４０２の範囲に前記距離画像特定範囲が合うように、前記人領域４０２の範囲の移動に合わせて前記距離画像特定範囲を移動させる。具体的には、図１８Ａ〜図１８Ｄに示すように、対応点群４０１を囲む人領域４０２の中心と画像の中心とを結ぶ線と図１８Ａのロボット１の前方向との角度を距離画像特定範囲移動部１２０６ｂにより求めることにより、図１８Ａにおいて参照符号４０４の人１０２の方向角α（図１８Ａのロボット１の前方向を方向角の基準角０°とする。）が算出できる。算出した角度（方向角）αに対応して、ロボット１の周囲の特定範囲の距離画像（距離画像特定範囲）を移動させて、人領域４０２の範囲に前記距離画像特定範囲を合わせるようにする。このように人領域４０２の範囲に合わせるように距離画像特定範囲を移動させるためには、具体的には、駆動装置１０により、両方の駆動輪１００を互いに逆回転させて、その場でロボット１の方向を前記角度（方向角）αだけ回転させて、前記抽出した人領域４０２の範囲に前記距離画像特定範囲が合うようにする。これにより、前記距離画像特定範囲、言い換えれば、距離画像算出部１２０６ａの一部を構成する距離画像検出センサの一例であるステレオカメラ系３１ａ，３１ｂにより撮像できる範囲内であるロボット１の前方に、検出した人１０２を位置させることができる。
【００８９】
前記移動体領域判定部１２０６ｃは、距離画像算出部１２０６ａにより移動された後の距離画像特定範囲内の移動体領域を判定する。例えば、距離画像特定範囲内の濃淡画像のうち面積最大のものを移動体領域と判定する。
【００９０】
前記移動体位置特定部１２０６ｄは、得られた距離画像移動体領域より移動体例えば人１０２の位置を特定する。人１０２の位置を特定する具体的な例としては、図１８Ｃにおいて、人領域の重心位置（図１８Ｃの十字線の交点９０４）を人１０２の位置及び方向として算出することにより、人１０２の位置を特定することができる。
【００９１】
前記距離算出部１２０６ｅは、前記距離画像上の移動体例えば人１０２の位置より、ロボット１から人１０２までの距離を算出する。
【００９２】
前記構成にかかる移動体検出装置１２００を使用して、移動体検出動作を行うことについて、図１８Ａ〜図１９などを参照しながら説明する。
【００９３】
まず、ステップＳ１９１では、距離画像算出部１２０６ａに距離画像を入力する。具体的には、以下の動作を行う。図１８Ａにおいて、距離画像算出部１２０６ａの具体的な例としては、ロボット１の周囲の特定範囲の距離画像（距離画像特定範囲）を算出する距離画像検出センサと距離画像検出センサで検出された距離画像の演算を行う距離画像演算部とで構成することができる。前記移動体移動判断部１２０４及び人１０２の方向角４０４及び距離画像特定範囲移動部１２０６ｂにより、人１０２はロボット１の周囲の特定範囲に位置するものとする。平行光軸のステレオカメラ３１ａ，３１ｂを距離画像検出センサの一例として用いれば、左右のステレオカメラ３１ａ，３１ｂの対応点が同一走査線上に現れ、高速な対応点検出及び三次元距離算出が距離画像算出部１２０６ａにより可能である。左右のステレオカメラ３１ａ，３１ｂの対応点検出及び距離画像算出部１２０６ａによる三次元距離算出結果である距離画像を図１８Ｄに９０２で示す。距離画像９０２において、ステレオカメラ３１ａ，３１ｂでは、ロボット１に対して、より距離の近いものを明るく表現する。
【００９４】
次いで、ステップＳ１９２では、ロボット１に至近の物体（言い換えれば、距離画像９０２上で一定の明るさ（予め決められた閾値を超える明るさ）を持つ領域）を人領域としてにより検出する。検出結果を２値化した画像が、人領域として検出した図１８Ｄの画像９０３である。
【００９５】
次いで、ステップＳ１９３では、前記距離算出部１２０６ｅにより、図１８Ｄの人領域として検出した画像９０３の人領域（濃淡画像を「０」と「１」で２値化したとき、人の居る領域に相当する「１」の領域）で距離画像９０２をマスク（画像間ＡＮＤ演算）し、人領域の距離画像を前記距離算出部１２０６ｅにより特定する。前記人領域の距離（人領域の濃淡値（距離値））を前記距離算出部１２０６ｅにより平均して、人１０２の位置(ロボット１と人１０２との距離)とする。
【００９６】
次いで、ステップＳ１９４では、上記平均して得られた濃淡値（距離値）を、前記距離算出部１２０６ｅの距離値−実距離値変換テーブルに代入し、ロボット１と人１０２との間の距離Ｌを前記距離算出部１２０６ｅにより算出する。距離値−実距離値変換テーブルの一例としては、図１７に、全方位カメラ画像のパノラマ展開画像で人１０２への距離が異なる画像を並べた画像８０１において、ロボット１と人１０２との間の距離が１００ｃｍのとき５０ｃｍ／１０画素ならば±２．５ｃｍ／画素、前記距離が２００ｃｍのとき５０ｃｍ／５画素ならば±５ｃｍ／画素、前記距離が３００ｃｍのとき５０ｃｍ／２．５画素ならば±１０ｃｍ／画素である。
【００９７】
次いで、ステップＳ１９５では、画像９０３の人領域の重心位置を前記移動体位置特定部１２０６ｄにより算出する。重心位置のｘ座標を、前記移動体位置特定部１２０６ｄの重心ｘ座標−人方向変換テーブルに代入し、人の方向βを前記移動体位置特定部１２０６ｄにより算出する。
【００９８】
次いで、ステップＳ１９６では、前記ロボット１と人１０２との間の距離Ｌと人の方向βを第１実施形態の制御装置のロボット移動量検出部３２に送り、人１０２の移動経路を再現させる方向にロボット１の移動方向及び移動距離よりなる移動量を検出する。
【００９９】
次いで、ステップＳ１９７では、前記検出した、ロボット１の移動方向及び移動距離よりなる移動量に従いロボット１を移動させる。ロボット移動時のオドメトリデータをロボット基本経路教示データ変換部３３に蓄積する。
【０１００】
このようにステップＳ１９１〜Ｓ１９７の演算を繰り返すことで、人１０２を特定し、継続して前記ロボット１と人１０２との間の距離Ｌと人の方向βの検知を行うことができる。
【０１０１】
なお、人１０２が追随走行を教示する動作を確認する方法（図１Ｂの３８を参照）としては、最も接近し、ロボット１と接触する人１０２が人追随対象者（ターゲット）であるとの知見に基づき、複数の対象者が混在する場合の教示対象者識別部３８として組み込むことが考えられる（図１２Ｂ参照）。具体的な教示対象者識別部３８の例としては、ロボット１の特定位置に設置したスイッチを押す、音声を発声させてマイクなどの音声入力装置により音源位置推定する等の例がある。あるいは、人１０２がＩＤ共振タグ等を所持し、ＩＤ共振タグを読み取り可能な読取装置をロボット１に備えて、特定人の検定をさせる例もある。これにより、図１２Ｂに示すように、ロボット追随対象者を特定し、同時にロボット人追随動作開始のトリガとして利用することができる。
【０１０２】
以上のように、第２実施形態においては、前記構成により、ロボット１から人１０２の距離と方向を検出することで、追随走行において、人１０２の位置をそのまま追いかけた場合、正しい経路生成ができない場合を回避できる（図６Ａ及び図６Ｂ参照）。これは、人１０２の方向のみを検出した場合で、例えば図６Ａのごとく人１０２の経路１０７ａが直角コーナとなった時、ロボット１は直角に人１０２を後追いせず、近道を経路１０７ｃとして生成することがある。本発明の第２実施形態では、人１０２の方向と距離を得ることにより直角コーナの人１０２の経路１０７ａをロボット１の経路１０７ｄとする制御の実現を図る（図６Ｂ参照）。このような経路１０７ｄの生成手順を下記する。
【０１０３】
（１）ロボット１が自分の進行経路と現在のオペレータ１０２の相対位置を見て、オペレータ１０２の経路１０７ａを生成し、これを保存する（図６Ｂ）。
【０１０４】
（２）その保存したオペレータ１０２の経路１０７ａをロボット１が現在の自分の経路１０７ｄと比較してロボット１の進行方向を決め、ロボット１がオペレータ１０２の後追いを行うことにより、オペレータ１０２の経路１０７ａに沿ったロボット１の経路１０７ｄで移動することができる。
【０１０５】
前記第２実施形態にかかる前記構成によれば、移動体、例えば経路を教示する人１０２を特定し、継続して人１０２の検知（例えば、ロボット１と人１０２との間の距離及びロボット１から見た人１０２の方向の検知）を行うことができる。
【０１０６】
（第３実施形態）
次に、本発明の第３実施形態にかかるロボット制御装置及び方法のロボット位置決め装置及び方法について図２０Ａ〜図２６に沿って詳述する。以下の第３実施形態にかかるロボット制御装置は、第１実施形態かかるロボット制御装置に新たに付加されるものであるが、その一部の構成要素は、第１実施形態かかるロボット制御装置の構成要素を兼用することも可能なものである。
【０１０７】
図２０Ａに示すように、第３実施形態にかかるロボット制御装置のロボット位置決め装置は、大略、駆動装置１０と、走行距離検出部２０と、方向角検出部３０と、位置ずれ情報算出部４０と、制御部５０とを備えて構成されている。なお、図２０Ａでは、第１実施形態のロボット制御装置において図１Ａに図示された、移動検知部３１〜移動経路生成部３７、教示対象者識別部３８、移動体検出装置１２００などの部材は図示を省略している。図１Ａには、第１から３実施形態にかかるロボット制御装置を示すために、前記位置ずれ情報算出部４０なども図示している。
【０１０８】
この第３実施形態にかかるロボット制御装置の駆動装置１０は、自律走行車の例であるロボット１の前後進、及び左右側の移動を制御するものであって、第１実施形態にかかるロボット制御装置の駆動装置１０と同じものである。なお、ロボット１のより具体的な例としては、自律走行型掃除機が挙げられる。
【０１０９】
さらに、この第３実施形態にかかるロボット制御装置の走行距離検出部２０は、第１実施形態にかかるロボット制御装置の走行距離検出部２０と同じものであって、前記駆動装置１０により移動されるロボット１の走行距離を検出するものである。
【０１１０】
また、方向角検出部３０は、第１実施形態にかかるロボット制御装置の方向角検出部３０と同様に、前記駆動装置１０により移動されるロボット１の走行方向変化を検出するものであって、前記方向角検出部３０は、前記駆動装置１０により移動されるロボット１の回転時に変化する電圧レベルに従ってロボット１の回転速度を感知して走行方向変化を検出するジャイロセンサなどの方向角センサである。
【０１１１】
位置ずれ情報算出部４０は、前記駆動装置１０により移動されるロボット１の移動経路（基本経路１０４）に存在する天井１１４及び壁面１１３までの目標地点を検出し、予め記憶部５１にキーボードやタッチパネルなどの入出力部５２から入力した目標地点との位置ずれ情報を算出するものであって、前記位置ずれ情報算出部４０は、前記ロボット１の移動経路に存在する天井１１４及び壁面１１３までの目標地点を検出する、ロボット１に付属した全方位カメラ部４１を備えるように構成されている。なお、入出力部５２には、目標地点など必要な情報を適宜表示し人が確認するためのディスプレイなどの表示装置も備えている。
【０１１２】
前記位置ずれ情報算出部４０のロボット付属全方位カメラ部４１は、前記ロボット１の移動経路に存在する天井１１４及び壁面１１３までの目標地点を検出するロボット付属全方位カメラ４１１（図１Ｂなどの全方位カメラ３２ａに相当。）と、全方位カメラ４１１の画像を入力処理する全方位カメラ処理部４１２と、前記ロボット付属全方位カメラ４１１の、ロボット１が走行する床面１０５からの高さを検出するカメラ高さ検出部４１４（例えば、上向きの超音波センサ）と、該全方位カメラ４１１を天井１１４及び壁面１１３に向けて配置されるように、ロボット１の支柱３２ｂに対して、モータなどの駆動によりボールねじを回転させてボールねじに螺合したブラケットに固定された全方位カメラ４１１を高さ調整可能（昇降可能）に配置する全方位カメラ高さ調整部４１３とを備えるように構成されている。
【０１１３】
また、図２０Ａにおいて、制御部５０には、前記走行距離検出部２０により検出された走行距離データ及び前記方向角検出部３０により検出された走行方向データが所定時間間隔で入力されて、前記ロボット１の現在位置を制御部５０で演算し、前記位置ずれ情報算出部４０により算出された天井１１４及び壁面１１３までの目標地点に対する位置ズレ情報が制御部５０に入力され、その位置ズレ情報結果に従って制御部５０により駆動装置１０を制御して前記ロボット１の移動経路を制御することによって、前記ロボット１が正常軌道（すなわち基本経路）から逸脱せずに目標地点まで正確に走行できるよう制御する中央処理装置ＣＰＵである。
【０１１４】
以下、前記のように構成されたロボット１の位置決め装置及び方法、及びその制御装置及び方法の作用、効果について述べる。図２１は、第３実施形態による移動ロボット位置決め方法の制御フローチャートである。
【０１１５】
図２０Ｂに示されるように、全方位カメラ処理部４１２は、変換抽出部４１２ａと、変換抽出記憶部４１２ｆと、第１相互相関マッチング部４１２ｂと、回転角ズレ量変換部４１２ｃと、第２相互相関マッチング部４１２ｄと、位置ズレ量変換部４１２ｅとで構成されている。
【０１１６】
前記変換抽出部４１２ａは、画像入力部の一例として機能する全方位カメラ４１１により入力した画像から天井１１４及び壁面１１３の全景周辺部画像と天井１１４及び壁面１１３の全景中央部画像を変換及び抽出する（ステップＳ２１０１）。
【０１１７】
前記変換抽出記憶部４１２ｆは、予め指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を前記変換抽出部４１２ａから入力して、変換及び抽出及び記憶する（ステップＳ２１０２）。
【０１１８】
前記第１相互相関マッチング部４１２ｂは、現時点（位置決め動作を行う時点）で入力した天井及び壁面全景周辺部画像と、前記変換抽出記憶部４１２ｆに予め記憶した指定位置の天井及び壁面全景周辺部画像とで相互相関マッチングを行う（ステップＳ２１０３）。
【０１１９】
前記回転角ズレ量変換部４１２ｃは、前記第１相互相関マッチング部４１２ｂにより前記マッチングにて得られた横方向位置関係（ズレ量）を回転角ズレ量に変換する（ステップＳ２１０４）。
【０１２０】
前記第２相互相関マッチング部４１２ｄは、現時点で入力した天井及び壁面全景中央部画像と、前記変換抽出記憶部４１２ｆに予め記憶した指定位置の天井及び壁面全景中央部画像とで相互相関マッチングを行う（ステップＳ２１０５）。
【０１２１】
前記位置ズレ量変換部４１２ｅは、前記第２相互相関マッチング部４１２ｄによる前記マッチングにて得られた縦横方向位置関係を位置ズレ量に変換する（ステップＳ２１０６）。
【０１２２】
このような構成の全方位カメラ処理部４１２により、位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い、位置姿勢ズレ検出（前記回転角ズレ量変換部で得られた回転角ズレ量と前記位置ズレ量変換部で得られた位置ズレ量の検出）を行い、自己位置を認識して、回転角ズレ量と位置ズレ量がそれぞれ許容範囲内となるように補正すべく制御部５０で駆動装置１０を駆動制御することにより、前記ロボット制御装置で前記ロボット１を自律移動させるように制御している。以下に、これを詳しく説明する。なお、ここでいう、前記ロボット１の自律移動とは、前記ロボット１と人１０２などの移動体との距離が許容範囲内となるように一定の距離をあけて、かつ、ロボット１からの人１０２などの移動体への方向が許容範囲内となるように人１０２などの移動体が移動する経路に沿って、人１０２などの移動体にロボット１が追随して移動することを意味する。
【０１２３】
まず、全方位画像入力部の一例として機能する全方位カメラ４１１と、前記全方位画像入力部として機能する全方位カメラ４１１を天井１１４及び壁面１１３に向けて高さ調整可能に配置する全方位カメラ高さ調整部４１３と、前記画像入力部として機能する全方位カメラ４１１により入力した画像から天井１１４及び壁面１１３の全景周辺部画像と天井１１４及び壁面１１３の全景中央部画像を変換及び抽出する変換及び抽出部４１２ａとを用いて、予め指定位置にて、基準となる天井１１４及び壁面１１３の全景中央部画像と天井１１４及び壁面１１３の全景周辺部画像を入力し変換及び抽出するとともに記憶する。図２５Ｂの６０１は第３実施形態によるあらかじめ指定位置入力し変換及び抽出及び記憶した、基準となる天井及び壁面の全景中央部画像と天井及び壁面の全景周辺部画像である（図２６参照）。第３実施形態では、全方位画像入力部として機能する全方位カメラ４１１にはＰＡＬ型レンズ又は魚眼レンズを用いている（図２２参照）。
【０１２４】
ここで、全方位カメラ４１１と、前記全方位カメラ４１１を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部４１３と、前記全方位カメラ４１１により入力した画像から天井及び壁面全景周辺部画像を変換及び抽出する変換及び抽出部４１２ａを使用する手順の１つの実例を、図２３の上半部及び式４０３にて示す。前記手順で変換及び抽出した画像の１つの実例が４０１である。
【０１２５】
【数１】
2006185438.tif 000003
・・・・・・・  式４０３
【０１２６】
次に、全方位カメラ４１１と、前記全方位カメラ４１１を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部４１３と、前記全方位カメラ４１１により入力した画像から天井及び壁面全景中央部画像を変換及び抽出する変換及び抽出部４１２ａを使用する手順の１つの実例を、図２３の下半部及び式４０４にて示す。
【０１２７】
【数２】
2006185438.tif 000004
・・・・・・・  式４０４
【０１２８】
【数３】
2006185438.tif 000005
・・・・・・・式４０５
【０１２９】
また、式４０５の内容を図２４に示す。図２４でＸ及びＹ及びＺは全方位カメラ４１１にて入力した対象物の位置座標、ｘ及びｙは変換した対象物の位置座標である。通常は天井１１４は一定の高さであるため、Ｚの値は、天井１１４上で一定値と仮定し、計算を簡略化している。Ｚの値を算出するには、対象物高さ検出部（例えば、上向きの超音波センサ）４２２による検出結果と、カメラ高さ検出部４１４による検出結果を用いる。これを図２４の式（４）に示す。この変換により全方位画像入力部の周辺歪みが除去され、以下に記す相互相関マッチング演算が可能となる。
【０１３０】
前記変換は、極座標状画像を格子状画像に変換するため、導出している。式（４）の項を入れることで、半球状／同心円状の歪み変化を算入できる。前記手順で抽出した画像の１つの実例が４０２（図２３）である。
【０１３１】
前記手順にて算出した、あらかじめ指定位置入力し変換及び抽出及び記憶した、基準となる天井及び壁面全景中央部画像の１つの実例が図２５Ｃ及び図２６の６１２である。また、あらかじめ指定位置入力し変換及び抽出及び記憶した、基準となる天井及び壁面全景周辺部画像の１つの実例が図２５Ｂの６１１である。
【０１３２】
現時点で、全方位カメラ４１１と、前記全方位カメラ４１１を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部４１３と、前記全方位カメラ４１１により入力した画像から天井及び壁面全景周辺部画像と天井及び壁面全景中央部画像を変換及び抽出する変換抽出部４１２ａとを用いて、予め指定位置にて、基準となる天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を入力し変換及び抽出する。図２５Ａ及び図２６の６０２及び６２１及び６２２は、１つの実例による、現時点で入力（入力画像を６０２で示す。）し変換及び抽出及び記憶した、天井及び壁面全景中央部画像（６２２）と天井及び壁面全景周辺部画像（６２１）である。
【０１３３】
あらかじめ指定位置にて、天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像を入力し変換及び抽出及び記憶した際の手順と同様に、現時点の天井及び壁面全景中央部画像と天井及び壁面全景周辺部画像も、図２３の処理手順で変換及び抽出する。
【０１３４】
図２５Ｃの６５１に、現時点で入力した天井及び壁面全景周辺部画像と、あらかじめ記憶した指定位置の天井及び壁面全景周辺部画像とで、１つの実例による相互相関マッチングを行う状況を示す。基準となる天井及び壁面全景周辺部画像６１１と、変換及び抽出及び記憶した天井及び壁面全景周辺部画像６２１との間の横方向ズレ量６３１が、姿勢（角度）ズレ量を示す。横方向ズレ量をロボット１の回転角度（姿勢）に換算できる。
【０１３５】
図２５Ｃの画像６５２に、現時点で入力した天井及び壁面全景中央部画像と、あらかじめ記憶した指定位置の天井及び壁面全景中央部画像とで、１つの実例による相互相関マッチングを行う状況を示す。基準となる天井及び壁面全景中央部画像６１２と、変換及び抽出及び記憶した、天井及び壁面全景中央部画像６２２との間のＸＹ横方向ズレ量６３２及び６３３（Ｙ方向ズレ量６３２及びＸ方向ズレ量６３３）が、位置ズレ量を示す。
【０１３６】
前記２つの位置ズレ量から、位置姿勢ズレ検出を行い自己位置認識することができる。また、天井及び壁面全景周辺部画像及び、天井及び壁面全景中央部画像には、所謂ランドマークは使われていない。
【０１３７】
前記それぞれの実施形態において、天井を基準にしているのは、通常は天井には凹凸が少なく一定高さであると仮定しやすく、基準点として取り扱いやすいからである。これに対して、壁面などは、移動体が存在したり、家具などか配置されていても、移動されたり、新たに家具が配置されたりすることがあるため、基準点として取り扱いにくいと考えられる。
【０１３８】
なお、前記種々の全方位カメラ画像において、中心に映っている黒い円は、カメラ本体である。
【０１３９】
なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
【０１４０】
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
【産業上の利用可能性】
【０１４１】
本発明は、自律移動ロボットが自律移動で移動可能範囲を認識しつつ移動可能な経路を生成するロボット制御装置及び方法に関する。ここでいう、前記ロボットの自律移動とは、前記ロボットと人などの移動体との距離が許容範囲内となるように一定の距離をあけて、かつ、ロボットからの人などの移動体への方向が許容範囲内となるように人などの移動体が移動する経路に沿って、人などの移動体にロボットが追随して移動することを意味する。本発明は、特に誘導路として床面に部分的に磁気テープや反射テープ等を敷設せずに、例えば、自律移動ロボットにアレーアンテナ、人に送信機等を設け、ロボット前方に存在する人の方向角を時系列に検出し、人の移動に合わせてロボットも移動させ、基本経路を人が歩いて倣い経路教示して、移動可能範囲を認識しつつ移動可能な経路を生成するロボット制御装置に関する。本発明の１つの態様のロボット制御装置及び方法では、移動経路範囲を人の後追いとロボット自律移動にて教示させることができる。さらに、本発明の別の態様のロボット制御装置及び方法では、移動体を特定し継続して移動体の（距離及び方向）検知を行うこともできる。また、本発明のさらに別の態様のロボット制御装置及び方法では、位置姿勢既知の基準となる天井及び壁面全景画像と、入力した天井及び壁面全景画像とでマッチングを行い位置姿勢ズレ検出を行い自己位置認識することもできる。
【図面の簡単な説明】
【０１４２】
【図１Ａ】本発明の第１〜第３実施形態によるロボット制御装置の制御ブロック図である。
【図１Ｂ】本発明の前記第１実施形態によるロボット制御装置により制御されるロボットの正面図である。
【図２】本発明の前記第１実施形態によるロボット制御装置により制御されるロボットの側面図である。
【図３】本発明の前記第１実施形態によるロボット制御装置により制御されるロボットの基本経路の直接教示を説明するための説明図である。
【図４】本発明の前記第１実施形態によるロボット制御装置により制御されるロボットの移動可能範囲の学習を説明するための説明図である。
【図５】本発明の前記第１実施形態によるロボット制御装置により制御されるロボットの移動可能範囲内経路の生成を説明するための説明図である。
【図６Ａ】本発明の前記第１実施形態によるロボット制御装置において、人の方向角を時系列に監視し時系列方向角変化データより人の移動を検知する場合を説明するための説明図である。
【図６Ｂ】本発明の前記第１実施形態によるロボット制御装置において、人の方向角を時系列に監視し時系列方向角変化データより人の移動を検知する場合を説明するための説明図である。
【図６Ｃ】本発明の前記第１実施形態によるロボット制御装置において、人の方向角を時系列に監視し時系列方向角変化データより人の移動を検知する場合を説明するためのブロック図である。
【図７】本発明の前記第１実施形態によるロボット制御装置において、プレイバック型ナビゲーションの動作を示すフローチャートである。
【図８Ａ】本発明の前記第１実施形態によるロボット制御装置において、人追随基本経路教示の動作を説明するための説明図である。
【図８Ｂ】本発明の前記第１実施形態によるロボット制御装置において、人追随基本経路教示の動作を説明するための全方位カメラで撮像した画像の図である。
【図８Ｃ】本発明の前記第１実施形態によるロボット制御装置において、人追随基本経路教示の動作を説明するためのロボットが部屋内を移動する状態を説明する図である。
【図９Ａ】本発明の前記第１実施形態によるロボット制御装置において、人追随基本経路教示の動作を説明するための説明図である。
【図９Ｂ】本発明の前記第１実施形態によるロボット制御装置において、人追随基本経路教示の動作を説明するため、ロボットが部屋内を移動する状態とともに全方位光学系の時系列の天井全景画像の図である。
【図１０】本発明の前記第１実施形態によるロボット制御装置において、プレイバック型自律移動を説明するため、ロボットが部屋内を移動する状態と全方位光学系の時系列の天井全景画像の図である。
【図１１Ａ】本発明の前記第１実施形態によるロボット制御装置において、人検出の場合の全方位光学系の天井全景画像の図である。
【図１１Ｂ】本発明の前記第１実施形態によるロボット制御装置において、人検出の場合の人追随の場合を説明するための図である。
【図１２Ａ】本発明の前記第２実施形態による移動ロボット制御装置の制御ブロック図である。
【図１２Ｂ】本発明の前記第２実施形態の変形例による移動ロボット制御装置の制御ブロック図である。
【図１３】従来技術であるオプティカルフローを示す図である。
【図１４Ａ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラを用いた場合の撮像した画像の図である。
【図１４Ｂ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラを用いた場合の撮像した画像に対する様々な対応点配置例であって、かつ、本発明の前記第２実施形態による移動体検出方法で対応点（フロー算出点）を人又は移動体の特定領域に限定して演算コストを削減した状態の図である。
【図１４Ｃ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラを用いた場合の撮像した画像に対する様々な対応点配置例であって、かつ、本発明の前記第２実施形態による移動体検出方法で対応点（フロー算出点）を人又は移動体の特定領域に限定して演算コストを削減した状態の図である。
【図１４Ｄ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラを用いた場合の撮像した画像に対する様々な対応点配置例であって、かつ、本発明の前記第２実施形態による移動体検出方法で対応点（フロー算出点）を人又は移動体の特定領域に限定して演算コストを削減した状態の図である。
【図１４Ｅ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラを用いた場合の撮像した画像に対する様々な対応点配置例であって、かつ、本発明の前記第２実施形態による移動体検出方法で対応点（フロー算出点）を人又は移動体の特定領域に限定して演算コストを削減した状態の図である。
【図１５Ａ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラで撮像した画像において、合格判定した対応点群の説明図である。
【図１５Ｂ】それぞれ、本発明の前記第２実施形態による移動体検出方法において、全方位カメラで撮像した画像において、合格判定した対応点群より人領域抽出した結果を示す図である。
【図１５Ｃ】本発明の前記第２実施形態による移動体検出方法において、全方位カメラで撮像した画像から生成した人領域のパノラマ展開画像を用い、人領域パノラマ展開画像の特定濃淡値射像より人の頭を抽出した結果の説明図である。
【図１６Ａ】本発明の前記第２実施形態による移動体検出方法において、全方位光学系を用いる場合、全方位カメラで撮像した画像における人の足元（床に近い）領域となる中央部分の対応点を説明するための図である。
【図１６Ｂ】本発明の前記第２実施形態による移動体検出方法において、全方位光学系を用いる場合、全方位光学系外となる四隅の領域の対応点では人及び物体の移動により発生するオプティカルフロー以外のフロー（ノイズフロー）が発生しやすいことを説明するための図である。
【図１７】本発明の前記第２実施形態による移動体検出方法において、人の特徴位置を基準に人との距離を算出する方法を説明するため、全方位カメラ画像のパノラマ展開画像でロボットから人への距離が異なる画像を並べた状態の図である。
【図１８Ａ】本発明の前記第２実施形態による移動体検出方法において、特定した人領域に基づき人の距離画像検出を説明するために、ロボットが部屋内を移動する状態を説明する図である。
【図１８Ｂ】本発明の前記第２実施形態による移動体検出方法において、特定した人領域に基づき人の距離画像検出を説明するために、全方位カメラで撮像した画像の図である。
【図１８Ｃ】本発明の前記第２実施形態による移動体検出方法において、特定した人領域に基づき人の距離画像検出を説明するため、距離画像の移動体領域より移動体位置を特定する場合の説明図である。
【図１８Ｄ】本発明の前記第２実施形態による移動体検出方法において、特定した人領域に基づき人の距離画像検出を説明するため、距離画像の移動体領域を判定する場合の説明図である。
【図１９】本発明の前記第２実施形態による移動体検出方法の処理を示すフローチャートである。
【図２０Ａ】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置を備えるロボットの制御ブロック図である。
【図２０Ｂ】本発明の前記第３実施形態によるロボット制御装置の全方位カメラ処理部のブロック図である。
【図２１】本発明の前記第３実施形態によるロボット制御装置におけるロボット位置決め動作のフローチャートである。
【図２２】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、全方位画像入力部の１つの実例でＰＡＬ型レンズ又は魚眼レンズを用いた場合の入力画像の特徴を説明するための説明図である。
【図２３】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、全方位画像入力部と、前記画像入力部を天井及び壁面に向けて高さ調整可能に配置する全方位カメラ高さ調整部と、前記画像入力部により入力した画像から天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像を変換及び抽出する変換抽出部の動作手順の説明図である。
【図２４】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、全方位画像入力部と、前記画像入力部により入力した画像から天井及び壁面全景周辺部画像を変換及び抽出する変換抽出部の動作手順の説明図である。
【図２５Ａ】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、現時点（位置決め動作を行う時点）で入力した天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像と、予め記憶した指定位置の天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像とで、１つの実例として相互相関マッチングを行う状況を示した図である。
【図２５Ｂ】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、現時点（位置決め動作を行う時点）で入力した天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像と、予め記憶した指定位置の天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像とで、１つの実例として相互相関マッチングを行う状況を示した図である。
【図２５Ｃ】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、現時点（位置決め動作を行う時点）で入力した天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像と、予め記憶した指定位置の天井及び壁面全景周辺部画像及び天井及び壁面全景中央部画像とで、１つの実例として相互相関マッチングを行う状況を示した図である。
【図２６】本発明の前記第３実施形態によるロボット制御装置のロボット位置決め装置において、図２５Ａ，図２５Ｂ，及び図２５Ｃに関して、基本経路の地図を基にロボットがプレイバック自律移動を行うときの地図の追加を説明するための説明図である。
【符号の説明】
【０１４３】
１…ロボット、１０…駆動装置、１１…左側モータ駆動部、１２…右側モータ駆動部、２０…走行距離検出部、２１…左側エンコーダ、２２…右側エンコーダ、３０…方向角検出部、３１…人移動検知部、３１ａ，３１ｂ…ステレオカメラ、３２…ロボット移動量検出部、３２ａ…全方位光学系、３２ｂ…支柱、３３…ロボット基本経路教示データ変換部、３４…ロボット基本経路教示データ蓄積部、３５…移動可能範囲算出部、３６…障害物検出部、３７…移動経路生成部、６０…システム、５０…制御部、５１…記憶部、５２…入出力部、１００…後側駆動輪、１０１…前側補助走行輪、１０２…人、１０３…障害物、１０４…基本経路、１０４ａ…基本経路に対して幅方向に移動可能な範囲、１０５…走行床面、１０６…移動経路、１０６ａ…幅方向の成分、１０７ａ…経路、１０７ｂ…赤ん坊のいる場所、１０７ｃ…近道、１０７ｄ…経路、１１１…左側走行モータ、１１３…壁面、１１４…天井、１２１…右側走行モータ、２０１…対応点、３０１…画像中央部分の対応点、３０２…全方位カメラ画像、３０２ａ…人の足元（床に近い）領域、３０２ｂ…画像の四隅の領域、３１１…フロー対応点、３１２…対応点、３１３…対応点、４０１…対応点群、４０２…人領域、４０４…人の方向角α、４１１…全方位カメラ、４１２…全方位カメラ処理部、４１２ａ…変換抽出部、４１２ｂ…第１相互相関マッチング部、４１２ｃ…回転角ズレ量変換部、４１２ｄ…第２相互相関マッチング部、４１２ｅ…位置ズレ量変換部、４１２ｆ…変換抽出記憶部、４１３…全方位カメラ高さ調整部、４１４…カメラ高さ検出部、５０１…頭を抽出した領域、５０２…人領域パノラマ展開画像、５０３…縦方向の特定濃淡値射像、５０４…横方向の特定濃淡値射像、６０１…基準となる天井及び壁面の全景中央部画像と天井及び壁面の全景周辺部画像、９０２…距離画像、９０３…人領域として検出した画像、１２００…移動体検出装置、１２０１…フロー算出対応点位置算出配置部、１２０１ａ…対応点位置算出配置変更部、１２０２…時系列画像取得部、１２０３…移動量算出部、１２０４…移動体移動判断部、１２０５…移動体領域抽出部、１２０６ａ…距離画像算出部、１２０６ｂ…距離画像特定範囲移動部、１２０６ｃ…移動体領域判定部、１２０６ｄ…移動体位置特定部、１２０６ｅ…距離算出部。
【図１Ａ】
2006185438.tif 000006
【図１Ｂ】
2006185438.tif 000007
【図２】
2006185438.tif 000008
【図３】
2006185438.tif 000009
【図４】
2006185438.tif 000010
【図５】
2006185438.tif 000011
【図６Ａ】
2006185438.tif 000012
【図６Ｂ】
2006185438.tif 000013
【図６Ｃ】
2006185438.tif 000014
【図７】
2006185438.tif 000015
【図８Ａ】
2006185438.tif 000016
【図８Ｂ】
2006185438.tif 000017
【図８Ｃ】
2006185438.tif 000018
【図９Ａ】
2006185438.tif 000019
【図９Ｂ】
2006185438.tif 000020
【図１０】
2006185438.tif 000021
【図１１Ａ】
2006185438.tif 000022
【図１１Ｂ】
2006185438.tif 000023
【図１２Ａ】
2006185438.tif 000024
【図１２Ｂ】
2006185438.tif 000025
【図１３】
2006185438.tif 000026
【図１４Ａ】
2006185438.tif 000027
【図１４Ｂ】
2006185438.tif 000028
【図１４Ｃ】
2006185438.tif 000029
【図１４Ｄ】
2006185438.tif 000030
【図１４Ｅ】
2006185438.tif 000031
【図１５Ａ】
2006185438.tif 000032
【図１５Ｂ】
2006185438.tif 000033
【図１５Ｃ】
2006185438.tif 000034
【図１６Ａ】
2006185438.tif 000035
【図１６Ｂ】
2006185438.tif 000036
【図１７】
2006185438.tif 000037
【図１８Ａ】
2006185438.tif 000038
【図１８Ｂ】
2006185438.tif 000039
【図１８Ｃ】
2006185438.tif 000040
【図１８Ｄ】
2006185438.tif 000041
【図１９】
2006185438.tif 000042
【図２０Ａ】
2006185438.tif 000043
【図２０Ｂ】
2006185438.tif 000044
【図２１】
2006185438.tif 000045
【図２２】
2006185438.tif 000046
【図２３】
2006185438.tif 000047
【図２４】
2006185438.tif 000048
【図２５Ａ】
2006185438.tif 000049
【図２５Ｂ】
2006185438.tif 000050
【図２５Ｃ】
2006185438.tif 000051
【図２６】
2006185438.tif 000052