(57)【要約】駆動指令基盤のビジョン装置の制御システムは、移動可能な本体と、前記本体に連結されて駆動し映像情報を受信するビジョン装置と、駆動指令に従って前記本体を駆動させる駆動部、及び前記駆動指令を用いて前記本体の駆動情報を算出し、算出された駆動情報を用いて前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる制御部と、を含んでいてよい。駆動指令基盤のビジョン装置の制御システムを利用して、移動ロボットなどの物体が移動中の場合であっても物体に含まれたビジョン装置が所定のターゲットを注視することで安定した映像情報を得ることができる。
2013534339.tif 000002
【特許請求の範囲】
【請求項１】
移動可能な本体と、
前記本体に連結されて駆動し、映像情報を受信するビジョン装置と、
駆動指令に従って前記本体を駆動させる駆動部と、
前記駆動指令を用いて前記本体の駆動情報を算出し、算出された駆動情報を用いて前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる第１制御部と、
を含むことを特徴とする駆動指令基盤のビジョン装置の制御システム。
【請求項２】
前記第１制御部は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせることを特徴とする請求項１に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項３】
前記ビジョン装置は、前記本体に連結される駆動器及び前記駆動器に連結されて映像情報を受信するカメラを含み、
前記第１制御部は、前記カメラのズームレベルを更に調節することを特徴とする請求項２に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項４】
前記本体に装着されて前記本体に発生する外乱を測定する感知部、及び
前記感知部で測定された外乱による影響を補償するように前記ビジョン装置を駆動させる第２制御部を更に含むことを特徴とする請求項１に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項５】
前記第２制御部は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせることを特徴とする請求項４に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項６】
前記ビジョン装置は、前記本体に連結される駆動器及び該駆動器に連結されて映像情報を受信するカメラを含み、
前記第２制御部は、前記カメラのズームレベルを更に調節することを特徴とする請求項５に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項７】
前記感知部は、エンコーダ、慣性センサー、距離センサー、ランドマーク装置、及び屋内ＧＰＳ装置の少なくとも一つを含むことを特徴とする請求項４に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項８】
前記ビジョン装置によって受信された映像情報から所定のターゲットの位置を算出するイメージ処理部、及び
前記イメージ処理部によって算出されたターゲットの位置を所定の基準位置と比較した結果に基づいて前記ビジョン装置を駆動させる第３制御部を更に含むことを特徴とする請求項１に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項９】
前記第３制御部は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせることを特徴とする請求項８に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項１０】
前記駆動指令は、前記本体の移動距離、移動速度、回転角度、回転速度、及び移動到着地点情報の少なくとも一つを含むことを特徴とする請求項１に記載の駆動指令基盤のビジョン装置の制御システム。
【請求項１１】
移動可能な本体及び前記本体に連結されて駆動し映像情報を受信するビジョン装置を提供する段階と、
駆動指令に従って前記本体を駆動させる段階と、
前記駆動指令を用いて前記本体の駆動情報を算出する段階と、
前記駆動情報を用いて前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる段階と、
を含むことを特徴とする駆動指令基盤のビジョン装置の制御方法。
【請求項１２】
前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる段階は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせる段階を含むことを特徴とする請求項１１に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１３】
前記ビジョン装置は、本体に連結される駆動器及び前記駆動器に連結されて映像情報を受信するカメラを含み、
前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる段階は、前記カメラのズームレベルを調節する段階を更に含むことを特徴とする請求項１２に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１４】
前記本体に装着されたエンコーダ、慣性センサー、距離センサー、ランドマーク装置、及び屋内ＧＰＳ装置の少なくとも一つを利用して前記本体に発生する外乱を測定する段階、及び
測定された外乱による影響を補償するように前記ビジョン装置を駆動させる段階を更に含むことを特徴とする請求項１１に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１５】
前記測定された外乱による影響を補償するように前記ビジョン装置を駆動させる段階は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせる段階を含むことを特徴とする請求項１４に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１６】
前記ビジョン装置は、前記本体に連結される駆動器及び該駆動器に連結されて映像情報を受信するカメラを含み、
前記測定された外乱による影響を補償するように前記ビジョン装置を駆動させる段階は、前記カメラのズームレベルを調節する段階を更に含むことを特徴とする請求項１５に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１７】
前記ビジョン装置によって受信された映像情報を処理して所定のターゲットの位置を算出する段階、及び
算出されたターゲットの位置を所定の基準位置と比較した結果に基づいて前記ビジョン装置を駆動させる段階を更に含むことを特徴とする請求項１１に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１８】
前記算出されたターゲットの位置を所定の基準位置と比較した結果に基づいて前記ビジョン装置を駆動させる段階は、前記ビジョン装置に移動及び回転のうちの少なくとも一方を行わせる段階を含むことを特徴とする請求項１７に記載の駆動指令基盤のビジョン装置の制御方法。
【請求項１９】
前記駆動指令は、前記本体の移動距離、移動速度、回転角度、回転速度、及び移動到着地点情報の少なくとも一つを含むことを特徴とする請求項１１に記載の駆動指令基盤のビジョン装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施例は、ターゲット・トラッキング（ｔａｒｇｅｔ  ｔｒａｃｋｉｎｇ）のための駆動指令基盤のビジョン装置（ｖｉｓｉｏｎ  ｄｅｖｉｃｅ）の制御システム及び方法に関する。より詳しくは、駆動指令を用い、または駆動指令と移動ロボットで感知された駆動情報との両方を用いて、移動ロボットに装着されたビジョン装置の視線を認識対象目標に固定できるようにビジョン装置の駆動を制御することができる駆動指令基盤のビジョン装置の制御システム及び方法に関する。
【背景技術】
【０００２】
人間の努力に代わって無人警備などの業務を遂行する移動ロボットが広く使用されている。このような移動ロボットの作業遂行のためには、走行部にてロボットの移動及び方向転換を遂行する機能が必須に要求される。また、移動ロボットでは、特定の事物を認識したり、追跡したりするなどの機能を遂行するために、外部から映像信号を獲得するビジョン（ｖｉｓｉｏｎ）システムを実現するのが核心機能の一つに該当する。
【０００３】
しかしながら、移動ロボットの走行部とビジョン・システムともに、共通の本体に連結されているため、ロボットの走行部が回転したり、またはビジョン・システムが位置した部分が回転したりする場合、ビジョン・システムが認識しようとする目標物がビジョン・システムの入力範囲を外れてしまうという不具合がある。また、目標物が入力範囲を外れなかったにもかかわらず、ビジョン・システムが獲得する映像信号にぶれ（ｂｌｕｒｒｉｎｇ）などの現象が生じてしまい、ビジョン・システムの物体認識率及び精度が低下するようになるという不具合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一側面によれば、移動ロボットなどの移動可能な物体において駆動指令を用い、または駆動指令と物体に装着されたセンサーで感知された駆動情報との両方を用いて、物体が動く場合であっても物体に含まれたビジョン装置が認識対象目標を注視するようにビジョン装置の視線（ｌｉｎｅ  ｏｆ  ｓｉｇｈｔ）向きを制御することができるターゲット・トラッキングのための駆動指令基盤のビジョン装置の制御システム及び方法を提供することをその目的とする。
【課題を解決するための手段】
【０００５】
一実施例に係る駆動指令基盤のビジョン装置の制御システムは、移動可能な本体と、前記本体に連結されて駆動し、映像情報を受信するビジョン装置と、駆動指令に従って前記本体を駆動させる駆動部、及び前記駆動指令を用いて前記本体の駆動情報を算出し、算出された駆動情報を用いて前記本体の駆動による影響を補償できるように前記ビジョン装置の視線向きをターゲットに固定させるためにビジョン装置を駆動させる第１制御部と、を含んでいてよい。
【０００６】
また、前記駆動指令基盤のビジョン装置の制御システムは、前記本体に装着されて前記本体に発生する外乱を測定する感知部、及び前記感知部で測定された外乱による影響を補償するように前記ビジョン装置を駆動させる第２制御部を更に含んでいてよい。
【０００７】
また、前記駆動指令基盤のビジョン装置の制御システムは、前記ビジョン装置によって受信された映像情報からターゲットの位置を算出するイメージ処理部、及び前記イメージ処理部によって算出されたターゲットの位置を所定の基準位置と比較した結果に基づいて前記ビジョン装置を駆動させる第３制御部を更に含んでいてよい。
【０００８】
さらには、前記第１制御部ないし前記第３制御部の少なくとも一つは、前記ビジョン装置を移動させるか、前記ビジョン装置を回転させるか、または前記ビジョン装置を移動及び回転させるように構成されていてよい。
また、前記第１制御部ないし前記第３制御部の少なくとも一つは、前記ビジョン装置に含まれたカメラのズームレベル（ｚｏｏｍ  ｌｅｖｅｌ）を調節するように構成されていてよい。
【０００９】
一実施例に係る駆動指令基盤のビジョン装置の制御方法は、移動可能な本体及び前記本体に連結されて駆動し映像情報を受信するビジョン装置を提供する段階と、駆動指令に従って前記本体を駆動させる段階と、前記駆動指令を用いて前記本体の駆動情報を算出する段階、及び前記駆動情報を用いて前記本体の駆動による影響を補償するように前記ビジョン装置を駆動させる段階と、を含んでいてよい。
【発明の効果】
【００１０】
本発明の一側面に係る駆動指令基盤のビジョン装置の制御システム及び方法を利用すれば、移動ロボットを駆動させるための駆動指令を用いるか、またはこのような駆動指令に加えて、多様なセンサーを利用した感知結果を用いて移動ロボットの駆動情報を把握することができる。そして、把握された駆動情報に基づき、移動ロボットのビジョン装置の視線をターゲットに固定できるようにビジョン装置の駆動を制御することで、移動ロボットが連続的な大変位線形及び／または回転移動する場合であっても、ビジョン装置の視線向きを認識対象目標に向けて一定に保持することができる。すなわち、認識対象目標がビジョン装置の出力映像フレームの中心に持続的に位置するようにすることができる。
【００１１】
これにより、移動ロボットが長期間連続的に動く場合であっても、ビジョン装置が認識対象目標を注視するようになるため、目標がビジョン装置の認識範囲を外れたり、または目標がビジョン装置の認識範囲を外れなかったにもかかわらず、映像にぶれ（ｂｌｕｒｒｉｎｇ）などの現象が生じたりすることを防止することができる。このため、移動ロボットが動く途中でも安定した映像情報を得ることができ、ビジョン装置の認識率及びトラッキング成功率を向上することができる。また、駆動指令を用いて予測した駆動情報と多様なセンサーを利用して実際に感知した駆動情報とを比較することで、走行中に発生することがある滑りまたは衝突などの外乱を感知することができ、外乱による誤差を補正することができる。
【図面の簡単な説明】
【００１２】
【図１】一実施例に係る駆動指令基盤のビジョン装置の制御システムの構成を示すブロック図である。
【図２】一実施例に係る駆動指令基盤のビジョン装置の制御システムが適用された物体を示す概路図である。
【図３】一実施例に係る駆動指令基盤のビジョン装置の制御システムにおいて、物体が移動する場合におけるビジョン装置の視線向きの回転状態を示す概略的な平面図である。
【図４】駆動指令基盤のビジョン装置の制御システムが適用される物体に滑り現象が発生した場合と発生していない場合との移動経路を例示的に示す平面図である。
【図５】一実施例に従って感知部にランドマーク装置を利用した駆動指令基盤のビジョン装置の制御システムが適用された物体を示す概路図である。
【図６】一実施例に従って感知部に屋内ＧＰＳ（Ｉｎｄｏｏｒ  Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）装置を利用した駆動指令基盤のビジョン装置の制御システムが適用された物体を示す概路図である。
【図７】一実施例に係る駆動指令基盤のビジョン装置の制御方法のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の幾つかの実施例について詳述する。
図１は、一実施例に係る駆動指令基盤のビジョン装置の制御システムの構成を示すブロック図である。
【００１４】
図１を参照すると、駆動指令基盤のビジョン装置の制御システムは、移動可能な本体１と、本体１に連結されて映像情報を受信するビジョン装置２と、本体１を駆動させるための駆動部１０、及びビジョン装置２の駆動をフィードフォワード制御するための第１制御部３０を含んでいてよい。一実施例において、駆動指令基盤のビジョン装置の制御システムは、本体１に発生する外乱を感知し、ビジョン装置２をフィードフォワード制御するための感知部４０及び第２制御部５０を含んでいてもよい。また、一実施例において、駆動指令基盤のビジョン装置の制御システムは、ビジョン装置２に受信された映像情報をフィードバック信号として用いてビジョン装置２を制御するためのイメージ処理部６０及び第３制御部７０を含んでいてもよい。各部分の詳細な構成については後述する。
【００１５】
本明細書において、「部」、「装置」または「システム」などの用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、またはソフトウェアなどのコンピューター関連エンティティーを指し示すものであってよい。例えば、本明細書に記載された、「部」、「装置」または「システム」には実行中のプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム及び／またはコンピューターが含まれていてよいが、必ずしもこれらに限定されるものではない。例えば、特定の機能を遂行するように構成されたハードウェア及び該ハードウェアを動作させるためのアプリケーションなどのソフトウェアの両方が本明細書における「部」、「装置」または「システム」に該当していてよい。
【００１６】
図２は、一実施例に係る駆動指令基盤のビジョン装置の制御システムが適用された物体を示す概路図である。
図２を参照すると、一実施例に係る駆動指令基盤のビジョン装置の制御システムは、互いに連結された本体１及びビジョン装置２を含む物体に適用されていてよい。前記物体は、自動または手動操作によって線形及び／または回転移動することができる物体であって、例えば、移動ロボットであってよい。例えば、本体１は、胴体または脚などのように移動ロボットの走行のための装置が装着される部分であってよく、ビジョン装置２は、頭または目などのように移動ロボットのビジョンセンサーが装着される部分であってよい。本体１及びビジョン装置２のそれぞれは、必ずしも一つの一体化した部分を指し示すものではなく、互いに物理的連結及び／または通信接続された複数の部分を含んでいてもよい。
【００１７】
本明細書に記載された実施例では、説明の便宜のために駆動指令基盤のビジョン装置の制御システムが移動ロボットに適用されるという実現形態に基づいて説明するが、本発明の思想はこれに限定されるものではない。
【００１８】
本明細書における「駆動」とは、線形移動及び／または回転を含む動きを指し示すものと意図される。例えば、本体１の駆動には、移動ロボットが所定の方向に走行する動作、移動ロボットが走行せずに位置を固定したまま本体を回転させる動作、及び移動ロボットが走行途中に方向を転換してカーブを描きながら移動する動作などのいずれもが含まれていてよい。また、これと同様に、ビジョン装置２の駆動には、ビジョン装置２の位置を一方向に沿って移動させる動作、ビジョン装置２の位置を固定したまま視線向きのみを回転させる動作、及びビジョン装置２の位置を移動させながら方向を回転させる動作などのいずれが含まれていてよい。
【００１９】
以下、図１及び図２を参照して一実施例に係る駆動指令基盤のビジョン装置の制御システムの動作について説明する。
本体１及びビジョン装置２を含んで構成された移動ロボットは、内部及び／または外部で生成された駆動指令に従って動作していてよい。本明細書において駆動指令とは、移動ロボットを駆動するための一つ以上の指令、信号、及び／または入力などを含む包括的な情報を意味する。例えば、駆動指令には、移動ロボットの移動距離、移動速度、回転角度、回転速度または移動到着地点情報などの移動ロボットの線形または回転移動を定義するための一つ以上の情報が含まれていてよい。
【００２０】
駆動部１０において駆動指令を受信し、受信された駆動指令に従って本体１を駆動させることで、移動ロボットが線形移動及び／または回転移動するなどの駆動がなされる。例えば、駆動部１０は、駆動指令によって指定された移動距離、移動速度または到着地点情報を用いて本体１を移動させるか、または駆動指令によって指定された回転角度または回転速度で本体１を回転させるなどの動作を遂行することができる。
【００２１】
一実施例において、駆動指令基盤のビジョン装置の制御システムは、前述した駆動指令を生成する駆動指令生成部（図示せず）を含んでいてもよい。例えば、駆動指令生成部は、移動ロボットの本体１に位置して移動ロボットの一部を構成していてよく、この場合、移動ロボット自体で知能制御を通じて自動的に駆動指令が生成されていてよい。しかしながら、これは例示的なものであって、他の実施例において、駆動指令生成部は、移動ロボットの外部に位置し、有線及び／または無線通信を通じて移動ロボットに駆動指令を伝達することもできる。例えば、駆動指令は、移動ロボット外部のユーザに手動入力され、移動ロボットへ伝達されていてもよい。
【００２２】
図２に示した一実施例において、駆動部１０は、本体１の下部に位置するキャスターの形状を持つ。しかしながら、これは例示的なものであって、駆動部１０は、キャスターの他、本体１の線形または回転移動のための一つまたは複数の異なる手段で構成されていてもよい。また、図２に示す本体１及びビジョン装置２もまた、説明の便宜のために例示的に可視化したものであって、本体１及びビジョン装置２のそれぞれの大きさ、個数、形状及びこれら間の連結方式などは、図面に示したものに限定されない。
【００２３】
ビジョン装置２は、本体１に連結されて映像情報を受信するための部分である。図２を参照すると、一実施例において、ビジョン装置２は、本体１に連結された駆動器２１及び駆動器２１に連結されたカメラ２２を含んでいてよい。駆動器２１は、ビジョン装置２を線形または回転移動させるなどの駆動を遂行するのに適当な装置であって、例えば、駆動器２１は、線形モーション駆動器及び／または回転モーション駆動器であってよい。また、駆動器２１は、軸方向に沿ってビジョン装置２を移動させるか、または軸方向を基準にビジョン装置２を回転させるための一つまたは複数の駆動軸を含んでいてもよい。カメラ２２は、認識対象目標物３の映像情報を受信するための部分である。例えば、カメラ２２は、単眼カメラ（ｍｏｎｏｃｕｌａｒ  ｃａｍｅｒａ）、ステレオカメラ（ｓｔｅｒｅｏ  ｃａｍｅｒａ）または他の適宜な映像獲得手段を含んでいてよい。カメラ２２は、ビジョン装置２の表面に装着するか、またはビジョン装置２内に組み込むか、または一体化した形態で位置していてよい。
【００２４】
ビジョン装置２は、本体１と直接または間接に連結されているため、本体１が線形または回転移動すると、ビジョン装置２の位置及び／または向きも影響を受けて変化し、その結果、ビジョン装置２のカメラ２２に受信される映像情報も影響を受けるようになる。したがって、本体１の動きによっては、目標物３がカメラ２２の入力範囲を外れたり、またはカメラ２２の入力範囲を外れなかったにもかかわらず、カメラ２２に受信される映像情報にぶれ（ｂｌｕｒｒｉｎｇ）などの現象が生じたりすることがある。
【００２５】
これを防止するために、第１制御部３０は、駆動指令から予測される本体１の動きに対応するようにビジョン装置２の視線向きを調整することができる。第１制御部２０は、駆動指令を用いて本体１の移動方向及び／または回転方向を算出し、本体１の移動及び／または回転に対応してビジョン装置２を駆動するための第１制御信号ｕ１を生成することができる。第１制御部３０は、第１制御信号ｕ１を用いてビジョン装置２の駆動器２１を制御することで、ビジョン装置２の位置及び向きを制御することができる。例えば、第１制御部３０は、本体１の移動及び／または回転方向と逆方向にビジョン装置２を移動及び／または回転させることができる。また、ビジョン装置２の移動距離及び回転角度は、本体１の移動及び回転による映像情報への影響を補償することができる大きさに適宜決められていてよい。
【００２６】
図３は、第１制御部による動作の結果、本体の動きに対応してビジョン装置の視線向きが回転する状態を概略的に示す平面図である。図３を参照すると、本体１は、駆動部１０によって図中矢印方向に直線に移動することができる。一方、ビジョン装置２の認識対象目標物３は、本体１の移動方向に対して所定の角度θだけ右側に回転した方向に位置していてよい。本体１が矢印方向に移動するに伴い、本体１と目標物３との角度θはさらに増加するようになる。
【００２７】
このとき、第１制御部は、本体１を駆動させるための駆動指令から本体１の予測された駆動情報を算出し、本体１の駆動による影響を補償するように視線向きを調整するために、ビジョン装置２を駆動させるための制御信号を生成することができる。例えば、本体１が矢印方向に移動するに伴い、第１制御部は、制御信号にてビジョン装置２の視線向きを徐々に右側に回転させることができる。その結果、ビジョン装置２は、本体１の走行にもかかわらず常時目標物３を注視するようになるため、ビジョン装置２に含まれたカメラ２２にて目標物３の安定した映像情報を得ることができる。
【００２８】
図３では、本体１が一方向に線形移動する場合の動作について例示的に説明したが、第１制御部は、本体１が線形及び／または回転移動を含む任意の走行をする場合であっても、本体１の駆動情報に基づいて本体１と目標物３とが成す角度θを算出し、本体１の動きに対応するようにビジョン装置２を回転させることができる。また、図３では、第１制御部によってビジョン装置２の視線向きを回転させる動作について例示的に説明したが、第１制御部は、一つまたは複数の駆動軸方向にビジョン装置２を線形移動させることで、本体１の動きに対応してビジョン装置２の位置を変更することも可能である。
【００２９】
以上で説明したような制御を遂行するために、第１制御部３０は、本体１を駆動させるための駆動指令をフィードフォワード信号として用い、これから予測される本体１の動きに対応するように制御信号を生成するフィードフォワード補償器（ｆｅｅｄｆｏｒｗａｒｄ  ｃｏｍｐｅｎｓａｔｏｒ）を含んでいてもよい。駆動指令から駆動情報を算出するためには、ルールベース方法（ｒｕｌｅ  ｂａｓｅｄ  ｍｅｔｈｏｄ）またはカルマンフィルタ（Ｋａｌｍａｎ  ｆｉｌｔｅｒ）を用いた方法などを含む多様な予測制御技術が適用されていてよい。また、第１制御部３０は、このような予測制御技術を実現するためのＰ、ＰＩ、ＰＤまたはＰＩＤ制御器などの多様な制御回路などを含んでいてよい。しかしながら、本発明の実施例における第１制御部３０の構成は、特定の制御技術または回路構成などに限定されるものではない。
【００３０】
以上で説明したように、駆動指令に基盤して移動ロボットの本体１の駆動に対応するように視線向きを制御するためにビジョン装置２を駆動させた結果、本体１の動きにもかかわらずビジョン装置２で得られる映像情報における認識対象目標物３は、映像フレームを外れることなく映像フレームの中央の位置に維持することができる。したがって、ビジョン装置２が安定した映像情報を得ることができ、該映像情報にぶれなどの現象が生じることを防止することができる。
【００３１】
一実施例において、第１制御部３０は、ビジョン装置２の移動及び／または回転を制御するだけではなく、ビジョン装置２に含まれたカメラ２２のズーム（ｚｏｏｍ）を調節することもできる。このために、カメラ２２には、第１制御部３０の制御信号によって駆動されるズーム調節装置（図示せず）が含まれていてよい。ズーム調節装置としては、光学式ズーム調節装置、電子式ズーム調節装置または他の好適な調節手段が適用されていてよい。一例として、光学式ズーム調節装置は、カメラ２２のレンズ部に含まれた複数のレンズを組み合わせて移動させながら焦点距離を調節することで被写体の拡大率を調節することができる。一方、電子式ズーム調節装置は、カメラ２２で生成された映像情報を信号処理を通じて拡大したり、縮小したりすることができる。光学式ズーム調節装置は、カメラ２２に組み込まれていてよい。一方、電子式ズーム調節装置及びこのための信号処理部は、カメラ２２に組み込まれていてよく、またはカメラ２２の外部に装着されていてもよい。
【００３２】
以上のように構成されたズーム調節装置を利用して、第１制御部３０は、駆動指令から予測された物体の駆動情報を用いてカメラ２２のズーム調節装置を制御するための制御信号を生成し、これを用いてズーム調節装置を制御することにより、目標物に対する映像情報を所望の大きさで得ることができるようになる。例えば、駆動指令を用いて本体１の動きを分析した結果、本体１と認識対象目標との距離が増加すると予測された場合、第１制御部３０は、カメラ２２のズームレベルを増加させることにより、カメラ２２に受信される認識対象目標の映像の大きさを増加させることができる。また、逆に、本体１と認識対象目標との距離が減少すると予測された場合は、第１制御部３０は、カメラ２２のズームレベルを減少させることにより、カメラ２２に受信される認識対象目標の映像の大きさを減少させることもできる。
【００３３】
一方、移動ロボットの移動中は、滑りや衝突などのような外乱が発生することがある。この場合、駆動指令から予測される本体１の駆動と実際の本体１の駆動との間に誤差が発生する可能性がある。図４は、移動ロボットの移動時に発生する滑りや衝突などの影響を示す概略的な平面図である。
【００３４】
図４を参照すると、本体１及びビジョン装置２からなる移動ロボットの移動経路が矢印で示されている。図中実線で示される矢印１００、１１０、１２０、１３０は、駆動指令から予測された移動ロボットの移動経路を示し、点線で示される矢印２００、２１０、２２０、２３０は、実際の移動ロボットの移動経路を示す。図示したように実線の矢印１１０と点線の矢印２１０間及び実線の矢印１３０と点線の矢印２３０間には誤差があることを確認することができる。これは、移動ロボットが方向を転換する際に、一部の領域Ａ、Ｂにおいて滑りが発生したことを示す。
【００３５】
このような誤差を補正するために、一実施例に係る駆動指令基盤のビジョン装置の制御システムは、感知部４０及び第２制御部５０を含んでいてよい。感知部４０は、本体１の実際の駆動情報を感知することで本体１に発生する外乱を測定するための装置である。感知部４０は、駆動部１０から受信した駆動指令に基づく本体１の駆動情報ｄを一つ以上のセンサーで感知した実際の駆動情報と比較することにより、本体１に発生する滑りや衝突などの外乱の発生有無及び範囲を含む駆動情報
【００３６】
【数１】
2013534339.tif 000003
を算出することができる。このために、感知部４０は、本体１上に装着され、または本体１に組み込まれる多様なセンサーなどの素子を含んでいてよい。一実施例において、感知部４０は、エンコーダ、慣性センサー、距離センサー、ランドマーク装置、屋内ＧＰＳ（Ｉｎｄｏｏｒ  Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ；ＩＧＰＳ）装置または他の好適な素子を一つ以上含んでいてよい。
【００３７】
一例として、感知部４０は、一つ以上のエンコーダを含んでいてよい。この場合、駆動部１０は、キャスターまたはキャタピラーなどのように回転によって駆動される形態の移動手段であってよい。複数の駆動部１０が使用される場合、駆動部１０のそれぞれにエンコーダが取り付けられていてよく、それぞれのエンコーダは、当該駆動部１０の回転数を測定することで本体１の駆動情報を算出することができる。例えば、それぞれの駆動部１０の回転数が同一である場合、これは、本体１が直線方向に前進したり後進したりするなどの線形運動をしたということを意味する。一方、本体１が回転する場合は、回転によって本体１の各方向に連結された駆動部１０の回転数が互いに異なるようになる。したがって、駆動部１０の位置に応じた回転数を互いに比較することで本体１の回転を検出することができる。例えば、複数の駆動部１０のうち相対的に本体１の左側に位置した駆動部１０に比べて、相対的に本体１の右側に位置した駆動部１０の回転数のほうが小さいと、本体１が右側に回転したことが分かる。
【００３８】
他の例として、感知部４０は、一つ以上の慣性センサーを含んでいてよい。慣性センサーとしては、一つまたは複数の軸方向の加速度及び角速度を検出することができる適当な素子が使用されていてよい。例えば、慣性センサーは、空間上に位置した３つの軸方向の加速度を検出することができる３軸加速度センサー及び３つの軸方向の角速度を検出することができる３軸角速度センサーを含んで構成されていてよい。また、慣性センサーは互いに異なる軸方向の加速度を検出する一つ以上の加速度センサー及び互いに異なる軸方向の角速度を検出する一つ以上の角速度センサーを含んで構成されていてもよい。慣性センサーは、本体１の移動による加速度及び／または本体１の回転による角速度を測定し、測定された加速度及び／または角速度から本体１の実際の駆動情報を算出することができる。
【００３９】
また他の例として、感知部４０は、一つ以上の距離センサーを含んでいてよい。距離センサーは、本体１に取り付けられ、移動ロボットの活動範疇内の空間上で各方向に接した壁面または構造物までの距離を測定し、これをＸ、Ｙ座標などの形態に出力することができる。本体１が動くと、距離センサーは、本体１が動く前に獲得した初期のＸ、Ｙ座標と動く途中または動いた後のＸ、Ｙ座標を比較・分析して、本体１の駆動情報を算出することができる。ここで、距離センサーを利用した位置把握方法は、特定の方式に限定されるものではない。また、距離センサーとしては、超音波センサー、レーザーセンサーまたはＩＲ（Ｉｎｆｒａｒｅｄ）センサーなどが適用されていてよい。
【００４０】
感知部４０において２つの距離センサーが使用される場合、各距離センサーは、本体１が動く前後のＸ、Ｙ座標を感知することができ、２つの距離センサー間の位置関係は固定されているため、２つの距離センサーで感知されたＸ、Ｙ座標を基に本体１の位置移動だけではなく、回転を検出することができる。感知部４０により多くの距離センサーが含まれている場合、本体１の３次元的な動きも把握することができ、距離センサーの個数が増加するほど、より精度よい本体１の駆動情報を獲得することができる。
【００４１】
また他の例として、感知部４０としてランドマーク装置を利用する駆動指令基盤のビジョン装置の制御システムが適用された物体が図５に示されている。図５を参照すると、移動ロボットの活動範疇内の空間上に複数のランドマーク６００が設けられ、本体１に取り付けられた感知部４０がランドマーク６００を認識することができるビジョンセンサーを含んで構成されていてよい。ランドマーク６００は、感知部４０のビジョンセンサーで認識ができるように視覚的不変特徴点または特徴量を有している必要があり、屋内の壁面及び天井を含め、感知部４０が感知できる屋内のどこに位置していてもよい。ランドマーク６００としては、人工標識や屋内に位置する自然標識などのいずれもが適用されていてよい。感知部４０のビジョンセンサーでは、受信された映像情報からランドマーク６００を認識して該ランドマーク６００の位置及び大きさの変化を抽出することができ、これを用いて本体１の移動及び回転方向と位置座標などを算出することができる。ここで、本体１の位置把握方法及び映像信号分析方法は特定方式に限定されるものではない。
【００４２】
また他の例として、感知部４０としてＩＧＰＳ装置を利用する駆動指令基盤のビジョン装置の制御システムが適用された物体が図６に示されている。図６を参照すると、移動ロボットの活動範疇内の空間内に取り付けられる位置の座標値が予め設定されたＩＧＰＳ信号送信機７１０または信号受信機７２０が設けられていてよい。空間内にＩＧＰＳ信号送信機７１０が設けられる場合、感知部４０は、ＩＧＰＳ信号受信機で構成されていてよく、逆に、空間内にＩＧＰＳ信号受信機７２０が設けられる場合、感知部４０は、ＩＧＰＳ信号送信機で構成されていてよい。
【００４３】
移動ロボットが移動すると、感知部４０は、それぞれの信号送信機７１０（または、信号受信機７２０）との通信を通じて、それぞれの信号送信機７１０（または、信号受信機７２０）からの距離情報を獲得することができる。また、複数の信号送信機７１０（または、信号受信機７２０）からの距離を用いた三角測量を通じて感知部４０が取り付けられた本体１の位置情報を算出することができる。ここで、本体１の回転情報を獲得するために、本体１に２つの感知部４０を取り付けることができる。本体１が動く前後における、本体１に取り付けられた２つの感知部４０間の距離は一定であるため、一つの感知部４０からそれぞれの信号受信機７２０（または、信号送信機７１０）までの距離変化を分析することで、本体１の回転情報を把握することができる。
【００４４】
これに関して、ＩＧＰＳを利用した移動ロボットの位置、姿勢把握方法及び信号分析方法は、特定の方式に制限されるものではない。また、ＩＧＰＳ信号送信機７１０及びＩＧＰＳ信号受信機７２０のそれぞれの個数及び配設位置は、特定の構成に限定されず、移動ロボットの活動範囲及び移動経路などを考慮して適宜決められていてよい。例えば、信号送信機７１０（または、信号受信機７２０）は屋内の天井や壁面などのように感知部４０の信号受信機または信号送信機が信号を受信できるあらゆる所に位置していてよく、ＩＧＰＳ内の通信に必要な信号の種類は、ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）、ＩＲ、レーザーなどの特定の種類に限定されない。感知部４０で算出された、外乱を示す駆動情報
【００４５】
【数２】
2013534339.tif 000004
は、第２制御部５０へ伝達されていてよい。第２制御部５０は、感知部４０で算出された駆動情報を用い、外乱による影響を補償するようにビジョン装置２の駆動を制御するための第２制御信号ｕ２を生成することができる。この場合、第１制御部３０による第１制御信号ｕ１及び第２制御部５０によって生成された第２制御信号ｕ２の両方をフィードフォワード信号として用いて、ビジョン装置２の駆動を制御することができる。したがって、移動ロボットの滑りや衝突などの外乱による誤差を補正し、より精度よい駆動情報を算出することができるようになる。
【００４６】
ビジョン装置２に第１制御信号ｕ１及び第２制御信号ｕ２のように複数の制御信号が入力される場合、ビジョン装置２は、これらの制御信号によって比例制御方式、ファジー論理（Ｆｕｚｚｙ  ｌｏｇｉｃ）、遺伝子アルゴリズムまたは神経回路網などの方式にて駆動されていてよい。しかしながら、これらは例示的なものであって、本発明の実施例におけるビジョン装置２の制御方法は、特定の技法または回路に限定されるものではない。
【００４７】
また、一実施例において、第２制御部５０は、ビジョン装置２の移動及び／または回転を制御するだけではなく、ビジョン装置２に含まれたカメラ２２のズームレベルを調節することもできる。感知部４０によって外乱を示す駆動情報
【００４８】
【数３】
2013534339.tif 000005
を算出した結果、本体１と認識対象目標物３との距離が増加すると分析された場合、第２制御部３０は、カメラ２２のズームレベルを増加させることで、カメラ２２に獲得される認識対象目標物３の映像の大きさを増加させることができる。また逆に、本体１と認識対象目標物３との距離が減少すると分析された場合、第２制御部５０は、カメラ２２のズームレベルを減少させることで、カメラ２２に獲得される認識対象目標物３の映像の大きさを減少させることもできる。
【００４９】
一実施例において、駆動指令基盤のビジョン装置の制御システムは、イメージ処理部６０及び第３制御部７０を更に含んでいてよい。イメージ処理部６０及び第３制御部７０を利用することで、第１制御部３０及び／または第２制御部５０によって生成された第１及び第２制御信号ｕ１、ｕ２をフィードフォワード信号として用いるだけでなく、ビジョン装置２で受信される映像情報をフィードバック信号（ｆｅｅｄｂａｃｋ  ｓｉｇｎａｌ）として用いて第３制御信号ｕ３を生成することができる。ビジョン装置２に実際に受信される映像情報をフィードバック信号として用いてフィードバックを遂行することで、より精度よくビジョン装置２の駆動を制御し、受信される映像情報の安定性を高めることができる。
【００５０】
先ず、イメージ処理部６０は、ビジョン装置２に受信される映像情報から所定のターゲットの位置を算出することができる。例えば、所定のターゲットとは、ビジョン装置２の認識対象目標物３であってよく、ビジョン装置２の用途に応じて多様な物体がターゲットであってよい。イメージ処理部６０によって映像情報を処理してターゲット位置を算出する過程では、公知または今後開発される多様なイメージ処理（ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ）技法が用いられていてよく、本発明の実施例における映像情報の処理方法は、特定のイメージ処理手段または技法に限定されるものではない。イメージ処理部６０は、ターゲットの位置と基準位置との差に対応する信号ｅを第３制御部７０へ伝達することができる。
【００５１】
第３制御部７０は、ターゲットの位置と基準位置との差に基づいてビジョン装置２の駆動を制御するための第３制御信号ｕ３を生成することができる。第３制御部７０は、ターゲットの位置と基準位置との差が減少される方向にビジョン装置２を駆動させるように第３制御信号ｕ３を生成することができる。例えば、映像情報が２次元のイメージであって、ｘ軸及びｙ軸によって定義される座標平面における基準位置の座標が（０、０）、ターゲットの位置の座標が（１、１）であるとした場合、第３制御部７０は、ビジョン装置２の視線志向点が（１、１）位置を向くようにビジョン装置を移動及び／または回転させることで、ターゲットの位置が基準位置に収斂するようにすることができる。以上のようにフィードバック信号である第３制御信号ｕ３をフィードフォワード信号である第１制御信号ｕ１及び第２制御信号ｕ２と共に用いてビジョン装置２を制御することで、より精度よくビジョン装置２の駆動を制御することができるようになる。
【００５２】
以上で説明した駆動指令基盤のビジョン装置の制御システムを利用すれば、移動ロボットが線形及び／または回転移動する場合であっても、移動ロボットのビジョン装置の視線向きを認識対象目標に向けて一定に保持することができる。すなわち、目標がビジョン装置の出力映像フレームの中心に持続的に位置するようにすることができる。本明細書に記述された実施例では、移動ロボットが移動する場合にビジョン装置を一方向に移動及び／または回転させる動作について説明したが、これは例示的なものであって、前後、左右及び上下方向を含め、空間上の任意の方向にビジョン装置を移動させたり、空間上の任意の方向を中心にしてビジョン装置を回転させたりすることが可能である。
【００５３】
また、以上で説明した実施例では、特定の認識対象目標を注視するために移動ロボットにおいてビジョン装置の部分を駆動させるターゲット・トラッキングシステムを実現したが、これは例示的なものであって、本発明に係る駆動指令基盤のビジョン装置の制御システムは、移動ロボットの他の部分の位置及び／または方向を一定に保持するための安定化及び制御にも応用され得る。また、移動ロボットの他にも、駆動指令にて制御される任意の無人装置に含まれたビジョン装置または他の適当な装置のトラッキング機能の実現にも適用され得る。
【００５４】
図７は、一実施例に係る駆動指令基盤のビジョン装置の制御方法を示すフローチャートである。
図７を参照すると、先ず、駆動指令に従って移動ロボットの本体を駆動させることができる（Ｓ１）。駆動指令には、移動ロボットの移動距離、移動速度、回転角度、回転速度または移動到着地点情報などの移動ロボットの線形または回転移動を定義するための一つ以上の情報が含まれていてよい。このような駆動指令は、移動ロボットの外部から生成されて有線及び／または無線通信を通じて移動ロボットへ伝達されていてよく、または移動ロボット自体で生成されていてもよい。
【００５５】
次いで、駆動指令を用いて予測された本体の駆動に対応してビジョン装置を駆動させることができる（Ｓ２）。移動ロボットの本体及びビジョン装置は直接または間接に互いに連結されているため、駆動指令に従って本体が線形及び／または回転移動すれば、ビジョン装置の位置及び／または方向もまた、これに伴い変化するようになる。また、ビジョン装置は、認識対象目標の映像情報を受信するためのビジョンセンサー（例えば、カメラ）を含み、その結果、本体の動きによってビジョンセンサーに受信される映像情報も影響を受けるようになる。
【００５６】
このような影響を最小化するために、先ず、駆動指令を用いて本体の駆動情報を算出することができる。例えば、ルールベース方法、カルマンフィルタを利用した方法などの多様な予測制御技術を適用して、駆動指令から本体の駆動情報を算出することができる。次いで、本体の駆動に対応してビジョン装置を駆動させることができる。例えば、本体の移動及び／または回転方向と逆方向にビジョン装置を移動及び／または回転させることができる。このとき、ビジョン装置の移動及び／または回転の範囲は、本体の駆動によるビジョン装置に受信される映像情報への影響を最小化することができる大きさに適宜決められていてよい。
【００５７】
一実施例では、以上で説明したビジョン装置を駆動する段階（Ｓ２）においてビジョン装置の移動及び／または回転を制御するだけではなく、ビジョン装置に含まれたカメラのズームレベルを調節することもできる。この場合、カメラには、光学式ズーム調節装置、電子式ズーム調節装置または他の適当な調節手段が含まれていてよく、以上の調節手段に制御信号を伝達してカメラのズームレベルを調節することができる。本体の動きに応じてカメラのズームを調節することで、本体が動く場合であってもカメラが目標の映像情報を精度よく受信することができ、映像情報において目標の大きさを一定に保持することができる。
【００５８】
一実施例では、本体に装着された感知部で本体に発生する外乱を測定する段階を更に行うことができる（Ｓ３）。感知部は、駆動指令に基づく本体の駆動情報を一つ以上のセンサーで感知した実際の駆動情報と比較することにより、本体に発生する滑りや衝突などの外乱の発生有無及び範囲を測定することができる。例えば、エンコーダ、慣性センサー、距離センサー、ランドマーク装置、ＩＧＰＳ装置など、本体に装着されるかまたは本体に組み込まれる一つ以上のセンサーなどの素子を感知部として利用して本体に発生する外乱を測定することができる。
【００５９】
次いで、測定された外乱に対応するようにビジョン装置を駆動させることができる（Ｓ４）。すなわち、駆動指令から予測される本体の駆動に対応するようにビジョン装置を駆動させると共に、本体に装着されたセンサー素子で感知された外乱に対応するようにビジョン装置を駆動させることができる。したがって、移動ロボットの走行中に滑りまたは衝突などの外乱が発生して、駆動指令による駆動情報と実際の移動ロボットの駆動とに差が生じる場合であっても感知部を利用して外乱を感知することができ、外乱による誤差を補正することができる。
【００６０】
一実施例では、外乱に対応するようにビジョン装置を駆動する段階（Ｓ４）においてビジョン装置の移動及び／または回転を制御するだけではなく、ビジョン装置に含まれたカメラのズームレベルを調節することもできる。カメラのズームレベルを調節する具体的な構成は、前記段階（Ｓ２）に関する説明から容易に理解できることから、その詳細な説明を省略する。
【００６１】
以上で説明したように、ビジョン装置の駆動が制御される中でビジョン装置が映像情報を受信することができる（Ｓ５）。その結果、本体の駆動に対応する方向及び大きさでビジョン装置が移動及び回転するようになるため、本体の移動及び回転によって発生するビジョン装置の映像情報に対する影響を最小化することができる。したがって、移動ロボットが動く場合であってもビジョン装置が目標を注視することができるため、安定した映像情報を得ることができ、目標がビジョン装置の認識範囲を外れたり、目標がビジョン装置の認識範囲を外れなかったにもかかわらず映像にぶれなどの現象が生じたりすることを防止することができる。
【００６２】
一実施例では、ビジョン装置に受信された映像情報を用いてビジョン装置をフィードバック制御するための段階（Ｓ６、Ｓ７）を更に含んでいてもよい。先ず、ビジョン装置に受信された映像情報から所定のターゲットの位置を算出することができる（Ｓ６）。所定のターゲットとは、ビジョン装置が認識しようとする対象目標物の映像に該当するものであってよい。次いで、算出されたターゲット位置を所定の基準位置と比較し、比較結果に基づいてビジョン装置を駆動させることができる（Ｓ７）。例えば、ターゲットの位置と基準位置との差を減少させる移動及び／または回転方向と大きさでビジョン装置を駆動させることができる。ビジョン装置で受信された映像情報をフィードバック信号として用いて制御を行うことにより、より精度よいビジョン装置の制御が可能になる。
【００６３】
本明細書において、実施例に係る駆動指令基盤のビジョン装置の制御方法について、図示されたフローチャートを参照して説明した。簡単に説明するために前記方法を一連のブロックにて図示して説明したが、本発明は、前記ブロックの順序に限定されず、幾つかのブロックは、他のブロックに対して、本明細書で図示し記述した順序と異なる順序にまたは同時に行われていてよく、且つ同一のまたは類似の結果を奏する多様な他の分岐、流れ経路、及びブロックの順序が実現されていてよい。また、本明細書で記述される方法の実現のために図示されたすべてのブロックが要求されないこともある。
【００６４】
また、上述した本発明は、図示された実施例を参考にして説明したが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であれば、これから種々の変形及び実施例の変形が可能であることが理解できるであろう。しかしながら、このような変形は、本発明の技術的保護範囲内にあるとみるべきである。したがって、本発明の真正な技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。
【産業上の利用可能性】
【００６５】
実施例は、ターゲット・トラッキングのための駆動指令基盤のビジョン装置の制御システム及び方法に関する。詳しくは、駆動指令を用いるか、または駆動指令と移動ロボットで感知された駆動情報の両方を用いて移動ロボットに装着されたビジョン装置の視線が認識対象目標を注視するようにビジョン装置の駆動を制御することができる駆動指令基盤のビジョン装置の制御システム及び方法に関する。
【符号の説明】
【００６６】
１  本体
２  ビジョン装置
１０  駆動部
２１  駆動器
２２  カメラ
３０  第１制御部
４０  感知部
５０  第２制御部
６０  イメージ処理部
７０  第３制御部
【図２】
2013534339.tif 000006
【図３】
2013534339.tif 000007
【図４】
2013534339.tif 000008
【図５】
2013534339.tif 000009
【図６】
2013534339.tif 000010
【図１】
2013534339.tif 000011
【図７】
2013534339.tif 000012
【国際調査報告】
2013534339.tif 000013
2013534339.tif 000014
2013534339.tif 000015
2013534339.tif 000016