(57)【要約】  本発明は、室内空間で移動するロボットの位置を認識するためのランドマーク、並びにこれを利用した移動ロボットの位置認識装置及び方法に関する。  本発明は、任意位置の１つのマークと、このマークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部、異なるランドマークを区別するために複数のマークの組み合わせからなる領域認識部を含む移動ロボットの位置認識用ランドマーク、並びにこのように構成されたランドマークの映像を赤外線カメラで取得してランドマークを構成するマークを検出し、これから移動ロボットの位置情報（座標及び方位）と領域情報を正確に検出することのできる、移動ロボットの位置認識装置及び方法を提供する。
2010521733.tif 000002
【特許請求の範囲】
【請求項１】
移動ロボットの座標及び方位情報を認識するためのランドマークにおいて、
任意位置の１つのマークと、前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部を含むことを特徴とする移動ロボットの位置認識用ランドマーク。
【請求項２】
異なるランドマークを区別するために複数のマークの組み合わせからなる領域認識部をさらに含むことを特徴とする請求項１に記載の移動ロボットの位置認識用ランドマーク。
【請求項３】
前記領域認識部は、前記領域認識部を構成するそれぞれのマークの数及び位置に対応するＩＤを付与することにより、異なるランドマークを区別することを特徴とする請求項２に記載の移動ロボットの位置認識用ランドマーク。
【請求項４】
前記領域認識部のＩＤは、前記位置認識部を基準として決定されることを特徴とする請求項３に記載の移動ロボットの位置認識用ランドマーク。
【請求項５】
前記領域認識部は、前記位置認識部を構成する３つのマークの内側に構成されることを特徴とする請求項４に記載の移動ロボットの位置認識用ランドマーク。
【請求項６】
前記マークは、特定の波長帯の光を反射することを特徴とする請求項１又は２に記載の移動ロボットの位置認識用ランドマーク。
【請求項７】
前記光は赤外線であることを特徴とする請求項６に記載の移動ロボットの位置認識用ランドマーク。
【請求項８】
前記マークは、所定の大きさの円形状に構成されることを特徴とする請求項１又は２に記載の移動ロボットの位置認識用ランドマーク。
【請求項９】
前記マークは、平面上に又は平面上に突出した形状に構成されることを特徴とする請求項１又は２に記載の移動ロボットの位置認識用ランドマーク。  
【請求項１０】
前記位置認識部を構成するマークと前記領域認識部を構成するマークとは、異なる大きさ及び／又は色に構成されることを特徴とする請求項２に記載の移動ロボットの位置認識用ランドマーク。
【請求項１１】
赤外線を反射する複数のマークからなるランドマークに赤外線を照射する赤外線照明部と、
前記ランドマークを撮像して２進映像を取得する赤外線カメラと、
前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出するマーク検出部と、
前記検出されたマークの中心座標から移動ロボットの座標及び方位を検出する位置検出部と
を含むことを特徴とする移動ロボットの位置認識装置。
【請求項１２】
前記赤外線カメラは、前記赤外線照明部と一体に構成されることを特徴とする請求項１１に記載の移動ロボットの位置認識装置。
【請求項１３】
前記ランドマークは、前記移動ロボットの上部に設置され、
前記赤外線カメラは、前記移動ロボットを撮像できる所定の空間に設置されることを特徴とする請求項１２に記載の移動ロボットの位置認識装置。
【請求項１４】
前記ランドマークは、任意位置の１つのマークと、前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部を含むことを特徴とする請求項１１〜１３のいずれか１項に記載の移動ロボットの位置認識装置。
【請求項１５】
前記ランドマークは、異なるランドマークを区別するために複数のマークの組み合わせからなる領域認識部をさらに含み、
前記位置検出部は、前記検出されたマークから前記移動ロボットの領域情報をさらに検出することを特徴とする請求項１４に記載の移動ロボットの位置認識装置。
【請求項１６】
前記領域認識部は、前記領域認識部を構成するそれぞれのマークの数及び位置に対応するＩＤを付与することにより、異なるランドマークを区別することを特徴とする請求項１５に記載の移動ロボットの位置認識装置。
【請求項１７】
（ａ）任意位置の１つのマークと前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなり、赤外線を反射する位置認識部を含むランドマークに赤外線を照射し、前記ランドマークを撮像することにより、２進映像を取得する段階と、
（ｂ）前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出する段階と、
（ｃ）前記検出されたマークの中心座標から移動ロボットの座標及び方位を検出する段階と
を含むことを特徴とする移動ロボットの位置認識方法。
【請求項１８】
前記段階（ｂ）において、前記各部分映像のラベルピクセルの数及び／又は分散からマーク候補を選定し、選定されたラベルをつなぐベクトルの内積から前記位置認識部に該当する３つのマークを検出することを特徴とする請求項１７に記載の移動ロボットの位置認識方法。
【請求項１９】
前記段階（ａ）において、異なるランドマークを区別するために複数のマークの組み合わせからなる領域認識部をさらに含む２進映像を取得し、
前記段階（ｃ）において、前記領域認識部のマークから前記移動ロボットの領域情報をさらに検出することを特徴とする請求項１７に記載の移動ロボットの位置認識方法。
【請求項２０】
前記領域情報は、異なるランドマークを区別するために、前記領域認識部を構成するそれぞれのマークの数及び位置に対応して付与されるＩＤであることを特徴とする請求項１９に記載の移動ロボットの位置認識方法。
【請求項２１】
赤外線を反射する複数のマークからなり、所定の空間に付着したランドマークに赤外線を照射する赤外線照明部と、
移動ロボットに設置され、前記ランドマークを撮像して２進映像を取得する赤外線カメラと、
前記移動ロボットに設置され、前記移動ロボットの傾斜情報を検出する２軸傾斜計と、
前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出するマーク検出部と、
前記検出されたマークの中心座標及び前記移動ロボットの傾斜情報から前記移動ロボットの座標及び方位を検出する位置検出部と
を含むことを特徴とする傾斜補正機能を有する移動ロボットの位置認識装置。
【請求項２２】
前記ランドマークは、任意位置の１つのマークと、前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部を含むことを特徴とする請求項２１に記載の傾斜補正機能を有する移動ロボットの位置認識装置。
【請求項２３】
（ａ）任意位置の１つのマークと前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなり、赤外線を反射する位置認識部を含むランドマークに赤外線を照射し、前記ランドマークを撮像することにより、２進映像を取得する段階と、
（ｂ）移動ロボットの重力方向に対する２軸傾斜情報を検出し、前記検出された２軸傾斜情報が所定の閾値を超える場合、再び２進映像を取得する段階と、
（ｃ）前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出する段階と、
（ｄ）前記検出されたマークの中心座標から前記移動ロボットの座標及び方位を検出する段階と
を含むことを特徴とする傾斜補正機能を有する移動ロボットの位置認識方法。
【請求項２４】
前記移動ロボットの２軸傾斜情報によって座標変換行列を用いて前記検出されたマークの中心座標を補正することにより、前記移動ロボットの座標及び方位を検出することを特徴とする請求項２３に記載の傾斜補正機能を有する移動ロボットの位置認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動ロボットの位置（座標及び方位）を認識するための目印（以下、「ランドマーク」という）、並びにこれを利用した位置認識装置及び方法に関する。特に、本発明は、カメラから取得されたランドマーク映像から移動ロボットの位置を正確かつ迅速に求めることのできる選択的反射特性を有するランドマーク、赤外線カメラからランドマーク映像を取得して移動ロボットの正確な位置情報に加えて領域情報まで検出することのできる位置認識装置及び方法、並びに移動ロボットの傾斜による投影面の歪み（perspective distortion）を補正して移動ロボットの位置を正確に認識することのできる傾斜補正機能を有する移動ロボットの位置認識装置及び方法に関する。
【背景技術】
【０００２】
室内空間を移動するロボットを制御するためには、室内空間上でのロボットの位置を認識する機能が必要であるが、一般に、カメラを利用するロボットの自己位置計算方法は次のように大きく２つに分けられる。
【０００３】
第１に、人為的なランドマークを使用する方法であって、図１に示すように、特定の意味を有するランドマーク３０を天井又は壁面に設置し、これをカメラ２０で撮影した後、その映像からランドマーク３０を抽出し、画面上の座標系と移動ロボット１０の座標系とを一致させることにより、移動ロボット１０が自己位置を計算する方法がある（特許文献１参照）。逆に、図２に示すように、移動ロボット１０の上部にランドマーク３０を設置し、天井にカメラ２０を設置する方法も考えられる。
【０００４】
第２に、自然的なランドマークを使用する方法であって、天井をカメラで撮影した後、その映像から天井に設置された照明器具などの構造物、並びに天井と壁との境界面の直線成分及びエッジに関する情報を抽出し、これを利用して移動ロボットが自己位置を計算する方式がある（特許文献２参照）。
【０００５】
ところが、人為的なランドマークを使用した場合は、照明の影響を大きく受け、太陽光により色情報が歪み、誤認識が多く発生するという問題があった。また、自然的なランドマークを使用した場合は、周辺光の明るさの影響を大きく受け、ランドマークにおいて特徴点の位置を記録する段階でオドメータ情報や他のロボット位置判読装置が必要であるため、多くのメモリを必要とし、付加的な装置のサポートが必須である。特に、照明がない状態では使用が非常に難しいという問題があった。
【０００６】
従って、カメラを利用して自己位置を認識する移動ロボットにおいて、照明の影響を受けず、映像前処理段階の計算量を減らすことのできる新しい移動ロボットの自己位置認識方法に対する要求が高まっている。
【０００７】
また、前述した従来の２つの方法によれば、基本的にカメラの座標系と天井に付着したランドマークの座標系が重力方向を除いた方向の回転運動がないと仮定して移動ロボットの位置情報を計算するため、実際に移動ロボットが丘を越えたり、人為的な外部の力により傾いたり、急激な加速又は減速時の慣性により傾いたりする状況では、カメラから取得した映像を利用して計算した移動ロボットの位置情報には多くの誤差があり、信頼できないという問題があった。
【０００８】
一方、カメラ素子として使用するＣＭＯＳ又はＣＣＤセンサをロボットに取り付けるときに傾斜の初期補正を行うことがあるが、これは、初期設置時に発生する誤差を補正する方法であり、ロボットが実際に駆動して発生する傾斜による誤差を補正する方法ではない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】大韓民国登録特許第４８５６９６号
【特許文献２】大韓民国登録特許第４８３５６６号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記の問題を解決するためになされたものであり、カメラで撮像されたランドマーク映像から移動ロボットの位置又は領域情報を迅速かつ正確に検出し、また室内の照明に関係なくランドマークを認識することのできる移動ロボットの位置認識用ランドマークを提供することを目的とする。
【００１１】
本発明の他の目的は、赤外線カメラで取得されたランドマーク映像に特別な前処理過程を経ることなく、移動ロボットの位置及び領域情報を検出することのできる移動ロボットの位置認識装置及び方法を提供することにある。
【００１２】
本発明のさらに他の目的は、２軸傾斜計（２軸傾斜センサ）を利用して移動ロボットの傾斜情報（ロール角及びピッチ角）を測定し、赤外線カメラで撮像されたランドマーク映像の位置情報を補正することにより、移動ロボットの位置を正確に認識することのできる、傾斜補正機能を有する移動ロボットの位置認識装置及び方法を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明の一態様による移動ロボットの位置認識用ランドマークは、移動ロボットの座標及び方位情報を認識するためのランドマークにおいて、任意位置の１つのマークと、前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部を含む。
【００１４】
前記ランドマークは、異なるランドマークを区別するために複数のマークの組み合わせからなる領域認識部をさらに含むことが好ましい。
【００１５】
本発明の他の態様による移動ロボットの位置認識装置は、赤外線（例えば、近赤外線）を反射する複数のマークからなるランドマークに赤外線（例えば、近赤外線）を照射する赤外線照明部と、前記ランドマークを撮像して２進映像（binary image）を取得する赤外線カメラ（例えば、近赤外線カメラ）と、前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出するマーク検出部と、前記検出されたマークの中心座標から移動ロボットの座標及び方位を検出する位置検出部とを含む。
【００１６】
前記赤外線カメラは、前記赤外線照明部と一体に構成することが好ましい。
【００１７】
本発明のさらに他の態様による移動ロボットの位置認識方法は、（ａ）任意位置の１つのマークと前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなり、赤外線を反射する位置認識部を含むランドマークに赤外線を照射し、前記ランドマークを撮像することにより、２進映像を取得する段階と、（ｂ）前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出する段階と、（ｃ）前記検出されたマークの中心座標から移動ロボットの座標及び方位を検出する段階とを含む。
【００１８】
本発明のさらに他の態様による傾斜補正機能を有する移動ロボットの位置認識装置は、赤外線を反射する複数のマークからなり、所定の空間に付着したランドマークに赤外線を照射する赤外線照明部と、移動ロボットに設置され、前記ランドマークを撮像して２進映像を取得する赤外線カメラと、前記移動ロボットに設置され、前記移動ロボットの傾斜情報を検出する２軸傾斜計と、前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出するマーク検出部と、前記検出されたマークの中心座標及び前記移動ロボットの傾斜情報から前記移動ロボットの座標及び方位を検出する位置検出部とを含む。
【００１９】
前記ランドマークは、任意位置の１つのマークと、前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなる位置認識部を含むことが好ましい。
【００２０】
本発明のさらに他の態様による傾斜補正機能を有する移動ロボットの位置認識方法は、（ａ）任意位置の１つのマークと前記マークを中心にＸ軸及びＹ軸上に位置する少なくとも２つのマークとからなり、赤外線を反射する位置認識部を含むランドマークに赤外線を照射し、前記ランドマークを撮像することにより、２進映像を取得する段階と、（ｂ）移動ロボットの重力方向に対する２軸傾斜情報を検出し、前記検出された２軸傾斜情報が所定の閾値を超える場合、再び２進映像を取得する段階と、（ｃ）前記２進映像内の群集した部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散から前記マークを検出する段階と、（ｄ）前記検出されたマークの中心座標から前記移動ロボットの座標及び方位を検出する段階とを含むことを特徴とする。
【００２１】
前記移動ロボットの２軸傾斜情報によって検出されたマークの中心座標を座標変換行列を用いて補正することにより、前記移動ロボットの座標及び方位を検出してもよい。
【発明の効果】
【００２２】
前記のように構成された本発明による移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法によれば、赤外線映像を利用してロボットが移動する空間の照明の影響を受けず、映像の前処理過程が省略されて移動ロボットの位置更新率が向上するだけではなく、高速（３０ｃｍ／ｓ以上）移動するロボットに適用可能である。
【００２３】
また、３つのマークからなる位置認識部により、移動ロボットの正確な位置認識が可能であり、複数のマークからなる領域認識部により、ランドマークにＩＤを付与することによって、複雑で広い室内空間でも移動ロボットへの適用が可能であるという利点がある。
【００２４】
前記のように構成された本発明による傾斜補正機能を有する移動ロボットの位置認識装置及び方法によれば、移動ロボットの傾斜による投影面の歪みによる誤差を補正することができ、様々な環境で移動ロボットの位置を正確に認識することができる。
【００２５】
また、移動ロボットの位置情報（座標及び方位）と傾斜情報とを組み合わせることにより、移動ロボットの３軸の回転角度情報を取得することができ、移動ロボットに慣性計測装置（ＩＭＵ）をさらに取り付けることなく慣性情報を取得することができる。
【図面の簡単な説明】
【００２６】
【図１】室内空間の天井に付着したランドマークを撮像する移動ロボットのカメラを示す概略図である。
【図２】移動ロボットに付着したランドマークを撮像する天井のカメラを示す概略図である。
【図３】本発明の一実施形態によるランドマークの構成図である。
【図４】（ａ）は本発明の一実施形態による移動ロボットの位置認識装置を示す平面図であり、（ｂ）は（ａ）のＡ−Ａ’線断面図である。
【図５】（ａ）は本発明の他の実施形態による移動ロボットの位置認識装置を示す平面図であり、（ｂ）は（ａ）のＡ−Ａ’線断面図である。
【図６】ピンホールモデルの座標系を示す図である。
【図７】カメラが直角となっていない場合の座標系を示す図である。
【図８】カメラ回転時の座標系を示す図である。
【発明を実施するための形態】
【００２７】
本発明は、移動ロボットの位置情報（座標及び方位）を認識するためのランドマーク、並びにこれを利用した位置認識装置及び方法に関するものである。まず、本発明の一実施形態による移動ロボットの位置認識用ランドマーク３０を図１〜図３を参照して説明する。
【００２８】
本発明の一実施形態による移動ロボットの位置認識用ランドマークは、図１に示すように、移動ロボットの移動空間の天井に付着して移動ロボットに設置されたカメラにより撮像されるか、又は図２に示すように、移動ロボットの上部に付着して天井に設置されたカメラにより撮像されて、移動ロボットの位置認識に使用される。
【００２９】
図３を参照して具体的に説明すると、本発明の一実施形態によるランドマーク１００は、移動ロボットの必須の位置情報、すなわち座標及び方位を認識するために３つのマークからなる位置認識部１１０と、移動ロボットの付加的な領域情報を認識するように異なるランドマーク１００を識別するために複数のマーク組み合わせからなる領域認識部１２０とを含む。
【００３０】
位置認識部１１０は、任意位置の１つのマークＢと、マークＢを中心にＸ軸及びＹ軸上に位置する２つのマークＣ、Ａとからなる。このように構成された３つのマークＡ、Ｂ及びＣは、ランドマーク１００上で基準点及び基準座標を提供する。図３では２つのマークを示すが、マークの数はこれに限定されるものではなく、２つ以上でもよい。
【００３１】
領域認識部１２０は、図３に示すように、位置認識部１１０の内側に３×３のマークから構成されているが、位置認識部１１０を構成するマークの位置又は数は使用目的に応じて変更可能である。領域認識部１２０を構成するそれぞれのマークの数及び位置に対応するＩＤを付与することにより、異なるランドマーク１００を識別できるようにする。図３に示すように、領域認識部１２０が３×３のマークからなる場合、ＩＤは５１２個が付与されることが分かる。ここで、領域認識部１２０を構成するマークの位置は、位置認識部１１０により提供される基準座標によって決定され、それぞれのＩＤ毎に２進コード化が可能であるため、移動ロボットの領域情報を迅速に認識することができる。
【００３２】
一方、ランドマーク１００を構成する全てのマークは、例えば特定の波長帯の光、特に８００ｎｍ〜１２００ｎｍ領域の赤外線を乱反射するように、赤外線反射塗料などを塗布したり、反射シートを貼り付けてもよい。従って、夜間だけではなく、外乱光がある場合も、赤外線カメラを利用してマークで反射する赤外線のみを検出することにより、特別な映像前処理を行うことなく、移動ロボットの位置を迅速に認識することができる。
【００３３】
ここで、前記マークは、所定の大きさの円形状のみに構成してもよく、平面上に円形状、又は平面上に半球のように突出した形状に構成してもよい。マークの形状を円形状又は半球形状にしたのは、マークの検出においてピクセルの数、分散、又は中心座標を容易に求めることができるからである。
【００３４】
このようなマークは、全て同一に構成してもよいが、位置認識部１１０のマークと領域認識部１２０のマークとを異なる大きさ及び／又は色に構成することにより、両者の区別をより容易にしてもよい。
【００３５】
前述した本発明によるランドマーク１００を構成するマークは、後述する本発明による移動ロボットの位置認識装置にのみその用途が限定されるものではく、赤外線カメラを使用しない従来の移動ロボットの位置認識装置にも活用することができる。
【００３６】
次に、本発明の一実施形態による移動ロボットの位置認識装置及び方法を図３、図４（ａ）及び図４（ｂ）を参照して動作順に説明する。
【００３７】
本実施形態は、基本的にロボットが移動する空間又はランドマークが付着した空間に屈曲がなくて平坦な場合に適用することが好ましい。
【００３８】
（ａ）まず、赤外線ＬＥＤ２２０により赤外線をランドマーク１００に照射し、位置認識部１１０を構成するマークで反射した映像をカメラ２００で撮像することにより、２進映像を取得する。つまり、カメラ２００から取得された映像のうちマークは白色に近い明るい色に設定し、所定の輝度閾値を選択して２進映像に変換する。
【００３９】
カメラ２００を具体的に説明すると、図４（ａ）及び図４（ｂ）に示すように、カメラ２００は、広角レンズ２１０、広角レンズ２１０の周囲に配置された複数の赤外線ＬＥＤ２２０、赤外線照明制御器２３０、ＣＭＯＳアレイ２４０、及び映像制御器（Vision Controller）２５０から構成される。このように構成されたカメラ２００は、移動ロボット又は天井に設置されて、移動ロボットの移動空間の天井もしくは壁面又は移動ロボットの上部に付着した本発明によるランドマーク１００の映像を取得する。
【００４０】
（ｂ）次に、前記２進映像で明るく表示された部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散からマークを検出する。ここで、ラベリングとは、２進映像で明るく表示された群集した部分映像の位置及び大きさを知るために、群集した映像を個別に認識し、それに対して番号を付与してラベルリストを作成する手順をいう。このようにラベリングを行った後、それぞれのラベルの中心座標を求め、ラベルのピクセル数及び／又は分散からマークを検出する。
【００４１】
ラベルリストからマークを検出する方法は様々である。例えば、１つの方法として、ラベルを構成するピクセル数に対する制限を加えることができる。つまり、マークは、円形状であり、大きさが均一であるので、所定個数範囲のピクセルを有するラベルのみをマーク候補として選定し、所定のピクセル数より小さいか大きいラベルはラベルリストから削除する。
【００４２】
他の方法として、マークは、円形状に群集しているので、ラベルにおいて中心座標値に対する分散値を用いて境界値に該当する所定の分散値を定め、群集していないラベルをラベルリストから削除することにより、マーク候補を選定することができる。
【００４３】
前記ラベルからマークを検出する２つの方法は、選択的に用いてもよく、必要に応じて並行して用いてもよい。
【００４４】
一方、ランドマーク１００に位置認識部１１０のマークのみある場合、前記方法により３つのマークを検出することができる。しかしながら、位置認識部１１０のマークの他に、同じ大きさを有する領域認識部１２０マークがある場合は、次のような追加的な段階を経ることにより、全体のマークから位置認識部１１０に該当するマークを分離して検出することができる。
【００４５】
つまり、選定されたマーク候補から、各ラベル間の離隔距離が類似し、かつ直角に近い位置にある３つのラベルを検索することにより、位置認識部１１０のマークを分離して検出することができる。例えば、各ラベルをつなぐベクトルの内積を求め、内積値が有効な最大の内積値に最も近い場合のラベルを検索することにより、全体のマークから位置認識部１１０のマークのみを分離して検出することができる。
【００４６】
これを数式を用いて説明すると次の通りである。ラベルのうち図３のＡ、Ｂ、Ｃに該当するラベルのインデックスをｉ、ｊ、ｋと定義し、各ラベル間のベクトルの内積の有効な最大値をδｔｈとすると、内積値が該当範囲にあるインデックスのうち、その大きさの差が最小のインデックスを下記式により求める。
【００４７】
【数１】
2010521733.tif 000003
【００４８】
上記式によりマークの存在と位置を認識すると、マークのＩＤは、これらの位置値の和を利用して位置点を計算し、その位置でラベルの存在を検査することにより、容易に得ることができる。
【００４９】
（ｃ）最後に、前記検出されたマークを利用して移動ロボットの位置情報（座標及び方位）と領域情報を検出する。
【００５０】
まず、検出されたマークのうち、領域認識部１２０に該当するマークの数及び位置によって決定されるＩＤを迅速に得ることができ、ＩＤに割り当てられた移動ロボットの領域情報、すなわち移動ロボットの概略位置を認識することができる。
【００５１】
次に、移動ロボットの詳細位置情報、すなわち座標及び方位は、前記検出された位置認識部１１０を構成する３つのマークＡ、Ｂ、Ｃの中心座標を利用して求めることができる。
【００５２】
本発明の一実施形態によれば、図３に示す３つのマークＡ、Ｂ、Ｃのそれぞれの中心座標から得られる任意の一点を基準座標として移動ロボットの座標を求めることができる。ここで、任意の一点は、３つのマークの中心座標により得られる重心にしてもよく、この場合、３つのマークの中心座標の誤差を平均した結果となるので、これから得られる移動ロボットの座標の誤差が最小限に抑えられる。
【００５３】
また、３つの中心座標により得られる１つの方向ベクトル（例えば、ＢからＡまでのベクトルとＢからＣまでのベクトルとを合わせて得られる方向ベクトル）を基準として移動ロボットの方位を求めることができる。
【００５４】
移動ロボットの座標及び方位の両方が分かるベクトル量はキャリブレーション式を用いて求めることができるが、これに関しては次のような様々な論文に詳細に提示されている。
【００５５】
［１］ R. I. Hartley. An algorithm for self calibration from several
views. In Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition, pages 908-912, Seattle, WA, June 1994. IEEE.
【００５６】
［２］ D. Liebowitz and A. Zisserman. Metric rectification for perspective
images of planes. In Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, pages 482-488, Santa Barbara, California, June
1998. IEEE Computer Society.
【００５７】
キャリブレーション式は次のように示される。
【００５８】
【数２】
2010521733.tif 000004
【００５９】
移動ロボットの基準位置に該当する投影されたピクセル座標を
2010521733.tif 000005
、回転行列をＲ０、変位ベクトルをｔ０といい、ｓは任意のスケール値であり、Ａはキャリブレーション行列である。そして、移動ロボットが回転して移動した位置でのピクセル座標を
2010521733.tif 000006
、回転角度量に対応する行列をＲ１、変位ベクトル量をｔ１とすると、上記式２により下記式３及び４が得られる。
【００６０】
【数３】
2010521733.tif 000007
【００６１】
【数４】
2010521733.tif 000008
【００６２】
上記式３により座標値Ｍを求め、求めた値を上記式４に代入する。上記式４において、Ｒ１は、認識されたマークのベクトルの和を用いて計算することができる。結局、上記式４においてｔ１を除いた全ての値を知っているため、変位ベクトル量ｔ１を計算することができる。つまり、移動ロボットの変位ベクトル量は下記式５により求められる。
【００６３】
【数５】
2010521733.tif 000009
【００６４】
以上説明したように、前記検出された位置認識部１１０の３つのマーク、及びキャリブレーション式を用いたベクトル演算により、移動ロボットの座標及び方位が同時に分かるベクトル量を求めることもでき、これを用いて安価なマイクロプロセッサを実現することができる。
【００６５】
また、移動ロボットの概略的な領域情報、及び詳細な位置情報（座標及び方位）はコード情報に変換され、その変換されたコード情報が移動ロボットに伝送されることによって、移動ロボットは必要な動作を行う。
【００６６】
次に、本発明の他の実施形態による傾斜補正機能を有する移動ロボットの位置認識装置及び方法を図３、図５（ａ）及び図５（ｂ）、図６〜図８を参照して説明する。図５（ａ）及び図５（ｂ）の実施形態は、移動ロボットの位置認識装置が２軸傾斜計２６０をさらに含むという点で、図４（ａ）及び図４（ｂ）の実施形態と異なる。
【００６７】
（ａ）まず、赤外線ＬＥＤ２２０により赤外線をランドマーク１００に照射し、位置認識部１１０を構成するマークで反射した映像をカメラで撮像することにより、２進映像を取得する。つまり、カメラ２００から取得された映像のうちマークは白色に近い明るい色に設定し、所定の輝度閾値を選択して２進映像に変換する。
【００６８】
カメラ２００を具体的に説明すると、図５（ａ）及び図５（ｂ）に示すように、カメラ２００は、広角レンズ２１０、広角レンズ２１０の周囲に配置された複数の赤外線ＬＥＤ２２０、赤外線照明制御器２３０、ＣＭＯＳアレイ２４０、映像制御器２５０、及び２軸傾斜計２６０から構成される。このように構成されたカメラ２００は、移動ロボットに設置されて、天井もしくは壁面に付着した本発明によるランドマーク１００の映像を取得する。
【００６９】
（ｂ）次に、図５（ｂ）に示すようにカメラ２００本体に設置された２軸傾斜計２６０により、移動ロボットの重力方向に対する２軸傾斜情報を検出する。ここで、２軸傾斜情報とは、重力方向に対するロール角及びピッチ角をいう。
【００７０】
前記検出された傾斜情報は所定の閾値以内の場合にのみ有効であるので、前記傾斜情報が所定の閾値を超えた場合、前記傾斜情報が有効になるまで再びカメラから２進映像を取得する。
【００７１】
（ｃ）次に、前記２進映像で明るく表示された部分映像に対してラベリングし、前記各部分映像のラベルピクセルの数及び／又は分散からマークを検出する。ここで、ラベリングとは、２進映像で明るく表示された群集した部分映像の位置及び大きさを知るために、群集した映像を個別に認識し、それに対して番号を付与してラベルリストを作成する手順をいう。このようにラベリングを行った後、それぞれのラベルの中心座標を求め、ラベルのピクセル数及び／又は分散からマークを検出する。
【００７２】
ラベルリストからマークを検出する方法は様々である。例えば、１つの方法として、ラベルを構成するピクセル数に対する制限を加えることができる。つまり、マークは、円形状であり、大きさが均一であるので、所定個数範囲のピクセルを有するラベルのみをマーク候補として選定し、所定のピクセル数より小さいか大きいラベルはラベルリストから削除する。
【００７３】
他の方法として、マークは、円形状に群集しているので、ラベルにおいて中心座標値に対する分散値を用いて境界値に該当する所定の分散値を定め、群集していないラベルをラベルリストから削除することにより、マーク候補を選定することができる。
【００７４】
前記ラベルからマークを検出する２つの方法は、選択的に用いてもよく、必要に応じて並行して用いてもよい。
【００７５】
一方、選定されたマーク候補から、各ラベル間の離隔距離が類似し、かつ直角に近い位置にある３つのラベルを検索することにより、位置認識部１１０のマークを正確に分離して検出することができる。例えば、各ラベルをつなぐベクトルの内積を求め、内積値が有効な最大の内積値に最も近い場合のラベルを検索することにより、全体のマークから位置認識部１１０のマークのみを分離して検出することができる。
【００７６】
これを数式を用いて説明すると次の通りである。ラベルのうち図３のＡ、Ｂ、Ｃに該当するラベルのインデックスをｉ、ｊ、ｋと定義し、各ラベル間のベクトルの内積の有効な最大値をδｔｈとすると、内積値が該当範囲にあるインデックスのうち、その大きさの差が最小のインデックスを下記式により求める。
【００７７】
【数６】
2010521733.tif 000010
【００７８】
（ｄ）前記検出されたマーク及び２軸傾斜情報を用いて、移動ロボットの位置情報（座標及び方位）を検出する。
【００７９】
移動ロボットの詳細位置情報、すなわち座標及び方位は、前記検出された位置認識部１１０を構成する３つのマークＡ、Ｂ、Ｃの中心座標を利用して求めることができる。
【００８０】
本発明の一実施形態によれば、図３に示す３つのマークＡ、Ｂ、Ｃのそれぞれの中心座標から得られる任意の一点を基準座標として移動ロボットの座標を求めることができる。ここで、任意の一点は、３つのマークの中心座標により得られる重心にしてもよく、この場合、３つのマークの中心座標の誤差を平均した結果となるので、これから得られる移動ロボットの座標の誤差が最小限に抑えられる。
【００８１】
また、３つの中心座標により得られる１つの方向ベクトル（例えば、ＢからＡまでのベクトルとＢからＣまでのベクトルとを合わせて得られる方向ベクトル）を基準として移動ロボットの方位を求めることができる。
【００８２】
ところが、ロボットが傾いた場合は、カメラ２００で取得された映像に含まれるランドマークの形状が歪んでいるため、２軸傾斜計２６０により検出された移動ロボットの所定の閾値以内の傾斜情報、及び座標変換行列を用いて、前記検出されたマークの中心座標を補正する。
【００８３】
以下、移動ロボットの座標及び方位の両方が分かるベクトル量をキャリブレーション式を用いて求める方法を説明する。
【００８４】
映像処理に関連して一般的に使用するカメラモデルは、ピンホールモデルである。ピンホールモデルの構成は図６に示す通りである。
【００８５】
図６を参照して説明すると、３次元空間上の任意の点Ｍｃのイメージの点ｍｒは、点Ｍｃと点Ｃをつなぐ直線が平面ｒと会う点に該当する。ここで、点Ｃを光心（optical center）といい、平面ｒをレチナールプレーン（retinal
plane）という。また、点Ｃを通過して平面ｒに垂直な直線が存在するが、これを光軸（optical axis）という。
【００８６】
一般的に、点Ｃをカメラ座標系の原点におき、光軸を直交座標系のＺ軸と一致させる。
【００８７】
カメラモデルが決定されると、カメラの構造を様々なパラメータで表現することができる。カメラの記述に使用されるパラメータは、大きく内部パラメータ（intrinsic parameter）と外部パラメータ（extrinsic
parameter）の２つに分けられる。前記内部パラメータは、３次元座標で表現されるカメラ座標系上の点と前記点が投影されて２次元座標で表現されるレチナールプレーン上の点との対応関係を記述する。前記外部パラメータは、カメラ座標系とワールド座標系間の変換関係を記述する。
【００８８】
まず、内部パラメータについて説明する。
【００８９】
図７を参照すると、カメラ座標系上の任意の一点Ｍｃ＝［Ｘｃ
Ｙｃ Ｚｃ］Ｔと、それに対応するレチナールプレーン上の点ｍｒ＝［ｕｒ
ｖｒ］Ｔ間の関係は、次のように与えられる。
【００９０】
【数７】
2010521733.tif 000011
【００９１】
ここで、ｆは光心Ｃと光軸がレチナールプレーンを貫通する点であるｃ間の距離であって、焦点距離という。また、点ｃは主点（principal point）という。
【００９２】
レチナールプレーンに結像された像はＣＣＤアレイによりサンプリングされ、その結果はビデオ信号に変換されてカメラから出力され、フレームバッファに保存される。従って、最終的に得られる映像の座標値は、レチナールプレーン上の座標値ではなく、ピクセル座標値となる。ｍｒに該当するピクセル座標をｍｐ＝［ｕｐ
ｖｐ］Ｔとすると、２つの座標間の変換関係は次のように与えられる。
【００９３】
【数８】
2010521733.tif 000012
【００９４】
ここで、α、βは２つの座標間のスケール変換を示す値であり、ｕ０、ｖ０は主点ｃのピクセル座標値である。上記式により与えられる関係は、ＣＣＤアレイの配列が完全に直角になっている場合に成立する。しかしながら、実際には完全に直角になりにくいため、この点を考慮して関係式を求める必要がある。図７に示すように、ピクセル座標系をなす両軸がなす角をθとすると、レチナールプレーン上の座標とピクセル座標間には次のような関係が成立する。
【００９５】
【数９】
2010521733.tif 000013
【００９６】
上記式７を上記式９に代入すると、最終的に、カメラ座標系上の３次元座標とピクセル座標間の関係式が次のように得られる。
【００９７】
【数１０】
2010521733.tif 000014
【００９８】
上記式に示すように、内部パラメータはα、β、γ、ｕ０、ｖ０の５つからなる。
【００９９】
次に、外部パラメータについて説明する。
【０１００】
一般的に、３次元空間上の点をカメラ座標系とは異なる座標系で記述するが、通常、この座標系をワールド座標系という。従って、ワールド座標系からカメラ座標系への変換式が必要であるが、各座標系の原点間の相対的な位置を示す並進ベクトル（translation vector）、及び各座標軸の回転量を示す回転行列（rotation
matrix）で示すことができる。
【０１０１】
ワールド座標で表現される任意の点Ｍｗ＝［Ｘｗ
Ｙｗ Ｚｗ］Ｔとし、それがカメラ座標系でＭｃに変換される場合、両者の関係式は、
【０１０２】
【数１１】
2010521733.tif 000015
【０１０３】
に与えられる。ここで、Ｒは回転行列を示し、ｔは並進ベクトルを示す。Ｒを構成する独立したパラメータは３つでり、ｔを構成する独立したパラメータも３つであるので、外部パラメータは６つである。
【０１０４】
以下、射影幾何学（projective geometry）を用いたカメラモデル表現について説明する。
【０１０５】
カメラのピンホールモデルを同次座標（homogeneous coordinate）という概念を導入して線形的に表現することができる。２次元ピクセル座標系の点をｍ＝［ｕ，ｖ］Ｔと定義する。また、その点と対応する３次元ワールド座標系上の座標をＭ＝［Ｘ
Ｙ Ｚ］Ｔと定義する。すると、そのベクトルの最後の項に１を追加した同次座標は、
2010521733.tif 000016
2010521733.tif 000017
となる。３次元上の点Ｍとそれが投影されたｍの関係式は、以上説明したピンホールモデルで表現すると次の通りである。
【０１０６】
【数１２】
2010521733.tif 000018
【０１０７】
ここで、ｓは任意のスケール値であり、Ｒ、ｔはそれぞれ回転行列、並進ベクトルであって、外部パラメータである。Ａは内部パラメータの行列であり、これをキャリブレーション行列という。
【０１０８】
【数１３】
2010521733.tif 000019
【０１０９】
ここで、α、βは映像のｕ、ｖ軸へのスケール値に該当し、γは２つの映像軸の歪み（skewness）に該当し、ｕ０、ｖ０は主点である。
【０１１０】
移動ロボットの座標及び方位の両方が分かるベクトル量はキャリブレーション式を用いて求めることができるが、これに関しては次のような様々な論文に詳細に提示されている。
【０１１１】
［１］ R. I. Hartley. An algorithm for self calibration from several views.
In Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition, pages 908-912, Seattle, WA, June 1994. IEEE.
【０１１２】
［２］ D. Liebowitz and A. Zisserman. Metric rectification for perspective
images of planes. In Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, pages 482-488, Santa Barbara, California, June
1998. IEEE Computer Society.
【０１１３】
以下、ワールド座標系上の任意の一点がカメラピクセル座標系に投影される変換関係を図８を参照して説明する。
【０１１４】
カメラの傾斜に該当するロール角をα、ピッチ角をβとするとき、α、βだけ傾いた程度を行列で表現すると次の通りである。
【０１１５】
【数１４】
2010521733.tif 000020
【０１１６】
【数１５】
2010521733.tif 000021
【０１１７】
ここで、スケールパラメータに該当する同次ピクセル座標（homogeneous pixel coordinate）
2010521733.tif 000022
は、次のように求められる。
【０１１８】
【数１６】
2010521733.tif 000023
【０１１９】
並進ベクトルｔを知っていると仮定すると、ワールド座標上の点Ｍは下記式で求められる。
【０１２０】
【数１７】
2010521733.tif 000024
【０１２１】
参照点に該当するＭを知っている場合、最終的に計算しようとする並進ベクトルｔは下記式で求められ、これを利用して移動ロボットの自己位置を計算することができる。
【０１２２】
【数１８】
2010521733.tif 000025
【０１２３】
以上説明したように、前記検出された位置認識部１１０の３つのマーク、及びキャリブレーション式を用いたベクトル演算により、移動ロボットの座標及び方位が同時に分かるベクトル量を求めることもでき、これを用いて安価なマイクロプロセッサを実現することができる。
【０１２４】
前述のように、本発明の詳細な説明においては具体的な実施形態に関して説明したが、これは単なる例示にすぎず、本発明の技術思想の範疇を逸脱しない範囲内で様々な変形が可能であることは勿論であり、本明細書に開示のものと同じ機能を果たす限り均等手段とみなすべきであるので、本発明の範囲は、上記実施形態に限定して定められるものではなく、特許請求の範囲だけではなく、その特許請求の範囲と均等なものにより定められるべきである。
【図１】
2010521733.tif 000026
【図２】
2010521733.tif 000027
【図３】
2010521733.tif 000028
【図４】
2010521733.tif 000029
【図５】
2010521733.tif 000030
【図６】
2010521733.tif 000031
【図７】
2010521733.tif 000032
【図８】
2010521733.tif 000033
【国際調査報告】
2010521733.tif 000034
2010521733.tif 000035