(57)【要約】【課題】煩雑な操作を行うことなく高精度のキャリブレーションを行うことのできる移動ロボットを提供する。【解決手段】移動可能な移動ロボット１０であって、観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段１４０と、所定の位置において対象物を撮影する撮影手段１００と、撮影時の状況であって、対象物の画像に影響を与える撮影状況を特定する撮影状況特定手段１１４と、補正情報保持手段１４０において撮影状況特定手段１１４が特定した撮影状況に対応付けられている補正情報を抽出する補正情報抽出手段１１５と、補正情報に基づいて、撮影画像を補正する画像補正手段１１８とを備えた。【選択図】        図１
2007264832.tif 000002
【特許請求の範囲】
【請求項１】
移動可能な移動ロボットであって、
観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段と、
所定の位置において前記対象物を撮影する撮影手段と、
前記撮影手段による撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定手段と、
前記補正情報保持手段において前記撮影状況特定手段が特定した前記撮影状況に対応付けられている前記補正情報を抽出する補正情報抽出手段と、
前記補正情報抽出手段により抽出された前記補正情報に基づいて、前記撮影画像を補正する画像補正手段と
を備えたことを特徴とする移動ロボット。
【請求項２】
前記画像補正手段により補正された前記撮影画像に基づいて、画像認識を行う画像認識手段をさらに備えたことを特徴とする請求項１に記載の移動ロボット。
【請求項３】
前記撮影状況は、前記撮影手段に関する情報であることを特徴とする請求項１または２に記載の移動ロボット。
【請求項４】
前記撮影状況は、前記撮影手段の性能、当該撮影手段の撮影時の位置および方向のうち少なくともいずれか１つに関する情報であることを特徴とする請求項３に記載の移動ロボット。
【請求項５】
前記撮影状況は、前記対象物に関する情報であることを特徴とする請求項１から４のいずれか一項に記載の移動ロボット。
【請求項６】
前記撮影状況は、前記対象物の形状、表面の材質のうち少なくともいずれか１つに関する情報であることを特徴とする請求項５に記載の移動ロボット。
【請求項７】
前記撮影状況は、前記対象物の周辺の環境に関する情報であることを特徴とする請求項１から６のいずれか一項に記載の移動ロボット。
【請求項８】
前記撮影状況は、前記対象物に照射される光に関する情報であることを特徴とする請求項７に記載の移動ロボット。
【請求項９】
前記撮影状況は、前記対象物を照射する光源の種類、位置、方向、明るさ、ゲインおよび前記光源を遮蔽する遮蔽物の状態のうち少なくともいずれか１つに関する情報であることを特徴とする請求項８に記載の移動ロボット。
【請求項１０】
前記補正情報を生成する際に利用する基本パターンを保持する基本パターン保持手段と、
前記撮影手段により撮影された前記基本パターンと、前記基本パターン保持手段に保持されている前記基本パターンとを比較して、前記補正情報を生成する補正情報生成手段と
をさらに備え、
前記撮影手段は、前記撮影状況特定手段により特定された前記撮影状況に対応する前記補正情報が前記補正情報保持手段に保持されていない場合に、前記基本パターンを撮影し、
前記撮影状況特定手段は、前記撮影手段が前記基本パターンを撮影した際の前記撮影状況を特定し、
前記補正情報保持手段は、前記補正情報生成手段により生成された前記補正情報と、前記撮影手段が前記基本パターンを撮影した際の前記撮影状況とを対応付けて保持することを特徴とする請求項１から９のいずれか一項に記載の移動ロボット。
【請求項１１】
前記撮影手段は、前記対象物と前記基本パターンとを含む撮影画像を撮影し、
前記基本パターンの実際の色を示す基本パターン保持手段と、
前記撮影手段により撮影された前記基本パターンと前記基本パターン保持手段が保持する前記基本パターンとに基づいて、画像誤差を算出する画像誤差算出手段と
をさらに備え、
前記補正情報抽出手段は、前記画像誤差算出手段により算出された前記画像誤差が閾値以上となった場合に、前記補正情報を抽出することを特徴とする請求項１から９のいずれか一項に記載の移動ロボット。
【請求項１２】
前記基本パターンを前記撮影手段が撮影可能な範囲に移動させる基本パターン移動手段をさらに備え、
前記撮影手段は、前記基本パターン移動手段により移動された後の前記基本パターンを撮影することを特徴とする請求項１０または１１に記載の移動ロボット。
【請求項１３】
前記基本パターンを前記撮影手段が撮影可能な範囲に移動する指示を他の装置に対して送る基本パターン移動制御手段をさらに備え、
前記撮影手段は、前記基本パターン移動制御手段による指示に基づいて、前記他の装置により移動された後の前記基本パターンを撮影することを特徴とする請求項１０または１１に記載の移動ロボット。
【請求項１４】
前記撮影状況特定手段は、予め定められた時間間隔で撮影状況を特定し、
前記撮影状況特定手段により特定された撮影状況の値と、直前までに特定された撮影状況の値との差分を算出する撮影状況差分算出手段をさらに備え、
前記補正情報抽出手段は、前記撮影状況差分算出手段により算出された差分が予め定められた閾値以上となった場合に、前記補正情報を抽出することを特徴とする請求項１から９のいずれか一項に記載の移動ロボット。
【請求項１５】
移動可能な移動ロボットであって、
予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された前記基本パターンと実際の前記基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持する基本パターン誤差保持手段と、
観察対象となる対象物を撮影する撮影手段と、
前記撮影手段による撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定手段と、
前記基本パターン誤差保持手段において前記撮影状況特定手段が特定した前記撮影状況に対応付けられている前記基本パターン誤差を抽出する基本パターン誤差抽出手段と、
前記対象物の実際の色を示す画像を保持する対象物保持手段と、
前記基本パターン誤差抽出手段により抽出された前記基本パターン誤差と、前記対象物保持手段が保持する前記対象物の画像とに基づいて、撮影された前記対象物の推定画像を特定する対象物推定画像特定手段と、
前記対象物推定画像特定手段により特定された前記推定画像と、前記撮影手段により撮影された前記対象物の画像とに基づいて画像認識を行う画像認識手段と
を備えたことを特徴とする移動ロボット。
【請求項１６】
画像を撮影可能であって、移動可能な移動ロボットにおける画像補正方法であって、
所定の位置において前記対象物を撮影する撮影ステップと、
前記撮影ステップにおける撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定ステップと、
観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段において前記撮影状況特定ステップにおいて特定した前記撮影状況に対応付けられている前記補正情報を抽出する補正情報抽出ステップと、
前記補正情報抽出ステップにおいて抽出された前記補正情報に基づいて、前記撮影画像を補正する画像補正ステップと
を有することを特徴とする画像補正方法。
【請求項１７】
画像を撮影可能であって、移動可能な移動ロボットにおける画像補正方法であって、
観察対象となる対象物を撮影する撮影ステップと、
前記撮影ステップにおける撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定ステップと、
予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された前記基本パターンと実際の前記基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持する基本パターン誤差保持手段において前記撮影状況特定ステップにおいて特定した前記撮影状況に対応付けられている前記基本パターン誤差を抽出する基本パターン誤差抽出ステップと、
前記基本パターン誤差抽出ステップにおいて抽出された前記基本パターン誤差と、前記対象物の実際の色を示す画像を保持する対象物保持手段が保持する前記対象物の画像とに基づいて、撮影された前記対象物の推定画像を特定する対象物推定画像特定ステップと、
前記対象物推定画像特定ステップにおいて特定された前記推定画像と、前記撮影手段により撮影された前記対象物の画像とに基づいて画像認識を行う画像認識ステップと
を有することを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動可能な移動ロボットおよび移動ロボットにおける画像補正方法に関するものである。
【背景技術】
【０００２】
画像認識処理において色や距離情報などを用いる場合がある。この場合、カメラの特性や、画像処理の対象となる対象物の特定などに応じて画像認識の結果が大きく左右される。このため、画像認識においては、キャリブレーションと状況把握が非常に重要である。
【０００３】
この問題を解決する技術として、ある環境において撮影した画像をこの環境に対して予め用意しておいたキャリブレーションデータを用いて補正する方法や、環境が変わるたびに、予めその環境中に設置した特定パターンや特定物体を撮影し、この撮影画像に基づいて、キャリブレーションを行う方法が知られている（例えば、「特許文献１」および「特許文献２」参照）。
【０００４】
【特許文献１】特開２００３−２８９５４６号公報
【特許文献２】特開２００４−２７６１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の方法においては、環境が変わる度にキャリブレーションフェーズ作業を逐一行わなければならず面倒であった。また、予め環境内にキャリブレーションするための物を設置する方法においては、カメラと対象物、さらには光源との相対位置により撮影画像は大きく変化する。このため、精度よくキャリブレーションを行うことが困難であった。
【０００６】
本発明は、上記に鑑みてなされたものであって、煩雑な操作を行うことなく高精度のキャリブレーションを行うことのできる移動ロボットおよび画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、移動可能な移動ロボットであって、観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段と、所定の位置において前記対象物を撮影する撮影手段と、前記撮影手段による撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定手段と、前記補正情報保持手段において前記撮影状況特定手段が特定した前記撮影状況に対応付けられている前記補正情報を抽出する補正情報抽出手段と、前記補正情報抽出手段により抽出された前記補正情報に基づいて、前記撮影画像を補正する画像補正手段とを備えたことを特徴とする。
【０００８】
また、本発明の他の形態は、移動可能な移動ロボットであって、予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された前記基本パターンと実際の前記基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持する基本パターン誤差保持手段と、観察対象となる対象物を撮影する撮影手段と、前記撮影手段による撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定手段と、前記基本パターン誤差保持手段において前記撮影状況特定手段が特定した前記撮影状況に対応付けられている前記基本パターン誤差を抽出する基本パターン誤差抽出手段と、前記対象物の実際の色を示す画像を保持する対象物保持手段と、前記基本パターン誤差抽出手段により抽出された前記基本パターン誤差と、前記対象物保持手段が保持する前記対象物の画像とに基づいて、撮影された前記対象物の推定画像を特定する対象物推定画像特定手段と、前記対象物推定画像特定手段により特定された前記推定画像と、前記撮影手段により撮影された前記対象物の画像とに基づいて画像認識を行う画像認識手段とを備えたことを特徴とする。
【０００９】
また、本発明の他の形態は、画像を撮影可能であって、移動可能な移動ロボットにおける画像補正方法であって、所定の位置において前記対象物を撮影する撮影ステップと、前記撮影ステップにおける撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定ステップと、観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段において前記撮影状況特定ステップにおいて特定した前記撮影状況に対応付けられている前記補正情報を抽出する補正情報抽出ステップと、前記補正情報抽出ステップにおいて抽出された前記補正情報に基づいて、前記撮影画像を補正する画像補正ステップとを有することを特徴とする。
【００１０】
また、本発明の他の形態は、画像を撮影可能であって、移動可能な移動ロボットにおける画像補正方法であって、観察対象となる対象物を撮影する撮影ステップと、前記撮影ステップにおける撮影時の状況であって、前記対象物の画像に影響を与える撮影状況を特定する撮影状況特定ステップと、予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された前記基本パターンと実際の前記基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持する基本パターン誤差保持手段において前記撮影状況特定ステップにおいて特定した前記撮影状況に対応付けられている前記基本パターン誤差を抽出する基本パターン誤差抽出ステップと、前記基本パターン誤差抽出ステップにおいて抽出された前記基本パターン誤差と、前記対象物の実際の色を示す画像を保持する対象物保持手段が保持する前記対象物の画像とに基づいて、撮影された前記対象物の推定画像を特定する対象物推定画像特定ステップと、前記対象物推定画像特定ステップにおいて特定された前記推定画像と、前記撮影手段により撮影された前記対象物の画像とに基づいて画像認識を行う画像認識ステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明にかかる移動ロボットは、補正情報保持手段が、観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持し、撮影手段が、所定の位置において対象物を撮影し、撮影状況特定手段が、撮影手段による撮影時の状況であって、対象物の画像に影響を与える撮影状況を特定し、補正情報抽出手段が、補正情報保持手段において撮影状況特定手段が特定した撮影状況に対応付けられている補正情報を抽出し、画像補正手段が、補正情報抽出手段により抽出された補正情報に基づいて、撮影画像を補正するので、煩雑な操作を行うことなく高精度のキャリブレーションを行うことができるという効果を奏する。
【００１２】
また、本発明の他の形態にかかる移動ロボットは、基本パターン誤差保持手段が、予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された基本パターンと実際の基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持し、撮影手段が、観察対象となる対象物を撮影し、撮影状況特定手段が、撮影手段による撮影時の状況であって、対象物の画像に影響を与える撮影状況を特定し、基本パターン誤差抽出手段が、基本パターン誤差保持手段において撮影状況特定手段が特定した撮影状況に対応付けられている基本パターン誤差を抽出し、対象物保持手段が、対象物の実際の色を示す画像を保持し、対象物推定画像特定手段が、基本パターン誤差抽出手段により抽出された基本パターン誤差と、対象物保持手段が保持する対象物の画像とに基づいて、撮影された対象物の推定画像を特定し、画像認識手段が、対象物推定画像特定手段により特定された推定画像と、撮影手段により撮影された対象物の画像とに基づいて画像認識を行うので、煩雑な操作を行うことなく高精度のキャリブレーションを行うことができるという効果を奏する。
【００１３】
また、本発明の他の形態にかかる画像補正方法は、撮影ステップにおいて、所定の位置において対象物を撮影し、撮影状況特定ステップにおいて、撮影ステップにおける撮影時の状況であって、対象物の画像に影響を与える撮影状況を特定し、補正情報抽出ステップにおいて、観察対象となる対象物を撮影する際の撮影状況と、当該撮影状況において撮影された撮影画像を補正するための画像補正情報とを対応付けて保持する補正情報保持手段において撮影状況特定ステップにおいて特定した撮影状況に対応付けられている補正情報を抽出し、画像補正ステップにおいて、補正情報抽出ステップにおいて抽出された補正情報に基づいて、撮影画像を補正するので、煩雑な操作を行うことなく高精度のキャリブレーションを行うことができるという効果を奏する。
【００１４】
また、本発明の他の形態にかかる画像補正方法は、撮影ステップにおいて、観察対象となる対象物を撮影し、撮影状況特定ステップにおいて、撮影ステップにおける撮影時の状況であって、対象物の画像に影響を与える撮影状況を特定し、基本パターン誤差抽出ステップにおいて、予め定められた画像である基本パターンを撮影する際の撮影状況と、当該撮影状況において撮影された基本パターンと実際の基本パターンの間の誤差を示す基本パターン誤差とを対応付けて保持する基本パターン誤差保持手段において撮影状況特定ステップにおいて特定した撮影状況に対応付けられている基本パターン誤差を抽出し、対象物推定画像特定ステップにおいて、基本パターン誤差抽出ステップにおいて抽出された基本パターン誤差と、対象物の実際の色を示す画像を保持する対象物保持手段が保持する対象物の画像とに基づいて、撮影された対象物の推定画像を特定し、画像認識ステップにおいて、対象物推定画像特定ステップにおいて特定された推定画像と、撮影手段により撮影された対象物の画像とに基づいて画像認識を行うので、煩雑な操作を行うことなく高精度のキャリブレーションを行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下に、本発明にかかる移動ロボットおよび移動ロボットにおける画像補正方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１６】
（実施の形態１）
図１は、本発明にかかる移動ロボット１０の全体構成を示す図である。移動ロボット１０は、カメラ１００と、補正制御部１１０と、移動制御部１２０と、画像認識部１３０と、補正情報データベース（ＤＢ）１４０とを備えている。
【００１７】
カメラ１００は、観察対象となる対象物と画像補正のために利用する基本パターンとを含む画像を撮影する。補正制御部１１０は、カメラ１００により撮影された撮影画像の補正を制御する。移動制御部１２０は、補正制御部１１０からの指示にしたがい、対象物をカメラ１００の撮影範囲内に移動する。補正情報ＤＢ１４０は、補正制御部１１０が利用する補正情報を保持する。画像認識部１３０は、補正制御部１１０による補正後の撮影画像と予め保持する対象物の画像とのマッチングにより画像認識を行う。
【００１８】
補正制御部１１０は、基本パターン検出部１１１と、基本パターン保持部１１２と、画像誤差算出部１１３と、撮影状況特定部１１４と、補正情報抽出部１１５と、利用中補正情報保持部１１６と、補正情報生成部１１７と、画像補正部１１８とを有している。
【００１９】
基本パターン検出部１１１は、カメラ１００により撮影された撮影画像から基本パターンを検出する。基本パターン保持部１１２は、基本パターン本来の色を示す基本パターンの画像を保持する。画像誤差算出部１１３は、基本パターン検出部１１１により検出された基本パターンと、基本パターン保持部１１２に保持されている基本パターンとを比較することにより、画像誤差を算出する。
【００２０】
ここで、画像誤差について説明する。例えば、撮影対象となる対象物がスポットライトの当たる領域からスポットライトの当たらない領域に移動したとする。この場合、スポットライトの有無により異なる色の対象物が撮影される。したがって、両者を同一の条件で画像認識したのでは正確な画像認識を行うことができない。そこで、正確な画像認識を行うために、このような条件の違いによる色の違いを補正する必要がある。具体的には、画像の明度、彩度および色相など色情報の補正を行う。画像誤差算出部１１３は、このような光線などに起因した対象物の見え方の違いを画像誤差として特定する。
【００２１】
撮影状況特定部１１４は、一定期間経過毎に撮影状況を特定する。ここで、撮影状況とは、対象物の画像の色に影響を与え得る条件のことである。具体的には、カメラ１００に関する情報、対象物に関する情報および対象物を撮影する際の対象物の周辺の環境に関する情報などがある。
【００２２】
カメラ１００に関する情報としては、例えば、カメラ１００の性能、撮影時のカメラ１００の位置、方向などがある。ここで、カメラ１００の位置とは、移動ロボット１０の移動範囲におけるカメラ１００の絶対位置である。例えば、移動範囲をＸＹ座標で表現する場合には、カメラ１００のＸＹ座標を位置情報とする。また、方向とは、水平方向におけるカメラ１００の向きと、上下方向におけるカメラ１００の傾斜角度である。移動ロボット１０は、自身の移動履歴に基づいてこれらの情報を特定することができる。
【００２３】
対象物に関する情報としては、例えば、対象物の表面の素材、形状など対象物の特徴に関する情報がある。これらの情報は予め、また変更時にユーザにより移動ロボット１０に登録されているものとする。
【００２４】
対象物の周辺の環境に関する情報としては、対象物に照射される光の光源に関する情報、光源と対象物の間の遮蔽物の状態、および光源とカメラ１００の間の遮蔽物の状態などがある。
【００２５】
光源に関する情報としては、光源の種類、光源の位置、光源のオンオフ、光源の明るさ、ゲイン値、スポットライトの光線の方向などがある。光源の種類としては、太陽光、スポットライト、白熱灯などがある。光源の位置としては、例えば、光源が白熱灯である場合には、この白熱灯が設置されている絶対位置である。
【００２６】
対象物の周辺の環境に関する情報は、例えばカメラ１００により撮影された画像に基づいて特定されてもよい。また、他の例としては、例えば通信網を介して光源から光源のオンオフに関する情報を取得してもよい。このように、外部機器から取得してもよい。
【００２７】
光源と対象物の間の遮蔽物としては、カーテンなど光源の光を遮るものがある。遮蔽物の状態とは、例えばカーテンの開閉状態などがある。光源とカメラ１００の間の遮蔽物、遮蔽物の状態も同様である。
【００２８】
なお、撮影状況特定部１１４は、上述の情報のうち少なくとも１つの情報を特定すればよく、いずれの情報を利用するかは実施の形態に限定されるものではない。また、上述の情報以外にも撮影画像中の対象物の色に影響を与える他の情報を利用してもよい。
【００２９】
補正情報抽出部１１５は、撮影状況特定部１１４により特定された撮影状況に基づいて、補正情報ＤＢ１４０から補正情報を抽出する。補正情報生成部１１７は、画像誤差算出部１１３により算出された誤差が閾値以上である場合に、基本パターン保持部１１２に保持される基本パターンを利用して補正情報を生成する。さらに、生成した補正情報と、このとき撮影状況特定部１１４により特定された撮影状況とを対応付けて補正情報ＤＢ１４０に格納する。
【００３０】
利用中補正情報保持部１１６は、補正情報抽出部１１５により抽出された補正情報または補正情報生成部１１７により生成された補正情報を保持する。画像補正部１１８は、補正情報生成部１１７に保持される補正情報を利用して、カメラ１００により撮影された撮影画像を補正する。
【００３１】
図２は、補正情報ＤＢ１４０のデータ構成を模式的に示す図である。このように、撮影状況と補正情報とを対応付けて保持している。なお、これらの情報は、当該移動ロボット１０における撮影画像に基づいて生成される。このように、撮影状況と補正情報とを対応付けて保持しているので、補正情報抽出部１１５は、撮影状況に基づいて、撮影時に適した補正情報を特定することができる。
【００３２】
図３は、移動ロボット１０の外観構成を示す図である。このように、本実施の形態にかかる移動ロボット１０は、自身のアーム部１２に基本パターン３０を有している。そして、カメラ１００が対象物２０を撮影する際には、移動制御部１２０は、対象物２０と基本パターン３０とが撮影範囲内に納まるようにアーム部１２を動かす。移動制御部１２０は、さらに対象物２０と基本パターン３０とが撮影範囲内に納まるように、カメラ１００の方向および角度を制御してもよい。
【００３３】
このように、移動制御部１２０は、アーム部１２の動作を制御することができるので、カメラ１００は、対象物２０とともに基本パターン３０を含む画像を撮影することができる。
【００３４】
図４は、移動ロボット１０による画像補正処理を示すフローチャートである。まず、移動制御部１２０は、対象物２０および基本パターン３０を含む画像を撮影可能なようにアーム部１２、またはカメラ１００の方向角度などを制御する（ステップＳ１００）。次に、カメラ１００は、対象物２０および基本パターン３０を含む画像を撮影する（ステップＳ１０２）。
【００３５】
次に、基本パターン検出部１１１は、カメラ１００により撮影された撮影画像から基本パターンの画像を検出する（ステップＳ１０４）。次に、画像誤差算出部１１３は、基本パターン検出部１１１により検出された基本パターンと基本パターン保持部１１２に保持されている基本パターンとを比較する。そして、両者の画素値の差分値を画像誤差として算出する（ステップＳ１０６）。
【００３６】
画像誤差算出部１１３により算出された画像誤差が予め定められた閾値以上である場合には（ステップＳ１０８，Ｙｅｓ）、補正情報抽出部１１５は、補正情報ＤＢ１４０において撮影状況特定部１１４により特定された撮影状況を検索する（ステップＳ１１０）。補正情報ＤＢ１４０に撮影状況特定部１１４により特定された撮影状況が保持されている場合には（ステップＳ１１２，Ｙｅｓ）、この撮影状況に対応付けられている補正情報を抽出する（ステップＳ１１４）。抽出された補正情報は、このとき利用中補正情報保持部１１６に保持されていた補正情報にかえて、新たに利用中補正情報保持部１１６に格納される。
【００３７】
次に、画像補正部１１８は、利用中補正情報保持部１１６に新たに格納された補正情報を利用してカメラ１００により撮影された画像を補正する（ステップＳ１２０）。次に、画像認識部１３０は、画像補正部１１８により補正された画像の画像認識を行う（ステップＳ１２２）。
【００３８】
このように、補正情報ＤＢ１４０に撮影時の撮影状況に対応する補正情報が格納されている場合には、新たに補正情報を生成することなく、補正情報ＤＢ１４０中の補正情報を利用して画像補正を行うことができるので、処理効率の向上を図ることができる。
【００３９】
一方、ステップＳ１１２において、補正情報ＤＢ１４０に撮影状況特定部１１４により特定された撮影状況に対応する補正情報が保持されていない場合には（ステップＳ１１２，Ｎｏ）、通常の補正情報生成処理を行う。すなわち、カメラ１００により撮影された画像に含まれる基本パターンの画像と基本パターン保持部１１２に保持されている基本パターンの画像とに基づいて、補正情報を生成する（ステップＳ１３０）。次に、生成された補正情報と、撮影時の撮影状況とを対応付けて補正情報ＤＢ１４０に格納する（ステップＳ１３２）。さらに、生成された補正情報は、このとき利用中補正情報保持部１１６に保持されていた補正情報にかえて、新たに利用中補正情報保持部１１６に格納される。
【００４０】
次に、ステップＳ１２０へ進み、画像補正部１１８は、新たに生成され、利用中補正情報保持部１１６に格納された補正情報を利用してカメラ１００により撮影された画像を補正し（ステップＳ１２０）、補正後の画像による画像認識が行われる（ステップＳ１２２）。
【００４１】
このように、補正情報ＤＢ１４０に撮影時の撮影状況に対応する補正情報が保持されていない場合には、新たに補正情報を生成し、補正情報ＤＢ１４０に撮影状況とともに登録するので、次回同様の撮影状況での撮影が行われた場合には、この補正情報を利用した画像補正を行うことができる。したがって、処理効率の向上を図ることができる。
【００４２】
また、ステップＳ１０８において、画像誤差が閾値未満である場合には（ステップＳ１０８，Ｎｏ）、前回の画像補正処理において利用した補正情報を利用することにより適切な画像補正を行うことができるので、利用中補正情報保持部１１６に保持されている補正情報を利用して画像補正を行い（ステップＳ１２０）、補正後の画像による画像認識が行われる（ステップＳ１２２）。以上で、移動ロボット１０による画像補正処理が完了する。
【００４３】
移動ロボット１０は、状況変化があった場合や、ユーザからの指示に応じて適宜補正情報を新たに生成し補正情報ＤＢ１４０に登録する。図５は、補正情報生成処理を説明するためのフローチャートである。例えば、撮影状況特定部１１４により特定される撮影状況の値と直前までに特定された撮影状況の値との差分が予め定められた閾値以上となる場合に状況変化と判定し、この場合には（ステップＳ１４０，Ｙｅｓ）、ステップＳ１３０へ進み補正情報を生成する（ステップＳ１３０，１３２）。
【００４４】
また、外部トリガを受けた場合には（ステップＳ１４２，Ｙｅｓ）、基本パターンを含む画像を撮影し（ステップＳ１４４）、ステップＳ１３０へ進み、補正情報を生成する（ステップＳ１３０，１３２）。
【００４５】
ここで、ユーザインターフェースやスイッチなどを介したユーザから指示を外部トリガとする。また、他の例としては、光源と物体の間の遮蔽物の状況変化や光源の明るさを調整する外部システムが備えられている場合には、この外部システムからの指示を外部トリガとしてもよい。
【００４６】
図６は、実施の形態１にかかる移動ロボット１０のハードウェア構成を示す図である。移動ロボット１０は、ハードウェア構成として、移動ロボット１０における画像補正処理を実行する画像補正プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って移動ロボット１０の各部を制御するＣＰＵ５１と、移動ロボット１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５７と、各部を接続するバス６２とを備えている。
【００４７】
先に述べた移動ロボット１０における画像補正プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００４８】
この場合には、画像補正プログラムは、移動ロボット１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【００４９】
また、本実施の形態の画像補正プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【００５０】
以上、本発明を実施の形態１を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【００５１】
図７は、第１の変更例にかかる移動ロボット１０の外観構成を示す図である。第１の変更例においては、移動ロボット１０は、自身の筐体以外の部分に配置された基本パターン３０を含む画像を撮影する。なお、この場合には、移動ロボット１０の移動制御部１２０は、当該移動ロボット１０の移動を制御したり、カメラ１００の方向や角度を制御する。また、移動ロボット１０は、対象物２０の位置を含む地図情報を有する。移動制御部１２０は、地図情報を利用して、対象物２０と基本パターン３０とがカメラ１００の撮影範囲内に納まるように移動ロボット１０の移動等を制御する。
【００５２】
図８は、第２の変更例にかかる移動ロボット１０の外観構成を示す図である。第２の変更例においても、移動ロボット１０は、自身の筐体以外の部分に配置された基本パターン３０を含む画像を撮影する。なお、第２の変更例においては、基本パターン３０は、移動ロボット１０以外の移動ロボット４０に設けられている。この場合には、移動制御部１２０は、移動ロボット４０との通信機能を有し、この通信機能を利用して、対象物２０と基本パターン３０とがカメラ１００の撮影範囲内に収まるように、移動ロボット４０の動作を制御する。
【００５３】
また、第３の変更例としては、実施の形態１にかかる移動ロボット１０においては、カメラ１００により撮影された画像中の基本パターンの画像と基本パターン保持部１１２が保持する基本パターンとに基づいて画像誤差を算出したが、これにかえて、撮影状況特定部１１４により特定された撮影状況とそれ以前に特定された撮影状況とに基づいて画像誤差を算出してもよい。より具体的には、撮影状況特定部１１４により特定撮影状況の値とこれまでに特定された撮影状況の値との差が予め定められた閾値以上となった場合に、画像補正に利用すべき補正情報を変更してもよい。
【００５４】
さらに、この場合にはカメラ１００は、対象物２０のみを撮影し、補正情報を生成する際に基本パターン３０を撮影することとしてもよい。そして、このとき撮影された基本パターンの画像に基づいて、補正情報が生成される。
【００５５】
また、第４の変更例としては、実施の形態１にかかる移動ロボット１０においては、図５を参照しつつ説明したように、状況変化や外部トリガを条件に補正情報を生成するのにかえて、またはさらに補正情報ＤＢ１４０に格納されていない撮影状況を作り出し、この撮影状況における補正情報を生成してもよい。例えば、移動ロボット１０自身の移動や、アーム部１２の移動などにより撮影状況を変化させる。このように、自律的に補正情報ＤＢ１４０のデータを増やすことにより、実際の画像認識時の処理を軽減させることができる。
【００５６】
また、第５の変更例としては、実施の形態１にかかる移動ロボット１０においては、対象物とともに撮影する基本パターンは１つであったが、複数の基本パターンを撮影し、これらを画像補正処理に利用することとしてもよい。この場合には、基本パターン保持部１１２は、カメラ１００により撮影される可能性のある複数の基本パターンすべてを保持する。そして、カメラ１００は、複数の基本パターンのすべてまたはその一部を対象物とともに撮影する。
【００５７】
補正誤差算出においては、これらの基本パターンすべてにおける補正誤差をそれぞれ算出し、これらの値に基づいて、撮影状況の変化の有無を判断する。また他の例としては、複数の基本パターンのうちいずれか１つの基本パターンにおける補正誤差のみを利用してもよい。
【００５８】
また、第６の変更例としては、実施の形態１にかかる移動ロボット１０においては、補正情報ＤＢ１４０は、移動ロボット１０自身により生成された補正情報を保持したが、補正情報ＤＢ１４０は、移動ロボット１０以外の装置から補正情報と撮影状況とを取得し、これらを対応付けて保持してもよい。
【００５９】
（実施の形態２）
図９は、実施の形態２にかかる移動ロボット１０の全体構成を示すブロック図である。実施の形態２にかかる移動ロボット１０は、補正情報ＤＢ１４０にかえて基本パターン誤差ＤＢ１５０を備えている。また、補正制御部１１０は、画像認識部１３０による画像認識においてカメラ１００により撮影された対象物の画像とのマッチングに利用される画像の補正を制御する。画像認識部１３０は、カメラ１００により撮影された画像中の対象物の画像と補正制御部１１０により補正された後の対象物の画像とを比較することにより撮影された画像中の対象物の画像に対する画像認識を行う。
【００６０】
補正制御部１１０は、基本パターン検出部１１１と、基本パターン保持部１１２と、画像誤差算出部１１３と、撮影状況特定部１１４と、基本パターン誤差抽出部１６０と、対象物保持部１６２と、推定対象物特定部１６４と、推定対象物保持部１６６とを有している。
【００６１】
図１０は、基本パターン誤差ＤＢ１５０のデータ構成を模式的に示す図である。基本パターン誤差ＤＢ１５０は、撮影状況と、基本パターン誤差とを対応付けて保持している。ここで、基本パターン誤差とは、所定の撮影状況において撮影された基本パターンの画像と、基本パターン保持部１１２が保持する本来の基本パターンの画像との差分である。このように、基本パターン誤差ＤＢ１５０は、撮影状況と基本パターン誤差とを対応付けて保持しているので、基本パターン誤差を参照することにより、所定の撮影状況において撮影されるであろう画像を予測することができる。
【００６２】
再び説明を図９に戻す。基本パターン誤差抽出部１６０は、撮影状況特定部１１４により特定された撮影状況に基づいて、基本パターン誤差ＤＢ１５０から対応する基本パターン誤差を抽出する。対象物保持部１６２は、対象物の本来の色を示す対象物の画像を保持する。推定対象物特定部１６４は、対象物保持部１６２が保持する対象物の画像と基本パターン誤差抽出部１６０により抽出された基本パターン誤差とに基づいて、撮影時の撮影状況において撮影されるべき対象物の画像である推定対象物を特定する。推定対象物保持部１６６は、推定対象物特定部１６４により特定された推定対象物を保持する。
【００６３】
画像認識部１３０は、カメラ１００により撮影された画像中の対象物と、推定対象物保持部１６６により特定された推定画像とのマッチングにより画像認識を行う。
【００６４】
図１１は、実施の形態２にかかる移動ロボット１０による画像補正処理を示すフローチャートである。実施の形態２にかかる移動ロボット１０においては、画像誤差が閾値以上である場合には（ステップＳ１０８，Ｙｅｓ）、補正情報抽出部１１５は、基本パターン誤差ＤＢ１５０において撮影状況特定部１１４により特定された撮影時の撮影状況を検索する（ステップＳ１１０）。基本パターン誤差ＤＢ１５０に、撮影時の撮影状況に対応する基本パターン誤差が保持されている場合には（ステップＳ１５０，Ｙｅｓ）、この基本パターン誤差を抽出する（ステップＳ１５２）。
【００６５】
次に、推定対象物特定部１６４は、基本パターン誤差と、対象物保持部１６２が保持する対象物の画像とに基づいて推定対象物を特定する（ステップＳ１５４）。こうして特定された推定対象物は、推定対象物保持部１６６に保持されていた推定対象物に変えて新たに推定対象物保持部１６６に保持される。次に、画像認識部１３０は、推定対象物保持部１６６に保持された推定対象物と、カメラ１００により撮影された画像中の対象物の画像とのマッチングにより画像認識を行う（ステップＳ１２２）。
【００６６】
一方、ステップＳ１５０において、撮影時の撮影状況に対応する基本パターン誤差が基本パターン誤差ＤＢ１５０に保持されていない場合には（ステップＳ１５０，Ｎｏ）、画像誤差算出部１１３により算出された誤差を基本パターン誤差とし、撮影時の撮影状況に対応付けて基本パターン誤差ＤＢ１５０に登録する（ステップＳ１５６）。さらに、推定対象物特定部１６４は、このとき得られた基本パターン誤差に基づいて、推定対象物を特定する（ステップＳ１５４）。特定された推定対象物は、推定対象物保持部１６６に保持されていた推定対象物にかえて、新たに推定対象物保持部１６６に保持され、ステップＳ１３０へ進む。
【００６７】
また、ステップＳ１０８において、画像誤差が閾値未満である場合には（ステップＳ１０８，Ｎｏ）、前回の画像認識処理において比較対象として利用した推定対象物を利用することにより適切な画像認識を行うことができるので、推定対象物特定部１６４に保持されている推定対象物を利用した画像認識が行われる（ステップＳ１２２）。以上で、画像補正処理が完了する。
【００６８】
このように、実施の形態２にかかる移動ロボット１０によれば、画像認識処理時に、撮影された対象物の画像と比較される対象物の画像として、撮影時の撮影状況により得られると予測される推定対象物画像を利用するので、適切なマッチングを行うことができ、画像認識精度を向上させることができる。
【００６９】
なお、実施の形態２にかかる移動ロボット１０のこれ以外の構成および処理は、実施の形態１にかかる移動ロボット１０の構成および処理と同様である。
【図面の簡単な説明】
【００７０】
【図１】移動ロボット１０の全体構成を示す図である。
【図２】補正情報ＤＢ１４０のデータ構成を模式的に示す図である。
【図３】移動ロボット１０の外観構成を示す図である。
【図４】移動ロボット１０による画像補正処理を示すフローチャートである。
【図５】補正情報生成処理を説明するためのフローチャートである。
【図６】実施の形態１にかかる移動ロボット１０のハードウェア構成を示す図である。
【図７】第１の変更例にかかる移動ロボット１０の外観構成を示す図である。
【図８】第２の変更例にかかる移動ロボット１０の外観構成を示す図である。
【図９】実施の形態２にかかる移動ロボット１０の全体構成を示すブロック図である。
【図１０】基本パターン誤差ＤＢ１５０のデータ構成を模式的に示す図である。
【図１１】実施の形態２にかかる移動ロボット１０による画像補正処理を示すフローチャートである。
【符号の説明】
【００７１】
１０  移動ロボット
１２  アーム部
２０  対象物
３０  基本パターン
４０  移動ロボット
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信Ｉ／Ｆ
６２  バス
１００  カメラ
１１０  補正制御部
１１１  基本パターン検出部
１１２  基本パターン保持部
１１３  画像誤差算出部
１１４  撮影状況特定部
１１５  補正情報抽出部
１１６  利用中補正情報保持部
１１７  補正情報生成部
１１８  画像補正部
１２０  移動制御部
１３０  画像認識部
１４０  補正情報ＤＢ
１５０  基本パターン誤差ＤＢ
１６０  基本パターン誤差抽出部
１６２  対象物保持部
１６４  推定対象物特定部
１６６  推定対象物保持部
【図１】
2007264832.tif 000003
【図２】
2007264832.tif 000004
【図３】
2007264832.tif 000005
【図４】
2007264832.tif 000006
【図５】
2007264832.tif 000007
【図６】
2007264832.tif 000008
【図７】
2007264832.tif 000009
【図８】
2007264832.tif 000010
【図９】
2007264832.tif 000011
【図１０】
2007264832.tif 000012
【図１１】
2007264832.tif 000013