(57)【要約】【課題】認識対象物の中心と走査ウィンドウの中心とのずれに起因する認識対象物の姿勢の誤認識を抑制する。【解決手段】物体認識装置１は、入力画像と照合するための複数の回転テンプレート画像の特徴ベクトル及び複数の並進テンプレート画像の特徴ベクトルに関して記述されたテンプレート辞書を記憶するテンプレート記憶部１６と、走査ウィンドウによって入力画像から処理対象領域として部分的に選択される部分画像の特徴ベクトルを算出する特徴ベクトル算出部１３と、テンプレート辞書及び部分画像の特徴ベクトルに基づいて、入力画像内に含まれる認識対象物の位置及び姿勢を推定する推定部（テンプレート照合部１５及び結果統合部１７）とを有する。さらに、複数の回転テンプレート画像は、認識対象物を複数の方向から見た画像の集合であり、複数の並進テンプレート画像は、直線軌道に沿った複数の視点から認識対象物を部分的に捉えた画像の集合である。【選択図】図１
2008171147.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像されて入力される入力画像を用いて、認識対象物の位置及び姿勢を推定する物体認識装置であって、
前記入力画像と照合するための複数の回転テンプレート画像の特徴ベクトル及び複数の並進テンプレート画像の特徴ベクトルに関して記述されたテンプレート辞書を記憶する記憶部と、
前記入力画像上を走査されて処理対象領域を指定する走査ウィンドウによって、前記入力画像から前記処理対象領域として部分的に選択される部分画像の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部と、
前記テンプレート辞書及び前記部分画像の特徴ベクトルに基づいて、前記入力画像内に含まれる認識対象物の位置及び姿勢を推定する推定部とを備え、
前記複数の回転テンプレート画像は、前記認識対象物を複数の方向から見た画像の集合であり、
前記複数の並進テンプレート画像は、直線軌道に沿った複数の視点から前記認識対象物を部分的に捉えた画像の集合である、物体認識装置。
【請求項２】
前記回転テンプレート画像は、前記認識対象物を中心とする円軌道上に位置する複数の視点から前記認識対象物を見た画像の集合であり、
前記並進テンプレート画像は、直線軌道上に位置する複数の視点から前記認識対象物を部分的に捉えた画像の集合である、請求項１に記載の物体認識装置。
【請求項３】
前記複数の回転テンプレート画像は、前記認識対象物を中心とする円軌道に沿った複数の視点から前記認識対象物を含んで撮影された画像から前記認識対象物の全体を含むように切り出された画像の集合であり、
前記複数の並進テンプレート画像は、前記認識対象物を含んで撮影された画像から前記認識対象物の部分のみを含むよう切り出された画像の集合である、請求項１に記載の物体認識装置。
【請求項４】
前記複数の並進テンプレート画像は、前記複数の回転テンプレート画像の各々に比べて、撮影画像の中心と前記認識対象物の中心とをずらして前記認識対象物を撮影した画像群を含む請求項１乃至３のいずれかに記載の物体認識装置。
【請求項５】
前記テンプレート照合部は、前記複数の回転テンプレート画像の特徴ベクトルによって作られる回転多様体と前記部分画像の特徴ベクトルとの間の特徴空間における距離が第１の閾値より小さく、かつ、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像に対応する並進テンプレート画像によって作られる並進多様体と前記部分画像の特徴ベクトルとの間の前記特徴空間における距離が第２の閾値より小さい場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像によって特定される姿勢を前記認識対象物の姿勢と推定する請求項４に記載の物体認識装置。
【請求項６】
処理対象領域を規定する走査ウィンドウによって入力画像上を走査し、前記走査ウィンドウによって前記処理対象領域として前記入力画像から部分的に選択される部分画像の特徴を示す特徴ベクトルを算出し、
前記認識対象物を複数の方向から見た画像の集合である複数の回転テンプレート画像の特徴ベクトル、及び、直線軌道に沿った複数の視点から前記認識対象物を部分的に捉えた画像の集合である複数の並進テンプレート画像の特徴ベクトルに関して記述されたテンプレート辞書と、前記部分画像の特徴ベクトルとを照合することにより、前記入力画像内に撮影されている認識対象物の位置及び姿勢を推定する、物体認識方法。
【請求項７】
前記複数の並進テンプレート画像は、前記複数の回転テンプレート画像の各々に比べて撮影画像の中心をずらして前記認識対象物を撮影した画像群を含む請求項６に記載の物体認識方法。
【請求項８】
前記複数の回転テンプレート画像の特徴ベクトルによって作られる回転多様体と前記部分画像の特徴ベクトルとの間の特徴空間における距離が第１の閾値より小さく、かつ、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像に対応する並進テンプレート画像によって作られる並進多様体と前記部分画像の特徴ベクトルとの間の前記特徴空間における距離が第２の閾値より小さい場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像によって特定される姿勢を前記認識対象物の姿勢推定結果とする請求項７に記載の物体認識方法。
【請求項９】
前記複数の回転テンプレート画像の特徴ベクトルによって作られる回転多様体と前記部分画像の特徴ベクトルとの間の特徴空間における距離が第１の閾値より小さいか否かを判定し、
前記第１の閾値より小さいと判定される場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像に対応する並進テンプレート画像によって作られる並進多様体と前記部分画像の特徴ベクトルとの間の前記特徴空間における距離が第２の閾値より小さいか否かを判定し、
前記第２の閾値より小さいと判定される場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像によって特定される姿勢を前記認識対象物の姿勢推定結果とする請求項７に記載の物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる認識対象物の位置及び姿勢を推定する物体認識装置及び物体認識方法に関する
【背景技術】
【０００２】
自身の判断により自律的に移動するロボットの視覚を担うコンピュータビジョンにおいては、カメラによって撮影された画像等から物体の位置及び姿勢を認識できることが必要である。このような物体認識に用いられる技術として、認識対象物の多方向からの見え方に対応する複数のテンプレート画像を予め記憶しておき、撮影によって得られた入力画像を複数のテンプレート画像と照合し、入力画像がどのテンプレート画像に類似するかによって認識対象物の姿勢を推定する方法が知られている。以下では、物体認識に用いる複数のテンプレート画像を記憶したデータをテンプレート辞書と呼ぶ。
【０００３】
入力画像とテンプレート辞書との照合は、入力画像から抽出した特徴量とテンプレート辞書に含まれるテンプレート画像の特徴量とを照合することによって行われる。ここで、特徴量とは、入力画像及びテンプレート画像が有する情報のうち、画像の識別に有用な本質的な成分を抽出したものである。通常、特徴量は複数の特徴量の値を要素とする特徴ベクトルとして記述される。特徴ベクトルの次元数は、特徴量の数に対応する。また、入力画像及びテンプレート画像はそれぞれ、特徴ベクトルによって張られる多次元の特徴空間上の点として表現される。
【０００４】
最も単純な特徴ベクトルは、画像データ及びテンプレート画像を構成する各画素の値を要素とする特徴ベクトルである。しかしながら、これでは特徴ベクトルの次元数が画像データを構成する画素数に達し、その数が膨大となるため、テンプレート画像を格納するための記憶容量及び画像照合に要する時間も膨大となり現実的でない。
【０００５】
そこで、特徴ベクトルの次元数を圧縮することにより、少ない記憶容量でテンプレート辞書を記憶することができ、高速に画像照合を行うことができる固有空間法が知られている。固有空間法は、テンプレート画像の主成分分析（PCA：Principal Components Analysis）によって固有空間を生成し、テンプレート画像を固有空間に射影して得られる主成分を特徴量として、テンプレート画像の特徴ベクトルを生成するものである。
【０００６】
また、上述した固有空間法を物体の位置及び姿勢の推定に応用したパラメトリック固有空間法が提案されている（非特許文献１、特許文献１を参照）。パラメトリック固有空間法では、認識対象物を回転させながら連続的に撮影したテンプレート画像を予め学習しておく。以下では、物体を多様な方向から撮影して得られるテンプレート画像を回転テンプレート画像と呼ぶ。回転テンプレート画像の集合は、固有空間上の多様体（以下、回転多様体と呼ぶ）として表現される。認識対象物の姿勢の推定は、入力画像を固有空間に射影して得られる射影点との距離が最も近いテンプレート画像の射影点を求めることにより行われる。
【０００７】
さらに、入力画像内における認識対象物の位置の推定は以下のように行われる。即ち、入力画像内の一部を部分的に選択するための走査ウィンドウを設定し、走査ウィンドウによって入力画像を順次走査しながら、走査ウィンドウによって選択される部分画像に対して上述したパラメトリック固有空間法による物体の姿勢推定を行う。そして、認識対象物の姿勢が推定された走査ウィンドウの位置をもとに認識対象物の入力画像内における位置を推定する。
【特許文献１】特開２００５−１４９１６７号公報
【非特許文献１】村瀬 洋, S.K.Nayar、「２次元照合による３次元物体認識−パラメトリック固有空間法−」、信学論、J77-D-II、No.11、pp.2179-2187、1994年11月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、テンプレート画像との照合による従来の物体認識方法は、学習段階において、認識対象物を回転させながら撮影することにより得られる回転テンプレート画像により構成されるテンプレート辞書を生成しておく。さらに、物体認識段階では、走査ウィンドウによって入力画像の一部が選択された部分画像を、テンプレート辞書に含まれる回転テンプレート画像と照合することにより、物体の位置及び姿勢の推定を行う。
【０００９】
しかしながら、このような従来の物体認識方法では、走査ウィンドウによって選択される部分画像内に認識対象物の一部が含まれている場合、より詳細に述べると、撮影された認識対象物の中心と走査ウィンドウによって選択される部分画像の中心がずれている場合に、認識対象物の姿勢を誤認識しやすいため、姿勢推定の精度が低下するという問題がある。なお、以下では、認識対象物の中心と走査ウィンドウの中心とのずれを"並進ずれ"と表現する。
【００１０】
本発明は、上述した問題を考慮してなされたものであり、認識対象物の中心と走査ウィンドウの中心とのずれ（並進ずれ）に起因する認識対象物の姿勢の誤認識を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様にかかる物体認識装置は、撮像手段により撮像されて入力される入力画像を用いて認識対象物の位置及び姿勢を推定する装置であって、前記入力画像と照合するための複数の回転テンプレート画像の特徴ベクトル及び複数の並進テンプレート画像の特徴ベクトルに関して記述されたテンプレート辞書を記憶する記憶部と、前記入力画像上を走査されて処理対象領域を指定する走査ウィンドウによって、前記入力画像から前記処理対象領域として部分的に選択される部分画像の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部と、前記テンプレート辞書及び前記部分画像の特徴ベクトルに基づいて、前記入力画像内に含まれる認識対象物の位置及び姿勢を推定する推定部とを有する。さらに、前記複数の回転テンプレート画像は、前記認識対象物を複数の方向から見た画像の集合であり、前記複数の並進テンプレート画像は、直線軌道に沿った複数の視点から前記認識対象物を部分的に捉えた画像の集合である。なお、後述する発明の実施の形態１では、テンプレート照合部１５及び結果統合部１７が、前記第１の態様にかかる物体認識装置が有する推定部に相当する。
【００１２】
ここで、前記回転テンプレート画像は、前記認識対象物を中心とする円軌道上に位置する複数の視点から前記認識対象物を見た画像の集合とし、前記並進テンプレート画像は、直線軌道上に位置する複数の視点から前記認識対象物を部分的に捉えた画像の集合としてもよい。
【００１３】
また、前記複数の回転テンプレート画像は、前記認識対象物を中心とする円軌道に沿った複数の視点から前記認識対象物を含んで撮影された画像から前記認識対象物の全体を含むように切り出された画像の集合とし、前記複数の並進テンプレート画像は、前記認識対象物を含んで撮影された画像から前記認識対象物の部分のみを含むよう切り出された画像の集合としてもよい。
【００１４】
このような構成によって、入力画像から切り出される部分画像の特徴ベクトルが走査ウィンドウの移動に伴って示す変動特性と、並進テンプレート画像の特徴ベクトルが並進ずれに伴って示す変動特性とを照合させることができる。したがって、仮に、回転テンプレート画像との照合において並進ずれに起因する姿勢の誤判定が生じた場合にも、並進テンプレート画像との照合において、誤判定された回転テンプレート画像の並進多様体と評価対象の部分画像の並進多様体との間に不整合が生じるため、誤って推定された認識対象物の姿勢をリジェクトできる。これにより、並進ずれに起因する認識対象物の姿勢の誤認識を抑制することができる。
【００１５】
上述した本発明の第１の態様にかかる物体認識装置において、前記複数の並進テンプレート画像は、前記複数の回転テンプレート画像の各々に比べて撮影画像の中心をずらして前記認識対象物を撮影した画像群を含むよう構成してもよい。
【００１６】
さらに、前記テンプレート照合部は、前記複数の回転テンプレート画像の特徴ベクトルによって作られる回転多様体と前記部分画像の特徴ベクトルとの間の特徴空間における距離が第１の閾値より小さく、かつ、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像に対応する並進テンプレート画像によって作られる並進多様体と前記部分画像の特徴ベクトルとの間の前記特徴空間における距離が第２の閾値より小さい場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像によって特定される姿勢を前記認識対象物の姿勢と推定するよう構成してもよい。これにより、並進ずれに起因する認識対象物の姿勢の誤認識を効率よく抑制できる。
【００１７】
本発明の第２の態様にかかる物体認識方法は、処理対象領域を規定する走査ウィンドウによって入力画像上を走査する処理と、前記走査ウィンドウによって前記処理対象領域として前記入力画像から部分的に選択される部分画像の特徴を示す特徴ベクトルを算出する処理と、前記認識対象物を複数の方向から見た画像の集合である複数の回転テンプレート画像の特徴ベクトル、及び、直線軌道に沿った複数の視点から前記認識対象物を部分的に捉えた画像の集合である複数の並進テンプレート画像の特徴ベクトルに関して記述されたテンプレート辞書と前記部分画像の特徴ベクトルとを照合することによって、前記入力画像内に撮影されている認識対象物の位置及び姿勢を推定する処理とを含む。
【００１８】
このような方法によって、入力画像から切り出される部分画像の特徴ベクトルが走査ウィンドウの移動に伴って示す変動特性と、並進テンプレート画像の特徴ベクトルが並進ずれに伴って示す変動特性とを照合させることができる。したがって、仮に、回転テンプレート画像との照合において並進ずれに起因する姿勢の誤判定が生じた場合にも、並進テンプレート画像との照合において、誤判定された回転テンプレート画像の並進多様体と評価対象の部分画像の並進多様体との間に不整合が生じるため、誤って推定された認識対象物の姿勢をリジェクトできる。これにより、並進ずれに起因する認識対象物の姿勢の誤認識を抑制することができる。
【００１９】
さらに、前記第２の態様にかかる物体認識方法における認識対象物の姿勢推定では、前記複数の回転テンプレート画像の特徴ベクトルによって作られる回転多様体と前記部分画像の特徴ベクトルとの間の特徴空間における距離が第１の閾値より小さいか否かを判定し、前記第１の閾値より小さいと判定される場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像に対応する並進テンプレート画像によって作られる並進多様体と前記部分画像の特徴ベクトルとの間の前記特徴空間における距離が第２の閾値より小さいか否かを判定し、前記第２の閾値より小さいと判定される場合に、前記第１の閾値より小さい前記回転多様体との距離を与える回転テンプレート画像によって特定される姿勢を前記認識対象物の姿勢推定結果としてもよい。これによって、部分画像と並進テンプレート画像との照合に要する計算量を削減し、物体認識を効率よく行うことができる。
【発明の効果】
【００２０】
本発明により、認識対象物の中心と走査ウィンドウの中心とのずれ（並進ずれ）に起因する認識対象物の姿勢の誤認識を抑制することが可能な物体認識装置及び物体認識方法を提供できる。
【発明を実施するための最良の形態】
【００２１】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【００２２】
発明の実施の形態１．
本実施の形態にかかる物体認識装置１の構成を図１に示す。物体認識装置１は、入力画像に含まれる認識対象物の位置及び姿勢の推定結果を出力する装置である。より詳しく述べると、物体認識装置１は、入力画像を走査ウィンドウ単位で順に走査し、走査ウィンドウによって選択される部分画像を、認識対象物の多様な姿勢を表す複数のテンプレート画像と照合することによって、入力画像に含まれる認識対象物の位置及び姿勢を推定する。以下では、図１を参照して物体認識装置１が有する各構成要素について説明する。
【００２３】
図１において、撮像部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子（不図示）、及び撮像素子によって得られたアナログ画像データをデジタル画像データに変換して出力する信号処理部（不図示）を備える。
【００２４】
画像特徴算出部１２は、撮像部１１から入力される入力画像に対する画像処理を行って入力画像の特徴量を算出する。より具体的に述べると、画像特徴算出部１２は、入力画像から走査ウィンドウによって選択される部分画像を単位として特徴量を算出する。特徴量の算出は、例えば、入力画像データを濃淡画像データに変換し、変換後の濃淡画像データに対する微分処理を行って、エッジ強度やエッジの方向を求め特徴量とすることができる。また、入力画像データの各画素の正規化された輝度値を特徴量としてもよい。なお、画像特徴算出部１２における特徴量の抽出手法は上述した手法に限られることはなく、従来知られている手法を含む様々な手法を適用可能である。入力画像（具体的には走査ウィンドウにより選択された部分画像）から算出されたｐ個（ｐは正の整数）の特徴量は、ｐ次元の特徴ベクトルＤとして表される。
【００２５】
特徴ベクトル算出部１３は、基底ベクトル記憶部１４に予め格納された基底ベクトル群Ｅを用いて、画像特徴算出部１２により算出された特徴ベクトルＤを次元圧縮する。特徴ベクトル算出部１３により次元圧縮された特徴ベクトルＤの次元数をｎ（ｎは正の整数であり、ｎ＜ｐ）とする。基底ベクトル群Ｅは、例えば、従来から知られている固有空間法を適用することによって得ることができる。具体的には、入力画像との照合に使用される複数のテンプレート画像（具体的には後述する回転テンプレート画像及び並進テンプレート画像）に対する主成分分析（ＰＣＡ）を行うことで決定された固有ベクトルの集合とすればよい。このとき、基底ベクトル群Ｅは、ｎ個のベクトルの集合として、以下の（１）式で表すことができる。また、次元圧縮された部分画像の特徴ベクトルＤを（２）式に示す。
【００２６】
【数１】
2008171147.tif 000003
【００２７】
【数２】
2008171147.tif 000004
【００２８】
テンプレート照合部１５は、走査ウィンドウによって入力画像から選択された部分画像と、複数のテンプレート画像との照合を行うことにより、入力画像に撮影されている認識対象物の位置及び姿勢の推定を行う。具体的には、テンプレート記憶部１６に格納された複数のテンプレート画像の特徴ベクトルのうち、部分画像の特徴ベクトルＤとの特徴空間における距離ｓが最小となるテンプレート画像を選択し、選択されたテンプレート画像に対応する認識対象物の姿勢を推定する。また、姿勢推定が行われた部分画像の位置をもとに認識対象物の入力画像内における位置を推定する。なお、テンプレート照合部１５は、距離ｓの最小値が所定の閾値より大きい場合は、評価対象である部分画像に近いテンプレート画像が存在しない、つまり、入力画像中に認識対象の物体は含まれていないと判定して、その部分画像をリジェクトする。
【００２９】
テンプレート照合部１５は、撮像部１１によって撮影された入力画像から走査ウィンドウによって切り出される複数の部分画像に対して、認識対象物の姿勢を推定するための上述した演算処理を繰り返し行う。本実施の形態では、図２に示すように、入力画像２１に対して走査ウィンドウ２２を横方向に順次走査する方法、いわゆるラスタスキャンを行うことにより、部分画像の選択からテンプレート照合の一連の処理を繰り替えし行うものとする。なお、走査ウィンドウによる入力画像の走査方法は、図２に示す方法に限られないことはもちろんである。例えば、走査ウィンドウによる走査を入力画像２１の上下方向に沿って行ってもよい。
【００３０】
テンプレート記憶部１６は、認識対象物のテンプレート画像に関する特徴ベクトルの集合{Ｔｉｊ}を保持する。なお、本実施の形態におけるテンプレート記憶部１６は、回転テンプレート画像の特徴ベクトルの集合及び並進テンプレート画像の特徴ベクトル集合を保持することを特徴とする。ここで、回転テンプレート画像とは、上述したように、認識対象物を回転させながら撮影することにより得られるテンプレート画像である。言い換えると、回転テンプレート画像群は、認識対象物を複数の方向から見た画像の集合である。一方、並進テンプレート画像とは、走査ウィンドウの走査方向に応じて、撮影画像の中心と認識対象物の中心とがずれた状態で連続的に撮影することにより得られるテンプレート画像である。言い換えると、並進テンプレート画像群は、直線軌道に沿った複数の視点から認識対象物を部分的に捉えた画像の集合である。つまり、並進テンプレート画像をテンプレート記憶部１６に保持することによって、認識処理時に"並進ずれ"が発生した場合の認識対象物の見え方を物体認識装置１に学習させることができる。
【００３１】
認識対象物の回転テンプレート画像及び並進テンプレート画像の一例を図３に示す。図３（ａ）は、円柱の表面に文字"Ａ"が付された認識対象物２３の一例を示している。図３（ｂ）は、互いに９０度ずつ異なる４方向から認識対象物２３を撮影して得られる４つの回転テンプレート画像Ｔ１０、Ｔ２０、Ｔ３０、及びＴ４０を示している。具体的に述べると、回転テンプレート画像Ｔ１０は、認識対象物２３の文字Ａが付された部分に対向する位置から撮影された画像である。回転テンプレート画像Ｔ２０は、回転テンプレート画像Ｔ１０に比べて認識対象物２３を時計回りに９０度だけ回転させた状態で撮影された画像である。回転テンプレート画像Ｔ３０は、回転テンプレート画像Ｔ２０に比べて認識対象物２３を時計回りに９０度だけ回転させた状態で撮影された画像である。また、回転テンプレート画像Ｔ４０は、回転テンプレート画像Ｔ３０に比べて認識対象物２３を時計回りに９０度だけ回転させた状態で撮影された画像である。
【００３２】
図３（ｃ）は、回転テンプレート画像Ｔ１０に関連づけて撮影された一連の並進テンプレート画像を示している。図３（ｃ）の並進テンプレート画像の集合｛Ｔ１-2、Ｔ１-1、Ｔ１0、Ｔ１1、Ｔ１2｝には、回転テンプレート画像Ｔ１０のほかに、走査ウィンドウの走査方向に従って、回転テンプレート画像Ｔ１０に比べて撮影画像の中心をずらして認識対象物２３を撮影した画像群が含まれている。
【００３３】
なお、上述したように、複数の異なる視点から認識対象物を直接撮影することで全ての回転テンプレート画像及び全ての並進テンプレート画像を得てもよいが、少なくとも一部のテンプレート画像を他の画像に対する画像処理によって生成してもよい。つまり、回転テンプレート画像群は、認識対象物を中心とする円軌道上に位置する複数の視点から前記認識対象物を見た画像の集合として生成すればよく、並進テンプレート画像群は、直線軌道上に位置する複数の視点から認識対象物を部分的に捉えた画像の集合として生成すればよい。
【００３４】
また、回転テンプレート画像群は、前記認識対象物を中心とする円軌道に沿った複数の視点から前記認識対象物を含んで撮影された画像から認識対象物の全体を含むように切り出された画像の集合として生成してもよい。並進テンプレート画像群は、認識対象物を含んで撮影された画像から認識対象物の部分のみを含むよう切り出された画像の集合として生成してもよい。
【００３５】
テンプレート記憶部１６に保持されるテンプレート画像の特徴ベクトルは、以下の（３）式により一般化して表される。（３）式において、ｍは回転テンプレートの総数である。ｑは、回転テンプレートに対して並進ずれを有する状態で撮影された並進テンプレート数を規定するパラメータである。
【００３６】
【数３】
2008171147.tif 000005
【００３７】
図１に戻り、結果統合部１７は、テンプレート照合部１５による物体の位置及び姿勢の推定結果を統合して、最終的な推定結果を出力する。具体的には、走査ウィンドウによって入力画像を走査することにより選択される複数の部分画像のうち、テンプレート照合部１５によって認識対象物の位置及び姿勢が推定された画像が１つだけである場合は、その部分画像の位置を認識対象物の最終的な推定位置とし、テンプレート照合部１５の推定した姿勢を最終的な推定結果として出力すればよい。一方、テンプレート照合部１５によって物体の位置及び姿勢が推定された画像が複数存在する場合は、これら複数の候補を以下の（４）式に示すような重み付けを行って統合するとよい。
【００３８】
【数４】
2008171147.tif 000006
【００３９】
（４）式は、２つの候補Ｃ１＝（ｘ１、ｙ１、θ１）及びＣ２＝（ｘ２、ｙ２、θ２）の重み付け統合によって、最終的な物体位置及び姿勢の推定結果Ｃ３＝（ｘ３、ｙ３、θ３）を得る場合を示している。（４）式において、ｘ１及びｙ１は、第１の候補Ｃ１の入力画像中の位置座標を示し、θ１は第１の候補Ｃ１の姿勢を表す姿勢パラメータを表している。同様に、ｘ２及びｙ２は、第２の候補Ｃ２の入力画像中の位置座標を示し、θ２は第２の候補Ｃ２の姿勢を表す姿勢パラメータを表している。また、ｘ３及びｙ３は、推定結果Ｃの入力画像中での位置座標を示し、θ３は推定結果Ｃの姿勢を表す姿勢パラメータを表している。
【００４０】
さらに、ｗ１及びｗ２は、第１の候補Ｃ１及び第２の候補Ｃ２を統合する際の重みを表しており、これらは、テンプレート照合部１５において算出されたテンプレート画像との距離ｓ１及びｓ２の関数として決定する。なお、ｓ１は第１の候補Ｃ１を推定した際のテンプレート画像との最小距離を表し、ｓ２は第２の候補Ｃ２を推定した際のテンプレート画像との最小距離を表す。重みｗ１及びｗ２は様々に定めることができるが、最も簡単な一例は線形近似である。
【００４１】
続いて、本実施の形態にかかる物体認識装置１が行う物体認識処理に関して、図４のフローチャートを用いて詳細に説明する。図４は、物体認識装置１が行う物体認識処理手順を示すフローチャートである。ステップＳ１０１では、撮像部１１から画像特徴算出部１２に対して撮影画像データが入力される。ステップＳ１０２では、画像特徴算出部１２が、入力画像から走査ウィンドウによって選択される部分画像より特徴量を算出する。ステップＳ１０３では、特徴ベクトル算出部１３が、n次元の特徴空間に射影された入力画像の特徴ベクトル、具体的には走査ウィンドウによって選択された部分画像の特徴ベクトルＤを算出する。
【００４２】
続いて、ステップＳ１０４では、テンプレート照合部１５が、複数の回転テンプレート画像の特徴ベクトル｛Ｔｉ０｝によって作られる特徴空間における回転多様体と、入力画像の特徴ベクトルＤとの最小距離Ｌｓｃを算出する。具体的には、回転テンプレート画像の特徴ベクトルと入力画像の特徴ベクトルＤとの間の距離ｓｃを回転テンプレート画像の各々について算出し、距離ｓｃの最小値を最小距離Ｌｓｃとすればよい。距離ｓｃは以下の（５）式により算出でき、このときの最小距離Ｌｓｃは、（６）式により表される。ここで、Ｍは信頼度重みであり、Ｃｏｎｆは回転多様体を表す。
【００４３】
【数５】
2008171147.tif 000007
【００４４】
【数６】
2008171147.tif 000008
【００４５】
ステップＳ１０５では、テンプレート照合部１５が、ステップＳ１０４において算出された最小距離Ｌｓｃが所定の第１の閾値Ｔｈ１以下であるか否かを判定する。判定の結果、最小距離Ｌｓｃが第１の閾値Ｔｈ１より大きい場合には、走査ウィンドウを次の画素に移動して、ステップＳ１０２以降の処理を繰り返す（ステップＳ１１１）。一方、最小距離Ｌｓｃが第１の閾値Ｔｈ１以下であると判定された場合は、ステップＳ１０６以降の処理を行う。
【００４６】
ステップＳ１０６では、テンプレート照合部１５が、最小距離Ｌｓｃを与える回転テンプレート画像の並進多様体と、現在の評価対象である部分画像の並進多様体との最小距離Ｌｓｔを算出する。ここで、回転テンプレート画像の並進多様体とは、図３（ｃ）に示したような回転テンプレート画像に関連づけて撮影された一連の並進テンプレート画像の特徴ベクトル群｛Ｔｉｊ｝を、特徴空間に射影して得られる多様体である。また、部分画像の並進多様体とは、現在の評価対象である部分画像の特徴ベクトルと、現在の評価対象である部分画像の前後に走査ウィンドウによって選択される複数の部分画像の特徴ベクトル群を特徴空間に射影して得られる多様体である。
【００４７】
図５は、回転テンプレート画像及び並進テンプレート画像に関する特徴空間の一例を示す概念図である。回転多様体３００は、複数の回転テンプレート画像によって形成される多様体を示している。並進多様体３１１は、ある回転テンプレート画像３１に関連づけて撮影された一連の並進テンプレート画像によって形成される多様体を示している。また、並進多様体３２１は、現在の評価対象である部分画像３２と、部分画像３２の前後において走査ウィンドウによって選択される複数の部分画像とによって形成される多様体を示している。
【００４８】
最小距離Ｌｓｔは、以下の（７）式により算出することができる。ここで、Ｍは信頼度重みであり、Ｔｒａｎｓは回転テンプレート画像の並進多様体である。
【００４９】
【数７】
2008171147.tif 000009
【００５０】
ステップＳ１０７では、テンプレート照合部１５が、ステップＳ１０６において算出された最小距離Ｌｓｔが所定の第２の閾値Ｔｈ２以下であるか否かを判定する。判定の結果、最小距離Ｌｓｃが第２の閾値Ｔｈ２より大きい場合には、走査ウィンドウを次の画素に移動して、ステップＳ１０２以降の処理を繰り返す（ステップＳ１１１）。一方、最小距離Ｌｓｃが第２の閾値Ｔｈ２以下であると判定された場合は、ステップＳ１０８以降の処理を行う。
【００５１】
ステップＳ１０８では、今回の評価対象である部分画像により特定された認識対象物の位置及び姿勢を候補値として選択する。ステップＳ１０９の判定では、入力画像の全体に対して走査ウィンドウによる走査が終了していなければ、走査ウィンドウを次の画素に移動して、ステップＳ１０２以降の処理を繰り返す（ステップＳ１１１）。一方、入力画像全体の走査が終了した場合には、結果統合部１７が、異なる走査ウィンドウによって推定された位置及び姿勢の候補値を統合して、認識対象物の位置及び姿勢の推定結果を出力する。
【００５２】
なお、図４に示した物体認識処理の処理フローは一例である。図４の処理フローは、部分画像と回転テンプレート画像との照合を行って、部分画像の特徴ベクトルに近い回転テンプレート画像の特徴ベクトルが探索された場合にのみ、部分画像と並進テンプレート画像との照合を行うこととした。しかしながら、このような２段階の判定処理に拠らずに、部分画像と回転テンプレート画像との照合ステップを省略して、部分画像と並進テンプレート画像との照合をすぐに行ってもよい。しかしながら、全ての場合に部分画像と並進テンプレート画像との照合を行うと計算量が大きくなるため、上述したような２段階の探索によって、回転テンプレート画像との照合結果が良好な場合にのみ、並進テンプレートとの照合を行うことが望ましい。
【００５３】
上述したように、本実施の形態にかかる物体認識装置１は、認識対象物を回転させながら撮影することにより得られる回転テンプレート画像の特徴ベクトルに加えて、撮影画像の中心と認識対象物の中心とが、走査ウィンドウの走査方向に沿ってずれを生じた状態で撮影することにより得られる並進テンプレート画像の特徴ベクトルをテンプレート記憶部１６に保持している。つまり、物体認識装置１は、並進テンプレート画像を保持することによって、認識対象物の中心と走査ウィンドウの中心とのずれ（並進ずれ）がある場合の認識対象物の見え方を予め学習している。
【００５４】
さらに、物体認識装置１は、図４のステップＳ１０６乃至１０８で説明したように、回転テンプレート画像の並進多様体と、現在の評価対象である部分画像の並進多様体との特徴空間での距離を算出し、算出された距離を所定の閾値Ｔｈ２と比較する。これによって、入力画像から切り出される部分画像の特徴ベクトルが走査ウィンドウの移動に伴って示す変動特性と、並進テンプレート画像の特徴ベクトルが並進ずれに伴って示す変動特性とを照合させている。したがって、仮に、回転テンプレート画像との照合において並進ずれに起因する姿勢の誤判定が生じた場合にも、並進テンプレート画像との照合において、誤判定された回転テンプレート画像の並進多様体と評価対象の部分画像の並進多様体との間に不整合が生じるため、誤って推定された認識対象物の姿勢をリジェクトできる。これにより、並進ずれに起因する認識対象物の姿勢の誤認識を抑制することができる。
【００５５】
なお、上述した本実施の形態にかかる物体認識装置１のうち撮像部１１を除く他の構成要素は、プログラムを実行可能なＣＰＵ（Central Processing Unit）を有するコンピュータシステムを用いて構成することが可能である。具体的には、ＣＰＵが内部に備える又はＣＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、画像特徴算出部１２、特徴ベクトル算出部１３、テンプレート照合部１５及び結果統合部１７が行う図４のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムを格納しておき、当該プログラムをＣＰＵで実行することとすればよい。また、基底ベクトル記憶部１４及びテンプレート記憶部１６は、コンピュータシステムが備えるハードディスクやフラッシュメモリ等の不揮発性の記憶部とすればよい。
【００５６】
図４のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムは、ＲＯＭ又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、バッテリバックアップ付きＲＡＭメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００５７】
その他の実施の形態．
発明の実施の形態１にかかる物体認識装置１は、結果統合部１７において、複数の走査ウィンドウによって得た物体位置及び姿勢の推定結果の重み付き統合を行うこととした。しかしながら、このような重み付き統合を行わず、複数の位置及び姿勢の候補のうち、単純に最小距離Ｌｓｔが最も小さくなる位置及び姿勢を最終的な推定結果として選択してもよい。また、物体認識装置１は、撮像部１１を必ずしも備える必要はなく、撮影後にメモリに格納された画像データを画像特徴算出部１２に入力してもよい。
【００５８】
また、発明の実施の形態１にかかる物体認識装置１により行われる物体認識処理、具体的には、図４のフローチャートのステップＳ１０４では、距離ｓｃが最小となる回転テンプレート画像に対応する物体の姿勢を探索している。しかしながら、ステップＳ１０４で用いる認識対象物の姿勢の識別方法は、距離最小の回転テンプレート画像を選択する方法、いわゆる最近傍決定則（ＮＮ法）に限られない。例えば、複数の回転テンプレート画像を示す特徴空間内の射影点の間を多項式補間やスプライン補間などによって補間することで回転多様体を解析的に表現し、回転多様体と部分画像の特徴ベクトルとの最短距離、最短距離を与える射影点を解析的に算出してもよい。
【００５９】
また、テンプレート記憶部１６には、テンプレート画像の特徴ベクトル自体を格納しなくてもよい。例えば、テンプレート画像の特徴ベクトルを入力画像に含まれる認識対象物の姿勢を特定するための他のパラメータに変換し、変換後のパラメータをテンプレート記憶部１６に格納してもよい。また、入力画像の特徴ベクトルを入力画像に含まれる認識対象物の姿勢を特定するための他のパラメータに変換するための射影行列などの変換情報をテンプレート記憶部１６に格納してもよい。
【００６０】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態にかかる物体認識装置の構成図である。
【図２】走査ウィンドウによる入力画像の走査を説明するための概念図である。
【図３】本発明の実施の形態にかかる物体認識装置が保持するテンプレート画像の一例を示す図である。
【図４】本発明の実施の形態にかかる物体認識装置による認識対象物体の認識処理の手順を示すフローチャートである。
【図５】特徴空間の一例を示す図である。
【符号の説明】
【００６２】
１  物体認識装置
１１  撮像部
１２  画像特徴算出部
１３  特徴ベクトル算出部
１４  基底ベクトル算出部
１５  テンプレート照合部
１６  テンプレート記憶部
１７  結果統合部
２１  入力画像
２２  走査ウィンドウ
２３  認識対象物
３１  回転テンプレート画像
３２  入力画像
３００  回転多様体
３１１  回転テンプレート画像の並進多様体
３２１  入力画像の並進多様体
【図１】
2008171147.tif 000010
【図２】
2008171147.tif 000011
【図３】
2008171147.tif 000012
【図４】
2008171147.tif 000013
【図５】
2008171147.tif 000014