(57)【特許請求の範囲】
【請求項１】
所定領域内における認識対象物を認識する物体認識装置であって、
所定対象物の特徴量を記憶する第１記憶手段と、
前記認識対象物を含む所定領域を撮影する撮影手段と、
前記撮影手段により撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された認識対象物の特徴量と、前記第１記憶手段に記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する候補抽出手段と、
前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を記憶する第２記憶手段と、
前記撮影手段により撮影された前記所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する位置関係算出手段と、
前記位置関係算出手段により算出された前記位置関係情報と、前記第２記憶手段に記憶された位置関係情報と、前記候補抽出手段により抽出された前記認識対象物候補と、に基づいて、前記認識対象物を決定する決定手段と、
を備え、
前記決定手段は、前記候補抽出手段により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を前記第２記憶手段から取得し、前記取得した位置関係情報と、前記位置関係算出手段により算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する、ことを特徴とする物体認識装置。
【請求項２】
請求項１記載の物体認識装置であって、
前記所定対象物間の位置関係情報は、一方の前記所定対象物の位置に対する他方の前記所定対象物の相対的位置を示す位置ベクトルで定義される、ことを特徴とする物体認識装置。
【請求項３】
請求項１又は２記載の物体認識装置であって、
ユーザによる入力情報を入力する入力手段を更に備え、
前記特徴量算出手段は、前記入力手段からの入力情報と、前記撮影手段により撮影された前記認識対象物の撮影画像と、に基づいて、前記撮影画像の中から前記認識対象物を設定し、前記認識対象物の特徴量を算出し、
前記位置関係算出手段は、前記入力手段からの入力情報に基づいて、前記撮影手段により撮影された撮影画像の中から、前記所定領域及び前記所定領域内の認識対象物を設定する、ことを特徴とする物体認識装置。
【請求項４】
所定領域内における認識対象物を認識する認識方法であって、
前記認識対象物を含む所定領域を撮影するステップと、
前記撮影された認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出するステップと、
前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出するステップと、
前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出するステップと、
前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定するステップと、
を含み、
前記抽出された認識対象物候補とその周辺の所定対象物との位置関係情報と、前記算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する、ことを特徴とする認識方法。
【請求項５】
所定領域内における認識対象物を認識する認識プログラムであって、
撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する処理と、
前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する処理と、
前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する処理と、
前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記抽出された認識対象物候補とその周辺の所定対象物との位置関係情報と、前記算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する処理と、
をコンピュータに実行させる、ことを特徴とする認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムに関するものである。
【背景技術】
【０００２】
近年、カメラなどにより撮影された撮影画像中の認識対象物を、高精度に認識する様々な方法が提案されている。例えば、地図上の場所に関連付けられた複数の候補オブジェクトと、画像から取得したオブジェクトと、を比較して、取得した画像中のオブジェクトを識別する方法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１０−５０９６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に示す方法においては、例えば、一般家庭環境内などその環境内に存在する物体の位置関係が不確定となる環境内において物体を認識する場合、物体を確定するため正確な位置情報が存在しないため、物体を正確に認識することが困難となる虞がある。
【０００５】
本発明は、このような問題点を解決するためになされたものであり、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する物体認識装置であって、所定対象物の特徴量を記憶する第１記憶手段と、前記認識対象物を含む所定領域を撮影する撮影手段と、前記撮影手段により撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された認識対象物の特徴量と、前記第１記憶手段に記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する候補抽出手段と、前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を記憶する第２記憶手段と、前記撮影手段により撮影された前記所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する位置関係算出手段と、前記位置関係算出手段により算出された前記位置関係情報と、前記第２記憶手段に記憶された位置関係情報と、前記候補抽出手段により抽出された前記認識対象物候補と、に基づいて、前記認識対象物を決定する決定手段と、を備える、ことを特徴とする物体認識装置である。
この一態様において、前記決定手段は、前記候補抽出手段により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を前記第２記憶手段から取得し、前記取得した位置関係情報と、前記位置関係算出手段により算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定してもよい。
この一態様において、前記所定対象物間の位置関係情報は、一方の前記所定対象物の位置に対する他方の前記所定対象物の相対的位置を示す位置ベクトルで定義されてもよい。
この一態様において、ユーザによる入力情報を入力する入力手段を更に備え、前記特徴量算出手段は、前記入力手段からの入力情報と、前記撮影手段により撮影された前記認識対象物の撮影画像と、に基づいて、前記撮影画像の中から前記認識対象物を設定し、前記認識対象物の特徴量を算出し、前記位置関係算出手段は、前記入力手段からの入力情報に基づいて、前記撮影手段により撮影された撮影画像の中から、前記所定領域及び前記所定領域内の認識対象物を設定してもよい。
他方、上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する認識方法であって、前記認識対象物を含む所定領域を撮影するステップと、前記撮影された認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出するステップと、前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出するステップと、前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出するステップと、前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定するステップと、を含む、ことを特徴とする認識方法であってもよい。
また、上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する認識プログラムであって、撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する処理と、前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する処理と、前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する処理と、前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定する処理と、をコンピュータに実行させる、ことを特徴とする認識プログラムであってもよい。
【発明の効果】
【０００７】
本発明によれば、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態に係る物体認識装置の概略的システム構成を示すブロック図である。
【図２】所定対象物間の位置関係情報の一例を示す図である。
【図３】撮影画像における所定領域内の認識対象物とその周辺の所定対象物とを示す一例の図である。
【図４】図３に示す撮影画像の位置関係情報の一例を示す図である。
【図５】本発明の一実施の形態に係る物体認識装置による認識処理の一例を示すフローチャートである。
【図６】本発明の一実施の形態に係る物体認識装置と従来に係る物体認識装置との比較を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る物体認識装置の概略的システム構成を示すブロック図である。本実施の形態に係る物体認識装置１は、例えば、キッチンなどの所定領域内におけるレンジフード、ヤカン、鍋、ガスコンロなどの認識対象物を高精度に認識できるものである。
【００１０】
物体認識装置１は、所定対象物の特徴量を記憶する第１データベース２と、認識対象物を含む所定領域を撮影する撮影部３と、認識対象物の特徴量を算出する特徴量算出部４と、認識対象物候補を抽出する候補抽出部５と、所定対象物間の位置関係情報を記憶する第２データベース６と、認識対象物とその周辺の所定対象物との位置関係情報を算出する位置関係算出部７と、認識対象物候補の中から認識対象物を決定する決定部８と、を備えている。
【００１１】
第１データベース２は、第１記憶手段の一具体例であり、所定対象物と、その所定対象物の特徴量（例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＳＵＲＦ（Speeded Up Robust Features）特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量など）と、を予め複数記憶する。第１及び第２データベース２、６は、例えば、後述のＲＯＭ、ＲＡＭ、磁気式記憶装置、光学式記憶装置などにより実現することができる。また、第１及び第２データベース２、６は、別体として構成されているが一体で構成されていてもよい。
【００１２】
撮影部３は、撮影手段の一具体例であり、例えば、ＣＣＤ、ＣＭＯＳカメラなどから構成されている。撮影部３は、認識対象物を含む所定領域を撮影し、その撮影画像を特徴量算出部４及び位置関係算出部７に対して出力する。
【００１３】
特徴量算出部４は、特徴量算出手段の一具体例であり、撮影部３から出力された認識対象物の撮影画像に基づいて、周知の演算処理を行い認識対象物の特徴量を算出し、算出した認識対象物の特徴量を候補抽出部５に対して出力する。
【００１４】
候補抽出部５は、候補抽出手段の一具体例であり、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、パターンマッチングなどを行い、所定対象物の中から認識対象物候補を抽出する。候補抽出部５は、抽出した認識対象物候補を決定部８に対して出力する。
【００１５】
なお、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、各認識対象物候補がその認識対象物である確率（以下、認識対象物の確率と称す）を算出してもよい。また、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、認識対象物候補の中でより近いものから順に順位付けを行ってもよい。
【００１６】
第２データベース６は、第２記憶手段の一具体例であり、所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を予め記憶する。この位置関係情報は、例えば、所定対象物間における位置ベクトル情報、所定対象物を示す箱のサイズ、などを含み、各所定対象物間の抽象的関連付けを示す、オントロジー化された視覚情報である。
【００１７】
例えば、所定対象物Ａと所定対象物Ｂとの間の位置関係情報は、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置を示す位置ベクトル（Ｘ、Ｙ、距離）および相対的スケールで定義される。このように位置ベクトルは、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置を示す二次元座標（Ｘ、Ｙ）、及び、所定対象物Ａと所定対象物Ｂとの間の距離、で表現される。
【００１８】
より具体的には、所定領域がキッチンである場合、その略同一環境の、図２に示すようなキッチンにおいて、「レンジフード」、「ヤカン」、「ガスコンロ」などの所定対象物間の位置関係情報は、例えば、「レンジフード」に対する「ヤカン」の位置ベクトル、「ヤカン」に対する「ガスコンロ」の位置ベクトル、レンジフードに対する「ガスコンロ」の位置ベクトルなどを含む。このとき、各所定対象物が置かれる状況を示すため、下方にある物体の位置ベクトルが負になるように設定するのが好ましい。レンジフードに対するヤカンの位置ベクトルは、例えば、（−０．１５、−０．３、０．３３５）として表現される。
【００１９】
なお、上記位置ベクトルの表現方法は、一例であり、これに限らず、所定対象物間の位置関係を表わすことができれば、任意の表現方法を用いることができる。例えば、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置は、三次元座標（Ｘ、Ｙ、Ｚ）で表現されてもよい。
【００２０】
また、所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を複数種類集め、その複数種類の位置関係情報に基づいて、例えば、統計的・確率的処理、平均化処理、学習アルゴリズムなどを用いて、所定対象物間の位置関係情報のモデルパターンを予め構築してもよい。第２データベース６には、そのような複数種類の位置関係情報に基づいた、位置関係情報のモデルパターンが記憶されていてもよい。
【００２１】
位置関係算出部７は、位置関係算出手段の一具体例であり、撮影部３により撮影された撮影画像から所定領域内の認識対象物とその周辺の所定対象物との位置関係情報を算出する。位置関係算出部７は、例えば、図３に示すような撮影画像から、矩形状の白枠に示す所定領域内の認識対象物Ａ（ヤカン）とその周辺のレンジフード、急須、なべ、ガスコンロなどの所定対象物との位置関係を、図４に示すように設定し、夫々の位置ベクトルを算出する。位置関係算出部７は、例えば、レンジフードに対する急須の位置ベクトル、レンジフードに対するヤカンの位置ベクトル、レンジフードに対するなべの位置ベクトル、ガスコンロに対する急須の位置ベクトル、ガスコンロに対するヤカンの位置ベクトル、ガスコンロに対するなべの位置ベクトルを、位置関係情報として夫々算出する。
【００２２】
なお、位置関係算出部７は、例えば、ユーザによる入力情報に基づいて、撮影部３により撮影された撮影画像の中から、所定領域及びその所定領域内の認識対象物を設定する。ユーザは、例えば、タッチパネル、キーボード、マウスなど入力部（入力手段の一具体例）９などを用いて所定領域の位置や範囲、認識対象物などを任意に設定、変更できる。位置関係算出部７は、算出した位置関係情報を決定部８に対して出力する。
【００２３】
決定部８は、決定手段の一具体例であり、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、認識対象物を決定する。
【００２４】
決定部８は、例えば、候補抽出部５により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を第２データベース６から取得し、取得した位置関係情報と、位置関係算出部７により算出された位置関係情報と、を夫々比較しマッチングを行い、両者の位置関係情報が最も近くなる認識対象物候補を認識対象物として決定する。なお、上記決定部８による決定方法は、一例であり、これに限らず、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、任意の方法により認識対象物を決定することができる。
【００２５】
なお、物体認識装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらＣＰＵ、ＲＯＭ、及びＲＡＭは、データバス等によって相互に接続されている。
【００２６】
また、上記実施の形態において、所定領域がキッチンの場合について説明したが、これに限らず、例えば、所定領域がリビングであってもよく、任意の領域が適用可能である。所定領域がリビングの場合、所定対象物は、例えば、テレビ、ソファ、テーブル、時計、棚などとなる。
【００２７】
ところで、従来の物体認識装置においては、例えば、同一の物体でも、照明、カメラの向き、物体の置き方などによって、認識率が大きく変化し、常に同一物体として認識されず、誤認識する虞がある。
【００２８】
そこで、本実施の形態に係る物体認識装置１においては、上述の如く、特徴量算出部４により算出された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、所定対象物の中から認識対象物候補を抽出し、さらに、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、に基づいて、候補抽出部５により抽出された認識対象物候補の中から認識対象物を決定する。このように、予め特徴量を用いて認識対象物候補を絞り込み、さらに、その認識対象物候補とその周辺の所定対象物との位置関係情報を用いて、認識対象物を決定する。これにより、所定領域内の認識対象物体を高精度に認識できる。
【００２９】
次に、本実施の形態に係る物体認識装置１による認識方法を説明する。図５は、本実施の形態に係る物体認識装置による認識処理の一例を示すフローチャートである。
【００３０】
撮影部３は、認識対象物を含む所定領域を撮影し（ステップＳ１０１）（図６（ａ））、その撮影画像を特徴量算出部４及び位置関係算出部７に対して出力する。
【００３１】
次に、特徴量算出部４は、撮影部３から出力された認識対象物の撮影画像に基づいて、周知の演算処理を行い認識対象物の特徴量を算出し（ステップＳ１０２）（図６（ｂ））、算出した認識対象物の特徴量を候補抽出部５に対して出力する。
【００３２】
その後、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、パターンマッチングなどを行い（図６（ｃ））、所定対象物の中から認識対象物候補を抽出する（ステップＳ１０３）。候補抽出部５は、抽出した認識対象物候補を決定部８に対して出力する。
【００３３】
例えば、この時点で、認識対象物の確率（もっともらしい確率）は、急須  ３５％、ヤカン  ３０％、なべ  ２９％であるとする（図６（ｄ））。従来の物体認識装置は、この処理で終了し、例えば、認識対象物を急須であると、誤認識することとなる。一方、本実施の形態に係る物体認識装置１は、さらに、下記（ステップＳ１０４）以降の処理を実行する。
【００３４】
位置関係算出部７は、撮影部３により撮影された所定領域の撮影画像から所定領域内の認識対象物とその周辺の所定対象物との位置関係情報を算出し（ステップＳ１０４）、算出した位置関係情報を決定部８に対して出力する。
【００３５】
決定部８は、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、認識対象物を決定する（ステップＳ１０５）。この時点で、認識対象物の確率が、ヤカン  ８０％、フライパン  １２％、急須  ２％と変化し（図６（ｅ））、見直され、最終的に、ヤカンが認識対象物として決定される。このように、上記（ステップＳ１０３）で処理を終了した場合、認識対象物を急須と誤認識する可能性があるが、さらに、認識対象物とその周辺の所定対象物との位置関係情報を用いることで、認識対象物をヤカンとして、正確に認識することができる。
【００３６】
以上、本実施の形態に係る物体認識装置１において、まず、特徴量算出部４により算出された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、所定対象物の中から認識対象物候補を抽出し、さらに、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、に基づいて、候補抽出部５により抽出された認識対象物候補の中から認識対象物を決定する。これにより、所定領域内の認識対象物体を高精度に認識できる。
【００３７】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００３８】
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、例えば、図５に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
【００３９】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。
【００４０】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【産業上の利用可能性】
【００４１】
本発明は、例えば、カメラなどにより撮影された撮影画像の所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムに利用可能である。
【符号の説明】
【００４２】
１    物体認識装置
２    第１データベース
３    撮影部
４    特徴量算出部
５    候補抽出部
６    第２データベース
７    位置関係算出部
８    決定部
９    入力部
【図１】
0005845927.tif 000002
【図４】
0005845927.tif 000003
【図５】
0005845927.tif 000004
【図２】
0005845927.tif 000005
【図３】
0005845927.tif 000006
【図６】
0005845927.tif 000007