(57)【要約】【課題】模様が同じで色が反転している物体や、一部の領域で違いがあるものの全体として模様および色が同じ物体を正確に判別することのできる物体認識装置および物体認識プログラムを提供すること。【解決手段】物体の領域を複数の小領域に分割し、その位置を保持する読込単位保持部１４と、入力画像を輝度、色相の情報を持つ画像に変換する色情報変換部４と、物体の大きさに基づきパラメータの値を設定するパラメータ設定部６と、小領域毎に変換画像保持部５内の画像を読み込む画像読込部８と、読み込まれた画像の特徴を前記パラメータに従って抽出する特徴抽出部９とを有し、判別部１１に前記抽出した特徴と学習データ保持部１２内の学習データから物体の種別を決定させる。【選択図】    図１
2004157932.tif 000002
【特許請求の範囲】
【請求項１】
物体が撮影された画像中の前記物体が撮影されている領域を決定する物体領域決定手段と、
前記物体領域決定手段によって決定された領域を複数の小領域に分割する領域分割手段と、
前記領域分割手段によって分割された小領域毎に前記物体の模様を解析する模様解析手段と、
前記物体が撮影された画像の色情報を輝度と色相の各情報に変換する色情報変換手段と、
前記領域分割手段によって分割された小領域の輝度と色相の各情報から、前記物体のテクスチャ毎の色に関する特徴を判別する色特徴判別手段と、
物体の種類毎に色とテクスチャに関する特徴を記憶した特徴記憶手段と、
前記色特徴判別手段によって判別された前記物体の色に関する特徴と、前記特徴記憶手段に記憶されている各物体のテクスチャ毎の色に関する特徴とを比較することによって、前記画像中の物体の種別を判別する物体判別手段と、
を備えたことを特徴とする物体認識装置。
【請求項２】
前記色特徴判別手段は、前記物体が撮影されている領域を構成する小領域のうち、前記物体以外の情報を所定割合以上含む小領域の情報を破棄することを特徴とする請求項１記載の物体認識装置。
【請求項３】
前記物体領域決定手段によって決定された領域の大きさに応じて、当該領域を構成する小領域の一辺の長さを決定するためのパラメータを設定するパラメータ設定手段を備え、
前記模様解析手段は、前記パラメータ設定手段によって設定されたパラメータに従って、前記物体の模様を解析することを特徴とする請求項１または２記載の物体認識装置。
【請求項４】
前記パラメータ設定手段は、前記物体領域決定手段によって決定された領域を複数に分割した各小領域の周波数成分と当該周波数成分の向きによってパラメータを決定することを特徴とする請求項３記載の物体認識装置。
【請求項５】
前記特徴記憶手段は、物体の種類毎にテクスチャ毎の輝度と色相の各情報を記憶していることを特徴とする請求項１、２、３または４記載の物体認識装置。
【請求項６】
前記パラメータ設定手段が設定するパラメータの変更を指示するパラメータ変更指示手段を備え、
前記物体判別手段によって前記画像中の物体の種別を判別できなかったとき、前記パラメータ変更指示手段は、前記物体領域決定手段によって決定された領域を前記小領域よりも小さな複数の少領域に分割するためのパラメータに変更するよう前記領域分割手段に指示することを特徴とする請求項３記載の物体認識装置。
【請求項７】
前記物体領域決定手段によって決定された領域中の判定領域を設定した後、
前記色特徴判別手段は、前記判定領域に相当する小領域の輝度と色相の各情報から、前記判定領域の色に関する特徴を判別することを特徴とする請求項６記載の物体認識装置。
【請求項８】
物体が撮影された画像中の前記物体が撮影されている領域を決定する物体領域決定手段と、
前記物体領域決定手段によって決定された領域上を当該領域よりも小さな領域（以下「小領域」という。）で走査して、前記画像の読込領域を決定する読込領域決定手段と、
前記読込領域決定手段によって決定された領域の画像を読み込む画像読込手段と、
前記物体領域決定手段によって決定された領域に応じて、前記物体の模様を解析するためのパラメータを設定するパラメータ設定手段と、
前記画像読込手段によって読み込まれた画像と前記パラメータ設定手段によって設定されたパラメータとの相関をとることにより、前記画像の特徴を判別する特徴判別手段と、
物体の種類毎に各物体の所定部分の特徴を記憶した特徴記憶手段と、
前記特徴判別手段によって判別された前記物体の特徴と、前記特徴記憶手段に記憶されている各物体の所定部分の特徴とを比較することによって、前記小領域が前記物体の所定部分に位置するかを判別する小領域位置判別手段と、
物体の種類毎に各物体の所定部分の色情報を記録した色情報記憶手段と、
前記小領域位置判別手段によって前記小領域が前記物体の所定部分に位置すると判別された場合に、前記小領域の画像の色を前記色情報記憶手段に記憶されている色情報と比較することによって、前記画像中の物体の種別を判別する物体判別手段と、
を備えたことを特徴とする物体認識装置。
【請求項９】
コンピュータを請求項１〜８のいずれか一項に記載の物体認識装置に含まれる各手段として動作させるための物体認識プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ドーナツ等の物体の種別を認識して判別する物体認識装置および物体認識プログラムに関するものである。
【０００２】
【従来の技術】
図１８は、従来の物体認識装置を示すブロック図である。同図に示すように、従来の物体認識装置は、撮像部１４１と、画像保持部１４２と、物体領域決定部１４３と、テクスチャ学習データベース１４４と、色学習データベース１４５と、テクスチャ解析部１４６と、色解析部１４７と、判別部１４８とを備えて構成されている。
【０００３】
撮像部１４１は例えばカメラであり、ドーナツ等の物体を撮像する。以下、物体としてドーナツを例に説明する。画像保持部１４２は撮像部１４１で撮像された画像を保持し、物体領域決定部１４３は当該画像中のドーナツが撮影されている領域を決定する。一方、テクスチャ解析部１４６は、ドーナツの模様（テクスチャ）を解析する。但し、テクスチャ学習データベース１４４にはドーナツの種類毎にその模様が記憶されており、テクスチャ解析部１４６は、テクスチャ学習データベース１４４に記憶されている情報を参照してドーナツの模様を判別する。
【０００４】
また、色解析部１４７は、物体領域決定部１４３が決定した領域内の色を調べる。但し、色学習データベース１４５にはドーナツの種類毎にその色が記憶されており、色解析部１４７は、色学習データベース１４５に記憶されている情報を参照してドーナツの色を判別する。そして、判別部１４８は、テクスチャ解析部１４６および色解析部１４７による各解析結果に基づいて、ドーナツの種類を決定する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記説明した従来の物体認識装置では、模様は同じだが色が反転しているドーナツを識別することは困難であった。図１９に、模様は全く同じであるが色が反転している互いに種類の異なる２つのドーナツ１５１，１５２を示す。同図に示すように、２つのドーナツ１５１，１５２は、それぞれ茶色部分１５３と白色部分１５４を有しており、２つの色のドーナツ１５１，１５２における面積は同じである。このようなドーナツ１５１，１５２では、テクスチャ解析の結果は同じになり、茶色部分１５３と白色部分１５４の占める面積が同じであるため色解析の結果も同じになる。このため、従来の物体認識装置では、これら２つのドーナツ１５１，１５２を種類が違うものであると判別することができないという問題点があった。
【０００６】
図２０に、従来の物体認識装置では識別が不可能な異なる種類のドーナツの他の例を示す。同図に示すように、ドーナツ１６１とドーナツ１６２の種類はそれぞれ異なり、全体にわたってほぼ同じ模様、色であるが、クリーム等の内容物の充填口である領域１６３，１６４の色（すなわちクリームの色）のみが異なっている。従来の物体認識装置では、画像全体の解析を行った後、模様および色を全体的に鑑みて判別するため、ドーナツ１６１，１６２のように全体的に同じ模様、色のドーナツでは、それぞれ種類の異なるものと判別することは困難であるという問題点があった。
【０００７】
本発明は、上記従来の問題点に鑑みてなされたものであって、模様が同じで色が反転している物体や、一部の領域で違いがあるものの全体として模様および色が同じ物体を正確に判別することのできる物体認識装置および物体認識プログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る物体認識装置は、物体が撮影された画像中の前記物体が撮影されている領域を決定する物体領域決定手段と、前記物体領域決定手段によって決定された領域を複数の小領域に分割する領域分割手段と、前記領域分割手段によって分割された小領域毎に前記物体の模様を解析する模様解析手段と、前記物体が撮影された画像の色情報を輝度と色相の各情報に変換する色情報変換手段と、前記領域分割手段によって分割された小領域の輝度と色相の各情報から、前記物体のテクスチャ毎の色に関する特徴を判別する色特徴判別手段と、物体の種類毎に色とテクスチャに関する特徴を記憶した特徴記憶手段と、前記色特徴判別手段によって判別された前記物体の色に関する特徴と、前記特徴記憶手段に記憶されている各物体のテクスチャ毎の色に関する特徴とを比較することによって、前記画像中の物体の種別を判別する物体判別手段と、を備えている。したがって、模様が同じで色が反転している物体を正確に判別することができる。
【０００９】
また、本発明に係る物体認識装置は、前記色特徴判別手段は、前記物体が撮影されている領域を構成する小領域のうち、前記物体以外の情報を所定割合以上含む小領域の情報を破棄する。したがって、有用な情報のみを選別して利用することができる。
【００１０】
また、本発明に係る物体認識装置は、前記物体領域決定手段によって決定された領域の大きさに応じて、当該領域を構成する小領域の一辺の長さを決定するためのパラメータを設定するパラメータ設定手段を備え、前記模様解析手段は、前記パラメータ設定手段によって設定されたパラメータに従って、前記物体の模様を解析する。したがって、物体の模様を正確に解析することができる。
【００１１】
また、本発明に係る物体認識装置は、前記パラメータ設定手段は、前記物体領域決定手段によって決定された領域を複数に分割した各小領域の周波数成分と当該周波数成分の向きによってパラメータを決定する。したがって、模様、すなわち周波数成分に応じて適切なパラメータを決定することができる。
【００１２】
また、本発明に係る物体認識装置は、前記特徴記憶手段は、物体の種類毎にテクスチャ毎の輝度と色相の各情報を記憶していることが望ましい。
【００１３】
また、本発明に係る物体認識装置は、前記パラメータ設定手段が設定するパラメータの変更を指示するパラメータ変更指示手段を備え、前記物体判別手段によって前記画像中の物体の種別を判別できなかったとき、前記パラメータ変更指示手段は、前記物体領域決定手段によって決定された領域を前記小領域よりも小さな複数の少領域に分割するためのパラメータに変更するよう前記領域分割手段に指示する。このように、画像中の物体の種別を判別できなかったとき、より小さな小領域に分割されるため、細部の特徴を抽出できるようになる。
【００１４】
また、本発明に係る物体認識装置は、前記物体領域決定手段によって決定された領域中の判定領域を設定した後、前記色特徴判別手段は、前記判定領域に相当する小領域の輝度と色相の各情報から、前記判定領域の色に関する特徴を判別する。したがって、一部の領域で違いがあるものの全体として模様および色が同じ物体を正確に判別することができる。
【００１５】
また、本発明に係る物体認識装置は、物体が撮影された画像中の前記物体が撮影されている領域を決定する物体領域決定手段と、前記物体領域決定手段によって決定された領域上を当該領域よりも小さな領域（以下「小領域」という。）で走査して、前記画像の読込領域を決定する読込領域決定手段と、前記読込領域決定手段によって決定された領域の画像を読み込む画像読込手段と、前記物体領域決定手段によって決定された領域に応じて、前記物体の模様を解析するためのパラメータを設定するパラメータ設定手段と、前記画像読込手段によって読み込まれた画像と前記パラメータ設定手段によって設定されたパラメータとの相関をとることにより、前記画像の特徴を判別する特徴判別手段と、物体の種類毎に各物体の所定部分の特徴を記憶した特徴記憶手段と、前記特徴判別手段によって判別された前記物体の特徴と、前記特徴記憶手段に記憶されている各物体の所定部分の特徴とを比較することによって、前記小領域が前記物体の所定部分に位置するかを判別する小領域位置判別手段と、物体の種類毎に各物体の所定部分の色情報を記録した色情報記憶手段と、前記小領域位置判別手段によって前記小領域が前記物体の所定部分に位置すると判別された場合に、前記小領域の画像の色を前記色情報記憶手段に記憶されている色情報と比較することによって、前記画像中の物体の種別を判別する物体判別手段と、を備えている。したがって、物体の所定部分の位置を判別して、当該所定部分の色から物体の種別を判別することができる。
【００１６】
さらに、本発明に係る物体認識プログラムは、コンピュータを請求項１〜７のいずれか一項に記載の物体認識装置に含まれる各手段として動作させるためのものである。
【００１７】
【発明の実施の形態】
以下、本発明に係る物体認識装置の実施の形態について、図面を参照して詳細に説明する。なお、各実施形態の説明では、本発明に係る物体認識装置について詳述するが、本発明に係る物体認識プログラムについては、物体認識装置に含まれる各構成要素として実現するためのプログラムであることから、当該プログラムに関する説明は以下の説明に含まれる。
【００１８】
〔第１の実施形態〕
図１は、本発明に係る物体認識装置の第１の実施形態を示すブロック図である。同図に示すように、第１の実施形態の物体認識装置は、撮像部１と、画像保持部２と、特許請求の範囲の物体領域決定手段に該当する物体領域決定部３と、色情報変換手段に該当する色情報変換部４と、変換画像保持部５と、パラメータ設定手段に該当するパラメータ設定部６と、パラメータ保持部７と、画像読込部８と、模様解析手段および色特徴判別手段に該当する特徴抽出部９と、特徴量保持部１０と、物体判別手段に該当する判別部１１と、特徴記憶手段に該当する学習データ保持部１２と、結果保持部１３と、領域分割手段に該当する読込単位保持部１４とを備えて構成されており、ドーナツ等の物体を撮像して最終的には当該物体の種類を認識して判別するものである。以下、認識および判別する対象としての物体をドーナツを例に説明する。
【００１９】
以下、本実施形態の物体認識装置が有する各構成要素について説明する。
撮像部１は例えばカメラであり、ドーナツを撮像するものである。また、画像保持部２は、撮像部１で撮像された画像を保持するものである。また、物体領域決定部３は、当該画像中のドーナツが撮影されている領域を決定するものである。また、色情報変換部４は、画像保持部２に保持された画像を輝度と色相の色情報を持つ画像に変換するものである。また、変換画像保持部５は、色情報変換部４によって変換された画像を保持するものである。
【００２０】
また、パラメータ設定部６は、物体領域決定部３によって決定された領域の大きさに合わせて、ドーナツの模様（テクスチャ）を決定するパラメータを設定するためのものである。なお、パラメータ設定部６で設定されるパラメータは、物体領域決定部３によって決定された領域を複数に分割した各小領域の周波数成分とその周波数成分の向きによって決定される。パラメータ保持部７は、パラメータ設定部６によって決定されたパラメータを保持するものである。また、読込単位保持部１４は、物体領域決定部３によって決定された領域を小領域に細分化して保持するものである。
【００２１】
また、画像読込部８は、変換画像保持部５に保持された画像を、読込単位保持部１４に保持された小領域単位で読み込むものである。また、特徴抽出部９は、パラメータ保持部７によって保持されたパラメータに従って、画像読込部８によって読み込まれた領域の画像の特徴を抽出するものである。また、特徴量保持部１０は、特徴抽出部９によって抽出された特徴を保持するものである。また、判別部１１は、特徴量保持部１０に保持された特徴を学習データ保持部１２に保持された内容と比較して、撮像部１で撮像されたドーナツの種類を判別するものである。また、結果保持部１３は、判別部１１による判別結果を保持するものである。
【００２２】
以下、本実施形態の物体認識装置についてより詳細に説明する。
図２は、撮像部１によってドーナツ２２を撮影した画像２１を示す説明図である。ドーナツ２２を撮影する際、撮像部１とドーナツの位置関係が変わるため、ドーナツ２２の大きさは一定ではない。また、物体領域決定部３は、正四角形の枠２３をドーナツ２２に接するよう領域を設定する。枠２３を設定した後、枠２３内の領域が読込単位保持部１４によって小領域３１に分割された様子を図３に示す。枠２３内の領域の画像が小領域３１に分割された後、特徴抽出部９は小領域３１毎に模様（テクスチャ）を解析する。
【００２３】
このテクスチャ解析は、図４に示すガボールフィルタを用いて行う。ガボールフィルタは、「Ｍｕｌｔｉｃｈａｎｎｅｌ  Ｔｅｘｔｕｒｅ  Ａｎａｌｙｓｉｓ  Ｕｓｉｎｇ  Ｌｏｃａｌｉｚｅｄ  Ｓｐａｔｉａｌ  Ｆｉｌｔｅｒｓ」（Ａｌａｎ  Ｃｏｎｒａｄ  Ｂｏｖｉｋ，Ｍａｒｉａｎｎａ  Ｃｌａｒｋ，Ｗｉｌｓｏｎ  Ｓ．  Ｇｅｉｌｓｅｒ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，１２巻１号１９９０年１月）で、式（１）および式（２）によって定義されている。ガボールフィルタは、式（１）に示すように、ガウス関数４１２で表現される部分と周波数成分４１３で表される部分との積で表される。
【００２４】
【数１】
2004157932.tif 000003
【００２５】
【数２】
2004157932.tif 000004
【００２６】
式（１）および式（２）において、φはガボールフィルタの方向、Ｆはガボールフィルタの周波数、λはガウス関数の扁平比、σはスケールパラメータ（ぼかしの程度）を表している。
【００２７】
これらを図で表すと、周波数成分は図４に示す符号４１４、ガウス関数は図４に示す符号４１５のように表され、ガボールフィルタはこれらの積から図４の符号４１６に示すウェーブレットプロフィールで表現することができる。
【００２８】
図５は、ガボールフィルタによってドーナツのテクスチャを求める様子を示している。式（１）のφとＦを変えることにより、図５（ａ）に示すように、ガボールフィルタとして方向と周波数の異なるもの５１ａ，５１ｂ，５１ｃを作成しておき、これらを図５（ｂ）に示すようにドーナツ全体５２を小領域５３に分けたそれぞれの部分と掛け合わせ、ドーナツの周波数別、方向別の成分を抽出する。ガボールフィルタの周波数Ｆの取り得る値は、Ｆ０＝１／Ｌ，Ｆ１＝２Ｆ０，Ｆ２＝２Ｆ１，・・・である。ここで、Ｌはフィルタの大きさ（図４参照）である。
【００２９】
そして、小領域５３の画像データをｘｙ座標上でｆ（ｘ、ｙ）と表せば、式（３）のように画像データとガボールフィルタを畳み込み積分することにより、小領域５３の周波数成分を求めることができる。
【００３０】
【数３】
2004157932.tif 000005
【００３１】
図６は、画像保持部２に保持された画像を色情報を持つ画像に変換する方法を示している。撮像部１で撮像された画像のＲＧＢの信号を色情報変換部４において輝度Ｌ＊、色相ａ＊、ｂ＊の情報３１，３２，３３に変換する。この変換は式（４）によって行うことができる。
【００３２】
【数４】
2004157932.tif 000006
【００３３】
なお、本実施の形態においては、色情報としてＣＩＥ均等色空間であるＬ＊，ａ＊，ｂ＊を用いたが、これに限られるわけではなく、ＣＩＥ均等色空間Ｌ＊，ｕ＊，ｖ＊、輝度信号Ｙと２つの色差信号Ｃｒ，Ｃｂからなる画像信号Ｙ，Ｉ，ＱおよびＹ，Ｕ，Ｖ、あるいはマンセル空間のような均等視知覚空間上のＨ，Ｖ，Ｃ、Ｈ，Ｌ，Ｓなどの色情報を用いても良い。
【００３４】
図７は、変換画像保持部５、読込単位保持部１４、画像読込部８、特徴抽出部９および特徴量保持部１０の関係を示すブロック図である。変換画像保持部５には、画像が輝度Ｌ＊、色相ａ＊、ｂ＊の情報を持つ画像に変換されて保持されている。また、読込単位保持部１４には、変換画像保持部５に保持された画像を小領域６８に分割する際の大きさと各々の画像上での位置が保持されている。画像読込部８は、これら３つの画像情報（Ｌ＊、ａ＊、ｂ＊）を小領域６８毎に読み込む。
【００３５】
図７に示すように、特徴抽出部９は、フィルタ７１と判別部７２とによって構成されている。フィルタ７１は、画像読込部８が読み込んだ領域の画像に対して、式（２）によるフィルタ処理を施す。当該フィルタ処理では、読み込んだ領域の画像が小領域６７のようにドーナツ以外の情報を多く（例えば、所定割合以上）含む情報を破棄する。そして、特徴量保持部１０は、特徴抽出部９で得られた結果をフィルタの周波数Ｆ０，Ｆ１，…Ｆｎ毎かつＬ＊、ａ＊、ｂ＊の各情報毎に合計して、情報７４，７５，７６として保持する。
【００３６】
図８は、判別部１１によるドーナツの種類の決定方法を説明するブロック図である。学習データ保持部１２は、Ｌ＊、ａ＊、ｂ＊の比率に関する情報をドーナツの種類（例えば、チョコレート、アーモンドクランチ、コーヒーロール等）毎に保持している。判別部１１は、特徴量保持部１０が保持するドーナツの周波数成分毎の色情報（７４，７５，７６）と、学習データ保持部１２が保持する特徴量である各ドーナツの周波数成分毎の色情報（１２１，１２２，１２３）とを比較して、最も近いものをドーナツの種類として決定する。
【００３７】
以上説明したように、本実施形態の物体認識装置によれば、撮像部１で撮像された画像からドーナツ等の物体が撮影されている領域を決定した後、当該領域を複数の小領域に分割している。そして、当該分割された小領域毎にテクスチャ（模様）の解析を行い、各小領域の周波数成分毎の輝度Ｌ＊、色相ａ＊、ｂ＊を各情報毎に合計して得られた色情報から物体の特徴を抽出して、その比率を学習データ保持部１２に保持されている情報と比較することにより物体を判別している。このため、テクスチャと色の配分が同じで色が反転している物体であっても正確に判別することができる。
【００３８】
〔第２の実施形態〕
図９は、本発明に係る物体認識装置の第２の実施形態を示すブロック図である。同図に示すように、第２の実施形態の物体認識装置は、第１の実施形態の物体認識装置が有する構成要素に加えて、特許請求の範囲のパラメータ変更指示手段に該当する判別領域変更部１５、物体領域保持部９１および学習データ変更部９２が設けられている。また、学習データ保持部１２には、第１の実施の形態で使用したのと同様の学習データ１２４〜１２６と共に、学習データ１２７〜１２９が付加されている。さらに、本実施形態の特徴量保持部１０は、第１の特徴量保持部１０ａと第２の特徴量保持部１０ｂを有している。
【００３９】
図１０は、本実施形態の読込単位保持部１４の内部構成を示すブロック図である。同図に示すように、読込単位保持部１４は、小領域生成部１０１と、小領域保持部１０２と、小領域走査部１０３と、比較部１０４と、特徴保持部１０５と、比較結果保持部１０６とを内部に有して構成されている。小領域生成部１０１は、物体領域決定部３によって決定された領域を小領域に分割するものである。また、小領域保持部１０２は、小領域生成部１０１によって分割された結果生成された各小領域の画像上の位置に関する情報を保持するものである。また、小領域走査部１０３は、小領域保持部１０２に保持された小領域を順に走査するものであり、各小領域の画像上の位置を画像読込部８に知らせる。
【００４０】
また、特徴保持部１０５は、ドーナツの一部が特殊な形状を有していると現れる特徴量を保持するものである。また、比較部１０４は、特徴抽出部９から得られた特徴と特徴保持部１０５から得られた特徴量とを比較するものであり、一致した場合はその小領域の番号を比較結果保持部１０６に格納する。また、比較結果保持部１０６は、特徴保持部１０５から送られた比較結果を保持するものである。
【００４１】
以上の構成要素を備えた読込単位保持部１４に判別領域変更部１５からの入力があった場合、小領域走査部１０３は、比較結果保持部１０６に保持された小領域の番号を順に走査し、小領域保持部１０２に保持されている小領域の画像上の位置を画像読込部８に出力する。
【００４２】
次に、本実施形態の物体認識装置の動作について、図１１〜図１３を参照して説明する。まず、図１１に示すように、ドーナツの内容物充填口（以下「充填口」という。）１１２の部分に判定領域１１１を設定する。この判定領域内の模様を調べると、領域内に充填口またはその一部Ｃ３やＤ３が含まれているため、図１１に示す符号Ｂ２やＢ３等の他の領域とは異なる特徴量が得られる。このような特徴量を予め特徴保持部１０５に記憶させておき、特徴抽出部９が抽出した特徴量と一致した場合は、その小領域番号を比較結果保持部１０６に保持する。
【００４３】
一方、判別部１１でドーナツ全体の特徴量を調べた結果、充填口の部分を詳しく調べないと判別が困難な種類のドーナツであることが判明した場合、判別領域変更部１５は、パラメータ設定部６にパラメータの変更を指示する。パラメータ設定部６は、小領域の一辺の長さを第１の実施形態で説明した小領域の半分とするパラメータを設定し、パラメータ保持部７に保持する。なお、判定領域を半分としたパラメータは、図４に示したガボールフィルタのウェーブレットプロフィールにおける一辺Ｌが１／２の場合に相当する。また、画像読込部８は、読込単位保持部１４に保持された、図１１に示した小領域Ｃ３，Ｄ３を参照して、変換画像保持部５に保持された画像の中から小領域Ｃ３，Ｄ３に対応する画像を読み込む。
【００４４】
図１２は、小領域Ｃ３，Ｄ３をさらに分割した様子を示す説明図である。また、図１３は、さらに分割された小領域によって画像が読み込まれた様子を示す説明図である。同図に示すように、小領域Ｃ３，Ｄ３は４分割されている。特徴抽出部９によって得られた色情報が第２の特徴量保持部１０ｂに入力されると、判別部１１は、図１３（ａ）に示す画像から図１３（ｂ）の領域Ｃ３，Ｄ３を取り出した後、充填口１１２にかからない部分Ｅは図１３（ｃ）に示すように破棄され、最終的には、図１３（ｄ）に示すように充填口１１２の部分のみを残す。そして、当該残った部分の特徴を学習データ保持部１２の各学習データを参照することにより、ドーナツの種類を判別する。
【００４５】
以上説明したように、本実施形態の物体認識装置によれば、判別部１１で物体全体の特徴を調べた結果、判別が困難な種類の物体であることが判明したときは、小領域をさらに分割し、判別可能な領域を絞り込んだ上で当該領域の特徴を抽出して、学習データ保持部１２に保持されている情報と比較している。このため、全体の色と模様は同じで一部分のみが異なる物体を正確に判別することができる。
【００４６】
〔第３の実施形態〕
第３の実施形態の物体認識装置は、図１４に示すように、ドーナツの撮影画像に対して小領域Ａ２１を設定し、当該小領域Ａ２１をドーナツの撮影画像全体にわたって少しずつ走査していく。小領域Ａ２１は、図１５に示すように１／４や１／１６に細分化され、図１６に示すようにフィルタを用いて畳み込み積分することによって、ドーナツの充填口の位置を決定することができる。
【００４７】
図１５は、小領域Ａ２１の細分化についての説明図である。小領域Ａ２１は、小領域Ａ２１と同じ大きさの領域Ａ３１、小領域Ａ２１の１／４の大きさの領域Ａ３２、小領域Ａ２１の１／１６の大きさの領域Ａ３３に分割される。それぞれ１個、４個、１６個の領域があり、合計２１個の領域になる。
【００４８】
図１６は、小領域Ａ２１がドーナツの充填口の位置する場合についての説明図である。符号Ａ４１はドーナツの充填口に位置する小領域Ａ２１を拡大した様子であり、符号Ａ３２は小領域Ａ４１と同じ大きさの領域、符号Ａ４３は小領域Ａ４１の１／４の大きさの領域、符号Ａ４４は小領域Ａ４１の１／１６の大きさの領域を示している。
【００４９】
本実施形態では、図４でも説明した方向と周波数の異なるガボールフィルタを図１６の符号Ａ４５，Ａ４６のように作成しておき、領域Ａ４３に対してはフィルタＡ４５を用いて、領域Ａ４４に対してはフィルタＡ４６を用いて畳み込み積分を行う。このようなフィルタリングを行うことにより、小領域Ａ２１が充填口の位置以外に位置した場合よりも、畳み込み積分の結果として大きな値を得ることができるため、ドーナツの充填口の位置を知ることができる。
【００５０】
図１７は、本発明に係る物体認識装置の第３の実施形態を示すブロック図である。同図に示すように、本実施形態の物体認識装置は、第１の実施形態の物体認識装置が有する撮像部１、画像保持部２、特許請求の範囲の物体領域決定手段に該当する物体領域決定部３、パラメータ設定手段に該当するパラメータ設定部６、パラメータ保持部７、画像読込手段に該当する画像読込部８、特徴判別手段に該当する特徴抽出部９、特徴記憶手段に該当する特徴量保持部１０、物体判別手段に該当する判別部１１および結果保持部１３に加えて、読込領域決定手段に該当する読込領域決定部４１と、充填口特徴量保持部４３と、小領域位置判別手段に該当する小領域位置判別部４５と、色情報記憶手段に該当する色データ保持部４７とを備えて構成されている。
【００５１】
読込領域決定部４１は、上記説明した小領域Ａ２１をドーナツの撮影画像上で走査して画像の読込領域を決定するものである。また、各位置において、小領域Ａ２１を細分化した領域も順に指定していく。画像読込部８は、この領域の位置と大きさに合わせて画像データを読み込む。一方、パラメータ保持部７は、読込領域決定部４１が決定した領域に応じて、図１６に示したフィルタＡ４５，Ａ４６のパラメータを特徴抽出部９に提供する。そして、特徴抽出部９は、画像読込部８が読み込んだ画像データに対してパラメータ保持部７から提供されたパラメータのフィルタを用いて畳み込み積分を行うことによって画像の特徴を抽出する。
【００５２】
充填口特徴量保持部４３は、小領域Ａ２１がドーナツの充填口に位置したときに得られる特徴抽出部９による畳み込み積分の典型的な特徴を保持するものである。また、小領域位置判別部４５は、特徴抽出部９で得られた特徴と、充填口特徴量保持部４３が保持する特徴とを比較することによって、小領域Ａ２１がドーナツの充填口に位置するか否かを判別するものである。
【００５３】
また、色データ保持部４７は、ドーナツ毎に充填口の色に関するデータを保持するものである。判別部１１は、小領域位置判別部４５によって小領域Ａ２１がドーナツの充填口に位置すると判別された場合に、小領域Ａ２１の画像の色を色データ保持部４７に保持されている色データと比較することによって、撮像部１で撮像されたドーナツの種類を判別する。
【００５４】
以上説明したように、本実施形態の物体認識装置によれば、ドーナツの充填口の位置を判別して、充填口の色からドーナツの種類を判別することができる。
【００５５】
【発明の効果】
以上説明したように、本発明に係る物体認識装置および物体認識プログラムによれば、模様が同じで色が反転している物体や、一部の領域で違いがあるものの全体として模様および色が同じ物体を正確に判別することができる。
【図面の簡単な説明】
【図１】本発明に係る物体認識装置の第１の実施形態を示すブロック図
【図２】撮像部によってドーナツを撮影した画像を示す説明図
【図３】撮影画像中のドーナツに枠を設定し、当該枠内を小領域に分割した様子を示す説明図
【図４】ガボールフィルタの周波数成分、ガウス関数およびウェーブレットプロフィールを示す説明図
【図５】ガボールフィルタによってドーナツのテクスチャを求める様子を示す説明図
【図６】画像を輝度、色相、彩度の情報を持つ画像に変換する方法を示すブロック図
【図７】変換画像保持部５、読込単位保持部１４、画像読込部８、特徴抽出部９および特徴量保持部１０の関係を説明するブロック
【図８】判別部１１によるドーナツの種類の決定方法を説明するブロック図
【図９】本発明に係る物体認識装置の第２の実施形態を示すブロック図
【図１０】第２の実施形態の読込単位保持部の内部構成を示すブロック図
【図１１】撮像部によるドーナツの撮影画像を示す説明図
【図１２】小領域をさらに分割した様子を示す説明図
【図１３】さらに分割された小領域によって画像が読み込まれた様子を示す説明図
【図１４】ドーナツの撮影画像に対して小領域Ａ２１を設定した説明図
【図１５】小領域Ａ２１の細分化についての説明図
【図１６】小領域Ａ２１がドーナツの充填口の位置する場合についての説明図
【図１７】本発明に係る物体認識装置の第３の実施形態を示すブロック図
【図１８】従来の物体認識装置を示すブロック図
【図１９】模様は全く同じであるが色が反転している互いに種類の異なる２つのドーナツを示す説明図
【図２０】従来の物体認識装置では識別が不可能な異なる種類のドーナツの他の例を示す説明図
【符号の説明】
１  撮像部
３  物体領域決定部
４  色情報変換部
５  変換画像保持部
６  パラメータ設定部
８  画像読込部
９  特徴抽出部
１１  判別部
１２  学習データ保持部
１４  読込単位保持部
１５  判別領域変更部
１０１  小領域生成部
１０２  小領域保持部
１０３  小領域走査部
１０４  比較部
１０５  特徴保持部
１０６  比較結果保持部
【図１】
2004157932.tif 000007
【図２】
2004157932.tif 000008
【図３】
2004157932.tif 000009
【図４】
2004157932.tif 000010
【図５】
2004157932.tif 000011
【図６】
2004157932.tif 000012
【図７】
2004157932.tif 000013
【図８】
2004157932.tif 000014
【図９】
2004157932.tif 000015
【図１０】
2004157932.tif 000016
【図１１】
2004157932.tif 000017
【図１２】
2004157932.tif 000018
【図１３】
2004157932.tif 000019
【図１４】
2004157932.tif 000020
【図１５】
2004157932.tif 000021
【図１６】
2004157932.tif 000022
【図１７】
2004157932.tif 000023
【図１８】
2004157932.tif 000024
【図１９】
2004157932.tif 000025
【図２０】
2004157932.tif 000026