(57)【要約】  被写体を撮像した画像から、その被写体の形状に因らず被写体の特徴を表す特徴量抽出方法、そして抽出された特徴量を用いた被写体の分類及び判別方法を提供する。  撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、前記画像からフィルタバンクを作成するステップと、前記フィルタバンクから最大輝度画像を作成するステップと、前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素との輝度値の差分の合計、を軸に３次元空間に投影するステップと、前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップを含むことで、被写体を撮像した画像から特徴量を抽出する。
2013088772.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項２】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項３】
前記被写体が、柔軟体物であることを特徴とする請求項１又は２に記載の特徴量抽出方法。
【請求項４】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項１〜３の何れか一項に記載の特徴量抽出方法。
【請求項５】
請求項１〜４の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。
【請求項６】
請求項１〜４の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することを特徴とする被写体判別方法。
【請求項７】
前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする請求項６に記載の被写体判別方法。
【請求項８】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項９】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項１０】
前記被写体が、柔軟体物であることを特徴とする請求項８又は９に記載の特徴量抽出装置。
【請求項１１】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項８〜１０の何れか一項に記載の特徴量抽出装置。
【請求項１２】
請求項８〜１１の何れか一項に記載の特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。
【請求項１３】
既知の被写体の頻度ヒストグラムを格納する判別ＤＢ、及び、請求項８〜１２の何れか一項に記載の特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。
【請求項１４】
前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする請求項１３に記載の被写体判別装置。
【請求項１５】
コンピュータを、請求項８〜１１に記載の特徴量抽出装置、請求項１２に記載の被写体分類装置、又は請求項１３又は１４に記載の被写体判別装置として機能させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体に関し、特に、被写体として柔軟体物を撮像した画像から、柔軟体物の形状に因らず、その柔軟体物の特徴量を抽出する方法、更に、抽出された特徴量を用いた被写体の分類及び被写体の判別方法、並びに、被写体の分類及び被写体の判別装置、更に、コンピュータを特徴量抽出装置、被写体分類装置及び被写体判別装置として機能させるためのプログラムに関するものである。
【背景技術】
【０００２】
技術の進歩により、現在は、様々な分野で機械化が進んでいる。ロボットにより物体を操作する際には、物体の位置・種別等を判別する必要があることから、ＣＣＤカメラ等で得た画像を処理・解析することで、人間の目に相当する機能を果たしている。【０００３】
人間が生活する日常環境には、様々な種類の物体があり、例えば、形状が全く変化しない剛体から布や紙等の様々な形状に変化するものもあり、ロボットにより自動化する際には、物体の形状に因らず、その物体が何であるのか画像から判別できることが必要となってくる。【０００４】
画像処理による物体の判別には、近年、ＳＩＦＴ（非特許文献１）がよく用いられている。この方法では、物体の見え方がある程度変化しても画像処理することができるが、基本的には剛体を想定した画像処理であるため、例えば、（１）重なり、折れ、しわ等の様々な形状を取り得る衣類等の柔軟体物、（２）道路のアスファルト部分と路肩の土や草の部分、（３）床上のほこり等、被写体中に混在又は積層している異なる物体、（４）葉の形状や、折れ曲がり等により、同じ種類でも外形形状の異なる野菜や果物、等の判別に適用することは困難である。したがって、人間の日常環境において、生活支援のため、例えば、（１）柔軟体物である洗濯物の取り扱いをロボットなどの自動機械にさせるケースを考えると、それら柔軟体物を適切に判別するための画像処理方法、（２）目の不自由な者が用いる電動車椅子又は自動車が、決められた場所を走行するための自動走行システム用の画像処理方法、（３）自動掃除機が床を掃除する際に、床の上の汚れ部分を判別するための画像処理方法、等が必要となる。更に、（４）食品工場における野菜や果物の分類等、産業の場においても、様々な外見形状を取り得る物を正確に分類及び／又は判別するための画像処理方法が必要となる。【０００５】
柔軟体物の画像処理方法に関しては、これまで、様々な画像特徴が用いられてきた。例えば、Ｋａｋｉｋｕｒａらは、色情報を用いてアイソレーションタスクを実現し（非特許文献２参照）、Ｏｎｏらは、ハンカチのような四角形状の布製品について、その一部が折れ曲がった状態の表現方式を提案している（非特許文献３参照）。また、Ｋｉｔａらは、三次元の可変形状モデルを用い、計測して得た三次元点群にモデルを当てはめる手法を提案している（非特許文献４参照）。しかしながら、これらの既存研究では、布製品の種類が予め与えられていたり、また、布製品の特定を行うための判別情報が素材の色等として定義されており、事前に布製品等を特定するための情報が必要であった。【０００６】
前記の様に、布製品等を特定するための情報を必要とせずとも、一般的に利用できる画像からそれらの特徴量を抽出できる方法があれば、生活支援やクリーニング工場等で、複数の製品を同一製品毎に分類することができ、更に、分類した製品が何の製品であるのかを判別できる方法があれば、ロボットなどを利用した自動化に有用と思われる。そのために、Ｏｓａｗａら（非特許文献５参照）、Ａｂｂｅｅｌらは（非特許文献６参照）、ロボットが布製品を操作している間にその輪郭や下端点の位置を判別し、布製品の種類を判別する方式を提案している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｄ．Ｇ．Ｌｏｗｅ：“Ｄｉｓｔｉｎｃｔｉｖｅ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｋｅｙｐｏｉｎｔｓ，”Ｉｎｔ’ｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｖｏｌ．６０，Ｎｏ．２，ｐｐ．９１−１１０，２００４．
【非特許文献２】Ｋ．Ｈａｍａｊｉｍａ  ａｎｄ  Ｍ．Ｋａｋｉｋｕｒａ：“Ｐｌａｎｎｉｎｇ  Ｓｔｒａｔｅｇｙ  ｆｏｒ  Ｕｎｆｏｌｄｉｎｇ  Ｔａｓｋ  ｏｆ  Ｃｌｏｔｈｅｓ−Ｉｓｏｌａｔｉｏｎ  ｏｆ  ｃｌｏｔｈｅｓ  ｆｒｏｍ  ｗａｓｈｅｄ  ｍａｓｓ−，”  ｉｎ  Ｐｒｏｃ．  ｏｆ  Ｉｎｔ’ｌ．  Ｃｏｎｆ．  ｏｎ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，ｐｐ．１２３７−１２４２，２０００
【非特許文献３】Ｅ．Ｏｎｏ，  Ｈ．Ｏｋａｂｅ，  Ｈ．Ｉｃｈｉｊｏ  ａｎｄ  Ｎ．Ａｉｓａｋａ“Ｒｏｂｏｔ  Ｈａｎｄ  ｗｉｔｈ  Ｓｅｎｓｏｒ  ｆｏｒ  Ｃｌｏｔｈ  Ｈａｎｄｌｉｎｇ，”  Ｉｎ  Ｐｒｏｃ．  １９９０，Ｊａｐａｎ，  Ｕ．Ｓ．Ａ．  Ｓｙｍｐ．  ｏｎ  Ｆｌｅｘｉｂｌｅ  Ａｕｔｏｍａｔｉｏｎ，  ｐｐ．１３６３−１３６６，１９９０．
【非特許文献４】Ｙ．Ｋｉｔａ，  Ｆ．Ｓａｉｔｏ  ａｎｄ  Ｎ．Ｋｉｔａ：“Ａ  ｄｅｆｏｒｍａｂｌｅ  ｍｏｄｅｌ  ｄｒｉｖｅｎ  ｍｅｔｈｏｄ  ｆｏｒ  ｈａｎｄｌｉｎｇ  ｃｌｏｔｈｅｓ，”  Ｐｒｏｃ．  ｏｆ  Ｉｎｔ．  Ｃｏｎｆ．  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００４．
【非特許文献５】Ｆ．Ｏｓａｗａ，  Ｈ．Ｓｅｋｉ，  ａｎｄ  Ｙ．Ｋａｍｉｙａ：“Ｕｎｆｏｌｄｉｎｇ  ｏｆ  Ｍａｓｓｉｖｅ  Ｌａｕｎｄｒｙ  ａｎｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｔｙｐｅｓ  ｂｙ  Ｄｕａｌ  Ｍａｎｉｐｕｌａｔｏｒ，”  Ｊｏｕｒｎａｌ  ｏｆ  Ａｄｖａｎｃｅｄ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  ａｎｄ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｉｎｆｏｒｍａｔｉｃｓ，  Ｖｏｌ．１１  Ｎｏ．５，ｐｐ．４５７−，  ２００７．
【非特許文献６】Ｊ．Ｍａｉｔｉｎ−Ｓｐｈｅｐａｒｄ，  Ｍ．Ｃｕｓｕｍａｎｏ−Ｔｏｗｎｅｒ，  Ｊ．Ｌｅｉ  ａｎｄ  Ｐ．Ａｂｂｅｅｌ：“Ｃｌｏｔｈ  Ｇｒａｓｐ  Ｐｏｉｎｔ  Ｄｅｔｅｃｔｉｏｎ  ｂａｓｅｄ  ｏｎ  Ｍｕｌｔｉｐｌｅ−Ｖｉｅｗ  Ｇｅｏｍｅｔｒｉｃ  Ｃｕｅｓ  ｗｉｔｈ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｒｏｂｏｔｉｃ  Ｔｏｗｅｌ  Ｆｏｌｄｉｎｇ，”  Ｉｎｔ’ｌ．  Ｃｏｎｆ．  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，  ｐｐ．２３０８−２３１５，２０１０.
【非特許文献７】Ｙ．Ｚｈａｏ  ａｎｄ  Ｇ．Ｋａｒｙｐｉｓ：“Ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ａｇｇｌｏｍｅｒａｔｉｖｅ  ａｎｄ  ｐａｒｔｉｔｉｏｎａｌ  ｄｏｃｕｍｅｎｔ  ｃｌｕｓｔｅｒｉｎｇ  ａｌｇｏｒｉｔｈｍｓ，”  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｍｉｎｎｅｓｏｔａ−Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，  Ｎｏ．  ０２−０１４，  ２００２．
【非特許文献８】Ｃ．Ｃｈａｎｇ  ａｎｄ  Ｃ．Ｌｉｎ：“ＬＩＶＳＶＭ”ｈｔｔｐ：／／ｗｗｗ．ｃｓｉｅ．ｎｔｕ．ｅｄｕ．ｔｗ／  ｃｊｌｉｎ／ｌｉｂｓｖｍ／．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記記載の画像処理方法は、何れも柔軟体物に物理的操作を加えるものであり、例えば、ポケットから取り出したハンカチ、脱衣籠から取り出した衣服等、折り重なった状態や不規則形状に畳み込まれている状態の柔軟体物の種類等を判別することは困難であった。また、被写体中に混在又は積層している異なる物体を判別したり、同じ種類であっても外見が異なる物を分類又は判別することも困難であった。【０００９】
本発明者らは、鋭意研究を行ったところ、素材が同じであれば、しわや折れ重なり等の外見形状に関係なく、また、物体の種類が同じであれば、個体差による外見形状の違いに関係なく、同様の特徴を表す特徴量の抽出方法、更に、被写体に混在又は積層している異なる物体の形状に関係なく、物体毎に同様の特徴を表す特徴量の抽出方法を新たに見出した。そして、当該特徴量抽出方法により抽出された特徴量に基づき被写体を分類することで、被写体を同じグループに分類することができ、更に、既知の被写体の特徴量と比較することで、被写体が何であるのか判別できることを見出し、本発明を完成した。【００１０】
すなわち、本発明の目的は、被写体を撮像した画像から、その被写体の形状に因らず被写体の特徴を表す特徴量抽出方法、そして抽出された特徴量を用いた被写体の分類及び判別方法を提供することにある。また、本発明の他の目的は、前記特徴量抽出方法を用いた被写体分類装置及び被写体判別装置を提供することである。更に、本発明の他の目的は、コンピュータを、特徴量抽出装置、被写体分類装置又は被写体判別装置として機能させるためのプログラム及び該プログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【００１１】
本発明は、以下に示す、特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び判別プログラム及び該プログラムを記録した記録媒体である。【００１２】
（１）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。【００１３】
（２）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。【００１４】
（３）前記被写体が、柔軟体物であることを特徴とする前記（１）又は（２）に記載の特徴量抽出方法。【００１５】
（４）前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記（１）〜（３）の何れか一に記載の特徴量抽出方法。【００１６】
（５）前記（１）〜（４）の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。【００１７】
（６）前記（１）〜（４）の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することを特徴とする被写体判別方法。【００１８】
（７）前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする前記（６）に記載の被写体判別方法。【００１９】
（８）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。【００２０】
（９）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。【００２１】
（１０）前記被写体が、柔軟体物であることを特徴とする前記（８）又は（９）に記載の特徴量抽出装置。【００２２】
（１１）前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記（８）〜（１０）の何れか一に記載の特徴量抽出装置。【００２３】
（１２）前記（８）〜（１１）の何れか一に記載の特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。【００２４】
（１３）既知の被写体の頻度ヒストグラムを格納する判別ＤＢ、及び、前記（８）〜（１２）の何れか一に記載の特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。【００２５】
（１４）前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする前記（１３）に記載の被写体判別装置。【００２６】
（１５）コンピュータを、前記（８）〜（１１）に記載の特徴量抽出装置、前記（１２）に記載の被写体分類装置、又は前記（１３）又は（１４）に記載の被写体判別装置として機能させることを特徴とするプログラム。【００２７】
（１６）前記（１５）に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の効果】
【００２８】
本発明においては、しわや折れ重なり等により被写体の外見形状、また、物体の個体差による外見形状、更には、被写体中に混在又は積層している物体の外見形状、が異なっていても、当該被写体の外見形状に因らない特徴量を抽出できることから、物理的手段を用いることなく、そのままの形状で被写体を分類、判別することができる。また、撮像手段は、被写体を高精細に撮像する必要はなく、比較的低解像度の画像でよい。そして、既知の被写体の特徴量と比較することで、被写体がどの様な形状であっても当該被写体の種類を判別することができる。更に、本発明の特徴量抽出方法、被写体分類方法及び被写体判別方法は、被写体の外見形状やその大小を比較するものではなく、被写体の素材や種類に起因するしわ、折れ重なり、葉身や葉脈のパターン、茎や幹、果実の存在とその密度、土砂の種類、堆積物・付着物の種類や量による既存面の見え、硬物質の素材や表面仕上げの粗さ等を特徴量として抽出して分類及び判別するため、任意の角度から撮像した少なくとも一枚の画像を処理することで被写体の分類及び判別ができるものであり、その結果、これら分類や判別に必要なデータ量を最小にすることでそれに必要な装置の処理速度を向上させることができる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の、（１）被写体判別装置、（２）被写体分類装置及び（３）特徴量抽出装置の概略を示す図である。
【図２】図２は、本発明の、（１）被写体判別装置の特徴量抽出部及び画像判別部、（２）被写体分類装置の特徴量抽出部及び画像分類手段、の詳細な構成を示すブロック図である。
【図３】図３は、本発明の特徴量抽出方法のステップを示す図である。
【図４】図４は、フィルタバンク作成の具体的ステップを示す図である。
【図５】図５は、方向・大きさの異なるエッジ検出フィルタの構成を示す図で、フィルタの形状は、振幅と窓幅で規定される。
【図６】図６は、最大輝度画像から設定された衣類領域円の中心Ｃｃ及び半径Ｒｃを示す図である。
【図７】図７は、本発明のＣＭ−ＷＤ法（布地やしわの密度に着目した特徴量抽出方法）の概略を示すもので、最大輝度画像領域の中心Ｃｃを基点に、指定した画素及びその周りの画素を示す図である。
【図８】図８は、特徴量を３次元空間に投影し、次いで３次元空間をｎ３個の三次元グリッドに区切り、各グリッドに納まっている画素数カウントの概略を示す図である。
【図９】図９は、頻度ヒストグラムを示す図で、横軸はｎ３個に区切られた各グリッド、縦軸は該グリッドに納まっている画素数を示す。
【図１０】図１０は、本発明のＯＶＬＰ法（布の折れ重なりの位置と方向に着目した特徴量抽出法）の概略を示すもので、折れ重なり部分として抽出したエッジ上の各画素に対して、対象領域の中心Ｃｃを基点に、注目画素の周辺画素を折れ重なりの上側又は下側に分割することを示す。
【図１１】図１１は、比較例のＤＳＴ−Ｗ法（しわの分布と方向における特徴量）の概略を示すもので、Ｃｃと楕円領域の長軸の中心座標を結んだ線と、楕円領域の長軸との相対角度を示す。
【図１２】図１２は、判別ＤＢの作成ステップの一例を示す図である。
【図１３】図１３は、写真代用図面で、実施例で用いた布製品を示す写真である。
【図１４】図１４は、本発明の特徴量抽出法により抽出された特徴量、及び比較例の方法により抽出された特徴量により判別ＤＢを作成し、布製品を判別した時の判別率を示すグラフである。
【図１５】図１５は、特徴量を組み合わせて判別ＤＢを作成した時の判別率を示すグラフである。
【発明を実施するための形態】
【００３０】
以下、本発明を実施するための形態について、図面を用いて説明する。
【００３１】
本発明に係る特徴量抽出方法、被写体分類方法及び被写体判別方法は、例えば、図１に示すような装置により実施される。
【００３２】
すなわち、図１（１）は、被写体判別装置１００の一例を示す図であり、被写体を撮像する撮像手段１１０、撮像された画像から特徴量を抽出する特徴量抽出部１２０、特徴量抽出部１２０の出力が供給され、被写体の判別が行われる画像判別部１３０、撮像手段１１０、特徴量抽出部１２０及び画像判別部１３０を制御する制御部１４０、及び制御部１４０からアクセスされるプログラムメモリ１５０を備えている。被写体判別装置に被写体が置かれ、図示しないセンサーにより被写体の有無が確認されると、制御部１４０の指示により、被写体が撮像手段１１０により撮像されてもよいし、センサー等を用いず、被写体を撮像手段１１０の前に置き、マニュアル操作で撮像されるようにしてもよい。なお、外部の撮像手段で撮像された被写体の画像から特徴量を抽出し、被写体の判別を行う場合は、図１（１）の撮像手段１１０を除いたものを被写体判別装置１００としてもよい。
【００３３】
また、被写体の判別を行わず、被写体の分類のみを行う場合は、図１（２）に示すように、画像判別部１３０に変えて画像分類手段２３０を設ければ、被写体分類装置２００が得られる。そして、被写体の分類又は判別を行わず、画像から特徴量の抽出のみを行う場合は、図１（３）に示すように、撮像手段１１０、特徴量抽出部１２０、制御部１４０、及びプログラムメモリ１５０から特徴量抽出装置３００を得ることができる。
【００３４】
なお、被写体分類装置２００及び特徴量抽出装置３００においても、外部の撮像手段で撮像された被写体の画像から特徴量を抽出する場合は、撮像手段１１０を除いてもよい。また、図１（１）〜（３）で、同一番号が付されているものは、同一の機能を有することを示す。
【００３５】
本発明において、特徴量とは、撮像手段により撮像された被写体の画像から被写体を分類又は判別するための情報をいう。本願発明の特徴量は、請求項１及び２に記載のとおり、撮像手段により撮像された被写体の画像から最大輝度画像を作成し、最大輝度画像の画素を、３次元空間に投影して該画素から頻度ヒストグラムを作成して抽出されるものである。すなわち、被写体の外観に生じている情報、例えば、折れ、しわ、重なり、葉身や葉脈のパターン、茎や幹、果実の存在とその密度等の形状情報や、土砂の種類、硬物質の素材や表面仕上げの粗さなどの被写体そのものを構成している素材の情報や、既存面に堆積した堆積物や付着した付着物の種類や量の情報等を、画像をコンピュータ処理して得たものを意味する。なお、本発明における特徴量は、単一物体の被写体から抽出された特徴量であってもよいし、複数物体の被写体中に混在又は積層している異なる物体の個々の特徴量であってもよい。画像中に複数物体が混在する場合、画像内で見え方の異なる領域をあらかじめ分割する処理をしておいて、その分割された領域を被写体として、例えば、「道路」「植込み」等の領域ごとに、特徴量を抽出することができる。また、本発明が適用できる被写体は、形状の変わり難いものから変わり易いものまで、特に限定されない。
【００３６】
柔軟体物の素材としては、例えば、綿、絹、毛、セルロース；レーヨン、ポリノジック、キュプラなどの天然の木材などに含まれるセルロースを利用した再生物等の天然素材；天然のセルロースや動物性たんぱく質等と酢酸などの化学品を合成させたアセテート、トリアセテート、プロミックスなどの半合成天然素材；石油などを原料としたポリアミド、アクリル、ナイロン、アラミド、ビニロン、ポリプロピレン、ポリエチレン、ポリウレタン、ポリ塩化ビニル、ビニリデン、ポリエステル等の合成化学素材；木等の植物、カーボン、ゴム等の有機素材；シリコン、ガラス等の無機素材；鉄、銅、ステンレス等の金属素材、等の素材が挙げられる。そして、これら素材を用いた薄片、糸、繊維、ワイヤー等から、編物、織物、格子状になったもの、繊維等がからまったフェルト、不織布等から製品が得られ、具体的製品としては、布、衣服、紙、金網等、しわや折れ重なり等により、形状が変化する柔軟体物が挙げられる。
【００３７】
個々の物体については比較的剛体であるものの、個体差により外見形状が変わるものとしては、植物、動物、食品(パン類、麺類)等が挙げられ、植物として、例えば、きゅうり、大根、ニンジン、なす、トマト、ほうれん草、白菜、キャベツ等の野菜類；桃、リンゴ、ミカン、イチゴ、葡萄等の果物類；等が挙げられる。また、動物としては、哺乳類、鳥類、魚類、爬虫類、昆虫等が挙げられ、例えば、体表部分を拡大撮影しておき、「ドーベルマンの毛並」などとして記録しておけば、毛並に基づいて犬の種類を判別することが可能であり、鳥類、魚類、爬虫類、昆虫等についても、同様に判別が可能である。
【００３８】
更に、被写体中に混在する個々の物体としては、道路写真中のアスファルトと、路肩の草や土；航空写真中の建造物；等が挙げられる。
【００３９】
また、被写体中のある物体の上に積層された別の物体としては、床の上のほこり、紙くず、調味料等のしみ、動物等の抜け毛、食べカス、等が挙げられる。なお、画像中に複数物体が積層されている、又は積層されていないか判別するためには、積層されている状態と積層されていない状態が、それぞれ違うものとして予め定義しておく必要がある。
【００４０】
プログラムメモリ１５０には、例えば、図１の（１）に示すコンピュータを被写体判別装置として機能させるためのプログラム、（２）に示すコンピュータを被写体分類装置として機能させるためのプログラム、（３）に示すコンピュータを特徴量抽出装置として機能させるためのプログラムが予め格納されており、このプログラムが制御部１４０により読み出され実行されることで、後述する撮像手段１１０、特徴量抽出部１２０、画像判別部１３０又は画像分類手段２３０の動作制御が行われる。プログラムは、記録媒体に記録され、インストール手段を用いて、プログラムメモリ１５０に格納されるようにしてもよい。
【００４１】
図２（１）は、特徴量抽出部１２０、画像判別部１３０又は画像分類手段２３０の構成について詳しく説明した図である。特徴量抽出部１２０は、撮像された画像からフィルタバンクを作成するフィルタバンク作成手段１２１、フィルタバンク作成手段１２１により得られたフィルタリング画像を合成し最大輝度画像を作成するフィルタリング結果合成手段１２２、フィルタリング結果合成手段１２２により得られた最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段１２３、最大輝度画像を３次元空間に投影する３次元投影手段１２４、３次元投影手段１２４により投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段１２５を少なくとも含んでいる。撮像手段１１０としては、被写体をデジタルデータ画像として撮像できるものであれば特に限定されない。また、布地の素材を高精細に撮影する必要はなく、比較的低解像度の画像でよい。検証実験では、横６４０ピクセル、縦４８０ピクセル、つまり、約３００，０００の画素数でも被写体の判別可能な特徴量の抽出を行うこと出来た。これは、市販のデジタルカメラと比べて十分の一以下の解像度である。なお、必要な画素数は、約３００，０００以下であっても、特徴量が抽出できる範囲であれば特に制限は無い。一方、画素数が約３００，０００以上であれば、特徴量抽出の観点では問題は無いが、画素数が多すぎると特徴量抽出の処理速度が遅くなるので、コンピュータの性能等を勘案し、画素数は適宜設定すればよい。
【００４２】
また、画像判別部１３０は、既知の製品の頻度ヒストグラムを既知製品と関連付けて格納した判別ＤＢ１３１を含んでいる。前記判別ＤＢ１３１に格納される既知の製品の頻度ヒストグラムは、一つの製品でも、複数種類の製品の頻度ヒストグラムでもよい。なお、被写体分類装置２００の場合は、図２（２）に示すように、画像判別部１３０に代えて、頻度ヒストグラム作成手段１２５により作成された頻度ヒストグラムを、類似したヒストグラムに分類する画像分類手段２３０を設ければよい。そして、特徴量抽出装置３００の場合は、特徴量抽出部１２０を含めばよく、画像判別部１３０又は画像分類手段２３０は必要ではない。
【００４３】
図３は、特徴量抽出部１２０の動作ステップを示す図である。プログラムメモリ１５０に格納されたプログラムが制御部１４０に読み出されて実行されると、先ず、ＣＣＤ等で撮像された被写体の画像が入力され（Ｓ４２１）、該画像からフィルタバンクを作成するフィルタバンク作成ステップ（Ｓ４２２）、フィルタバンク作成ステップ（Ｓ４２２）により得られたフィルタリング画像を合成し最大輝度画像を作成するフィルタリング結果合成ステップ（Ｓ４２３）、フィルタリング結果合成ステップ（Ｓ４２３）により得られた最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定ステップ（Ｓ４２４）、最大輝度画像を３次元空間に投影する３次元投影ステップ（Ｓ４２５）、３次元投影ステップ（Ｓ４２５）により投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成ステップ（Ｓ４２６）の順に動作する。
【００４４】
フィルタバンク作成ステップ（Ｓ４２２）では、画像の多スケール・多方向の画像フィルタリングが行われる。本発明は、被写体の形状を既知の形状と比較するのではなく、撮像された画像から、素材に起因するしわや折れ重なり等の違いを特徴量として抽出するので、入力される画像データは１枚でよい。
【００４５】
多スケール・多方向の画像フィルタリングを行い、フィルタバンクを作成することは、テクスチャ画像の分類を行うための方式としてよく利用されている。このフィルタリングでは、波形のパラメータが様々に変えられ、畳み込み積分によりそれぞれの波形に対する反応画像（入力画像の各フィルタに対する反応）を生成する。本発明では、カーネル関数の位相をπ／２ずらしてエッジ検出器としたガボールフィルタを、振幅や窓幅、方向成分などを様々に変えて利用する。
【００４６】
図４は、フィルタバンク作成の具体的ステップを示す図である。図４の（Ａ）は、床上に無造作に置かれた長袖のＹシャツを被写体とした撮像画像を示している。ここで、画像中の布製品は、（１）ボタンや襟袖、（２）しわ部分、（３）布の折れ重なり部分・輪郭、の三種類に部位分けることができる。これらの内、（１）は布製品の種類に依る部分であり、例えば襟はＹシャツにはあるがタオルにはついていない。一方、（２）のしわ部分及び（３）の布の折れ重なり部分は、すべての布製品が持ちうるものであり、本発明では、（２）のしわ部分の状態及び（３）の布の折れ重なり部分の状態、さらに布地の織物形状や素材を、特徴量として抽出している。
【００４７】
図４（Ｂ）は、フィルタリングの概要を示している。先ず、布製品を撮影した画像領域には緩やかな帯状のエッジが検出され、この領域は、比較的周期の長い周波数を密に含んでいる。そのため、この性質を画像データから抽出するため、前記のとおり、振幅や窓幅、方向成分などを様々に変えたガボールフィルタを適用する。図４（Ｂ）の個々の画像は、振幅や窓幅、方向成分などを様々に変えたガボールフィルタを表す。図４（Ｂ）の横方向の個々の画像は、フィルタの方向のみを変化させたもので、フィルタの方向に応じて、布の特定方向の太いしわが強調される。また、図４（Ｂ）の縦方向の個々の画像は、フィルタの周波数を段々小さく変化させたもので、周波数が小さくなるにしたがい、細いしわを強調することができ、布地の織物（テクスタイル）の形状も観測しやすくなる。本発明で用いるフィルタの周波数は、１．０〜８．０ピクセルの間で変化させることが好ましく、このうち１．０〜３．０ピクセルの値は、細いしわの観測や織物の違いを見るのに有効である。また、布の折れ重なり部分を抽出することにも用いられる。画像中の白黒については、白い部分は、緩やかなしわに対してフィルタリングで強い反応を示した部分であり、黒い部分は、細かいしわや折れ重なり部分を、緩やかなしわよりも強調すべきと判断された部分（識別に使うべきと判断された部分）である。
【００４８】
ここで、ガボールフィルタについて、更に詳しく説明する。このガボールフィルタは、ウェーブレット変換ではスケールスペース構築などに利用されており、以下の式で表される。
【００４９】
【数１】
2013088772.tif 000003
【００５０】
ただし、
【数２】
2013088772.tif 000004
である。
【００５１】
ここで、ｆは周波数領域を示している。σ2x、σ2yはカーネルサイズを決める値であり、図５に示すようにｆはσに連動させて決定する。例えば、グラフの横軸と（１）式の曲線とで囲まれる図形の体積が、振幅値に関わらず一定になるようにσの値を決定する。なお、本発明においては、ｘ、ｙを同様に扱うため，以後まとめてσと記す。すなわち、ｆ（ｘ，θ，σｘ，σｙ）もｆ（ｘ，θ，σ）と表記する。ｘ、ｙは、現在ピクセルの座標であり、ｕｘ、ｕｙはガウス分布の中心座標である。ｐは位相を示す変数であり、本発明ではここにπ／２を設定することでエッジ検出器を構成する。
【００５２】
ガボールフィルタには指向性があるため、式（１）のθの設定によって特定方向のエッジを強調することが可能である。しわ等の方向を調べるためには、このθを変化させながらフィルタリングを施せばよい。具体的には、−π≦θ＜πの間で８分割した各方向でのエッジ検出を行う。ただし、各方向でのフィルタリングにおいて負の値を示した画素については、値を０に補正する。
【００５３】
次に、フィルタリング結果合成ステップ（Ｓ４２３）では、フィルタリングにより得られた画像を合成して、最大輝度画像（Ｍａｘｉｍｕｍ  ｍａｇｎｉｔｕｄｅ  ｉｍａｇｅ：以下、「ＭＭ画像」と記載することが有る。）を生成する。このＭＭ画像は、全ての画像について同じ位置にある画素（図４（Ｂ）の横方向の画像）の画素値（輝度）を足し合わせ、一枚の画像を生成する（図４（Ｂ）における‘ガボール合計’）。更に、σを様々に変えて同様の処理を行うことで、複数枚の画像が得られる。ＭＭ画像は、これらの画像で、最も大きな輝度値を示したときのσの値を各画素の画素値（輝度値）としたものである。
【００５４】
図４（Ｃ）は、合成されたＭＭ画像で、暗い画素が集中している部分は、しわや折れ重なり、又はパイル地などの凸凹部分を表し、これはσを小さく設定したフィルタで強い反応が得られたことを意味している。また、図４（Ｃ）の明るい部分は細かいしわの部分、布が滑らかであることを意味している。この画像をＩｍａｇ（ｘ）と記すと、計算式は以下のように表される。
【数３】
2013088772.tif 000005
【００５５】
ここで、
【数４】
2013088772.tif 000006
窓幅ｗと周波数ｆはσから自動的に決定される。本発明の実装では、窓の幅はｗ＝６×σとして定め、周波数についてはｆ＝１／（３×σ）とした。一方で、波形の最大振幅の値は以下の式によって求めた。
【００５６】
【数５】
2013088772.tif 000007
前記の設定の元で、ｃｏｎｓ＝０．３１７１とした。これは、図５における横軸と波形の間部分の面積が、全てのσで同じになるように調整した結果から求めた値である。
【００５７】
ＭＭ画像が合成されると、最大輝度画像中心及び半径設定ステップ（Ｓ４２４）では、図６に示すように、ＭＭ画像から衣類領域を抽出し、その領域を囲むような円形領域を定義し、その領域の中心Ｃｃ、半径Ｒｃが設定される。
【００５８】
ＭＭ画像領域の中心Ｃｃ、半径Ｒｃが設定されると、ＭＭ画像は、３次元投影ステップ（Ｓ４２５）で、３次元空間に投影される。３次元投影する際の軸は、ＭＭ画像中の抽出したい特徴量に応じて以下のように設定される。
【００５９】
先ず、本願発明の実施例における、布地やしわの密度に着目した特徴量抽出方法であるＣＭ−ＷＤ法（Ｃｌｏｔｈ  Ｍａｔｅｒｉａｌ  ａｎｄ  Ｗｒｉｎｋｌｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ）について説明する。
布製品の素材には綿やポリエステルなど様々なものがあり、その加工方法もやはり様々である。また、しわのでき方は、このような条件の他に、布の厚みなども影響してくる。これらの違いによる布製品の状態をよく記述する特徴量を設計することで、布製品を分類することができると考えられる。そのため、ＭＭ画像の全ての画素について、図７に示すように、ＭＭ画像領域の中心Ｃｃを基点に、以下の三種類のパラメータを調べる。
１．画素の位置（ｘ，ｙ）から中心Ｃｃの間の距離ＬＤと、半径Ｒｃとの比
２．画素の輝度値ＦＤ（ｘ，ｙ）
３．近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計
なお、前記３．近傍の画素との輝度値の差分の合計は、下記式で表すことができる。
【００６０】
【数６】
2013088772.tif 000008
【００６１】
そして、ＭＭ画像の全ての画素について、図８に示すように、前記三種類のパラメータを軸とする三次元空間へ投影することで、ＭＭ画像全ての画素が３次元空間内に分布される。
【００６２】
次に、頻度ヒストグラム作成ステップ（Ｓ４２６）では、各軸をｎ等分することで、３次元空間をｎ３個の三次元グリッドに区切り、各グリッドに納まっている画素数を取り出す。そして、図９に示すように、各グリッドを横軸、該グリッドに納まっている画素数を縦軸にして一次元の頻度ヒストグラムを得る。こうして得られる特徴量抽出は、布の形状、大小、向き等に不変であることから、同一種の製品であれば、ほぼ同様の頻度ヒストグラムを示す。なお、３次元グリッドの数（ｎ３）については特に制限は無いが、ｎは４〜１６が好ましく、ｎが４未満の場合は、一つのグリッドに含まれる画素数が多くなり過ぎ、特徴量を適切に抽出することができず、ｎが１７以上であると、逆に一つのグリッドに含まれる画素数が少な過ぎ、特徴量を適切に抽出することができないことから、ｎは８が好ましい。
【００６３】
次に、本願発明の他の実施例である、布の折れ重なりの位置と方向に着目した特徴量抽出法であるＯＶＬＰ法（Ｅｘｉｓｔｅｎｃｅ  ｏｆ  Ｃｌｏｔｈ−Ｏｖｅｒｌａｐｓ）について説明する。ＯＶＬＰ法においては、３次元投影ステップ（Ｓ４２５）で投影される軸は、以下のように設定される。
【００６４】
ＯＶＬＰ法は、比較的短い波長におけるフィルタリング結果に着目することで、布の境界や布の折れ重なり部分を抽出することを可能とする方法である。図１０は、ＭＭ画像の出力を元にした、ＯＶＬＰ法記述の概略を示すもので、先ず、ＭＭ画像中、布の境界や布の折れ重なり部分等の注目領域を設定し、次に、注目領域の画素（以下「注目画素」という。）について、以下の三種類のパラメータを調べる。
１．注目画素の位置（ｘ，ｙ）から中心Ｃｃの間の距離ＬＯと半径Ｒｃとの比
２．注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ
３．注目画素が属している折れ重なり部分の方向成分
【００６５】
なお、前記パラメータの中で、「注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ」について、算出方法は次のとおりである。まず、折れ重なり部分とみなす画像エッジ（端部画像のことで、図１０ではクネクネした黒い太線部分）を図４の結果（ガボール合計）から決定し、そのエッジが局所的には直線をなしているとして、直線近似を行う（図１０の点線部分）。この直線近似は、まず、（１）折れ重なりと思われる部分を白、そうでない部分を黒とした画像Ｉ１、（２）元画像をグレースケール化した画像Ｉ２、を準備する。そして、画像Ｉ１の白い画素を順に参照して、次のような処理をする。ある白画素（Ａとする）を中心とした局所領域（実装では１６ｘ１６ピクセル程度）を参照し、その局所領域内部でより多くの白画素の上に載るような直線をひとつ選択する。そうして、直線の方程式ａｘ＋ｂｙ＋ｃ＝０のａ、ｂ、ｃとしてパラメータ化する。
次に、そのエッジの両脇にある複数の画素の輝度値を調べて、どちらが折れ重なりの上側で、どちらが下側かを判別する。判別方法の具体的手順は、先ず、Ａの周辺の黒い画素（Ｂとする）について、上記直線のどちら側にあるかは、ａｘ＋ｂｙ＋ｃ＝０のｘとｙにＢの座標値を代入することによって判断できる。一方で、前記（２）のグレースケール化した画像Ｉ２におけるその画素の輝度値について、直線で分断された二つの領域のどちら側に明るい輝度値が多いか調べる。その結果、明るい輝度値の画素が多い方を上側、そうでない方を下側とし、前者の画素には１の値を、後者の画素には−１の値を付加したマップを一時的に作成し、次に、ある画素とその近傍の画素について、それらに付加されている１もしくは−１の値を足しこんだ変数を定義する。そして、その変数を近傍画素の数で割り、実数値とする。この実数値が、「注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ」である。これをエッジ周辺の全ての画素について行う。
【００６６】
そして、ＭＭ画像の注目画素のこれら結果を、ＣＭ−ＷＤ法と同様、前記三種類のパラメータを軸とする三次元空間へ投影し、頻度ヒストグラムを得る。こうして得られる表現は、スケール・回転・平行移動に不変である。
【００６７】
（比較のための特徴量）
前記した本願発明の特徴量抽出法（ＣＭ−ＷＤ法、ＯＶＬＰ法）の他に、比較のため、以下の三種の特徴量についても抽出し、後述する実験を行った。一つ目は、布のしわに着目した特徴量である。二つ目は、従来の認識によく用いられている特徴量計算の一部を利用したものである。三つ目は、ＣＭ−ＷＤ法、ＯＶＬＰ法を計算する過程で得られる中間処理結果を用いたものである。以下に、それぞれの特徴量について説明する。
【００６８】
（しわの分布と方向における特徴量：ＤＳＴ−Ｗ（Ｄｉｓｔｒｉｂｕｔｉｏｎ  ｏｆ  Ｗｒｉｎｋｌｅ  ｐｏｓｉｔｉｏｎ））
フィルタバンクによる多方向フィルタリングでは、しわのような滑らかな輝度変化について、その存在と勾配方向を得ることができる。そこで、しわとして抽出された領域を方向成分の違いによって分割し、それぞれの分割結果を楕円に近似する。このとき、分割数はフィルタバンクを生成したときの方向成分と同数とする。分割の間隔も同様である。それを以下の三種類のパラメータを軸とする三次元空間へ投影する。
１．楕円領域の長軸の長さと半径Ｒｃの比
２．中心Ｃｃと楕円領域の中心座標ＣＥを結ぶ線分ＬＥの長さと、半径Ｒｃの比
３．線分ＬＥと楕円長軸との相対角度θＥ
【００６９】
ここで、中心Ｃｃ、半径Ｒｃは図６に示したとおりである。また、図１１は、ＤＳＴ−Ｗ法の３次元投影する際の各パラメータの関係を示す図で、ＣＥは楕円領域の長軸の中心座標、θＥは線分ＬＥと楕円長軸との相対角度である。全てのしわ領域についてこの処理をした後、前記ＣＭ−ＷＤ法と同様に、特徴空間を三次元グリッドに区切り、各グリッドに納まっている値の数を取り出すことで、頻度ヒストグラムを得る。
【００７０】
（スケールスペースにおける極値：ＳＳＥＸ（Ｓｃａｌｅ  Ｓｐａｃｅ  ＥＸｔｒｅｍａ）
良く知られている画像特徴“ＳＩＦＴ”では、スケールスペースにおける極値が用いられ、スケール・平行移動・回転変化にロバストな特徴記述が実現されている。本発明においても、この極値に着目することは布地やしわのでき方を記述するのに役立つと思われる。そこで、検出した極値とその周囲から以下のような特徴量を計算する。
１．極値のスケール値
２．半径Ｒｃと、中心Ｃｃと各極値の間の距離との比
３．半径Ｒｃと、現在の極値とそれに最も近い極値との間の距離の比
【００７１】
ここで、中心Ｃｃ、半径Ｒｃは図６に示したとおりである。前記ＣＭ−ＷＤ法と同様に３次元空間に投影し、特徴空間を三次元グリッドに区切り、各グリッドに納まっている値の数を取り出すことで、頻度ヒストグラムを得る。
【００７２】
（布領域の輪郭：ＣＮＴＲ（Ｃｏｎｔｏｕｒ）
前記した本願発明の実施例における特徴量（ＣＭ−ＷＤ法、ＯＶＬＰ法）の抽出を行うための前処理として、布製品の領域抽出を行う必要がある。すなわち、特徴量計算を行う過程で布製品の輪郭を得ることができている。そこで、その輪郭からも以下のようなステップで特徴量を計算する。まず、布領域とそれ以外の領域で画像を二値化する。そして、その画像に極座標変換を施し、中心Ｃｃを中心としたθ−ｒグラフを生成する。ここでθは、中心Ｃｃを通る直線について、画像の横軸を０度としたときの傾き角度であり、ｒはその線分における中心Ｃｃから輪郭まで距離である。これにより、境界線に関する距離ヒストグラムが得られるので、これを任意の間隔で離散化し、特徴ベクトルを生成する。
【００７３】
次に、画像判別部１３０に含まれる判別ＤＢ１３１の作成ステップの一例を、図１２を参照しながら説明する。先ず、被写体として複数の既知製品を準備し、一つの既知製品毎に、様々な角度から撮影した複数の画像を準備する。そして、最初の既知製品の1枚目の画像を入力し（Ｓ５３１）、前記（Ｓ４２２）〜（Ｓ４２６）のステップにより頻度ヒストグラムを作成し（Ｓ５３２）、予め準備した一つの既知製品の複数の画像の未処理画像が有るか否か判断し（Ｓ５３３）、未処理画像が有る場合は、前記（Ｓ５３１）〜（Ｓ５３２）のステップを繰り返す。未処理画像が無い場合は最初の既知製品の頻度ヒストグラムの作成が終了し、次の既知製品の画像が有るか否か判断し（Ｓ５３４）、次の既知製品の画像が有る場合は、前記（Ｓ５３１）〜（Ｓ５３３）のステップを繰り返す。準備した既知製品の画像の処理がすべて終了すると（Ｓ５３４のＮｏ）、作成された頻度ヒストグラムが、どの既知製品であるのか関連付けられてＤＢに格納するステップ（Ｓ５３５）に進む。このステップでは、作成された既知製品毎に頻度ヒストグラムがグループ化され、他の既知製品の頻度ヒストグラムグループとの間に境界面が設定され、そして、グループ毎に既知製品と関連付けられＤＢに格納されることで、判別ＤＢ１３１が作成される。この境界面は、サポートベクターマシン（ＳＶＭ）等、公知の機械学習手法により設定することができる。一つの既知製品に対して予め準備される画像数は、所望する判別精度により異なるため特に下限値はないが、画像数が多いほど判別誤差は少なくなることから、準備する画像数は２００以上が好ましい。
【００７４】
判別ＤＢ１３１は、前記方法以外にも、例えば、既知製品の複数の画像から作成された個々の頻度ヒストグラムを既知製品と関連付け、ＤＢに格納することで判別ＤＢ１３１を作成してもよく、機械学習などの分野で分類問題を解くときの周知の方法であれば特に制限は無い。
【００７５】
そして、前記図３に示すステップで、判別すべき被写体の画像から頻度ヒストグラムが作成され、当該頻度ヒストグラムが、前記判別ＤＢ１３１に格納されている頻度ヒストグラムのどのグループに属するのか判別することで、その被写体が何であるのか判別することができる。本発明の被写体判別装置を、例えば、クリーニング工場の搬送ラインに適用すれば、搬送されてきたクリーニング対象物であるＹシャツ、ハンカチ、タオル等を被写体として撮像し、撮像画像から頻度ヒストグラムを作成し、次いで、判別ＤＢ１３１を用いて被写体が何であるのか判別し、次いで、判別結果に応じた処理工程に自動的に搬送することで、クリーニング工場におけるクリーニング対象物の仕分け及び処理工程への搬送を自動化することができる。
【００７６】
また、被写体の判別を行わず、被写体を類似したグループに分類するのであれば、判別ＤＢ１３１を設ける必要はなく、類似した頻度ヒストグラムを同一のグループに分類する画像分類手段２３０を設けて、被写体分類装置を構成してもよい。画像分類手段２３０としては、ｒｅｐｅａｔｅｄ  ｂｉｓｅｃｔｉｏｎ法（非特許文献７）や、Ｋ−ｍｅａｎｓ法等、公知の画像分類手段を用いることができる。本発明の被写体分類装置を、例えば、クリーニング工場の搬送ラインに適用すれば、Ｙシャツ、ハンカチ、タオル等を被写体として撮像し、撮像画像から頻度ヒストグラムを作成し、次いで、頻度ヒストグラムが類似しているものは同一のグループに分類することで、クリーニング対象物を自動的に仕分けすることが可能である。
【実施例】
【００７７】
（実施対象製品）
図１３の上段（１）〜（９）に示すような日常的に用いる布製品９クラスを実施対象として用いた。下段左側は（７）、下段右側は（９）の布製品であって、日常生活で実際に見られる、折り重なっている状況を表す写真である。布製品の種類と素材については、（１）タートルネックのセーター（１００％綿製）、（２）厚手のパーカ（１００％ポリエステル製）、（３）セーター（１００％綿製）、（４）カーディガン（１００％アクリル製）、（５）ワンピース（１００％綿製）、（６）Ｔシャツ（１００％綿製）、（７）ハンドタオル（１００％綿製）、（８）ハンドタオル（１００％綿製）、（９）シャツ（７８％綿、２２％ポリエステル製）である。なお、（７）、（８）は両方ともパイル地のタオルであるが、広げたときのサイズと形状が異なる。【００７８】
（被写体の分類）
本発明の特徴量抽出方法により得られた頻度ヒストグラムが、被写体の分類に適したものであるか否か、教師なしクラスタリングにより評価を行った。クラスタリング手法としてはｒｅｐｅａｔｅｄ  ｂｉｓｅｃｔｉｏｎ法を用いた。この方法は、与えられたデータをＤＢ等に格納された外的基準なしに、似ている頻度ヒストグラムを自動的にグループに分類する手法であり、前記の特徴量抽出方法により抽出された頻度ヒストグラムが類似していれば、布製品の置き方にかかわらず、布製品の種類ごとに分類されることになる。【００７９】
本実施例では、頻度ヒストグラムを作成する時の３次元空間の各軸の分割数ｎを８に設定した。布製品（６）〜（９）について、各々約２５０個の頻度ヒストグラム、合計約１０００個の頻度ヒストグラムに対して教師なしクラスタリングを行った。なお、クラスタ数（分類するグループ数）は１０に設定した。表１は本願発明の実施例であるＣＭ−ＷＤ法についての結果、表２は比較例であるＳＳＥＸ法についての結果を示す。【００８０】
【表１】
2013088772.tif 000009
【００８１】
【表２】
2013088772.tif 000010
【００８２】
表２から明らかなように、従来から知られているＳＳＥＸ法の場合、例えば、クラスタ２には、Ｔシャツ（６）が６８個、シャツ（９）が３０個、タオル（７）が１０個、タオル（８）が３個分類される等、ある程度は布製品毎にグループ分けされているもの、特徴量が似ているグループ（クラスタ）に、様々な布製品が分類されており、特徴量と布製品との間に対応関係が見出せない。【００８３】
一方、表１の本願発明の特徴量抽出法であるＣＭ−ＷＤ法について見てみると、クラスタ２には、Ｔシャツ（６）が６４個含まれ、シャツ（９）はわずか１個、タオル（７）及びタオル（８）は０個である等、従来のＳＳＥＸ法と比較し、同一の製品であれば布製品の形状に関係なく、同じクラスタに分類されることが確認でき、特徴量と布製品との対応関係を見出すことができた。したがって、本発明の特徴量抽出方法を用いれば、しわや折り重なり等の形状に関係なく、また、被写体を判別する為の判別手段を用いなくても、同じ被写体であれば、同じグループに分類することが可能である。【００８４】
（被写体の判別）
本発明の特徴量抽出方法により得られた頻度ヒストグラムが、被写体の判別に適したものであるか否か、機械学習手法を用いた判別を行った。まず、被写体の画像から抽出された頻度ヒストグラムが、どの布製品に相当するのかを判別するため、図１３に示す（１）〜（９）の布製品について、床やテーブルなどの平面上に布製品を無造作に置き、布製品毎に約２５０枚の画像を撮影した。画像サイズはＶＧＡ（６４０×４８０  ｐｉｘｅｌ）で、約２４００枚の画像データを得た。これらの各画像に対して、前記図１２に示すステップにより、本発明であるＣＭ−ＷＤ法、ＯＶＬＰ法の頻度ヒストグラム、及び比較例のＤＳＴ−Ｗ法、ＳＳＥＸ法の頻度ヒストグラムを作成し、製品毎に頻度ヒストグラムをグループ化し、各グループの境界面を設定するとともに既知製品と関連付けてＤＢに格納することで、判別ＤＢ１３１を作成した。判別ＤＢ１３１の作成には、マルチクラスＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いた。実装にはＬＩＢＳＶＭ（非特許文献８）を用い、判別手段とカーネル関数は、それぞれＣ−ＳＶＣ、ＲＢＦカーネルを設定した。なお、ＣＮＴＲ法については、前記のとおり、境界線に関する距離ヒストグラムを任意の間隔で離散化し、生成された特徴ベクトルを既知製品と関連付けてＤＢに格納した。【００８５】
判別ＤＢ１３１の性能を評価する方法として、Ｎ−ｆｏｌｄの交差検定を適用した。図１４は、本発明のＣＭ−ＷＤ法及びＯＶＬＰ法、そして、比較例のＤＳＴ−Ｗ法、ＳＳＥＸ法及びＣＮＴＲ法を、Ｎを２から１０まで変化させた場合の判別率の変化を示している。ここでも本願発明の特徴量抽出法であるＣＭ−ＷＤ法は判別率が８９％で最もよい結果を示しているのに対して、比較例であるＳＳＥＸ法は、６１％に過ぎなかった。【００８６】
次に、ＣＭ−ＷＤ法、ＯＶＬＰ法、ＳＳＥＸ法、ＤＳＴ−Ｗ法の４種類について、これらのヒストグラムを２種類又は３種類連結し、学習データとして判別ＤＢ１３１を作成した。なお、ヒストグラムの連結とは、ある種のヒストグラムの後に、別の種のヒストグラムを続けて並べることを表し、例えば、図１５中、ＣＭ−ＷＤ  ＯＶＬＰとは、ＣＭ−ＷＤ法のヒストグラムに続き、ＯＶＬＰ法のヒストグラムを並べて判別ＤＢ１３１を作成したことを表す。図１５から明らかなように、ＣＭ−ＷＤ及びＳＳＥＸを並べた場合には、判別率は最高で９８％となり、布製品がどのような形状であっても、ほぼ間違いなくその布製品の種別について判別できることが明らかになった。【００８７】
また、このグラフではＮの値が４ないし５のあたりで判別率が安定してきている。これより、学習データの数は、布製品が無限の形状を取りうるにもかかわらず２００枚程度あればよいことが明らかになった。
【産業上の利用可能性】
【００８８】
本発明は、ロボット等の機械に搭載されることで取り扱い対象物範囲を柔軟体物から剛体まで広げることが可能となり、ＩＴ分野、自動車分野、生産機械分野、医療・介護分野において有用である。特に、本発明においては、特別な物理的手段を用いることなく、当該被写体の外見形状に因らずに特徴量を抽出することができ、その特徴量により被写体の種別を判別することができることから、例えば、クリーニング工場におけるクリーニング対象物の自動仕分け等、柔軟体物の取り扱いの自動化；シャツ等の製品の使用による経時変化を特徴量として抽出することで、製品の使用具合の判別の自動化；街頭にカメラを設置し、通行人の服装判別の自動化；電動車椅子や自動車の自動走行システムの開発；ほこりやごみ、或いは、シミ等の汚れのある部分を重点的に清掃する自動掃除機の開発；航空写真から特徴量を抽出することで、都市間の類似度の判別；野菜や果物等の分類の自動化；野菜や果物等の経時変化による特徴量の変化を抽出することで、野菜や果物等の鮮度判別の自動化；鳥、植物等の被写体画像をネット経由で送付し、当該被写体の種類を判別することで、図書館・博物館・資料館等における学習機能の向上、等に有用である。
【図１】
2013088772.tif 000011
【図２】
2013088772.tif 000012
【図３】
2013088772.tif 000013
【図４】
2013088772.tif 000014
【図５】
2013088772.tif 000015
【図６】
2013088772.tif 000016
【図７】
2013088772.tif 000017
【図８】
2013088772.tif 000018
【図９】
2013088772.tif 000019
【図１０】
2013088772.tif 000020
【図１１】
2013088772.tif 000021
【図１２】
2013088772.tif 000022
【図１３】
2013088772.tif 000023
【図１４】
2013088772.tif 000024
【図１５】
2013088772.tif 000025
【手続補正書】
【提出日】平成25年1月17日(2013.1.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項２】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項３】
前記被写体が、柔軟体物であることを特徴とする請求項１又は２に記載の特徴量抽出方法。
【請求項４】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項１〜３の何れか一項に記載の特徴量抽出方法。
【請求項５】
請求項１〜４の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。
【請求項６】
請求項１〜４の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする被写体判別方法。
【請求項７】
前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする請求項６に記載の被写体判別方法。
【請求項８】
前記既知の被写体の頻度ヒストグラムが、請求項１に記載の方法、請求項２に記載の方法、ＳＳＥＸ法、ＤＳＴ−Ｗ法で得られた頻度ヒストグラムの中から、請求項１に記載の方法及び／又は請求項２に記載の方法で得られた頻度ヒストグラムを含む２種類又は３種類の頻度ヒストグラムを連結したものであることを特徴とする請求項６又は７に記載の被写体判別方法。
【請求項９】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項１０】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項１１】
前記被写体が、柔軟体物であることを特徴とする請求項９又は１０に記載の特徴量抽出装置。
【請求項１２】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項９〜１１の何れか一項に記載の特徴量抽出装置。
【請求項１３】
請求項９〜１２の何れか一項に記載の特徴量抽出装置、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。
【請求項１４】
請求項９〜１２の何れか一項に記載の特徴量抽出装置、既知の被写体の頻度ヒストグラムを格納する判別ＤＢ、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。
【請求項１５】
前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする請求項１４に記載の被写体判別装置。
【請求項１６】
前記既知の被写体の頻度ヒストグラムが、請求項９に記載の特徴量抽出装置、請求項１０に記載の特徴量抽出装置、ＳＳＥＸ法、ＤＳＴ−Ｗ法で得られた頻度ヒストグラムの中から、請求項９に記載の特徴量抽出装置及び／又は請求項１０に記載の特徴量抽出装置で得られた頻度ヒストグラムを含む２種類又は３種類の頻度ヒストグラムを連結したものであることを特徴とする請求項１４又は１５に記載の被写体判別装置。
【請求項１７】
コンピュータを、請求項９〜１２に記載の特徴量抽出装置、請求項１３に記載の被写体分類装置、又は請求項１４〜１６に記載の被写体判別装置として機能させることを特徴とするプログラム。
【請求項１８】
請求項１７に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
（１）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
（２）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定するステップと、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影するステップと、
前記３次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
（３）前記被写体が、柔軟体物であることを特徴とする前記（１）又は（２）に記載の特徴量抽出方法。
（４）前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記（１）〜（３）の何れか一に記載の特徴量抽出方法。
（５）前記（１）〜（４）の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。
（６）前記（１）〜（４）の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする被写体判別方法。
（７）前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする前記（６）に記載の被写体判別方法。
（８）前記既知の被写体の頻度ヒストグラムが、前記（１）に記載の方法、前記（２）に記載の方法、ＳＳＥＸ法、ＤＳＴ−Ｗ法で得られた頻度ヒストグラムの中から、前記（１）に記載の方法及び／又は前記（２）に記載の方法で得られた頻度ヒストグラムを含む２種類又は３種類の頻度ヒストグラムを連結したものであることを特徴とする前記（６）又は（７）に記載の被写体判別方法。
（９）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ａ）画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＤと、前記半径Ｒｃとの比、（ｂ）画素の輝度値ＦＤ（ｘ，ｙ）、（ｃ）近傍の画素の輝度値と画素の輝度値ＦＤとの差分の合計、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
（１０）撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Ｃｃ及び半径Ｒｃを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、（ｄ）注目画素の位置（ｘ，ｙ）から前記中心Ｃｃの間の距離ＬＯと前記半径Ｒｃとの比、（ｅ）注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値ＥＯ、（ｆ）注目画素が属している折れ重なり部分の方向成分、を軸に３次元空間に投影する３次元投影手段、
前記３次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
（１１）前記被写体が、柔軟体物であることを特徴とする前記（９）又は（１０）に記載の特徴量抽出装置。
（１２）前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記（９）〜（１１）の何れか一に記載の特徴量抽出装置。
（１３）前記（９）〜（１２）の何れか一に記載の特徴量抽出装置、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。
（１４）前記（９）〜（１２）の何れか一に記載の特徴量抽出装置、既知の被写体の頻度ヒストグラムを格納する判別ＤＢ、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。
（１５）前記判別ＤＢに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別ＤＢに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする前記（１４）に記載の被写体判別装置。
（１６）前記既知の被写体の頻度ヒストグラムが、前記（９）に記載の特徴量抽出装置、前記（１０）に記載の特徴量抽出装置、ＳＳＥＸ法、ＤＳＴ−Ｗ法で得られた頻度ヒストグラムの中から、前記（９）に記載の特徴量抽出装置及び／又は前記（１０）に記載の特徴量抽出装置で得られた頻度ヒストグラムを含む２種類又は３種類の頻度ヒストグラムを連結したものであることを特徴とする前記（１４）又は（１５）に記載の被写体判別装置。
（１７）コンピュータを、前記（９）〜（１２）に記載の特徴量抽出装置、前記（１３）に記載の被写体分類装置、又は前記（１４）〜（１６）に記載の被写体判別装置として機能させることを特徴とするプログラム。
（１８）前記（１７）に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【国際調査報告】
2013088772.tif 000026
2013088772.tif 000027
2013088772.tif 000028
2013088772.tif 000029