(57)【特許請求の範囲】
【請求項１】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部と、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割部と、
前記領域分割部によって分割された領域の視覚的特徴量を抽出する部分特徴量抽出部と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合部と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ部と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出部と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する全体照合部と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定部と、を備え、
前記組み合わせ部は、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数に基づいて決定することを特徴とするオブジェクト認識装置。
【請求項２】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部と、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割部と、
前記領域分割部によって分割された領域の視覚的特徴量を抽出する部分特徴量抽出部と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合部と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ部と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出部と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する全体照合部と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定部と、を備え、
前記組み合わせ部は、組み合わせる候補領域の数を、前記全体照合部によって視覚的特徴量が参照される全体領域を構成する部分領域の数に限定することを特徴とするオブジェクト認識装置。
【請求項３】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部と、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割部と、
前記領域分割部によって分割された領域の視覚的特徴量を抽出する部分特徴量抽出部と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合部と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ部と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出部と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する全体照合部と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定部と、を備え、
前記組み合わせ部は、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数の平均値に限定することを特徴とするオブジェクト認識装置。
【請求項４】
前記部分照合部は、色に関する特徴量および模様に関する特徴量のうちの少なくとも１つを用いて、前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する、請求項１から３のいずれか１項に記載のオブジェクト認識装置。
【請求項５】
前記全体照合部は、色に関する特徴量、模様に関する特徴量、および形状に関する特徴量のうちの少なくとも１つを用いて、前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する、請求項１から３のいずれか１項に記載のオブジェクト認識装置。
【請求項６】
前記第１の閾値が、前記記憶部に記憶されている各部分領域の視覚的特徴量同士の類似度の平均値または最大値として定められた、請求項１から３のいずれか１項に記載のオブジェクト認識装置。
【請求項７】
前記第２の閾値が、前記記憶部に記憶されている各全体領域の視覚的特徴量同士の類似度の平均値および分散、または類似度の平均値および標準偏差に基づいて定められた、請求項１から３のいずれか１項に記載のオブジェクト認識装置。
【請求項８】
記憶部が、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶し、
領域分割部が、入力された画像を視覚的特徴が類似する領域毎に分割し、
部分特徴量抽出部が、前記領域分割部によって分割された領域の視覚的特徴量を抽出し、
部分照合部が、前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とし、
組み合わせ部が、１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成し、
全体特徴量抽出部が、前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出し、
全体照合部が、前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、
判定部が、前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定し、
前記組み合わせ領域を生成する際には、前記組み合わせ部が、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数に基づいて決定することを特徴とするオブジェクト認識方法。
【請求項９】
記憶部が、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶し、
領域分割部が、入力された画像を視覚的特徴が類似する領域毎に分割し、
部分特徴量抽出部が、前記領域分割部によって分割された領域の視覚的特徴量を抽出し、
部分照合部が、前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とし、
組み合わせ部が、１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成し、
全体特徴量抽出部が、前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出し、
全体照合部が、前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、
判定部が、前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定し、
前記組み合わせ領域を生成する際には、前記組み合わせ部が、組み合わせる候補領域の数を、前記全体照合部によって視覚的特徴量が参照される全体領域を構成する部分領域の数に限定することを特徴とするオブジェクト認識方法。
【請求項１０】
記憶部が、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶し、
領域分割部が、入力された画像を視覚的特徴が類似する領域毎に分割し、
部分特徴量抽出部が、前記領域分割部によって分割された領域の視覚的特徴量を抽出し、
部分照合部が、前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出部によって抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とし、
組み合わせ部が、１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成し、
全体特徴量抽出部が、前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出し、
全体照合部が、前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、
判定部が、前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定し、
前記組み合わせ領域を生成する際には、前記組み合わせ部が、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数の平均値に限定することを特徴とするオブジェクト認識方法。
【請求項１１】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部を備えたコンピュータに搭載されるオブジェクト認識プログラムであって、
前記コンピュータに、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割処理と、
前記領域分割処理で分割された領域の視覚的特徴量を抽出する部分特徴量抽出処理と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出処理で抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出処理で抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合処理と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ処理と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出処理と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出処理で抽出された視覚的特徴量との類似度を算出する全体照合処理と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定処理と、を実行させ、
前記組み合わせ処理では、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数に基づいて決定する、オブジェクト認識プログラム。
【請求項１２】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部を備えたコンピュータに搭載されるオブジェクト認識プログラムであって、
前記コンピュータに、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割処理と、
前記領域分割処理で分割された領域の視覚的特徴量を抽出する部分特徴量抽出処理と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出処理で抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出処理で抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合処理と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ処理と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出処理と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出処理で抽出された視覚的特徴量との類似度を算出する全体照合処理と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定処理と、を実行させ、
前記組み合わせ処理では、組み合わせる候補領域の数を、前記全体照合処理によって視覚的特徴量が参照される全体領域を構成する部分領域の数に限定する、オブジェクト認識プログラム。
【請求項１３】
特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部を備えたコンピュータに搭載されるオブジェクト認識プログラムであって、
前記コンピュータに、
入力された画像を視覚的特徴が類似する領域毎に分割する領域分割処理と、
前記領域分割処理で分割された領域の視覚的特徴量を抽出する部分特徴量抽出処理と、
前記記憶部に記憶されている部分領域の視覚的特徴量と、前記部分特徴量抽出処理で抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、前記部分特徴量抽出処理で抽出された前記視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合処理と、
１つまたは複数の候補領域を、入力された画像における互いの位置関係を保ちながら組み合わせて、組み合わせ領域を生成する組み合わせ処理と、
前記組み合わせ領域の配置に関する情報を含む視覚的特徴量を抽出する全体特徴量抽出処理と、
前記記憶部に記憶されている全体領域の視覚的特徴量と、前記全体特徴量抽出処理で抽出された視覚的特徴量との類似度を算出する全体照合処理と、
前記類似度と第２の閾値とが所定の関係を満たしているときに、前記組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定処理と、を実行させ、
前記組み合わせ処理では、組み合わせる候補領域の数を、前記記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数の平均値に限定する、オブジェクト認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像の中から特定のオブジェクトに類似する領域を抽出するオブジェクト認識装置、オブジェクト認識方法、およびオブジェクト認識プログラムに関する。
【背景技術】
【０００２】
画像に含まれるオブジェクトの種類を自動的に識別するオブジェクト識別装置が、特許文献１に記載されている。特許文献１に記載されたオブジェクト識別装置は、オブジェクト毎に画像を領域分割して複数のオブジェクト領域を生成する。【０００３】
また、特許文献２には、入力された検索キー画像と類似している画像を検索する画像検索装置が記載されている。特許文献２に記載された画像検索装置は、パラメータに基づいて画像を複数の領域に分割する。特許文献２には、単一の色で塗りつぶされた楕円や三角形が画像中に含まれ、背景が単一の色で塗りつぶされている場合に、色毎に複数の領域に分割する例が示されている。また、特許文献２に記載された画像検索装置は、検索キー画像の特徴量と各画像データの各領域の特徴量を比較する。【０００４】
また、特許文献３には画像認識装置が記載されている。特許文献３に記載された画像認識装置では、入力された画像データに対して、例えばエッジ検出等を行って部分領域を抽出して記憶する。そして、特許文献３には、モデル特徴記憶装置が、特定の物体についてのモデルの部分領域毎（例えば、目、鼻、口等の部分領域毎）に、その形状、大きさ、位置等の特徴にかかるデータを記憶することが記載され、さらに、入力された画像データから抽出して記憶したデータと、モデルの部分領域との結合関係などのデータを記憶することが記載されている。【０００５】
また、非特許文献１には、領域分割の方法が記載されている。また、非特許文献２には、色や模様の特徴量の求め方が記載されている。非特許文献３には、形状の特徴量の求め方が記載されている。【０００６】
特許文献１および特許文献２には、画像をオブジェクト毎に領域分割することが記載されている。しかし、オブジェクトが単一色や単一の領域で画像中に表現されている等の条件を満たしていないとすると、オブジェクトそのものを予め認識していなければ、そのオブジェクトを領域分割することはできない。そのため、オブジェクトが単一色や単一の領域で画像中に表現されている等の条件を満たしている画像でなければ、オブジェクトの存在が未知である画像からオブジェクト毎に領域を正しく分割することができない。【０００７】
また、特許文献３に記載された技術では、例えば、目、鼻、口等のように予め定められたパーツをモデル特徴記憶装置が記憶していなければならない。すなわち、予め目や鼻等のパーツとなる部分を定めておき、そのパーツに関する情報を記憶しておかなければならない。このようなパーツの指定を行う必要がないことが好ましい。
【特許文献１】特開２００５−６３３０９号公報（段落００４２）
【特許文献２】特開２００２−２４５０４８号公報（段落００１６，００３１）
【特許文献３】特開２００５−４６１２号公報（段落０１１２−０１２５）
【非特許文献１】“Ｏｎ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｆｏｒ  Ｏｂｊｅｃｔ−ｂａｓｅｄ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ”，  Ｋｙｏｊｉ  Ｈｉｒａｔａ，Ｅｉｊｉ  Ｋａｓｕｔａｎｉ  ，Ｙｏｓｈｉｎｏｒｉ  Ｈａｒａ，“Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００２．Ｐｒｏｃｅｅｄｉｎｇｓ．１６ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｖｏｌｕｍｅ３”，ｐ．１０３１−１０３４，２００２年
【非特許文献２】“Ｃｏｌｏｒ  ａｎｄ  Ｔｅｘｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ”，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ  ，Ｊｅｎｓ−Ｒａｉｎｅｒ  Ｏｈｍ  ，Ｖｉｎｏｄ  Ｖ．Ｖａｓｕｄｅｖａｎ  ，Ａｋｉｏ  Ｙａｍａｄａ  ，“ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＣＩＲＣＵＩＴＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ，  ＶＯＬ１１，  Ｎｏ．６”，ｐ．７０３−７１５，２００１年６月
【非特許文献３】“Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ＭＰＥＧ−７  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ”，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ，Ｐｈｉｌｉｐｐｅ  Ｓａｌｅｍｂｉｅｒ，Ｔｈｏｍａｓ  Ｓｉｋｏｒａ，  Ｊｏｈｎ  Ｗｉｌｅｙ＆Ｓｏｎｓ，  ＬＴＤ．，ｐ．１３８−１４１
【発明の開示】
【０００８】
そこで、本発明は、特定のオブジェクトの有無が未知である画像であっても、画像の中にオブジェクトに類似する領域が存在していれば、そのオブジェクトに類似する領域を抽出することが可能なオブジェクト認識装置、オブジェクト認識方法、およびオブジェクト認識プログラムを提供することを目的とする。
【０００９】
本発明によるオブジェクト認識装置は、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部と、入力された画像を視覚的特徴が類似する領域毎に分割する領域分割部と、領域分割部によって分割された領域の視覚的特徴量を抽出する部分特徴量抽出部と、記憶部に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、部分特徴量抽出部によって抽出された視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合部と、１つまたは複数の候補領域を組み合わせて、組み合わせ領域を生成する組み合わせ部と、組み合わせ領域の視覚的特徴量を抽出する全体特徴量抽出部と、記憶部に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する全体照合部と、類似度と第２の閾値とが所定の関係を満たしているときに、組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定部とを備えたことを特徴とする。
【００１０】
そのような構成によれば、特定のオブジェクトの有無が未知である入力画像であっても、入力画像の中にオブジェクトに類似する領域が存在していれば、そのオブジェクトに類似する領域を抽出することができる。また、記憶部が、特定のオブジェクトの全体領域の視覚的特徴量と、そのオブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する。従って、オブジェクトを構成する部品を定めて、その部品毎に情報を記憶しておく必要がない。
【００１１】
部分照合部が、色に関する特徴量および模様に関する特徴量のうちの少なくとも１つを用いて、記憶部に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する構成であってもよい。
【００１２】
全体照合部が、色に関する特徴量、模様に関する特徴量、および形状に関する特徴量のうちの少なくとも１つを用いて、記憶部に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出する構成であってもよい。
【００１３】
組み合わせ部が、組み合わせる候補領域の数を、全体照合部によって視覚的特徴量が参照される全体領域を構成する部分領域の数に限定してもよい。そのような構成によれば、候補領域の組み合わせ総数を減少させることができるので、処理量を少なくすることができる。
【００１４】
組み合わせ部が、組み合わせる候補領域の数を、記憶部に視覚的特徴量が記憶されている各全体領域を構成する部分領域の数の平均値に限定してもよい。そのような構成によれば、候補領域の組み合わせ総数を減少させることができるので、処理量を少なくすることができる。
【００１５】
第１の閾値が、記憶部に記憶されている各部分領域の視覚的特徴量同士の類似度の平均値または最大値として定められていてもよい。
【００１６】
第２の閾値が、記憶部に記憶されている各全体領域の視覚的特徴量同士の類似度の平均値および分散、または類似度の平均値および標準偏差に基づいて定められていてもよい。
【００１７】
また、本発明によるオブジェクト認識方法は、記憶部が、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶し、領域分割部が、入力された画像を視覚的特徴が類似する領域毎に分割し、部分特徴量抽出部が、領域分割部によって分割された領域の視覚的特徴量を抽出し、部分照合部が、記憶部に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、部分特徴量抽出部によって抽出された視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とし、組み合わせ部が、１つまたは複数の候補領域を組み合わせて、組み合わせ領域を生成し、全体特徴量抽出部が、組み合わせ領域の視覚的特徴量を抽出し、全体照合部が、記憶部に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出部によって抽出された視覚的特徴量との類似度を算出し、判定部が、類似度と第２の閾値とが所定の関係を満たしているときに、組み合わせ領域が特定のオブジェクトに類似する領域であると判定することを特徴とする。
【００１８】
また、本発明によるオブジェクト認識方法は、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶部を備えたコンピュータに搭載されるオブジェクト認識プログラムであって、コンピュータに、入力された画像を視覚的特徴が類似する領域毎に分割する領域分割処理と、領域分割処理で分割された領域の視覚的特徴量を抽出する部分特徴量抽出処理と、記憶部に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出処理で抽出された視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、部分特徴量抽出処理で抽出された視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合処理と、１つまたは複数の候補領域を組み合わせて、組み合わせ領域を生成する組み合わせ処理と、組み合わせ領域の視覚的特徴量を抽出する全体特徴量抽出処理と、記憶部に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出処理で抽出された視覚的特徴量との類似度を算出する全体照合処理と、類似度と第２の閾値とが所定の関係を満たしているときに、組み合わせ領域が特定のオブジェクトに類似する領域であると判定する判定処理とを実行させることを特徴とする。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態によるオブジェクト認識装置を示すブロック図である。
【図２】全体オブジェクトと、全体オブジェクトを構成する各パーツを示す説明図である。
【図３】本発明の一実施形態によるオブジェクト認識装置の動作の例を示すフローチャートである。
【図４】本発明の一実施形態によるオブジェクト認識装置の動作の例を示すフローチャートである。
【図５】領域分割の例を示す説明図である。
【図６】パーツの領域の候補とされた分割領域の例を示す説明図である。
【図７】候補領域から生成される結合領域の例を示す説明図である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。【００２１】
図１は、本発明の一実施形態によるオブジェクト認識装置を示すブロック図である。【００２２】
本実施形態によるオブジェクト認識装置は、画像取得部１と、記憶部２と、領域分割部３と、部分特徴量抽出部４と、部分照合部５と、組み合わせ部６と、全体特徴量抽出部７と、全体照合部８と、判定部９とを備える。【００２３】
画像取得部１は、画像を撮影し、撮影した画像を領域分割部３に出力する。画像取得部１は、例えば、ＣＣＤカメラによって実現される。また、画像取得部１は、画像を撮影するのではなく、予め撮影された画像が入力される入力デバイスであってもよい。【００２４】
本実施形態によるオブジェクト認識装置は、画像の中に特定のオブジェクトに類似する領域が存在しているならば、画像の中から、そのオブジェクトに類似する領域を抽出する。画像取得部１によって撮影される画像は、特定のオブジェクトに類似する領域が存在するか否かが判定される判定対象となる画像である。また、画像取得部１によって撮影される画像は、静止画であっても動画であってもよい。なお、オブジェクトとは、画像に含まれる被写体である。【００２５】
領域分割部３は、画像取得部１から入力された画像が表す全体の領域を、視覚的特徴に基づいて（例えば、色やエッジによって）複数の領域に分割する。このように、画像を複数の領域に分割することを領域分割（セグメンテーション）と記す。また、分割された各領域を分割領域と記す。【００２６】
部分特徴量抽出部４は、分割領域における視覚的特徴量を抽出する。視覚的特徴量として、例えば、色の特徴量、模様の特徴量、形状の特徴量等が挙げられる。部分特徴量抽出部４は、分割領域におけるこれらの特徴量の一部または全部を抽出してもよい。また、他の特徴量を抽出してもよい。【００２７】
記憶部２は、情報を記憶する記憶装置である。記憶部２は、オブジェクトの全体像の視覚的特徴量（全体特徴量）３１と、オブジェクトを構成する各部分の視覚的特徴量（部分特徴量）３２とを記憶する。オブジェクト全体を構成する各部分となる領域をパーツと呼ぶ。パーツは、オブジェクト全体を、視覚的特徴が類似する領域毎に分割した領域であり、オブジェクトである物体の具体的な構成に対応しているわけではない。視覚的特徴が類似する領域は、オブジェクト全体を色やエッジにより分割することによって得られる。すなわち、視覚的特徴が類似する領域は、色分けされた領域の境界でオブジェクト全体を分割したり、オブジェクト内におけるエッジを境界として画像を分割したりすることにより得られる。また、撮影される物体が部品Ａ，Ｂを備えていても、撮影により得られたオブジェクトの全体像において、部品Ａ，Ｂの境界となるエッジがなく、部品Ａ，Ｂの色が同一ならば、部品Ａ，Ｂに相当する領域は１つのパーツとなる。記憶部２には、画像中に特定のオブジェクトに類似する領域が存在するか否かを判定する前に、事前に全体特徴量３１および部分特徴量３２を記憶する。記憶部２に全体特徴量３１および部分特徴量３２を記憶させる動作については、後述する。【００２８】
また、記憶部２は、画像中に類似する領域が存在するか否かを判定される特定のオブジェクトに関して、全体特徴量３１および部分特徴量３２を記憶していればよい。例えば、本実施形態によるオブジェクト認識装置が、画像の中にタワー（塔）に類似する領域が存在している場合に、画像の中からその領域を抽出するものとする。すなわち、タワーに類似する領域が抽出対象となる領域であるとする。この場合、記憶部２は、タワーオブジェクト全体の視覚的特徴量３１と、タワーオブジェクトを構成する各部分（各パーツ）の部分特徴量３２とを記憶する。【００２９】
図２は、全体を示すオブジェクト（全体オブジェクト）と、全体オブジェクトを構成する各パーツを示す説明図である。図２（ａ）では、全体オブジェクトとしてタワー全体を示すオブジェクトを例示している。また、図２（ｂ）に示す４つのパーツは、図２（ａ）に示す全体オブジェクトを視覚的特徴により分割して得られる各部分である（本例では、境界を示すエッジで分割した場合を示す）。タワーに類似する領域が抽出対象となる領域である場合、記憶部２は、図２（ａ）に例示するタワーの全体オブジェクトの視覚的特徴量（全体特徴量）３１と、図２（ｂ）に例示する各パーツの視覚的特徴量（部分特徴量）３２とを記憶する。【００３０】
また、オブジェクト認識装置が特定のオブジェクトに類似する領域を抽出する場合、記憶部２は、その特定のオブジェクトに関する１つの画像についての全体特徴量および部分特徴量だけを記憶するのではなく、その特定のオブジェクトに関する複数種類の画像についての全体特徴量および部分特徴量を記憶してもよい。例えば、タワーに類似する領域が抽出対象となる領域であるとする。このとき、記憶部２は、タワーを一方向から撮影して得られる全体オブジェクトおよびそのパーツの視覚的特徴量だけを記憶するのではなく、そのタワーを様々な方向から撮影して得られる各全体オブジェクトおよびそのパーツの視覚的特徴量を記憶してもよい。【００３１】
例えば、記憶部２に全体特徴量が記憶される全体オブジェクトのうち、ｊ番目の全体オブジェクトをＯｊのように表す。また、各全体オブジェクトは、パーツに分割されている。ｊ番目の全体オブジェクトのｋ番目のパーツを、例えば、Ｏｊｋのように表す。記憶部２は、全体オブジェクト毎に全体特徴量と部分特徴量とを対応付けて記憶して、部分特徴量から全体特徴量を参照可能とし、また、全体特徴量から部分特徴量を参照可能とする。すなわち、記憶部２は、全体オブジェクトの全体特徴量とその全体オブジェクトのパーツの部分特徴量との組を記憶する。また、記憶部２は、全体オブジェクトを構成するパーツ数（ｖとする）も記憶しておいてもよい。【００３２】
記憶部２が記憶する全体オブジェクトの視覚的特徴量およびパーツの視覚的特徴量は、辞書データとして参照される。【００３３】
部分照合部５は、記憶部２から部分特徴量３２を読み込み、その部分特徴量３２と、部分特徴量抽出部４によって抽出された分割領域の視覚的特徴量との類似性を判定する。類似性が基準よりも高い場合、視覚的特徴量と部分特徴量３２との類似性が高いと判定された分割領域を表す情報を、組み合わせ部６に出力する。【００３４】
類似の度合いを数値化して表した値を類似度と記す。本実施形態では、類似度の値が小さいほど類似性が高いことになる。よって、類似度が閾値以下である場合に、類似性が基準よりも高いことになる。類似度の計算方法については、後述する。【００３５】
組み合わせ部６は、部分照合部５から入力される分割領域を表す情報に基づいて、分割領域を組み合わせる。この組み合わせによって得られる領域を結合領域と記す。【００３６】
全体特徴量抽出部７は、結合領域における視覚的特徴量を抽出する。【００３７】
全体照合部８は、記憶部２から全体特徴量３１を読み込み、その全体特徴量３１と、全体特徴量抽出部７によって抽出された結合領域の視覚的特徴量との類似性を判定する。そして、全体特徴量３１との類似性が最も高い分割領域の組み合わせ（結合領域）を特定する。なお、本実施形態では、類似の度合いを数値化した類似度が小さいほど類似性が高いことになる。そのため、全体照合部８は、類似の度合いを数値化した類似度が最も小さい分割領域の組み合わせ（結合領域）を特定することになる。【００３８】
判定部９は、類似性が最も高いと判定された結合領域と全体特徴量３１との類似性の高さが基準よりも高ければ（類似の度合いを数値化した類似度が閾値以下であるならば）、その結合領域を画像から抽出された領域とする。【００３９】
また、本実施形態によるオブジェクト認識装置は、その結合領域を出力する出力部（図示せず）を備えていてもよい。出力部は、例えば、ディスプレイ装置であり、全体オブジェクトに類似する結合領域を表示する。図１に示すオブジェクト認識装置の構成要素のいずれか（例えば、全体照合部８）が、特定のオブジェクトに類似する領域であって画像から抽出された領域として、結合領域を出力装置に表示出力させる。【００４０】
領域分割部３、部分特徴量抽出部４、部分照合部５、組み合わせ部６、全体特徴量抽出部７、全体照合部８、判定部９は、プログラムに従って動作するコンピュータであってもよい。また、領域分割部３、部分特徴量抽出部４、部分照合部５、組み合わせ部６、全体特徴量抽出部７、全体照合部８、判定部９が、プログラムに従って動作する１台のコンピュータによって実現されてもよい。プログラムは、コンピュータが備える記憶装置に記憶され、コンピュータは、そのプログラムを読み込んで動作する。【００４１】
次に、動作について説明する。【００４２】
以下の説明では、オブジェクト認識装置が、画像の中にタワーに類似する領域が存在している場合に、画像の中からその領域を抽出するものとする。すなわち、タワーに類似する領域が抽出対象となる領域であるとする。そして、記憶装置２には、複数のタワーのオブジェクトに関する情報（例えば、同一のタワーを異なる角度から撮影することによって得られたオブジェクトの全体特徴量および部分特徴量）を記憶しているものとする。記憶部２は、各タワーオブジェクト全体の全体特徴量と、各タワーオブジェクトの各パーツの部分特徴量とを記憶する。【００４３】
視覚的特徴量が全体特徴量３１として記憶部２に記憶されているタワーオブジェクトをＴＯｊとする。ここで、ｊは、ｊ番目のタワーオブジェクトであることを表す添え字である。また、１つのタワーオブジェクトＴＯｊ全体の全体特徴量をＴＯＰｊと表すことにする。タワーオブジェクトの種類がＫ種類である場合、記憶部２には、各全体特徴量ＴＯＰｊ（ｊ＝１〜Ｋ）が記憶される。また、パーツの総数がＮであり、各パーツをＴＰｊ（ｊ＝１〜Ｎ）と表すこととする。そして、パーツＴＰｊの視覚的特徴量をＦＴＰｊと表すことにする。記憶部２には、各部分特徴量ＦＴＰｊ（ｊ＝１〜Ｎ）が記憶される。【００４４】
図３および図４は、本実施形態によるオブジェクト認識装置の動作の例を示すフローチャートである。【００４５】
まず、画像取得部１は、画像を撮影し、撮影した画像を領域分割部３に出力する（ステップＳ１）。【００４６】
続いて、領域分割部３は、画像取得部１から入力された画像に対して色やエッジによって領域分割（セグメンテーション）を行う（ステップＳ２）。例えば、領域分割部３は、色分けされた領域の境界で画像を分割したり、画像内におけるエッジを境界として画像を分割したりする。このように分割するということは、領域分割部３が、入力された画像を、視覚的特徴が類似する領域毎に分割することを意味する。領域分割部３は、非特許文献１に記載された方法（色、エッジ、境界の複雑度を利用して行うセグメンテーション方法）で領域分割を行ってもよい。【００４７】
画像がｐ個の分割領域に分割された場合、各分割領域をＲｉ（ｉ＝１〜ｐ）とする。【００４８】
図５は、領域分割の例を示す説明図である。画像取得部１が図５（ａ）に例示する画像を撮影し、画像取得部１から領域分割部３に対し、図５（ａ）に示す画像を入力したとする。領域分割部３は、色分けされた領域の境界で画像を分割したり、画像内におけるエッジを境界として画像を分割したりする。図５（ｂ）は、この結果得られた各分割領域Ｒｉ（ｉ＝１〜１０）を表している。領域分割部３は、領域分割によって得た各分割領域を部分特徴量抽出部４および組み合わせ部６に送る。【００４９】
部分特徴量抽出部４は、１つの分割領域を選択して、その分割領域の視覚的特徴量を抽出する（ステップＳ３）。既に説明したように、視覚的特徴量として、例えば、色の特徴量、模様の特徴量、形状の特徴量等が挙げられる。【００５０】
色の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の色の特徴（ドミナント・カラーやカラー・レイアウト）がある。部分特徴量抽出部４は、非特許文献２に記載された方法で、色の特徴量を求めればよい。例えば、部分特徴量抽出部４は、選択した分割領域における最も支配的な色のＲＧＢ値（０〜２２５の範囲の値）を抽出し、その値を色の特徴量とすればよい。【００５１】
模様の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の模様の特徴（エッジ・ヒストグラム）がある。部分特徴量抽出部４は、非特許文献２に記載された方法で、模様の特徴量を求めればよい。例えば、部分特徴量抽出部４は、選択した分割領域で、縦、横、斜め、その他の成分がどの程度含まれているかを数値化し、その数値を模様の特徴量とすればよい。【００５２】
形状の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の形状の特徴（リージョン・ベースド形状記述子）がある。部分特徴量抽出部４は、非特許文献３に記載された方法で、形状の特徴量を求めればよい。例えば、以下に示すように、形状の特徴量を求めればよい。部分特徴量抽出部４は、選択した領域の横方向の幅を、分割領域上部から分割領域下部にかけて算出する。すなわち、分割領域上部における横方向の幅を求め、さらに少し縦方向に下がった位置での横方向の幅を求めることを繰り返す。同様に、部分特徴量抽出部４は、選択した領域の縦方向の高さを、分割領域左側から分割領域右側にかけて算出する。すなわち、分割領域の左側における縦方向の高さを求め、さらに少し右方向にずらした位置での縦方向の高さを求めることを繰り返す。【００５３】
部分特徴量抽出部４は、分割領域における色、模様、形状の特徴量の一部または全部を抽出してもよいし、他の要素の特徴量を抽出してもよい。また、ステップＳ３において、部分特徴量抽出部４は、色、模様、形状の特徴量の一部または全部をベクトルの要素として、視覚的特徴量をベクトルとして求める。ベクトルの要素として、色、模様、形状以外の要素の特徴量が含まれていてもよい。分割領域Ｒｉにおける視覚的特徴量をＦＲｉとすると、部分特徴量抽出部４は、分割領域Ｒｉの視覚的特徴量を、例えば、ＦＲｉ＝（ドミナント・カラー，カラー・レイアウト，エッジ・ヒストグラム，リージョン・ベースド形状記述子，・・・）等のベクトルとして求めればよい。【００５４】
部分特徴量抽出部４は、色の特徴量、模様の特徴量、形状の特徴量のうち少なくとも１つ（あるいは、色の特徴量、模様の特徴量のうち少なくとも１つ）を含むベクトルとして視覚的特徴量を求める。【００５５】
なお、記憶部２も、視覚的特徴量（全体特徴量３１，部分特徴量３２）を上述のようなベクトルとして記憶する。【００５６】
ステップＳ３の後、部分照合部５は、１つのパーツの視覚的特徴量（部分特徴量）を記憶部２から読み込む（ステップＳ４）。ここでは、部分照合部５は、１つのパーツの色に関する特徴量や模様に関する特徴量を読み込み、その特徴量を用いてステップＳ５での類似度算出を行うとよい。また、部分照合部５は、色に関する特徴量と模様に関する特徴量のうち少なくとも１つを読み込み、その特徴量を用いてステップＳ５での類似度算出を行うとよい。色に関する特徴量と模様に関する特徴量のうちの少なくとも１つを読み込んで類似度算出を行うというのは、好ましい一例であり、類似度算出の態様はそのような態様に限定されるわけではない。【００５７】
続いて、部分照合部５は、ステップＳ３で選択した分割領域（Ｒｉとする）の視覚的特徴量ＦＲｉと、ステップＳ４で記憶部２から読み込んだ１つのパーツ（ＴＰｊとする）の視覚的特徴量ＦＴＰｊとの類似度を算出する（ステップＳ５）。分割領域Ｒｉの視覚的特徴量ＦＲｉとパーツＴＰｊの視覚的特徴量ＦＴＰｊとの類似度をＳｉｊと表すものとする。【００５８】
類似度Ｓｉｊは、視覚的特徴間の距離として表すことができる。すなわち、各特徴を表す数値の差分の二乗和の平方根を類似度（特徴間の距離）として表すことができる。例えば、色の特徴に関して、ある色の特徴Ａが（Ｒ＝１，Ｇ＝４，Ｂ＝２）と表され、他の色の特徴Ｂが（Ｒ＝５，Ｇ＝２，Ｂ＝０）と表されているとする。この場合、視覚的特徴の類似度（本例では色の特徴の類似度）は、各ＲＧＢ値の差分の二乗和の平方根を計算することにより得られる。すなわち、以下のように類似度を計算することができる。【００５９】
【数１】
0004683238.tif 000002
【００６０】
ここでは、視覚的特徴が色の特徴である場合を示したが、他の場合に関しても、同様に、各特徴を表す数値の差分の二乗和の平方根を類似度として計算することができる。【００６１】
ステップＳ５において、部分照合部５は、各特徴を表す数値の差分の二乗和の平方根を計算することによって、Ｓｉｊを求めればよい。このように求めた類似度Ｓｉｊは、値が小さいほど、類似性が高いことを表す。【００６２】
続いて、部分照合部５は、ステップＳ５で求めた類似度Ｓｉｊが予め定められた閾値（Ｔｈ１と記す）以下であるか否かの判定する（ステップＳ６）。Ｓｉｊが、閾値Ｔｈ１以下であれば、類似性を求めた２つの視覚的特徴量の類似性が基準より高いことになる。また、Ｓｉｊが、閾値Ｔｈ１よりも大きな値であれば、類似性が基準よりも低いことになる。【００６３】
閾値Ｔｈ１は、例えば、以下のように定めればよい。記憶部２に記憶されている各パーツの視覚的特徴量の全ての組み合わせについて視覚的特徴量の類似度を算出し、その類似度の平均値または最大値を閾値として定めればよい。記憶部２に記憶されている各パーツの視覚的特徴量の全ての組み合わせについて視覚的特徴量の類似度を算出し、その最大値を閾値Ｔｈ１と定める場合には、類似性の高さの判定基準が低くなる。その結果、後述するステップＳ７に移行しやすくなり、後述する組み合わせ処理（ステップＳ１１）における組み合わせ候補となる領域の漏れを少なくすることができる。【００６４】
類似度Ｓｉｊが閾値Ｔｈ１以下であれば（ステップＳ６のＹ）、部分照合部５は、ステップＳ３で選択された領域をパーツの領域の候補と判定する（ステップＳ７）。部分照合部５は、候補とした領域の情報を組み合わせ部６に送る。ステップＳ７で、パーツの領域の候補とされた領域は、後述するステップＳ１１における領域の組み合わせに用いられる。ステップＳ７の後、ステップＳ８に移行する。【００６５】
類似度Ｓｉｊが閾値Ｔｈ１よりも大きければ（ステップＳ６のＮ）、ステップＳ７の処理を行うことなく、ステップＳ８に移行する。【００６６】
ステップＳ８では、部分照合部５は、ステップＳ３で選択された領域の視覚的特徴量について、記憶装置２に記憶された全てのパーツの視覚的特徴量との照合（類似度の算出）を行ったか否かを判定する。記憶装置２に記憶された全てのパーツの視覚的特徴量との照合が完了していなければ（ステップＳ８のＮ）、ステップＳ４に移行して、ステップＳ４以降の処理を繰り返す。記憶装置２に記憶された全てのパーツの視覚的特徴量との照合が完了しているならば（ステップＳ８のＹ）、ステップＳ９に移行する。【００６７】
ステップＳ９では、部分照合部５は、全ての分割領域がステップＳ３で選択され、各分割領域について、ステップＳ８で全てのパーツの視覚的特徴量との照合（類似度の算出）が完了済みであると判定されているか否かを判定する。全ての分割領域がステップＳ３で選択され、各分割領域について、ステップＳ８で全てのパーツの視覚的特徴量との照合（類似度の算出）が完了済みであると判定されていると判定したならば（ステップＳ９のＹ）、ステップＳ１０に移行する。そうでなければ（ステップＳ９のＮ）、ステップＳ３に移行し、ステップＳ３以降の処理を繰り返す。【００６８】
図６は、パーツの領域の候補とされた分割領域の例を示す説明図である。以下、ステップＳ１０に移行した時点で、その以前に実行されたステップＳ７の処理で、図６に例示するＲ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ１０がパーツの領域の候補として判定され、その各候補領域の情報が部分照合部５から組み合わせ部６に送られていたものとして説明する。【００６９】
ステップＳ１０では、全体照合部８は、１つのタワーオブジェクト全体の視覚的特徴量（全体特徴量）を記憶部２から読み込む。ステップＳ１０で全体照合部８が読み込んだ１つのタワーオブジェクト全体の視覚的特徴量をＴＯＰｊとする。【００７０】
続いて、組み合わせ部６は、パーツの領域の候補として判定された分割領域（以下、候補領域と記す）を組み合わせ、結合領域を生成する（ステップＳ１１）。組み合わせ部６には、領域分割部３から各分割領域が入力されている。また、パーツの領域の候補とされた候補領域を示す情報（本例では、各領域Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ１０を示す情報）が部分照合部５から入力されている。従って、組み合わせ部６は、領域分割部３から入力された情報が示す分割領域を組み合わせて結合領域を生成することができる。ただし、パーツの領域の候補とされた候補領域のうち、組み合わせる候補領域の数は任意であり、１つの候補領域を１つの結合領域としてもよい。すなわち、候補領域の数をＭとすると、組み合わせに用いる候補領域の数は、１〜Ｍの値となる。Ｍ個の候補領域の任意の組み合わせ総数は、Ｍ個の候補領域の中からｉ個の候補領域を取り出す場合の組み合わせ数をｉが１の場合からＭの場合までそれぞれ算出し、その和を計算することによって求められる。よって、Ｍ個の候補領域の任意の組み合わせ総数は、以下のようになる。【００７１】
【数２】
0004683238.tif 000003
【００７２】
組み合わせ部６は、ステップＳ１１で１つの組（候補領域の組）から結合領域を生成し、後述のステップＳ１２，Ｓ１３の処理を行い、未だステップＳ１１以降の処理が行われていない候補領域の組があれば、その組のうちの１つから結合領域を生成し（ステップＳ１１）、ステップＳ１１以降の処理を繰り返す。そのため、上記のようにＭ個の候補領域の任意の組み合わせのそれぞれについて、ステップＳ１１〜Ｓ１３の処理を行ってもよいが、候補領域の組み合わせ総数をより少なくすることが好ましい。【００７３】
そこで、例えば、ステップＳ１０で読み込まれた全体特徴量に対応する１つのタワーオブジェクトのパーツ数をｖとしたときに、Ｍ個の候補領域のうちｖ個の候補領域を組み合わせて結合領域を生成してもよい。なお、１つのタワーオブジェクトの全体特徴量に対応付けて、そのタワーオブジェクトの各パーツの視覚的特徴量が記憶されているので、その各パーツの視覚的特徴量の数がｖとなる。また、記憶部２は、ｖの値を、全体特徴量およびその全体特徴量に対応する部分特徴量とともに記憶しておいてもよい。Ｍ個の候補領域のうちのｖ個の候補領域の組み合わせの総数は、ＭＣｖとなり、Ｍ個の候補領域の任意の組み合わせ総数よりも少なくすることができる。すなわち、ｖ個以外の個数で候補領域を組み合わせることがなくなるので、組み合わせ総数を少なくすることができる。【００７４】
また、記憶装置２に全体特徴量が記憶されている各タワーオブジェクトのパーツ数の平均値をｗとしたときに、Ｍ個の候補領域のうちｗ個の候補領域を組み合わせて結合領域を生成してもよい。なお、１つのタワーオブジェクトの全体特徴量に対応付けて、そのタワーオブジェクトの各パーツの視覚的特徴量が記憶されている。そのため、上記の平均値ｗは、個々のタワーオブジェクトの全体特徴量に対応するパーツの視覚的特徴量の数の平均値となる。Ｍ個の候補領域のうちのｗ個の候補領域の組み合わせの総数は、ＭＣｗとなり、Ｍ個の候補領域の任意の組み合わせ総数よりも少なくすることができる。【００７５】
このように、組み合わせ総数の数を少なくすることで、ステップＳ１１〜ステップＳ１３のループ処理の繰り返し数を少なくして、処理量を減少させることができる。【００７６】
組み合わせ部６は、ステップＳ１１で１つの組（候補領域の組）から結合領域を生成する。図７は、候補領域から生成される結合領域の例を示す説明図である。図７では、ステップＳ１１において、候補領域Ｒ４，Ｒ５，Ｒ６，Ｒ７の４つの候補領域を組み合わせた場合の例を示している。組み合わせ部６は、ステップＳ１１で、図７（ａ）に示す候補領域Ｒ４，Ｒ５，Ｒ６，Ｒ７を組み合わせて、図７（ｂ）に示す１つの結合領域を生成する。再度、ステップＳ１１に移行したときには、別の組（候補領域の組）で結合領域を生成する。【００７７】
組み合わせ部６は、生成した結合領域を全体特徴量抽出部７に出力する。【００７８】
全体特徴量抽出部７は、組み合わせ部６から入力された結合領域の視覚的特徴量を抽出する（ステップＳ１２）。ステップＳ１２での視覚的特徴量の抽出は、ステップＳ３において部分特徴量抽出部４が行う視覚的特徴量の抽出と同様に行えばよい。ステップＳ１２では、色に関する特徴量、模様に関する特徴量、形状に関する特徴量を算出して、それらの特徴量を用いて、ステップＳ１３における類似度算出処理を行うとよい。このとき、色に関する特徴量、模様に関する特徴量、形状に関する特徴量のうち少なくとも１つを算出して、その特徴量を用いてステップＳ１３での類似度算出を行うとよい。色に関する特徴量、模様に関する特徴量、形状に関する特徴量のうち少なくとも１つを算出して、その特徴量を用いて類似度算出を行うというのは、好ましい一例であり、類似度算出の態様はそのような態様に限定されるわけではない。全体特徴量抽出部７は、結合領域の視覚的特徴量を算出したならば、その視覚的特徴量を全体照合部８に出力する。【００７９】
全体照合部８は、全体特徴量抽出部７から入力された結合領域の視覚的特徴量と、ステップＳ１０で記憶部２から読み込んだ１つのタワーオブジェクト全体の視覚的特徴量との類似度を算出する（ステップＳ１３）。ステップＳ１３での類似度の算出は、ステップＳ５での類似度算出と同様に行えばよい。すなわち、結合領域の視覚的特徴量および記憶部２から読み込んだ１つのタワーオブジェクト全体の視覚的特徴量において、各特徴を表す数値の差分の二乗和の平方根を算出すればよい。【００８０】
次に、組み合わせ部６は、候補領域の全ての組み合わせについて、結合領域を生成し、ステップＳ１１〜Ｓ１３の処理を完了しているか否かを判定する（ステップＳ１４）。例えば、Ｍ個の候補領域の一部または全部を用いた全組み合わせについて結合領域を生成し、ステップＳ１１〜Ｓ１３の処理を完了しているか否かを判定する。また、Ｍ個の候補領域のうちｖ個の候補領域を組み合わせて結合領域を生成する場合には、ＭＣｖ種類の全ての組み合わせについて結合領域を生成し、ステップＳ１１〜Ｓ１３の処理を完了しているか否かを判定する。Ｍ個の候補領域のうちｗ個の候補領域を組み合わせて結合領域を生成する場合には、ＭＣｗ種類の全ての組み合わせについて結合領域を生成し、ステップＳ１１〜Ｓ１３の処理を完了しているか否かを判定する。【００８１】
未だステップＳ１１で選ばれていない候補領域の組が存在するならば（ステップＳ１４のＮ）、ステップＳ１１に移行し、そのような組の中から１つの組を選び、その組から結合領域を生成し、ステップＳ１１以降の処理を繰り返す。【００８２】
候補領域の全ての組み合わせについて結合領域を生成し、ステップＳ１１〜Ｓ１３の処理を完了していると判定されたならば（ステップＳ１４のＹ）、ステップＳ１５に移行する。【００８３】
ステップＳ１５では、全体照合部８は、ステップＳ１０で記憶部２から読み込まれたタワーオブジェクトの視覚的特徴量との類似性が最も高かった組み合わせを特定する（ステップＳ１５）。換言すれば、全体照合部８は、ステップＳ１０で記憶部２から読み込まれたタワーオブジェクトの視覚的特徴量との類似度（値）が最小であった結合領域を特定する（ステップＳ１５）。【００８４】
次に、全体照合部８は、記憶装置２に記憶されている全体オブジェクトの視覚的特徴量（全体特徴量）のうち、未だ類似度算出に用いられていない全体オブジェクトの視覚的特徴量が残っているか否かを判定する（ステップＳ１６）。未だ類似度算出に用いられていない全体オブジェクトの視覚的特徴量が残っているならば（ステップＳ１６のＹ）、ステップ１０に移行し、全体照合部８は、そのような全体オブジェクトの視覚的特徴量のうちの１つを読み込む。そして、ステップＳ１０以降の処理を繰り返す。【００８５】
未だ類似度算出に用いられていない全体オブジェクトの視覚的特徴量が残っていないならば（ステップＳ１６のＮ）、ステップＳ１７に移行する。ステップＳ１７では、全体照合部８は、それまでに実行したステップＳ１５で特定した各組み合わせ（結合領域）のうち、ステップＳ１０で記憶部２から読み込んだ視覚的特徴量（全体特徴量）との類似性が最も高い組み合わせを特定する（ステップＳ１７）。換言すれば、全体照合部１５は、それまでに実行したステップＳ１５で特定した結合領域のうち、ステップＳ１０で記憶部から読み込んだ視覚的特徴量との類似度（値）が最小であった結合領域を特定する（ステップＳ１７）。そして、全体照合部８は、その最小の類似度（すなわち、それまでに実行されたステップＳ１３で算出された類似度のうち最小の類似度）を判定部９に出力する。【００８６】
判定部９は、全体照合部８から入力された類似度（それまでに実行されたステップＳ１３で算出された類似度のうち最小の類似度）が、予め定められている閾値以下であるか否かを判定する（ステップＳ１８）。ステップＳ１８で用いられる閾値をＴｈ２とする。【００８７】
ステップＳ１８で用いられる閾値Ｔｈ２は、記憶部２に記憶されている各全体オブジェクトの視覚的特徴量（全体特徴量）同士の各組み合わせにおける類似度の平均および類似度の分散を用いて定めればよい。例えば、以下のように閾値Ｔｈ２を定めればよい。ただし、各全体オブジェクトの視覚的特徴量（全体特徴量）同士の各組み合わせにおける類似度の平均をＬとし、その類似度の分散をＤとする。【００８８】
【数３】
0004683238.tif 000004
【００８９】
すなわち、類似度の平均、分散の平方根のうち正の値それぞれに係数を乗じた値の和を閾値Ｔｈ２と定めればよい。分散の平方根のうち正の値である「√（Ｄ）」は、類似度の標準偏差である。従って、閾値Ｔｈ２は、類似度の平均および標準偏差を用いて定めているということもできる。全体オブジェクト同士の類似性は、パーツ同士の類似性と比較して、統計的に偏りがあると考えられる。従って、上記のように、類似度の平均および分散（または標準偏差）を用いて閾値を定めることにより、適切な基準として閾値を定めることができる。【００９０】
全体照合部８から入力された類似度が閾値Ｔｈ２以下であるならば、例えば、全体照合部８は、ステップＳ１７で特定された組み合わせ（結合領域）が、特定のオブジェクトに類似する領域であるものとして、その結合領域をディスプレイ装置等の出力部（図１において図示せず）に出力（表示）させる。このとき、そのオブジェクトの名称も出力部に出力させてもよい。本例では、タワーに類似する領域を抽出することが予め定められているので、「タワー」という名称を予め記憶部２に記憶させておき、その名称を領域とともに出力部に出力（表示）させてもよい。【００９１】
全体照合部８から入力された類似度が閾値Ｔｈ２よりも大きい値であるならば、特定のオブジェクトに類似する領域は、入力画像に含まれていないものとして、処理を終了する。【００９２】
なお、ここでは、オブジェクト認識装置が、画像の中にタワー（塔）に類似する領域が存在している場合に、画像の中からその領域を判定する場合について説明した。タワー以外のオブジェクトに関しても同様の処理を行う場合、そのオブジェクトについて、ステップＳ３以降の処理を同様に行えばよい。このように複数種類のオブジェクトの認識を行う場合には、オブジェクト毎に、記憶部２に全体特徴量３１および部分特徴量３２を記憶しておき、記憶部２に記憶された個々の全体特徴量や部分特徴量がどのオブジェクトの特徴量であるのか識別できるようにしておけばよい。例えば、タワーに関する全体特徴量および部分特徴量には、タワーに関する特徴量であることを示す識別情報を付し、「月」に関する全体特徴量および部分特徴量には、「月」に関する特徴量であることを示す識別情報を付しておけばよい。【００９３】
次に、記憶部２に全体特徴量３１および部分特徴量３２を記憶させる動作について説明する。記憶部２に全体特徴量３１および部分特徴量３２を記憶させる場合、まず、画像取得部１に、全体オブジェクトの画像が入力される。例えば、画像中にタワーに類似する領域が存在している場合に、画像の中からその領域を抽出するのであれば、タワー全体の画像が画像取得部１に入力される。【００９４】
全体特徴量抽出部７は、画像取得部１に入力された画像（全体オブジェクト）の視覚的特徴量を抽出する。この処理は、ステップＳ１２と同様に行えばよい。そして、全体特徴量抽出部７は、抽出した視覚的特徴量を全体オブジェクトの全体特徴量として記憶部２に記憶させる。【００９５】
また、領域分割部３は、画像取得部１に入力された画像における全体オブジェクトを分割領域に分割する。この処理は、ステップＳ２と同様に行えばよい。すなわち、領域分割部３は、色やエッジにより全体オブジェクトを複数の領域に分割する。【００９６】
部分特徴量抽出部４は、分割された各領域（パーツ）毎に、視覚的特徴量を抽出する。この処理は、ステップＳ３と同様に行えばよい。そして、部分特徴量抽出部４は、各分割領域の視覚的特徴量を部分特徴量として記憶部２に記憶させる。【００９７】
また、入力された画像を分割領域に分割し、その中から全体オブジェクトを構成するパーツ（分割領域）の選択をオペレータに促してもよい。この場合、全体オブジェクトを含んだ画像が画像取得部１に入力される（または、全体オブジェクトを含む画像を画像取得部１が撮影する）。画像分割部３には、画像取得部３からその画像が入力される。そして、画像分割部３は、入力された画像に対して、ステップＳ２と同様に領域分割を行う。さらに、画像分割部３は、ディスプレイ装置等の出力部（図示せず）に各分割領域を表示して、オペレータに、全体オブジェクトを構成する分割領域の選択を促す。【００９８】
オペレータによって全体オブジェクトを構成する分割領域が選択されると、組み合わせ部６は、選択された各分割領域からなる結合領域を生成し、全体特徴量抽出部７は、その結合領域における視覚的特徴量をステップＳ１２と同様に抽出する。そして、全体特徴量抽出部７は、その視覚的特徴量を全体特徴量として記憶部２に記憶させる。【００９９】
また、部分特徴量抽出部４は、オペレータによって選択された個々の分割領域における視覚的特徴量をそれぞれステップＳ３と同様に抽出し、抽出したそれぞれの視覚的特徴量を部分特徴量として記憶部２に記憶させる。【０１００】
本実施形態によれば、記憶部２が、オブジェクト全体の視覚的特徴量と、そのオブジェクトを視覚的特徴が類似する領域毎に分割したパーツの視覚的特徴とを記憶する。そして、入力された画像を色やエッジにより分割し、パーツとの視覚的特徴が類似する分割領域を抽出する。そして、その分割領域の組み合わせにおける視覚的特徴量と、オブジェクト全体の視覚的特徴量とが類似するならば、その組み合わせの領域をオブジェクトに類似する領域とする。従って、特定のオブジェクトの有無が未知である画像であっても、画像の中にオブジェクトに類似する領域が存在していれば、そのオブジェクトに類似する領域を抽出することができる。【０１０１】
また、記憶部２が、オブジェクト全体の視覚的特徴量と、そのオブジェクトを視覚的特徴が類似する領域毎に分割したパーツの視覚的特徴とを記憶する。従って、例えば、特許文献３に記載された技術のように、目、鼻、口等のオブジェクトを構成する個々の要素毎の情報を個々に用意して記憶させる必要がない。従って、そのような構成要素に明確に分離できないオブジェクトであっても、視覚的特徴が類似する部分毎に視覚的特徴量を記憶しておけばよいので、認識対象とすることができる。
【図１】
0004683238.tif 000005
【図２】
0004683238.tif 000006
【図３】
0004683238.tif 000007
【図４】
0004683238.tif 000008
【図５】
0004683238.tif 000009
【図６】
0004683238.tif 000010
【図７】
0004683238.tif 000011