(57)【要約】物体形状認識方法において、物体形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現し、当該特徴量の値に基づいて輪郭を分割する分割点を定める。これにより、幾何変換に対してロバストな物体形状の輪郭分割方法を提供する。
2012090645.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる物体の形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現するステップと、
上記特徴量の値に基づいて前記輪郭を分割する分割点を定めるステップと、
を含むことを特徴とする物体形状認識方法。
【請求項２】
前記特徴量は、アフィン弧長であることを特徴とする請求項１に記載の物体形状認識方法。
【請求項３】
前記特徴量の値が指定された値と等しい点を前記分割点と定めることを特徴とする請求項１または２に記載の物体形状認識方法。
【請求項４】
前記特徴量の値が臨界点となる点を前記分割点と定めることを特徴とする請求項１または２に記載の物体形状認識方法。
【請求項５】
画像に含まれる物体の形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現する輪郭情報表現手段と、
上記特徴量の値に基づいて前記輪郭を分割する分割点を定める輪郭分割点検出手段と、
を備えることを特徴とする物体形状認識システム。
【請求項６】
前記特徴量は、アフィン弧長であることを特徴とする請求項５に記載の物体形状認識システム。
【請求項７】
前記輪郭分割点検出手段は、前記特徴量の値が指定された値に等しい点を前記分割点として定めることを特徴とする請求項５または６に記載の物体形状認識システム。
【請求項８】
前記輪郭分割点検出手段は、前記特徴量の値が臨界点となる点を前記分割点として定めることを特徴とする請求項５または６に記載の物体形状認識システム。
【請求項９】
画像に含まれる物体の形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現するステップと、
上記特徴量の値に基づいて前記輪郭を分割する分割点を定めるステップと、
をコンピュータに実行させるプログラムを記録した不揮発性情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる物体の形状を認識する物体形状認識方法、物体形状認識システム及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識への期待が高まっている。一般物体認識は、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を有している。
物体認識に関する技術は、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらはすべて特殊な用途に限定されていた。ある一つの対象に特化した認識技術は、別の用途に利用しようとした際に、途端に認識率が下がるなどの問題が指摘されており、一般的な物体のパターン認識を行う技術の開発が期待されている。一般物体へのパターン認識技術として、非特許文献１に示される、画像の局所的な強度勾配を集積したヒストグラムを用いたＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）という特徴量が広く認知されている。本技術を利用することによって、幾何変換や遮蔽を伴う同一画像を、同一であると認識することが可能である。しかしながら、本技術は二つの画像が同一であるか否かを判断するためのものであり、類似する二つの画像に対して、どの程度似ているのか、また、どういったカテゴリー（動物、植物、構造物など）に属するのかについての情報を与えることができない。これは、画像の局所的な強度勾配を集積したヒストグラムという画像そのものの特徴量を利用しており、本特徴量の類似度合いが、画像に含まれる物体の形状そのものの類似度合いと、必ずしも相関するとは限らないことが原因と考えられる。つまり、これは物体の形状ではなく、画像自体を扱っていることに起因する問題である。
不特定な物体を認識、検索するには、画像自体の特徴を捉えるより、物体の形状（輪郭）を捉える方が有効と考えられる。また、物体の形状（輪郭）は、分割して扱うほうがよい。なぜならば、物体が部分的に遮蔽物に隠れており、その物体の輪郭が一部しか見えないときであっても、輪郭を分割して認識できるならば、その物体を認識できるからである。
物体の輪郭を分割して認識する方法として、非特許文献２に示される方法がよく知られている。この方法は、画像輪郭を段階的に平滑化し、それぞれ平滑化段階での輪郭の変曲点の位置をＣＳＳ（Ｃｕｒｖａｔｕｒｅ  Ｓｃａｌｅ  Ｓｐａｃｅ）という表現方法で表現する。本技術は、物体形状の輪郭の変曲点という、物体の形状そのものに関する特徴量を利用しているため、幾何変換を伴う同一画像や、輪郭が類似する画像を、同一である、または類似すると認識することが可能である。本技術は、物体形状の輪郭を変曲点という特徴量に基づいて分割し、分割されたそれぞれの輪郭（以降分割輪郭と表記）を、輪郭長さという特徴量に基づいてパターン認識を行う方法であると考えることができる。このため、物体全体の情報がなく、一部の情報が欠けていても、残りの輪郭を利用してパターン認識を行うことができる。また、必ずしも物体全体の形状が一致していなくとも、輪郭長さが長いなどの特徴的な分割輪郭を中心としてパターン認識を行うことによって、新しく目にする物体が、既に学習済みのどの物体とどの程度一致しているかの類似度を算出することが可能となる。このように、本技術を応用し、物体形状の輪郭を変曲点という特徴量に基づいて分割し、分割されたそれぞれの分割輪郭を特徴量に基づいてパターン認識するという方法を用いることによって、物体全体の情報がない場合にも物体の類似度を算出することができる。本技術は輪郭を変曲点という特徴量に基づいた特徴付けを行っており、変曲点はユークリッド幾何変換を含む射影変換に対して不変の特徴量であるため、幾何変換に対してロバストなパターン認識を提供することができる。しかしながら、本方法は、変曲点を持たない、或いは少数しか持たない物体、すなわち凹凸の少ない物体の輪郭を分割することが困難であるという問題点を有する。つまり、この方法には、凹凸の少ない物体の形状を認識することが困難であるという問題点がある。
本問題点に対し、特許文献１に示される方法は、曲率の臨界点という特徴量に基づいた輪郭の特徴付けを行っている。このため、変曲点を持たない、或いは少数しか持たない物体の形状に対しても、輪郭の分割を行うことが可能となる。しかしながら、曲率の臨界点はユークリッド幾何変換不変のみを保証する特徴量であるため、せん断変換などの幾何変換に対するロバスト性を保証しない。図１１に示されるように、ユークリッド幾何変換は回転、平行移動という二つの幾何変換に限られるため、一般的な物体の認識には、相似変換やせん断変換に対してもロバストな特徴量が必要とされる。
なお、特許文献２には、輪郭線を分割する際に利用される特徴点として、分岐点、変曲点、屈曲点、遷移点を利用できることが記載されている。しかしながら、これらの特徴点は、上述したような問題点を有する。
また、特許文献３には、テクスチャの少ない物体の認識処理において、遮蔽や回転に対してロバストな方法が提案されている。しかしながら、この方法においても、遮蔽や回転以外の幾何変換に対してはロバスト性が保証されるものではない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−８２１４８号公報
【特許文献２】特開平１０−２０６１３５号公報
【特許文献３】特開２００８−０７７６２６号公報
【非特許文献】
【０００４】
【非特許文献１】Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ，″Ｏｂｊｅｃｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  Ｌｏｃａｌ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅｓ″，Ｐｒｏｃ．ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｐｐ．１１５０−１１５７
【非特許文献２】ＦＡＲＺＩＮ  ＭＯＫＨＴＡＲＩＡＮ  ＡＮＤ  ＡＬＡＮ  ＭＡＣＫＷＯＲＴＨ，″Ｓｃａｌｅ−ｂａｓｅｄ  ｄｅｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  Ｐｌａｎａｒ  Ｃｕｒｖｅｓ  ａｎｄ  Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｓｈａｐｅｓ″，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｖｏｌ．８，Ｎｏ．１  ｐｐ．３４−４３
【発明の概要】
【０００５】
上述したように、一般的な物体の認識には、非特許文献１に記載されるような物体を画像として認識する方法よりも、非特許文献２に記載されるような物体の形状を認識する方法の方が有利である。物体の形状の類似度合いを算出することが可能で、より人間の認識に近い認識結果を得ることができると考えられるからである。
しかしながら、非特許文献２に記載された方法は、変曲点の少ない物体、すなわち凹凸の少ない物体を分割し、特徴付けるということが困難であるという問題点がある。また、特許文献１に記載された方法は、ユークリッド幾何変換の枠組みを超過する幾何変換に対してロバストではない、という問題点がある。さらに、特許文献２や３に記載された方法も、上記問題点を解決したものではない。
一般的な物体の認識を可能とし、さらに検索に利用できるようにするためには、どのような形状の物体（凹凸の少ない物体含む）に対しても幾何変換にロバストな輪郭分割を可能にする方法が必要である。
本発明は、上述した問題点を解決する物体形状認識方法を提供しようとするものである。
本発明の一側面に係る物体形状認識方法は、画像に含まれる物体の形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現するステップと、上記特徴量の値に基づいて前記輪郭を分割する分割点を定めるステップと、を含むことを特徴とする。
また、本発明の他の形態に係る物体形状認識システムは、前記形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現する輪郭情報表現手段と、上記特徴量の値に基づいて前記輪郭を分割する分割点を定める輪郭情報分割手段と、を備えることを特徴とする。
本発明のさらに他の側面に係るプログラムは、上述した物体形状認識方法をコンピュータに実行させることを特徴とする。
本発明によれば、輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現し、その特徴量の値に基づいて輪郭を分割する分割点を定めるようにしたことで、凹凸の多少に関わらず、また、アフィン幾何変換に対してロバストに、輪郭を分割することができる。その結果、分割輪郭を利用した物質の形状認識や検索が可能になる。
【図面の簡単な説明】
【０００６】
図１は、本発明の第１の実施の形態に係るパターン認識システムの概略構成を示すブロック図である。
図２は、図１の物体形状認識システムの動作の一例を説明するためのフローチャートである。
図３は、本発明の第２の実施の形態に係る物体形状認識システムの概略構成を示すブロック図である。
図４は、図３の物体形状認識システムの動作の一例を説明するためのフローチャートである。
図５は、認識対象の画像に含まれる物体の一例を示す図である。
図６は、図５に示す物体の形状（輪郭）のＣＳＳイメージを示す図である。
図７Ａ〜７Ｅは、ＣＳＳイメージを用いた類似判定が困難な物体形状の例をそれぞれ示す図である。
図８Ａ〜８Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状のＣＳＳイメージを示す図である。
図９Ａ〜９Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状を局所アフィン弧長を用いて表現した図である。
図１０Ａ〜１０Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状について、局所アフィン弧長の値が特徴的な点を分割点として検出し、ＣＳＳイメージと同様のイメージとして描いた図である。
図１１は、様々な幾何変換の相互の関係を示す図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る物体形状認識システムの概略構成を示すブロック図である。
図示の物体形状認識システムは、制御部１０と、メモリ２０と、画像情報取得部１０１と、輪郭抽出部１０２と、輪郭平滑化部１０３と、輪郭特徴量表現部１０４と、輪郭分割点検出部１０５と、輪郭分割点座標比較部１０６と、パターン出力部１０７と、輪郭分割点座標記憶部２０１とを有している。
制御部１０は、各部を制御して物体形状の認識及び検索を実現する。
メモリ２０は、制御部１０の制御の下、各部が所定の動作を行うために必要なプログラム、画像データ、画像データ処理によって生じる特徴量等の各種データを記憶する。
画像情報取得部１０１は、写真などの画像情報をユーザの操作に従い本システムに取り込む。画像情報は、デジタルカメラやスキャナ等の外部機器から取り込んでもよいし、メモリ２０に格納された画像情報を取り出すようにしてもよい。また、画像情報取得部１０１は、取り込んだ画像情報に対して、その後の処理を容易にするデータ処理、例えば白黒変換処理等、を行うものであってもよい。
輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から画像に含まれている物体の輪郭を表す輪郭情報を抽出する。輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から、例えば、色相・彩度・明度などが急激に変化する点を、ラプラシアン・ガウシアンフィルタなどを用いて抽出する。抽出されたそれぞれ点（輪郭点）は、直交座標系を用いて（ｘ，ｙ）などとして表現される。これらの点の座標の集合が物体の輪郭を表す輪郭情報を構成する。なお、輪郭抽出の方法は、上記のものに限られず、公知の様々な方法を用いることができる。
輪郭平滑化部１０３は、輪郭抽出部１０２によって抽出された輪郭情報に対して、例えばガウシアンフィルタによる畳み込みなどを利用した平滑化を行う。平滑化は多段階で行うことが望ましい。平滑化を多段階に行えば、類似判定や検索等を行う場合に類似度を各段階毎に求めることができる。
輪郭特徴量表現部１０４は、輪郭平滑化部１０３によって多段階に平滑化された各段階の輪郭情報を、アフィン幾何変換に対して不変となる特徴量によって表現する。即ち、輪郭特徴量表現部１０４は、輪郭情報表現手段として機能する。
アフィン幾何変換に対して不変となる特徴量としては、例えば、アフィン弧長がある。アフィン弧長を利用する場合、輪郭を微小区間に区切り、各微小区間についてアフィン弧長を求める。各微小区間について求めたアフィン弧長をここでは局所アフィン弧長と呼ぶ。微小区間の長さは、変曲点等を利用して分割される分割輪郭に比べて著しく短い。
輪郭分割点検出部１０５は、アフィン幾何変換に対して不変となる特徴量によって表現された輪郭情報から、特徴量の値が特徴的な値を取る微小区間を検出する。ここで、特徴的な値とは、ユーザによって任意に設定された値とすることができる。あるいは、臨界点など、特徴量の値そのものから定まる値であってもよい。
次に、輪郭分割点検出部１０５は、特定した微小区間を代表する点（任意に設定可能、たとえば中点）を輪郭分割点に定める。即ち、輪郭分割点検出部１０５は、輪郭分割点検出手段として機能する。それから、輪郭分割点検出部１０５は、輪郭分割点と定めた点の座標を検出する。ここでの座標は、画像情報取得部１０１によって取得された画像における直交座標系などで表現される座標であってよい。
輪郭分割点検出部１０５は、検出した輪郭分割点の座標を表す輪郭分割点座標情報を、輪郭分割点座標記憶部２０１に記憶させる。このとき、輪郭分割点座標記憶部２０１に記憶させる輪郭分割点座標情報には、元の画像情報との関連を示す名称等のタグが付される。また、その輪郭分割点に対応する輪郭の一部、例えば、隣接する分割輪郭、に関する情報、例えば、形状（曲がり具合）や長さなどの情報、を関連付けて記憶させるようにしてもよい。いずれにせよ、後に行われる類似判定や検索に必要とされる情報を付加しておく。なお、輪郭分割点座標記憶部２０１は、メモリ２０に含まれていてもよい。
輪郭分割点座標比較部１０６は、ユーザからの指示の下、輪郭分割点座標記憶部２０１に記憶されている２つ以上の物体形状に関する輪郭分割点座標情報を互いに比較する（類似判定）。あるいは、輪郭分割点座標比較部１０６は、輪郭分割点検出部１０５によって新たに検出された１つの物体形状に関する輪郭分割点座標情報と、輪郭分割点座標記憶部２０１に既に（若しくは予め）記憶されている１つ以上の物体形状に関する輪郭分割点座標情報とを比較する（検索）。比較は、各物体形状に関する輪郭分割点間の幾何学的距離関係等に基づいて、物体形状間の類似度を求めることにより行うことができる。類似度は、各物体形状に関するすべての輪郭分割点を利用して求めてもよいし、代表的な一つまたは複数の点を利用して求めてもよい。また、平滑化の各段階において類似度を求めるようにしてもよい。類似度を求める方法は、特に限定されず、公知の方法を利用することができる。
パターン出力部１０７は、輪郭分割点座標比較部１０６における比較結果を出力する。比較結果は、比較対象である２つの物体形状の類似判定結果や類似度、あるいは、１つの比較対象に最も類似すると判断された別の物体形状の分割点座標情報、若しくはその分割点座標情報に関連付けされた名称等のタグや輪郭情報あるいは画像情報を出力する。
次に、第１の実施の形態に係る物体形状認識システムの動作について、図１に加え図２を参照して説明する。
図２は、図１の物体形状認識システムの動作の一例を示すフローチャートである。ここでは、輪郭分割点座標記憶部２０１に格納された情報の中から、新たに取得した画像情報が示す物体の形状に最も類似する物体形状に関する情報を検索する場合について説明する。
まず、画像情報取得部１０１は、ユーザが指定する画像情報を取得する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に取得しても構わない。
次に、輪郭抽出部１０２は、画像情報取得部１０１が取得した画像情報から、画像に含まれる物体の輪郭を表す輪郭情報を抽出する（Ｓ１００２）。この輪郭情報の抽出は、予めユーザが設定した基準を満たすものを抽出するようにする。例えば、閾値以上の長さを持つ輪郭のみを抽出するようにすることができる。
次に、輪郭平滑化部１０３は、輪郭の平滑化を幾つかの段階で行う（Ｓ１００３）。
次に、輪郭特徴量表現部１０４は、輪郭平滑化部１０３によって平滑化された各段階の輪郭情報を、アフィン幾何変換に対して不変の特徴量を用いて表現する（Ｓ１００４）。ここでは、アフィン幾何変換に対して不変の特徴量として、局所アフィン弧長を利用するものとする。
次に、輪郭分割点検出部１０５は、局所アフィン弧長の値が特徴的な値を取る点を、輪郭分割点として特定する。さらに、輪郭分割点検出部１０５は、特定した輪郭分割点の座標を検出する（Ｓ１００５）。
次に、輪郭分割点座標比較部１０６は、輪郭分割点検出部１０５によって検出された輪郭分割点の座標を表す情報と、輪郭分割点座標記憶部２０１に予め記憶されている別の物体形状に関する輪郭分割点座標情報と比較する。そして、輪郭分割点座標比較部１０６は、輪郭分割点座標記憶部２０１に予め記憶されている輪郭分割点座標情報の中から、輪郭分割点検出部１０５によって検出された輪郭分割点の座標を表す情報に最も類似する情報を特定（検索）する（Ｓ１００６）。最も類似するものから順番に複数の情報を検索するようにしてもよい。この場合、予め設定した数の情報を検索するようにしてもよいし、予め設定した類似度を超える類似度を持つ情報を検索するようにしてもよい。
輪郭分割点座標比較部１０６は、検索した輪郭分割点座標情報、あるいは関連付けされた輪郭等の画像情報（類似パターン）や名称等のタグをパターン出力部１０７へ出力する。
パターン出力部１０７は、輪郭分割点座標比較部１０６からの比較結果（例えば、類似パターン）をディスプレイに表示させたり、印刷したりする（Ｓ１００７）。
以上のように本実施の形態に係る物体形状認識システムでは、輪郭情報を、一旦、アフィン幾何変換に不変の特徴量で表現し、その特徴量の値に基づいて分割点を定める。これにより、凹凸の少ない物体形状を含むどのような形状に対しても、その輪郭上に幾何変換にロバストな分割点を定めることができる。そして、これらの分割点を用いることで、幾何変換にロバストに物体形状の類似判定や検索を行うことができる。
［第２の実施の形態］
次に、本発明の第２の実施の形態に係る物体形状認識システムについて説明する。
図３は、本発明の第２の実施の形態に係る物体形状認識システムのブロック図である。図１のシステムと同一のものには同一の参照番号を付し、その説明を省略する。
図３のシステムが図１のシステムと異なる点は、輪郭分割点検出部１０５及び輪郭分割点座標比較部１０６に代えて、輪郭分割部１１１、分割輪郭特徴量検出部１１２及び分割輪郭特徴量比較部１１３を備えている点である。また、図３のシステムは、輪郭分割点座標記憶部２０１に代えて分割輪郭特徴量記憶部２１１を備えている。なお、図３のシステムは輪郭平滑化部１０３を備えていないが、備えていてもよい。また、制御部１０を含むいくつかの要素は、図１のものと異なる機能を有している。
輪郭分割部１１１は、輪郭分割点検出部１０５と同様にして輪郭分割点を定め、その座標を検出する。そして、検出した輪郭分割点で輪郭を一つ以上の分割輪郭に分割する。分割後の分割輪郭が分割前の輪郭全体と一致する場合（輪郭分割点が１つの場合）もあり得る。
分割輪郭特徴量検出部１１２は、輪郭分割部１１１によって分割された分割輪郭について、それぞれを特徴付ける特徴量を検出又は算出する。ここでの特徴量とは、分割輪郭のアフィン弧長やアフィン曲率など、アフィン幾何変換に対して不変の量を用いることができる。また、分割輪郭に含まれるユークリッド曲率の変曲点数などの射影変換不変の量を用いることができる。あるいは、これらの特徴量に限らず、他の特徴量を用いても構わない。こうして計算された分割輪郭の特徴量は、分割輪郭の属する形状、あるいは形状の名称などのタグと共に、分割輪郭特徴量記憶部２１１に記憶される。
分割輪郭特徴量比較部１１３は、分割輪郭特徴量記憶部２１１に記憶されている２つ以上の物体形状に関する分割輪郭特徴量を相互に比較する。あるいは、分割輪郭特徴量比較部１１３は、分割輪郭特徴量検出部１１２によって新たに計算された１つの物体形状に関する分割輪郭特徴量と、分割輪郭特徴量記憶部２１１に記憶されている１つ以上の物体形状に関する分割輪郭特徴量とを比較する。比較は、１つの物体形状に関して１つ以上の分割輪郭についての特徴量を用いればよい。必ずしも、１つの物体形状に関する全ての分割輪郭についての特徴量を用いる必要はない。１または限られた数の分割輪郭について特徴量を用いることで、遮蔽に対してロバストな物体形状認識を実現できる。即ち、一部が隠れている物体の形状についても類似判定等を行うことができる。
パターン出力部１０７は、分割輪郭特徴量比較部１１３による比較結果を出力する。比較結果は、例えば、１つの物体形状に最も類似すると判定された別の物体の形状、名称、タグ等を出力する。
次に、図３の物体形状認識システムの動作について、図４をも参照して説明する。ここでも、図２に示す例と同様に、分割輪郭特徴量記憶部２１１に格納された情報の中から、新たに取得した画像情報が示す物体の形状に最も類似する物体形状に関する情報を検索する場合について説明する。
輪郭分割点を決定するまでのステップ（Ｓ１００１〜１００４及びＳ２００１の途中まで）は、第１の実施の形態と同様である。ただし、本実施の形態では、段階的な平滑化処理（Ｓ１００３）を行っていないので、１つの物体形状につき１つの輪郭について輪郭分割点を決定する。
輪郭分割部１１１は、輪郭分割点検出部１０５と同様にして決定した輪郭分割点で、もとの輪郭を一以上の分割輪郭に分割する（Ｓ２００１）。
次に、分割輪郭特徴量検出部１１２は、分割されたそれぞれの分割輪郭について特徴量を検出または算出する（Ｓ２００２）。
次に、分割輪郭特徴量比較部１１３は、分割輪郭特徴量検出部１１２により検出または算出された各分割輪郭の特徴量を、分割輪郭特徴量記憶部２１１に格納された分割輪郭特徴量情報と比較（検索）する（Ｓ２００３）。比較は、一つの物体形状について、一つ以上の分割輪郭の特徴量を用いて行うことができる。即ち、一つの物体形状に関して複数の分割輪郭が存在する場合であっても、それら複数の分割輪郭の特徴量を全て用いる必要はない。検出精度や遮蔽を含む幾何変換への対応能力等に基づいて、比較に使用する分割輪郭の数を設定するようにしてよい。
比較の結果、分割輪郭特徴量記憶部２１１に、一致または近似する特徴量が存在する場合、その分割輪郭特徴量情報に関連付けされた画像情報、輪郭情報、若しくは名称等のタグが、パターン出力部１０７へ供給される。
次に、パターン出力部１０７は、分割輪郭特徴量比較手段１１３から供給された画像情報、輪郭情報、若しくは名称等のタグ等の情報を出力、即ち、ディスプレイに表示等する（Ｓ１００７）。
以上のように本実施の形態に係る物体形状認識システムでは、輪郭情報を、一旦、アフィン幾何変換に不変の特徴量で表現し、その特徴量の値に基づいて分割点を定める。そして、その分割点を利用して輪郭を１以上の分割輪郭に分割し、各分割輪郭について改めて特徴量を検出または算出する。これにより、凹凸の少ない物体形状を含むどのような形状に対しても、その輪郭上に幾何変換にロバストな分割点を定め、それらの分割点を利用して得た分割輪郭の一部または全部を利用して、幾何変換にロバストに物体形状の類似判定や検索を行うことができる。こうして、本実施の形態に係る物体形状認識システムでは、部分的に遮蔽された物体の形状についても類似判定や検索を行うことができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態に係る物体形状認識システムについて説明する。本実施の形態に係る物体形状認識システムは、第１の実施の形態に係るシステムと同様に構成される。ただし、輪郭分割点検出部１０５の動作が異なる。具体的には、輪郭分割点検出部１０５は、輪郭分割点の座標としてＣＳＳ（Ｃｕｒｖａｔｕｒｅ  Ｓｃａｌｅ  Ｓｐａｃｅ）空間における座標を検出する。
輪郭分割点検出部１０５が検出した分割点のＣＳＳ空間上における座標を表す輪郭分割点座標情報は、輪郭分割点座標記憶部２０１に記録される。
輪郭分割点座標比較部１０６は、分割点のＣＳＳ空間上における座標を表す輪郭分割点座標情報を用いて類似判定及び検索を行う。
本実施の形態に係る物体形状認識システムの動作は、上記の点を除いて、第１の実施の形態と同様である。
本実施の形態に係る物体形状認識システムによれば、従来のＣＳＳ空間を利用するパターン認識方法が有する以下の課題を解決することができる。
即ち、従来のＣＳＳ空間を利用する方法では、輪郭上の変曲点を分割点として検出する。この方法は、下記の数式（１）によって定義される曲率（ユークリッド曲率）κ（ｔ）を利用する。
2012090645.tif 000003
ここで、ｔは、輪郭上における任意の一点を始点として輪郭を一周するように取る
2012090645.tif 000004
上記数式（１）によって定義されたユークリッド曲率の値がゼロとなる点が変曲点、極値となる点が臨界点と定義される。これらの点を用いて、物体形状の輪郭を分割し、分割されたそれぞれの分割輪郭を、輪郭長さという特徴量によって表現する。さらに、この表現をＣＳＳ空間に変換することによって表現しなおす。図５に示す物体形状の輪郭をＣＳＳにより表現した例を図６に示す。
図６のＣＳＳの横軸は輪郭座標ｔ（輪郭上の位置）を表し、縦軸は輪郭形状を輪郭座標ｔに沿って平滑化した平滑化度合い（平滑化度）を表している。ＣＳＳ中の線図は、輪郭における変曲点の集合であると考えることができる。輪郭形状は、平滑化度合いが高くなるにしたがって徐々に変曲点の少ない形状となり、最終的に変曲点の数はゼロに収束する。このため、ＣＳＳ下方では、変曲点が多く確認できるが、ＣＳＳ上方へ向かうほど変曲点の数が減少し、最上部では変曲点は消滅する。
変曲点の座標は、背景技術の欄で述べたとおり幾何変換に対してロバストである。しかし、変曲点の座標を利用して分割された分割輪郭の特徴量を求め、その特徴量を用いたパターン認識は、凹凸の少ない図形に対して以下のような課題を持つ。
図７Ａ〜７Ｅは、凹凸が少ない輪郭形状であるが、人間であれば容易に差異が認識できる図形の例を示す図である。これらの図形を、ＣＳＳ空間上に表現すると（ＣＳＳイメージは）図８Ａ〜８Ｅのようになる。
図８Ａ〜８Ｅを見ると、ＣＳＳの下方に極めて小さな変曲点の集合の存在が認められる。しかしなら、これら図８Ａ〜８Ｅに対応する図形が似ているのか否か判断したり、類似度を求めたりすることは困難である。図８Ｄ及び図８Ｅには、それぞれ大きな変曲点の集合を一つ確認することができるので、これらのＣＳＳイメージに対応する図形は互いに類似するように思われる。しかし、これらのＣＳＳイメージに対応する図形は、一方は四角形に近く、他方は三角形に近い形状であって、互いに類似するとは言い難い。このように、従来のＣＳＳを用いる方法では、凹凸の少ない形状に対して、有効な類比判断ができないという課題がある。つまり、従来の技術では、凹凸の少ない図形を含むどんな図形に対しても効果的にＣＳＳ空間を描画する技術がないという課題がある。
こうした課題に対して、本実施の形態に係る物体形状認識システムは、以下のようにして解決策を与える。
上述したように、本実施の形態に係るシステムでは、輪郭形状を、これまで用いられていた曲率という特徴量ではなく、以下の数式（２）に示される（局所）アフィン弧長によって表現する。
2012090645.tif 000005
ついての一階微分及び二階微分を表す。
アフィン弧長は、輪郭座標ｔ上の区間（ｔ１，ｔ２）を定めることによって決定される。この区間（ｔ１，ｔ２）を微小区間にすることによって、それぞれの微小区間でのアフィン弧長、即ち局所アフィン弧長の値ｄｓを導出することができる。図７Ａ〜７Ｅに示す図形についてそれぞれ求めた局所アフィン長ｄｓの値を表すグラフを図９Ａ〜９Ｅにそれぞれ示す。
次に、これらの微小区間での局所アフィン弧長の値ｄｓが特徴的な点を検出し、輪郭分割点と定める。特徴的な点として、局所アフィン弧長の値ｄｓがユーザの指定した値に等しい点や、局所アフィン弧長の値ｄｓが極値を取る点、等を採用することができる。
図７Ａ〜７Ｅに示す各図形に関して、局所アフィン長ｄｓの値がユーザの指定する値に等しい点（ｄｓ＝−０．４）をＣＳＳ空間に表現した例を図１０Ａ〜１０Ｅにそれぞれ示す。図１０Ａ〜１０Ｅの各々において、複数の特徴的な点の集合が認められる。したがって、図７Ａ〜７Ｅに示すような凹凸の少ない図形に対しても、これらの特徴的な点を利用した分割が可能である。
以上のように、本実施の形態に係る物体形状認識システムによれば、凹凸の少ない物体の形状を含むどのような形状に対してもＣＳＳ空間を利用した幾何変換（遮蔽を含む）にロバストなパターン認識が可能になる。
この出願は、２０１０年１２月２８日に出願された日本出願特願２０１０−２９１６３１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０００８】
本発明は、一般的な画像や動画内での物体の認識に利用できる。また、本発明は、認識結果を利用した画像の検索や、画像の分類といった用途に適用可能である。
【図１】
2012090645.tif 000006
【図２】
2012090645.tif 000007
【図３】
2012090645.tif 000008
【図４】
2012090645.tif 000009
【図５】
2012090645.tif 000010
【図６】
2012090645.tif 000011
【図７Ａ】
2012090645.tif 000012
【図７Ｂ】
2012090645.tif 000013
【図７Ｃ】
2012090645.tif 000014
【図７Ｄ】
2012090645.tif 000015
【図７Ｅ】
2012090645.tif 000016
【図８Ａ】
2012090645.tif 000017
【図８Ｂ】
2012090645.tif 000018
【図８Ｃ】
2012090645.tif 000019
【図８Ｄ】
2012090645.tif 000020
【図８Ｅ】
2012090645.tif 000021
【図９Ａ】
2012090645.tif 000022
【図９Ｂ】
2012090645.tif 000023
【図９Ｃ】
2012090645.tif 000024
【図９Ｄ】
2012090645.tif 000025
【図９Ｅ】
2012090645.tif 000026
【図１０Ａ】
2012090645.tif 000027
【図１０Ｂ】
2012090645.tif 000028
【図１０Ｃ】
2012090645.tif 000029
【図１０Ｄ】
2012090645.tif 000030
【図１０Ｅ】
2012090645.tif 000031
【図１１】
2012090645.tif 000032
【国際調査報告】
2012090645.tif 000033
2012090645.tif 000034
2012090645.tif 000035