(57)【要約】【課題】画像内に含まれる複雑な形状を有する物体を、少ない計算量で精度よく認識することのできる画像認識技術を提供する。【解決手段】本発明に係る画像認識プログラムは、基本図形の組み合わせパターンによって定義される物体形状をあらかじめ定義しておき、画像内の基本図形を検出してその組み合わせパターンをあらかじめ定義しておいた組み合わせパターンと比較することにより、物体を認識する。【選択図】図１
2014026358.tif 000002
【特許請求の範囲】
【請求項１】
画像内の物体を認識する処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記画像を表した画像データを取得する画像入力ステップ、
前記画像内に存在する物体の形状を構成する２種類以上の基本図形を定義する基本図形データを取得するステップ、
前記画像内に含まれるエッジ部分を検出することにより前記画像内に存在する前記基本図形を検出する基本図形検出ステップ、
物体の形状を構成する前記基本図形の組み合わせパターンと前記物体の名称との間の対応関係を定義する物体構成図形データを取得するステップ、
前記基本図形検出ステップにおいて検出した前記基本図形の組み合わせパターンと、前記物体構成図形データが定義している組み合わせパターンとを比較することにより、前記画像内に存在する物体を特定する物体比較ステップ、
前記物体比較ステップにおいて特定した前記物体に対応する名称を前記物体構成図形データから読み出して出力する認識結果出力ステップ、
を実行させることを特徴とする画像認識プログラム。
【請求項２】
前記物体構成図形データは、
前記物体の形状内における前記基本図形の相対的な配置位置を定義しており、
前記物体比較ステップでは、前記コンピュータに、
前記基本図形検出ステップにおいて検出した前記基本図形相互の相対的な配置位置を判定する図形位置判定ステップを実行させ、
前記図形位置判定ステップにおいて判定した前記相対的な配置位置と、前記物体構成図形データが定義している前記物体の形状内における前記相対的な配置位置とを比較することにより、前記画像内に存在する物体を特定させる
ことを特徴とする請求項１記載の画像認識プログラム。
【請求項３】
前記基本図形検出ステップでは、前記コンピュータに、
頂点の個数が同じ図形は全て同じ前記基本図形であるものとして前記基本図形を検出させる
ことを特徴とする請求項１または２記載の画像認識プログラム。
【請求項４】
前記基本図形データは、
前記画像内に存在する２種類以上の基本色を定義しており、
前記物体構成図形データは、
前記物体の形状を構成する前記基本図形が有する前記基本色を定義しており、
前記基本図形検出ステップでは、前記コンピュータに、
前記画像内に存在する前記基本図形とともに、前記基本色のうち前記基本図形が有する色に最も近いものを前記基本図形が有する色として検出させ、
前記物体比較ステップでは、前記コンピュータに、
前記基本図形検出ステップにおいて検出した前記基本図形が有する前記基本色と、前記物体構成図形データが定義している前記基本図形が有する前記基本色とを比較することにより、前記画像内に存在する物体を特定させる
ことを特徴とする請求項１から３のいずれか１項記載の画像認識プログラム。
【請求項５】
前記基本図形データは、
前記基本図形として、少なくとも円形、三角形、および四角形を定義しており、
前記基本図形検出ステップでは、前記コンピュータに、
前記画像内に存在する円形、三角形、および四角形を少なくとも検出させ、
前記物体比較ステップでは、前記コンピュータに、
前記基本図形検出ステップにおいて検出した円形、三角形、および四角形の組み合わせパターンと、前記物体構成図形データが定義している円形、三角形、および四角形の組み合わせパターンとを比較することにより、前記画像内に存在する物体を特定させる
ことを特徴とする請求項１から４のいずれか１項記載の画像認識プログラム。
【請求項６】
前記基本図形検出ステップでは、前記コンピュータに、
検出した前記基本図形のサイズが所定閾値未満である場合はその基本図形については検出しなかったものとして処理させる
ことを特徴とする請求項１から５のいずれか１項記載の画像認識プログラム。
【請求項７】
前記基本図形検出ステップでは、前記コンピュータに、
ハフ変換を用いることによって、前記画像内に存在する前記基本図形を検出させる
ことを特徴とする請求項１から６のいずれか１項記載の画像認識プログラム。
【請求項８】
画像内の物体を認識する装置であって、
前記画像を表した画像データを取得する画像入力部、
前記画像内に存在する物体の形状を構成する２種類以上の基本図形を定義する基本図形データを取得する手段、
前記画像内に含まれるエッジ部分を検出することにより前記画像内に存在する前記基本図形を検出する基本図形検出部、
物体の形状を構成する前記基本図形の組み合わせパターンと前記物体の名称との間の対応関係を定義する物体構成図形データを取得する手段、
前記基本図形検出部が検出した前記基本図形の組み合わせパターンと、前記物体構成図形データが定義している組み合わせパターンとを比較することにより、前記画像内に存在する物体を特定する物体比較部、
前記物体比較部が特定した前記物体に対応する名称を前記物体構成図形データから読み出して出力する認識結果出力部、
を備えることを特徴とする画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の物体を認識する技術に関する。
【背景技術】
【０００２】
これまで画像認識の方法には３通りの方法があった。歴史的に辿ると、最初は画像を細かいブロックに分割しそれぞれのブロックの画像特徴量をもとめ、それを既知の画像のブロックの特徴量と比較し、その類似度を求める方法が開発された。次に、画像の濃淡、色の変化によってエッジの局所特徴量を求め、あらかじめ用意しておいたテンプレート画像のエッジの局所特徴量と比較することによって類似度を測る方法が開発された。この方法の詳細は、下記特許文献１〜２に記載されている。また最近では、エッジ情報からハフ変換によって直線、円、楕円などの基本形状を求め、これを用いて画像内の物体を認識する方法が開発されている。ハフ変換を利用した物体認識の詳細は、下記特許文献３に記載されている。下記特許文献４には、頂点の個数によって基本図形を検出する手法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８１００号公報
【特許文献２】特開２０１１−１７０５５４号公報
【特許文献３】特開２０１１−１７０８９３号公報
【特許文献４】特開平９−２７０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように画像認識の手法が発展するにともない、より正確な図形を読み取ることができるようになった。しかし上述の手法は、いずれも計算量が多く処理時間が長く掛かる課題がある。また、単純な形状は認識できるが、複雑な形状の認識率は必ずしも高くない課題がある。
【０００５】
本発明は、上記のような課題に鑑みてなされたものであり、画像内に含まれる複雑な形状を有する物体を、少ない計算量で精度よく認識することのできる画像認識技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像認識プログラムは、基本図形の組み合わせパターンによって定義される物体形状をあらかじめ定義しておき、画像内の基本図形を検出してその組み合わせパターンをあらかじめ定義しておいた組み合わせパターンと比較することにより、物体を認識する。
【発明の効果】
【０００７】
本発明に係る画像認識プログラムによれば、画像から検出した基本形状の組み合わせパターンを比較することのみによって物体を認識するので、演算負荷を低く抑えることができる。
【図面の簡単な説明】
【０００８】
【図１】物体構成図形データベースの１例を示す図である。
【図２】画像内に含まれる基本図形を検出した様子を示す図である。
【図３】図２に示す各基本図形の配置位置を特定した結果を示す図である。
【図４】実施形態１に係る画像認識装置１００の機能ブロック図である。
【図５】画像認識装置１００の各機能部間の処理フローを示す図である。
【図６】基本図形データ１４１の構成例を示す図である。
【図７】物体構成図形データ１４２の構成例を示す図である。
【図８】検出図形データ１４３の構成例を示す図である。
【図９】グループ化部１２３の処理を説明するフローチャートである。
【図１０】図形位置判定部１２４の処理を説明するフローチャートである。
【図１１】物体比較部１２５の処理を説明するフローチャートである。
【図１２】実施形態１における処理の流れにしたがって検出される基本図形および物体を例示する図である。
【発明を実施するための形態】
【０００９】
＜本発明の基本的な考え方＞
以下ではまず本発明の基本的な考え方を説明し、その後に本発明の実施形態に係る具体的な構成を説明する。
【００１０】
画像から形と色さらにはそのまとまりである事物を正確に読み取ることはできない。一方で色や形は事物の契機であり、物体とは、色と形という契機を統合する「意味」であると考えることができる。この意味をもったまとまりのことをゲシタルトという。ゲシタルトは、物体の性質に基づき定まるのではなく、認識主体が置かれている状況によって定まると考えることができる。本発明は、上記考え方を利用して画像内の物体を認識する手法を提案する。
【００１１】
本発明においては、画像から物体を直接的に読み取るのではなく、まず画像内に含まれる色と形という契機を読み取り、それらを抽象化した基本図形に置き換えて認識する。次に、認識した基本図形の組み合わせパターンと同様の基本図形の組み合わせパターンを有する物体を探索し、これにより画像内にその物体が存在することを認識する。
【００１２】
なおここでいう基本図形とは、例えば円形、三角形、四角形などのように、比較的単純な形状の図形であって画像内から検出するために多大な計算量を必要としないもののことをいう。以下ではこれら３種類の基本図形を用いることとするが、計算量の観点から許容されるのであれば、より複雑な図形（例えば五角形など）を基本図形としてもよい。
【００１３】
上記処理を実施するため、一般的な物体の名前とその物体を構成する色および基本形状の組み合わせを、データベースとしてあらかじめ作成しておく。これを物体構成図形データベースと呼ぶことにする。画像から切り出した基本図形の組み合わせをキーとして物体構成図形データベースを検索し、検索の結果得られた物体が画像内に存在するものと特定することができる。
【００１４】
図１は、物体構成図形データベースの１例を示す図である。物体構成図形データベースは、物体を構成する基本図形の組み合わせパターンと、その組み合わせパターンに対して付与された言語的な意味付け（当該物体の名称）との間の対応関係として定義することができる。
【００１５】
例えば家を例にとると、家には屋根があり、壁があり、窓があり、玄関がある。２階建ての家もある。壁は長方形をしており、屋根も長方形である。また、それぞれ色を持っている。したがって、家の形状を分解して基本図形を抽出すると、これら基本図形の種類と家形状内における各基本図形の相対的な配置位置を得ることができる。物体構成図形データベース内において、これら基本図形の組み合わせパターンに「家」という名称を付与しておく。ある物体の集合がさらに別の物体を構成する場合には、その親子関係についても同データベース内に定義しておくこともできる。
【００１６】
図２は、画像内に含まれる基本図形を検出した様子を示す図である。家の壁と屋根は、図２に示すような基本図形の組み合わせパターンによって抽象化した図形として表すことができる。本発明においては、物体の形状を図２のように基本図形の組み合わせとして検出することとする。画像内から基本図形を検出する際には、例えば画像内のエッジ部分を検出することにより、図形領域を抽出する手法を用いることができる。具体的には、例えば特許文献３に記載されているようなハフ変換による線分認識および形状認識などの従来技術を用いることができる。
【００１７】
本発明においては、計算負荷を低減する観点から、同種の基本図形は全て同じ基本図形であるものとして取り扱う。例えば図２に示す四角形ｂ〜ｄはそれぞれ異なる形状を有しているが、これらはいずれも「四角形」として抽象化する。他の基本図形についても同様である。また、基本図形以外の図形は検出しないか、または基本図形の組み合わせによって表現することとする。これにより、検出された図形は全て基本図形となる。
【００１８】
図３は、図２に示す各基本図形の配置位置を特定した結果を示す図である。図２に示す家形状内において、各基本図形の相対的な位置関係を特定することができる。具体的な手法については後述する。各基本図形、その色、および配置位置の組み合わせパターンによって、物体を表現することができる。画像内に同様の組み合わせパターンが存在することを検出した場合、その組み合わせパターンをキーにして物体構成図形データベースを照会することにより、当該物体には「家」という名称が付与されていることを特定することができる。
【００１９】
＜実施の形態１：装置構成＞
図４は、本発明の実施形態１に係る画像認識装置１００の機能ブロック図である。画像認識装置１００は、画像データ２００が表す画像内の物体を認識する装置であり、画像入力部１１０、データ処理部１２０、認識結果出力部１３０、記憶部１４０を備える。
【００２０】
データ処理部１２０はさらに、エッジ認識部１２１、基本図形検出部１２２、グループ化部１２３、図形位置判定部１２４、物体比較部１２５を備える。記憶部１４０は、基本図形データ１４１、物体構成図形データ１４２、検出図形データ１４３を格納する。
【００２１】
画像入力部１１０は、画像データ２００を取得し、エッジ認識部１２１に渡す。画像入力部１１０は、データ入力インターフェースを用いて構成してもよいし、画像が紙に印刷されている場合はスキャナやデジタルカメラなどのようにその画像から画像データ２００を作成するデバイスを用いて構成することもできる。
【００２２】
エッジ認識部１２１は画像データ２００内に存在するエッジ部分およびそのエッジによって囲まれた領域（輪郭）を抽出する。この輪郭抽出処理は、任意の公知技術を利用することができる。
【００２３】
基本図形検出部１２２は、エッジ認識部１２１が抽出した輪郭と、基本図形データ１４１が定義している基本図形とを比較する。例えば、基本図形データ１４１に円形、三角形、四角形の３つの図形が定義されている場合、基本図形検出部１２２は、エッジ認識部１２１が抽出したそれぞれの輪郭について、円形、三角形、四角形の３つの図形のいずれに類似しているかを判定する。類似していると判定した基本図形の名称と、輪郭を検出した位置の座標を、検出図形データ１４３に格納する。
【００２４】
基本図形検出部１２２はさらに、輪郭内の色と基本図形データ１４１が定義している基本色を比較し、一番類似度が高い基本色を、その基本図形が有する色とみなし、検出図形データ１４３に格納する。最も類似度が高い色を特定する手法は、例えば色数を減少させる際の処理などにおいて用いられる周知技術を用いることができる。
【００２５】
画像内から基本図形と色を検出する処理は、残差マッチング、正規化相関法等の公知のパターンマッチング技術を利用することができる。ただし、図２に例示するようにある程度の形状差異は無視する。例えば頂点が３つである図形は全て「三角形」とみなし、頂点が４つある図形は全て「四角形」とみなし、頂点が存在せず曲線によって囲まれている領域は「円形」とみなし、これらに当てはまらない図形は検出しないようにすることができる。頂点の個数によって基本図形を検出する手法は、例えば特許文献４に記載されている技術を用いることができる。どのような図形や色を基本図形および基本色とみなすかについては、基本図形データ１４１が定義している。
【００２６】
グループ化部１２３は、検出図形データ１４３に格納されている図形のうち、一定の近傍範囲内に存在している基本図形を、１つのグループとしてグループ化し、その結果を検出図形データ１４３に格納する。具体的な処理については後述の図９で説明する。
【００２７】
図形位置判定部１２４は、グループ化部１２３がグループ化した基本図形相互の相対的な配置位置を判定し、その結果を検出図形データ１４３に格納する。具体的な処理については後述の図１０で説明する。
【００２８】
物体比較部１２５は、検出図形データ１４３に記録されている基本図形の組み合わせパターンをキーにして物体構成図形データ１４２を照会することにより、該当する物体の名称を特定する。具体的な処理については後述の図１１で説明する。
【００２９】
データ処理部１２０は、その機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、その機能を実装したプログラムをＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置が実行することによって構成することもできる。記憶部１４０は、ハードディスク装置などの記憶装置によって構成することができる。
【００３０】
図５は、画像認識装置１００の各機能部間の処理フローを示す図である。認識結果出力部１３０は、物体比較部１２５が物体構成図形データ１４２を用いて特定した物体の名称を出力する。出力例については後述の図１２で説明する。出力形式は、例えばディスプレイなどの表示装置に表示してもよいし、印刷物やデータなどその他任意の形式で出力してもよい。
【００３１】
図６は、基本図形データ１４１の構成例を示す図である。基本図形データ１４１は、基本図形検出部１２２が画像内から検出すべき基本図形を定義するデータである。ここでは円形、三角形、四角形の３つの基本図形を例示した。基本図形データ１４１はさらに、基本図形検出部１２２が検出すべき基本色を定義している。
【００３２】
図７は、物体構成図形データ１４２の構成例を示す図である。物体構成図形データ１４２は、図１で説明した、物体形状を構成する基本図形、色、および相対的な配置位置を、その物体の名称と対応付けて定義するデータベースである。本発明では、同種の基本図形は全て同じ図形とみなすので、基本図形の詳細な形状（例えば各辺の長さ、各頂点の角度など）については定義する必要はなく、基本図形の種類が分かれば足りる。したがって物体構成図形データ１４２および後述する検出図形データ１４３は、基本図形の種類の組み合わせパターンのみを定義している。
【００３３】
図８は、検出図形データ１４３の構成例を示す図である。検出図形データ１４３は、基本図形検出部１２２、グループ化部１２３、および図形位置判定部１２４の処理結果を格納するデータである。図７に示す「基本図形」「色」「検出座標」は基本図形検出部１２２による検出結果を格納し、「相対位置」は図形位置判定部１２４による判定結果を格納し、「グループ番号」はグループ化部１２３が基本図形をグループ化した結果を、同じグループに同じ番号を付与することによって格納する。
【００３４】
＜実施の形態１：装置動作＞
図９は、グループ化部１２３の処理を説明するフローチャートである。以下、図９の各ステップについて説明する。
【００３５】
ステップＳ９０１において、グループ化部１２３は検出図形データ１４３を読み込む。グループ化部１２３は検出図形データ１４３中の全ての基本図形について以下のステップＳ９０３〜Ｓ９０５を実施する。
【００３６】
ステップＳ９０３において、グループ化部１２３は検出図形データ１４３から基本図形の検出座標を取得する。ステップＳ９０４において、グループ判定部１２３は、ステップＳ９０３で取得した検出座標の近傍（座標平面状の所定距離内）に別の基本図形の検出座標が存在するか否か探索する。近傍範囲内に別の基本図形が存在する場合は、ステップＳ９０５において、それらの基本図形は同じグループに属すると判断し、検出図形データ１４３のグループ番号に同一番号を付与する。
【００３７】
図１０は、図形位置判定部１２４の処理を説明するフローチャートである。以下、図１０の各ステップについて説明する。
【００３８】
ステップＳ１００１において、図形位置判定部１２４は、検出図形データ１４３に格納されている全ての基本図形の検出座標を取得する。ステップＳ１００２において、図形位置判定部１２４は、各検出座標を所定の升目に当てはめてそれぞれがいずれの升目に属するかを判定することにより、各検出座標の相対的な配置位置を判定する。例えば「左上」「中央上」「右上」「左中央」「中央」「右中央」「左下」「中央下」「右下」の９つの相対位置を定義した３行３列のマス目構造を持った座標に各検出座標を当てはめることにより、各検出座標がこれら９つのいずれの相対位置に属するかを判定することができる。升目のサイズは、ステップＳ９０４において同一グループに属するとみなす距離範囲内に収めればよい。ステップＳ１００３において、図形位置判定部１２４は、判定した各検出座標の相対位置を検出図形データ１４３の相対位置に格納する。
【００３９】
図１１は、物体比較部１２５の処理を説明するフローチャートである。以下、図１１の各ステップについて説明する。
【００４０】
ステップＳ１１０１において、物体比較部１２５は、検出図形データ１４３から、同一のグループ番号に属する基本図形についての各情報を読み取る。ステップＳ１１０２において、物体比較部１２５は、物体構成図形データ１４２から全ての物体についての構成情報を読み取る。ステップＳ１１０３〜Ｓ１１０６において、物体比較部１２５は、物体構成図形データ１４２内の全ての物体について、検出図形データ１４３内の基本図形の形状、相対位置、色の組み合わせパターンと一致するか否かを判定する。一致する組み合わせパターンが存在する場合はその物体の名称を取得し（Ｓ１１０７）、一致する組み合わせパターンがない場合は認識できる物体が存在しないとみなす（Ｓ１１０８）。
【００４１】
図１２は、本実施形態１における処理の流れにしたがって検出される基本図形および物体を例示する図である。ここでは図１２の左上に示す画像データ２００内に存在する家を認識する例を示した。図１２に示す家形状は、三角形と四角形が連結した図形とみなすことができる。この基本図形、配置位置、および色の組み合わせをあらかじめ物体構成図形データ１４２に登録しておくことにより、図１２の右下に示すように、当該図形は「家」という名称が付された物体であると認識することができる。
【００４２】
なお、基本図形検出部１２２が基本図形を抽出した際に、図１２の上段２つ目に示すように、雑多な図形が検出される場合がある。これは最終的な物体を認識する際の妨げになるので、例えば画像データ２００の全体サイズに対して所定割合未満のサイズを有する基本図形、あるいはグループ化した基本図形の全体サイズに対して所定割合未満のサイズを有する基本図形は、以後のステップにおいて無視してもよい。具体的には、検出図形データ１４３内にその小図形を格納しなければよい。
【００４３】
＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像認識プログラムは、画像内の基本図形を検出してその組み合わせパターンを、あらかじめ定義しておいた物体構成図形データ１４２と比較することにより、物体を認識する。基本図形の組み合わせパターンのみによって物体を認識するので、詳細なパターンマッチングなどの演算負荷が重い処理を実施する必要がなく、画像認識に係る処理負荷を軽減することができる。
【００４４】
＜実施の形態２＞
実施形態１において、物体構成図形データ１４２は、認識したい物体の種類毎にカスタマイズすることもできる。この場合、物体比較部１２５は、認識した物体の種類に応じて、参照する物体構成図形データ１４２を切り替える。例えば、風景を認識する場合は、「高層ビル」「山」「田畑」などの風景画像内に存在する物体を定義した物体構成図形データ１４２を参照する。建物を認識する場合は、「家」「マンション」などの建物形状を定義した物体構成図形データベース１４２を参照する。建物内の建具を認識する場合は、「窓」「ドア」などの部材を定義した物体構成図形データ１４２を参照する。
【符号の説明】
【００４５】
１００：画像認識装置、１１０：画像入力部、１２０：データ処理部、１２１：エッジ認識部、１２２：基本図形検出部、１２３：グループ化部、１２４：図形位置判定部、１２５：物体比較部、１３０：認識結果出力部、１４０：記憶部、１４１：基本図形データ、１４２：物体構成図形データ、１４３：検出図形データ。
【図１】
2014026358.tif 000003
【図２】
2014026358.tif 000004
【図３】
2014026358.tif 000005
【図４】
2014026358.tif 000006
【図５】
2014026358.tif 000007
【図６】
2014026358.tif 000008
【図７】
2014026358.tif 000009
【図８】
2014026358.tif 000010
【図９】
2014026358.tif 000011
【図１０】
2014026358.tif 000012
【図１１】
2014026358.tif 000013
【図１２】
2014026358.tif 000014