(57)【要約】【課題】  建造物のカテゴリに属する画像の類似性を精度良く評価することのできる建造物画像検索システムを提供すること。【解決手段】  建造物の画像の特徴量を抽出して、該特徴量をもとに比較する画像の類似度を演算する建造物画像検索システムにおいて、建造物の少なくとも色、テクスチャおよび形状に基づいて類似性のある領域を抽出し、局所領域の特徴量として保存する局所的領域抽出手段３６と、局所領域を面積と形状をもとにクラスタリングして大域領域を特定し、色、テクスチャ、形状、および、大域領域と局所領域との空間関係を大域領域の特徴量として保存する大域的領域抽出手段３７と、建造物の複数の原画像の前記各特徴量を保存する画像データベース６１と、クエリ画像（例示画像）の各特徴量と、前記画像データベースに保存されている原画像の各特徴量とを比較して類似度の高い原画像を抽出する画像検索手段３９とを備える。【選択図】      図１
2006031567.tif 000002
【特許請求の範囲】
【請求項１】
建造物の画像の特徴量を抽出して、該特徴量をもとに比較する画像の類似度を演算する建造物画像検索システムであって、
建造物の少なくとも色、テクスチャおよび形状に基づいて類似性のある領域を抽出し、局所領域の特徴量として保存する局所的領域抽出手段と、
前記局所領域を面積と形状をもとにクラスタリングして大域領域を特定し、色、テクスチャ、形状、および、大域領域と局所領域との空間関係を大域領域の特徴量として保存する大域的領域抽出手段と、
複数の建造物の原画像の前記各特徴量を保存する画像データベースと、
クエリ画像（例示画像）の各特徴量と、前記画像データベースに保存されている原画像の各特徴量とを比較して類似度の高い原画像を抽出する画像検索手段と、
を備えたことを特徴とする建造物画像検索システム。
【請求項２】
建造物の画像の特徴量を抽出して、該特徴量をもとに比較する画像の類似度を演算する画像検索方法であって、
建造物の画像の形状データを保存すると共に、同一形状が周期的に出現する場合にその出現する領域の幅、間隔の平均値を演算してこの演算結果を大域領域のテクスチャの特徴量として抽出し、比較する画像の大域領域の重心から輪郭線上のある一点を結ぶ線分の角度と線分長との関係により領域形状の類似度を判定することを特徴とした建造物画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建造物のカテゴリに属する画像においてビルなどの近代的な建造物画像の検索手法に係り、特に、建造物の工事関係の企業や建築家が既存の建造物に対して、どのような特徴の建造物がどれほどあったか知りたいという要求や建造物の分類などの要求を満たすことのできる建造物画像検索システムに関する。
【背景技術】
【０００２】
近時、大量の画像データから抽出した様々な特徴により類似する画像を検索する研究が盛んに行われている。画像の内容は風景・建造物・人物など様々なカテゴリが考えられ、目的に応じた特徴抽出、比較方法を考えられている。
【０００３】
関連研究として、非特許文献１ではオブジェクトの形状やオブジェクト内部のテクスチャによる画像検索手法を提案している。
【０００４】
人工的なオブジェクトの特徴として有効であるエッジによる画像検索の研究として、非特許文献２〜４が挙げられる。非特許文献２では、オブジェクト内の直線的なエッジがL字、U字を描く部分や平行になっている部分の数によって画像を分類する手法を提案している。非特許文献３では、エッジを抽出する範囲を段階的に変化させてエッジを抽出し、各段階で抽出したエッジの長さや角度の統計量により画像を検索している。非特許文献４では、抽出したエッジを探索していき、エッジの長さ、分岐した数、探索時間などの統計量を比較して画像を検索している。
【０００５】
また、色の類似した領域とその空間関係を考慮にいれた画像検索として、非特許文献５および６が挙げられる。これらの研究はカラーヒストグラムにおいて各代表色に当てはまる画素の座標の平均値を計算することで色の類似した領域の位置を表現している。
【０００６】
非特許文献７では、画像をn×n 分割した画像に対して、各ブロックの特徴量をベクトル化して多次元ベクトル空間上における距離を類似度として画像を検索している。
【０００７】
また、類似画像検索技術としては、上記のほか、比較的広い領域でのみ観測が可能なものや、他の特徴をもつ領域との境界がはっきりしないものに対して、領域特徴を階層的に記述して階層的な領域分割を行うことで、領域形状の自由度よりも大域的な特徴を優先した画像解析手法（特許文献１）や、色成分の特徴量とテクスチャ 特徴量を含む評価関数を算出して、当該評価関数の値に基づいて画像の形状を更新することにより当該画像中の所定領域の境界線を定めるという画像抽出方法（特許文献２）なども提案されている。
【特許文献１】特開２００４−２１３８１号公報
【特許文献２】特開２０００−２１６９７９号公報
【非特許文献１】P. Pala, S. Santini, "Image retrieval by shape and texture",Pattern Recognition, vol. 32, No. 3, pp. 517-527, 1999.
【非特許文献２】Qasim Iqbal, J. K. Aggarwal, "Applying perceptual grouping  to content-based image retrieval: Building images",International Conference on Computer Vision and Pattern Recognition, pp. 42-48, 1999.
【非特許文献３】Paul Bao, Xianjun Zhang, "Image Retrieval based on Multi-scale Edge Model", IEEE International Conference on Multimedia and Exposition, pp. 417-420, Aug. 2002.
【非特許文献４】Xiang Sean Zhou, Thomas S. Huang, "Edge-based Structural Features for Content Based Image Retrieval"Pattern Recognition Letters, Vol 22/5, Apr. 2001, pp.457-468.
【非特許文献５】H. W. Chang, et al., "Content-based Image Retrieval based on Color and Space", IEEE International Conference on Multimedia and Exposition, pp. 1259-1262, 2001.
【非特許文献６】Woosaeng Kim, Ji Yoon Kim, "Image Classification usingSpatial Relationship Matrix based on Color Spatio-Histogram", IEEE International Conference on Multimedia and Exposition, pp. 341-344, 2003.
【非特許文献７】Qi Tian, Ying Wu, Thomas S. Huang, "Combine User Defined Region-of-Interest and Spatial Layout for Image Retrieval", Proceedings of IEEE 2000 InternationalConference on Image Processing, pp. 746-749, Vol. 3, 2000.
【非特許文献８】田中 昭二, 井口 征士, 岩舘 祐一, 中津 良平, "画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出", 情報処理学会論文誌, Vol. 40, No.8, pp. 3267-3280, 1999.
【非特許文献９】長谷川 為春, 小沢慎治, "モデルに基づいた影を伴う移動物体の検出", 電子情報通信学会論文誌, D-II, Vol. J83-D-II, No. 2, pp. 555-564, 2000.
【非特許文献１０】Remakant Nevatia, 南 敏, "画像認識と画像理解", 哲学 出版, 1986.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、建造物のカテゴリに属する画像の類似性を精度良く評価するためには、エッジだけでは不十分であり色などの他の要素も用いる必要がある。さらに、これらの各要素を局所的な特徴量と大域的な特徴量として如何に関連付けて管理するかが問題となる。
【０００９】
特に検索対象の画像（例示画像）に類似した画像を複数の原画像の中から類似性の高い順に抽出しようとした場合、その類似度は客観的な数値として認識可能である必要がある。たとえば、多次元ベクトル空間上における距離を類似度として画像を検索するといった手法ではどの特徴がどれだけ類似しているか認識しにくいという問題がある。
【００１０】
本発明は、上述のかかる事情に鑑みてなされたものであり、画像、特に、建造物のカテゴリに属する画像の類似性を精度良く評価することのできる建造物画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明では、窓やベランダなど内部が複雑な建造物の類似性を評価するためには、狭い範囲(局所的な領域)で画像を捉えた時の特徴と広い範囲(大域的な領域)で捉えた時の特徴の類似性を評価する必要があると考える。そこで、まず画像内において狭い範囲で色とテクスチャが類似している領域を局所的な領域として抽出し、抽出した局所的な領域が規則的に並んでいる領域を大域的な領域として抽出する。そして抽出した局所的な領域や大域的な領域を元に色、テクスチャ、形状、空間関係を抽出して局所的な類似性と大域的な類似性を評価することによって建造物画像に有効な画像検索手法を提案する。
【００１２】
本発明の概念説明図を図２に示す。本発明では前処理としてあらかじめ原画像に対して簡単なマウス操作により背景領域の除去を行い、局所的な領域抽出の際の過分割の原因になる影の領域を除く処理と建造物を横・上方・下方から撮影した画像に対して建造物の形状を補正する処理を行う。前処理後、局所的な領域抽出処理部において、色とテクスチャの類似性に注目して画素単位で結合していくことによって狭い範囲で類似している局所的な領域を抽出する。そして大域的な領域抽出処理部で、抽出した局所的な領域の大きさ、形状、空間関係に基づいてクラスタリングを行い、同じクラスタに属する局所的な領域がすべて含まれる領域を大域的な領域として抽出し、後述する7つの特徴(局所的な色、局所的なテクスチャ、局所的な形状、大域的な色、大域的なテクスチャ、大域的な形状、空間関係)を、画像の特徴データとして保存する。
【００１３】
検索時には、ユーザはクエリ画像を選択して、特徴データの7つの特徴の中から注目する特徴とその特徴に対する重みを任意に指定する。システムは指定された特徴と重みを元にクエリ画像とデータベース内の画像との類似性を類似度算出処理部において評価して、クエリ画像と類似した候補画像を検索結果としてユーザに提示する。
［１．建造物画像の前処理］
【００１４】
本発明では、近代的なビルなどの建造物を対象としており、撮影状況は様々で、特徴抽出するにあたって背景領域や影の領域の除去、撮影者の位置により変わる建造物の形状の補正を前処理として行う。
【００１５】
背景領域の除去については、マウス操作で建造物の輪郭に対して任意に点をとり直線で結ぶことによって行う。自動で画像内の主要なオブジェクトを切り出す研究（非特許文献８）は行われているが、精度はまだ十分ではない。任意に点を指定する手間と検索精度の影響を考えたとき、建造物の形状の特徴が正確に抽出できるなどの利点のため、手動による背景除去を行うようにしてもよい。以下に影の領域の除去処理と建造物の形状の補正処理について述べる。
［1.1. 陰影除去］
【００１６】
天候・撮影時間や周囲の状況によって建造物に日陰領域ができることがある。日陰領域は後述する局所的な領域を抽出する際に過分割の原因になるため、日向領域に変換する処理を行う必要がある。
【００１７】
屋外においての影の除去を行っている研究（非特許文献９）では、３次元空間における物体及び太陽光のモデル構築のためのパラメータ推定に必要なカメラパラメータの焦点距離設定など撮影状況を考慮しなければならない。
【００１８】
対象としている建造物画像は撮影状況を統一していないため、本発明では、背景除去の手動操作に加えて日向領域と対応する日陰領域の1点を指定することによって、精度よく陰影除去を行うようにする。以下にその手法を述べる。
（ステップＳ１）まず、日向領域とそれに対応する日陰領域の1点をそれぞれ指定する。
（ステップＳ２）指定された座標からL*a*b*表色系の色差により色が類似した画素同士を結合していき、日向領域と日陰領域を決定する。
（ステップＳ３）日向領域の画素と日陰領域の画素をそれぞれ輝度の小さい順に並べ、i 番目の日向領域の画素V(i)とj 番目の日陰領域の画素W(j)を（１）式で輝度を対応付ける。（１）式は輝度の大小で対応付ける画素を変化させており、日向領域の代表色で日陰領域の各画素の色を変化させるよりも自然な処理結果になる。
【数１】
2006031567.tif 000003
（ステップＳ４）日陰領域の各画素の色を対応付けた日向領域の各画素の色に変換して日陰領域を除去する。
［1.2. 形状の正規化］
【００１９】
建造物画像は必ずしも正面から撮られた画像とは限らず、このことを考慮せず窓やベランダの形状や並び方の特徴を抽出した場合、実際は類似しているが検索されない画像がでてくるといった問題がある。そこで正面から撮られていない(横・上方・下方から撮られた)画像は建造物の形状を補正する必要がある。以下に横から撮った建造物画像の形状を補正する手法について述べる。また、上方・下方から撮った建造物画像の形状の補正処理も同様に行う。
（ステップＳ５）Hough 変換により建造物の直線成分を検出して、横方向の消失点を求める。
（ステップＳ６）消失点に交わる直線の中で最も上側、下側に検出された直線を元にブロックを検出する。
（ステップＳ７）面積が最大となるブロックを長方形に変形させた時の縦横比に基づいて、各ブロックの形状を長方形に変形させることによって建造物の形状を補正する。
［２．領域の抽出］
【００２０】
局所的な領域は画像を狭い範囲で捉えた時に類似している領域、大域的な領域は画像を広い範囲で捉えた時に類似している領域として、以下にこれらの抽出手法を述べる。なお処理画像のサイズは640×480[pixel]で、あらかじめステップＳ１〜ステップＳ７で述べた前処理後の画像を用いている。
［2.1. 局所的な領域］
【００２１】
局所的な領域は色とテクスチャの類似性に基づき画素単位で結合していくことによって、狭い範囲で類似した領域として抽出する。
【００２２】
まず、L*a*b*表色系において色差が小さい画素同士を同じ領域として結合していき、色が類似した領域を抽出する。抽出した隣接する領域間で、グレースケールに変換した後GMRF(ガウスマルコフ確率場)によりテクスチャの類似性を検出し、類似している場合の領域を結合して同じ領域としていく。なおGMRF におけるテクスチャは、各画素の濃度値がその近傍画素の濃度値にのみ依存するような条件付きガウス分布によって表現されている。
【００２３】
以上の処理で得られた画像には画素数の少ない雑音領域が存在しているため、そのような領域は最も代表色が類似した隣接する領域と結合する。
［2.2. 大域的な領域］
【００２４】
抽出した局所的な領域に対して、大きさ・形状・空間関係に基づいてクラスタリングを行い、同じクラスタに属する局所的な領域をすべて含む領域を大域的な領域として抽出する。なお、局所的な領域の形状の類似度SimFは、水平方向から10 度ごとに局所的な領域の重心座標から輪郭線までの距離D(i)を抽出して（２）式で計算している。
（ステップＳ１１）クラスタに属していない局所的な領域(Ls)を基準として幅優先探索で左、上、右、下の順に、まだクラスタリングされていない他の局所的な領域(Ln)を探す。
（ステップＳ１２）Ln の画素数がLsの画素数の0.75 倍以上かつ1.25 倍以下であり、形状を比較した時にSimFが閾値(0.7)以上であるならばLnはLsと同じクラスタに属する領域とする。
【００２５】
なお、閾値の0.7 はデータベース内の画像に対してSimFを計算して類似していると判断できる妥当な数値として決定したものである。
（ステップＳ１３）クラスタリングされていない局所的な領域がなくなるまでステップＳ１１とステップＳ１２を繰り返す。
【数２】
2006031567.tif 000004
［３．局所的・大域的な特徴抽出］
【００２６】
抽出した局所的な領域と大域的な領域を元に局所的な色、局所的なテクスチャ、局所的な形状、大域的な色、大域的なテクスチャ、大域的な形状、空間関係の７つの特徴を抽出し、比較することで建造物の類似性を評価する。なお大域的な領域をG、G を構成する局所的な領域をLg、Lg を除く最大面積を持つ局所的な領域をLmax、以下の式中の添字のq とd をそれぞれクエリ画像とデータベース内の画像として各特徴の抽出と類似度について説明する。
［3.1. 局所的な特徴の類似度］
［3.1.1. 局所的な色］
【００２７】
局所的な色は、規則的に並んだ窓やベランダなどに相当するLg と壁などに相当するLmax の代表(最頻)色で表し、類似度ClocalはL*a*b*表色系のユークリッド距離の色差を計算している。
［3.1.2. 局所的なテクスチャ］
【００２８】
局所的なテクスチャは、Lg とLmax をグレースケールに変換した後、同時生起行列（非特許文１参照）から得られるテクスチャの特徴量(Energy, Correlation, Contrast, Entropy)で表す。局所的なテクスチャの類似度Tlocal はそれぞれテクスチャの特徴量を0〜1 に正規化して4次元ベクトルとして考え、コサイン類似度を計算している。
［3.1.3. 局所的な形状］
【００２９】
局所的な形状の類似度FlocalはLg の形状を比較する。類似度は、上記（２）式と同じ手法で計算する。
［3.2. 大域的な特徴の類似度］
［3.2.1. 大域的な色］
【００３０】
大域的な色の類似度Cglobalは広い範囲で色に注目した時の色の類似性と考え、背景領域を除いた領域の画素に対するカラーヒストグラムを比較する。具体的にはYIQ 色空間を16,6,2等分して得られる人間の視覚特徴に応じたカラーヒストグラムH(i, j, k)を計算して(3)式で比較する。ただしH(i, j, k)の各値はオブジェクトの画素数で割って正規化しており、各値の和は1 となる。
【数３】
2006031567.tif 000005
［3.2.2. 大域的なテクスチャ］
【００３１】
大域的なテクスチャは、Lg の横の間隔Pw と縦の間隔Pv で表す。Pw は図３のようにLg 1つ1つの横の間隔Dの平均値をLg の横幅w の平均値で割って求める。Pv も同様に求めて0〜1 に正規化した後、大域的なテクスチャの類似度Tglobalを(4)式で計算する。
【数４】
2006031567.tif 000006
［3.2.3. 大域的な形状］
【００３２】
大域的な形状は、規則的に並んだ窓やベランダの集合の領域に相当するG の形状と背景を除いた領域(オブジェクト)の形状に注目する。大域的な形状の類似度Fglobalは形状の輪郭線をk 個の点でサンプリングして、各点での水平方向の直線と輪郭線との角度θ(k)を計算した後、（５）式で求める。
【数５】
2006031567.tif 000007
［3.2.4. 空間関係］
【００３３】
空間関係の類似度SP はGの数が2 以上の時に評価する。基準となるG(親領域)とその他のG(子領域)との位置関係・位相関係・大きさの関係で表し、各類似度と重みからSP を求める。また、クエリ画像とデータベース内の画像において、Lg の形状である局所的な形状、G の形状である大域的な形状、Lg の並び方である大域的なテクスチャが最も類似する大域的な領域同士を親領域としている。
・ 位置関係の類似度SPr
【００３４】
親領域を基準として親領域の重心と子領域の重心を結んだ時の角度Dir を算出し、（６）式で計算する。
【数６】
2006031567.tif 000008
・ 位相関係の類似度SPI
【００３５】
親領域と子領域との位相関係I は0：離れている、1：接している、2：重なっている、3：含んでいる、のどれかに属していてSPIは（７）式で計算する。
【数７】
2006031567.tif 000009
・ 大きさの関係の類似度SPs
【００３６】
親領域の面積を1 とした時、子領域の面積S を求め、(8)式で計算する。ただしS は最大値で割って0〜1 になるように正規化している。
【数８】
2006031567.tif 000010
【００３７】
図４から図９は上記の手順を用いて画像処理を施した後の画像例である。
図４の原画像に対し、本システムでは、オブジェクト領域の抽出、オブジェクト領域から陰影を除去、オブジェクトの形状を正規化、領域分割、大域的領域抽出等の画像処理を行う。
【００３８】
図５は、図４の原画像に対し上記ステップＳ１の処理によりオブジェクト領域の抽出を行った図である。図６は上記ステップＳ２〜ステップＳ４の処理を行いオブジェクト領域から陰影を除去した画像である。図７はステップＳ５〜Ｓ７によりオブジェクトの形状を正規化した図である。図８は正規化後に領域分割を行った画像である。そして、図９は領域分割を行った画像に対し大域的領域抽出を行った画像であり、この画像が最終的に画像ＤＢに保存される。
【００３９】
以上、本発明の主な特徴は、マクロな視点による（大域的な）建造物のテクスチャ、領域形状とミクロな視点からの（局所的な）建造物のテクスチャ、領域形状と色相類似性、マクロな視点による領域間の空間関係により建造物画像検索を実現している点、同一形状（領域）の周期的出現をマクロな視点による画像のテクスチャとして捉え、その特徴量を周期的に出現する領域の幅、間隔の平均値として表現する点、同一形状の周期的な出現の検出により建造物画像を（マクロな視点から＝大域的視点から）領域分割する点、および、重心から輪郭線上のある一点を結ぶ線分の角度と線分長との関係により領域形状の類似性を判定する点にある。
【発明の効果】
【００４０】
本発明によれば、建造物の窓やベランダなど規則的に配列された領域の特徴量を効率的に管理することができ、また、これら建造物の画像の類似性を精度良く評価することが可能となる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態を説明する。図１は本発明の実施の形態に係わる建造物画像検索システムの機能ブロック図である。
【００４２】
図１において、建造物画像検索システム１は、建築関係の企業あるいは他のサービス事業者により管理、運営されている。
建造物画像検索システム１は、データの入出力を行うための入力部１１および出力部１２、中央演算処理部１３、データを記憶するための記憶部１４から構成されている。
【００４３】
さらに、中央演算処理部１３は、入力部１１および出力部１２との間でデータの受け渡しを行う入出力処理手段（機能）３１、入力部１１を介して入力された画像情報を入力する画像情報入力手段(機能)３２、画像の背景や陰影除去など画像編集の支援を行う画像編集支援手段（機能）３３、形状を補正する形状補正手段(機能)３５、局所的領域を抽出する局所的領域抽出手段３６、大域的な領域を抽出する大域領域抽出手段３７、画像を検索する画像検索手段３９、検索された画像を出力する画像出力手段４０を備えている。  
記憶部１４は、建築物の画像に関する情報を保存する画像データベース（ＤＢ）６１を有している。  
［建造物画像の前処理］
【００４４】
ビルなどの建造物の画像の撮影状況は様々で、画像検索手段３９によって建造物の特徴を抽出するにあたって背景除去手段３３、陰影除去手段３４、形状補正手段３５、により背景領域や影の領域の除去、撮影者の位置により変わる建造物の形状の補正を前処理として行う。
【００４５】
以下、図１０を用いてこの前処理の処理手順を説明する。
まず、前処理として建造物画像検索システム１の入力部１１から原画像を入力する（Ｓ１０１）。入力された原画像は、画像入力手段３２によって、記憶部１４の画像ＤＢ６１に保存される。次に、画像編集支援手段３３によって原画像の背景領域の除去や陰影除去の処理を行い(Ｓ１０２)、形状補正手段３５によって建造物を横・上方・下方から撮影した画像に対して建造物の形状を補正する処理を行う(Ｓ１０３)。
【００４６】
次に、局所的領域抽出手段３６を起動して色とテクスチャの類似性に注目して画素単位で結合していくことによって狭い範囲で類似している局所的な領域を抽出する(Ｓ１０４)。続いて、大域的領域抽出手段３７によって、局所的領域抽出手段３６で抽出した局所的な領域の大きさ、形状、空間関係に基づいてクラスタリングを行い、同じクラスタに属する局所的な領域がすべて含まれる領域を大域的な領域として抽出し(Ｓ１０５)、7つの特徴(局所的な色、局所的なテクスチャ、局所的な形状、大域的な色、大域的なテクスチャ、大域的な形状、空間関係)を、画像の特徴データとして保存する(Ｓ１０６)。
【００４７】
次にデータベース中に未処理な画像があるかの判定を行い、未処理画像がある場合は上記ステップＳ１０１へ戻り処理を繰り返し、未処理画像がない場合は終了する(Ｓ１０７)。
【００４８】
以下、上記の主な手段の処理を詳述する。まず、図１１を用いて形状補正手段３５の処理手順を説明する。
形状補正手段３５は起動されると、原画像１３に対しHough変換により建造物の直線成分図１４)を検出して、横方向の消失点を求める（Ｓ３０１、Ｓ３０２）。次に、消失点に交わる直線の中で最も上側、下側に検出された直線をもとにブロックに分割する。図１５（Ｓ３０３）。そして、面積が最大となるブロックを長方形に変形させた時の縦横比に基づいて、各ブロックの形状を長方形に変形させる（Ｓ３０４）。
【００４９】
次に、図１２を用いて局所的領域抽出手段３６の処理手順を説明する。
局所的領域抽出手段３６は起動されると、まず隣接する画素のL*a*b*表色系における色差を計算する(Ｓ４０２)。色差が闘値以下かの判定を行い(Ｓ４０３)。闘値以下であれば、画素間を併合し、同じ領域として抽出する(Ｓ４０４)。
【００５０】
すべての画素に対して上記ステップＳ４０２からＳ４０４の処理が終了すると、すべての領域に対してステップＳ４０７からＳ４０９の処理を行う。
闘値以下でなければGMRFモデルにより隣接する領域間のテクスチャの類似性を評価する(Ｓ４０７)。
【００５１】
次に、テクスチャが類似しているかの判定を行い(Ｓ４０８)、類似していれば領域間を併合し、同じ領域として抽出する(Ｓ４０９)。次に、局所領域ごとの色と特徴量L*a*b*テクスチャ特徴量Energy,Correlation,Contrast,Etropy,形状特徴量Ｄの値を算出する(Ｓ４１０)。
【００５２】
このステップＳ４１０の処理は具体的には以下のようになる。
各大域領域を構成する、局所領域のRGBヒストグラムを作成し、その最頻値を領域の代表色としてローカルな色情報を算出する。
【００５３】
図２３はローカルな色情報をあらわす図であり、大域領域を構成する局所領域の色情報をあらわしており、数式Ｐｗであらわされる。
【００５４】
次に、同時生起行列からEnergy, Correlation, Contrast, Entropyの値を算出し、ローカルなテクスチャを算出する。そして各大域領域を構成する局所領域の重心を基準として、領域端までの距離を10°ずつ変化させローカルな形状を算出する。
【００５５】
図１６に示す画像の背景除去結果の画像に対して、局所的な領域を抽出した画像を図１９に示す。
【００５６】
その後、大域的領域抽出手段３７を起動して、局所的領域抽出手段３６により抽出した局所的な領域に対して、大きさ・形状・空間関係に基づいてクラスタリングを行い、同じクラスタに属する局所的な領域をすべて含む領域を大域的な領域として抽出する。局所的な領域を抽出した画像、図１９の結果に対して大域的領域抽出手段３７により大域的な領域を抽出した結果の画像を図２０に示す。
【００５７】
図２１は画像ＤＢ６１のデータ構成例である。この図において原画像を領域分割した領域分割画像ファイルとその画像ファイルの特徴量が保存されている。特徴量は特徴データを識別する特徴量データＩＤとそれに関連付けられた大域領域の数、グローバルな色情報、オブジェクトの形状、グローバルなテクスチャ、グローバルな形状、空間関係、ローカルな色情報、ローカルなテクスチャ、ローカルな形状などの情報が記憶されている。
【００５８】
上記、建造物画像の前処理により特徴量が算出される過程で生成される一時画像について図を用い説明する。
【００５９】
まず、原画像よりオブジェクト領域を切り出し、形状の正規化を行う。  図２２はオブジェクト領域を切り出した図である。図２３は大域領域の詳細をあらわす図である。この図において［1］は大域領域の数をあらわしており、［2］は大域領域を構成する局所領域の色情報を指している。
［3］は大域領域の重心をあらわしており、大域領域が離れているため位相関係は０となる。
【００６０】
図１７は大域領域を構成する局所領域の並び方をあらわしており数式はPwであらわされる。
図１８はローカルな形状をあらわしており、各大域領域の形状モーメントは平均(０°〜３６０°：１０°毎)であり、値の範囲：０〜１(正規化した値)である。
【００６１】
図２４はグローバルな形状をあらわしており、大域領域の形状(５０個の点でサンプリングを行ったものである。
図２５は空間関係をあらわす図であり、大域領域の面積, 重心座標, 位相関係をあらわしている。位相関係は 大域領域数が2つ以上の時に生成する。
図２６はローカルなテクスチャをあらわす図である。
【００６２】
次に、図２７を用いて大域的領域抽出手段３７の処理手順を詳述する。
大域的領域抽出手段３７は起動されると、クラスタリングされていない局所的な領域を基準として、新しいクラスタを生成する(Ｓ５０２)。これを比較する局所的な領域がなくなるまで繰り返す(Ｓ５０３)。基準とする局所的な領域に対して幅優先探索で未探索な局所的な領域を探す(Ｓ５０４)。そして、面積・形状が類似しているかの判定を行い、(Ｓ５０５)。面積および形状が一致していなければステップＳ５０７の処理を行い、一致していれば同じクラスタとし、基準ではない方の局所的な領域を基準とする(Ｓ５０６)。これを比較する局所的な領域がなくなるまで繰り返す(Ｓ５０７)。次に、クラスタに属する局所的な領域数が２以上のクラスタを獲得する(Ｓ５０８)。クラスタリングされていない局所的な領域がなくなるまで繰り返す(Ｓ５０９)。そして、クラスタに属するすべての局所的な領域を含む領域を抽出する(Ｓ５１０)。大域領域すべてに対して、大域領域の色、テクスチャ、形状、空間関係の特徴量を算出する（Ｓ５１２）。  
【００６３】
このステップＳ５１２の処理内容は具体的には以下のようになる。
局所領域をグループ化した数m_labelから大域領域の数を算出する。
オブジェクト領域となる画素について、RGBからYIQに変換し、192等分したヒストグラムを作成し、グローバルな色情報を算出する。
【００６４】
そして、オブジェクト領域の輪郭を200等分し、各サンプリング点の座標をzahyo_x2, zahyo_y2に保持する。隣接点とつないだときの線分と水平とのなす角を算出し、オブジェクトの形状を算出する。次に、大域領域を構成する局所領域の縦・横の平均間隔GR_TEX_G_H, GR_TEX_G_Vと、局所領域間の縦・横の平均間隔TEX_G_H, TEX_G_Vからテクスチャの値を算出し、グローバルなテクスチャを算出する。
【００６５】
そして、大域領域の輪郭を50等分して、各サンプリング点の座標をzahyo_x, zahyo_yに保持する。隣接点とつないだときの線分と水平とのなす角を算出しグローバルな形状を算出する。各大域領域の重心座標を保存。検索時に領域間の位置関係を算出する。また、各大域領域間の位相関係を算出し空間関係を算出する。
［画像検索処理］
【００６６】
次に、図２８を用いて画像検索手段３９の処理を説明する。
ユーザは、入力部１１を通してクエリ画像を選択して検索対象の画像（例示画像）の入力を行う（Ｓ２０１）。これにより、画像検索手段３９が起動され、例示画像の局所的・大域的な領域データの読み込みが行われる（Ｓ２０２）。一方、データベースの中の画像の局所的・大域的な領域データの読込みが行われる(Ｓ２０３)。そして、まず局所的な領域の色・テクスチャ・形状を比較し類似度を計算する（Ｓ２０４）。次に大域的な領域が存在しないかを判定し（Ｓ２０５）大域的な領域が存在すれば大域的な領域のテクスチャ・形状を比較し類似度を計算する（Ｓ２０６）。大域的な領域が存在しなければオブジェクト領域の形状とカラーヒストグラムを比較し類似度を計算して（Ｓ２０７）、その計算結果を出力する。オブジェクト領域の形状とカラーヒストグラムを比較し類似度を計算する（Ｓ２０８）。そして、各特徴の類似度から最終の類似度の計算を行う（Ｓ２０９）。データベース中のすべての画像と比較が終わるまでステップＳ２０４からＳ２０９を繰り返す（Ｓ２１０）。インタフェース上で類似度順に画像を表示する（Ｓ２１１）。
【００６７】
図２９は、検索インタフェースの画面図である。この図において、左下部分でユーザは類似性評価基準である７つの特徴の重みを任意に指定することができ、注目する特徴に応じた検索が可能となる。図中、左側の画像はクエリ画像、右側の画像は上からクエリ画像に類似している順に検索結果を表示している。またクエリ画像の下、検索結果画像の右側の画像はオブジェクト領域、大域的な領域G、大域的な領域を構成する局所的な領域Lg の抽出結果を表示しており、システム側がどのように画像を認識したか確認できる。右側の棒グラフは各特徴の類似度を視覚的に表しており、注目している特徴以外の類似度も認識できる。
【００６８】
以上、本実施の形態によれば、大域領域のテクスチャ、領域形状と局所領域のテクスチャ、領域形状、色相類似性、および、これら各要素を関連付ける大域領域属する領域間の空間関係により、画像の特徴量データを効率的に保存することができる。また、比較する画像の類似度を各特徴量ごとに演算し、各演算結果に重み付けをして最終的な類似度を求めて判定するので客観的かつ迅速な検索が可能となる。
【００６９】
さらに、同一形状（領域）の周期的出現をマクロな視点による画像のテクスチャとして捉え、その特徴量を周期的に出現する領域の幅、間隔の平均値として表現し、同一形状の周期的な出現の検出により建造物画像を領域分割して、階層的に特徴量データを保存するので、窓や扉などの繰り返しパターンの多い建造物に対しては、少ないデータ量で類似判定が可能となる。特に重心から輪郭線上のある一点を結ぶ線分の角度と線分長との関係により領域形状の類似性を判定するため、空間関係を高精度で捉えることができる。
【実施例１】
【００７０】
［データベース内の画像の例］
画像検索手段３９により建造物の画像が４５０枚保存してあるデータベースの中からランダムに選ばれた１０枚の建造物の画像を図３０、図３１に示す。
［局所的・大域的な形状による検索例］
【００７１】
同じ重みの局所的な形状と大域的な形状による検索例を図３２の上側に示す。左側がクエリ画像で右側がクエリ画像に対する検索結果である。
【００７２】
局所的な形状は窓やベランダの形状に注目しており、大域的な形状は規則的に並んだ窓やベランダの集合の領域の形状と建造物の形状に注目している。検索結果の1〜3位を見るとこれらの特徴が特に類似した画像が検索された。このような検索ではクエリ画像のように窓や建造物の形状が特徴的な場合に有効であると考えられる。また図３０, ３１の画像を見ると、窓やベランダの形状や建造物の形状は様々であり、狭い範囲で建造物の形状を捉えた時の類似性と広い範囲で建造物の形状を捉えた時の類似性を評価する必要があると考えることができる。
［局所的・大域的なテクスチャによる検索例］
【００７３】
同じ重みの局所的なテクスチャと大域的なテクスチャによる検索例を図３２の下側に示す。局所的なテクスチャは壁のテクスチャと窓やベランダのテクスチャに注目し、大域的なテクスチャは規則的に並んだ窓やベランダの並び方に注目している。検索結果を見ると、規則的に並んだ窓のテクスチャと並び方をそれぞれ局所的なテクスチャ、大域的なテクスチャとして両方が類似した画像が検索された。このような検索では窓やベランダの並び方と窓や壁のテクスチャが特徴的であるような建造物画像に有効であると考えられる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態に係わる建造物画像検索システムの機能ブロック図である。
【図２】本発明の建造物画像検索方法の概念説明図である。
【図３】大域的なテクスチャの横の間隔Dと横幅wをあらわす図である。
【図４】原画像をあらわす図である。
【図５】オブジェクト領域の抽出画像である。
【図６】オブジェクト領域から陰影を除去した画像である。
【図７】オブジェクトの形状を正規化した画像である。
【図８】領域分割を行った画像である。
【図９】大域的領域抽出を行った画像である。
【図１０】本発明の前処理の処理手順を説明するフローチャートである。
【図１１】図１の形状補正手段の処理手順を説明するフローチャートである。
【図１２】図１の局所的領域抽出手段の処理手順を説明するフローチャートである。
【図１３】図１２の形状補正手段における原画像の図である。
【図１４】図１２の形状補正手段における建造物の直線成分図である。
【図１５】形状補正手段におけるブロックに検出をあらわす図である。
【図１６】背景除去結果をあらわす図である。
【図１７】大域領域を構成する局所領域の並び方をあらわす図である。
【図１８】図１の局所的領域抽出手段におけるローカルな形状をあらわす図である。
【図１９】図１６の図に対し局所的画像を抽出した結果をあらわす図である。
【図２０】図１９の図に対し大域的な領域を抽出した結果をあらわす図である。
【図２１】図１の図における画像ＤＢ６１のデータ構成をあらわす図である。
【図２２】オブジェクト領域を切り出した図である。
【図２３】大域領域の詳細をあらわす図である。
【図２４】グローバルな形状をあらわす図である。
【図２５】空間関係をあらわす図である。
【図２６】ローカルなテクスチャをあらわす図である。
【図２７】図１における大域的領域抽出手段の処理手順をあらわすフローチャートである。
【図２８】図１における画像検索手段の処理手順をあらわすフローチャートである。
【図２９】検索インタフェースの画面図である。
【図３０】図１における画像検索手段により抽出された建造物の画像をあらわす図である。
【図３１】図１における画像検索手段により抽出された建造物の画像をあらわす図である。
【図３２】局所的な形状と大域的な形状による検索結果をあらわす図である。
【符号の説明】
【００７５】
１    建造物画像検索システム
１１    入力部
１２    出力部
１３    中央演算処理部
１４    記憶部
３１    入出力処理手段
３２    画像情報入力手段
３３    画像編集支援手段
３５    形状補正手段
３６    局所的領域抽出手段
３７    大域的領域抽出手段
３９    画像検索手段
４０    画像出力手段
６１    画像ＤＢ
【図１】
2006031567.tif 000011
【図１０】
2006031567.tif 000012
【図１１】
2006031567.tif 000013
【図１２】
2006031567.tif 000014
【図１７】
2006031567.tif 000015
【図１８】
2006031567.tif 000016
【図２１】
2006031567.tif 000017
【図２４】
2006031567.tif 000018
【図２５】
2006031567.tif 000019
【図２７】
2006031567.tif 000020
【図２８】
2006031567.tif 000021
【図２】
2006031567.tif 000022
【図３】
2006031567.tif 000023
【図４】
2006031567.tif 000024
【図５】
2006031567.tif 000025
【図６】
2006031567.tif 000026
【図７】
2006031567.tif 000027
【図８】
2006031567.tif 000028
【図９】
2006031567.tif 000029
【図１３】
2006031567.tif 000030
【図１４】
2006031567.tif 000031
【図１５】
2006031567.tif 000032
【図１６】
2006031567.tif 000033
【図１９】
2006031567.tif 000034
【図２０】
2006031567.tif 000035
【図２２】
2006031567.tif 000036
【図２３】
2006031567.tif 000037
【図２６】
2006031567.tif 000038
【図２９】
2006031567.tif 000039
【図３０】
2006031567.tif 000040
【図３１】
2006031567.tif 000041
【図３２】
2006031567.tif 000042