(57)【要約】    【課題】予め分類情報が付与された複数の画像の中から、画像の形状に基づく類似性に加えて分類情報に基づく類似性を考慮して検索質問画像に類似する画像を見出す。    【解決手段】検索質問画像から形状的特徴を抽出するクエリ特徴抽出部と、予め分類情報が付与されかつ形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合部と、前記照合に基づいて形状類似度を算出する形状類似度算出部と、検索質問画像に分類情報を付与する分類付与部と、分類情報の一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出部と、形状類似度および分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力部と、を備える類似画像検索装置。【選択図】図５
2020144440.tif 000002
【特許請求の範囲】
【請求項１】
検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出部と、
予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合部と、
前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出部と、
各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与部と、
検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出部と、
前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力部と、
を備える類似画像検索装置。
【請求項２】
前記参照画像が登録商標の画像であり、各参照画像に付与された分類情報がウィーン分類コードであり、検索質問画像および各参照画像に係る形状的特徴がそれぞれの画像から複数抽出される局所特徴であり、
前記形状照合部は、検索質問画像に係る各局所特徴と各参照画像に係る各局所特徴とをそれぞれ照合し、照合された形状的特徴について検索質問画像に対する各参照画像の類否を判断する請求項１に記載の類似画像検索装置。
【請求項３】
前記出力部は、各参照画像について、形状類似度と分類類似度とを相補的に重み付けした総合類似度に基づいて類否を判断する請求項２に記載の類似画像検索装置。
【請求項４】
前記形状照合部が照合に用いた局所特徴が、信頼性のある特徴か否かを検証する検証部と、
検索質問画像に対し出力部が出力した１以上の登録商標画像の少なくとも一部を新たな検索質問として、その新たな検索質問に対する類似画像を得る擬似適合フィードバック部とをさらに備え、
前記出力部は、前記検索質問に対する出力として得られた登録商標画像に擬似適合フィードバック処理で得られた登録商標画像を加えて最終出力とする請求項２または３に記載の類似画像検索装置。
【請求項５】
前記分類付与部は、各参照画像とそれに対し付与された分類情報とを教師データとして学習することで画像入力に対して分類情報を出力するよう構築された機械学習モデルを含んで構成される請求項１〜４の何れか一つに記載の類似画像検索装置。
【請求項６】
コンピュータが実行する処理であって、
検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、
予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、
前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、
各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、
検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、
前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、
を備える類似画像検索方法。
【請求項７】
コンピュータに処理を実行させるプログラムであって、
検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、
予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、
前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、
各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、
検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、
前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、
を備える類似画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検索質問として画像が与えられた場合、分類情報が付与された複数の画像の中から、画像の形状に基づく類似性に加えて分類情報に基づく類似性を考慮して類似する画像を見出す装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、画像を検索質問として画像を検索する技術が注目されている。自動運転、セキュリティシステムあるいはロボティクス等、多くの分野への適用が期待されている。その多くは、画像の図形的、形状的特徴のみに基づいて検索を行うものである。
しかし、画像の中には分類体系が定められ、その分類体系に基づく分類情報が例えば人手によって付与されて整理、蓄積されてきた分野がある。一つの具体例として商標の審査、特に図形商標の審査が挙げられる。
【０００３】
商標は事業者や企業が自己の提供する商品やサービスに付ける標識であり、ブランドイメージを示す重要な役割を担っている。独占排他的な商標権を得るためには、特許庁に申請し、審査を受けて登録が認められる必要がある。商標の審査とは、申請された商標に対して、外観、観念、称呼の観点から、既に登録された商標（登録商標）等の中に類似したものがないかを確認する作業である。もし、登録商標の中に類似したものが見つかれば拒絶される。これはビジネスの機会損失につながる。そこで、特許庁への出願前に、商標審査官が行うようなシステムを用いて申請者が類似商標を検索できれば、商標出願後に拒絶されるリスクを低減でき、ビジネスの機会損失を防ぐことができると考えられる。
商標審査のプロセスを考えてみる。大量にあるすべての登録商標に対して類似性を人手で評価することは非現実的である。特に、図形やデザイン性を有する文字を含む商標について類似商標の検索は容易でない。そのため、特許庁では独自の商標検索システムを使って、登録商標を絞り込んでから、類似性を評価している。
【０００４】
この明細書では、外観、観念、称呼のうち最も基本的で多数の事例を有する外観の類似を対象として説明を進める。外観が類似した商標を絞り込むには、商標の図形要素を分類したウィーン分類が用いられている。具体的には、出願商標に対して専門家が付与したウィーン分類コードをシステムに入力し登録商標のウィーン分類コードと照合する。審査を経た登録商標には、既にウィーン分類コードが付与されている。そして、同じ分類の図形が描かれた商標を出力する。このようにして絞り込まれた商標を対象に、商標審査官は出願商標との類似性を判別している。
【０００５】
従来から、商標の外観類似を検索する手法が幾つか提案されている。しかし、これは主に形状の類似性から類似商標を検索している。しかし、例えば、形状が異なっていても、同じ分類の図形が描かれていれば、その商標を類似しているとみなすケースがある。つまり外観類似の商標を検索する手法は、図形の形状のみならず分類も考慮しなければならない。
【０００６】
図形の分類も考慮した検索には、図形の分類に基づいた類似性を評価する必要がある。登録商標に関しては、我が国を含む多くの国の登録商標にウィーン分類コードが付与されている。一方、出願商標は新規の商標であるからウィーン分類コードが付与されていない。出願商標にウィーン分類コードを付与するには、専門家が持つ知識や経験則が不可欠である。しかし、我々が知る限り、ウィーン分類コードを自動的に付与する研究事例はない。
この問題を解決できる可能性のある技術としてディープラーニングがある。ディープラーニングを用いた画像分類では、人手を介さずに分類するうえで最適な特徴を抽出するため、分類精度が飛躍的に向上している。そこでディープラーニングを用いた画像分類についての関連研究を述べる。
【０００７】
Saitoらの研究に、イラストに分類を付与するIllustration2vecがある（例えば、非特許文献１参照）。この研究では、イラストに描かれている要素を1,539個の分類で表し、入力したイラストに対して自動で分類を複数付与するネットワークを作成している。例えば、青い目で金髪の1人の少女が描かれたイラストをこのネットワークに入力すると、「青い目」、「１人」、「金髪」「少女」といった分類を付与することができる。また、Panらは、食品が映った画像を41種類の中から１種類に分類するDeepFoodの研究を行っている（例えば、非特許文献２参照）。各食品に対して100画像あるデータセットを用いて、three-fold cross validationで評価したところ、約85％以上の精度で分類することができている。このように近年、ディープラーニングを用いた画像分類の研究は目覚ましい成果を出している。また、Heらは、自然画像に映っている物体を1,000クラスの物体のなかから認識するResNetの研究を行っている（例えば、非特許文献３参照）。ResNetは、Large Scale Visual Recognition Challenge 2015という画像認識コンペティションにおいて第一位の精度を出しており、その認識エラー率が約4％と非常に低いことから画像分類手法の中でも代表的な手法となっている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】M Saito, and M Yusuke. “Illustration2vec: a semantic vector representation of illustrations.” SIGGRAPH Asia 2015 Technical Briefs. ACM, (2015), pp. 5:1-5:4
【非特許文献２】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma, “Deepfood: ディープラーニング-based food image recognition for computer-aided dietary assessment,” International Conference on Smart Homes and Health Telematics. Springer, Cham, (2016), pp. 37-48
【非特許文献３】K. He, X. Zhang, S. Ren and J. Sun “Deep residual learning for image recognition.” Proceedings of the IEEE conference on computer vision and pattern recognition. (2016), pp.770-778
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述のように、ウィーン分類コードが付与されていない出願商標に外観が類似した登録商標を検索するには、出願商標に相応しいウィーン分類コードを付与したうえで検索を行うことが好ましい。しかし、未付与の商標にウィーン分類コードを付与する作業は、一般の企業や事業者である申請者が行うには手間がかかり、また安定性に欠ける。ウィーン分類コードを自動的に付与することができれば、誰もが簡単に使え、より効率的な類似商標の検索手法が実現できる。
この発明は、以上のような事情を考慮してなされたものであって、予め分類情報が付与された複数の画像の中から、画像の形状に基づく類似性に加えて分類情報に基づく類似性を考慮して検索質問画像に類似する画像を見出す手法を提供するものである。例えば、外観が類似した商標を検索する手法として、図形の形状に基づく類似性に加えて図形の分類に基づく類似性を考慮した検索手法が実現される。
【課題を解決するための手段】
【００１０】
この発明は、
（１）検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出部と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合部と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出部と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与部と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出部と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力部と、を備える類似画像検索装置を提供する。
【００１１】
（２）コンピュータが実行する処理であって、検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、を備える類似画像検索方法を提供する。
【００１２】
（３）コンピュータに処理を実行させるプログラムであって、コンピュータに処理を実行させるプログラムであって、検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、を備える類似画像検索プログラムを提供する。
【発明の効果】
【００１３】
この発明による類似画像検索装置は、照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出部と、検索質問画像に分類情報を付与する分類付与部と、分類情報の一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出部と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力部と、を備えるので、画像の形状に基づく類似性に加えて分類情報に基づく類似性を考慮して検索質問画像に類似する画像を見出すことができる。
この発明による類似画像検索方法および類似画像検索プログラムも同様である。
【図面の簡単な説明】
【００１４】
【図１】この実施形態に係るウィーン分類コードの分類体系を示す説明図である。
【図２】この実施形態に係る登録商標に付与されているウィーン分類コードの一例を示す説明図である。
【図３】この実施形態に係る登録商標に付与されているウィーン分類コードの異なる一例を示す説明図である。
【図４】この実施形態に係る登録商標に付与されているウィーン分類コードのさらに異なる一例を示す説明図である。
【図５】この実施形態に係る外観類似商標検索の処理の流れの概要を示す説明図である。
【図６】図５に示す処理のうちウィーン分類コード付与の詳細を示す説明図である。
【図７】この実施形態において分類類似度ａの算出例を示す説明図である。
【図８】この実施形態における実験例で、ウィーン分類コードの大分類の学習に用いたデータの数を大分類毎に示すグラフである。
【図９】この実施形態において予測精度が最も高い閾値パラメータＮと重みパラメータｍおよびその周辺の値を用いた結果を示すグラフである。
【図１０】この実施形態において、機械付与されたウィーン分類コードの具体例を示す図である。
【図１１】この実施形態において、機械付与されたウィーン分類コードの異なる例を示す図である。
【図１２】この実施形態において、機械付与されたウィーン分類コードのさらに異なる例を示す図である。
【図１３】この実施形態による手法と専門家による付与の検索手法と既存手法との11点補完平均適合率を示すグラフである。
【図１４】この実施形態による外観類似商標の検索結果の一例を示す説明図である。
【図１５】この実施形態による外観類似商標検索の異なる例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
以下、分類情報が付与され、整理、蓄積されてきた画像の一例としてウィーン分類コードが付与された登録商標を挙げ、具体的な画像検索について述べる。
≪ウィーン分類とコード体系≫
この発明に関連するウィーン分類について、初めに述べておく。
ウィーン分類とは、1973年にオーストリアのウィーンで作成された商標に含まれる図形要素を形状などの特徴によって分類した国際指標である。わが国では2004年度からウィーン分類を商標審査に利用している。
【００１６】
ウィーン分類は、図１に示すとおり大分類、中分類、小分類の木構造をもち、それぞれ29/144/1887の分類から成りたっている。例えば、大分類は表１に示すように、29の区分に分けられている。
【表１】
2020144440.tif 000003
大分類1（天体、自然現象、地図）のように物体や現象を表す分類や、大分類２６（幾何学図形及び立体的幾何学図形）のように図形の形状を表す分類などがある。また大分類１（天体、自然現象、地図）に属する中分類に着目すると、中分類1.1（星、彗星）、中分類1.3（太陽）、中分類1.5（地球、地球儀、惑星）、中分類1.7（月）のように枝分かれし、中分類1.1（星、彗星）では、小分類1.1.1（星）、小分類1.1.2（一つの星）、小分類1.1.3（二つの星）さらに細かく分けられている。つまりウィーン分類では下層の分類ほど図形の複雑な要素を示すことができる。
基本的にウィーン分類コードは、大分類、中分類、小分類の組み合わせで表現されるが、日本では独自に小分類をもう一段階細かく分類した細分類を設けている。
【００１７】
実際に、登録商標に付与されているウィーン分類コードの例を図２から図４に示す。各図には、上側に対象となる商標を示し、下側の表の各行が商標に付与されたウィーン分類コードを示している。また、表の１列目に付与されたウィーン分類コードを示し、２列目に大分類、３列目に中分類、４列目に小分類、５列目に細分類を示している。
【００１８】
図２で扱う商標（登録商標第１４０６５８９号）は、「ＴＡＭＩＹＡ」と書かれた登録商標でありアルファベットの上部に正方形の中に星が描かれた図が２つ並んでいる。この登録商標の図形を表した部分は、正方形の中に星が描かれた部分であるため、大分類１（天体、自然現象、地図）と大分類２６（幾何学図形及び立体的幾何学図形）に属する７個のウィーン分類コードが付与されている。その中で、「星」を表現しているウィーン分類コードは、大分類１（天体、自然現象、地図）、中分類１（星、彗星）、小分類１（星）となり1.1.1と表される。またこの星に対して、1.1.1（星）と1.1.3（二つの星）と内容が重複されているウィーン分類コードが付与されている。このような内容が重複しているウィーン分類コードの付与は、基本的には検索漏れを防ぐために行われていると考えられるが、その判断は専門家の知識や経験則によるものである。
【００１９】
次に、図３に文字を図形のように変形した登録商標（登録商標第３２２０４４８号）と付与されたウィーン分類コードを示す。この例では、「Ｈｉｓａｍｉｔｓｕ」と書かれた「Ｈ」の部分に3本の横線が引かれており、特殊な書体となっている。以上のことから、ウィーン分類コード27.5.1.8（H,h）が付与されている。また、ウィーン分類コード27.5.21（一文字）が付与されているように、ウィーン分類コードが付与されている箇所は、「Ｈ」の部分だけであり、残りの「ｉｓａｍｉｔｓｕ」にはウィーン分類コードが付与されていない。このように、どの文字が図形要素を表しているかを判断する基準も専門家の知識や経験則による。
【００２０】
最後に図４にキャラクターを用いた登録商標（登録商標第４６２４３７２号）と付与されたウィーン分類コードを示す。この登録商標には、円に手足の生えたキャラクターが描かれており、７個のウィーン分類コードが付与されている。ウィーン分類コード4.5.5に着目すると、「その他の確認できない物の擬人化、その他人間の姿をした空想の物」とある。ここで示す「その他」とは、中分類4.5の下層の他のウィーン分類コード（例えば4.5.1（擬人化した植物、擬人化した植物の組合せ）や、4.5.4（人間の容姿のロボット）など）で表現できないものを指す。このように「その他」を含むウィーン分類コードは、対象となる層の他のウィーン分類コードも考慮する必要があるため、専門家の知識が必要となる。
【００２１】
≪外観類似商標検索の概要≫
図５は、この実施形態に係る外観類似商標検索の処理の流れの概要を示す説明図である。図５に示すように、外観類似商標検索の処理は、大別すると、登録処理１１と検索処理２１に分けられる。
この実施形態において、登録処理１１および検索処理２１は、ＣＰＵ（中央処理装置）やメモリ等のハードウェア資源を有するコンピュータが、メモリに予め格納された処理プログラムを実行することによって実現される。
登録処理１１は、前記コンピュータがデータベースに商標画像を登録する処理である。コンピュータは、登録すべき商標画像（図５に示す登録商標１３、以下、データベース画像ともいう）から局所特徴を抽出する（図５に示す特徴抽出処理１５）。そして、抽出された局所特徴を、登録商標１３に付与されたウィーン分類コードと関連付けてデータベース１７に登録する。
検索処理２１は，コンピュータが検索質問２３の図形としての形状とウィーン分類とに基づく類似性をそれぞれ測り、それらの類似性から外観が類似した商標を検索する処理である。
ここで、検索処理を実行するコンピュータは、２１登録処理１１を実行するコンピュータと同一のものであってもよいが、異なるものであってもよい。
【００２２】
さらに検索処理２１は、図形の形状に基づく類似性を測る処理と、図形の分類に基づく類似性を測る処理に分けられる。
はじめに図形の形状に基づく類似性を測る処理について述べる。
コンピュータは、まずクエリ（図５に示す検索質問２３）となる商標画像（以下、クエリ画像）から局所特徴を抽出する（図５に示すクエリ特徴抽出処理２５）。次に、データベース１７に登録されたそれぞれのデータベース画像について、そのデータベース画像から抽出された局所特徴とクエリ画像から得られた各局所特徴とを照合する（図５に示す形状照合処理２７）。そして、照合された各局所特徴が信頼性のある特徴かどうかを評価する検証処理を行う（図５に示す検証処理２９）。
検証処理２９においてコンピュータは、局所的には類似するが大域的には類似しない箇所の局所特徴の照合を信頼性の低いものとみなし、照合された局所特徴を形状類似度の算出に含めないように廃棄する処理を行う。言い換えると、各局所特徴の位置関係を考慮することにより非類似商標の検索を抑制する。
より詳細には、照合された局所特徴の信頼性を、他の照合された局所特徴との相対的な位置関係を基準に評価することにより判断し、信頼性の低いものを廃棄する。
ここでいう信頼性は、照合された局所特徴が形状類似度の決定に貢献するか否かを指す。各局所特徴は、画像の局所的な領域に着目した特徴であることから、大域的には似ていない画像の局所特徴と対応づくことがある。そのような局所特徴は、形状類似度の決定に貢献するものといえずノイズでしかない。検証処理２９においてコンピュータは、そのようなノイズを除去する。
最後にコンピュータは、信頼性のある局所特徴と評価された照合数に基づいて、データベース画像の図形の形状に基づく類似度ｓ（以下、形状類似度ｓとする）を測る（図５に示す形状類似度算出処理３１）。
検証処理２９および形状類似度算出処理３１の詳細については工藤らの研究（R. Kudo, M Iwata, M. Iwamura, and K Koichi, “Proposal of Similar Image Retrieval System Using Large Scale Trademark Image Database,” Journal of the Imaging Society of Japan, 57, pp.403-412 (2018)）を参照されたい。
【００２３】
局所特徴を用いた手法は、大域的にも部分的にも類似した商標の検索を行うことができる。しかし、部分的に似ている商標が類似商標とは限らないため、この手法は同時に非類似商標の検索の原因にもなる。
この問題を解決するために、この実施形態では局所特徴に基づく検索手法に対して、非類似商標の検索を抑制する処理と類似商標の検索を促進する処理を導入した。前者の非類似商標の抑制については、局所特徴の位置関係を考慮することにより対応している。後者の類似商標を促進する処理については擬似適合フィードバック（Pseudo relevance feedback、詳細はR. Kudo, M. Iwata, M. Iwamura, and K. Kise, “Improvement of Trademark Retrieval Using Pseudo Relevance Feedback,” 11th Indian Conference on Vision, Graphics and Image Processing, (2018) 参照）を導入すること対応している。
しかし、これらの手法を用いてもなおすべての類似商標を検索できるわけではない。図形の形状の類似度のみで商標の外観類似を評価するだけでなく、図形の分類に基づく類似性も考慮する必要がある。
【００２４】
次に、図形の分類に基づく類似性を測る処理について述べる。コンピュータはまず、クエリ画像にウィーン分類コードを付与する（図５に示すウィーン分類コード付与処理３３による機械付与）。一以上のウィーン分類コードが付与される。次に、クエリ画像のウィーン分類コードとデータベース画像のウィーン分類コードの一致した数から図形の分類に基づく類似度ａ（以下、分類類似度ａとする）を測る（図５に示す分類類似度算出処理３５）。これらの処理を経て、得られた形状類似度ｓと分類類似度ａとに基づいて、総合的な類似度が高い順に出力する画像を決定する。
前述のように、類似商標の検索精度を向上させるために、この実施形態では擬似適合フィードバックを採用している。以下、各処理の詳細について述べる。
【００２５】
〔ウィーン分類コード付与処理〕
コンピュータは、ディープラーニング（Deep Learning）の手法を適用して、クエリ画像としての商標にウィーン分類コードの付与を行う。ウィーン分類コード付与処理は、学習処理と付与処理の２つの段階に分けられる。
それらのうち学習処理では、既にウィーン分類コードが付与されている登録商標を用いて、各登録商標の図形を入力とし、その登録商標に付与されたウィーン分類コードの1,644分類の小分類を出力とした場合の入出力関係について学習し、学習済みモデルを生成する。この実施形態では日本独自の指標である細分類は学習の対象としないものとする。すなわち、細分類を含んだウィーン分類コードが付与されている登録商標については、細分類を除いた大分類・中分類・小分類までを学習に用いる。例えば、ウィーン分類コード2.9.1.2（トランプのハート）は2.9.1（心臓）として学習を行う。
【００２６】
ウィーン分類コード付与処理３３の学習処理に用いるディープラーニングのネットワークの種類は、画像認識で代表的なネットワークであるResNet（Residual Network）とする。ResNetは、50層、101層、152層の3種の層を用いたモデルが一般的だが、この実施形態では最もシンプルなResNet50を用いる。
ResNet50で扱うloss関数は、通常シングルラベルを扱うsoftmax cross entropyが用いられる。しかし、一つの登録商標に対して唯一つのウィーン分類コードが付与、即ちラベル付けされるだけでなく複数が付与されることがあるので、この実施形態ではマルチラベルを扱うためsigmoid cross entropyを用いる。sigmoid cross entropyを用いることにより、対象となるそれぞれのウィーン分類コードが存在するか、もしくは存在しないという二値のマルチラベル分類を行う。またsigmoid関数を通すことで、出力されるベクトルの要素は[-∞, ∞]から[0, 1]の値に正規化される。正規化された値が１に近いほど、対応したウィーン分類コードが商標に付与されている可能性が高いと考えられる。またウィーン分類コードの付与精度を向上させる手法として、学習に用いるデータの正規化やData augmentationを用いる。
【００２７】
次に、ウィーン分類コード付与処理３３の付与処理について述べる。付与処理の流れを図６に示す。コンピュータはまず、ウィーン分類コードを付与すべき新規の商標（検索質問２３）を上述の学習済みモデルに入力する。そして、前記学習済みモデルから入力した商標に対するウィーン分類コードの出力を得る。前記学習済みモデルは、出力として1,644次元のベクトルを出力する。出力するベクトルの各次元の要素は、学習を行ったウィーン分類コードの各小分類と対応している。図６に示す検索質問は、新規の商標に代えて、登録商標第４７７２２３４号を入力した例を示している。コンピュータは、各次元について、要素が閾値Ｎ以上の場合その要素に対応するウィーン分類コードを検索質問２３の商標に対して付与する。例えば、ウィーン分類コード2.5.6（乳児）に対応するベクトルの要素が0.78の場合、Ｎ＝0.5ならば検索質問２３にウィーン分類コード2.5.6を付与する。しかし、Ｎ＝0.8ならば、そのウィーン分類コードを付与しない（図６参照）。ここで用いる閾値パラメータＮは、後述の実験により決定する。
【００２８】
〔分類類似度算出処理〕
図５に示す分類類似度算出処理３５で、コンピュータは、ウィーン分類コードを用いてデータベース画像の分類類似度ａを算出する。すなわちクエリ画像とデータベース画像に付与された同じウィーン分類コードの数から分類類似度aを算出する。この場合、該当するウィーン分類コードの数をそのまま分類類似度aと定義すると、データベース画像に付与されたウィーン分類コードの数が多いほど、分類類似度aが高くなる。よって、この実施形態で用いる分類類似度aは、データベース画像に付与されたウィーン分類コード数の値で正規化する。
つまりクエリ画像の商標xに付与されたウィーン分類コードの集合がXであり、データベース画像yに付与されたウィーン分類コードの集合がYである場合、分類類似度aを、以下のように定義する。ただし、|Y|はデータベース画像yに付与されたウィーン分類コードの数を表す。
【００２９】
【数１】
2020144440.tif 000004
なお、正規化をする際に、平方根をとったデータベース画像のウィーン分類コード数の値で除算することは、事前実験による知見から得たものである。
分類類似度aの算出例を図７に示す。このクエリ画像にはウィーン分類コードが3個付与されており、データベース画像（登録商標第４４８８６４７号）にはウィーン分類コードが5個付与されている。また同じウィーン分類コードが付与された数は2個ある。すなわち図７の例では、データベース画像の分類類似度aは2/√5となる。
【００３０】
〔出力処理〕
以上のプロセスを経た後に、コンピュータはクエリ画像と照合されたデータベース画像をすべて出力する（図５に示す出力処理３７）。出力処理３７で、コンピュータはデータベース画像の形状類似度ｓと分類類似度ａをもとに総合類似度ｓ’を算出し、総合類似度ｓ’の値が高い順に出力を行う。算出には以下の式を用いる。
【数２】
2020144440.tif 000005
（２）式に示すように、データベース画像の形状類似度ｓと分類類似度ａの重みを示す定数パラメータｍに対して形状類似度ｓと分類類似度ａとは相補的な関係にある。なお、重みパラメータｍの値は、後述の実験により決定する。
【００３１】
〔擬似適合フィードバック（Pseudo relevance feedback）〕
擬似適合フィードバック（図５の擬似適合フィードバック処理３９参照）は、検索質問２３を拡張して検索漏れを低減する手法である。まず、元のクエリ画像（以下、初期クエリ）を使用して、出力処理を行い、総合類似度ｓ’の高い順に上位Ｎ個の画像（初期出力）を得る。その後、上位Ｎ個の前記画像を新たな検索質問２３として再度検索を行う。再度の検索によって得られた出力を用いて初期出力を更新し、最終出力４１を得る。この手法を用いることにより、初期検索で欠落した類似商標を最終出力４１に含めることができる。以下の式を用いて各商標に対する最終の総合類似度ｓ’’を得る。
【数３】
2020144440.tif 000006
（３）式で、s’0は、初期クエリを用いた場合の総合類似度s’を示す。ｓ’kは、検索結果ｋ位の商標を検索質問に用いた場合の総合類似度s’を示す。
【００３２】
≪実験≫
この実施形態による手法の性能を調査するために２種類の実験を行った。
第１の実験では、この手法の検索に用いる適切な検索パラメータ、具体的には閾値パラメータＮおよび重みパラメータｍを調べる。商標検索の性質上、類似商標の検索漏れを避けることが最も重要である。そこで検索パラメータを変化させてその傾向を調査し、この手法の検索漏れが最も少なくなる場合の検索パラメータ（以下、最適な検索パラメータとする。）を求めた。
【００３３】
第２の実験では、この手法の有効性を示すために、形状類似度ｓのみで外観が類似した商標を検索する手法（以下、既存手法とする。）とこの実施形態による手法の検索結果の比較を行った。また、検索質問２３にウィーン分類コードが正確に付与された際に、この実施形態による手法の検索精度がどの程度向上するかについても調べた。具体的な方法として、図５に示すウィーン分類コード付与処理３３を取り除き、代わりに専門家が手動で付与したウィーン分類コードを適用して分類類似度ａを算出した検索手法（以下、専門家による付与の検索手法とする。）とこの実施形態による手法の検索結果の比較を行った。
【００３４】
〔第１の実験：検索に用いる適切なパラメータを調査する実験〕
（実験で使用したデータセット）
日本の登録商標の画像623,101枚をデータベース画像とし、4,222枚をクエリ画像とした。まず4,222枚中1,000枚のクエリ画像を用いて最適な検索パラメータを求め、その後残りの3,222枚でウィーン分類の機械付与が正確に行われているかとこの手法の有効性を確かめた。
1,000枚のクエリ画像の正解画像数は14,226枚であり、残りの3,222枚のクエリ画像の正解画像数は45,422枚であった。この正解画像は、商標サーチャーと大学院２８名の協力のもと、１枚ずつ目視で評価して定めた。この際、「クエリ画像に対して、解像度の違いや色の違いは考慮せず、画像の一部または全体に、人が見て明らかに同一の形状が存在していると判断できる画像」を選択させた。また、本実験で使用されるデータセットは、完全に同一な商標はなく、解像度や色などの差異が認められた商標を用いた。
【００３５】
（実験条件）
実験で使用したCPUはAMD Opteron（登録商標） Processor 6238でメモリは512GBの計算機である。またGPUはNVIDIA Corporation GP102 を9枚使用した。また形状類似度ｓを求める際に、用いたパラメータは以下のものとする。各種パラメータの詳細は工藤らの研究（R. Kudo, M Iwata, M. Iwamura, and K Koichi, “Proposal of Similar Image Retrieval System Using Large Scale Trademark Image Database,” Journal of the Imaging Society of Japan, 57, pp.403-412 (2018)）を参考にされたい。
形状類似度ｓの算出に用いたパラメータは以下の通り。
距離の概算値により検索する局所特徴の数  C＝1000
ｋ近傍探索におけるパラメータ  k＝10
今回の実験で用いたパラメータは、前述の工藤らの研究で使用したパラメータk＝50からk＝10に変更している。正解画像の追加やプログラムの実装の修正により、最も高速・高精度に検索できるパラメータに変更したためである。
【００３６】
ResNet50の学習には、日本の登録商標694,428枚を用いた。学習に用いた登録商標には、ウィーン分類コードが最大で40個、最小で1個付与されていた。さらにウィーン分類コードの付与されていた数の平均は8.1であり標準偏差は5.75であった。より詳細に学習データを分析するために、図８に各大分類の学習に用いたデータ数を載せる。図８は、横軸に大分類を示しており、縦軸に学習に用いたウィーン分類コードの数を示している。このグラフから、大分類２６（幾何学図形及び立体的幾何学図形）の学習データ数が2,332,188個と多く、最も学習データ数が少なかった大分類１２（家具、衛生施設）は5,617個であったことがわかる。つまり、登録された商標においてウィーン分類コードには偏りが生じており、不均衡なデータを学習することとなった。
【００３７】
またResNet50で用いた学習パラメータは以下のとおりである。
バッチサイズ：512
epoch数：100
optimizer ：Adam(alpha＝0.0001、beta1＝0.9, beta2＝0.999,  eps＝1.0 x 10-8, eta＝1.0)
alphaの減少： 60epochおよび90epochにてalpha の値を1/10
データの正規化：学習に用いる画像のChannel毎に学習データセットの平均値を引き1/255スケーリング
Data augmentation：Random Crop, Horizontal Flip
ResNet50のパラメータの初期化：Heらの研究に従う（K. He, X. Zhang, S. Ren and J. Sun “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” arXiv preprint arXiv, (2015) 参照）。
【００３８】
（最適な検索パラメータを求める実験の詳細）
この実験では、1,000枚のクエリ画像を対象に、この手法の最適な検索パラメータをグリッドサーチによって求めることで、各検索パラメータを変化させた場合の傾向を調べた。
さらに、最適な検索パラメータNを用いた場合の機械付与のパフォーマンスを調べるために、専門家が付けたウィーン分類コードとの差を3,222枚のクエリに対して確認した。
【００３９】
［実験条件］
最も検索漏れが少ない指標として、再現率（Recall）が100％の場合の適合率（Precision）を使用した。この実験において再現率は、検索質問とされた商標のうちであるウィーン分類コードが付与されるべきすべての商標のうちで、そのウィーン分類コードが機械付与されたものの割合といえる。再現率100％は、各分類について、その分類のウィーン分類コードが付与されるべき商標には、漏れなくそのウィーン分類コードが機械付与されたことを意味する。一方、この実験における適合率は、あるウィーン分類コードが機械付与されたすべての商標のうちで、本来そのウィーン分類コードが付与されるべきでないものを除いた割合といえる。再現率と適合率の算出には、11点補完平均適合率（Edited by K. Kita, K. Tuda and M. Shishibori, “Jyouhoukensaku arugorizumu,” Kyoritsu Shuppan (2002), pp.20-21参照）を採用した。この実験で対象とする検索パラメータは以下の２点であり、加えて各検索パラメータに関し、調査する値を以下に示す。
ウィーン分類コードの機械付与に関する閾値パラメータＮ
調査する値：0.1から1.0まで0.1間隔で設定
データベース画像の形状類似度ｓと分類類似度ａの重みパラメータｍ
調査する値：0.01から0.2まで0.01間隔で設定
【００４０】
［実験結果・考察］
まず、再現率が100％の場合の適合率が最も高い値を示す閾値パラメータＮと重みパラメータｍを上記の値で調べた。適合率が最も高い値を示す閾値パラメータＮとその周辺の値を用いた結果を図９に示す。
この図では、縦軸は再現率が100％の場合の適合率をプロットしており、横軸は重みパラメータｍを示している。適合率が最も高い値を示すＮとｍの値は、それぞれ0.3と0.1であった。検索にこれらのパラメータを用いることで、この実施形態における手法は約６７％の適合率を得ることができた。
次に、各パラメータＮおよびｍを変化させた場合の適合率の傾向について調べる。
まず、閾値パラメータＮの各設定値について、ｍを変化させた場合のそれぞれ最も高い値を示すピーク適合率を比較すると、最大のピーク適合率はＮ＝0.3，ｍ＝0.1の場合における66.5％である。これに対して、最少のピーク適合率はＮ＝0.5，ｍ＝0.09の場合における66.75％であって、その差が0.2％以内に収まっている。このことから、閾値パラメータＮに対するピーク適合率の変化については大きな差異が見られなかった。
一方、重みパラメータｍを大きくすると、どの閾値パラメータＮ対してもｍ＝0.15付近で適合率が減少傾向になるが、その度合いはＮの値が大きいほうが緩やかである。つまりＮの値が大きい程、重みパラメータｍの値を大きくすることの影響度が小さい。
【００４１】
次に、閾値パラメータＮ＝0.3に定めた場合にウィーン分類が正確に付与されているかを3,222枚のクエリに対して調べた。機械付与できた割合は再現率が50.2％の場合であって、適合率が50.6％であった。ウィーン分類コードの機械付与は十分高い性能を達成しているとはいえないかもしれない。
機械付与されたウィーン分類コードの具体例を図１０から図１２示し、考察する。これらの例では、対象となるクエリ画像とそれに付与されたウィーン分類コードを示す。専門家が付与したウィーン分類コードを実線で囲み、機械付与したウィーン分類コードを破線で囲んで示している。
図１０は、専門家が付与したウィーン分類コードをすべて正確に機械付与できた例を示している。図１０に示す検索質問画像（登録商標４１７０４７２号）においては、人間の顔を持つ三日月が描かれており、専門家がつけた８個のウィーン分類コードをすべて正確に機械付与できている。このようにすべてのウィーン分類コードが正確に付与できた例は519枚あった。
【００４２】
図１１は、専門家が付与したウィーン分類コードが１つも機械付与できなかった例を示す。図１１に示す検索質問画像（登録商標４７６４２０６号）においては、動物のキャラクターが描かれている。専門家がつけた７個のウィーン分類コードが、機械付与では１つも付与されなかった。このように、ウィーン分類コードが１1個も機械付与されなかった例は54枚あった。
図１２は、専門家が付与したウィーン分類コードに対して、機械付与では漏れが生じたり誤ったウィーン分類コードが付与された例を示す。図１２に示す検索質問画像（登録商標第４３４１４２１号）においては、馬を引き連れた男が描かれている。専門家がつけた１６個のウィーン分類コードのうち９個は機械付与できているが、残りの７個は付与されず漏れが生じている。さらに、６個のウィーン分類コードが誤って機械付与されている。このように、１個も機械付与されなかった例を除き、付け漏れや誤った付与がおこなわれた例は、2,649枚あった。
【００４３】
次に、図１２の具体例を精査する。機械付与できなかったウィーン分類コードは７個あるが、03.03.01（馬、ラバ）と02.01.20（馬・ラバ又はロバに乗ったあるいは連れた男性）のように共通に付与できたウィーン分類コードと重複した内容が多い。また誤って機械付与されたウィーン分類コードの６個中４個が大分類２９（色）に関する内容であり29.01.01（赤、ピンク、オレンジ）のように商標を正しく表現できているとも思えるものもあったが、専門家はそれを付与していなかった。
以上の点から、専門家が重複したウィーン分類コードを付与する傾向と、色のウィーン分類コードの付与する傾向に関して、学習が十分でないと考えられる。また26.01.16（その他の図形要素を内包する円または楕円）が機械付与されているが、「その他」を含んだ内容であり対象となる層の他のウィーン分類コードも考慮する必要があるため、正確に付与することが難しいと考えられる。参考までにウィーン分類コード26.01.16の専門家が付与した数は288枚で、機械付与した数は260枚であったが、正確に付与できたものは１枚もなかった。
【００４４】
〔第２の実験：この手法の有効性を示す実験〕
この実験では、最適な検索パラメータを用いたこの手法の有効性を示すために、3,222枚のクエリ画像を用いて、既存手法との比較を行った。
（実験条件）
この比較では、第１の実験と同様、11点補完平均適合率（Edited by K. Kita, K. Tuda and M. Shishibori, “Jyouhoukensaku arugorizumu,” Kyoritsu Shuppan (2002), pp.20-21参照）を採用した。加えて、この手法と既存手法の検索に有意差があるかを調べるために、平均適合率（Average Precision）を算出し、統計的な検定を行った。平均適合率はランキングの上位にどれだけ適合する画像が出現しているかを測る指標である。用いた検定法は、ウィルコクソンの符号付順位和検定（Frank Wilcoxon, “Individual comparisons by ranking methods,” Biometrics bulletin, 1, pp.80-83 (1945) 参照）である。ウィルコクソンの符号付順位和検定は、２つのデータ間に対応関係がある際に用いられ、データの中央値に差があれば、有意差が認められる手法である。
【００４５】
またウィーン分類コードが正確に付与されるとどの程度検索精度が向上するかを調べるために、専門家による付与の検索手法との比較も行った。専門家による付与の検索手法の最適な重みパラメータｍは、第１の実験と同様にグリッドサーチによって調べた結果、0.13であった。よって、専門家による付与の検索手法では、パラメータｍを0.13とする。最後に、具体的な検索例を示し、考察する。
【００４６】
（実験結果・考察）
この実施形態による手法と専門家による付与の検索手法と既存手法との11点補完平均適合率の結果を図１３に示す。図１３のような再現率−適合率曲線（Precision-Recall曲線あるいはPR曲線ともいう）は、機械学習の分野において予測の正確さを表す指標としてよく用いられる。実験対象の新規な商標に類似する登録商標を、類似度が高いと予測される順にランキングした場合、実際に類似度の高い類似商標を上位に固められたかという、検索の正確さを表すものといえる。
この結果から、専門家による付与の検索手法、この実施形態による手法、既存手法の順にすべての再現率において適合率が高くなっていることがわかる。
また、この実施形態による手法と既存手法を再現率が100％の場合の適合率を比較する。再現率が100％の場合に、この実施形態による手法は適合率が66.5％であり、既存手法の63.5％よりも適合率が約3.0％向上している。また既存手法とこの手法の平均適合率に検定法を適用した結果、Ｐ値は7.71×10(-85)となった。Ｐ値が有意水準１％を下回っているため、この手法と既存手法の平均適合率は有意差があるといえる。
以上により、ディープラーニングにより機械付与したウィーン分類コードを検索に用いることは有効であるといえる。
【００４７】
さらに専門家による付与の検索手法と比較すると、再現率が100％の場合に専門家による付与の検索手法の適合率が68.5％であって、この実施形態による手法よりも適合率が約2.0％高かった。以上のことから、ウィーン分類コードの付与精度をより向上させることができれば、この実施形態による手法の適合率を専門家による付与の検索手法の適合率まで引き上げることができると考えられる。
【００４８】
次に、検索処理２１の結果について具体例を図１４と図１５に示す。図１４および図１５は、図全体を上下および左右に４分割している。左上にクエリ画像を示し、右上に既存手法、右下にこの実施形態による手法、左下に専門家による付与の検索手法の上位15位までの検索結果を示す。正解画像は赤枠で囲んでいる。
図１４は、既存手法に比べてこの手法が優れていた例である。図１４の既存手法では、検索順位１５位までに正解画像が６枚検索されている。それに対して、専門家による付与の検索手法とこの手法では検索順位１５位までにそれぞれ正解画像が１１枚検索されている。クエリ画像に着目すると、描かれているのは上部に王冠、両側に獅子を携え中央に矢と剣を交差させた紋章である。一方、専門家による付与の検索手法とこの手法の検索できた正解画像には、剣と矢を交差させた紋章や王冠や盾などが描かれている。これらの正解画像が出力できた理由として、クエリ画像の商標について、専門家による付与と火回付与の両方で24.1.19（盾持ちを有する盾）や24.9.5（一つの王冠）などのウィーン分類コードが付与されていたことが挙げられる。
【００４９】
一方、図１５はこの手法に比べて既存手法が優れていた例である。ここでは、既存手法の検索精度が最も高かった例を示している。既存手法は正解画像が１位と２位に検索できており、この手法と専門家による付与の検索手法では、２枚目の正解画像がそれぞれ５位と１１位に検索されている。このようにこの手法と専門家による付与の検索手法では、２枚目の正解画像の検索順位が下がった。その理由は、両手法において、クエリ画像に付与したウィーン分類コードと２枚目の正解画像のウィーン分類コードが１個も一致しなかったためである。このように既存手法の検索精度がよかったクエリ画像数とこの手法の検索精度がよかったクエリ画像数を表２に示す。表２から、機械付与したウィーン分類コードを検索に加えることによって、検索精度が改善されたクエリ画像が多くなったことがわかる。
【表２】
2020144440.tif 000007
≪まとめ≫
【００５０】
この明細書では、外観が類似した商標を検索するために、図形の形状に基づく類似性に加えて図形の分類に基づく類似性も評価する検索手法を提案した。この発明の特徴は、図形の分類に基づく類似性を評価する際に、ディープラーニングによる機械付与したウィーン分類コードを用いることである。そこでまず、ウィーン分類コードを正確に機械付与できていたかを調べた。その結果、再現率が50.2％の場合に適合率が50.4％であった。このことから、ウィーン分類コードの機械付与は十分高い精度が達成できているとはいえないかもしれない。
【００５１】
しかし、この実施形態による手法と既存手法の検索精度を比較した結果、この実施形態による手法は再現率が100％の場合に、適合率が約3.0％向上している。また、この実施形態による手法の機械付与の精度を向上させることで、検索精度をさらに約2.0％向上させ得る。この実施形態による手法と既存手法の平均適合率に検定法を適用した結果、有意差があることが実証された。以上のことから、図形の形状に基づく類似性に加えて図形の分類に基づく類似性も評価する検索手法の有効性が示された。
【００５２】
以上に述べたように、
（i）この発明による類似画像検索装置は、検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出部と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合部と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出部と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与部と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出部と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力部と、を備えることを特徴とする。
この発明において、形状的特徴は、画像の形状の特徴を表すものであって、画像検索に適用可能な特徴量である。その具体的な例としては、ＳＩＦＴやそれに改良を加えた局所特徴が挙げられる。形状的特徴は必ずしも局所的な特徴を表す局所特徴に限定されるものでない。しかし、近年の画像検索の進歩は局所特徴量の貢献によるところが少なくない。
また、分類情報は、画像にラベル付けされた情報であって、付与された分類情報によってその画像が属するカテゴリが決まるものである。分類情報の具体例として、上述の実施形態においては図形商標に付与されたウィーン分類コードについて述べたが、それに限定されるものでない。ただし、この明細書における分類情報は、画像の形状的な類似性とは異なる観点を含んでカテゴリが決められるものである。例えば、画像がそれを観る者に与える観念、印象、意味あるいは象徴などを含んでカテゴリが決まる。そうでなければ、形状的特徴のみに基づく類似画像検索で足りるからである。
さらにまた、参照画像は、検索質問画像に対する類似画像の検索対象となる画像である。参照画像は、予め分類情報が付与されている。その具体的として、前述の実施形態では登録商標を挙げたが、これに限るものでない。なお、この明細書において、参照画像は予め分類情報が付与されているものとしているが、これに対し検索質問画像は未だ分類情報が付与されていない状態で検索に用いられるものとしている。
上述の実施形態および図５に示すクエリ特徴抽出処理は、この発明に係るクエリ特徴抽出部の機能に対応する。同様に、形状照合処理はこの発明に係る形状照合部の機能に対応し、形状類似度算出処理はこの発明に係る形状照合部の機能に対応する。さらに、上述の実施形態および図５に示すウィーン分類コード付与処理３３はこの発明に係る分類付与部の機能に対応し、分類類似度算出処理はこの発明に係る分類類似度算出部に対応する。同様に、出力処理はこの発明に係る出力部の機能に対応する。
上述の実施形態は、各参照画像に対してあらかじめウィーン分類コードが付与されていることを前提としている。その前提を満たした商標に対する検索のみに適用可能である。しかし、図５に示すウィーン分類コード付与処理３３を参照画像に対して適用することも考えられる。そうしてウィーン分類コードが付与された画像を対象としてデータベースを作成することも考えられる。そのようにすれば、予め分類情報が付与されていない未登録商標や商標以外の画像、例えばイラストや一般の物体の画像などの検索に対しても、この実施形態で述べた手法を拡張し適用できるものと考えられる。
【００５３】
さらに、この発明の好ましい態様について述べる。
（ii）前記参照画像が登録商標の画像であり、各参照画像に付与された分類情報がウィーン分類コードであり、検索質問画像および各参照画像に係る形状的特徴がそれぞれの画像から複数抽出される局所特徴であり、前記形状照合部は、検索質問画像に係る各局所特徴と各参照画像に係る各局所特徴とをそれぞれ照合し、照合された形状的特徴について類否を判断するものであってもよい。
このようにすれば、外観が類似した商標を検索する手法として、図形の形状に基づく類似性に加えて図形の分類に基づく類似性を考慮した検索が実現できる。
【００５４】
（iii）前記出力部は、各参照画像について、形状類似度と分類類似度とを相補的に重み付けした総合類似度に基づいて検索質問画像に対する各参照画像の類否を判断してもよい。
このようにすれば、総合類似度を用いて、図形の形状に基づく類似性に加えて図形の分類に基づく類似性を考慮した検索が実現できる。
【００５５】
（iv）前記形状照合部が照合に用いた局所特徴が、信頼性のある特徴か否かを検証する検証部と、検索質問画像に対し出力部が出力した１以上の登録商標画像の少なくとも一部を新たな検索質問として、その新たな検索質問に対する類似画像を得る擬似適合フィードバック部とをさらに備え、前記出力部は、前記検索質問に対する出力として得られた登録商標画像に擬似適合フィードバック処理で得られた登録商標画像を加えて最終出力とするものであってもよい。
このようにすれば、検証部によって信頼性のない特徴を排除し、擬似適合フィードバックによって類似画像の検索漏れを低減することによって検索の精度をより高めることができる。
上述の実施形態および図５に示す検証処理は上記検証部の機能に対応する。同様に、擬似適合フィードバック処理は、上記擬似適合フィードバック部の機能に対応する。
【００５６】
（v）前記分類付与部は、各参照画像とそれに対し付与された分類情報とを教師データとして学習することで画像入力に対して分類情報を出力するよう構築された機械学習モデルを含んで構成されてもよい。
このようにすれば、これまでに分類情報が付与された参照画像を学習することによって未だ分類情報が付与されていない任意の画像に分類情報を機械付与できる。そして、機械付与された分類情報を用い、画像の形状に基づく類似性に加えて分類情報に基づく類似性を考慮して類似画像を見出すことができる。
【００５７】
（vi）また、この発明の好ましい一態様が、コンピュータが実行する処理であって、検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、を備える類似画像検索方法であってもよい。
【００５８】
（vii）あるいはまた、この発明の好ましい一態様がコンピュータに処理を実行させるプログラムであって、コンピュータに処理を実行させるプログラムであって、検索質問画像から１以上の形状的特徴を抽出するクエリ特徴抽出処理と、予め１以上の分類情報が付与されかつ１以上の形状的特徴が抽出された複数の参照画像を参照し、検索質問画像と形状的特徴の照合を行う形状照合処理と、前記照合に基づいて検索質問画像に対する各参照画像の形状類似度を算出する形状類似度算出処理と、各参照画像に付与された分類情報に基づいて検索質問画像につき１以上の分類情報を推定し付与する分類付与処理と、検索質問画像に付与された分類情報と各参照画像に付与された分類情報との一致の度合いに基づいて検索質問画像に対する各参照画像の分類類似度を算出する分類類似度算出処理と、前記形状類似度および前記分類類似度に基づいて検索質問画像に類似する１以上の参照画像を出力する出力処理と、を備える類似画像検索プログラムであってもよい。
この発明の好ましい態様には、上述した複数の態様のうちの何れかを組み合わせたものも含まれる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
【符号の説明】
【００５９】
１１：登録処理、    １３：登録商標、    １５：特徴抽出処理、    １７：データベース、    ２１：検索処理、    ２３：検索質問、    ２５：クエリ特徴抽出処理、    ２７：形状照合処理、    ２９：検証処理、    ３１：形状類似度算出処理、    ３３：ウィーン分類コード付与処理、    ３５：分類類似度算出処理、    ３７：出力処理、    ３９：擬似適合フィードバック処理、    ４１：最終出力
【図１】
2020144440.tif 000008
【図２】
2020144440.tif 000009
【図３】
2020144440.tif 000010
【図４】
2020144440.tif 000011
【図５】
2020144440.tif 000012
【図６】
2020144440.tif 000013
【図７】
2020144440.tif 000014
【図８】
2020144440.tif 000015
【図９】
2020144440.tif 000016
【図１０】
2020144440.tif 000017
【図１１】
2020144440.tif 000018
【図１２】
2020144440.tif 000019
【図１３】
2020144440.tif 000020
【図１４】
2020144440.tif 000021
【図１５】
2020144440.tif 000022