(57)【要約】【課題】簡便に精度の高い画像検索を行うことができる類似画像検索方法を提供する。【解決手段】検索対象となる入力画像を受け付ける受付工程と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、前記類似画像取得工程によって取得された類似画像のうち、前記検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含むことを特徴とする。【選択図】図１
2020181332.tif 000002
【特許請求の範囲】
【請求項１】
検索対象となる入力画像を受け付ける受付工程と、
複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、
前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、
前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、
前記類似画像取得工程によって取得された類似画像のうち、前記検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含むことを特徴とする類似画像検索方法。
【請求項２】
前記類似画像取得工程は、取得した前記類似画像を含む結果データを保存領域に保存し、
前記検索結果作成工程は、前記結果データにおける前記類似画像のうち、前記検索工程で検索されなかった画像を削除し、削除が行われた前記結果データを前記検索結果とすることを特徴とする請求項１に記載の類似画像検索方法。
【請求項３】
検索対象となる入力画像を受け付ける受付工程と、
複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、
前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、
前記データベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得し、該類似画像を含む第１の検索結果を作成する再類似画像取得工程と、
前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、
前記第１の検索結果における前記類似画像のうち、前記検索工程で検索されなかった画像を削除し、削除が行われた前記第１の検索結果を第２の検索結果とする検索結果作成工程と、を含むことを特徴とする類似画像検索方法。
【請求項４】
検索対象となる入力画像を受け付ける受付工程と、
複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、
前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、
前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、
前記検索工程によって検索された画像に対して前記入力画像を用いた類似画像検索を行う再検索工程と、
前記再検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含むことを特徴とする類似画像検索方法。
【請求項５】
前記選択受付工程は、前記類似画像取得工程によって検索された類似画像のうち、複数の画像の選択を受け付け、
前記検索工程は、前記選択受付工程で受け付けた複数の画像における分類情報のうち、全ての画像に共通する分類情報を用いて検索を行うことを特徴とする請求項１〜４のいずれかに記載の類似画像検索方法。
【請求項６】
前記選択受付工程は、前記類似画像取得工程によって検索された類似画像のうち、複数の画像の選択を受け付け、
前記検索工程は、前記選択受付工程で受け付けた複数の画像における分類情報のうち、全ての分類情報を用いて検索を行うことを特徴とする請求項１〜４のいずれかに記載の類似画像検索方法。
【請求項７】
前記分類情報は、ウイーン分類による分類コードであることを特徴とする請求項１〜６のいずれかに記載の類似画像検索方法。
【請求項８】
コンピュータに、請求項１〜７のいずれかに記載の類似画像検索方法を実行させることを特徴とするプログラム。
【請求項９】
検索対象となる入力画像を受け付ける受付手段と、
複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得手段と、
前記類似画像取得手段で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付手段と、
前記選択受付手段で受け付けた画像の分類情報を用いて前記データベースを検索する検索手段と、
前記類似画像取得手段によって取得された類似画像のうち、前記検索手段によって検索された画像を検索結果とする検索結果作成手段と、を備えることを特徴とする類似画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索方法、プログラム及び類似画像検索装置に関する。
【背景技術】
【０００２】
近年、知的財産の重要度がますます高まっており、例えば商標については、商品やサービスなどを区別するためのマークとして扱われ、ブランド戦略等の観点から重要度がますます高まっている。画像の商標について商標登録出願をする際には、そのような画像が既に登録されているか、既に使用されているか等の調査が行われる。また、同一の画像だけでなく、類似する画像についても調査の対象となる。同一又は類似の画像を検索する技術としては、例えば画像認識の技術を用いた類似画像検索、ウイーン分類やタグ情報等による分類情報を用いた画像検索などが知られている。
【０００３】
例えば特許文献１では、類似画像検索で取得した類似画像に関連するタグを取得し、類似画像とタグとを合わせて検索結果として表示することが開示されている。特許文献１によれば、画像検索の曖昧さを有効利用した情報提示を実現するとしている。
【０００４】
また、特許文献２では、検索キー画像についてデータベースを検索した検索結果に基づいて、新たな検索キー画像を設定し、新たな検索キー画像で再検索することが開示されている。特許文献２では、煩雑な操作なしで、所望の画像を漏れなく抽出すること目的としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１８２４７号公報
【特許文献２】特開２００２−１６９８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、複数の類似画像から取得された複数のタグの提示をしていることを目的にしており、ユーザーが欲しい可能性がある情報などを提示することで、少し似ている画像や全く違う画像なども表示し、ユーザーの嗜好の広がりを創出するものである。そのため、検索対象の画像に対して、より近いものを検索することが狙いではなく、精度の高い画像検索を行うことができない。また、特許文献２では、所望の画像を漏れなく抽出することを目的としており、精度の高い画像検索を行うことについては更なる向上が求められている。
【０００７】
従来技術で用いられる類似画像検索では、人間が見て似ていないと思われる画像も抽出されることが多い。精度を向上させようとする場合、例えば類似画像検索と分類情報を用いた検索を合わせて行うことが考えられるが、この場合、類似画像検索を行い、検索結果の中から更に類似すると考えられる画像を選び出し、選び出した画像に関連する分類情報を抽出する必要がある。そして、抽出した分類情報を用いて再度検索を行い、更にその結果に基づいて類似しているかどうかの検討を行う必要がある。このような操作を行うことは非常に手間がかかる。
【０００８】
また、画像の検索を行う際には、検索対象となる画像の分類情報を初めから把握していることはまれであり、まずは分類情報を取得する必要があるため、初めから分類情報を用いた検索を行うことができず、検索の精度を向上させるためには手間が増大してしまう。
【０００９】
そこで、本発明は、簡便に精度の高い画像検索を行うことができる類似画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の類似画像検索方法は、検索対象となる入力画像を受け付ける受付工程と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、前記類似画像取得工程によって取得された類似画像のうち、前記検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、簡便に精度の高い画像検索を行うことができる類似画像検索方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る類似画像検索方法の一例を説明するための図である。
【図２】本発明に係る類似画像検索方法の一例を説明するためのフローチャートである。
【図３】本発明に係る類似画像検索装置の一例を説明するための機能構成図である。
【図４】本発明に係る類似画像検索方法の他の例を説明するための図である。
【図５】本発明に係る類似画像検索方法の他の例を説明するための図である。
【図６】実施例１に係る類似画像検索方法を説明するための図である。
【図７】実施例２に係る類似画像検索方法を説明するための図である。
【図８】従来例に係る類似画像検索方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る類似画像検索方法、プログラム及び類似画像検索装置について図面を参照しながら説明する。なお、本発明は以下に示す実施形態に限定されるものではなく、他の実施形態、追加、修正、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００１４】
（第１の実施形態）
本発明に係る類似画像検索方法の一実施形態について説明する。
本実施形態の類似画像検索方法について説明する前に、従来例について説明する。
【００１５】
従来例を説明するための図を図８に示す。ここで用いられる例におけるデータベースは、（Ａ）に示されるものとしている。ＩＤは通し番号であり、任意に設定することができる。ここでは、ＩＤ１〜４について、画像を「☆（白塗りの星）」「●（黒塗りの丸）」「△☆（白塗りの三角と白塗りの星）」「■（黒塗りの四角）」としている。またそれぞれに対応する分類情報を「１．１．１」、「２．１．１」などのようにしている。
【００１６】
図８の（Ｂ）に示されるように、入力画像、すなわち検索対象となる画像としては「★（黒塗りの星）」とする。入力画像を受け付けた後、図８の（Ｃ）に示されるように、入力画像についてデータベースに対して類似画像検索を行う。その結果、図８の（Ｄ）に示されるように、ＩＤ１〜４の「☆（白塗りの星）」「●（黒塗りの丸）」「△☆（白塗りの三角と白塗りの星）」「■（黒塗りの四角）」が検索結果として取得される。
【００１７】
従来例においては、このように人間が見て似ていないと思われる画像も抽出されることが多く、人間が検索結果を目で見て似ているか似ていないかを判断する必要がある。また、分類情報を用いて検索する場合、入力画像に対応する分類情報を調べる必要があり、手間がかかる。
【００１８】
次に、本実施形態について説明する。
本実施形態の類似画像検索方法は、検索対象となる入力画像を受け付ける受付工程と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、前記類似画像取得工程によって取得された類似画像のうち、前記検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含む。
【００１９】
本実施形態を説明するための図を図１に示す。また、本実施形態を説明するためのフローチャートを図２に示す。
【００２０】
本実施形態においては、図８と同様のデータベースを用いる。すなわち、図１の（Ａ）に示されるような構成としている。分類情報を「１．１．１」、「２．１．１」などのように表記しているが、これに限られるものではなく、適宜変更することができる。また、１つの画像は、複数の分類情報を有していてもよい。なお、図１に示される分類情報は、説明のために適宜記載したものであり、実際に存在する分類情報を示すとは限らない。
【００２１】
本実施形態で用いられるデータベースとしては、画像と、該画像に対応する１つ以上の分類情報保有するものであればよく、必要に応じてその他の情報を有していてもよい。本実施形態で用いることができるデータベースとしては、例えば、商標登録出願に係る画像や登録商標に係る画像を有する特許庁のデータベースが挙げられる。この他にも民間の企業や団体が有するデータベースを用いてもよい。
【００２２】
「１つ以上の分類情報」とは、ＩＤ１、２、４のように１つの分類情報を有していてもよいし、ＩＤ３のように２つの分類情報（複数の分類情報）を有していてもよいことを意味する。
【００２３】
分類情報としては、適宜変更することができ、例えばウイーン分類による分類コードを好ましく用いることができる。ウイーン分類は、すべての図形要素を大分類、中分類、小分類に分けた階層構成となっており、大分類、中分類、小分類それぞれに所定の符号体系に従った番号（以下、分類コードという）が付与されている。例えば分類コード＝「１．１」は、「星、彗星」を表すことが定められている。
【００２４】
分類情報としては、上記の他にも、Ｄターム、カテゴリー、タグ情報等が挙げられる。分類情報は、英数字であってもよいし、日本語等の文字であってもよい。また、例えば被服等の通販サイトで用いられるカテゴリー等の情報を用いることができる。
【００２５】
受付工程（Ｓ１０１）では、検索対象となる入力画像を受け付ける（図１の（Ｂ））。
入力画像としては、特に制限されるものではなく、適宜変更することが可能である。受け付けた画像は、任意の保存領域に保存していてもよい。
【００２６】
類似画像取得工程（Ｓ１０２）では、データベースに対して類似画像検索を行い、入力画像に類似する類似画像を取得する（図１の（Ｃ））。なお、「（Ｃ）類似画像検索」からデータベースに伸びる矢印はデータベースへのアクセスを表す。また、類似画像検索を行う際に用いる検索作対象の画像をクエリ画像などとも称する。本例の類似画像取得工程では、入力画像をクエリ画像として用いる。
【００２７】
類似画像を検索する方法としては、適宜変更することができる。例えば、画像の特徴量を用いる方法が挙げられる。入力画像の特徴量と、データベースが保有する画像の特徴量とを比較して両者の特徴量が近いものを抽出、取得する方法が挙げられる。
【００２８】
特徴量の計算方法としては、公知の方法を用いることができ、例えばニューラルネットワーク、ＣＮＮ（畳み込みニューラルネットワーク）等を用いることができる。
特徴量が近いかどうかを判断する方法としては、特に制限されるものではないが、例えば特徴量を距離で表現して両者の距離が近いかどうかで判断することができる。
【００２９】
また、類似画像検索は、市販品を用いて行ってもよいし、外部のサービスを用いて行ってもよい。
【００３０】
類似画像取得工程によって取得された類似画像の例を図１の（Ｄ）に示す。ここでは、色（白塗り又は黒塗り）についても類似するかどうかを判定しているため、結果としてＩＤ１〜４の画像が取得されている。類似画像取得工程の検索結果は、例えば類似画像検索の条件を変更すること等によって適宜変更される。
【００３１】
類似画像取得工程の検索結果は、任意の保存領域に保存しておいてもよいし、保存領域には保存しておかない状態で後の処理を行ってもよい。
【００３２】
また、類似画像取得工程の検索結果は、必要に応じて並べ替えを行ってもよい。本例ではＩＤの昇順としているが、これに限られるものではなく、分類情報の昇順や降順、画像の特徴量の昇順や降順、特徴量を距離として表現した際の入力画像と類似画像の距離の近さの順などに並べ替えてもよい。
【００３３】
選択受付工程（Ｓ１０３）では、類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける（図１の（Ｅ））。
画像の選択は、例えば検索実施者や利用者（ユーザーなどとも称する）が行う。画像を選択する方法としては、特に制限されるものではないが、例えば、ユーザーが使用する端末によって行うことができる。端末としては、例えばＰＣ、スマートフォン等が挙げられる。この他にも、ファイル形式のデータを受け付けてもよい。
画像の選択を受け付けるに際し、例えば類似画像取得工程で取得された類似画像をユーザーが使用する端末に表示するようにしてもよい。
【００３４】
検索工程（Ｓ１０４）では、選択受付工程で受け付けた画像の分類情報を用いてデータベースを検索する（図１の（Ｆ））。なお、選択された画像の分類情報を取得する方法としては、例えば類似画像取得工程において画像と分類情報を任意の一時保存領域等に保持しておけばよいため、再度データベースにアクセスする処理を省くことができる。
分類情報を用いて行う検索の方法としては、特に制限されるものではないが、例えばＳＱＬを用いて行うことができる。
【００３５】
本例において、選択受付工程で受け付けた画像はＩＤ１の「☆（白塗りの星）」であり、ＩＤ１の分類情報は図１の（Ａ）にあるように「１．１．１」である。本例の検索工程では、分類情報「１．１．１」を用いてデータベースを検索する。本例において、検索工程の結果としては、図１の（Ｇ）に示されるようにＩＤ１の「☆（白塗りの星）」とＩＤ３の「△☆（白塗りの三角と白塗りの星）」が取得される。
【００３６】
なお、検索工程の検索結果は、類似画像取得工程と同様に、任意の保存領域に保存しておいてもよいし、保存領域には保存しておかない状態で後の処理を行ってもよい。
【００３７】
検索結果作成工程（Ｓ１０５）では、類似画像取得工程によって取得された類似画像のうち、検索工程によって検索された画像を検索結果とする（図１の（Ｈ）及び（Ｉ））。
本例においては、図１の（Ｄ）における検索結果のうち、図１の（Ｇ）における検索結果であるものを検索結果作成工程における検索結果とする。すなわち、ＩＤ１の「☆（白塗りの星）」とＩＤ３の「△☆（白塗りの三角と白塗りの星）」が検索結果となる。検索結果作成工程によって得られた検索結果が、本実施形態の類似画像検索方法によって検索された検索結果となる。
【００３８】
検索結果作成工程で作成した検索結果は、ユーザーが使用する端末に表示してもよいし、任意の保存領域に保存してもよいし、ファイル形式などのデータとして作成してもよい。また、本例ではＩＤの昇順に並べられているが、これに限られるものではなく、分類情報の昇順や降順、画像の特徴量の昇順や降順、特徴量を距離として表現した際の入力画像と類似画像の距離の近さの順などに並べ替えてもよい。
【００３９】
上述のように、本実施形態の類似画像検索方法によれば、従来技術に比べて精度の高い画像検索を行うことができる。また、本実施形態によれば、入力画像の受け付けと、類似画像における画像の選択を受け付けるだけでよいため、入力画像の分類情報が把握できていない場合や類似画像の分類情報が把握できていない場合であっても簡便に精度の高い画像検索を行うことができる。
【００４０】
また、従来技術において分類情報を用いた検索を行う場合、入力画像の分類情報を調べる必要があり、手間がかかっていたが、本実施形態では分類情報を調べる必要がなく、手間を低減することができる。
【００４１】
本実施形態によれば、コンピュータに、本実施懈怠のの類似画像検索方法を実行させるプログラムが提供される。本実施形態のプログラムは、上記の工程で行われる処理をコンピュータに実行させる。本実施形態のプログラムによれば、簡便に精度の高い画像検索を行うことができる。
【００４２】
また、本実施形態によれば、類似画像検索装置が提供される。
本実施形態の類似画像検索装置は、検索対象となる入力画像を受け付ける受付手段と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得手段と、前記類似画像取得手段で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付手段と、前記選択受付手段で受け付けた画像の分類情報を用いて前記データベースを検索する検索手段と、前記類似画像取得手段によって取得された類似画像のうち、前記検索手段によって検索された画像を検索結果とする検索結果作成手段と、を備える。
【００４３】
本実施形態の類似画像検索装置の機能構成図を図３に示す。図３に示される類似画像検索装置１０は、受付手段３１、類似画像取得手段３２、選択受付手段３３、検索手段３４、検索結果作成手段３５、送受信手段３６を備えている。本実施形態の類似画像検索装置によれば、簡便に精度の高い画像検索を行うことができる。
【００４４】
本実施形態の類似画像検索装置は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（外部送受信用インターフェース）、ＨＤＤ（Hard Disk Drive）等を備える。
【００４５】
本実施形態において、データベースは本実施形態の類似画像検索装置の外部に備えられているが、類似画像検索装置がデータベースを備える構成であってもよい。また、必要に応じて、検索結果等を表示する表示手段を備えていてもよい。
【００４６】
（第２の実施形態）
次に、本発明に係る類似画像検索方法の他の実施形態について説明する。
上記共通の事項については説明を省略する。また、本実施形態においても上記と同様に、プログラム、類似画像検索装置が提供される。
【００４７】
本実施形態は、上記第１の実施形態の変形例であり、類似画像取得工程と検索結果作成工程が上記第１の実施形態と異なる。
すなわち、本実施形態において、類似画像取得工程は、取得した類似画像を含む結果データを保存領域に保存する。また、検索結果作成工程は、結果データにおける類似画像のうち、検索工程で検索されなかった画像を削除し、削除が行われた結果データを検索結果とする。
【００４８】
保存領域としては、適宜変更することができ、例えば本実施形態の類似画像検索方法を類似画像検索装置により行う場合、類似画像検索装置が備える保存領域を用いることができる。この他にも、類似画像検索装置の外部に備えられた保存領域を用いてもよい。
【００４９】
このように、結果データを保存領域に保存することで、データの扱いがしやすくなり、データの不整合を低減しやすくすることができる。また、検索結果作成工程において、検索工程で検索されなかった画像を削除する処理を行うことにより、中間ファイルの生成を抑制することができ、処理の遅延や処理の不整合を防止することができる。
【００５０】
（第３の実施形態）
次に、本発明に係る類似画像検索方法の他の実施形態について説明する。
上記共通の事項については説明を省略する。また、本実施形態においても上記と同様に、プログラム、類似画像検索装置が提供される。
【００５１】
本実施形態では、上記第１の実施形態における類似画像取得工程の後に、類似画像取得工程と同様の類似画像検索を行う再類似画像取得工程を行っている。
また、検索結果作成工程では、再類似画像取得工程で得られた第１の検索結果に対して、検索工程で検索されなかった画像を削除している。
【００５２】
すなわち本実施形態の類似画像検索方法は、検索対象となる入力画像を受け付ける受付工程と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、前記データベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得し、該類似画像を含む第１の検索結果を作成する再類似画像取得工程と、前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、前記第１の検索結果における前記類似画像のうち、前記検索工程で検索されなかった画像を削除し、削除が行われた前記第１の検索結果を第２の検索結果とする検索結果作成工程と、を含む。
【００５３】
本実施形態を説明するための図を図４に示す。図４の（Ａ）〜（Ｇ）については、上記第１の実施形態における図１の（Ａ）〜（Ｇ）と同様である。
本実施形態においては、データベースに対して類似画像検索を行い、入力画像に類似する類似画像を取得し、該類似画像を含む第１の検索結果を作成する再類似画像取得工程を行う（図４の（Ｈ）及び（Ｉ））。
【００５４】
本実施形態における再類似画像取得工程は、類似画像取得工程と同じように、データベースに対して類似画像検索を行い、入力画像に類似する類似画像を取得するが、検索した結果である第１の検索結果の取扱いが上記実施形態と異なる。上記実施形態では、類似画像取得工程で得られた結果を保存領域に保存することがあるが、本実施形態では類似画像検索を行った結果を保存領域に保持しておく必要がない。そのため、データの管理が容易になることや設計が容易になること等の利点が得られる。
【００５５】
本実施形態における検索結果作成工程は、第１の検索結果における類似画像のうち、検索工程で検索されなかった画像を削除し、削除が行われた第１の検索結果を第２の検索結果とする（図４の（Ｊ）及び（Ｋ））。図中、「（Ｊ）検索結果作成」から「（Ｉ）第１の検索結果」へと延びる矢印は、削除乃至編集を表すものである。検索結果作成工程によって得られた検索結果が、本実施形態の類似画像検索方法によって検索された検索結果となる。
【００５６】
なお、本実施形態における再類似画像取得工程を行うタイミングは、検索結果作成工程の前であればよく、適宜変更することができる。例えば、選択受付工程の前であってもよい。
【００５７】
（第４の実施形態）
次に、本発明に係る類似画像検索方法の他の実施形態について説明する。
上記共通の事項については説明を省略する。また、本実施形態においても上記と同様に、プログラム、類似画像検索装置が提供される。
【００５８】
本実施形態では、上記第１の実施形態における検索工程の後に、検索工程によって検索された画像に対して入力画像を用いて類似画像検索を行う。また、検索結果作成工程では、再検索工程で得られた画像を検索結果としている。
【００５９】
すなわち本実施形態の類似画像検索方法は、検索対象となる入力画像を受け付ける受付工程と、複数の画像と、該画像に対応する１つ以上の分類情報とを保有するデータベースに対して類似画像検索を行い、前記入力画像に類似する類似画像を取得する類似画像取得工程と、前記類似画像取得工程で取得された類似画像のうち、１つ又は複数の画像の選択を受け付ける選択受付工程と、前記選択受付工程で受け付けた画像の分類情報を用いて前記データベースを検索する検索工程と、前記検索工程によって検索された画像に対して前記入力画像を用いた類似画像検索を行う再検索工程と、前記再検索工程によって検索された画像を検索結果とする検索結果作成工程と、を含む。
【００６０】
本実施形態を説明するための図を図５に示す。
本実施形態を説明するにあたり、図５の（Ａ）に示されるデータベースは、上記第１の実施形態における図１のＩＤ１とＩＤ３とを入れ替えたものとしている。すなわち、本例のデータベースは、ＩＤ１の画像が「△☆（白塗りの三角と白塗りの星）」であり、ＩＤ３の画像が「☆（白塗りの星）」である。なお、本実施形態を説明するためにこのようにしているものであり、所定の処理が必要になるものではない。
【００６１】
受付工程は上記第１の実施形態と同様に、検索対象となる入力画像を受け付ける（図５の（Ｂ））。
類似画像取得工程では、データベースに対して類似画像検索を行い、入力画像に類似する類似画像を取得する（図５の（Ｃ））。ここで、類似画像取得工程の結果は、図５の（Ｄ）に示されるように、「△☆」「●」「☆」「■」の順となる。これは、データベースのＩＤ順に表示されるためである。
【００６２】
本実施形態においては、類似画像取得工程で得られた結果を、再検索工程における類似画像検索を行うことができる形式にしておくことが好ましい。適宜変更することが可能であるが、例えば、類似画像取得工程で得られた結果を任意の記憶領域に保存しておく。
【００６３】
次いで、上記第１の実施形態と同様に、選択受付工程では画像の選択を受け付け（図５の（Ｅ））、検索工程では選択受付工程で受け付けた画像の分類情報を用いてデータベースを検索する（図５の（Ｆ））。本例において、検索工程の結果としては、図５の（Ｇ）に示されるようにＩＤ１の「△☆（白塗りの三角と白塗りの星）」とＩＤ３の「☆（白塗りの星）」が取得される。
【００６４】
次いで、再検索工程として、検索工程で得られた結果に対して入力画像を用いた類似画像検索を行う（図５の（Ｈ））。図中の矢印は、検索工程によって検索された画像、すなわち本例では検索工程で得られた結果に対するアクセスを意味する。
【００６５】
再検索工程の結果を図５の（Ｉ）に示す。図示されるように、取得される順番としては、ＩＤ３の「☆（白塗りの星）」、ＩＤ１の「△☆（白塗りの三角と白塗りの星）」となる。これは、類似画像検索においては、例えば画像の特徴量に基づいて、特徴量が近いものを抽出するような処理が行われることによるためである。
【００６６】
本実施形態によれば、再検索工程における類似画像検索を行うことにより、入力画像と近い順に画像を表示することができる。そのため、人間が検索結果を見たときに、どのような画像が似ているのか等の検索結果の検討を行いやすくなる。また、上記実施形態における並び替えの処理を省くことができ、処理の高速化や設計の容易化を図ることができる。
【００６７】
検索結果作成工程では、再検索工程によって検索された画像を検索結果とする（図５の（Ｊ）及び（Ｋ））。検索結果作成工程によって得られた検索結果が、本実施形態の類似画像検索方法によって検索された検索結果となる。
【００６８】
（第５の実施形態）
次に、本発明に係る類似画像検索方法の他の実施形態について説明する。
上記共通の事項については説明を省略する。また、本実施形態においても上記と同様に、プログラム、類似画像検索装置が提供される。
【００６９】
本実施形態では、上記実施形態における選択受付工程において、複数の画像の選択を受け付ける。次いで行われる検索工程において、選択受付工程で複数の画像を受け付けたことに対応して適宜検索処理がなされる。
【００７０】
＜実施例１＞
本実施形態における実施例１としては、選択受付工程は、類似画像取得工程によって検索された類似画像のうち、複数の画像の選択を受け付け、検索工程は、選択受付工程で受け付けた複数の画像における分類情報のうち、全ての画像に共通する分類情報を用いて検索を行う。
【００７１】
実施例１を説明するための図を図６に示す。図６は上記第１の実施形態とほぼ同じであるが、選択受付工程で複数の画像を受け付けている点で異なる（図６の（Ｅ））。実施例１における検索工程では、全ての画像に共通する分類情報を用いて検索を行うため、ＩＤ１とＩＤ３に共通する分類情報である「１．１．１」を用いてデータベースに対して検索を行う。図６に示される例では、図１と同じ結果となる。
【００７２】
本実施例では、選択された複数の画像全てに共通する分類情報を用いて検索を行うため、より精度が向上した検索を行うことができる。
【００７３】
なお、選択された複数の画像全てに共通する分類情報がない場合は、例えばメッセージを表示して再度選択を促すようにしてもよい。この他にも、所定の数の画像で共通する分類情報がある場合、共通する分類情報で検索を行い、検索を行った後で、そのような検索を行ったことを表示するようにしてもよい。
【００７４】
更に上記の他にも、例えば選択受付工程において、共通する分類情報がないような選択をできないようにするようにしてもよい。このような方法としては、例えば、ユーザーが画像を選択するための表示画面において、共通する分類情報がない画像を選択できないように、そのような画像に対して黒塗り表示すること等が挙げられる。
【００７５】
＜実施例２＞
本実施形態における実施例２としては、選択受付工程は、類似画像取得工程によって検索された類似画像のうち、複数の画像の選択を受け付け、検索工程は、選択受付工程で受け付けた複数の画像における分類情報のうち、全ての分類情報を用いて検索を行う。
【００７６】
実施例１を説明するための図を図７に示す。図７は上記第１の実施形態とほぼ同じであるが、選択受付工程で複数の画像を受け付けている点で異なる（図７の（Ｅ））。また、これによって検索結果が上記実施形態と異なる。
【００７７】
実施例２における検索工程では、複数の画像における分類情報のうち、全ての分類情報を用いて検索を行うため、ＩＤ１とＩＤ２の分類情報である「１．１．１」と「２．１．１」を用いてデータベースに対して検索を行う。その結果、図７の（Ｇ）に示されるように、ＩＤ１〜３の画像である「☆（白塗りの星）」「●（黒塗りの丸）」「△☆（白塗りの三角と白塗りの星）」が検索される。次いで、図７の（Ｉ）に示されるように、本実施例の類似画像検索方法による検索結果が作成される。
【００７８】
本実施例では、複数の画像における分類情報のうち、全ての分類情報を用いて検索を行うため、目的に沿った画像が検索されずに漏れてしまうことを抑制し、より精度が向上した検索を行うことができる。
【符号の説明】
【００７９】
１０  類似画像検索装置
３１  受付手段
３２  類似画像取得手段
３３  選択受付手段
３４  検索手段
３５  検索結果作成手段
３６  送受信手段
【図１】
2020181332.tif 000003
【図２】
2020181332.tif 000004
【図３】
2020181332.tif 000005
【図４】
2020181332.tif 000006
【図５】
2020181332.tif 000007
【図６】
2020181332.tif 000008
【図７】
2020181332.tif 000009
【図８】
2020181332.tif 000010