(57)【要約】  画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。画像判別装置１０は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部１１と、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部１２と、指標算出部によって算出された第１の指標及び第２の指標と、予め登録されている参照画像それぞれにおける被写体の第１の指標及び第２の指標とを比較し、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する、画像判別部１３とを備えている。
2017006648.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像と参照画像との関係を判別するための装置であって、
前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする画像判別装置。
【請求項２】
前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
請求項１に記載の画像判別装置。
【請求項３】
前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
請求項１または２に記載の画像判別装置。
【請求項４】
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
請求項３に記載の画像判別装置。
【請求項５】
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
請求項３に記載の画像判別装置。
【請求項６】
クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする画像判別方法。
【請求項７】
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
請求項６に記載の画像判別方法。
【請求項８】
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
請求項６または７に記載の画像判別方法。
【請求項９】
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
請求項８に記載の画像判別方法。
【請求項１０】
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
請求項８に記載の画像判別方法。
【請求項１１】
コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
請求項１１に記載のコンピュータ読み取り可能な記録媒体。
【請求項１３】
前記コンピュータに、
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
【請求項１４】
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
請求項１３に記載のコンピュータ読み取り可能な記録媒体。
【請求項１５】
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
請求項１３に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クエリ画像中の対象物の判別を行なう、画像判別装置、画像判別方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及に伴い、ユーザが利用可能な画像データの量が著しく増加している。そして、このため、大量の参照画像の中から、クエリ画像と同一又は類似の画像を検索する画像検索システムの利用が増加している。また、画像検索システムにおいては、クエリ画像と参照画像との関係（同一、類似、又は非類似）を判別する判別エンジンの性能が重要であり、各種判別エンジンが提案されている（例えば、特許文献１参照。）。【０００３】
具体的には、特許文献１に開示された判別エンジンは、まず、クエリ画像上に特徴点を設定し、設定した特徴点の座標と、所定領域内の画素の輝度値とに基づいて、局所特徴量を算出する。次に、判別エンジンは、クエリ画像の局所特徴量と、参照画像の予め算出された局所特徴量とのそれぞれについて、ベクトル量子化ヒストグラムを作成する。その後、判別エンジンは、クエリ画像及び参照画像それぞれのベクトル量子化ヒストグラムを比較することによって、両者の類似度を算出する。【０００４】
このように特許文献１に開示された判別エンジンによれば、クエリ画像と参照画像との類似度を算出できるので、この判別エンジンを検索システムに用いれば、精度良く画像を検索することができると考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−５４５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された判別エンジンでは、クエリ画像の局所特徴量を算出し、局所特徴量を用いて類似判定をする必要があるので、処理にかかる時間が長いという問題点がある。また、特許文献１に開示された判別エンジンでは、大量の参照画像それぞれについて予め局所特徴量を算出する必要があり、画像のデータベースの構築にコストがかかるという問題がある。【０００７】
本発明の目的の一例は、上記問題を解消し、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図り得る、画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一側面における画像判別装置は、クエリ画像と参照画像との関係を判別するための装置であって、
前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする。【０００９】
また、上記目的を達成するため、本発明の一側面における画像判別方法は、クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする。【００１０】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００１１】
以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。
【図３】図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。
【図４】図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。
【図５】図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。
【図６】図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。
【図７】図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。
【図８】図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
（実施の形態）
以下、本発明の実施の形態における、画像判別装置、画像判別方法、及びプログラムについて、図１〜図８を参照しながら説明する。
【００１４】
［装置構成］
最初に、本実施の形態における画像判別装置の概略構成について図１を用いて説明する。  図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。
【００１５】
図１に示す本実施の形態における画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。図１に示すように、画像判別装置１０は、画像取得部１１と、指標算出部１２と、画像判別部１３とを備えている。
【００１６】
また、画像取得部１１は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する。指標算出部１２は、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標（以下「線形性指標」と表記する。）、及びその対称性を示す第２の指標（以下「対称性指標」と表記する。）を算出する。
【００１７】
画像判別部１３は、まず、指標算出部１２によって算出された線形性指標及び対称性指標と、予め登録されている参照画像それぞれにおける被写体の線形性指標及び対称性指標とを比較する。次に、画像判別部１３は、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する。
【００１８】
このように、画像判別装置１０では、画像中の被写体の形状から算出した指標によって、画像間の関係を判別することができる。従って、画像判別装置１０を用いて画像検索システムを構築すれば、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
【００１９】
ここで、本実施の形態における画像判別装置の構成について図２〜図５を用いて更に具体的に説明する。図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。
【００２０】
図２に示すように、本実施の形態では、画像判別装置１０は、参照画像を蓄積する画像データベース２１と共に、検索システム２０を構築している。更に、画像判別装置１０は、画像検索サービスを利用するユーザの端末装置３０に、インターネット等のネットワーク（図２において図示せず）を介して接続されている。
【００２１】
そして、この構成により、ユーザは、端末装置３０から画像判別装置１０へと、画像検索に用いるクエリ画像を送信する。また、本実施の形態では、ユーザは、端末装置３０上で、クエリ画像を視認しながら、検索対象となる被写体の外縁を指定する。例えば、端末装置３０が、入力デバイスとしてタッチパネルを備える場合であれば、ユーザは、画面に表示されたクエリ画像上で被写体の外縁をなぞることによって、外縁を指定することができる。外縁の指定が終了すると、端末装置３０は、被写体の外縁を特定する情報、具体的には、外縁に指定された部分の座標の集合（以下「外縁特定情報」と表記する。）も、画像判別装置１０へと送信する。
【００２２】
また、図２に示すように、画像判別装置１０は、上述した、画像取得部１１、指標算出部１２及び画像判別部１３に加えて、入力受付部１４と、色情報作成部１５と、出力部１６とを更に備えている。
【００２３】
入力受付部１４は、端末装置３０から、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付ける。また、入力受付部１４は、受け付けたクエリ画像及び外縁特定情報を、画像取得部１１に受け渡す。
【００２４】
画像取得部１１は、本実施の形態では、クエリ画像及び外縁特定情報を受け取り、これらを用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する。具体的には、画像取得部１１は、外縁の外側に相当する外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を生成し、これをマスク画像として取得する。
【００２５】
例えば、クエリ画像が、図３の上段に示すキアゲハの画像であり、この画像において、点線で示すように外縁が指定されているとする。この場合、画像取得部１１は、図３の下段に示すように、マスク画像として、キアゲハのシルエットが白抜きで表された白黒の画像を生成する。また、画像取得部１１は、生成したマスク画像を指標算出部１２に受け渡し、生成したマスク画像とクエリ画像とを色情報作成部１５に受け渡す。
【００２６】
なお、本実施の形態においては、マスク画像の生成は、端末装置３０によって行なわれていても良い。この場合は、端末装置３０は、クエリ画像と対応するマスク画像とを、画像判別装置１０へと送信する。
【００２７】
また、本実施の形態では、指標算出部１２は、線形性指標として、マスク画像における内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出する。具体的には、指標算出部１２は、内側領域上にｎ個の点をランダムに設定し、設定した点の座標（ｘｉ，ｙｉ）を下記の数１に代入して、係数Ａを算出し、これを線形性指標とする。得られた線形性指標は０から１の値をとり、１に近い程、被写体が細長いことを示し、０に近い程、被写体が丸いこと（不定形であること）を示している。
【００２８】
【数１】
2017006648.tif 000003
【００２９】
更に、指標算出部１２は、対称性指標として、マスク画像における内側領域の点対称の程度を表す係数を算出する。具体的には、まず、指標算出部１２は、内側領域を、その重心を中心に１８０度回転させ、回転前の内側領域と回転後の内側領域との重なり合う部分の面積ｓを算出する。次に、内側領域の面積Ｓと重なり合う部分の面積ｓとの比Ｂ（＝ｓ／Ｓ）を算出し、これを対称性指標とする。
【００３０】
ここで、図４を用いて、被写体が昆虫である場合の線形性指標と対称性指標とについて説明する。図４は、横軸を線形性指標とし、縦軸を対称性指標として、各被写体の指標の値をプロットすることによって得られた２次元散布図である。図４に示すように、線形性指標と対称性指標とを組み合せれば、各昆虫を簡単に区別することができる。従って、クエリ画像の被写体が昆虫である場合は、線形性指標と対称性指標とを用いれば、クエリ画像と参照画像との関係を高精度に判定することができる。
【００３１】
また、色情報作成部１５は、クエリ画像上の外縁の内側に相当する領域（以下「色情報作成領域」と表記する。）を対象にして、クエリ画像の被写体の色情報を作成する。色情報の具体例として、色ヒストグラム及び色コリログラムが挙げられる。
【００３２】
ここで、色情報として色ヒストグラムが作成される場合について図５を用いて説明する。図５に示すように、色情報作成部１５は、色情報作成領域を構成する各画素を、その色に基づいて、予め設定されたグループ（図５の例では１６色の色毎のグループ）に分類する。そして、色情報作成部１５は、グループ毎に、グループに属する画素の数の割合を算出し、算出した割合の値をビンの値（縦軸の値）としては、図５に示す色ヒストグラムを作成する。なお、本実施の形態において、色ヒストグラムを作成する際のグループの数（色数）は特に限定されるものではない。
【００３３】
また、色情報作成部１５は、色情報として色コリログラムを作成する場合は、まず、色情報作成領域の各画素から、存在する色の組合せを特定し、特定した組合せ毎に、共起頻度を算出する。そして、色情報作成部１５は、算出した各共起頻度の値をビンの値として、色コリログラムを作成する。
【００３４】
画像データベース２１は、多数の参照画像を蓄積すると共に、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報も蓄積している。このうち、タグ情報は、被写体についての情報、例えば、被写体が昆虫であるならば、名称、幼虫成虫の区別、生息地域、成虫となる時期、食料となる植物、発見しやすい場所等を含む。
【００３５】
また、参照画像の線形性指標及び対称性指標は、クエリ画像の場合と同様に、予め、参照画像の被写体のマスク画像を生成することによって算出される。更に、参照画像の色情報は、クエリ画像の場合と同様に、参照画像上の色情報作成領域を対象にして作成される。なお、参照画像の線形性指標及び対称性指標は、画像判別装置１０の指標算出部１２によって予め算出されていても良い。参照画像の色情報は、画像判別装置１０の色情報作成部１５によって予め算出されていても良い。
【００３６】
また、図２の例では、画像データベース２１は、画像判別装置１０とは別の装置（コンピュータ）によって構築されているが、本実施の形態は、この態様に限定されるものではない。画像データベース２１は、画像判別装置１０の内部に構築されていても良い。
【００３７】
画像判別部１３は、本実施の形態では、色情報作成部１５によって作成された、クエリ画像の被写体の色情報と、予め登録されている参照画像それぞれにおける被写体の色情報とを比較する。そして、画像判別部１３は、色情報の比較の結果と、線形性指標及び対称性指標の比較の結果とに基づいて、クエリ画像と参照画像との関係を判別する。本実施の形態では、画像判別部１３は、クエリ画像と参照画像との類似度を算出することによって、両者の関係を判別する。
【００３８】
具体的には、画像判別部１３は、まず、図４に示した２次元散布図に、参照画像毎に、その線形性指標と対称性指標とを用いて各参照画像の点をプロットする。次に、画像判別部１３は、図４に示した２次元散布図に、クエリ画像の線形性指標と対称性指標とを用いて、クエリ画像の点もプロットする。そして、画像判別部１３は、参照画像毎に、クエリ画像の点とのユークリッド距離を算出し、ユークリッド距離が小さい程値が高くなるように類似度（以下「形状類似度」と表記する。）を算出する。
【００３９】
画像データベース２１に、色情報として、色ヒストグラムが蓄積されているとする。この場合、画像判別部１３は、参照画像毎に、その色ヒストグラムと、クエリ画像の色ヒストグラムとから、対応する各ビンの値のうち小さい方の値を取得し、すべてのビンについての合計値を算出する。そして、画像判別部１３は、参照画像毎に、得られた合計値が高い程、値が高くなるように、クエリ画像との類似度（以下「色類似度」と表記する。）を算出する。
【００４０】
また、画像データベース２１に、色情報として、色コリログラムが蓄積されている場合も、画像判別部１３は、上記と同様に、合計値を算出することによって、類似度を算出する。なお、色コリログラムでは、画像の模様の相違が反映されることから、色情報として色コリログラムが作成される場合は、判別精度の向上が図られることになる。
【００４１】
そして、画像判別部１３は、参照画像毎に、形状類似度と色類似度とを用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度及び色類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、重み係数の値は、被写体の種類などによって適宜設定される。
【００４２】
また、画像判別部１３は、本実施の形態では、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像を特定し、特定した参照画像の画像データとタグ情報とを、出力部１６に受け渡す。これにより、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する。
【００４３】
これにより、例えば、ユーザが、クエリ画像として昆虫の画像を入力していたとすると、クエリ画像の昆虫に類似する昆虫の画像データとタグ情報とが、検索結果として、端末装置３０に送信される。よって、端末装置３０の画面には、参照画像と、タグ情報である昆虫の名称等が表示される。この場合、ユーザは、クエリ画像の被写体である昆虫が何であるかを知ることができる。
【００４４】
［装置動作］
次に、本発明の実施の形態における画像判別装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参酌する。また、本実施の形態では、画像判別装置１０を動作させることによって、画像判別方法が実施される。よって、本実施の形態における画像判別方法の説明は、以下の画像判別装置１０の動作説明に代える。
【００４５】
まず、前提として、画像データベースには、多数の参照画像が、それぞれ対応する、線形性指標、対称性指標、タグ情報、及び色情報と共に蓄積されているとする。そして、ユーザが、端末装置３０から、クエリ画像と外縁特定情報とを送信したとする。
【００４６】
図６に示すように、最初に、画像判別装置１０において、入力受付部１４は、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付けて、これらを画像取得部１１に受け渡す（ステップＡ１）。
【００４７】
次に、画像取得部１１は、クエリ画像及び外縁特定情報を用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する（ステップＡ２）。具体的には、画像取得部１１は、外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰されたマスク画像を生成する。
【００４８】
次に、指標算出部１２は、ステップＡ２で生成されたマスク画像を用いて、クエリ画像の線形性指標と対称性指標とを算出する（ステップＡ３）。次に、色情報作成部１５は、クエリ画像上の色情報作成領域を対象にして、クエリ画像の被写体の色情報を作成する（ステップＡ４）。
【００４９】
次に、画像判別部１３は、ステップＡ３及びＡ４の結果を用いて、クエリ画像と各参照画像との類似度を算出する（ステップＡ５）。具体的には、画像判別部１３は、線形性指標及び対称性指標を用いて形状類似度を算出し、色情報を用いて色類似度を算出し、更に、これらを用いて、最終的な類似度を算出する。そして、画像判別部１３は、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像の画像データとタグ情報とを、出力部１６に受け渡す。
【００５０】
次に、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する（ステップＡ６）。これにより、端末装置３０の画面には、クエリ画像の被写体に類似した被写体の参照画像と、タグ情報とが表示される。
【００５１】
以上のように、本実施の形態によれば、比較的軽い演算処理によって、クエリ画像と参照画像との関係が判別されるので、処理速度の向上が図られることになる。また、画像データベース２１の構築においては、参照画像毎に、線形性指標、対称性指標、及び色情報を求めておくだけで良いので、画像データベース２１の構築にかかるコストの低減化が図られる。
【００５２】
また、上記特許文献１で用いられる局所特徴量は、画素の変化といった画像上の特徴をベクトルによって表現するものであり、ヒトが直感的に理解できるものではない。このため、局所特徴量を用いた判別においては、判別基準の調整及び設定が難しいという問題がある。これに対して、本実施の形態では、「細長い」、「丸い」、「対称的」といったヒトが直感的に理解できるものを指標として用いるため、判別基準の調整及び設定は容易となる。
【００５３】
また、上述したように、本実施の形態によれば、ユーザは、それが何であるかを知りたいものの画像をクエリ画像として入力すれば、類似度が高い参照画像とその情報とを受け取ることができる。よって、本実施の形態における画像判別装置１０は、教育現場、農業現場等においても有用である。
【００５４】
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像判別装置と画像判別方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像取得部１１、指標算出部１２、画像判別部１３、入力受付部１４、及び色情報作成部１５、及び出力部１６として機能し、処理を行なう。
【００５５】
（変形例）
ここで、本発明の実施の形態における画像判別装置の変形例について説明する。図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。
【００５６】
図７に示すように、本変形例では、画像判別装置１０は、図２に示した構成に加えて、局所特徴量算出部１７を備えている。局所特徴量算出部１７は、クエリ画像上の外縁の内側に相当する領域（色情報作成領域）を対象にして、クエリ画像の局所特徴量を算出する。局所特徴量は、回転及びスケールの変更に対して不変的な特徴量である。
【００５７】
具体的には、局所特徴量算出部１７は、色情報作成領域における特徴点な部分、例えば、濃淡の変化が大きい部分等を特定し、特定した部分の画素値又は微分値等を抽出する。そして、局所特徴量算出部１７は、抽出した値を用いて、特徴ベクトルを生成する（下記のURL(1)参照）。なお、本変形例では、局所特徴量としては、既知の「ＳＩＦＴ」（下記のURL(2)、(3)参照）、「ＳＵＲＦ」（下記のURL(4)、(5)参照）、「ＡＫＡＺＥ」（下記のURL(6)、(7)参照）、「Ｇａｂｏｒ」（下記のURL(8)、(9)参照）等を利用することができる。
【００５８】
URL(1):http://dbsj.org/wp-content/uploads/journal/vol8/no1/dbsj-journal-08-01-119.pdf
URL(2):https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf
URL(3):http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial-Fujiyoshi.pdf
URL(4):http://www.vision.ee.ethz.ch/~surf/eccv06.pdf
URL(5):http://www.topic.ad.jp/sice/papers/280/280-4.pdf
URL(6):http://www.robesafe.com/personal/pablo.alcantarilla/papers/Alcantarilla13bmvc.pdf
URL(7):http://poly.hatenablog.com/entry/2014/01/06/063012
URL(8):http://www.neuro-it.net/pdf_dateien/summer_2004/Jones%201987.pdf
URL(9):http://www.me.cs.scitec.kobe-u.ac.jp/~takigu/pdf/2010/OS8-2.pdf
【００５９】
また、本変形例では、画像データベース２１は、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報に加え、局所特徴量（特徴ベクトル）も蓄積している。よって、本変形例では、画像判別部１３は、参照画像毎に、その特徴ベクトルとクエリ画像の特徴ベクトルとの類似度（以下「特徴類似度」と表記する。）を算出する。
【００６０】
そして、画像判別部１３は、参照画像毎に、形状類似度、色類似度、及び特徴類似度を用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度、色類似度、及び特徴類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、本変形例においても、重み係数の値は、被写体の種類などによって適宜設定される。
【００６１】
このように、本変形例では、局所特徴量も用いてクエリ画像と参照画像との関係が判別されるため、判別精度の向上を図ることができる。本変形例は、高い判別精度が必要となる分野に有用である。
【００６２】
（物理構成）
ここで、本実施の形態におけるプログラムを実行することによって、画像判別装置１０を実現するコンピュータについて図８を用いて説明する。図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
【００６３】
図８に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【００６４】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００６５】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００６６】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００６７】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【００６８】
なお、本実施の形態における画像判別装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００６９】
また、上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１８）によって表現することができるが、以下の記載に限定されるものではない。  
【００７０】
（付記１）
クエリ画像と参照画像との関係を判別するための装置であって、
前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする画像判別装置。
【００７１】
（付記２）
前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１に記載の画像判別装置。
【００７２】
（付記３）
前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１に記載の画像判別装置。
【００７３】
（付記４）
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記３に記載の画像判別装置。
【００７４】
（付記５）
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記３に記載の画像判別装置。
【００７５】
（付記６）
クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする画像判別方法。
【００７６】
（付記７）
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記６に記載の画像判別方法。
【００７７】
（付記８）
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記６に記載の画像判別方法。
【００７８】
（付記９）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記８に記載の画像判別方法。
【００７９】
（付記１０）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記８に記載の画像判別方法。
【００８０】
（付記１１）
コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８１】
（付記１２）
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８２】
（付記１３）
前記コンピュータに、
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８３】
（付記１４）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８４】
（付記１５）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８５】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８６】
この出願は、２０１５年７月３日に出願された日本出願特願２０１５−１３４２７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００８７】
以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。本発明は、画像検索の分野に有用である。
【符号の説明】
【００８８】
１０  画像判別装置
１１  画像取得部
１２  指標算出部
１３  画像判別部
１４  入力受付部
１５  色情報作成部
１６  出力部
１７  局所特徴量算出部
２０  検索システム
２１  画像データベース
３０  端末装置
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2017006648.tif 000004
【図２】
2017006648.tif 000005
【図３】
2017006648.tif 000006
【図４】
2017006648.tif 000007
【図５】
2017006648.tif 000008
【図６】
2017006648.tif 000009
【図７】
2017006648.tif 000010
【図８】
2017006648.tif 000011
【国際調査報告】
2017006648.tif 000012
2017006648.tif 000013
2017006648.tif 000014