(57)【要約】【課題】【解決手段】本出願の実施形態は、画像を検索するための方法、画像を検索するためのシステム、および画像を検索するためのコンピュータプログラム製品に関する。画像を検索するための方法が提供される。該方法は、入力された照会画像を受信することと、入力された照会画像から視覚特徴を抽出することと、照会画像の視覚特徴と、画像データベース内の画像の視覚特徴との類似性を決定することと、照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定することと、照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせに基づいて、商用物の検索を行うことと、検索結果を返すことと、を含む。【選択図】  図１Ａ
2016529611.tif 000002
【特許請求の範囲】
【請求項１】
画像を検索するための方法であって、
入力された照会画像を受信することと、
前記入力された照会画像から視覚特徴を抽出することと、
前記照会画像の視覚特徴と、画像データベース内の画像の視覚特徴との類似性を決定することと、
前記照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、前記照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定することと、
前記照会画像に関係付けられる前記カテゴリ情報、記述情報、またはその組み合わせと、前記照会画像と、に基づいて、前記商用物の検索を行うことと、
検索結果を返すことと、
を備える方法。
【請求項２】
請求項１に記載の方法であって、
前記入力された照会画像から視覚特徴を抽出することは、
前記照会画像から主コンテンツゾーンを抽出することと、
前記主コンテンツゾーンから視覚特徴を抽出することと、
を含む、方法。
【請求項３】
請求項２に記載の方法であって、さらに、
前記照会画像の主コンテンツのコンテンツタイプを決定することであって、前記照会画像の前記主コンテンツが衣料タイプのコンテンツである場合に、前記照会画像から主コンテンツゾーンを抽出することは、
顔検出技術に基づいて、前記照会画像の顔ゾーンを検出し、前記顔ゾーンの位置および領域を検出することと、
前記顔ゾーンの前記位置および領域、ならびに既定の顔ゾーン対胴体ゾーン比率に基づいて、胴体ゾーンの位置および領域を決定することと、
前記胴体ゾーンの前記位置および領域に基づいて、前記照会画像から主コンテンツゾーンを抽出することと、
を含む、ことを備える方法。
【請求項４】
請求項１に記載の方法であって、
前記入力された照会画像から視覚特徴を抽出することは、前記照会画像からグローバル特徴、ローカル特徴、またはその組み合わせを抽出することを含み、
前記グローバル特徴は、グローバルエッジ特徴、グローバルカラー分布特徴、またはその組み合わせを含み、
前記ローカル特徴は、ローカル回転不変特徴を含む、方法。
【請求項５】
請求項１に記載の方法であって、
前記照会画像から抽出された視覚特徴が少なくとも２つある場合は、前記照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定することは、
各種の視覚特徴の既定の順序にしたがって、階層化されたカスケードタイプの計算を実施することを含み、前記階層化されたカスケードタイプの計算を実施することは、
各層について計算を実施することを含み、前記各層について計算を実施することは、
前記各層内で１つの特徴のみに基づいて類似性を決定することと、
次の層内で次の特徴に基づいて類似性を決定するために、前記各層内での第２の前提条件に適合する各画像からなる画像のセットを前記次の層に入力することと、
を含む、方法。
【請求項６】
請求項１に記載の方法であって、
前記照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報に基づいて、前記照会画像に関係付けられるカテゴリ情報を決定することは、
前記画像データベース内に格納されている各画像のカテゴリ情報に基づいて、前記第１の前提条件に適合する類似性を有する前記画像データベース内の各画像に対応するカテゴリを決定することと、
発生頻度が最も高いカテゴリを、前記照会画像に関係付けられるカテゴリ情報であると決定することと、
を含む、方法。
【請求項７】
請求項６に記載の方法であって、
前記照会画像に関係付けられる記述情報を決定することは、
前記第１の前提条件に適合する類似性を有する画像のなかで、前記最も高い発生頻度を有するカテゴリに対応する画像から記述情報を抽出することと、
前記最も高い発生頻度を有するカテゴリに対応する前記画像の前記記述情報に基づいて、前記照会画像の記述情報を決定することと、
を含む、方法。
【請求項８】
画像を検索するためのシステムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに接続され、前記少なくとも１つのプロセッサに命令を提供するように構成されたメモリと、
を備え、
前記少なくとも１つのプロセッサは、
入力された照会画像を受信することと、
前記入力された照会画像から視覚特徴を抽出することと、
前記照会画像の視覚特徴と、画像データベース内の画像の視覚特徴との類似性を決定することと、
前記照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、前記照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定することと、
前記照会画像に関係付けられる前記カテゴリ情報、記述情報、またはその組み合わせと、前記照会画像と、に基づいて、前記商用物の検索を行うことと、
検索結果を返すことと、
を行うように構成される、システム。
【請求項９】
請求項８に記載のシステムであって、
前記入力された照会画像から視覚特徴を抽出することは、
前記照会画像から主コンテンツゾーンを抽出することと、
前記主コンテンツゾーンから視覚特徴を抽出することと、
を含む、方法。
【請求項１０】
請求項９に記載のシステムであって、
前記少なくとも１つのプロセッサは、さらに、
前記照会画像の主コンテンツのコンテンツタイプを決定することであって、前記照会画像の前記主コンテンツが衣料タイプのコンテンツである場合に、前記照会画像から主コンテンツゾーンを抽出することは、
顔検出技術に基づいて、前記照会画像の顔ゾーンを検出し、前記顔ゾーンの位置および領域を検出することと、
前記顔ゾーンの前記位置および領域、ならびに既定の顔ゾーン対胴体ゾーン比率に基づいて、胴体ゾーンの位置および領域を決定することと、
前記胴体ゾーンの前記位置および領域に基づいて、前記照会画像から主コンテンツゾーンを抽出することと、
を含む、ことを行うように構成される、システム。
【請求項１１】
請求項８に記載のシステムであって、
前記入力された照会画像から視覚特徴を抽出することは、前記照会画像からグローバル特徴、ローカル特徴、またはその組み合わせを抽出することを含み、
前記グローバル特徴は、グローバルエッジ特徴、グローバルカラー分布特徴、またはその組み合わせを含み、
前記ローカル特徴は、ローカル回転不変特徴を含む、システム。
【請求項１２】
請求項８に記載のシステムであって、
前記照会画像から抽出された視覚特徴が少なくとも２つある場合は、前記照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定することは、
各種の視覚特徴の既定の順序にしたがって、階層化されたカスケードタイプの計算を実施することを含み、前記階層化されたカスケードタイプの計算を実施することは、
各層について計算を実施することを含み、前記各層について計算を実施することは、
前記各層内で１つの特徴のみに基づいて類似性を決定することと、
次の層内で次の特徴に基づいて類似性を決定するために、前記各層内での第２の前提条件に適合する各画像からなる画像のセットを前記次の層に入力することと、
を含む、システム。
【請求項１３】
請求項８に記載のシステムであって、
前記照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報に基づいて、前記照会画像に関係付けられるカテゴリ情報を決定することは、
前記画像データベース内に格納されている各画像のカテゴリ情報に基づいて、前記第１の前提条件に適合する類似性を有する前記画像データベース内の各画像に対応するカテゴリを決定することと、
発生頻度が最も高いカテゴリを、前記照会画像に関係付けられるカテゴリ情報であると決定することと、
を含む、システム。
【請求項１４】
請求項１３に記載のシステムであって、
前記照会画像に関係付けられる記述情報を決定することは、
前記第１の前提条件に適合する類似性を有する画像のなかで、前記最も高い発生頻度を有するカテゴリに対応する画像から記述情報を抽出することと、
前記最も高い発生頻度を有するカテゴリに対応する前記画像の前記記述情報に基づいて、前記照会画像の記述情報を決定することと、
を含む、システム。
【請求項１５】
画像テキスト情報を取得するための方法であって、
ファイナライズされていないカテゴリ情報を有する対象画像を取得することと、
前記対象画像の視覚特徴を抽出することと、
前記対象画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定することと、
前記対象画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、およびその組み合わせに基づいて、前記対象画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを決定することと、
を備える方法。
【請求項１６】
請求項１５に記載の方法であって、
前記対象画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報に基づいて、前記対象画像に関係付けられるカテゴリ情報を決定することは、
前記画像データベース内に格納されている各画像のカテゴリ情報に基づいて、前記第１の前提条件に適合する類似性を有する前記画像データベース内の各画像に対応するカテゴリを決定することと、
発生頻度が最も高いカテゴリを、前記照会画像に関係付けられるカテゴリ情報であると決定することと、
を含む、方法。
【請求項１７】
画像テキスト情報を取得するためのシステムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに接続され、前記少なくとも１つのプロセッサに命令を提供するように構成されたメモリと、
を備え、
前記少なくとも１つのプロセッサは、
ファイナライズされていないカテゴリ情報を有する対象画像を取得することと、
前記対象画像の視覚特徴を抽出することと、
前記対象画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定することと、
前記対象画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、およびその組み合わせに基づいて、前記対象画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを決定することと、
を行うように構成される、システム。
【請求項１８】
請求項１７に記載のシステムであって、
前記対象画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報に基づいて、前記対象画像に関係付けられるカテゴリ情報を決定することは、
前記画像データベース内に格納されている各画像のカテゴリ情報に基づいて、前記第１の前提条件に適合する類似性を有する前記画像データベース内の各画像に対応するカテゴリを決定することと、
発生頻度が最も高いカテゴリを、前記照会画像に関係付けられるカテゴリ情報であると決定することと、
を含む、システム。
【請求項１９】
有体の非一時的なコンピュータ読み取り可能ストレージ媒体に盛り込まれた、画像を検索するためのコンピュータプログラム製品であって、
入力された照会画像を受信するためのコンピュータ命令と、
前記入力された照会画像から視覚特徴を抽出するためのコンピュータ命令と、
前記照会画像の視覚特徴と、画像データベース内の画像の視覚特徴との類似性を決定するためのコンピュータ命令と、
前記照会画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、前記照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定するためのコンピュータ命令と、
前記照会画像に関係付けられる前記カテゴリ情報、記述情報、またはその組み合わせと、前記照会画像と、に基づいて、前記商用物の検索を行うためのコンピュータ命令と、
検索結果を返すためのコンピュータ命令と、
を備えるコンピュータプログラム製品。
【請求項２０】
有体の非一時的なコンピュータ読み取り可能ストレージ媒体に盛り込まれた、画像テキスト情報を取得するためのコンピュータプログラム製品であって、
ファイナライズされていないカテゴリ情報を有する対象画像を取得するためのコンピュータ命令と、
前記対象画像の視覚特徴を抽出するためのコンピュータ命令と、
前記対象画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定するためのコンピュータ命令と、
前記対象画像との類似性が第１の前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、およびその組み合わせに基づいて、前記対象画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを決定するためのコンピュータ命令と、
を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１３年７月３１日に出願され発明の名称を「Ａ  ＭＥＴＨＯＤ  ＡＮＤ  ＤＥＶＩＣＥ  ＦＯＲ  ＩＭＡＧＥ  ＳＥＡＲＣＨＥＳ  ＡＮＤ  ＦＯＲ  ＡＣＱＵＩＲＩＮＧ  ＩＭＡＧＥ  ＴＥＸＴ  ＩＮＦＯＲＭＡＴＩＯＮ（画像検索のためのおよび画像テキスト情報を取得するための、方法およびデバイス）」とする中国特許出願第２０１３１０３２８６７３．５号の優先権を主張する。該出願は、あらゆる目的のために、参照によって本明細書に組み込まれる。
【０００２】
本出願は、画像を検索するための方法およびシステムに関する。
【背景技術】
【０００３】
インターネット上の画像データ情報の量が増すにつれて、ユーザがオンライン画像の検索を求める需要が増え続けている。画像検索を求めるこの需要の伸びは、ウェブベースの様々な画像検索エンジンを生み出してきた。画像検索は、画像テキストまたは視覚特徴を検索することによって適切なグラフィック／画像素材検索サービスをオンラインでユーザに提供する専用の検索エンジンシステムを通じて実施される。
【０００４】
画像検索エンジンは、画像検索の範囲に基づいて、２つの主なカテゴリ、即ち包括的画像検索と垂直画像検索とに分けられる。包括的画像検索は、インターネット全体の画像に対して行われる類似性検索である。垂直画像検索は、一部のカテゴリ（衣料、靴、および他の製品など）を主として対象とする検索である。現在、電子商取引プラットフォームなどの専門のウェブサイトにおけるオンサイト画像検索エンジンは、主として垂直画像検索のカテゴリに入る。このような専門のウェブサイトの場合は、ユーザによってアップロードされた照会画像を使用して検索が行われ、同じまたは類似の商用物の画像が返される。
【０００５】
当初、専門のウェブサイトにおけるオンサイト画像検索は、ウェブサイト自身のデータベースからの画像を検索のための照会画像として使用するのが一般的であった。たとえば、電子商取引プラットフォームの画像データベースは、売り手ユーザによってアップロードされた多くの商用物の画像を格納しており、また、各画像に対応する商用物に関係付けられたカテゴリ情報はもちろん、対応するスタイル情報（スタイル情報にはカラーや形状などが含まれる）や他の同様な画像情報も格納している。ユーザは、アップロードされた商用物の１つの画像を照会画像として選択する。このようにして、オンサイト検索エンジンは、照会画像のカテゴリ情報、対応するスタイル情報（カラーや形状など）、および他の同様な画像情報に基づいて検索を行って、照会画像と同じまたは照会画像に極めて類似している商用物の画像を返すことができる。
【０００６】
このアプローチによって、比較的優れた検索結果を得ることが可能である。しかしながら、オンサイト画像データベース外の画像（たとえばユーザが携帯電話を使用して日常で撮影した画像）の場合は、その照会画像に関する記述情報を事前に得ることが不可能であるゆえに、検索結果画像の類似性および再現率が比較的低くなる。もちろん、より良い検索結果を得るために、システムは、ユーザに対し、照会画像を入力する際にその照会画像内の主コンテンツに関係付けられたカテゴリ、スタイル情報、および他の記述情報を提供するように求めることもできるだろう。しかしながら、このような検索結果は、ユーザによって入力された記述情報に大きく依存するだろう。ユーザの視点から見ると、このような検索プロセスは、煩雑になる恐れがあり、また、ユーザはウェブサイト画像データベース内の様々なカテゴリの定義を知らないかもしれないので、入力された記述情報は、必ずしも正確とは限らない。したがって、不正確な検索結果が返される恐れがある。
【図面の簡単な説明】
【０００７】
本発明の様々な実施形態が、以下の詳細な説明および添付の図面で開示される。
【０００８】
先行技術または本出願の実施形態における技術的解決策を、より明瞭に説明するために、以下で、実施形態に必要とされる図面が簡単に紹介される。以下で説明される図面は、本出願の幾つかの実施形態に過ぎないことが自明である。当業者ならば、創造的な労力を費やすことなく、これらの図面をもとにして他の図面を得られるだろう。
【０００９】
【図１Ａ】画像を検索するためのプロセスの一実施形態を示したフローチャートである。
【００１０】
【図１Ｂ】特徴を抽出するためのプロセスの一実施形態を示したフローチャートである。
【００１１】
【図１Ｃ】照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定するためのプロセスの一実施形態を示したフローチャートである。
【００１２】
【図２】画像テキスト情報を取得するためのプロセスの一実施形態を示したフローチャートである。
【００１３】
【図３Ａ】画像を検索するためのデバイスの一実施形態を示した図である。
【００１４】
【図３Ｂ】特徴抽出ユニットの一実施形態を示した図である。
【００１５】
【図４】画像テキスト情報を取得するためのデバイスの一実施形態を示した図である。
【００１６】
【図５】画像を検索するためのシステムの一実施形態を示した図である。
【００１７】
【図６】画像を検索するためのプログラムドコンピュータシステムの一実施形態を示した機能図である。
【００１８】
【図７】特徴を抽出されることになる画像の一例である。
【発明を実施するための形態】
【００１９】
本発明は、プロセス、装置、システム、合成物、コンピュータ読み取り可能ストレージ媒体に実装されたコンピュータプログラム製品、ならびに／または接続先のメモリに記憶された命令および／もしくは接続先のメモリによって提供される命令を実行するように構成されたプロセッサ等のプロセッサなどの、数々の形態で実現することができる。本明細書では、これらの実現形態、または本発明がとりえるその他のあらゆる形態を、技術と称することができる。総じて、開示されるプロセスの各ステップの順番は、本発明の範囲内で変更可能である。別途明記されない限り、タスクを実施するように構成されるものとして説明されるプロセッサまたはメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成された汎用コンポーネントとして、またはタスクを実施するように製造された特殊コンポーネントとして実装可能である。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つ以上のデバイス、回路、ならびに／または処理コアを言う。
【００２０】
本発明の原理を例示した添付の図面とともに、以下で、本発明の１つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態に関連付けて説明されるが、いずれの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、および均等物を包含している。以下の説明では、本発明の完全な理解を与えるために、数々の具体的詳細が明記されている。これらの詳細は、例示を目的として提供されるものであり、本発明は、これらの詳細の一部または全部を伴わずとも、特許請求の範囲にしたがって実施可能である。明瞭を期するために、本発明に関連した技術分野で知られる技工物は、本発明が不必要に不明瞭にされないように、詳細には説明されていない。
【００２１】
一部の実施形態では、画像検索を行うときに、ウェブサイト画像データベース内にはない画像を照会画像として使用することができる。照会画像の一例として、ユーザの携帯電話で撮影された写真や、別のウェブサイトまたはローカルファイルフォルダからの写真などが挙げられる。さらに、照会画像についてのカテゴリ情報または記述情報（たとえば製品属性、キーワード、メインカラー、および他の同様なスタイル情報）を手動で指定することが不要である。検索エンジンに関しては、ユーザによって入力された照会画像を受信した後、検索エンジンは、先ず、照会画像が属しているだろうカテゴリを決定することができる。また、検索エンジンは、照会画像についての記述情報を決定し、次いで、その記述情報に基づく検索結果をユーザに提供することもできる。
【００２２】
一部の実施形態では、照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定するために使用される方法は、照会画像をデータベース内の画像と比較することを含み、データベース内の画像は、これらの画像自体にカテゴリ情報および記述情報が関係付けられている。したがって、もし、データベース内で照会画像に類似する画像が見つかった場合は、データベース内で見つかったこれらの画像に関係付けられたカテゴリ情報に基づいて、現照会画像に関係付けられるカテゴリを決定することができる。続いて、現照会画像についての記述情報を決定することも可能である。
【００２３】
現照会画像に類似する画像のデータベース内での探索は、以下のように実施することができる。即ち、サーバは、先ず、画像データベース内の各画像からオフラインで視覚特徴を抽出し、各画像に対応する抽出された視覚特徴を画像データベースに格納することができる。一部の実施形態では、サーバは、各画像から視覚特徴を抽出し、各画像に対応する視覚特徴をデータベースに格納するので、ユーザが照会画像を入力したときに、サーバは、照会画像からも同様に視覚特徴を抽出し、抽出された照会画像の視覚特徴をデータベース内の各画像の視覚特徴と比較して、照会画像に類似する画像を見つける。もちろん、個々の画像は、主コンテンツに加えて背景および他のコンテンツを有することがあり、そのうちの主コンテンツのみが、その画像が主として表示するコンテンツを含むかもしれない。たとえば、或る画像の主な意図は、１枚の衣料を提示することである。この例では、その画像内の人物の胴体のみが、画像の主コンテンツゾーンに属する。したがって、一部の実施形態では、各画像から視覚特徴が抽出される前に、サーバは、先ず、各画像の主コンテンツゾーンを検出し、次いで、その主コンテンツゾーンから視覚特徴を抽出することができる。したがって、類似性決定の精度が、画像背景に影響されることはない。
【００２４】
どの主コンテンツゾーンが検出され、どの特定の視覚特徴が抽出されるかに関する実施形態が、以下で説明される。電子商取引プラットフォームにおいて、画像データベース内の画像は、通常、売り手ユーザによってアップロードされた商用物（たとえば商品）の画像であり、売り手ユーザは、同じ商用物について、そのうちの１枚が主要画像である複数の画像をアップロードするだろう。一部の実施形態では、視覚特徴の抽出を、商用物の主要画像に限定することができる。また、システム内には多くの売り手ユーザが存在し、常に新しい商用物画像をアップロードしているので、特徴抽出は、データベースに毎日（または異なる期間ごとに）追加される新しい商用物の主要画像に対して実施することができる。もちろん、これらの主要画像は、全て、ユーザによってアップロードされたものであるので、画像品質（画素や解像度など）が、各種の要件を満たさないことがある。要件の例として、格納された画像が小さすぎること（２００×２００画素未満の画像）、画像品質が悪いこと（たとえば携帯電話によって撮られた画像をコンピュータ画面上で見たときの画像）、および何らかの主製品が強調されていないこと（たとえば画像が製品自体に加えて非製品情報も含む）が挙げられる。したがって、システムは、画像品質を事前に決定し、次いで、主コンテンツゾーンの検出および視覚特徴の抽出を行うこともできる。この実施形態では、システムは、照会画像カテゴリの決定に使用するために、算出された画像特徴を定期的に（たとえば毎日）オンライン分散画像データベース内へプッシュすることができる。プッシュされた算出画像特徴は、その後の検索にも使用することができる。
【００２５】
したがって、ユーザが照会画像をアップロードした後、システムは、先ず、照会画像から視覚特徴を抽出し、抽出された視覚特徴をオンラインのリアルタイム解析器に入力することができる。このオンラインのリアルタイム解析器は、照会画像の対応する視覚特徴に基づいてカテゴリを決定することができ、また、この導出されたカテゴリに対応するスタイル情報および他の同様な記述情報を抽出することもできる。次いで、この情報は、オンライン分散指標を照会するために使用することができる。照会から得られた結果画像は、特定のルールにしたがって順番に並べられ、次いで、ユーザに送り返される。ルールの一例として、画像のカラー、形状、および／またはパターンにしたがって結果画像を照会画像と比較すること、ならびに照会画像との類似性の順に結果をランク付けすることが挙げられる。
【００２６】
図１Ａは、画像を検索するためのプロセスの一実施形態を示したフローチャートである。一部の実施形態では、プロセス１００は、サーバ５２０（図５に示されている）によって実行され、以下を含む。
【００２７】
１１０において、サーバは、入力された照会画像を受信した後、その照会画像から視覚特徴を抽出する。
【００２８】
一部の実施形態では、照会画像から抽出される視覚特徴は、データベース内の各画像から視覚特徴がオフラインで抽出されるのと同じやり方で抽出される。さらに、視覚特徴タイプも、視覚特徴（のタイプ）に対応している。視覚特徴タイプの例として、スケール不変特徴変換（ＳＩＦＴ）、カラーレイアウト記述子（ＣＬＤ）、形状、画像コンテンツ、エッジヒストグラム記述子（ＥＨＤ）、およびＧＩＳＴ記述子が挙げられる。したがって、視覚特徴タイプの抽出および視覚特徴の抽出は、まとめて説明される。
【００２９】
一部の実施形態では、抽出される画像視覚特徴は、画像のカラーヒストグラム、粒状感、形状、および他のグローバル特徴などの、グローバル特徴である。一部の実施形態では、これらのグローバル特徴に基づいて、続いて、画像類似性計算および画像検索が実施される。一態様として、このようなグローバル特徴は、画像のグローバル記述のために使用されるが、画像の詳細を非常に細かく区別するには使用できないのが一般的である。したがって、一部の実施形態では、画像は、グローバル特徴（カラーやエッジなど）とローカル特徴とを併せた複合的アプローチを通じて記述される。ローカル特徴の例として、ＳＩＦＴ、加速化ロバスト特徴（ＳＵＲＦ）、主成分解析ＳＩＦＴ（ＰＣＡ−ＳＩＦＴ）、アフィンＳＩＦＴ（ＡＳＩＦＴ）、および勾配場所・方向ヒストグラム（ＧＬＯＨ）が挙げられる。続いて、これらのグローバル特徴およびローカル特徴に基づいて、データベース内の画像のなかから照会画像に類似する画像を探索することができる。こうして、抽出されたグローバル特徴およびローカル特徴を通じて画像を記述すること、ならびに決定の精度を高めることが可能である。もちろん、精度要件が比較的高くないときは、グローバル特徴またはローカル特徴のいずれかのみを抽出することが可能である。
【００３０】
一部の実施形態では、グローバル特徴は、グローバル視覚エッジ特徴、グローバルカラー分布特徴、またはその任意の組み合わせを含む。一部の実施形態では、ローカル特徴は、ローカル回転不変特徴を含む。ローカル回転不変特徴の一例に、ＳＩＦＴがある。グローバル視覚エッジ特徴の一例に、ＥＨＤがある。グローバルカラー分布特徴の一例に、ＣＬＤがある。一部の実施形態では、照会画像から任意の１つの視覚特徴情報が抽出される、照会画像から任意の２つまたは３つの視覚特徴情報が同時に抽出される、などである。要するに、照会画像からの視覚特徴の抽出量に対して特別な制約はない。たとえもし、照会画像から１つの視覚特徴のみが抽出される場合でも、ストレージスペースの利用を軽減しつつ、照会画像に関係付けられるカテゴリ情報および他の情報を決定することが実現される。もちろん、これら全ての特徴が抽出される場合は、１枚の照会画像から３つの異なるタイプの特徴を抽出することができる。同様に、指標の確立のために使用されるデータベース内の全ての画像の場合も、これら３つの異なるタイプの特徴を抽出してデータベースに格納することができる。なお、グローバルであれローカルであれ、全ての特徴が、当業者に理解される方法に基づいて抽出可能であり、方法に関する説明は、簡潔を期するために省略される。
【００３１】
図１Ｂは、特徴を抽出するためのプロセスの一実施形態を示したフローチャートである。一部の実施形態では、プロセス１１００は、図１Ａの動作１１０を実行に移したものであり、以下を含む。
【００３２】
１１１０において、サーバは、顔検出技術に基づいて、照会画像内の顔ゾーン、ならびに検出された顔ゾーンの位置および領域を検出する。顔検出は、与えられた任意の画像について、人の顔があるかどうかを決定し、その人の顔の場所およびサイズを提供することを言う。顔検出技術の例として、皮膚の色および／または動きを使用した検出がある。
【００３３】
１１２０において、サーバは、顔ゾーンの位置および領域、ならびに既定の顔ゾーン対胴体ゾーン比率に基づいて、胴体ゾーンの位置および領域を決定する。
【００３４】
１１３０において、サーバは、胴体ゾーンの位置および領域に基づいて、照会画像の主コンテンツゾーンを抽出する。
【００３５】
その結果、決定および検索の精度が向上する。一部の実施形態では、サーバは、主コンテンツゾーンの抽出を実施するために、画像分割・顕著性検出、大津の方法、およびグラフカットなどの方法を使用することができる。このような方法は、画像カラー分布情報に依存し、比較的大きい計算負荷を伴う。主コンテンツゾーンを検出するための方法は、システムパフォーマンスに影響する恐れがある。さらに、画像の場面が複雑であるときに、主コンテンツゾーンを検出するための方法は、主コンテンツゾーンを正確に分けられず、後続の処理にマイナスの結果をもたらすかもしれない。たとえば、照会画像は、モデルが見せる衣料を主コンテンツとして有する。この例では、画像の主コンテンツゾーンを決定するために、人の顔検出を使用することができる。
【００３６】
１１４０において、サーバは、主コンテンツゾーンから視覚特徴を抽出する。
【００３７】
図７は、特徴を抽出されることになる画像の一例である。この例では、サーバは、先ず、入力画像（照会画像またはデータベース内の画像であってよい）に対して顔検出を実施する。人の顔を検出する場合は、サーバは、丸い顔ゾーンと、この丸い顔ゾーンの中心点座標であるＣｅｎｔｅｒ（ｘ，ｙ）を得る。人の顔の検出に失敗した場合は、サーバは、画像全体を衣料の主ゾーンとして出力する。
【００３８】
次に、人の胴体が矩形ゾーン（Ｒｅｃｔ）として示されること、ならびにこの矩形ゾーン（Ｒｅｃｔ）の長さおよび幅が丸い顔ゾーンの直径（Ｒ）に比例的に関係付けられることが、先験的に知られている。Ｒｅｃｔの長さおよび幅は、この関係から得ることができる。たとえば、実際の条件に基づいて、以下のパラメータを決定することができる。
長さ＝３．５×Ｒ
幅＝２．５×Ｒ
【００３９】
したがって、顔ゾーンの中心座標（ｘ，ｙ）と、矩形ゾーン（Ｒｅｃｔ）の長さおよび幅とによって、サーバは、胴体矩形ゾーンの左上角の点Ｐ１（ｘ，ｙ）を得ることができる。さらに、サーバは、点Ｐ１（ｘ，ｙ）と、Ｒｅｃｔの長さおよび幅とに基づいて、衣料主ゾーンの対応座標を得ることができる。
【００４０】
図１Ａに戻り、１２０において、サーバは、照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定する。
【００４１】
照会画像の視覚特徴を得た後、サーバは、データベース内の画像から視覚特徴を予め抽出することができる。したがって、サーバは、照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定することができる。１つのタイプの視覚特徴のみが抽出され、その特定の視覚特徴が特定の次元のベクトルで一般的に表される場合は、２枚の画像間の類似性は、算出されたベクトル間距離で表される。一例では、ベクトル間距離は、それぞれが画像を表している２つのベクトル間のユークリッド距離に基づいて算出することができる。一部の実施形態では、同じ画像から、異なるタイプの複数の視覚特徴が抽出可能だろう。たとえば、画像の視覚特徴は、グローバル特徴およびローカル特徴の両方を含み、多くの種類のグローバル特徴が存在するなどである。多くの異なるタイプの視覚特徴が存在するこのような状況において、２枚の画像間の類似性が算出される場合は、その計算は、通常は、分類子に基づくことができる。要するに、分類子モデルを訓練するために、訓練サンプル群が手動で選択される。分類子モデルの例には、線形分類子、ベイジアン分類子、ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）などがある。続いて、照会画像の各種の視覚特徴が分類子に入力され、分類子は、照会画像に関係付けられるカテゴリを出力する。一態様として、このようなアプローチには、以下の制約があるのが一般的である。
【００４２】
１つ目は、訓練サンプルの手動選択に関係する労働コストが高い恐れがあることこと、および選択プロセスが主観的になり、分類子モデルの訓練にマイナスの結果を及ぼす恐れがあることである。
【００４３】
２つ目は、実際のシステムでは、サンプル分布がしばしば大きな非一様性を見せることであり、これは、比較的多くのサンプルを有するカテゴリがある一方で比較的少ないサンプルを有するカテゴリがあるという事実として現れる。サンプル分布におけるこのような不均衡は、分類子訓練プロセスに大きく影響する恐れがある。その結果、最終的に訓練された分類子モデルは、様々な種類のサンプルまたは画像をあまり上手く区別することができなくなる。
【００４４】
３つ目は、画像データベース内に、多量の画像データが存在することである。さらに、これらの画像の場面は、非常に複雑であることがある。したがって、一定量の訓練サンプルの選択には、困難が伴うことがある。即ち、比較的少数の訓練サンプルが選択される場合は、サーバは、様々なタイプのサンプルをあまり上手く記述することができない。比較的多数の訓練サンプルが選択される場合は、分類子を構築するために使用されるリソースが多くなるゆえに、分類子モデルは、さらに困難な状況に見舞われる。
【００４５】
４つ目は、分類子ベースの物体カテゴリ決定システムが正式にオンラインにされた後に、分類子モデルは定期的にアップデートされること、およびシステムは訓練サンプルの再選択を再度伴うことである。プロセス全体で大量のリソースが消耗され、これは、迅速でリアルタイムなシステムアップデートに不都合である。
【００４６】
カテゴリ決定における分類子の使用に伴う上記の制約を考慮し、一部の実施形態は、カスケードタイプの再検索画像類似性計算方法を提供する。要するに、サーバは、各層の計算を実施するにあたり、各種タイプの視覚特徴の既定の順序に基づいて、階層化されたカスケードタイプの計算を実施し、この類似性決定は、照会画像内の１つのタイプの特徴のみに基づいており、次のタイプの特徴に基づく類似性決定を実施するために、或る層内での前提条件に適合する画像セットを次の層に入力する。
【００４７】
たとえば、照会画像が３つの異なるタイプの視覚特徴、即ちグローバルエッジ特徴、グローバルカラー分布特徴、およびローカル回転不変特徴を含むと想定する。また、画像データベース内の各画像も、上記３タイプの視覚特徴を有する。さらに、これら各種の視覚特徴の既定の順序が、グローバルカラー分布特徴、グローバルエッジ特徴、およびローカル回転不変特徴であるとする。図１Ｃは、照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定するためのプロセスの一実施形態を示したフローチャートである。一部の実施形態では、プロセス１２００は、図１Ａの１２０を実行に移したものであり、以下を含む。
【００４８】
１２１０において、サーバは、第１の類似性測定技術に基づいて、照会画像のグローバルカラー分布特徴と、画像データベース内の各画像のグローバル色特徴との類似性を算出し、照会画像との類似性が第１の閾値を超える各画像からなる第１の画像セットを選択する。
【００４９】
１２２０において、サーバは、第２の類似性測定技術に基づいて、照会画像のグローバルエッジ特徴と、第１の画像セット内の各画像のグローバルエッジ特徴との類似性を算出し、第１の画像セットのなかから、照会画像との類似性が第２の閾値を超える各画像からなる第２の画像セットを選択する。
【００５０】
１２３０において、サーバは、第３の類似性測定技術を使用して、照会画像のローカル回転不変特徴と、第２の画像セット内の各画像のローカル回転不変特徴との類似性を算出し、第２の画像セットのなかから、照会画像との類似性が第３の閾値を超える各画像からなる第３の画像セットを選択する。
【００５１】
要するに、上記の各動作における決定は、それぞれ１つのタイプの視覚特徴に基づく。また、上記の各動作は、幾つかの画像をフィルタリングで排除するように構成される。動作１２３０で得られる画像セットは、全てのタイプの視覚特徴について照会画像に類似している各画像からなる画像セットである。上記のプロセス１２００は、カスケードタイプの決定に相当する。そこの各動作における対応する類似性測定技術は、互いに同じであってよいまたは異なっていてよい。要するに、異なるタイプの視覚特徴は、異なる類似性測定技術を有することができる。一部の実施形態では、類似性測定技術として、ベクトル間距離が使用される。たとえば、２つのベクトル間の距離を算出するために、ユークリッド計算が使用され、距離が小さいほど類似性が高くなる。なお、グローバルカラー分布特徴、グローバルエッジ特徴、および回転不変特徴について比較する手順は、様々な実施形態において可変であってよい。
【００５２】
このカスケードタイプの決定方法は、以下の点で、分類子訓練方法と異なる。
【００５３】
１つ目は、カスケードタイプの決定方法が、訓練サンプルも従来の分類子訓練プロセスも必要としないことである。カスケードタイプの決定方法は、システムリソースおよび分類子再訓練中に使用される大量のリソースを節約することができる。
【００５４】
２つ目は、カスケードタイプの決定方法が、層ごとに類似性決定を行うことである。各層では、１つの視覚特徴に関して照会画像に最も類似する画像のセットを得るために、それぞれ異なるタイプの画像特徴が使用される。得られた画像セットは、次のレベルで使用され、さらなるふるい分けを経る。
【００５５】
３つ目は、カスケードタイプの決定方法が、オフライン動作で１つの画像特徴を計算するのみであることである。その後に続く特徴計算は、全て、リアルタイム計算である。このプロセスに関わるシステムのストレージ負担および計算リソースは、複数の画像特徴を一度の計算にかけて次いでその結果を統合する技術よりも少なくて済む。
【００５６】
４つ目は、カスケードタイプの決定方法が、従来の機械学習分類子訓練プロセスを必要としないゆえに拡張可能であり、検索のためにさらに多くのカテゴリに広げられることである。
【００５７】
１３０において、サーバは、照会画像との類似性が前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定する。前提条件の一例には、既定の閾値がある。カテゴリ決定技術の一例として、カテゴリ内に商用物が出現する回数に基づいてカテゴリをランク付けし、商用物の出現回数が最も高いカテゴリを出力することが挙げられる。
【００５８】
たとえば、照会画像に視覚的に類似している画像のセットを得た後、サーバは、画像データベース内に格納されている各画像に関係付けられたカテゴリに基づいて、現照会画像に関係付けられるカテゴリを決定する。一例として、サーバは、画像データベース内に格納されている全ての画像のカテゴリ情報に基づいて、前提条件に適合する類似性を有する各画像に対応するカテゴリを決定し、次いで、発生頻度が最も高いカテゴリを、照会画像に関係付けられるカテゴリであると決定する。たとえば、サーバは、照会画像に最も類似する画像が１０枚あると決定する。これら１０枚の画像のうち、５枚はカテゴリＡに属し、２枚はカテゴリＢに属し、２枚はカテゴリＣに属し、１枚はカテゴリＤに属する。したがって、サーバは、現照会画像をカテゴリＡに属すると決定する。もちろん、一部の実施形態では、判定ツリー解析などの他の周知の判定方法を用いることができる。
【００５９】
次に、サーバは、照会画像に関係付けられるカテゴリを決定した後、照会画像についての記述情報も決定することができる。一例として、サーバは、前提条件に適合する類似性を有する画像のなかで、最も高い発生頻度を有するカテゴリに対応する画像に関する記述情報を抽出し、これらの画像の記述情報の解析に基づいて、現照会画像の記述情報を決定する。たとえば、上記の例では、サーバは、照会画像がカテゴリＡに関係付けられると決定した後、カテゴリＡに対応する５枚の画像を選択する。次いで、これら５枚の画像のタイトルおよび他のテキスト記述情報に基づいてワード分割を実施した後、サーバは、解析を行って、照会画像についての記述情報として幾つかのキーワードを最終的に選択する。
【００６０】
もちろん、一部の実施形態では、他のアプローチを通じて照会画像記述情報を決定することができる。記述情報は、照会画像のカテゴリ情報が決定された後に決定される必要はない。また、サーバは、照会画像についてカテゴリ情報または記述情報のいずれか一方を決定し、このいずれか一方の情報に基づいて、ユーザに検索結果を提供することもできる。もちろん、もし、サーバがカテゴリ情報および記述情報の両方に関する情報を決定する場合は、検索結果の質が向上するはずである。
【００６１】
１４０において、サーバは、照会画像、ならびに該照会画像に関係付けられる決定されたカテゴリ情報、記述情報、またはその組み合わせに基づいて検索を行って、検索結果を返す。
【００６２】
照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定した後、サーバは、決定された情報に基づいて、画像データベース内で関連の検索結果を得る。この検索プロセスは、ユーザが照会画像はもちろんカテゴリ情報および記述情報もサブミットする場合と同じであってよい。たとえば、サーバは、先ず、画像データベース内で、照会画像に関係付けられるカテゴリ情報の全ての商用物を検索する。次いで、サーバは、照会画像の記述情報と、各商用物のタイトルとの類似性の決定を実施する。サーバは、次いで、照会画像の画像特徴との類似性が前提条件に適合する商用物の画像を比較し、得られた検索結果をユーザに送り返す。
【００６３】
まとめると、一部の実施形態では、ユーザは、画像検索を行う場合に、照会画像に関係付けられるカテゴリおよび記述情報などの他の情報を併せてサブミットする必要なしに、単純に、照会画像のみをサブミットする。さらに、サブミットされる照会画像は、画像データベース外の任意の画像であってよい。照会画像を受信した後、サーバは、先ず、照会画像の特徴に基づいて、照会画像に関係付けられるカテゴリ、記述情報、およびその組み合わせを決定し、次いで、照会画像、およびカテゴリ、記述情報、またはその組み合わせに基づいて、照会画像に関係付けられるカテゴリと同じカテゴリを有しスタイルやカラーなどの視覚特徴の観点から類似している画像のセットを検索結果として得る。こうして、サーバは、カテゴリまたは記述情報を提供するようにユーザに要求することなくユーザに検索結果を提供することができる。さらに、照会画像特徴を比較することによってサーバが決定するカテゴリおよび記述情報は、より客観的で且つ正確であり、ユーザによって入力される情報への依存性を排除することができる。
【００６４】
上記の画像検索方法では、画像に関係付けられるカテゴリおよび記述情報の決定が説明されている。一例では、電子商取引プラットフォーム上に商用物をアップロードするときに、対応するカテゴリを売り手ユーザが選択する。一態様では、カテゴリ関係が複雑であり、売り手ユーザが不正確な選択を行う可能性がある。同時に、売り手ユーザのなかには、検索詐欺を働くためにまたは他の何らかの目的のために意図的に不正確なカテゴリを提供するものがいる。しかしながら、ユーザによってアップロードされた商用物の画像に関係付けられるカテゴリをサーバが決定する場合は、売り手は、カテゴリを手動で選択する必要がなく、それによって、売り手ユーザによるカテゴリ選択プロセスが単純化され、ユーザ満足度が向上する。ユーザがカテゴリを選択する場合は、システムもカテゴリ決定を実施することができる。決定されたカテゴリが、ユーザによって選択されたカテゴリと全く無関係である場合は、サーバは、システム管理者に警告を送る、またはユーザによるサブミットを拒絶するなどすることができる。このアプローチは、売り手ユーザがテキストを通じて詐欺を働くことを防ぐことができる。したがって、一部の実施形態では、画像に関係付けられるテキスト情報をサーバが自動的に決定する方法によって、個別に保護が提供される。図２は、画像テキスト情報を取得するためのプロセスの一実施形態を示したフローチャートである。一部の実施形態では、プロセス２００は、図５のサーバ５２０によって実行され、以下を含む。
【００６５】
２１０において、サーバは、ファイナライズされていないカテゴリ情報を有する対象画像を取得し、該対象画像の視覚特徴を抽出する。ファイナライズされていないカテゴリ情報の一例には、ユーザのスマートフォンによって撮影された画像がある（この筋書きでは、画像のカテゴリ情報が未知である、即ちファイナライズされていない）。
【００６６】
一例として、ここ言う対象画像は、上述のように、画像検索を行うユーザによってサブミットされた照会画像を言う、または対象画像は、売り手ユーザによってサブミットされた商用物の画像である、などである。一部の実施形態では、特徴抽出は、上記の特徴抽出と同じであり、対象画像からグローバル特徴、ローカル特徴、またはその組み合わせが抽出される。
【００６７】
２２０において、サーバは、対象画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定する。
【００６８】
この例では、画像データベースは、上記の画像データベースに類似している。データベース内の、既知のカテゴリおよび記述情報を伴う画像から、オフラインで特徴を抽出し、データベースに格納することができる。また、データベース内の同じ画像から、複数の多くのタイプの特徴を抽出することができる。したがって、対象画像の特徴が得られた後、サーバは、それらの特徴の、画像データベース内の各画像の特徴との類似性を決定することができる。同様に、もし、１枚の画像が、多くの異なるタイプの特徴に対応している場合は、サーバは、上記のカスケードタイプの決定方法に基づいて進むことができる。
【００６９】
２３０において、サーバは、対象画像との類似性が前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、およびその組み合わせに基づいて、対象画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを決定する。
【００７０】
サーバは、データベース内で、現対象画像に最も類似している一定枚数の画像を特定した後、これらの最も類似している画像のカテゴリ情報に基づいて、対象画像に関係付けられるカテゴリ情報を決定する。また、サーバは、対象画像についての記述情報も決定することができる。たとえば、画像のカテゴリ情報が決定された後、システムは、システム全体の画像データベース全体ではなくカテゴリ情報に基づいて製品を検索することができ、これは、誤り率を低下させる。
【００７１】
まとめると、画像テキスト情報を取得するための上述のプロセス２００によって、サーバは、ユーザによってサブミットされた対象画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを自動的に決定することができ、これは、対象画像の視覚特徴およびデータベース内の画像の視覚特徴に基づくものである。したがって、対象画像テキスト情報を使用している用途では、ユーザは、テキスト情報を手動で入力する必要がなくなる。たとえもし、ユーザがテキスト情報を入力する場合でも、詐欺を回避するために、決定された情報に基づいてユーザ入力情報を認証することができる。
【００７２】
図３Ａは、画像を検索するためのデバイスの一実施形態を示した図である。一部の実施形態では、デバイス３００は、図１Ａのプロセス１００を実行に移し、特徴抽出ユニット３１０と、類似性決定ユニット３２０と、決定ユニット３３０と、検索結果返信ユニット３４０とを含む。
【００７３】
一部の実施形態では、入力された照会画像を受信した後、特徴抽出ユニット３１０は、照会画像から視覚特徴を抽出する。
【００７４】
一部の実施形態では、類似性決定ユニット３２０は、照会画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定する。
【００７５】
一部の実施形態では、決定ユニット３３０は、照会画像との類似性が前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを決定する。
【００７６】
一部の実施形態では、検索結果返信ユニット３４０は、照会画像、および該照会画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせに基づいて検索を行って、検索結果を返す。
【００７７】
図３Ｂは、特徴抽出ユニットの一実施形態を示した図である。一部の実施形態では、特徴抽出ユニット３０００は、図３Ａの特徴抽出ユニット３１０に相当する。
【００７８】
一部の実施形態では、類似性決定の最中における画像の背景および他の要素からの干渉を回避するために、特徴抽出ユニット３０００は、主コンテンツゾーン抽出ユニット３０１０と、特徴抽出ユニット３０２０とを含む。
【００７９】
一部の実施形態では、主コンテンツゾーン抽出ユニット３０１０は、照会画像から主コンテンツゾーンを抽出する。
【００８０】
一部の実施形態では、特徴抽出ユニット３０２０は、主コンテンツゾーンから特徴を抽出する。
【００８１】
一部の実施形態では、照会画像の主コンテンツが衣料タイプのコンテンツである場合に、特徴抽出ユニット３０００は、さらに、顔ゾーン検出ユニット３０３０と、胴体ゾーン決定ユニット３０４０と、主コンテンツゾーン決定ユニット３０５０とを含む。
【００８２】
一部の実施形態では、顔ゾーン検出ユニット３０３０は、顔検出技術に基づいて、照会画像内の顔ゾーンを検出し、検出された顔ゾーンの位置および領域を検出する。
【００８３】
一部の実施形態では、胴体ゾーン決定ユニット３０４０は、顔ゾーンの位置および領域、ならびに既定の顔ゾーン対胴体ゾーン比率に基づいて、胴体ゾーンの位置および領域を決定する。
【００８４】
一部の実施形態では、主コンテンツゾーン決定ユニット３０５０は、胴体ゾーンの位置および領域に基づいて、検出画像から主コンテンツゾーンを抽出する。
【００８５】
図３Ａに戻り、一部の実施形態では、照会画像から視覚特徴を抽出するときに、特徴抽出ユニット３１０は、照会画像からグローバル特徴、ローカル特徴、またはその組み合わせを抽出する。
【００８６】
一部の実施形態では、グローバル特徴は、グローバル視覚エッジ特徴、グローバルカラー分布特徴、またはその任意の組み合わせを含み、ローカル特徴は、ローカル回転不変特徴を含む。
【００８７】
一部の実施形態では、抽出された特徴が少なくとも２種類ある場合は、類似性決定ユニット３２０は、各種の特徴の既定の順序に基づいて、階層化されたカスケードタイプの計算を実施する。一部の実施形態では、各層の計算を実施するにあたり、類似性決定は、そのうちの１つの特徴のみに基づく。さらに、類似性決定ユニット３２０は、次の特徴に基づく類似性決定を実施するために、或る層内での前提条件に適合する画像セットを次の層に入力する。
【００８８】
一部の実施形態では、決定ユニット３３０は、画像データベース内に格納されている全ての画像のカテゴリ情報に基づいて、前提条件に適合する類似性を有する各画像に対応するカテゴリを決定し、発生頻度が最も高いカテゴリを、照会画像に関係付けられるカテゴリ情報であると決定する。
【００８９】
一部の実施形態では、特徴抽出ユニット３１０は、前提条件に適合する類似性を有する画像のなかで、最も高い発生頻度を有するカテゴリに対応する画像に関する記述情報を抽出し、これらの記述情報の解析に基づいて、照会画像の記述情報を取得する。
【００９０】
まとめると、一部の実施形態では、ユーザは、画像検索を行う場合に、照会画像に関係付けられるカテゴリおよび記述情報などの他の情報を併せてサブミットする必要なしに、照会画像をサブミットする。さらに、サブミットされる照会画像は、画像データベース外の任意の画像であってよい。照会画像を受信した後、サーバは、先ず、照会画像の特徴に基づいて、照会画像に関係付けられるカテゴリ情報、記述情報、およびその組み合わせを決定し、次いで、照会画像、およびカテゴリ情報、記述情報、またはその組み合わせを踏まえて、照会画像に関係付けられるカテゴリと同じカテゴリを有しスタイルやカラーなどの視覚特徴の観点から類似している画像のセットをまとめて検索結果として得る。こうして、サーバは、カテゴリまたは記述情報を提供するようにユーザに要求することなくユーザに検索結果を提供することができる。さらに、照会画像特徴を比較することによってサーバが決定するカテゴリおよび記述情報は、より客観的で且つ正確であり、ユーザによって入力される情報への依存性を排除することができる。
【００９１】
図４は、画像テキスト情報を取得するためのデバイスの一実施形態を示した図である。一部の実施形態では、デバイス４００は、図２のプロセス２００を実行に移し、特徴取得ユニット４１０と、類似性決定ユニット４２０と、決定ユニット４３０とを含む。
【００９２】
一部の実施形態では、特徴取得ユニット４１０は、ファイナライズされていないカテゴリ情報を伴う対象画像を取得し、該対象画像から視覚特徴を抽出する。
【００９３】
一部の実施形態では、一部の実施形態では、類似性決定ユニット４２０は、表的画像の視覚特徴と、画像データベース内の各画像の視覚特徴との類似性を決定する。
【００９４】
一部の実施形態では、決定ユニット４３０は、対象画像との類似性が前提条件に適合する画像に対応する商用物のカテゴリ情報、記述情報、またはその組み合わせに基づいて、対象画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを取得する。
【００９５】
一部の実施形態では、決定ユニット４３０は、画像データベース内に格納されている各画像のカテゴリ情報に基づいて、前提条件に適合する類似性を有する各画像に対応するカテゴリ情報を決定し、発生頻度が最も高いカテゴリを、照会画像に関係付けられるカテゴリ情報であると決定する。
【００９６】
画像テキスト情報を取得するための上述のデバイス４００を用いれば、デバイス４００は、ユーザによってサブミットされた対象画像に関係付けられるカテゴリ情報、記述情報、またはその組み合わせを自動的に決定することができ、これは、対象画像の視覚特徴およびデータベース内の画像の視覚特徴に基づくものである。したがって、対象画像テキスト情報を使用している用途では、ユーザは、テキスト情報を手動で入力する必要がなくなる。たとえもし、ユーザがテキスト情報を入力する場合でも、詐欺などの出来事を回避するために、決定された情報に基づいてユーザ入力情報を認証することができる。
【００９７】
図５は、画像を検索するためシステムの一実施形態を示した図である。一部の実施形態では、システム５００は、ネットワーク５３０を通じてクライアント５１０に接続された、画像を検索するためのサーバ５２０を含む。クライアント５１０は、サーバ５２０内で画像を検索するために使用さするために、照会画像をサーバ５２０に入力する。
【００９８】
図６は、画像を検索するためのプログラムドコンピュータシステムの一実施形態を示した機能図である。明らかになるように、画像の検索には、その他のコンピュータシステムアーキテクチャおよび構成を使用することもできる。後述のような様々なサブシステムを含むコンピュータシステム６００は、少なくとも１つのマイクロプロセッササブシステム（プロセッサまたは中央演算処理装置（ＣＰＵ）とも呼ばれる）６０２を含む。たとえば、プロセッサ６０２は、シングルチッププロセッサによってまたは複数のプロセッサによって実現することができる。一部の実施形態では、プロセッサ６０２は、コンピュータシステム６００の動作を制御する汎用デジタルプロセッサである。メモリ６１０から取り出された命令を使用して、プロセッサ６０２は、入力データの受信および操作、ならびに出力デバイス（たとえばディスプレイ６１８）へのデータの出力および表示を制御する。
【００９９】
プロセッサ６０２は、メモリ６１０に双方向に接続され、該メモリ６１０は、通常はランダムアクセスメモリ（ＲＡＭ）である第１の一次ストレージと、通常は読み出し専用メモリ（ＲＯＭ）である第２の一次ストレージとを含むことができる。当該分野で周知のように、一次ストレージは、汎用ストレージエリアとしておよびスクラッチパッドメモリとして使用することができ、入力データおよび処理済みデータを格納するために使用することもできる。一次ストレージは、プログラミング命令およびデータを、プロセッサ６０２上で起きるプロセスのための他のデータおよび命令に加えて、データオブジェクトおよびテキストオブジェクトの形態で格納することもできる。やはり当該分野で周知のように、一次ストレージは、通常は、プロセッサ６０２がその機能（たとえばプログラム命令）を実施するために使用する基本的な動作命令、プログラムコード、データ、およびオブジェクトを含む。たとえば、メモリ６１０は、たとえば、データアクセスが双方向または単方向のいずれである必要があるかに応じ、後述の任意の適切なコンピュータ読み取り可能ストレージ媒体を含むことができる。たとえば、プロセッサ６０２は、頻繁に必要とされるデータを直接に且つ非常に迅速に取り出して、直接に且つ非常に迅速にキャッシュメモリ（不図示）に格納することもできる。
【０１００】
着脱式の大容量ストレージデバイス６１２は、コンピュータシステム６００のための追加のデータストレージ容量を提供し、双方向（読み出し／書き込み）にまたは単方向（読み出しのみ）にプロセッサ６０２に接続される。たとえば、ストレージ６１２は、磁気テープ、フラッシュメモリ、ＰＣカード、ポータブル大容量ストレージデバイス、ホログラフィックストレージデバイス、および他のストレージデバイスなどの、コンピュータ読み取り可能媒体を含むこともできる。たとえば、固定式の大容量ストレージ６２０が、追加のデータストレージ容量を提供することもできる。大容量ストレージ６２０として最も一般的な例は、ハードディスクドライブである。大容量ストレージ６１２、６２０は、一般に、プロセッサ６０２が通常は能動的に使用していない追加のプログラミング命令やデータなどを格納する。大容量ストレージ６１２、６２０内に保持される情報は、もし必要であれば、仮想メモリとしてメモリ６１０（たとえばＲＡＭ）の一部に標準的に組み込み可能であることがわかる。
【０１０１】
バス６１４は、ストレージサブシステムへのアクセスをプロセッサ６０２に提供することに加えて、他のサブシステムおよびデバイスへのアクセスを提供するためにも使用することができる。図に示されるように、これらには、ディスプレイモニタ６１８、ネットワークインターフェース６１６、キーボード６０４、およびポインティングデバイス６０６はもちろん、必要に応じて、補助入出力デバイスインターフェース、サウンドカード、スピーカ、および他のサブシステムがある。たとえば、ポインティングデバイス６０６は、マウス、スタイラス、トラックボール、またはタブレットであってよく、グラフィカルユーザインターフェースとやり取りするのに有用である。
【０１０２】
ネットワークインターフェース６１６は、図に示されるようなネットワーク接続を使用してプロセッサ６０２が別のコンピュータ、コンピュータネットワーク、または電気通信ネットワークに接続されることを可能にする。たとえば、ネットワークインターフェース６１６を通じて、プロセッサ６０２は、方法／プロセスのステップを実施する過程において別のネットワークから情報（たとえばデータオブジェクトもしくはプログラム命令）を受信するまたは別のネットワークに情報を出力することができる。情報は、多くの場合、プロセッサ上で実行される一連の命令として表され、別のネットワークから受信可能であるまたは別のネットワークに出力可能である。コンピュータシステム６００を外部ネットワークに接続するために、およびデータを標準プロトコルにしたがって転送するために、インターフェースカードまたは類似のデバイスと、プロセッサ６０２によって実装される（たとえばプロセッサ６０２上で実行される／実施される）適切なソフトウェアとを使用することができる。たとえば、本明細書で開示される様々なプロセスの実施形態は、プロセッサ６０２上で実行することができる、または処理の一部を供給するリモートプロセッサと協働してインターネット、イントラネットネットワーク、もしくはローカルエリアネットワークなどのネットワークで実施することができる。プロセッサ６０２には、ネットワークインターフェース６１６を通じて追加の大容量ストレージデバイス（不図示）も接続することができる。
【０１０３】
コンピュータシステム６００と協働して、補助入出力デバイスインターフェース（不図示）を使用することができる。補助入出力デバイスインターフェースは、プロセッサ６０２が、マイク、タッチセンサ式ディスプレイ、トランスデューサカードリーダ、テープリーダ、音声または手書き文字認識装置、生体認証リーダ、カメラ、ポータブル大容量ストレージデバイス、および他のコンピュータなどの他のデバイスにデータを送信することを、およびさらに一般的にはこれらの他のデバイスからデータを受信することを可能にする、汎用および専用のインターフェースを含むことができる。
【０１０４】
図６に示されたコンピュータシステムは、本明細書で開示される様々な実施形態への使用に適したコンピュータシステムの一例に過ぎない。このような使用に適した他のコンピュータシステムは、さらに多くのまたは少ないサブシステムを含むことができる。また、バス６１４は、サブシステムを接続する働きをする任意の相互接続方式を例示している。異なる構成のサブシステムを有する他のコンピュータアーキテクチャを利用することもできる。
【０１０５】
上述されたユニットは、１つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、またはプログラマブルロジックデバイスおよび／もしくは特定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、またはその組み合わせとして実装することができる。一部の実施形態では、ユニットは、本発明の実施形態で説明される方法を（パソコン、サーバ、ネットワーク機器などの）計算装置に実行させるための幾つかの命令を含み尚且つ（光ディスク、フラッシュストレージデバイス、モバイルハードディスクなどの）不揮発性のストレージ媒体に記憶させることができるソフトウェア製品の形態によって具現化することができる。ユニットは、１つのデバイス上に実装されてよい、または複数のデバイスに分散されてよい。ユニットの機能は、互いに統合されてよい、または複数のサブユニットにさらに分けられてよい。
【０１０６】
本明細書で開示された実施形態に照らして説明される方法またはアルゴリズム的ステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこれら両者の組み合わせを使用して実現することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、読み出し専用メモリ（ＲＯＭ）、電気的にプログラム可能なＲＯＭ、電気的に消去可能でプログラム可能なＲＯＭ、レジスタ、ハードドライブ、着脱式ディスク、ＣＤ−ＲＯＭ、または当該技術分野で知られる他の任意の形態のストレージ媒体にインストールすることができる。
【０１０７】
以上の実施形態は、理解を明瞭にする目的で幾らか詳細に説明されてきたが、本発明は、提供された詳細に限定されない。本発明を実現するには、多くの代替的手法がある。開示された実施形態は、例示的なものであり、限定するものではない。
【図１Ａ】
2016529611.tif 000003
【図１Ｂ】
2016529611.tif 000004
【図１Ｃ】
2016529611.tif 000005
【図２】
2016529611.tif 000006
【図３Ａ】
2016529611.tif 000007
【図３Ｂ】
2016529611.tif 000008
【図４】
2016529611.tif 000009
【図５】
2016529611.tif 000010
【図６】
2016529611.tif 000011
【図７】
2016529611.tif 000012
【国際調査報告】
2016529611.tif 000013
2016529611.tif 000014
2016529611.tif 000015