(57)【要約】  データセットの視覚的なサーチ方法は、画像を含むクライアントデジタルデータデバイスからの要求を受けることと、画像の中の見かけの関心オブジェクト、及びそれらの見かけのオブジェクトの画像の中の境界ボックスを識別するために検出モデルを利用することとを含む。見かけの関心オブジェクトの一つ以上の各々に対して、本方法は、その各境界ボックスで規定されたサブ画像を抽出する。特徴検索モデルは、それらのサブ画像の各々での見かけのオブジェクトの特徴を識別するために使用され、これらの特徴は、デジタルデータセット内のアイテムを識別するためにサーチエンジンに（例えば、テキスト又はそれ以外のものとして）適用される。サーチの結果は、要求するユーザのデジタルデータデバイス上に提示してよい。
2022502753.tif 000002
【特許請求の範囲】
【請求項１】
データセットの視覚的なサーチのデジタルデータ処理方法であって、
画像を有するクライアントデジタルデータデバイスから要求を受けるステップと、
前記画像の中の見かけの関心オブジェクトと、前記関心オブジェクトのための前記画像の中の境界ボックスとを識別するステップと、
見かけの前記関心オブジェクトのうち１つ以上のそれぞれに対して、関連して識別された各境界ボックスによって規定されたサブ画像を抽出するステップと、
１つ以上のサブ画像のそれぞれの中の見かけのオブジェクトの特徴を識別するステップと、
デジタルデータセットの中のアイテムを識別するために、識別された前記特徴のうち１つ以上をサーチエンジンに適用するステップと、
前記デジタルデータセットからの識別された前記アイテムのうち１つ以上を前記クライアントデジタルデータデバイスの上に提示するステップとを備えている、デジタルデータ処理方法。
【請求項２】
前記画像の中に見かけの関心オブジェクトを識別することに関連して不確定性の尺度を発生させるステップを備えている、請求項１記載の方法。
【請求項３】
テキスト、ベクター又は他のもののうち任意のものとして前記特徴を識別するステップを備えている、請求項１記載の方法。
【請求項４】
前記デジタルデータセットの中のアイテムを識別するために、特徴を識別するテキスト及びベクターのうち任意のものを前記サーチエンジンに適用するステップを備えている、請求項３記載の方法。
【請求項５】
検出モデルを生成するために人工知能を使用するステップを備えている、請求項１記載の方法。
【請求項６】
前記検出モデルがニューラルネットワークを備えている、請求項５記載の方法。
【請求項７】
前記ニューラルネットワークを訓練するために前記データセットの中の各アイテムの画像を使用するステップを備えている、請求項６記載の方法。
【請求項８】
前記ニューラルネットワークを訓練するために各アイテムの複数の画像を使用するステップを備え、遮られ、また遮られない、バックグラウンドがある、そしてバックグラウンドがないアイテムを、前記複数の画像は示す、請求項７記載の方法。
【請求項９】
特徴検索モデルを生成するために人工知能を使用するステップを備えている、請求項１記載の方法。
【請求項１０】
前記特徴検索モデルのそれぞれがニューラルネットワークを備えている、請求項９記載の方法。
【請求項１１】
前記ニューラルネットワークを訓練するために前記データセットの中の各アイテムの画像を使用するステップを備えている、請求項１０記載の方法。
【請求項１２】
ステップを実行することを１つ以上のデジタルデータデバイスに行わせるように構成されているコンピュータ命令であって、前記ステップは、
画像を有するクライアントデジタルデータデバイスから要求を受けるステップと、
前記画像の中の見かけの関心オブジェクトと、前記関心オブジェクトのための前記画像の中の境界ボックスとを識別するステップと、
見かけの前記関心オブジェクトのうち１つ以上のそれぞれに対して、関連して識別された各境界ボックスによって規定されたサブ画像を抽出するステップと、
１つ以上のサブ画像のそれぞれの中の見かけのオブジェクトの特徴を識別するステップと、
デジタルデータセットの中のアイテムを識別するために、識別された前記特徴のうち１つ以上をサーチエンジンに適用するステップと、
前記デジタルデータセットからの識別された前記アイテムのうち１つ以上を前記クライアントデジタルデータデバイスの上に提示するステップとを備えている、コンピュータ命令。
【請求項１３】
前記画像の中に見かけの関心オブジェクトを識別することに関連して不確定性の尺度を発生させることを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１２記載のコンピュータ命令。
【請求項１４】
テキスト、ベクター又は他のもののうち任意のものとして前記特徴を識別することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１２記載のコンピュータ命令。
【請求項１５】
前記デジタルデータセットの中のアイテムを識別するために、特徴を識別するテキスト及びベクターのうち任意のものを前記サーチエンジンに適用することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１４記載のコンピュータ命令。
【請求項１６】
検出モデルを生成するために人工知能を使用することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１２記載のコンピュータ命令。
【請求項１７】
ニューラルネットワークを訓練するために前記デジタルデータセットの中の各アイテムの画像を使用することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１６記載のコンピュータ命令。
【請求項１８】
前記ニューラルネットワークを訓練するために各アイテムの複数の画像を使用することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成され、遮られ、また遮られない、バックグラウンドがある、そしてバックグラウンドがないアイテムを、前記複数の画像は示す、請求項１７記載のコンピュータ命令。
【請求項１９】
特徴検索モデルを生成するために人工知能を使用することを含むステップを実行することを、前記１つ以上のデジタルデータデバイスに行わせるように構成されている、請求項１２記載のコンピュータ命令。
【請求項２０】
ステップを実行することを１つ以上のデジタルデータデバイスに行わせるように構成されたコンピュータプログラムであって、前記ステップは、
画像を有するクライアントデジタルデータデバイスから要求を受けるステップと、
前記画像の中の見かけの関心オブジェクトと、前記関心オブジェクトのための前記画像の中の境界ボックスとを識別するステップと、
見かけの前記関心オブジェクトのうち１つ以上のそれぞれに対して、関連して識別された各境界ボックスによって規定されたサブ画像を抽出するステップと、
１つ以上のサブ画像のそれぞれの中の見かけのオブジェクトの特徴を識別するステップと、
デジタルデータセットの中のアイテムを識別するために、識別された前記特徴のうち１つ以上をサーチエンジンに適用するステップと、
前記デジタルデータセットからの識別された前記アイテムのうち１つ以上を前記クライアントデジタルデータデバイスの上に提示するステップとを備えている、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、自動的に生成されるデジタルコンテンツに関連し、さらに詳しくは、データセットに画像ベースのサーチを行うことによって生成されるデジタルコンテンツに関連する。それは、非限定的な例として、電子商取引及び他のサイトのサーチにおいて使用する。
【０００２】
本出願は、２０１８年１０月２３日に出願された米国特許出願第１６／１６８，１８２号の利益を主張し、この出願は、２０１８年９月２４日に出願された米国仮特許出願第６２／７３５，６０４号の利益を主張する。その両方の教示が本明細書に参照援用される。
【背景技術】
【０００３】
言葉はときには、我々にとって役立たない。これはインターネットで買い物をする場合に、問題になることがある。言葉で描写できない場合、どのようにすれば見つけられるのだろうか。少なくとも、どのようにすればそれが獲得できるのだろうか。もちろん、問題は電子商取引に限定されるものではない。政府のため、研究のため、また別のサイトためのいずれであってもサーチのほとんどは言葉で始まる。
【発明の概要】
【０００４】
技術は、この問題を解決するための道を歩んでいる。最近は、コンテンツベース画像検索（ＣＢＩＲ）としても知られる画像ベースサーチが注目されている。しかし、消費者の製品のリアルタイムで微細な検索の問題に関しては特に、問い合わせ画像の多様性のレベルがこの問題を困難にしているため、多くの改善の余地がある。
【０００５】
図面を参照することにより、以下の説明をより完全に理解することができる。
【図面の簡単な説明】
【０００６】
【図１】実施形態が使用される環境を示す。
【図２】視覚的なサーチのための実施形態を示す。
【発明を実施するための形態】
【０００７】
図１は、ネットワーク１６を介してクライアントデジタルデータデバイス（「クライアント」）１４Ａ〜１４Ｄに結合された、サーバデジタルデータデバイス（「サーバ」）１２を含むデジタルデータ処理システム１０を示す。図示のサーバ１２は、非限定的な例として、オンライン小売業者の電子商取引ポータル又はプラットフォーム（「プラットフォーム」と総称する）をホスティングする。クライアント１４Ａ〜１４Ｄは、そのプラットフォームの小売業者、管理者及び他のユーザ（「ユーザ」と総称する）の顧客のデジタルデバイス（例えば、スマートフォン、デスクトップコンピュータなど）である。
【０００８】
デバイス１２，１４Ａ〜１４Ｄは、従来のデスクトップコンピュータ、ワークステーション、ミニコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ＰＤＡ、携帯電話、又は商業的に入手可能なタイプの他のデジタルデータデバイスを含み、これらは全て本明細書の教示に従って適合される。従って、（ｉ）本明細書に記載されるタイプ、及び／又は本明細書の教示に従って適合される当該技術分野で知られるタイプのソフトウェア（例えば、適用可能なアプリケーションソフトウェア、オペレーティングシステム、及び／又はミドルウェア）を実行することに適し、また（ｉｉ）本明細書の教示に従って適合される当該技術分野で知られる従来の方法で、ネットワーク１６を介して他のデバイス１２，１４Ａ〜１４Ｄに通信することに適した、当該技術分野で知られるタイプの中央処理、メモリ、及び、入出力サブセクション（図示せず）を、各々のデバイスは備えている。
【０００９】
そのようなソフトウェアの例としては、デバイス１２上で実行されるウェブサーバ３０であって、本明細書の教示に従って適合されるように当該技術分野で既知の従来の方法で、ウェブページ、ダウンロード及び他のデジタルコンテンツを、要求するデバイスにネットワーク１６を介して転送するために、（ユーザの要請に応じて）クライアント１４Ａ〜１４ＤからのＨＴＴＰ又は他のプロトコルでの要求に応答するウェブサーバ３０が挙げられる。ウェブサーバ３０は、各サーチフロントエンド３１Ｂ，３３Ｂを含むウェブアプリケーション３１，３３を含む。これらはいずれも、例えば、ウェブサイト又はウェブサービス（「ウェブサイト」と総称する）をクライアントデバイス１４Ａ〜１４Ｄに提供するといった、各ウェブアプリケーション３１，３３によって提供される広範な機能の一部であってよい。これは、本明細書の教示に従って適合された当該技術分野で既知の従来の方法に全て従う。
【００１０】
このようなウェブサイトは、一例としてはクライアントデバイス１４Ａ〜１４Ｃによってアクセスされ、別の一例としてはウェブアプリケーション３１によってホスティングされるのであり、本明細書の教示に従って適合された当該技術分野で既知の従来の方法に従って、例えば、商品をオンラインカタログから顧客に宣伝し販売するための、小売業者の電子商取引サイトである。
【００１１】
一例としてクライアントデバイス１４Ｄでアクセスされ、別の一例としてウェブアプリケーション３３でホスティングされる別のこのようなウェブサイトは、開発者又は管理者ポータル（ここでは「管理者サイト」などとも呼ばれる）であり、上記の電子商取引サイトを維持する際に、上述の小売業者の従業員、コンサルタント又は他の代理人によって使用される。より具体的には、非限定的な例として、上記のカタログのサーチを容易にするために、電子商取引サイトのサーチエンジンを訓練する。
【００１２】
サーチフロントエンド３１Ｂ，３３Ｂは、人工知能ベースのプラットフォーム６６（図２）のサーバ側フロントエンドであり、次のタイプのサーチエンジンを含む。（ｉ）フロントエンド３１Ｂを介して受信された、例えばクライアントデバイス１４Ａ〜１４Ｃのユーザの要請でのサーチ要求に応答し、ウェブアプリケーション３１を介して利用可能なアイテム（品目）のカタログを収録、さもなければ表現するデータセット４１をサーチするタイプ。（ｉｉ）例えば、本明細書の教示に従って適用されるような従来技術でのウェブページ、ダウンロード、及び他のデジタルコンテンツの一部として、各ブラウザ４４を介してユーザに提示するために、フロントエンド３１Ｂを介して、サーチに一致する当該カタログからのアイテムのリストを、要求するクライアントデバイス１４Ａ〜１４Ｃに送信するタイプ。（ｉｉｉ）フロントエンド３３Ｂを介して、本明細書の教示に従って適用されるような従来技術でのこれらのサーチを支援するために使用されるモデルの訓練を容易にするタイプ。このようなタイプを含む。ここに示すような実施形態では、サーバ１２が電子商取引ウェブサイトをホスティングし、より詳しくは、ウェブアプリケーション３１，３３が電子商取引サイト及びその管理者サイトを供する場合、サーチされたアイテムは、小売業者の商品又はサービス（「商品」又は「製品」と総称する）であってよいが、この点に関して他の実施形態は変化してよい。
【００１３】
データセット４１は、電子商取引又は他のオンラインカタログ又はデータセット内のアイテムを、格納及び／又はその他の方法で表現する際に使用するための、当該技術分野で既知のタイプの従来のデータセットを含む。そのデータセット４１は、本明細書の教示に従って適合された当該技術分野で既知の従来の方法毎の全てについて、サーバ１２に直接結合されてよく、又はサーバ１２に対してアクセス可能であってよい。
【００１４】
図示された実施形態の前述のサーチエンジンは、一部の実施形態ではテキストを画像とともに含むサーチ要求に基づくサーチをサポートするために、人工知能モデルに基づく画像認識を利用する、従来技術で既知のタイプのものである（本明細書の教示に従って適合される）。このようなモデルは、本明細書の教示に従って適合された当該技術分野の従来の方法に従って、ニューラルネットワーク、又は他のものに基づくことができる。
【００１５】
（例えば、アプリケーションプログラムインターフェース（ＡＰＩ）又はそれ以外のものを介して、）サーバ１２によってサポートされるプラットフォーム上で実行される複数及び／又は多様なウェブアプリケーションによって、使用される（又は使用され得る）ライブラリ及び他の再利用可能なサービスを提供する、（本明細書の教示に従って適合される）従来技術で既知の従来のこのようなソフトウェアを、ウェブフレームワーク３２は含み、そのうちの２つはここに示される（即ちウェブアプリケーション３１，３３）。
【００１６】
図示された実施形態では、ウェブサーバ３０及びその構成要素、ウェブアプリケーション３１，３３及びフレームワーク３２は、サーバアーキテクチャーのアプリケーション層３８内で実行される。サーバ３０によってクライアント１４Ａ〜１４Ｄなどから受信された要求の少なくとも一部を処理するために、ウェブアプリケーション３１，３３及び／又はフレームワーク３２によって必要とされるサービス及びより一般的にはリソース（言い換えれば「サーバリソース」）を提供する層である、サーバアーキテクチャー内の他の層に対して、サービスを提供し、本明細書の教示に従って適合された従来技術で既知の方法での通信プロトコルをサポートするこの層３８は、区別することができる。これは、本明細書の教示に従って適合された当該技術分野での慣例的な方法の全てで、全てが本明細書の教示に従って適合される。
【００１７】
これらの他の層は、例えば、（本明細書の教示に従って適合された当該技術分野で既知の従来の方法に全体的に従い、全て非限定的な例として、）人工知能プラットフォーム６６（図２）を含むミドルウェアを提供し、データベースサーバ４０との相互作用をサポートするデータ層４０と、本明細書の教示に従って適合された当該技術分野で既知の従来の方法に従い、サーバハードウェア及びソフトウェアリソースを管理し、そのうえでソフトウェアを実行する共通のサービスを提供する、サーバのオペレーティングシステム４２を含む。他の実施形態は、本明細書に例示されるものよりも、層の数が多い又は少ないアーキテクチャー、及び／又は、異なるそれぞれの機能性を提供する層を有するアーキテクチャーを利用することができる。
【００１８】
本明細書では小売及び対応する管理ウェブサイトの文脈で説明するが、他の実施形態では、ウェブサーバ３０、アプリケーション３１，３３、及びフレームワーク３２は、ユーザの要求、例えば、ビデオサーバ、音楽サーバ、又は他のものの要求に応答するのに適したウェブサービス又は他の機能（例えば、ＡＰＩなどを介して利用可能）を規定してよい。また、本明細書では、別個のウェブアプリケーション３１，３３及びフレームワーク３２を含むものとして、図示して説明されているが、他の実施形態では、ウェブサーバ３０は、これらの構成要素の機能を結合してよく、さらに多くの構成要素間で分散してよい。
【００１９】
さらに小売及び管理ウェブサイトは、ここでは、異なる各ウェブアプリケーション３１，３３でホスティングされるように図示されているが、他の実施形態では、これらのウェブサイトは、単一のこうしたアプリケーションで、又は反対に、２つを越えるアプリケーションでホスティングされてよい。また、追加の例として、ウェブアプリケーション３１，３３は、図示の実施形態では単一の共通プラットフォーム１２上に存在するものとして図面に示されているが、他の実施形態では、ウェブアプリケーション３１，３３は、異なる各プラットフォーム上に存在してよく、及び／又は、それらの機能は、２つ以上のプラットフォーム間で分割されてよい。同様に本明細書では、人工知能プラットフォーム６６は、単一プラットフォーム１２のミドルウェアの一部を構成するものとして説明されているが、他の実施形態では、要素６６に帰属される機能は、複数のプラットフォーム又は他のデバイス上に分散されてよい。
【００２０】
引き続き図１を参照すると、例えば、前述のプラットフォーム上のウェブサイトにアクセスするために、ＨＴＴＰ又は他のプロトコルでの要求を生成する（典型的に）ユーザ制御下で動作するウェブブラウザ４４を、図示の実施形態のクライアントデバイス１４Ａ〜１４Ｄは実行し、プラットフォーム上で、又はこれを介して、又はこれとの接続で、入手可能な商品（例えば、オンラインで、及び／又はそのブリックアンドモルタルの実店舗を通じて、ウェブサイト小売業者から入手可能な商品）をサーチする。これらの商品の購入（さもなければ別の取得）を事前に注文又は要求し、これらの要求を全て、当業界で既知の方法で、ネットワーク１４を介してウェブサーバ３０に送信する。これは、本明細書の教示に従って適合された当該技術分野で既知の従来の方法に全て従う。ここではウェブブラウザと呼ぶが、他の実施形態では、アプリケーション４４は、サーバ３０に要求を送信すること、及び／又はこれらの要求に応答してサーバから受信したコンテンツを提示することに適する、ウェブアプリケーション又は他の機能、例えば、ビデオプレーヤアプリケーション、音楽プレーヤアプリケーションなどを含んでよい。
【００２１】
例示した実施形態のデバイス１２，１４Ａ〜１４Ｄは、同じタイプのものであってよいが、より典型的には、それらは異なるタイプのデバイスの混合を構成する。また本明細書では、単一のサーバのデジタルデータデバイス１２のみが、図示されて説明されている。しかし、ウェブサーバ３０及び／又はデジタルデータプロセッサ１２に対して本明細書に記載された機能を実行するために、均質である、又は不均質であるか又はそうでないか、又はネットワーク化されているか又はいないかの、さらに多数のこれらのデバイスを、他の実施形態は利用してよいことが理解されるものである。同様に、４つのクライアントデバイス１４Ａ〜１４Ｄが示されている。しかし、上述のように、それ自体が均質である、又は不均質であるか又はそうでないかのアプリケーション（例えば４４）を実行する、さらに多数又は少数の、均質である、又は不均質であるか又はそうでないかのそれらのデバイスを、他の実施形態は利用してよいことが理解されるものである。さらに、デバイス１２，１４Ａ〜１４Ｄのうちの１つ以上は、データベースシステム（例えば、マルチテナントデータベースシステムを含む）又は他のシステム又は環境として構成されてよく、かつ／又は、そのようなデータベースシステム又はシステム又は環境を提供するように構成されてよい。本明細書ではクライアント／サーバアーキテクチャーで示されているが、デバイス１２，１４Ａ〜１４Ｄは、ピアツーピア、クライアント／サーバ、又は本明細書の教示に合致する他のプロトコルで相互に関連するように構成されてよい。
【００２２】
ネットワーク１６は、サーバ１２とクライアントデバイス１４Ａ〜１４Ｄとの間の通信をサポートするのに適した１つ以上のネットワークを備えている分散ネットワークである。ネットワークは、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、及び／又はインターネットのような、当該技術分野で既知のタイプの１つ以上の構成からなる。図面にはクライアント／サーバアーキテクチャーが示されているが、本明細書の教示は、他のネットワークアーキテクチャーでの通信のために結合されたデジタルデータデバイスに適用可能である。
【００２３】
当業者が理解するように、本明細書で言及する「ソフトウェア」は、非限定的な例として、ウェブサーバ３０及びその構成要素、ウェブアプリケーション３１，３３及びウェブアプリケーションフレームワーク３２、ブラウザ４４を含む。即ち「ソフトウェア」は、本明細書の教示に従って適合された当該技術分野で既知のタイプの一時的及び非一時的な機械可読媒体に記憶されたコンピュータプログラム（即ち、コンピュータ命令のセット）を含み、コンピュータプログラムは、各デジタルデータデバイス、例えば１２，１４Ａ〜１４Ｄなどに、本明細書中でこれらに帰属される各動作及び機能を実行させる。このような機械可読媒体は、限定的ではない例として、本明細書の教示に従って適合されるように当該技術分野で既知の従来の方法で、各デジタルデータデバイス１２，１４Ａ〜１４Ｄに結合されたハードドライブ、ソリッドステートドライブ等を含んでよい。
【００２４】
図２に関連して以下に説明するのは、ＡＩプラットフォーム６６に関連するウェブアプリケーション３１，３３の動作、及び例示されるシステム１０の他の構成要素の動作であり、カタログ／データセット４１の画像ベースの（言い換えれば「視覚的な」）のサーチをサポートし、より具体的には、例えば、特定された要求と一致するそのカタログからのアイテムを識別するサーチ結果６８を返す。これは、クライアントデバイス、例えば、１４Ａのウェブブラウザ４４で生成された画像ベースのサーチ要求７０に応答するものであってよく、より具体的には、非限定的な例として、ブラウザ４４でダウンロードされて提示されたウェブページ又は他のコンテンツ内で実行される、「サーチ」ウィジェット又は他のコードで生成されたそのような要求に応答するものであってよく、あるいは、本明細書の教示に従って適合された当該技術分野で既知の従来の方法に従うように応答してよい。図面では、操作ステップは丸で囲んだ文字で、データ転送は矢印で示す。
【００２５】
ステップＡでは、カタログ内のｎ個のアイテム、即ち、クライアントデバイス１４Ａ〜１４Ｃから発せられる画像ベースのサーチ要求で探索され得るアイテムの画像を、クライアントデバイス１４Ｄはフロントエンド３３Ｂを介して（例えば、管理者などの要請により）プラットフォーム６６に転送する。これらの画像は、画像ベースのニューラルネットワーク又は他のＡＩモデルの訓練に使用するのに適した、（本明細書の教示に従って適合された）当技術分野で既知の従来のタイプのものであってよい。従って、画像は、ＪＰＥＧ、ＰＮＧ又は他のフォーマット（工業標準又は他のもの）のものであって、各アイテムが識別されてモデル化されるのに適したサイズとしてよい。画像は、本明細書の教示に従って適合された従来の方法に従って、デバイス１４Ｄ又はその他のもの（例えば、デジタルカメラ、スマートフォン又はその他）で生成してよい。各画像に沿って、クライアントデバイス１４Ｄは、画像が関連するアイテムのラベル又は他の識別子を、本明細書の教示に従って適合された従来の方法に従って、再度転送する。
【００２６】
デバイス１４Ｄは、ｎ個のカタログアイテムの各々について単一の画像を転送してよい。しかし、ほとんどの実施形態では、そのような各アイテムに複数の画像を提供する。即ち、本明細書の教示に従って適合された従来の方法に全て従って、複数の斜視図（観点、ｐｅｒｓｐｅｃｔｉｖｅｓ）からアイテムを示す画像、例えば、クライアントデバイス１４Ａ〜１４Ｃからの画像ベースのサーチ要求（例えば、７０）にアイテムが現れ得る画像と、一致すると期待される画像が提供される。各カタログアイテムの複数のビューに加えて、いくつかの実施形態では、クライアントデバイス１４Ｄは、各カタログアイテムの画像を「品質」の範囲、即ち、バックグラウンドがなく、各カタログアイテムが遮られないことを示す画像と、遮られること、及び／又はバックグラウンドがあることを示す画像とで転送する。そのような実施形態では、各アイテムについて、遮られること及びバックグラウンドなしに示す画像は、まず最初に訓練されるために、クライアントデバイス１４Ｄによってフロントエンド３３Ｂに転送され、プラットフォーム６６によって使用される。それから、そのような訓練のために、プラットフォーム６６によって使用されるべき、遮られていること及び／又はバックグラウンドを有するカタログアイテムを示す画像が、その後に続く。
【００２７】
図示されたステップＡの一部として、ＡＩプラットフォーム６６のモデル構築の構成要素は、フロントエンド３３Ｂから画像を受信し、画像の中のアイテムの１つ以上の発生を検出するのに適したニューラルネットワークベースのＡＩモデル又は他のＡＩモデルを作成する。これは、以下及び図面では「検出モデル」と称される。モデル構築の構成要素は、本明細書の教示に従って適合された当該技術分野で既知の方法で、実施及び動作されて、当該モデルを生成することができ、モデル自体は、本明細書の教示に従って適合されるように、画像中のアイテムの検出を容易にするための（例えば、以下で説明するその特定の特徴にかかわらず）当該技術分野で既知の従来型のものである。
【００２８】
ステップＢでは、ＡＩプラットフォーム６６のモデル構築の構成要素は、ｎ個のカタログアイテムの各々について個々のモデルを生成する。検出モデルとは異なり、ステップＢで生成されるモデルは、画像の中のアイテムの特定の特徴を識別することを意図した特徴モデルである。例えば、シャツの場合、このような特徴の例としては、色、スリーブ付き又はスリーブレス、襟付き又は襟なし、ボタン又はボタンなしなどが挙げられる。モデル構築の構成要素は、そのようなモデルを生成するために、本明細書の教示に従って適合される当該技術分野で既知の従来の方法で、実施され、動作されてよい。このようなモデル自体は、本明細書の教示に従って適合されるように、画像の中のアイテムの識別機能を容易にするための当該技術分野で既知の従来のタイプのものであってよい。
【００２９】
ステップＣでは、電子商取引ウェブサイトの顧客のクライアントデバイス、例えば１４Ａは、上述したように、画像ベースの要求７０をプラットフォーム６６のフロントエンド３１Ｂに送信する。これは、本明細書の教示に従って適合された当該技術分野で既知の従来の方法で、達成することができる。
【００３０】
ステップＤでは、次に、フロントエンド３１Ｂは画像をその要求から検出モデルに送信する。これは、見かけの（ａｐｐａｒｅｎｔ，視認される）オブジェクトが画像の中に存在する境界ボックスとともに、実際のカタログオブジェクト（ステップＡでモデルが訓練された）とステップＣで受け取った画像との可能な一致との間の、一致の確実性の尺度（不確定性の尺度）とともに、画像の中の見かけのカタログアイテム（本明細書の他の箇所で「見かけの関心オブジェクト」とも呼ばれる）を識別するために、ステップＡからの訓練を利用する。ＡＩプラットフォーム６６の動作、より具体的には、そのような目的のための検出モデルは、本明細書の教示を考慮すれば当業者の知識の範囲内である。
【００３１】
ステップＥ〜Ｆでは、フロントエンド３１Ｂは、ステップＤで提供された対応する境界ボックスを利用して、ステップＣで受信された画像の中の個々の見かけのカタログオブジェクトを抽出する。抽出された画像（又は「サブ画像」）を各特徴検索モデルに提供し、次に、抽出された画像に示されたオブジェクトの特徴のリストをフロントエンド３１Ｂに返す。上述のような見かけのカタログオブジェクトの画像の抽出は、本明細書の教示を考慮すれば当業者の知識の範囲内である。同様に、ＡＩプラットフォーム６６の実装及び動作、より詳しくは、抽出された画像に示された見かけのカタログオブジェクトの特徴を識別する目的のための特徴モデルは、本明細書の教示を考慮すれば当業者の知識の範囲内である。
【００３２】
一例として、ステップＥでは、フロントエンド３１Ｂは、最初に見かけのカタログオブジェクト（例えば、見かけの男性用ハワイアンシャツ）の画像を、ステップＣで提供された画像から分離し、抽出されたサブ画像をハワイアンシャツ用の特徴検索モデルに送る。この特徴検索モデルを用いて、プラットフォーム６６は、サブ画像に示されたシャツの特徴のリスト、例えば、色、スリーブ付き、襟付きなどを返す。リストは、本明細書の教示に従って適合された当該技術分野での全ての従来の方法に従って、テキスト、ベクター、又はその他として表現することができる。
【００３３】
同様に、ステップＦでは、フロントエンド３１Ｂは、柔軟な面を有する革製ブリーフケースの画像を、例えば、ステップＣで提供された画像から分離し、各サブ画像をそのようなブリーフケースの特徴検索モデルに送る。この特徴検索モデルを用いて、プラットフォーム６６は、抽出された画像に示されたブリーフケースの特徴のリスト、例えば、色、ストラップ、バックルなどを返す。ここでも、リストは、本明細書の教示に従って適合された当該技術分野での全ての従来の方法に従って、テキスト、ベクター、又はその他として表現することができる。
【００３４】
ステップＥ〜Ｆは、ステップＣで提供された画像から抽出された２つのオブジェクトに対する特徴検索モデルの使用を示すが、実際には、ステップＤで検出モデルによって識別された見かけのオブジェクトがいくつあったかに依存して、フロントエンド３１Ｂは、これらのステップを、さらに少ない又は多い回数で実行してよい。
【００３５】
ステップＧでは、フロントエンド３１Ｂは、ステップＥ〜Ｆで特徴検索モデルによって識別された特徴を使用してカタログデータセット４１の検索を実行する。これは、テキストベースの検索又はその他であってよく（例えば、ステップＥ〜Ｆ又はその他でフロントエンド３１Ｂに返された特徴のフォーマットに依存して）、ＡＩプラットフォームの一部を形成するサーチエンジンによって実行されてよい。本明細書の教示に従って適合されるように当該技術分野で既知の従来の方法で、エンジンは、正確に、緩やかに、又は他の状態で、サーチと一致するカタログアイテムを返す。その結果は、そのユーザに対してその上に提示するために、要求するクライアントデジタルデータデバイスに送信される。上記に従ったサーチエンジンの動作及びそのような結果の返しは、本明細書の教示を考慮して適合される当業者の知識の範囲内である。
【００３６】
クライアントデバイス１４Ａ〜１４Ｃによる追加の画像ベースのサーチ要求に関連して、ステップＣ〜Ｇは、そのユーザの要請に応じて同様に繰り返される。
【００３７】
上に説明し、図面に示したのは、画像ベースのサーチのための装置、システム、方法である。ここに示される実施形態は単なる例示であり、他の実施形態は以下に述べる請求項の範囲内にあることが理解されるものである。従って、例として上記の説明は、電子商取引カタログサーチに焦点を当てているが、これは、他のデータセットの検索にも等しく適用されることが理解されるものである。
【図１】
2022502753.tif 000003
【図２】
2022502753.tif 000004
【国際調査報告】
2022502753.tif 000005