"複数のアイテムタイプの意味的に関連したアイテムを関連付けるための方法であって、a少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、b前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、c前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップとを含む、方法。d前記トレーニングされた結合埋込空間内の前記複数のアイテムタイプの第1のアイテムタイプに対して、前記1つ以上の学習されたマッピングを適用することによって決定された第1の場所に、前記第1のアイテムを埋め込むステップをさらに含む、請求項1に記載の方法。e前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けるステップをさらに含む、請求項2に記載の方法。前記学習ステップbは、i前記埋め込まれたトレーニングアイテムから、第2のアイテム、第3のアイテム、および第4のアイテムを選択するステップであって、前記第2のアイテムおよび前記第3のアイテムは、関連し、前記第2のアイテムおよび前記第4のアイテムは、関連しない、ステップと、ii第1の距離が、第2の距離未満であることを決定するステップであって、前記第1の距離は、前記結合埋込空間内における、前記第2のアイテムと前記第3のアイテムとの間の距離であり、前記第2の距離は、前記結合埋込空間内における、前記第2のアイテムと前記第4のアイテムとの間の距離である、ステップと、iii前記決定に基づいて、前記1つ以上の学習されたマッピングを調節するステップとを含む、請求項2に記載の方法。前記調節ステップiiiはさらに、前記第2、第3、および第4のアイテムのうちの少なくとも1つの前記結合埋込空間内の場所を変更するステップを含む、請求項4に記載の方法。前記場所変更ステップは、前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させるステップを含む、請求項5に記載の方法。前記移動ステップは、確率的勾配降下法に基づく、請求項6に記載の方法。前記調節ステップは、確率的勾配降下法に基づく、請求項4に記載の方法。前記選択ステップiは、前記第2のアイテムから前記選択されたアイテムまでの距離が、前記第2のアイテムと第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとして、アイテムを反復的に選択するステップと、前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測するステップとを含む、請求項4に記載の方法。前記場所変更ステップは、前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させるステップを含む、請求項9に記載の方法。前記移動ステップは、前記予測されたランクに基づいて加重された、確率的勾配降下法に基づく、請求項10に記載の方法。前記学習ステップbはさらに、iv所定の終了基準が充足されるまで、少なくともステップiiiiを繰り返すステップを含む、請求項4に記載の方法。前記学習ステップbはさらに、前記第1のアイテムタイプの全アイテムに対する第1のマッピング関数を学習するステップと、第2のアイテムタイプの複数のアイテムのそれぞれに対して、それぞれのマッピング関数を学習するステップとを含む、請求項4に記載の方法。前記トレーニングされた結合埋込空間内において、クエリサブジェクトを識別するステップであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ステップと、結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定するステップと、前記結果アイテムを出力するステップとをさらに含む、請求項1に記載の方法。複数のアイテムタイプの意味的に関連したアイテムを関連付けるためのシステムであって、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに連結されたメモリと、前記メモリ内の結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むように構成される、結合埋込空間コンフィギュレータと、前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するように構成される、マッパと、前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるように構成される、アイテムアソシエータとを含む、システム。前記結合埋込空間内の第1の場所に、第1のアイテムを埋め込むように構成される、新しいアイテムエンベッダをさらに含み、前記第1の場所は、前記複数のアイテムタイプの第1のアイテムタイプに対して、学習されたマッピングを適用することによって決定される、請求項15に記載のシステム。前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けるように構成されるアノテータをさらに含む、請求項16に記載のシステム。前記マッパはさらに、確率勾配法を使用して、1つ以上のアイテムタイプに対して、前記マッピングを学習するように構成される、請求項16に記載のシステム。前記アイテムアソシエータはさらに、前記第2のアイテムから前記選択されたアイテムまでの距離が、前記第2のアイテムと第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとして、アイテムを反復的に選択することと、前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測することと、前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させることであって、前記移動は、前記予測されたランクに基づいて加重された確率勾配法に基づく、こととを行うように構成される、請求項18に記載のシステム。前記結合埋込空間は、所定の数の実数値軸を含む、請求項15に記載のシステム。前記トレーニングされた結合埋込空間内において、クエリサブジェクトを識別することであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ことと、結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定することとを行うように構成される、意味的クエリモジュールをさらに含む、請求項15に記載のシステム。命令を記憶するコンピュータ可読媒体であって、前記命令は、実行されると、少なくとも1つのプロセッサに、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップとを含む方法を使用して、複数のアイテムタイプの意味的に関連したアイテムを関連付けさせる、コンピュータ可読媒体。クエリに応答するための方法であって、前記クエリを受信するステップと、前記クエリに応答して、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内の場所を決定するステップであって、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと第2のアイテムとの間の意味的関係に対応し、複数のアイテムタイプのアイテムは、前記結合埋込空間内に埋め込まれる、ステップと、前記場所に最も近接する、前記結合埋込空間内に埋め込まれた1つ以上のアイテムに基づいて、1つ以上の結果を識別するステップと、前記クエリへの応答として、前記1つ以上の結果を返すステップとを含む、方法。前記場所の決定は、前記受信したクエリに基づいて、クエリアイテムを決定するステップと、前記クエリアイテムを前記場所に埋め込むステップであって、前記場所は、前記クエリアイテムのアイテムタイプに対して、少なくとも1つの学習されたマッピングを適用することによって、決定される、ステップとを含む、請求項23に記載の方法。前記クエリは、アーティスト名または歌を含み、前記1つ以上の結果は、第2のアーティスト名および第2の歌のうちの少なくとも1つを含み、前記第2のアーティスト名および第2の歌のうちの少なくとも1つは、前記アーティスト名または前記歌と関連付けられる、請求項23に記載の方法。前記クエリは、タグを含み、前記1つ以上の結果は、少なくとも1つの画像を含み、前記画像は、前記タグと関連付けられる、請求項23に記載の方法。クエリを行う方法であって、クエリをサーバに伝送するステップであって、前記サーバは、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間を含み、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと前記第2のアイテムとの間の意味的関係に対応し、複数のアイテムタイプのアイテムは、前記結合埋込空間内に埋め込まれる、ステップと、前記サーバから応答を受信するステップであって、前記応答は、前記結合埋込空間内における、前記クエリに対応する場所を識別し、前記識別された場所に最も近い1つ以上の結果アイテムを識別することによって、前記サーバから形成される、ステップとを含む、方法。結合埋込空間を使用して、複数のアイテムタイプの意味的に関連したアイテムを関連付けるための方法およびシステムが、開示される。開示される方法およびシステムは、大量のウェブスケールのトレーニングデータセットにスケーラブルである。ある実施形態によると、複数のアイテムタイプの意味的に関連したアイテムを関連付けるための方法は、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、アイテムタイプのそれぞれに対して、結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでのトレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップと、を含む。結合埋込空間内に埋め込まれ得る、例示的アイテムタイプは、画像、注釈、オーディオ、およびビデオを含む。ある実施形態では、方法はさらに、複数のアイテムタイプの第1のアイテムタイプに対して、学習されたマッピングを適用することによって決定された、第1の場所に、第1のアイテムを埋め込むステップと、1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、第1のアイテムに注釈を付けるステップと、を含むことができる。別の実施形態によると、複数のアイテムタイプの意味的に関連したアイテムを関連付けるためのシステムは、プロセッサと、プロセッサに連結されたメモリと、結合埋込空間コンフィギュレータと、マッパと、アイテムアソシエータと、を含む。結合埋込空間コンフィギュレータは、メモリ内の結合埋込空間内に、複数のアイテムタイプのトレーニングアイテムを埋め込むように構成される。マッパは、アイテムタイプのそれぞれに対して、結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するように構成される。アイテムアソシエータは、第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでのトレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるように構成される。さらに別の実施形態は、命令を記憶するコンピュータ可読媒体であって、命令は、実行されると、少なくとも1つのプロセッサに、ある方法を使用して、複数のアイテムタイプの意味的に関連したアイテムを関連付けさせる。方法は、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、アイテムタイプのそれぞれに対して、結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでのトレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップと、を含む。クエリに応答するための方法の実施形態は、クエリを受信するステップと、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内の場所を決定するステップであって、結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、第1のアイテムと第2のアイテムとの間の意味的関係に対応する、ステップと、その場所に最も近接する、結合埋込空間内に埋め込まれた1つ以上のアイテムに基づいて、1つ以上の結果を識別するステップと、クエリへの応答として、1つ以上の結果を返すステップと、を含む。複数のアイテムタイプのアイテムは、結合埋込空間内に埋め込まれる。クエリを行う方法は、クエリをサーバに伝送するステップと、サーバから応答を受信するステップと、を含み、応答は、結合埋込空間内における、クエリに対応する場所を識別し、識別された場所に最も近い1つ以上の結果アイテムを識別することによって、サーバによって形成される。サーバは、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間を含み、結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、第1のアイテムと第2のアイテムとの間の意味的関係に対応し、複数のアイテムタイプのアイテムは、結合埋込空間内に埋め込まれる。本発明のさらなる特徴および利点、ならびにその種々の実施形態の構造および動作は、付随の図面を参照して、以下に詳述される。本発明は、特定の用途に対する例証的実施形態を参照して、本明細書に説明されるが、本発明は、それらに限定されないことを理解されたい。本明細書の教示へのアクセスを伴う当業者は、本明細書の範囲内の付加的修正、用途、および実施形態、ならびに本発明が有意に有用と成るであろう付加的分野を認識するであろう。概要種々のタイプの非常に大量のアイテム集合が、アイテムの意味的コンテンツに基づいて、アイテム間の関係を見つけるために利用されることが望ましい。例えば、新しい画像に対して、大量のアイテム集合内の関係に基づく注釈は、少量のアイテム集合に基づく注釈より記述的であり得る。したがって、非常に大量の情報集合にスケーラブルであって、アイテム間の種々の関係を考慮する、アイテムを意味的に関連付ける方法およびシステムが、所望される。本発明の実施形態は、トレーニングデータセットのアイテムと1つ以上の他のトレーニングアイテムまたは新しく埋め込まれたアイテムとの間の関連付けまた、関係とも称されるを決定するために、トレーニングデータセット内で利用可能な種々のデータタイプのアイテム間の関係の範囲を利用するための方法およびシステムを含む。本発明の実施形態は、ウェブを通して収集することができるもの等、大量のトレーニングデータアイテムのコーパスにスケーラブルである。例えば、ウェブを介してアクセス可能なリソース内に記憶された画像、オーディオ、ビデオ、およびテキストは、潜在的に無限数のトレーニングデータ記録を有する、非常に大量のトレーニングデータセットの生成を可能にする。種々のアイテム間の関連付けを決定するために、スケーラブルかつ効率的方法は、画像注釈、画像読み出し、コンテンツベースのデータ読み出し等の多くの目的のために有用である。簡潔さおよび便宜上、本発明の実施形態は、主に、画像注釈の用途を使用して、後述される。しかしながら、アイテム間の関係を利用する、他の用途も、本発明の実施形態の範囲内であると想定されることを理解されたい。例えば、画像アイテムと注釈アイテムとの間で発見された関連付けは、意味的コンテンツ等に基づいて、オーディオおよびビデオ注釈、画像読み出し、オーディオおよびビデオの読み出し等の他の用途のために利用することができる。本発明の実施形態は、非常に大量のトレーニングデータベースにスケーラブルである。加えて、本発明の実施形態は、トレーニングデータとして、手動で注釈が付けられた画像を必要とせず、実質的雑音を伴う、注釈を利用すことができる。本発明の実施形態による、非常に大量のトレーニングコーパスの使用は、雑音のある注釈を利用するための能力によって、補助される。例えば、本発明の実施形態は、Googleの画像検索サービスを使用して実行される、ユーザクエリからのクリックデータに基づいて、トレーニングデータを生成することができる。本発明の実施形態のスケーラビリティはまた、利用可能となるのに伴って、新しいトレーニング情報を組み込むことによって、システムの効率的な継続的改良を可能にする。本書では、注釈は、テキスト注釈であって、1つ以上のキーワード、クエリ、文、または他のテキストコンテンツを含んでもよい。さらに、結合埋込空間内に全アイテムタイプを埋め込むことによって、本発明の実施形態は、それぞれのアイテムの相対的意味的コンテンツに基づく、関連付けを生成する。結合埋込空間は、本明細書で使用されるように、画像、注釈、オーディオおよび/またはビデオ等であるが、それらに限定されない、複数のタイプのアイテムが、その場所が、埋め込まれた近傍アイテムに基づいて、その意味的コンテンツを反映するように、埋め込むことができる、多次元埋込空間である。また、結合埋込空間内に、異なるタイプのアイテムを分離して埋め込むことによって、アイテム間により柔軟な組み合わせを可能にする。例えば、本発明のある実施形態では、新しい画像は、注釈が基づく、トレーニング画像の任意の特色に関わらず、注釈と関連付けることができる。アイテムを意味的に関連付けるためのシステム図1は、本発明のある実施形態による、複数のアイテムタイプのアイテムを関連付けるためのシステム100を例証する。システム100は、画像アイテムを注釈アイテムと関連付け、自動的に、画像に注釈を付けるように構成される。本発明の他の実施形態は、ビデオ、オーディオ、画像、および注釈等であるが、それらに限定されない、アイテムタイプのアイテム間の関連付けを確立するように構成することができる。システム100は、少なくとも1つのプロセッサ102と、メモリ104と、ストレージ106と、ネットワークインターフェース108と、ユーザ入力/出力デバイス110と、通信インフラストラクチャ112と、トレーニングデータベース114と、結合埋込空間モジュール130と、を備える。システム100は、サーバコンピュータ、通信ネットワークと相互接続された1つ以上のコンピュータ、サーバファーム、クラウドコンピューティングプラットフォーム等上に実装することができる。プロセッサ102は、結合埋込空間モジュール130等のアプリケーションを実行するように構成される、1つ以上のプロセッサを備える。メモリ104は、単一メモリまたは1つ以上のコンピュータ内に位置する複数の相互接続されたメモリを備えることができる。ある実施形態では、メモリ104は、動的ランダムアクセスメモリメモリDRAMを備える。ストレージ106は、1つ以上の相互接続された不揮発性コンピュータ可読媒体を備え、ハードディスク、フラッシュメモリ、光学ストレージデバイス等を含んでもよい。ネットワークインターフェース108は、システム100が接続され得る、イーサネット登録商標および無線ローカルエリアネットワークLAN等であるが、それらに限定されない、任意のタイプのネットワークへのインターフェースを含む。ユーザ入力/出力デバイス110は、ヒトオペレータ等のユーザまたはアプリケーションが、システム100の動作を制御する、および/またはシステム100からの出力を表示することができる、キーボード、マウス、およびディスプレイデバイスの1つ以上へのインターフェースを備える。通信インフラストラクチャ112は、システムバス、周辺機器相互接続PCIバス、ユニバーサルシリアルバスUSB、ファイヤワイヤ、またはイーサネット登録商標等であるが、それらに限定されない、1つ以上の通信バスを含んでもよい。通信インフラストラクチャ112は、システム100の構成要素を通信可能に連結するための相互接続手段を提供する。トレーニングデータベース114は、種々のアイテムタイプのトレーニングアイテム集合を備える。本書で使用されるように、用語データベースは、任意のデータ集合およびデータ集合にアクセスするための方法を含意し、必ずしも、市販のデータベース管理システムDBMSを含意するわけではない。ある実施形態によると、トレーニングデータベース114は、既知の画像データベース116、既知の注釈データベース118、および既知の関係データベース120の1つ以上を含む。トレーニングデータベース114は、任意のサイズであってもよい。本発明の実施形態は、従来の方法と比較して、特に有利であり得、トレーニングデータベースは、非常に大量、すなわち、数百万のトレーニングアイテムまたはそれ以上のウェブスケールである。トレーニングデータベース114は、システム100に直接接続される、またはシステム100に通信可能に連結されたデータベースに分散される、単一データベースを備えることができる。ある実施形態では、トレーニングデータベースは、ストレージ114内に常駐する。別の実施形態では、トレーニングデータベースは、例えば、ネットワークインターフェース108を通して、システム100に通信可能に連結される、1つ以上の遠隔コンピュータ内に常駐する。さらに別の実施形態では、トレーニングデータベース114は、システム100の内部ならびに遠隔コンピュータ内に常駐することができる。ある実施形態によると、トレーニングデータベース114は、Google,Inc.からのウェブベースの画像検索サービスに提出されるクエリと、それらのクエリに応答して、返される画像に関する情報と、を備える。例えば、各クエリは、既知の注釈データベース118内に記憶されてもよく、クエリに応答して返される画像のシーケンスまたはセットは、既知の画像データベース116内に記憶することができる。各クエリに対して、各画像が、ユーザによってクリックされた回数クエリクリックデータもまた、記憶されてもよい。ある実施形態では、既知の画像データベース116内に記憶された各画像に対して、その画像に関して選択またはクリックされた最大ユーザ数に基づく、1つ以上のクエリが、既知の注釈データベース118内に記憶されてもよい。既知の関係データベース120は、トレーニングデータベース内のアイテム間の関係を含む。ある実施形態では、既知の関係データベース120は、既知の画像データベース116内のトレーニング画像と既知の注釈データベース118内のトレーニング注釈との間の関係、2つ以上のトレーニング画像間の関係、および2つ以上のトレーニング注釈間の関係を含む。トレーニングデータは、多数の付加的方法を使用して、生成されてもよい。画像注釈のためのトレーニングデータを取得する他の手段は、画像の手動注釈、およびユーザによって事前に注釈が付けられた画像の収集を含むが、それらに限定されない。メモリ104は、多次元結合埋込空間150を含む。ある実施形態によると、結合埋込空間150の各次元は、実数値軸によって、画定される。結合埋込空間は、自動的に、意味的に関連したアイテムを相互に近接して位置するように意図される。結合埋込空間内では、意味的に類似するアイテムは、自動的に、各アイテムのタイプに関わらず、相互に近接して位置する。ある実施形態では、結合埋込空間内のアイテムxの場所は、<x1,x2,...,xD>として規定されてもよく、式中、xii=1...Dは、D次元の結合埋込空間内の次元iにおけるアイテムxの場所を規定する実数である。結合埋込空間150の次元の増加は、多くの場合、埋め込まれたアイテム間の関連付けの精度を改善する。高次元結合埋込空間は、低次元結合埋込空間より高い精度を伴って、ウェブアクセス可能ソースから取得されたトレーニングデータベース等の大量のトレーニングデータベースを表すことができる。しかしながら、より高い次元はまた、算出の複雑性を増加させる。したがって、次元数は、利用可能なトレーニングデータベースのサイズ、必要とされる精度レベル、および算出時間等の要因に基づいて、決定することができる。実質的に連続的マッピング空間を維持することができるため、実数値軸に基づいて、結合埋込空間150を画定することは、関連付けの精度レベルを増加させる。メモリ104はまた、結合埋込空間150内に埋め込まれたそれぞれのアイテムに対応する、複数のアイテムベクトル154と、アイテムタイプのそれぞれを結合埋込空間150にマップする、複数のマッピング152と、を含むことができる。結合埋込空間モジュール130は、結合埋込空間150を生成し、結合埋込空間150内への1つ以上のアイテムタイプに対するマッピングを学習し、新しく埋め込まれたアイテムから結合埋込空間150内に既に埋め込まれたトレーニングアイテムへの関連付けを決定する、機能を含む。結合埋込空間モジュール130の論理命令は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを使用して、実装することができる。ある実施形態によると、結合埋込空間モジュール130は、自動的に、結合埋込空間150を使用して、画像に注釈を付け、既知の画像データベース116内のトレーニングデータ、既知の注釈データベース118、および既知の関係データベース120を使用して、結合埋込空間150内へのマッピングまたは画像および注釈を学習するための論理命令を含む。ある実施形態では、結合埋込空間モジュール130は、トレーニングデータコレクタ132と、注釈アナライザ134と、画像アナライザ136と、アノテータ138と、結合埋込空間コンフィギュレータ140と、マッパ142と、新画像エンベッダ144と、アイテムアソシエータ146と、意味的クエリモジュール148と、を備える。トレーニングデータコレクタ132は、トレーニングデータベース114内に記憶され得る、トレーニングデータを取得するための機能を含む。例えば、ある実施形態では、トレーニングデータコレクタ132は、クエリを含む、画像クエリデータ、各クエリに応答して返された画像の応答セット、および各応答セットにおいて、ユーザによってクリックされた画像を収集および処理することができる。次いで、取得したデータは、画像と、各画像に対して、対応するクエリに応答して、画像をクリックしたユーザ数によって示される、画像が関連する、1つ以上のクエリと、を記憶するために処理されてもよい。画像は、既知の画像データベース116内に記憶することができ、クエリは、既知の注釈データベース118内に記憶することができる。ある実施形態では、記憶された画像と記憶された注釈との間の既知の関係は、既知の関係データベース120内に記憶することができる。いくつかの実施形態では、クエリクリックデータはまた、例えば、同一クエリに関してクリックされた画像を関連するように考慮することによって、画像間の関係を決定するために使用することができる。また、いくつかの実施形態では、関係は、例えば、ともに頻繁に表出する単語または用語を関連するように考慮することによって、1つ以上の記憶された注釈間で決定されてもよい。種々の実施形態では、トレーニングデータコレクタ132はまた、注釈が付けられた画像および/または他の事前に注釈が付けられた画像を手動で取得することができる。ウェブクローリングによって、注釈が付けられた画像を直接取得する、または事前に調製された注釈が付けられたデータ集合を組み込むことによって等、トレーニングデータを取得する他の手段も可能であって、本発明の実施形態の範囲内と想定される。注釈アナライザ134は、注釈を分析および処理するための機能を含む。ある実施形態では、注釈アナライザ134は、トレーニング注釈として使用される、注釈を処理するための機能を含む。例えば、注釈アナライザ134は、注釈データベース118内に記憶されたクエリ等のクエリを処理して、誤植を修正し、スペリングエラーを補正し、キーワードのシーケンスを一様に順序付ける、1つの言語から別の言語に翻訳する、および類似目的を行ってもよい。種々の実施形態では、各注釈は、文字列、キーワードのベクトル、または同様なものとして、表すことができる。画像アナライザ136は、例えば、画像特徴を抽出することによって、画像を分析するための機能を含む。画像特徴は、エッジ、コーナー、リッジ、着目点、および色ヒストグラムの1つ以上を含むことができるが、それらに限定されない。特徴抽出は、スケール不変特徴量変換SIFTおよび主成分分析PCA等であるが、それらに限定されない、1つ以上の既知の方法に基づいてもよい。ある実施形態では、画像は、特徴の非常にまばらなベクトルによって、表される。各画像は、最初に、種々のスケールにおいて、いくつかの重複する正方形ブロックにセグメント化される。次いで、各ブロックは、色およびエッジ特徴の連鎖によって、表される。次いで、以前にトレーニングされた典型的にはそのようなブロックの辞書を使用して、視覚ワードのバッグ、または各辞書視覚ワードが画像内に提示された回数のヒストグラムとして、各画像を表し、平均200を超える非ゼロ値を有するベクトルをもたらす。画像の例示的表現は、Grangier,D.,Bengio,S.,Adiscriminativekernelbasedmodeltorankimagesfromtextqueries,TransactionsonPatternAnalysisandMachineIntelligence,vol.30,Issue8,2008,pp.13711384に説明される。アノテータ138は、新しい画像のための注釈を構築するための機能を含む。ある実施形態では、例えば、アノテータ138は、結合埋込空間150内に新しく埋め込まれた画像に最も近い、1つ以上の注釈に基づいて、新しく埋め込まれた画像のための注釈を構築する。結合埋込空間コンフィギュレータ140は、結合埋込空間150内にトレーニングアイテムを生成および埋め込むための機能を含む。ある実施形態では、例えば、結合埋込空間コンフィギュレータ140は、結合埋込空間内に、トレーニングデータベース114からの画像および注釈を埋め込む。既知の画像データベース116からのトレーニング画像および既知の注釈データベース118からのトレーニング注釈は、結合埋込空間150内に埋め込むことができる。マッパ142は、結合埋込空間150内への各アイテムタイプに対する1つ以上のマッピング152を学習するための機能を含む。マッピング152は、各アイテムベクトル154が、結合埋込空間150内に、どのように位置するかを規定する。ある実施形態では、マッパ142は、画像空間および注釈空間から結合埋込空間150へのマッピングを学習するように構成される。例えば、結合埋込空間150内に埋め込まれたトレーニング画像および注釈に基づく学習のプロセスを通して、マッパ142は、画像空間から結合埋込空間150内へのマッピング関数と、また、結合埋込空間150内への注釈のマッピングと、を決定する。ある実施形態では、各画像に対して決定される、一式の画像特徴が画定され、各画像は、それらの画像特徴のベクトルとして、表される。画像に対するマッピング関数は、画像特徴のベクトルから結合埋込空間へのマッピングを規定することができる。本発明の種々の実施形態では、マッピング関数は、線形または非線形であることができる。新画像エンベッダ144は、学習されたマッピングに基づいて、結合埋込空間150内に画像を埋め込むための機能を含む。例えば、新画像エンベッダ144は、マッパ142を使用して学習されたマッピング関数に基づいて、新しい画像が埋め込まれるべき場所を決定することができる。ある実施形態では、新画像エンベッダ144は、新しい画像の一式の特徴を決定し、一式の特徴から結合埋込空間150内の場所へのマッピングを使用する。アイテムアソシエータ146は、結合埋込空間150内において、新しく埋め込まれたアイテムと既に埋め込まれたアイテムとの間の関連付けを決定するための機能を含む。ある実施形態では、アイテムアソシエータ146は、結合埋込空間150内における、新しく埋め込まれた画像と1つ以上の注釈との間の関係を決定する。例えば、アイテムアソシエータ146は、新しく埋め込まれた画像に最も近い、注釈のランク付けされたリストを決定することができる。アノテータ138は、アイテムアソシエータ146によって決定された注釈のランク付けされたリストに基づいて、新しく埋め込まれた画像に注釈を付けてもよい。意味的クエリモジュール148は、別の規定されたアイテムと関連付けられる、任意のアイテムタイプの1つ以上のアイテムを出力するために、結合埋込空間150内における関連付けを分析するための機能を含む。例えば、意味的クエリモジュール148は、結合埋込空間150内のクエリ用語を識別し、次いで、そのクエリ用語と関連付けられた全画像を識別することによって、特定のクエリ用語と関連付けられる、全画像を出力してもよい。アイテムを意味的に関連付けるための方法図2は、本発明のある実施形態による、複数のアイテムタイプの意味的に関連したアイテムを相互に関連付けるための方法200ステップ202210を例証する。ある実施形態によると、関連付けは、新しいアイテムに注釈を付けるために使用することができる。ステップ202では、結合埋込空間が、構成される。ある実施形態では、ステップ202は、結合埋込空間コンフィギュレータ140によって実装され、メモリ104内に結合埋込空間150を生成してもよい。結合埋込空間の次元数は、事前に決定されてもよい。前述のように、次元数は、必要とされる精度、利用可能な算出リソース、およびトレーニングデータベースのサイズ等であるが、それらに限定されない、1つ以上の要因に基づいて、決定することができる。結合埋込空間の各次元は、実数値軸によって、画定されてもよい。ある実施形態による、結合埋込空間は、画像および対応する注釈を含む、データアイテムを埋め込むように構成される。例えば、ある実施形態では、事前に注釈が付けられた画像のコーパスを使用して、トレーニング画像および対応するトレーニング注釈を取得することができる。別の実施形態では、前述のように、ウェブベースの画像検索サービスからのクエリクリックデータを、トレーニング画像およびトレーニング注釈として、使用することができる。結合埋込空間を構成するステップは、図3に関連して、以下にさらに詳述される。ステップ204では、各タイプのアイテムを結合埋込空間にマップするためのマッピング関数が、学習される。ある実施形態によると、学習プロセスは、一式の埋め込まれたトレーニングアイテムを反復的に選択し、その現在の結合埋込空間内の場所に基づいて選択されたそれぞれのアイテム間の距離が、それらの間の既知の関係に対応するかどうかを決定する。例えば、埋め込まれたトレーニング画像、その対応する埋め込まれたトレーニング注釈、および非関連の埋め込まれたトレーニング注釈を検討する。次いで、その現在の結合埋込空間内の場所が、画像から対応する注釈までの距離が、画像から非関連注釈および少なくとも所定のマージンまでの距離未満であるような場合、アイテムは、選択された関係と一貫して、既に位置しており、したがって、マッピングまたはその現在の場所に変更は、必要ないと見なすことができる。そうでなければ、アイテムのマッピングおよび場所は、相互に対するその場所が改善されるように調節される。結合埋込空間内における任意のアイテムの場所を調節することは、加えて、現在のマッピング関数の変化のため、マッピング関数の調節および/または他のアイテムの場所の調節をトリガすることができる。例えば、埋め込まれた注釈の場所の変更は、画像空間から結合埋込空間までの現在のマッピング関数を変化させ、注釈に対する画像の場所の一貫性を維持することができる。反復的である、学習プロセスは、所定の反復数の学習が、例えば、アイテムの場所の調節の相対的規模によって決定されるように、マッピングへの実質的変化を伴わずに生じる時等、所定の終了基準に基づいて、終了されてもよい。学習プロセスの終了時、結合埋込空間内のアイテムの場所は、アイテム間の意味的関係を反映する。いくつかの実施形態では、学習プロセスステップ204は、例えば、新しいトレーニングデータを埋め込む、または終了基準を調節し、学習プロセスを継続させ、結合埋込空間および学習されたマッピングを精緻化することによって、結合埋込空間および学習されたマッピングを漸次的に改善する必要に応じて、時々、行うことができる。また、学習プロセスの終了時、マッピング関数は、安定していると見なすことができる。アイテムのタイプに応じて、マッピング関数は、形式が異なることができる。ある実施形態では、画像のためのマッピング関数は、任意の画像を、その特徴に基づいて、結合埋込空間にマップするために使用される一方、各注釈は、一意的にマップされる。以下では、用語トレーニングされた結合埋込空間は、文脈から明白ではない時、学習プロセスが行われた後の結合埋込空間を指すために使用される。学習プロセス204はさらに、図45に関連して後述される。ステップ206では、新しいアイテムが、結合埋込空間内に埋め込まれる。新しいアイテムの埋込に先立って、ある実施形態にると、トレーニングデータの埋込が完了され、マッピングのための学習プロセスが完了される。新しいアイテムは、対応するアイテムタイプのための学習されたマッピング関数に基づいて決定された場所内のトレーニングされた結合埋込空間内に埋め込まれる。ある実施形態では、新しい画像は、画像のための学習されたマッピング関数に基づいて決定された場所内のトレーニングされた結合埋込空間内に埋め込むことができる。新しい画像の所定の一式の特徴が計算され、学習された画像マッピング関数が、計算された一式の特徴に適用され、結合埋込空間内の埋込場所を決定する。画像特徴ベクトルおよび注釈表現は、図1に関連して前述されている。ステップ208では、新しく埋め込まれたアイテムと以前に埋め込まれたアイテムとの間の1つ以上の関連付けが、決定される。ある実施形態では、新しく埋め込まれた画像と以前に埋め込まれた注釈との間の関連付けが、決定される。関連付けは、新しく埋め込まれたアイテムの場所からそれぞれの以前に埋め込まれたアイテムの場所までのユークリッド距離等の距離に基づく。新しい画像への関連付けを有する、注釈を使用する種々の方法を使用することができる。一実施形態では、新しい画像からの所定の閾値距離内にある全注釈を考慮することができる。別の実施形態では、新しい画像からの最短距離を伴う注釈が考慮される。ステップ210では、新しく埋め込まれたアイテムは、ステップ208で決定された関連付けに基づいて、注釈が付けられる。ある実施形態では、新しく埋め込まれた画像は、その画像に最も近い、注釈に基づいて、注釈が付けられる。別の実施形態では、新しく埋め込まれた画像は、画像からの所定の距離内の全注釈に基づいて、注釈を付けることができる。さらに別の実施形態では、新しく埋め込まれた画像からの所定の距離内の1つ以上の注釈が、新しく埋め込まれた画像に割り当てられるべき注釈を生成するために、埋め込まれ、さらに処理されてもよい。結合埋込空間の構成図3は、本発明のある実施形態による、結合埋込空間を構成するための方法ステップ302308を例証する。例えば、ある実施形態では、ステップ302308は、ステップ202の処理を行う。ステップ302では、結合埋込空間が、メモリ内に生成される。ある実施形態では、X×Dサイズアレイまたはマトリクスを画定することができ、式中、Xは、埋め込まれるべきトレーニングアイテムの数であって、Dは、結合埋込空間の次元数である。他の構造も、メモリ内の結合埋込空間の表現のために可能であって、実施形態の範囲内と想定される。当業者は、結合埋込空間を、揮発性メモリと仮想メモリ等の他のメモリリソースとの間に分散することができることを理解するであろう。前述のように、結合埋込空間の次元は、種々の要因に基づいて、決定されるべきである。また、前述のように、ある実施形態によると、結合埋込空間内の場所は、各次元に対して画定された実数値軸に基づいて、決定することができる。ステップ304では、マッピング関数は、結合埋込空間内に埋め込まれる、各アイテムタイプに対して、初期化される。結合埋込空間が、画像および注釈のために構成される、ある実施形態によると、画像空間から結合埋込空間までの1つのマッピング関数が、初期化され、別個のマッピング関数が、各埋め込まれた注釈のために初期化される。画像のためのマッピング関数は、所定の一式の特徴に基づき、したがって、任意の新しい画像に適用することができる。ある実施形態では、画像のためのマッピングは、線形マッピングとして規定され、マトリクスとして表すことができる。各注釈のためのマッピングは、その注釈に一意的であって、他の注釈に一般化することができない。ある実施形態では、各注釈のためのマッピングは、その注釈を結合埋込空間内の場所に線形にマップする。ステップ306および308は、それぞれ、ある実施形態による、トレーニング注釈およびトレーニング画像の埋込を含む。トレーニング注釈およびトレーニング画像を備える、トレーニングデータは、例えば、トレーニングデータベース114からであってもよい。トレーニングデータは、図1に関連して、前述されている。ある実施形態では、トレーニングデータは、Google画像検索サービスからのクエリクリックデータを備える。トレーニング画像は、画像へのリンクまたはサムネイルがクリックされた、画像検索クエリに応答して返された画像を備える。トレーニング注釈は、画像検索に入力されたクエリを備える。ステップ306および308では、トレーニング注釈およびトレーニング画像を、結合埋込空間内に埋め込むことができる。結合埋込空間内にアイテムを埋め込むことは、ある実施形態によると、そのアイテムに場所を割り当てることによって、行うことができる。ある実施形態によると、初期マッピングは、ランダムであって、したがって、各アイテムのための初期場所も、ランダムである。ある実施形態によると、全画像のための線形マッピングおよびi番目の注釈のためのマッピングは、それぞれ、以下の1および2に示されるように、規定される。ΦIx=Vx1ΦWi=Wi2式中、xは、画像特徴ベクトルであって、Vは、初期値がランダムであり得る、マトリクスであって、Wiは、Y×Dマトリクスのi番目の行を示す。Yは、注釈数であって、Dは、結合埋込空間内の次元数である。後述される、後続トレーニングプロセスは、アイテムがトレーニングされた結合埋込空間内に埋め込まれた最終場所が、近傍に位置する他のアイテムに関連して、アイテムの意味的コンテンツを反映するように、各画像および注釈の場所を精緻化するように意図される。結合埋込空間へのマッピングのトレーニングおよび学習図4は、本発明のある実施形態による、学習の方法ステップ402408を例証する。ある実施形態では、ステップ204の処理は、ステップ402408によって、行うことができる。ステップ402408は、結合埋込空間をスケーラブルにトレーニングし、非常に大量のトレーニングセットの比較的に少量のサンプリングに基づいて、各アイテムタイプに対するマッピングを学習することができる、確率的プロセスを例証する。ステップ402408は、所定の終了基準が充足されるまで、反復的に行われる。ステップ402では、アイテムのトリプレットは、トリプレットの第1の対のアイテム間の関係の強度が、第2の対の関係の強度より大きくなるように、選択される。ある実施形態では1つの埋め込まれた画像および2つの埋め込まれた注釈、または2つの埋め込まれた画像および1つの埋め込まれた注釈を有する、アイテムのトリプレットは、少なくとも1つの対のアイテムが、別の対のアイテムよりより強く関連することが既知であるように選択される。例えば、トリプレットは、画像、画像に関連する注釈、および画像に非関連の注釈であることができる。トリプレット内では、関連対は、画像および関連注釈を含み、非関連対は、画像および非関連注釈を含む。トリプレットは、例えば、既知の関係データベース120内で利用可能な情報に基づいて、選択することができる。他の実施形態では、アイテムの異なる組み合わせが、選択されてもよい。ステップ404では、結合埋込空間内における、既知の関連対間の距離および非関連対間の距離が決定され、距離は、第1と第2の対のトリプレットとの間の関係の相対的強度と比較される。結合埋込空間内の各対のトリプレット中のアイテム間の距離が、既知の関係と一致する場合、マッピングおよび結合埋込空間の変更は、必要とされず、処理は、ステップ406に直接進むことができる。しかしながら、結合埋込空間内にの各対のトリプレット中のアイテム間の距離が、既知の関係と一致しない場合、処理は、ステップ406に進む。例えば、関連対間の距離が、所定の安全マージンだけ、非関連対間の距離を上回るかどうかを決定してもよい。ある実施形態では、距離は、ユークリッド距離である。ステップ406では、結合埋込空間内の選択されたアイテムの1つ以上のマッピングおよび/または場所が、選択されたアイテム間の関連距離をアイテムの選択されたトリプレット間の既知の関係の関連強度に結び付けるために、調節される。例えば、画像、関連注釈、および関連注釈から成る、前述のトリプレットが選択される場合、そのトリプレット内の任意または全アイテムの場所は、それらの既知の関係に結び付けるように変更することができる。場所は、関連対間の距離が、非関連対プラス事前に決定することができる安全マージン間の距離未満となるように変更されてもよい。ある実施形態では、選択されたアイテムの場所の変化は、勾配降下法に基づいて、決定される。勾配降下法、および特に、確率勾配法は、非常に大量のトレーニングデータセットの比較的に少量のサンプリングに基づいて、結合埋込空間を効率的にトレーニングするために使用される。ある実施形態では、後述のように、費用関数が、確率的勾配降下法を使用して、非常に大量のデータセットに正確な縮尺で最適化される。Usunier,N.,Buffoni,D.,Gallinari,P.,Rankingwithorderedweightedpairwiseclassification,Proceedingsofthe26thInternationalConferenceonMachineLearning,2009は、例示的費用関数について説明している。勾配降下法を適用する際、選択されたトリプレットのアイテムの場所に成される調節は、アイテムの現在の場所と、相互に関連するアイテムのランク、所望のレベルの精度、および所望の速度の収束等であるが、それらに限定されない、1つ以上の要因と、に基づいてもよい。例示的実施形態では、トリプレットのアイテムのための新しい場所は、関連対合のランクに基づく距離量だけ、その現在の場所を調節することによって、決定される。選択されたトリプレット内の第1のアイテム、例えば、画像に関して、関連注釈のランクとは、画像からの最小から最大距離の順序で配設される、全注釈のシーケンス内の関連注釈の位置を指す。トレーニングプロセスの目標は、画像に最も近い最関連注釈が、すなわち、画像に関して、最も高いランクを有するように、結合埋込空間内において、アイテムを調節することである。ある実施形態では、アイテムxのランクは、3におけるように定義することができる。式中、rankyfxは、距離関数fixによって求められる、関連アイテムy例えば、例示的トリプレット内の関連注釈のランクである。fixは、類似関数であって、高類似性に対して、高値を返す。fixは、アイテムiとxとの間の関係を測定する。したがって、ある実施形態では、fxは、結合埋込空間内のアイテムxまでのユークリッド距離の逆数である。マージンを追加することによって、ランク3は、4におけるように規定することができる。式中、rank1yfxは、yのマージンがペナライズされたランクと見なすことができる。したがって、rank1yfxは、各注釈iに対するfixの値を関連注釈yに対する対応する値と比較する。図5は、アイテムに関して、全注釈の順序を決定することなく、ランクを予測する方法を例証する。実施形態は、トリプレット内の関連対のランクに基づいて、調節に加重することによって、勾配降下法に適用される、ステップサイズを調節してもよい。ある実施形態によると、ランキングの上端におけるランク位置の損失は、下端より高い費用を被る。例えば、勾配降下法が最小限にするよう操作する費用関数は、関連注釈が、より低いランキングにランク付けられる時より、関連注釈が、最高ランク近傍但し、最高ランクではないにランク付けられる時、増加される。アイテムのランクに基づいて、勾配降下法のステップサイズを調節することは、学習プロセスが、速度に対して、かつ画像のための最も可能性の高い注釈に関して、高精度レベルを達成するように最適化される、技法である。各選択されたトリプレットx、yは、関連対であって、は、非関連対であるによる、費用関数全体への寄与は、5におけるように、定義することができる。Lrank1yfxは、前述のように、ランクに基づく加重である。トレーニングの各反復では、ある実施形態によると、選択されたトリプレットの場所およびマッピングは、対応する距離が、既知の関係と一致しない場合調節後、5の値が、現在の反復におけるより低くなるように、調節される。ある実施形態では、マッピングおよび場所の調節は、6によって、決定される。βtは、時間tにおいて調節されるべき、マッピング等のパラメータであって、γtは、時間tにおける学習率である。6における偏導関数項は、本実施形態では、調節されるパラメータβtに関して選択されたトリプレットの近似誤差である、勾配を表す。ステップ406において、ある実施形態では、アイテムの場所は、6によって決定される勾配ステップに基づいて、調節することができる。ある実施形態では、注釈の場所は、例えば、選択されたトリプレット内の注釈のためのマッピングを調節することによって、調節することができる。画像の場所は、画像マッピング関数を調節することによって、調節されてもよい。ある実施形態では、マッピングは、注釈が、関連画像に関して移動されるように、調節される。画像マッピング関数は、例えば、新しく移動された関連注釈と一致するように、6に基づいて、適宜、調節することができる。ステップ408では、1つ以上の終了基準が、評価される。終了基準が、充足される場合、学習プロセスは、終了される。終了基準が、充足されない場合、プロセスは、ステップ402408を反復する。終了基準は、ステップ402408の1回以上の反復にわたって、選択されたアイテムの場所の変化の規模に基づくことができる。別の実施形態では、終了基準は、一式のランダムに選択された埋め込まれたアイテムが、実質的に、既知の関係に準拠するかどうかの評価に基づくことができる。種々の他の終了基準も可能であって、本発明の実施形態内と想定される。結合埋込空間内の関係の精度は、学習プロセスを実行する反復の増加に伴って、改善する可能性が高いが、ある点を超えて得られる改良は、有意でなくてもよいことに留意されたい。したがって、終了基準は、トレーニングデータセットのサイズおよび性質、所望される精度のレベル、ならびに利用可能な算出能力等の要因に基づいて、決定することができる。非常に大量のトレーニングデータセットに対する関係のランク付け図5は、ある実施形態による、アイテムのトリプレットを選択する方法ステップ502506を例証する。ある実施形態では、ステップ402の処理は、ステップ502506によって、行うことができる。ステップ502では、アイテムのトリプレットの第1および第2のアイテムは、相互に関連するように選択される。例えば、第1のアイテムは、埋め込まれたトレーニング画像であることができ、第2のアイテムは、第1のアイテムと関連するクエリである、埋め込まれたトレーニング注釈であることができる。ステップ504では、第3のアイテムは、第3のアイテムと第1のアイテムとの間の関係が、存在しない、または第1と第2のアイテムとの間の関係より弱いが、結合埋込空間内における第1のアイテムから第3のアイテムまでの距離が、第1のアイテムから第2のアイテムまでの距離未満であるように、選択される。アイテムのトリプレット間の距離条件に違反する、第3のアイテムを意図的に選択することは、多くの場合、例えば、第1のアイテムに関連しないアイテムから、第3のアイテムをランダムに選択する時より、より速い学習プロセスの収束につながる。したがって、第3のアイテムは、本段落に前述の両条件が、選択された第3のアイテムによって充足されるまで、第1のアイテムに関連しないアイテムから、繰り返しピックアップすることができる。ステップ506では、第1のアイテムと関連する第2のアイテムのランクが、決定される。ある実施形態では、第1のアイテムに関連する第2のアイテムのランクは、ステップ504に関連して記載された2つの条件を満たす、第3のアイテムを選択するために必要とされた反復数に基づいて、予測される。ステップ506に従って決定されたランクは、7におけるように示すことができる。Nは、第3のアイテムを選択するために必要とされた反復数であって、Yは、埋め込まれた注釈の総数である。7におけるように、高速かつ効率的にランクを予測することによって、本発明の実施形態は、実質的に、学習プロセスの速度を加速し、非常に大量のトレーニングデータセットに対するスケーラビリティを増加させることができる。例えば、7を使用して、ランクを予測することは、費用5に対する確率的勾配降下法の使用の、4の使用等、他の技法と比較して、非常に大量のデータセットに拡張することができる。他の実施形態結合埋込空間は、前述のように、種々のデータタイプのアイテムを埋め込むために使用することができる。前述の画像注釈用途に加え、他の用途も、非常に大量のトレーニングデータによって構成される、結合埋込空間を使用して、実装することができる。ある実施形態では、オーディオおよび/またはビデオ記録が、結合埋込空間を使用して、注釈を付けることができる。別の実施形態では、1つ以上のアイテムタイプのオーディオ、ビデオ、画像、およびテキストは、相互に関連することができる。例えば、注釈イルカと意味的に関連する、全アイテムが、タイプに関わらず、結合埋込空間内における注釈イルカまでのそれらのアイテムの距離に基づいて、読み出すことができる。図6は、ある実施形態による、複数のアイテムタイプの意味的に関連したアイテムを関連付けるための別の方法600を例証する。方法600は、記憶されたアイテム間の意味的関連付けに基づいて、アイテムを読み出すために使用することができる。ある実施形態では、方法600は、意味的クエリモジュール148内に実装することができる。例えば、方法600は、アイテムタイプに関わらず、クエリアイテムと意味的に関連付けられた結合埋込空間内の全アイテムを読み出すために使用することができる。ステップ602および604は、前述のステップ202ならびに204に類似する。前述のように、ステップ204に続いて、結合埋込空間は、現在利用可能なトレーニングデータセットによって、トレーニングを完了し、トレーニングされた結合埋込空間と称することができる。ステップ606では、埋め込まれたアイテムは、トレーニングされた結合埋込空間内で識別される。識別ステップは、特定のキーワードを指定するクエリ要求の受信によって、トリガされてもよい。次いで、受信したクエリキーワードは、トレーニングされた結合埋込空間内で識別することができる。ステップ608では、識別されたアイテムと関連付けられた他の埋め込まれたアイテムが、選択される。ある実施形態では、所定の閾値未満である、識別されたアイテムからの距離を有する、全アイテムが、関連付けられたアイテムとして見なすことができる。ステップ610では、関連付けられたアイテムが、出力される。例えば、クエリアイテムに関連する、アイテムのリストが、返されてもよい。別の実施形態によると、結合埋込空間は、音楽情報クエリシステム内で利用することができる。例えば、図7に示されるように、音楽情報クエリシステム700は、少なくとも1つのサーバシステム100と、サーバシステム100と通信する、1つ以上のクライアント780と、を含むことができる。ある実施形態によると、クライアント780からのクエリに応答して、サーバシステム100は、結合埋込空間を使用して、特定のアーティストに属する歌のリストまたは歌を返す、所与のオーディオトラックに最も類似する歌を返す、規定された注釈と最も関連付けられた歌のリストを返す、および同様のタスク等のタスクを行うように構成される。例えば、意味的クライアントクエリモジュール782は、クライアント780が、サーバシステム100にクエリを行うための論理を含んでもよい。図8に示されるように、ある実施形態では、音楽情報クエリシステム700は、図1に示されるサーバ100のモジュールのいくつかに加え、またはその代わりに、いくつかのモジュール872878を含むことができる。ある実施形態によると、システム700では、トレーニングデータ114は、既知のオーディオトラックアーティスト874例えば、音楽家名、アーティスト名、既知のオーディオトラック特色872、既知のオーディオトラック876、および既知のオーディオ注釈878のアイテムタイプの1つ以上に属する、アイテムを含んでもよい。既知のオーディオトラック特色872タイプのアイテムは、例えば、音楽のタイプ、楽器等、オーディオトラックの特色をを記述している、タグまたは他の注釈を含むことができるが、それらに限定されない。タグまたは注釈の実施例はまた、声、声無し、クラッシック、非クラッシック、ドラム、ドラム無し等の記述を含むことができる。タグは、特定のオーディオトラックに対して、ユーザが割り当てたタグを含んでもよい。オーディオトラックアナライザ882は、オーディオトラックを分析し、オーディオトラックを記述している、1つ以上の特色を決定するための論理を含んでもよい。ある実施形態では、オーディオトラック特色は、メル周波数ケプストラム係数MFCC表現に従って、決定されるものを含む。各オーディオトラックに対して、MFCCのサブセットが、オーディオトラックの特徴として、決定することができる。別の実施形態では、これらのMFCCは、付加的特徴として、その第1および第2の派生物と組み合わせることができる。さらに別の実施形態では、一式の典型的MFCCが、トレーニングデータセットに対して決定され、各オーディオトラックの特色は、決定された典型的MFCCに対応する、オーディオトラック内のフレーム数のカウントのベクトルによって、表される。他の例示的オーディオトラック特色または特徴は、スペクトル特徴、時間特徴、および安定化聴覚イメージSAI特徴を含む。SAI特徴は、適応極零点フィルタカスケード聴覚フィルタバンクに基づく。オーディオトラックの特徴は、特徴ベクトルとして、表すことができる。前述のように、トレーニングデータ114からのデータは、結合埋込空間150を埋め込むために使用される。新しいオーディオアイテムエンベッダ880は、結合埋込空間150内に、オーディオアイテムを埋め込むための論理を含んでもよい。例えば、ある実施形態では、新しいオーディオアイテムエンベッダ880は、新しい歌が、マッパ142を使用して、学習されたマッピング関数に基づいて、埋め込まれるべき場所を決定することができる。ある実施形態では、新しいオーディオアイテムエンベッダ880は、新しい歌の一式の特徴を決定し、一式の特徴から結合埋込空間150内の場所までのマッピングを使用する。オーディオアノテータ884は、結合埋込空間150内のオーディオアイテムの関連付けに基づいて、注釈を決定するための論理を含んでもよい。図9は、サーバシステム100が、ある実施形態による、クライアント780からのクエリに応答するための方法900を例証する。ステップ902では、サーバシステム100は、クライアント780からクエリを受信する。クエリは、例えば、アーティスト名を含むことができる。ステップ904では、サーバシステム100は、結合埋込空間150内に、1つ以上のアイテム例えば、受信したアーティスト名を埋め込む。埋め込まれたクエリからの所定の距離内の結合埋込空間150内のアイテム、またはそれに最も近い、アイテムが、見つけられる。次いで、決定されたアイテムを使用して、クエリへの応答を形成する。前述の方法200を使用して、例えば、ステップ904の関数を行うことができる。ステップ906では、クエリへの結果が、クエリを行うクライアントに返される。ある実施形態によると、音楽クエリ情報システム700は、結合埋込空間150を含み、それを使用して、音楽に帰属する歌、アーティスト、およびタグがすべて、これらの音楽概念のそれぞれの意味、ひいては、それらの間の関係を捕捉するための単一モデルを結合して学習することによって、推測することができる。結合埋込空間150を使用することによって、これらの意味的関係は、次元dの特徴空間内にモデル化され、音楽概念歌、アーティスト、またはタグが、座標ベクトルとして、表される。2つの概念間の類似性は、その2つのベクトル表現間のドット積を使用して、測定することができる。他の可能性として考えられるインスタンス化は、代わりに、2つのベクトル表現間の余弦類似性メトリック、またはユークリッド距離、またはpノルム距離を使用して、類似性を測定することを含む。ベクトルは、例えば、精度メトリックを最適化することによってアーティスト予測例えば、歌またはオーディオクリップを前提として、それを行った可能性のあるアーティストのランク付けされたリストを返す、歌予測例えば、アーティスト名を前提として、そのアーティストによって行われた可能性がある歌のランク付けされたリストを返す、類似アーティスト例えば、アーティスト名を前提として、そのアーティストに類似するアーティストのランク付けされたリストを返す、類似の歌例えば、歌またはオーディオクリップを前提として、それに類似する歌のランク付けされたリストを返す、およびタグ予測例えば、歌またはオーディオクリップを前提として、歌を最も説明し得る、タグのランク付けされたリストを返す等のタスクの類似性の関連を誘発するように学習されてもよい。精度メトリックは、いくつかの所定の値kに対して、最初のkが返した結果内の真陽性の数を含むことができる。ある実施形態によると、トレーニングデータベース114は、アーティスト名、歌そのオーディオコンテンツに対応する特徴の形式において、および歌と関連付けられたタグを含むことができる。データベース内の情報は、8におけるように表すことができる。式中、各トリプレットは、iによって示される歌を表し、αiは、アーティスト特徴であって、tiは、タグ特徴、siは、オーディオ音特徴である。各歌は、その一式のアーティストαiおよび/または対応する一式のタグtiに帰属してもよい。歌自体のオーディオは、|S|次元実数値特徴ベクトルsiとして、表される。所与のアーティストの場合、i=1...|A|、その座標ベクトルは、9におけるように表される。ΦArtisti:{1,...,|A|}→Rd=Ai9式中、A=[A1...A|A|]は、データベース内の全アーティストのパラメータベクトルのd ́|A|マトリクスである。本マトリクス全体は、アルゴリズムのトレーニング相の間、学習されることができる。同様に、所与のタグi=1...|T|の場合、その座標ベクトルは、10におけるように表すことができる。ΦTagi:{1,...,|T|}→Rd=Ti10式中、T=[T1...T|T|]は、データベース内の全タグのパラメータベクトルのd ́|T|マトリクスである。本マトリクスも、アルゴリズムのトレーニングフェーズの間、学習されることができる。歌またはオーディオクリップの場合、以下の関数は、11におけるように、線形変換Vを使用して、そのオーディオ特徴をd次元ベクトルにマップする。ΦSongs’:R|S|→Rd=Vs’11d ́|S|マトリクスVもまた、トレーニングフェーズの間、学習されることができる。アイテムタイプに対するマッピング関数はまた、図3のステップ304に関連して前述される。ある実施形態によると、音楽クエリ情報システム700内の結合埋込空間の目標は、所与の入力またはクエリに対して、タスク例えば、アーティスト予測、歌予測等に応じて、最も高くランク付けされた出力が、その入力に対して、最も意味的に一致するように、着目の可能性として考えられる出力をランク付けすることである。例えば、アーティスト予測タスクの場合、12等の最適化またはランク付けとなる。類似ランク付け関数は、全ての他のタスク例えば、アーティスト予測、歌予測等のために定義することができる。実施形態によると、これらのタスクの多くは、同一パラメータを共有し、例えば、歌予測および類似アーティストタスクは、マトリクスAを共有する一方、タグ予測および歌予測タスクは、マトリクスVを共有する。そのような共有は、2つ以上のタスクを結合して行うように、結合埋込空間150の上述のパラメータA、T、およびVを学習することを可能にする。タスクを結合して行うことは、多重タスク学習と称されてもよい。ある実施形態によると、タスクのために最適化されるべき目的関数は、Σierr’fxi,yiとして定義することができ、式中、xは、一式の入力例例えば、トレーニングデータからのであって、yは、一式の対応するトレーニングされた標的例であって、err’は、現在のランク付けの質を測定する、損失関数である。ある実施形態によると、Σierr’fTPsi,tiは、タグ予測タスクのために最小化することができ、Σierr’fAPsi,αiは、アーティスト予測タスクのために最小化することができる。前述の5に関連して説明されるものと同様の実施形態では、タスク関数はそれぞれ、別個に最小化することができる。別の実施形態によると、タスク関数は、多重タスク化、またはより具体的には、13におけるように、ともに最小化することができる。13に示されるように、これらの2つのタスクを多重タスク化するために、加重されていない2つの目的関数の和を考慮することができる。多重タスク化は、13に示されるように、2つを超えるタスクに拡張することができる。例えば、13におけるもの等、種々のタスクのための結合埋込空間の最適化は、別の実施形態に関連して前述のように、確率的勾配降下法アプローチを使用して、行うことができる。これは、以下の手順を反復的に繰り返すことになり得る。タスクの1つをランダムにピックアップする、本タスクのためのトレーニング入力出力対の1つをピックアップする、および本タスクおよび入力出力対のための勾配ステップを作成する。反復は、誤差の規模例えば、前述からのerr等の終了基準が、閾値を下回るまで、継続する。手順は、2つを超えるタスクを考慮する時と同一である。結合埋込空間を最適化するための勾配降下法の適用は、図45に関連して前述されている。結論発明の開示および要約は、発明者によって熟考された、全部ではないが、本発明の例示的実施形態の1つ以上を説明し得、したがって、本発明および添付の請求項をいかようにも限定することを意図するものではない。本発明は、規定された関数およびその関係の実装を例証する、機能的構築ブロックを用いて、前述されている。これらの関数構築ブロックの境界は、説明の便宜上、本明細書では、任意に画定されている。代替境界も、規定された関数およびその関係が、適切に行われる限り、画定することができる。具体的実施形態の前述の説明は、他者が、当技術分野内の知識を適用することによって、本発明の一般的概念から逸脱することなく、必要以上の実験を伴うことなく、種々の用途のために、そのような具体的実施形態を容易に修正および/または適応することができるように、本発明の一般的性質を完全に明らかにするであろう。したがって、そのような適応および修正は、本明細書に提示される教示および指針に基づいて、開示される実施形態の意味および均等物の範囲内であると意図される。本明細書の表現または用語は、本明細書の用語または表現が、教示および指針に照らして、当業者によって解釈されるべきように、限定ではなく、説明の目的のためのものであることを理解されたい。本発明の幅および範囲は、前述の例示的実施形態のいずれかによっても限定されるべきではなく、以下の請求項およびその均等物に従ってのみ、定義されるべきである。"