(57)【要約】多変数検索のためのユーザインターフェースを提供するための方法が、提供される。本方法は、コンピューティングデバイスによって、入力部分と、２つまたはそれを上回る検索タイプオブジェクトを有し得る、検索タイプ選択部分とを有する、ユーザインターフェースを表示するステップを含む。各オブジェクトは、行われるべき検索のタイプを示すアイコンによって表され得る、行われるべき異なるタイプの検索に対応する。本方法はさらに、コンピューティングデバイスによって、入力部分内の第１の入力文字列および２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第１の選択を受信するステップと、検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第１の検索タイプと第１の入力文字列を関連付けるステップと、第１の検索タイプおよび第１の入力文字列をユーザインターフェース上に表示するステップとを含む。
2019507417.tif 000002
【特許請求の範囲】
【請求項１】
多変数検索を行うためのユーザインターフェースを提供するための方法であって、前記方法は、
コンピューティングデバイスによって、入力部分および検索タイプ選択部分を有する前記ユーザインターフェースを表示するステップであって、前記検索タイプ選択部分は、２つまたはそれを上回る検索タイプオブジェクトを有し、各オブジェクトは、行われるべき異なるタイプの検索に対応する、ステップと、
前記コンピューティングデバイスによって、前記入力部分内の第１の入力文字列および前記２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第１の選択を受信するステップと、
前記検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第１の検索タイプと前記第１の入力文字列を関連付けるステップと、
前記コンピューティングデバイスによって、前記第１の検索タイプおよび前記第１の入力文字列を前記ユーザインターフェース上に表示するステップと、
前記コンピューティングデバイスによって、前記入力部分内の第２の入力文字列および前記２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第２の選択を受信するステップであって、前記第１および第２の選択は、異なるオブジェクトのものである、ステップと、
前記検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第２の検索タイプと前記第２の入力文字列を関連付けるステップと、
前記コンピューティングデバイスによって、前記第２の検索タイプおよび前記第２の入力文字列を前記ユーザインターフェース上に表示するステップと
を含む、方法。
【請求項２】
前記オブジェクトは、アイコンであり、各アイコンは、前記第１の入力文字列に対して行われるべき異なるタイプの検索を表す、請求項１に記載の方法。
【請求項３】
前記入力部分は、入力テキストボックスである、請求項１に記載の方法。
【請求項４】
前記検索タイプ選択部分は、前記入力部分に隣接する、請求項１に記載の方法。
【請求項５】
前記検索タイプ選択部分は、前記入力部分内に位置する、請求項１に記載の方法。
【請求項６】
前記２つまたはそれを上回る検索タイプオブジェクトは、テキストベースの検索を表す第１のアイコン、顔認識検索を表す第２のアイコン、オーディオ検索を表す第３のアイコン、および感情検索を表す第４のアイコンから成る群から選択される、請求項１に記載の方法。
【請求項７】
前記入力文字列および検索タイプのそれぞれは、前記入力部分に表示される、請求項１に記載の方法。
【請求項８】
前記入力文字列および検索タイプのそれぞれは、前記入力部分外に表示される、請求項１に記載の方法。
【請求項９】
前記第１の検索タイプおよび前記第１の入力文字列は、第１の組み合わせられたアイテムとして前記ユーザインターフェース上に表示される、請求項１に記載の方法。
【請求項１０】
前記第２の検索タイプおよび前記第２の入力文字列は、前記第１の組み合わせられたアイテム後、第２の組み合わせられたアイテムとして前記ユーザインターフェース上に表示される、請求項９に記載の方法。
【請求項１１】
前記少なくとも２つの検索タイプオブジェクトは、テキストベースの検索を表す第１のアイコン、顔認識検索を表す第２のアイコン、オーディオ検索を表す第３のアイコン、および感情検索を表す第４のアイコンを備える、請求項１に記載の方法。
【請求項１２】
前記コンピューティングデバイスにおいて、前記受信された第１および第２の入力文字列を使用してクエリを行う要求を受信するステップと、
前記第１および第２の入力文字列および前記第１および第２の検索タイプを遠隔サーバに送信するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１３】
コンピューティングデバイス上で動作する１つまたはそれを上回る命令を有する非一過性プロセッサ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
コンピューティングデバイスによって、入力部分および検索タイプ選択部分を有するユーザインターフェースを表示することであって、前記検索タイプ選択部分は、２つまたはそれを上回る検索タイプオブジェクトを有し、各オブジェクトは、行われるべき異なるタイプの検索に対応する、ことと、
前記コンピューティングデバイスによって、前記入力部分内の第１の入力文字列および前記２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第１の選択を受信することと、
前記検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第１の検索タイプを前記第１の入力文字列に割り当てることと、
前記コンピューティングデバイスによって、前記第１の検索タイプおよび前記第１の入力文字列を前記ユーザインターフェース上に表示することと、
前記コンピューティングデバイスによって、前記入力部分内の第２の入力文字列および前記２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第２の選択を受信することであって、前記第１および第２の選択は、異なるオブジェクトのものである、ことと、
前記検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第２の検索タイプを前記第２の入力文字列に割り当てることと、
前記コンピューティングデバイスによって、前記第２の検索タイプおよび前記第２の入力文字列を前記ユーザインターフェース上に表示することと
を行わせる、非一過性プロセッサ可読媒体。
【請求項１４】
前記オブジェクトは、アイコンであり、各アイコンは、入力文字列に対して行われるべき異なるタイプの検索を表す、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項１５】
前記検索タイプ選択部分は、前記入力部分に隣接する、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項１６】
前記検索タイプ選択部分は、前記入力部分内に位置する、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項１７】
前記２つまたはそれを上回る検索タイプオブジェクトは、テキストベースの検索を表す第１のアイコン、顔認識検索を表す第２のアイコン、オーディオ検索を表す第３のアイコン、および感情検索を表す第４のアイコンから成る群から選択される、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項１８】
前記入力文字列および検索タイプのそれぞれは、前記入力部分内に表示される、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項１９】
前記入力文字列および検索タイプのそれぞれは、前記入力部分外に表示される、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項２０】
前記第１の検索タイプおよび前記第１の入力文字列は、第１の組み合わせられたアイテムとして前記ユーザインターフェース上に表示される、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項２１】
前記第２の検索タイプおよび前記第２の入力文字列は、前記第１の組み合わせられたアイテム後、第２の組み合わせられたアイテムとして前記ユーザインターフェース上に表示される、請求項２０に記載の非一過性プロセッサ可読媒体。
【請求項２２】
前記少なくとも２つの検索タイプオブジェクトは、テキストベースの検索を表す第１のアイコン、顔認識検索を表す第２のアイコン、オーディオ検索を表す第３のアイコン、および感情検索を表す第４のアイコンを備える、請求項１３に記載の非一過性プロセッサ可読媒体。
【請求項２３】
多変数検索を行うためのユーザインターフェースを提供するための方法であって、前記方法は、
コンピューティングデバイスによって、入力部分および検索タイプ選択部分を有する前記ユーザインターフェースを表示するステップであって、前記検索タイプ選択部分は、２つまたはそれを上回る検索タイプオブジェクトを有し、各オブジェクトは、行われるべき異なるタイプの検索に対応する、ステップと、
前記コンピューティングデバイスによって、前記入力部分内の第１の入力文字列および前記２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第１の選択を受信するステップと、
前記コンピューティングデバイスによって、前記第１の検索タイプおよび前記第１の入力文字列を前記ユーザインターフェース上に表示するステップと、
前記検索タイプオブジェクトの第１の選択に基づいて、検索エンジンのデータベースから、検索エンジンのサブセットを選択するステップと、
前記選択された検索エンジンのサブセットに検索を実施することを要求するステップと、
検索結果を前記選択された検索エンジンのサブセットから受信するステップと
を含む、方法。
【発明の詳細な説明】
【背景技術】
【０００１】
インターネットの出現以来、我々の社会は、増え続ける接続された世界内に存在する。本接続された世界は、日々生成される膨大な量のマルチメディアにつながっている。例えば、個人が容易かつ単純にライブイベントを個人的に記録することを可能にする、改良されたスマートフォン技術を用いることで、ビデオおよび音楽が、常に生成されている。また、ラジオ放送等の一時的メディアも存在する。いったんこれらのメディアが作成されると、コンテンツの全てをインデックス化し、例えば、イベントが発生したとき、それがメディア内の正確な時間スライスに同期されることを可能にする、既存の技術は、存在しない。別の実施例は、モンタージュを作成することを所望し得るその個人の祖父母と関連するものを見つけることを所望する、ハードドライブ上に記憶される数千ものパーソナルビデオを所持する個人である。さらに別の実施例は、登場人物が「Ｉ  ｍｉｓｓｅｄ  ｙｏｕ  ｓｏ  ｍｕｃｈ」と発したときの人気の映画シリーズ内の正確な時間を見つけることを所望する、個人である。さらに別の実施例は、企業秘密を漏出させている人物を見つけるために、組織からの全ての記録された電話呼をプログラム的に監査することを所望する、個人である。
【０００２】
これらの実施例は、オーディオおよびビデオメディア内の具体的コンテンツが、現在の技術の限界を前提として、アクセスが本質的に困難である程度を浮き彫りにする。ファイル名またはタイトル、タイムスタンプ、メディアファイル記録の長さ、およびその他等のメディアに関する限定された情報を提供するソリューションが存在するが、いずれも、現在、メディア内に含有されるデータ（本明細書では、メタデータと称される）を分析し、インデックス化していない。
【０００３】
従来のソリューションは、Ｂｉｎｇ、Ｇｏｏｇｌｅ、Ｙａｈｏｏ！、またはＩＢＭ  Ｗａｔｓｏｎ等の専用検索エンジンを使用するものである。これらの専用検索エンジンは、文字列入力に基づいて検索を行うように構築されており、これは、単純検索のためには非常に良好に機能することができる。しかしながら、より複雑な多変数検索に関して、従来の検索エンジンおよびそのＵＩは、殆どの場合、有用かつ正確ではない。
【発明の概要】
【課題を解決するための手段】
【０００４】
前述のように、Ｂｉｎｇ、Ｇｏｏｇｌｅ、Ｃｕｉｌ、およびＹａｈｏｏ！等の従来の検索エンジンは、ユーザが、英数字テキストを使用して、クエリを入力することのみを可能にする、単純ユーザインターフェースを採用する。本テキストベースのアプローチは、最も単純であって、使用が容易であるが、非柔軟性であって、ユーザが柔軟な多変数検索を行うことを可能にしない。例えば、ユーザが、ＢｉｎｇまたはＧｏｏｇｌｅを使用して、Ｂｉｌｌ  Ｇａｔｅｓが核融合エネルギーについて発言しているビデオを検索することを所望する場合、ユーザは、「Ｂｉｌｌ  Ｇａｔｅｓ核融合エネルギーのビデオ」等のテキストベースの検索クエリを使用する必要があるであろう。これは、エンジンが、テキストをビデオ内のＢｉｌｌ  Ｇａｔｅｓおよび核融合エネルギーについて発言しているＢｉｌｌ  Ｇａｔｅｓ等の異なる検索変数にパースすることに委ねる。ＧｏｏｇｌｅおよびＢｉｎｇエンジンは、依然として、本タイプの検索に機能するが、特に、検索がさらにより複雑になる場合、非効率的かつ不正確であり得る。例えば、「２０１０年から２０１５年に再生可能エネルギーについて、肯定的感情を持って発言している、Ｂｉｌｌ  Ｇａｔｅｓのビデオおよびトランスクリプション」。本タイプのテキスト入力は、従来の検索エンジンを混乱させる可能性が高く、かつ不正確な結果をもたらす可能性が高いであろう。したがって、必要とされるのは、ユーザが多変数検索を行うことを可能にする、直感的かつ柔軟性のあるユーザインターフェースである。
【０００５】
したがって、いくつかの実施形態では、多変数検索のためのユーザインターフェースを提供するための方法が、提供される。本方法は、コンピューティングデバイスによって、入力部分および検索タイプ選択部分を有する、ユーザインターフェースを表示するステップを含む。入力部分は、テキストボックスであってもよい。検索タイプ選択は、２つまたはそれを上回る検索タイプオブジェクトを有してもよく、各オブジェクトは、行われるべき異なるタイプの検索に対応する。各オブジェクトは、行われるべき検索のタイプを示すアイコンによって表されてもよい。例えば、写真アイコンは、顔認識検索を示すために使用されてもよい。音楽アイコンは、オーディオ検索を示すために使用されてもよい。可変高さ垂直バーの波形またはグループは、トランスクリプション検索を示すために使用されてもよい。加えて、サムアップおよび／またはサムダウンアイコンは、感情検索を示すために使用されてもよい。
【０００６】
多変数検索を提供するためのユーザインターフェースを提供するための方法はさらに、コンピューティングデバイスによって、入力部分内の第１の入力文字列および２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第１の選択を受信するステップと、検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第１の検索タイプと第１の入力文字列を関連付けるステップと、コンピューティングデバイスによって、第１の検索タイプおよび第１の入力文字列をユーザインターフェース上に表示するステップとを含む。第１の検索タイプおよび第１の入力文字列は、それらをともにグループまたはペアとして視覚的にグループ化および／または表示することによって、関連付けられてもよい。関連付けは、第１の入力文字列に対して行われるべき選択されたオブジェクトと関連付けられた検索タイプを割り当てることを伴ってもよい。例えば、選択されたオブジェクトとしての写真アイコンの場合、第１の入力文字列に対して行われるべき検索タイプは、顔認識検索である。第１の検索タイプおよび第１の入力文字列は、入力部分内に表示されてもよい。代替として、第１の検索タイプおよび第１の入力文字列は、入力部分外に表示されてもよい。
【０００７】
多変数検索を提供するためのユーザインターフェースを提供するための方法はさらに、コンピューティングデバイスによって、入力部分内の第２の入力文字列および２つまたはそれを上回る検索タイプオブジェクトのうちの１つの第２の選択を受信するステップであって、第１および第２の選択は、異なるオブジェクトのものである、ステップと、検索タイプオブジェクトのうちの１つの第１の選択に基づいて、第２の検索タイプと第２の入力文字列を関連付けるステップと、コンピューティングデバイスによって、第２の検索タイプおよび第２の入力文字列をユーザインターフェース上に表示するステップとを含む。いくつかの実施形態では、第２の検索タイプおよび第２の入力文字列は、入力部分内またはその内側に表示されてもよい。代替として、第２の検索タイプおよび第２の入力文字列は、入力部分外に表示されてもよい。
【０００８】
いくつかの実施形態では、検索タイプ選択部分は、入力部分に隣接して、その傍に位置付けられるか、または、それは入力部分の外側に位置付けられてもよい。入力文字列および検索タイプ（またはアイコン）はそれぞれ、入力部分に表示される。代替として、入力文字列および検索タイプのそれぞれは、入力部分外に表示される。検索タイプおよびその関連付けられた入力文字列のそれぞれは、組み合わせられたアイテムとして、ユーザインターフェース上に表示され得るか、入力部分の内側に表示され得るか、または、入力部分の外側に表示され得る。
【０００９】
最後に、多変数検索を提供するためのユーザインターフェースを提供するための方法はさらに、コンピューティングデバイスにおいて、受信された第１および第２のクエリエントリを使用してクエリを行う要求を受信するステップと、第１および第２のクエリエントリおよび第１および第２の検索タイプを遠隔サーバに送信するステップとを含む。
【図面の簡単な説明】
【００１０】
前述の概要および以下の詳細な説明は、付随の図面と併せて熟読されたとき、より深く理解される。本明細書に組み込まれ、明細書の一部を形成する、付随の図面は、複数の実施形態を図示し、説明とともに、さらに、関与する原理を説明し、開示される技術を当業者が作製および使用することを可能にする役割を果たす。
【００１１】
【図１Ａ】図１Ａは、先行技術の検索ユーザインターフェースを図示する。
【図１Ｂ】図１Ｂは、先行技術の検索結果を図示する。
【図２】（記載なし）
【図３Ａ】図３−６は、本開示のいくつかの実施形態による、例示的多変数検索ユーザインターフェースを図示する。
【図３Ｂ】図３−６は、本開示のいくつかの実施形態による、例示的多変数検索ユーザインターフェースを図示する。
【図４】図３−６は、本開示のいくつかの実施形態による、例示的多変数検索ユーザインターフェースを図示する。
【図５】図３−６は、本開示のいくつかの実施形態による、例示的多変数検索ユーザインターフェースを図示する。
【図６】図３−６は、本開示のいくつかの実施形態による、例示的多変数検索ユーザインターフェースを図示する。
【図７】図７は、本開示のいくつかの実施形態による、多変数検索ユーザインターフェースを生成するための例示的プロセスを図示する。
【図８】図８−９は、本開示のいくつかの実施形態による、検索エンジンを選択するためのプロセスを図示する、プロセスフローチャートである。
【図９】図８−９は、本開示のいくつかの実施形態による、検索エンジンを選択するためのプロセスを図示する、プロセスフローチャートである。
【図１０】図１０は、本開示のいくつかの実施形態による、例示的多変数検索システムのブロック図である。
【図１１】図１１は、本開示のいくつかの実施形態による、図３−１０のシステムおよび方法を利用し得る、処理システムを採用する装置のためのハードウェア実装の実施例を図示する、ブロック図である。
【発明を実施するための形態】
【００１２】
以下の説明では、多数の具体的詳細が、本発明の完全な理解を提供するために記載される。しかしながら、当業者は、本発明がこれらの具体的詳細を伴わずに実践され得ることを認識するであろう。他の事例では、周知である方法、プロシージャ、および／またはコンポーネントは、本発明の側面を不必要に曖昧にしないように、詳細に説明されない。
概要
【００１３】
前述のように、典型的な先行技術の検索ユーザインターフェースは、１次元であり、これは、入力に対して行われるべき検索のタイプを規定するための任意の手段を伴わないクエリをユーザが入力するための１つのみの方法を提供することを意味する。ユーザは、「グリーンエネルギーについて発言しているＢｉｌｌ  Ｇａｔｅｓのビデオ」等の長い入力文字列を提供してもよいが、ユーザは、直接、検索エンジンに、グリーンエネルギーについて発言しているＢｉｌｌＧａｔｅｓのビデオに関して顔認識検索を行い、そのトランスクリプションを示すことを命令することはあり得ない。加えて、従来の検索ユーザインターフェースは、ユーザが、検索エンジンに、感情に基づいて、ビデオ、オーディオ、および／またはキーワードの検索を行うように正確かつ効率的に命令することを可能にしない。再び、ユーザは、「Ｊｏｈｎ  ＭｃＣａｉｎについての肯定的意見を伴う、彼についてのオーディオ」等の入力文字列を打ち込んでもよい。しかしながら、ユーザが、本入力文字列を従来の検索エンジン（例えば、Ｇｏｏｇｌｅ、Ｂｉｎｇ、Ｃｕｉｌ、およびＹａｈｏｏ！）に打ち込む場合、戻って来る結果は、非常に関連性がないものである。
【００１４】
図１Ａは、入力ボックス１１０と、検索ボタン１１５Ａ−Ｂとを含む、典型的な先行技術の検索ユーザインターフェース１００を図示する。ユーザインターフェース１００は、単純かつ簡潔である。検索を行うために、ユーザは、単に、英数字文字列を入力ボックス１１０に打ち込み、ボタン１１５Ａまたは１１５Ｂのいずれかを選択する。場合によって、検索ボタン１１５Ａは、入力ボックス１１０の右側に虫眼鏡として示される。ユーザインターフェース１００では、ユーザは、検索エンジンに、「Ｓｎｏｏｐｙがテニスをしている画像」等の英数字テキスト文字列のみを使用して検索を行うように指示し得る。ここでは、単語「〜の画像」は、検索されるべき対象の一部ではなく、むしろ、それらは、エンジンのための命令単語である。これは、エンジンが命令単語である単語および検索対象の単語を理解するために十分にスマートであると仮定する。前述の実施例では、入力文字列は、単純であって、大部分のエンジンは、命令単語および検索されるべき単語（検索対象単語）をパースすることに問題がないであろう。
【００１５】
しかしながら、入力文字列は、いくつかの検索対象および検索のタイプを伴うとき、複雑になり得る。例えば、入力文字列「ＳｎｏｏｐｙおよびＣｈａｒｌｉｅ  Ｂｒｏｗｎがフットボールをしながら、チームワークについて語っており、ＶｉｖａｌｄｉのＦｏｕｒ  Ｓｅａｓｏｎｓが背景として流れているビデオ」を検討すると、従来の検索エンジンにとって、命令単語および検索対象単語を正確かつ迅速にパースすることは、はるかに困難になる。従来の検索エンジンを使用して前述の検索を行うとき、結果は、関連性がなく、要点がずれている可能性が非常に高くなる。加えて、従来の検索エンジンは、高レベルの信頼度を伴って、そのようなビデオが存在するかどうかをユーザに知らせることが不可能であろう。
【００１６】
入力文字列「肯定的意見を伴うＪｏｈｎ  ＭｃＣａｉｎについてのオーディオ」に戻って参照する。本入力文字列は、今日最も一般的な検索エンジンを使用してクエリされる。図１Ｂに示されるように、上位結果のいずれも、彼についての肯定的な意見または事象が述べられている、Ｊｏｈｎ  ＭｃＣａｉｎについてのオーディオではない。本実施例では、結果は全て、完全に関連性がない。間違いなく、検索文字列は、より良好に書き換えられ得る（但し、役に立たないであろう）。しかしながら、本タイプの検索は、本明細書に開示される多変数ユーザインターフェースを使用して簡単に作成され得、結果は、非常に関連があり、かつ正確なものになり得る。
【００１７】
図２は、本開示のいくつかの実施形態による、多変数検索ユーザインターフェースおよび検索エンジン選択プロセスが動作する、環境２００を図示する。環境２００は、クライアントデバイス２０５と、サーバ２１０とを含んでもよい。クライアントデバイス２０５およびサーバ２１０は両方とも、同一ローカルエリアネットワーク（ＬＡＮ）上にあってもよい。いくつかの実施形態では、クライアントデバイス２０５およびサーバ２１０は、店舗、スーパーマーケット、スタジアム、映画館、またはレストラン等の店頭（ＰＯＳ）２１５に位置する。代替として、ＰＯＳ２１５は、自宅、会社、または企業オフィス内に常駐してもよい。クライアントデバイス２０５およびサーバ２１０は両方とも、インターネットであり得る、ネットワーク２２０に通信可能に結合される。
【００１８】
環境２００はまた、遠隔サーバ２３０と、複数の検索エンジン２４２ａ−２４２ｎとを含んでもよい。遠隔サーバ２３０は、検索エンジン２４２ａ−ｎの集合２４０を含み得る、検索エンジンのデータベースを維持してもよい。遠隔サーバ２３０自体が、サーバの集合であってもよく、集合２４０に類似する１つまたはそれを上回る検索エンジンを含んでもよい。検索エンジン２４２ａ−ｎは、限定ではないが、トランスクリプションエンジン、顔認識エンジン、オブジェクト認識エンジン、音声認識エンジン、感情分析エンジン、オーディオ認識エンジン等の複数の検索エンジンを含んでもよい。
【００１９】
いくつかの実施形態では、本明細書に開示される多変数検索ユーザインターフェースは、クライアントデバイス２０５において表示される。多変数検索ユーザインターフェースは、サーバ２１０または遠隔サーバ２３０上に常駐し得る、ＵＩモジュール（図示せず）からの命令およびコードによって生成されてもよい。代替として、ＵＩモジュールは、直接、クライアントデバイス２０５上に常駐してもよい。多変数検索ユーザインターフェースは、ユーザに、複数の検索エンジンにわたって多次元検索を行う能力を提供するように設計される。複数の検索エンジンにわたる多次元検索を行う能力は、ユーザが、Ｇｏｏｇｌｅ、Ｂｉｎｇ等のような検索エンジンを用いて現在不可能である複雑な検索を行うことを可能にするため、先行技術の単一エンジン検索技法よりも非常に有利である。例えば、開示される多変数検索ユーザインターフェースを使用して、ユーザは、過去５年間にＷｈｉｔｅｈｏｕｓｅ  Ｒｏｓｅ  Ｇａｒｄｅｎの正面に立ってＡｎｇｅｌａ  Ｍｅｒｋｅｌ首相について語っているＯｂａｍａ大統領の全てのビデオの検索を行ってもよい。本タイプの検索は、現在の先行技術のＵＩを用いては不可能である。
【００２０】
いくつかの実施形態では、サーバ２１０は、検索エンジン２４２ａ−２４２ｎのうちの１つまたはそれを上回るものに類似する１つまたはそれを上回る特殊検索エンジンを含んでもよい。このように、特殊検索は、ＰＯＳ２１５にサービス提供するように特別に設計され得るサーバ２１０を使用して、ＰＯＳ２１５において実施されてもよい。例えば、ＰＯＳ２１５は、Ｍａｃｙ’ｓのような小売店であってもよく、サーバ２１０は、顧客購入習慣を追跡し、買物パターンを記憶するために、顔およびオブジェクト認識のための特殊検索エンジンを含有してもよい。サーバ２１０はまた、集合２４０内の１つまたはそれを上回る検索エンジンと協働してもよい。最終的には、多変数検索システムは、Ｍａｃｙ’ｓの運営者が「顧客Ａが過去６ヶ月間にネクタイおよび靴を購入した回数」等の質問に回答することに役立てることを可能にするであろう。いくつかの実施形態では、クライアントデバイス２０５は、サーバ２３０と通信し、同一検索を行ってもよい。しかしながら、小売店または食料品店等の多くのデータがローカルで生成される場所では、特定の顧客に対するローカル化されたソリューションが、より望ましくあり得る。
多変数検索ユーザインターフェース
【００２１】
図３Ａは、本開示のいくつかの実施形態による、多変数検索ユーザインターフェース３００を図示する。ユーザインターフェース３００は、入力部分３１０と、オブジェクト表示および選択部分３１５と、随意に、検索ボタン３３０とを含む。検索タイプ選択部分３１５は、２つまたはそれを上回る検索タイプオブジェクトまたはアイコンを含んでもよく、各オブジェクトは、入力文字列に対して行われるべき検索のタイプまたは使用されるべき検索エンジンのタイプを示す。図３に示されるように、検索タイプ選択部分３１５は、波形アイコン３２０と、サムアイコン３２２と、顔アイコン３２４と、音楽アイコン３２６とを含む。
【００２２】
いくつかの実施形態では、波形アイコン３２０は、トランスクリプション検索を表す。これは、入力部分３１０内にユーザによって打ち込まれたクエリ文字列とマッチする（またはほぼマッチする）トランスクリプションを含有する、オーディオファイル、ビデオファイル、および／またはマルチメディアファイルの検索を含んでもよい（ストリーミングされたもの、ブロードキャストされたものであるかまたはメモリ内に記憶されているものであるかにかかわらず）。波形アイコン３２０も同様であり得る。したがって、ユーザインターフェース３００を使用して、語句「無限の彼方へ」を有するオーディオまたはビデオを検索するために、ユーザは、最初に、文字列を入力してもよく、次いで、波形３２０を選択し、検索タイプを入力文字列に割り当て得るか、または、それとを関連付けし得る。代替として、順序は、逆転されてもよい。すなわち、ユーザは、最初に、波形３２０を選択し、次いで、入力文字列を打ち込んでもよい。いったんこれが完了されると、文字列「無限の彼方へ」は、波形アイコン３２０とともに、入力ボックス３１０の内側の単一エンティティとして現れるであろう。代替として、文字列「無限の彼方へ」および波形アイコン３２０は、入力ボックス３１０の外側の単一エンティティとして、ともに現れてもよい。
【００２３】
いくつかの実施形態では、入力文字列およびその関連付けられた検索タイプ選択アイコン（例えば、３２０−３２６）は、同一色で示され得るか、または、同一境界によって囲繞され得る。このように、ユーザは、波形アイコン３２２および「無限の彼方へ」を相互に関連付けられているとして視覚的に見ることが可能となるであろう（図３Ｂ参照）。
【００２４】
サムアイコン３２２は、特定の対象、人物、話題、アイテム、文、段落、記事、オーディオクリップ、ビデオクリップ等に割り当てられる感情を表してもよい。サムアイコン３２２は、ユーザが、感情に基づいて、検索を実施することを可能にする。例えば、ユーザは、肯定的である（肯定的感情を伴う）人物に関連するあらゆるものを検索し得る。本タイプの検索は、従来の検索エンジンを使用した従来の検索インターフェースに対して行うことは非常に困難である。より具体的には、検索が、従来の検索エンジン（例えば、ＧｏｏｇｌｅおよびＹａｈｏｏ！）を使用して、入力文字列「Ｊｏｈｎ  ＭｃＣａｉｎ肯定的」に対して行われる場合、結果は、関連性のないものになる可能性が非常に高いであろう。しかしながら、本タイプの検索は、単に、キーワード「Ｊｏｈｎ  ＭｃＣａｉｎ」、次いで、「肯定的」を打ち込み、サムアイコン３２２を選択することによって、インターフェース３００を使用して、容易に行われ得る。入力順序は、逆転されてもよいことに留意されたい。例えば、サムアイコン３２２は、単語「肯定的」を打ち込む前に選択されてもよい。
【００２５】
前述の実施例では、サムアイコン３２２は、単語「肯定的」とともに、ユーザおよびバックエンド検索エンジンの両方に、感情検索が行われるべきであって、肯定的感情のみが検索されるべきであることのインジケーションとしての役割を果たす。これは、有利にも、検索エンジンにフォーカスし得る正確かつ簡潔な検索パラメータを作成し、それによって、先行技術よりはるかに正確な結果をもたらし得る。いくつかの実施形態では、否定的および中立的感情もまた、サムアイコン３２２と併用されてもよい。恐れ、恐怖、心配、悲しみ、喜び、失望、誇り、歓喜、興奮等の心情的感情もまた、使用されてもよいことに留意されたい。
【００２６】
顔アイコン３２４は、顔認識検索を表してもよい。一実施例では、ユーザは、顔アイコン３２４を選択し、「Ｊｏｈｎ  ＭｃＣａｉｎ」等の名前をタイプしてもよい。これは、検索エンジンに、その中でＪｏｈｎ  ＭｃＣａｉｎを伴う写真およびビデオを見つけるように命令するであろう。これは、検索文字列を簡略化し、「〜の画像およびビデオ」等の単語の必要性を排除する。
【００２７】
いくつかの実施形態では、音符アイコン３２６は、音声認識を表す。したがって、ユーザは、アイコン３２６を選択し、キーワード「Ｊｏｈｎ  ＭｃＣａｉｎ」を割り当ててもよい。これは、検索エンジンに、Ｊｏｈｎ  ＭｃＣａｉｎの音声が存在する、任意のマルチメディア（例えば、オーディオクリップ、ビデオ、ビデオゲーム等）を見つけさせるであろう。ユーザインターフェース３００の効率は、クエリがより複雑になるにつれて、より明白となる。例えば、従来の検索エンジンおよびユーザインターフェースにとって、「Ｊｏｈｎ  ＭｃＣａｉｎが債務限度について話している間のＯｂａｍａのビデオ」を見つけることは、非常に困難であろう。上記文字列を検索入力として従来の検索エンジンおよびＵＩ上に打ち込むように試み得るが、検索結果は、関連性のないものになる可能性が非常に高い。しかしながら、ユーザインターフェース３００を使用して、本複雑な検索仮説を簡潔な検索プロファイル
【化１】
2019507417.tif 000003
に変換することができる。
【００２８】
前述の検索入力は、行われるべき検索のタイプおよびキーワードを簡潔に示す。これは、バックエンド検索エンジンへの潜在的混乱を低減させ、多変数検索の速度および正確度を大幅に増加せる。
【００２９】
図４は、本開示のいくつかの実施形態による、多変数検索ユーザインターフェース４００を図示する。ユーザインターフェース４００は、同様に、入力部分３１０と、検索タイプ選択部分３１５とを含むため、ユーザインターフェース３００に類似する。しかしながら、ユーザインターフェース４００では、検索タイプ選択部分３１５は、入力部分３１０の外側に位置付けられる。ユーザインターフェース３００では、部分３１５は、入力部分３１０と同一水平平面上に位置付けられる。ユーザインターフェース４００では、検索タイプ選択部分３１５は、入力部分３１０の水平平面から離れて位置する。いくつかの実施形態では、検索タイプ選択部分３１５は、ユーザインターフェース４００が垂直な視点で視認されるとき、入力部分３１０の下方に位置し、入力部分３１０の内側の任意のテキストは、その垂直な読取視点において（正しい上下関係で）現れるであろう。代替として、検索タイプ選択部分は、入力部分３１０の上方に位置してもよい。
【００３０】
図５は、いくつかの実施形態による、クエリ入力および検索タイプアイコンから成る検索パラメータグループを表示する、多変数検索ユーザインターフェース３００を図示する。図５に示されるように、ユーザインターフェース３００は、検索パラメータグループ５１０、５２０、および５３０を含む。検索グループ５１０は、顔アイコン５１２と、テキスト入力５１４とを含む。いくつかの実施形態では、アイコン５１２およびテキスト入力５１４はグループまたは単一エンティティとして示される。このように、テキスト入力５１４は、アイコン５１２と関連付けられ、これは、顔認識検索がＪｏｈｎ  ＭｃＣａｉｎが存在するメディアに関して行われるべきであることを示す。グループ５１０は、同一または類似色を使用して示されてもよい。いくつかの実施形態では、各グループのアイテムは、相互に近接した空間近接度を伴って示され、近接度による関連付けを確立してもよい。同様に、グループ５２０は、波形アイコン５２２と、キーワード「慈善的」を伴うテキスト入力５２４とを含む。これは、ユーザおよびバックエンド検索エンジンに、トランスクリプション検索が単語「慈善的」に関して行われるべきであることを示す。最後に、グループ５３０は、単語「肯定的」と関連付けられたサムアイコンを示す。これは、メディア（該メディア内にＪｏｈｎ  ＭｃＣａｉｎを有し、単語「慈善的」について言及されており、該メディア（例えば、記事、ニュースクリップ、オーディオクリップ、ビデオ等）に対する感情が肯定的である）に関する検索を示す。
【００３１】
図５に示されるように、検索パラメータグループ５１０、５２０、および５３０は、入力部分３１０内に表示される。いくつかの実施形態では、検索パラメータグループのうちの１つまたはそれを上回るものは、入力部分３１０の外側に表示される。図６は、ユーザインターフェース３００を図示するが、入力キーワード（クエリテキスト）と、それとともに、入力ボックス３１０の外側の関連付けられた検索タイプオプションを表示する。
【００３２】
図７は、本開示の実施形態による、多変数ユーザインターフェースを生成および表示するためのプロセス７００を図示する、フローチャートである。プロセス７００は、７１０から開始し、そこで、入力部分（例えば、入力部分３１０）と、検索タイプ選択部分（例えば、選択部分３１５）とを有する、ユーザインターフェース（例えば、ユーザインターフェース３００）が、生成される。入力部分は、英数字入力をユーザから受信するためのテキストボックスであってもよい。入力部分は、ユーザがマイクロホンを使用してクエリ文字列を入力することを可能にする、マイクロホンアイコンを含んでもよい。
【００３３】
検索タイプ選択部分は、１つまたはそれを上回るアイコン、テキスト、画像、またはそれらの組み合わせを含んでもよい。アイコン、テキスト、または画像のそれぞれは、入力部分に打ち込まれた検索／クエリ文字列に対して行われるべき検索タイプと関連付けられる。一側面では、波形アイコンは、トランスクリプション検索に対応してもよく、これは、波形アイコンが選択されたとき、トランスクリプション検索が行われるべきことを意味する。顔または人物アイコンは、顔認識検索に対応してもよい。音符アイコンは、音声認識またはオーディオフィンガープリント検索に対応してもよい。画像アイコンは、Ｐａｒｉｓ、Ｆｒａｎｃｅ、またはＥｉｆｆｅｌ  Ｔｏｗｅｒ等のアイテムまたは地理的場所検索の検索に対応してもよい。
【００３４】
検索タイプ選択部分はまた、オブジェクト検索が検索文字列に対して行われるべきことを示す、オブジェクト検索アイコンを含んでもよい。言い換えると、オブジェクト検索は、検索文字列内のオブジェクト／アイテムに関して行われるであろう。いったん検索文字列が、入力部分内に打ち込まれると、ユーザは、表示されるアイコンのうちの１つを選択することによって、検索タイプを入力された検索文字列に割り当ててもよい。代替として、検索タイプは、ユーザがその関連付けられた検索文字列を打ち込み得る前に、選択されてもよい。いったんユーザが、検索文字列を入力し、対応する検索タイプアイコンを選択すると、検索文字列およびその対応する検索タイプアイコンは、コンピュータシステムまたはＵＩホストコンピュータによって受信される（７２０において）。
【００３５】
ある実施例では、再び図５を参照すると、ユーザは、テキスト「Ｊｏｈｎ  ＭｃＣａｉｎ」（文字列５１４）を入力ボックス３１０内に打ち込んでもよく、次いで、顔アイコン５１２を続いて選択してもよい。顔アイコン５１２の選択に応じて、ユーザインターフェース５００は、文字列５１４と顔アイコン５１２を関連付け、それらを文字列−アイコンペアまたは検索パラメータグループ５１０として入力ボックス３１０内に表示してもよく、ここで、次の入力の準備ができる。検索パラメータグループ５１０は、２つの主要機能を果たす。第１に、ユーザに、文字列５１４「Ｊｏｈｎ  ＭｃＣａｉｎ」が顔アイコン５１２とグループ化されたことまたは関連付けられたことを知らせ（７３０）、それによって、その入力を確認する。第２に、検索パラメータグループ５１０は、２つの部分を含む、検索エンジンへの命令としての役割を果たす。第１の部分は、入力文字列であって、この場合、「Ｊｏｈｎ  ＭｃＣａｉｎ」である。第２の部分は、検索タイプであって、この場合、顔アイコン５１２である。前述のように、顔アイコン５１２は、顔認識検索が入力／検索文字列に対して行われるべきであることを意味する。これらの２つの部分は、検索パラメータの基本データアーキテクチャを構成する。このように、検索パラメータ５１０は、検索エンジンに、その一意のデータ構造を用いて、検索方法および対象を簡潔に知らせることができる。
【００３６】
再び、ユーザは、キーワード「慈善的」を打ち込み、次いで、波形アイコン５２２を選択し、トランスクリプション検索タイプとキーワード「慈善的」の関連付けを完了してもよい。本波形アイコン５２２および慈善的のペアは、次いで、以前の検索文字列−アイコンペアまたは検索パラメータグループに隣接して入力ボックス３１０に表示されてもよい。別の実施例では、ユーザは、キーワード「フットボール」を打ち込み、次いで、オブジェクト認識検索アイコンを選択してもよい。これは、検索が、写真またはビデオ内にフットボールを伴う画像検索またはビデオ検索にフォーカスされ、「フットボール」の全てのオーディオ、文書、およびトランスクリプションを除外するであろうことを意味する。
【００３７】
別の実施例では、ＰａｒｉｓでＥｉｆｆｅｌ  Ｔｏｗｅｒを背景に伴うＯｂａｍａ大統領の画像またはビデオを検索するために、ユーザは、以下の検索文字列および検索タイプペア：顔アイコン：「Ｏｂａｍａ大統領」；画像アイコン：「Ｅｉｆｆｅｌ  Ｔｏｗｅｒ」を作成してもよい。これは、最初に、キーワード「Ｏｂａｍａ大統領」を打ち込み、次いで、顔アイコンを選択することによって行われてもよい。本アクションは、検索サーバに、Ｏｂａｍａ大統領の顔認識検索を実施することを知らせる。なおもさらに、別の実施例では、ＰａｒｉｓでＥｉｆｆｅｌ  Ｔｏｗｅｒを背景に伴い、大統領が経済について語っている、Ｏｂａｍａ大統領の画像またはビデオを検索するために、ユーザは、以下の検索文字列および検索タイプペア：顔アイコン：「Ｏｂａｍａ大統領」；画像アイコン：「Ｅｉｆｆｅｌ  Ｔｏｗｅｒ」；波形アイコン：「経済」；および音符アイコン：「Ｏｂａｍａ」を作成してもよい。
【００３８】
７４０では、入力文字列（検索文字列エントリまたは入力文字列）およびその関連付けられた検索タイプアイコンまたはオブジェクトのそれぞれは、ユーザインターフェース上に表示される。いくつかの実施形態では、入力文字列およびその関連付けられた検索タイプアイコンのそれぞれは、単一ユニットとして表示されるか、または、ペアとして表示される。このように、ユーザは、それらが相互に関連付けられたことを直ちに伝えることができる。「Ｏｂａｍａ大統領」とペアにされた顔アイコンを探すとき、ユーザは、Ｏｂａｍａ大統領を伴うメディアに関する顔認識検索が行われるべきことを視覚的に伝えることができる。本入力文字列または検索文字列および検索タイプペアは、空間近接度、色、パターン、またはそれらの組み合わせ等、視覚的キューを使用して行われてもよい。
【００３９】
いくつかの実施形態では、前述のユーザインターフェースは、ホストウェブページがバックエンド多変数検索エンジンとインターフェースをとることを促進するように構成されるＡＰＩを使用して、クライアントコンピュータ上で生成されてもよい。いくつかの実施形態では、ユーザインターフェースを生成するためのソースコードは、アプリケーションプログラムインターフェース（ＡＰＩ））のセットを含み得、これがホストウェブページがバックエンド多変数検索エンジンに通信するためのインターフェースを提供し得る。例えば、ＡＰＩのセットは、クライアントデバイスのホストウェブページ上でユーザインターフェースのインスタンス化を作成するために使用されてもよい。ＡＰＩは、ホスティングウェブページのホストが選定し得る、ＵＩパラメータのセットを提供してもよく、ユーザによって使用されるべきＵＩの一部であってもよい。代替として、ソースコードを生成するＵＩは、サーバ上に常駐してもよく、これは、次いで、ホストウェブエージからのＡＰＩコールと相互作用し、前述のＵＩを生成する。
【００４０】
図８は、本開示のいくつかの実施形態による、多変数ＵＩから受信された入力を使用して検索を行うためのプロセス８００を図示する、フローチャートである。プロセス８００は、８１０から開始し、そこで、検索エンジンのサブセットが、検索エンジンのデータベースから、プロセス７００で受信された検索パラメータに基づいて選択される。いくつかの実施形態では、検索エンジンのサブセットは、検索／入力文字列（入力文字列）と、検索タイプインジケータとを含み得る、プロセス７００で受信された検索パラメータグループ５１０の一部に基づいて選択されてもよい。いくつかの実施形態では、検索エンジンのサブセットは、検索パラメータグループ５１０の検索タイプインジケータに基づいて選択される。例えば、検索タイプインジケータは、顔認識検索を表す、顔アイコン５１２であってもよい。本実施例では、プロセス８００（８１０において）は、顔認識が行われ得る、画像、ビデオ、または任意のタイプのメディアに対して顔認識を行うことができる、検索エンジンのサブセットを選択する。したがって、検索エンジンのデータベースから、プロセス８００（８１０において）は、ＰｉｃＴｒｉｅｖ、Ｇｏｏｇｌｅ  Ｉｍａｇｅ、ｆａｃｅｓｅｒａｃｈ、ＴｉｎＥｙｅ等の顔認識エンジンのうちの１つまたはそれを上回るものを選択してもよい。例えば、ＰｉｃＴｒｉｅｖおよびＴｉｎＥｙｅが、８１０において、検索エンジンのサブセットとして選択されてもよい。これは、音声認識、オブジェクト認識、トランスクリプション、感情分析等の他のタイプの検索に特化し得る、多数の他の検索エンジンとともに、選択されていない顔認識エンジンの残りを排除する。
【００４１】
いくつかの実施形態では、プロセス８００は、１つまたはそれを上回る検索エンジンを選択し、検索文字列と検索タイプインジケータとを含み得る入力された検索パラメータに基づいて検索を行う、検索管理者モジュールの一部である。プロセス８００は、検索エンジンのデータベースを維持し、検索エンジンの特殊性を示す１つまたはそれを上回るカテゴリに各検索エンジンを分類する。検索エンジンのカテゴリは、限定ではないが、トランスクリプション、顔認識、オブジェクト／アイテム認識、音声認識、オーディオ認識（音声以外、例えば、音楽）等を含んでもよい。単一検索エンジンを使用するのではなく、プロセス８００は、各検索エンジンの独特さおよび特殊性を利用することによって、データベース内の全ての検索エンジンを活用する。例えば、あるトランスクリプションエンジンは、あるビットレートまたは圧縮フォーマットを有するオーディオデータとより良好に機能する。別のトランスクリプションエンジンは、左および右チャネル情報を伴うステレオにおけるオーディオデータとより良好に機能する。検索エンジンの独特さおよび特殊性はそれぞれ、履歴データベース内に記憶され、これは、クエリされ、現在の検索パラメータとマッチさせ、現在の検索を最良に実施するであろうデータベースを判定することができる。
【００４２】
いくつかの実施形態では、８１０において、検索エンジンのサブセットの選択に先立って、プロセス８００は、検索パラメータの１つまたはそれを上回るデータ属性と履歴データベース内のデータベースの属性とを比較してもよい。例えば、検索パラメータの検索／入力文字列は、医療関連質問であってもよい。したがって、検索パラメータに関するデータ属性のうちの１つは、医療である。プロセス８００は、次いで、履歴データベースを検索し、医療関連検索のために最も適したデータベースを判定する。既存のデータベースに事前に割り当てられる履歴データおよび属性を使用して、プロセス８００は、検索パラメータの医療属性と以前にフラグが付けられた、または医療分野に割り当てられた１つまたはそれを上回るデータベースをマッチさせてもよい。プロセス８００は、検索パラメータの検索タイプ情報と組み合わせて、履歴データベースを使用し、検索エンジンのサブセットを選択してもよい。言い換えると、プロセス８００は、最初に、検索タイプ情報を使用して、候補データベースを絞り込み、次いで、履歴データベースを使用して、候補データベースのリストをさらに絞り込んでもよい。換言すると、プロセス８００は、最初に、例えば、検索タイプが顔アイコン（顔認識検索を示す）であることに基づいて、画像認識を行うことができる、第１のグループのデータベースを選択してもよい。次いで、検索文字列のデータ属性を使用して、プロセス８００は、医療画像の検索が得意であることが既知である（履歴実績に基づいて）１つまたはそれを上回る検索エンジンを選択することができる。
【００４３】
いくつかの実施形態では、マッチまたは最良マッチが履歴データベースに見出されない場合、プロセス８００は、検索パラメータのデータ属性を、複数の検索エンジンに対する試験のために使用される既知の属性を伴うデータのセットである訓練セットにマッチさせてもよい。いったん検索エンジンが、訓練セットと最良に機能することが見出されると、検索エンジンは、その訓練セットと関連付けられる。多数の訓練セットが存在し、それぞれ、医療、エンターテインメント、法律、コメディ、科学、数学、文献、歴史、音楽、広告、映画、農業、ビジネス等に関連する属性のうちの１つまたはそれを上回るもの等のデータ属性のその独特のセットを伴う。各訓練セットを複数の検索エンジンに対して起動させた後、各訓練セットは、その属性のために最良に機能することが見出される、１つまたはそれを上回る検索エンジンとマッチされる。いくつかの実施形態では、８１０において、プロセス８００は、検索パラメータのデータ属性を吟味し、属性と訓練セットデータ属性のうちの１つをマッチさせる。次に、検索エンジンのサブセットが、検索パラメータのデータ属性とマッチする訓練データセットに以前に関連付けられた検索エンジンに基づいて選択される。
【００４４】
いくつかの実施形態では、検索パラメータおよび訓練データセットのデータ属性は、限定ではないが、分野のタイプ、技術エリア、作成年、オーディオ品質、ビデオ品質、場所、人口統計、心理的属性、ジャンル等を含んでもよい。例えば、検索入力「過去５年間にＷｈｉｔｅｈｏｕｓｅにおいてグリーンエネルギーについて語っているＯｂａｍａの全てのビデオを見つけて」を検討すると、データ属性は、政治；２０１２年から２０１７年の作成年、場所：Ｗａｓｈｉｎｇｔｏｎ  ＤＣおよびＷｈｉｔｅｈｏｕｓｅを含んでもよい。
【００４５】
８２０では、選択された検索エンジンのサブセットは、例えば、検索パラメータグループ５１０の検索文字列部分を使用して検索を実施することが要求される。いくつかの実施形態では、選択された検索エンジンのサブセットは、１つの検索エンジンのみを含む。８３０では、検索結果が、受信され、これは、表示されてもよい。
【００４６】
図９は、本開示のいくつかの実施形態による、１つの検索を別の検索に対してチェーン化するプロセスである、チェーン認知のためのプロセス９００を図示する、フローチャートである。チェーン認知は、先行技術の検索エンジンによって使用されない概念である。大まかには、チェーン認知は、２つまたはそれを上回る検索パラメータを有する検索プロファイルに対して行われる多変数（多次元）検索である。例えば、検索プロファイル
【化２】
2019507417.tif 000004
を検討すると、本検索プロファイルは、３つの検索パラメータグループ：顔アイコンＯｂａｍａ大統領」、音声認識アイコン「Ｊｏｈｎ  ＭｃＣａｉｎ」、およびトランスクリプションアイコン「債務限度」から成る。本検索プロファイルは、最低でも２つの検索がともにチェーン化されることを要求する。いくつかの実施形態では、第１の検索は、債務限度について語っているＪｏｈｎ  ＭｃＣａｉｎの音声を伴う全てのマルチメディアに関して実施される。いったんその検索が完了されると、結果が、受信および記憶される（９１０において）。９２０では、検索エンジンの第２のサブセットが、第２の検索パラメータに基づいて選択される。この場合、それは、第２の検索が顔認識エンジンを使用するであろうことを意味する、顔アイコンであってもよい。したがって、９２０では、顔認識エンジンのみが、検索エンジンの第２のサブセットとして選択される。９３０では、９１０において受信された結果が、検索エンジンの第２のサブセットのための入力として使用され、検索の絞り込みおよびフォーカスに役立つ。９４０では、検索エンジンの第２のサブセットは、Ｊｏｈｎ  ＭｃＣａｉｎが債務限度について語っている間にＯｂａｍａ大統領が存在するビデオを見つけることを要求される。９１０における結果を使用して、検索エンジンの第２のサブセットは、検索に迅速にフォーカスし、全ての他のデータを無視することが可能となるであろう。前述の実施例では、チェーン内の検索順序は、最初に、Ｏｂａｍ大統領の全てのビデオに関して検索を行い、次いで、その結果を音声認識エンジンにフィードし、Ｊｏｈｎ  ＭｃＣａｉｎの音声および債務限度トランスクリプションを探すことによって逆転されてもよいことに留意されたい。
【００４７】
加えて、前述の実施例では、２つのチェーン検索のみが、実施された。しかしながら、実際は、多くのチェーン検索が、ともにチェーン化され、長い検索プロファイル（例えば、４つを上回る多変数検索チェーン）を形成することができる。
【００４８】
図１０は、本開示の実施形態による、多変数検索システム１０００のシステム図を図示する。システム１０００は、検索管理者モジュール１００５と、ユーザインターフェースモジュール１０１０と、検索エンジン１０１５の集合と、訓練データセット１０２５と、履歴データベース１０２５と、通信モジュール１０３０とを含んでもよい。システム１０００は、単一サーバ上に常駐してもよい、または分散して位置してもよい。例えば、システム１０００の１つまたはそれを上回るコンポーネント（例えば、１００５、１０１０、１０１５等）は、ネットワーク全体を通した種々の場所に分散して位置してもよい。ユーザインターフェースモジュール１０１０は、クライアント側またはサーバ側のいずれかに常駐してもよい。同様に、管理者モジュール１００５はまた、クライアント側またはサーバ側のいずれかに常駐してもよい。システム１０００の各コンポーネントまたはモジュールは、通信モジュール１０３０を介して、相互におよび外部エンティティと通信してもよい。システム１０００の各コンポーネントまたはモジュールは、その独自のサブ通信モジュールを含み、システム内通信および／またはシステム間通信をさらに促進してもよい。
【００４９】
ユーザインターフェースモジュール１０１０は、プロセッサによって実行されたとき、プロセッサに、ユーザインターフェース３００および４００（図３から図６に示されるように）を生成させるであろう、コードおよび命令を含有してもよい。ユーザインターフェースモジュール１０１０はまた、図７に説明されるようなプロセス７００を行うように構成されてもよい。
【００５０】
検索管理者モジュール１００５は、図８−９に説明されるようなプロセス８００および／またはプロセス９００を行うように構成されてもよい。いくつかの実施形態では、検索管理者モジュール１００５の主要タスクは、検索エンジン１０１５の集合から最良検索エンジンを選択し、入力される検索パラメータ、履歴データ（履歴データベース１０２５上に記憶される）、および訓練データセット１０２０のうちの１つまたはそれを上回るものに基づいて、検索を行うことである。
【００５１】
図１１は、プロセス７００、８００、および９００が実装され得る全体的システムまたは装置１１００を図示する。本開示の種々の側面によると、要素、または要素の任意の部分、または要素の任意の組み合わせが、１つまたはそれを上回る処理回路１１０４を含む、処理システム１１１４とともに実装されてもよい。処理回路１１０４は、本開示全体を通して説明される種々の機能性を行うように構成される、マイクロ処理回路、マイクロコントローラ、デジタル信号処理回路（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート論理、離散ハードウェア回路、および他の好適なハードウェアを含んでもよい。すなわち、処理回路１１０４は、上記に説明され、図７、８、および９に図示されるプロセスのうちの任意の１つまたはそれを上回るものを実装するために使用されてもよい。
【００５２】
図１１の実施例では、処理システム１１１４は、概して、バス１１０２によって表される、バスアーキテクチャとともに実装されてもよい。バス１１０２は、処理システム１１１４の具体的用途および全体的設計制約に応じて、任意の数の相互接続バスおよびブリッジを含んでもよい。バス１１０２は、１つまたはそれを上回る処理回路（概して、処理回路１１０４によって表される）、記憶デバイス１１０５、および機械可読、プロセッサ可読、処理回路可読、またはコンピュータ可読媒体（概して、非一過性機械可読媒体１１０８によって表される）を含む種々の回路をリンクさせる。バス１１０２はまた、当技術分野において周知であって、したがって、さらに説明されないであろう、タイミングソース、周辺機器、電圧調整器、および電力管理回路等の種々の他の回路をリンクさせてもよい。バスインターフェース１１０８は、バス１１０２と送受信機１１１０との間のインターフェースを提供する。送受信機１１１０は、伝送媒体を経由して種々の他の装置と通信するための手段を提供する。装置の性質に応じて、ユーザインターフェース１１１２（例えば、キーパッド、ディスプレイ、スピーカ、マイクロホン、タッチスクリーン、運動センサ）もまた、提供されてもよい。
【００５３】
処理回路１１０４は、バス１１０２の管理と、機械可読媒体１１０８上に記憶されるソフトウェアの実行を含む一般的な処理とを担っている。ソフトウェアは、処理回路１１０４によって実行されたとき、処理システム１１１４に、任意の特定の装置のための本明細書に説明される種々の機能を行わせる。機械可読媒体１１０８はまた、ソフトウェアを実行するとき、処理回路１１０４によって操作されるデータを記憶するために使用されてもよい。
【００５４】
処理システム内の１つまたはそれを上回る処理回路１１０４は、ソフトウェアまたはソフトウェアコンポーネントを実行してもよい。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他と称されるかどうかにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行のスレッド、プロシージャ、機能等を広義に意味すると解釈されるものとする。処理回路は、タスクを行ってもよい。コードセグメントは、プロシージャ、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、またはプログラムステートメントの任意の組み合わせを表してもよい。コードセグメントは、情報、データ、引数、パラメータ、またはメモリまたは記憶コンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合されてもよい。情報、引数、パラメータ、データ等は、メモリ共有、メッセージパス、トークンパス、ネットワーク伝送等を含む、任意の好適な手段を介して、パス、転送、または伝送されてもよい。
【００５５】
ソフトウェアは、機械可読媒体１１０８上に常駐してもよい。機械可読媒体１１０８は、非一過性機械可読媒体であってもよい。非一過性処理回路可読、機械可読、またはコンピュータ可読媒体は、一例として、機械またはコンピュータによってアクセスされ、読み取られ得る、ソフトウェアおよび／または命令を記憶するための磁気記憶デバイス（例えば、ソリッドステートドライブ、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ）、光ディスク（例えば、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ−Ｒａｙディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、またはキードライブ）、ＲＡＭ、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、可撤性ディスク、ハードディスク、ＣＤ−ＲＯＭ、および任意の他の好適な媒体を含む。用語「機械可読媒体」、「コンピュータ可読媒体」、「処理回路可読媒体」および／または「プロセッサ可読媒体」は、限定ではないが、ポータブルまたは固定記憶デバイス、光学記憶デバイス、および命令および／またはデータを記憶、含有、または搬送することが可能な種々の他の媒体等の非一過性媒体を含んでもよい。したがって、本明細書に説明される種々の方法は、完全または部分的に、「機械可読媒体」、「コンピュータ可読媒体」、「処理回路可読媒体」、および／または「プロセッサ可読媒体」内に記憶され、１つまたはそれを上回る処理回路、機械、および／またはデバイスによって実行され得る、命令および／またはデータによって実装されてもよい。機械可読媒体はまた、一例として、コンピュータによってアクセスされ、読み取られ得る、ソフトウェアおよび／または命令を伝送するための搬送波、伝送ライン、および任意の他の好適な媒体を含んでもよい。
【００５６】
機械可読媒体１１０８は、処理システム１１１４内に常駐するか、処理システム１１１４の外部に常駐するか、または、処理システム１１１４を含む複数のエンティティにわたって分散されてもよい。機械可読媒体１１０８は、コンピュータプログラム製品内に具現化されてもよい。一例として、コンピュータプログラム製品は、機械可読媒体をパッケージング材料内に含んでもよい。当業者は、特定の用途および全体的システムに課される全体的設計制約に応じて、本開示全体を通して提示された説明された機能性を実装するための最良な方法を認識するであろう。
【００５７】
図に図示されるコンポーネント、ステップ、特徴、および／または機能のうちの１つまたはそれを上回るものは、再配列され得る、および／または、単一コンポーネント、ブロック、特徴、または機能の中に組み合わせられ得る、または、いくつかのコンポーネント、ステップ、または機能内で具現化され得る。付加的な要素、コンポーネント、ステップ、および／または機能もまた、本開示から逸脱することなく、追加されてもよい。図に図示される装置、デバイス、および／またはコンポーネントは、図に説明される方法、特徴、またはステップのうちの１つまたはそれを上回るものを行うように構成されてもよい。本明細書に説明されるアルゴリズムはまた、ソフトウェア内に効率的に実装され得る、および／または、ハードウェア内に内蔵され得る。
【００５８】
本開示の側面は、フローチャート、フロー図、構造略図、またはブロック図として描写されるプロセスとして本明細書に説明され得ることに留意されたい。フローチャートは、動作をシーケンシャルプロセスとして説明し得るが、動作の多くは、並列に、または同時に行われることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、その動作が完了されたときに終了される。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に対応してもよい。プロセスが、関数に対応するとき、その終了は、呼び出し関数または主要関数に対する関数の戻りに対応する。
【００５９】
当業者はさらに、本明細書に開示される側面に関連して説明された種々の例証的な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されてもよいことを理解するであろう。ハードウェアおよびソフトウェアのこの相互互換性を明確に例証するために、種々の例証的コンポーネント、ブロック、モジュール、回路、およびステップは、概して、その機能性の観点から上記に説明される。そのような機能性がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、特定の用途および全体的システムに課される設計制約に依存する。
【００６０】
本明細書に開示される実施例に関連して説明される方法またはアルゴリズムは、直接、ハードウェア内、プロセッサによって実行可能なソフトウェアモジュール内、または両方の組み合わせ内に、処理ユニット、プログラミング命令、または他の指示の形態で具現化され得、単一デバイス内に含有され得るか、または、複数のデバイスにわたって分散され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、可撤性ディスク、ＣＤ−ＲＯＭ、または当技術分野において公知の任意の他の形態の記憶媒体内に常駐してもよい。記憶媒体は、プロセッサが、情報を記憶媒体から読み取り、情報をそこに書き込むことができるように、プロセッサに結合されてもよい。代替として、記憶媒体は、プロセッサと一体型であってもよい。
【００６１】
特定の例示的実施形態が説明され、付随の図面に示されたが、そのような実施形態は、単に、例証であって、広義の発明における制限ではなく、本発明は、種々の他の修正が可能性として考えられるため、図示および説明される具体的構造および配列に限定されないことを理解されたい。当業者は、すぐ上で説明された好ましい実施形態の種々の適応および修正が、本発明の範囲および精神から逸脱することなく構成され得ることを理解されるであろう。したがって、添付の請求項の範囲内において、本発明は、本明細書に具体的に説明されたもの以外に実践されてもよいことを理解されたい。
【図１Ａ】
2019507417.tif 000005
【図１Ｂ】
2019507417.tif 000006
【図２】
2019507417.tif 000007
【図３Ａ】
2019507417.tif 000008
【図３Ｂ】
2019507417.tif 000009
【図４】
2019507417.tif 000010
【図５】
2019507417.tif 000011
【図６】
2019507417.tif 000012
【図７】
2019507417.tif 000013
【図８】
2019507417.tif 000014
【図９】
2019507417.tif 000015
【図１０】
2019507417.tif 000016
【図１１】
2019507417.tif 000017
【国際調査報告】
2019507417.tif 000018
2019507417.tif 000019
2019507417.tif 000020