(57)【要約】  コンピュータによって実施される、画像の内容の意味記述のための方法であって、前記画像と関連付けられた署名を受領することと、初期視覚概念の複数のグループを受領することとを含むステップを含む、方法であって、初期視覚概念のグループを表す成分を含むベクトルの形式で画像の署名を表現することと、前記ベクトルの成分に適用可能なフィルタリングルールを適用することにより、前記署名を修正することとを含むステップを特徴とする方法が開示される。発展形態は、特に、グループ内またはグループ間の閾値に基づくおよび／または順序統計量に基づくフィルタリングルール、画像の視覚的な類似度、および／または概念の意味的な類似度、画像の意味記述へのマニュアルアノテーションの任意選択的な追加を含む分割技法を説明する。パーシモニアスで多様な意味表現に関する本方法の利点が提示される。
2018501579.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実施される、画像の内容の意味記述のための方法であって、
−  前記画像と関連付けられた署名を受領することと、
−  初期視覚概念の複数のグループを受領することと
を含むステップを含む、方法であって、
−  前記初期視覚概念のグループを分割することと、
−  前記分割された視覚概念のグループを表す成分を含むベクトルの形式で前記画像の前記署名を表現することと、
−  前記ベクトルの前記成分に適用可能なフィルタリングルールを適用することにより、前記署名を修正することと
を含むステップを特徴とする方法。
【請求項２】
前記フィルタリングルールは、１つまたは複数の閾値を適用することにより分割された前記視覚概念のグループに対応する前記ベクトルの１つまたは複数の成分を保持するか、またはゼロに設定することを含む、請求項１に記載の方法。
【請求項３】
前記フィルタリングルールは、順序統計量を適用することにより分割された前記視覚概念のグループに対応する前記ベクトルの１つまたは複数の成分を保持するか、またはゼロに設定することを含む、請求項１または２に記載の方法。
【請求項４】
分割された視覚概念のグループの選択を決定することを含むステップと、選択された前記視覚概念のグループに対応する前記成分をゼロに設定することを含むステップとをさらに含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
分割された視覚概念のグループへの細分化は、前記画像の視覚的な類似度に基づいている、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
分割された視覚概念のグループへの前記細分化は、前記概念の意味的な類似度に基づいている、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
分割された視覚概念のグループへの前記細分化は、Ｋ−ｍｅａｎｓ法、および／または階層グループ化、および／または期待値最大化（ＥＭ）、および／または密度に基づくアルゴリズム、および／または接続係数アルゴリズムの使用の中から選択される１つまたは複数の演算によって実行される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
少なくとも１つの閾値は構成可能である、請求項２〜７のいずれか一項に記載の方法。
【請求項９】
マニュアルソースの１つまたは複数のテキスト形式のアノテーションを受領することと、それを前記画像の前記内容の前記意味記述に加えることとを含むステップをさらに含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
画像の内容に基づく検索クエリと関連付けられた少なくとも１つのパラメータであって、１つまたは複数の分割された視覚概念のグループを決定する少なくとも１つのパラメータを受領することを含むステップと、決定された前記概念のグループ内において検索を行うことを含むステップとをさらに含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
分割された視覚概念のグループのコレクションを構築することを含むステップと、画像の内容に基づく検索クエリと関連付けられた少なくとも１つのパラメータであって、前記分割された視覚概念のグループのコレクションの中から１つまたは複数のコレクションを決定する少なくとも１つのパラメータを受領することを含むステップと、決定された前記コレクション内において前記検索を行うことを含むステップとをさらに含む、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
コンピュータプログラム製品であって、コンピュータプログラムは、前記プログラムがコンピュータ上で実行されると、請求項１〜１１のいずれか一項に記載の方法のステップの実行を可能にするコード命令を含む、コンピュータプログラム製品。
【請求項１３】
請求項１〜１１のいずれか一項に記載の方法を実施するためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、データマイニングの技術分野に関し、特に画像の内容の自動アノテーションの技術分野に関する。
【背景技術】
【０００２】
「マルチメディア」ドキュメントは、概して明瞭な感覚能力または認識能力（例えば、視覚または聴覚）と関連付けられた様々な種類の情報を（語源単位で）含む。マルチメディアドキュメントは、例えば、「タグ」を伴った、すなわちアノテーションを伴った画像であるか、またはさもなければ画像およびテキストを含むウェブページに対応し得る。
【０００３】
デジタルドキュメントは、概して数個の情報「チャネル」に分けることができ、数個の情報「チャネル」は、例えば、（例えば、ＯＣＲ文字認識を元に作り出された）テキスト形式の情報と、（ドキュメント中で識別された図および／または写真などの）視覚情報とを含む場合がある。映像も、そのようなチャネルのうちのいくつか、すなわち視覚チャネル（例えば、映像のフレーム）、サウンドチャネル（例えば、サウンドトラック）、（例えば、発話を文字化してテキストにすること、および例えば日付、著作者、タイトル、フォーマット等の映像のメタデータから得られる）テキストチャネルに分けることができる。したがって、マルチメディアドキュメントは、特に視覚情報（すなわち、ピクセル）およびテキスト形式の情報（すなわち、単語）を含むことができる。
【０００４】
マルチメディアデータのマイニング時、問い合わせるプロセス（すなわち、データベースを検索するための）は、クエリを伴う場合があり、クエリ自体は様々な形式、すなわち、（ａ）（画像およびテキストを組み合わせた）１つもしくは複数のマルチメディアドキュメント、および／または（ｂ）視覚情報のみの形式（「画像に基づく検索」または「画像の内容に基づく検索」と呼ばれる検索）、またはさもなければ（ｃ）テキストのみの形式（一般的な場合のマスマーケット検索エンジン）を取り得る。
【０００５】
マルチメディアデータベース内の情報検索の技術的課題は、特に、クエリに可能な限り類似したドキュメントをベースから取得することである。アノテーションされた（例えば、ラベルおよび／またはタグを用いている）データベースでは、分類により課される技術的課題は、新たなアノテーションされていないドキュメントについて、こうした１つまたは複数のラベルを予測することである。
【０００６】
視覚ドキュメントのみの内容は、分類モデルと関連付けられなければならず、分類モデルは、ドキュメントが関連付けられ得るクラス、例えばタグがない状態、またはアノテーションがない状態、または記述がない状態を画像のキーワードに基づいて（または例えば、画像の掲載のコンテキストを介して間接的に）決定する。これらのメタデータがアクセス可能である場合、（画像およびテキストを組み合わせた）マルチメディアドキュメントの内容は、一貫してかつ有効に記述されなければならない。
【０００７】
したがって、最初の技術的課題は、画像の視覚的な内容を決定する有効な方法、すなわち画像の意味表現を構築する有効な方法を決定することである。テキスト形式のアノテーションが存在すれば、これは、例えば、視覚的な内容の表現をこうしたアノテーションと組み合わせることを必然的に伴う。
【０００８】
このように構築された表現の関連性は、複数の方法において、その中でも特に、結果の正確性を測定することでもたらすことができる。画像検索に関して、正確性は、画像クエリ、テキストクエリ、または画像およびテキストを組み合わせたクエリに意味的に類似した画像の数によって示される。画像分類に関して、関連性は、結果の正確性（例えば、正しく予測されたラベルの割合）およびその一般化能力（例えば、いくつかの認識の対象となるクラスについての分類「作業」）によって評価される。計算時間（通常は表現の複雑性によって決定される）は、概して、これらの２つの検索および分類シナリオの重要な要因である。
【０００９】
（例えば、ＩｍａｇｅＮｅｔ（Ｄｅｎｇ  ｅｔ  ａｌ．，２００９）などの概念に従って）構築されている大規模な画像のコレクションが利用可能であることは、（スケーリングの十分な可能性を示す）訓練手法が利用可能であることとともに、視覚的な内容の意味表現の提示に結びついている（Ｌｉ  ｅｔ  ａｌ．，２０１０；Ｓｕ  ａｎｄ  Ｊｕｒｉｅ，２０１２；Ｂｅｒｇａｍｏ  ａｎｄ  Ｔｏｒｒｅｓａｎｉ，２０１２を参照）。これらの表現は、概して、１つまたは複数の基本的な視覚記述子から（すなわち、局所記述子もしくは大域記述子、またはこの２つの組み合わせに従って）始めることにより実施される。その後、これらの記述は訓練手法に用いられ、個々の概念について識別子または記述子を構築する。識別子または記述子は、１つのオブジェクトに１つまたは複数のクラス（例えば、名前、性質、特性等）を割り当てもしくは割り付けするか、または１つもしくは複数のこのようなクラスを１つのオブジェクト、ここでは１つの画像と関連付ける。最後に、表現を構成する概念と関連付けられた各識別子に対してテスト画像を分類することにより得られた確率スコアを集約することにより、最終的な記述が得られる（Ｔｏｒｒｅｓａｎｉ  ｅｔ  ａｌ．，２０１０）。Ｌｉらは、２０１０年、手作業で確認された画像のベースを利用して事前に計算されたおよそ２００個の識別子の応答で構成された意味表現である、ＯｂｊｅｃｔＢａｎｋを自ら紹介した。２０１２年、ＳｕおよびＪｕｒｉｅは、１１０個のアトリビュートを手作業で選択して、画像の意味表現を実施した。２０１０年、Ｔｏｒｒｅｓａｎｉらは、「ｃｌａｓｓｅｍｅｓ」を紹介した。それは、ウェブからの画像を用いて訓練された個々の概念の２０００個を超えるモデルに基づいている。この著作後、ＢｅｒｇａｍｏおよびＴｏｒｒｅｓａｎｉは、２０１２年に「メタクラス（ｍｅｔａ−ｃｌａｓｓｅｓ）」、すなわち、類似した概念を一緒にグループ化して、共同で訓練するＩｍａｇｅＮｅｔを元に作り出された概念に基づく表現を紹介した。２０１３年、大規模画像分類問題を解決するためにディープニューラルネットワークが用いられた（Ｓｅｒｍａｎｅｔ  ｅｔ  ａｌ．；Ｄｏｎａｈｕｅ  ｅｔ  ａｌ．）。このアプローチによれば、ネットワークの最終層により得られた分類スコアは、画像の内容の意味表現として使用可能である。しかしながら、いくつかのハードウェア制限は、まったく同一のネットワーク内で多数のクラスおよび膨大な数の画像を有効に表現することが困難であることを意味する。処理されるクラスの数は典型的には約１０００であり、および画像の数は約１００万である。
【００１０】
２０１２年、ＢｅｒｇａｍｏおよびＴｏｒｒｅｓａｎは、“Ｍｅｔａ−ｃｌａｓｓ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｏｂｊｅｃｔ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｏｎ  ａ  ｂｕｄｇｅｔ”（ＣＶＰＲ．ＩＥＥＥ，２０１２）という名称の論文を発表した。著者らは、画像の視覚的な親和性を用いて、ＩｍａｇｅＮｅｔ階層の概念を一緒にグループ化することによる画像のコンパクトな表現を提案している。著者らは、量子化（すなわち、最も顕著な次元を１に設定し、それ以外を０に設定する）を用いることにより、記述子がさらにコンパクトになるようにしている。それにもかかわらず、「メタクラス」を定義するこのアプローチにより、画像の内容の多様な表現が確実に可能になるわけではない。さらに、量子化により性能の低下も生じる。
【００１１】
現在の最新技術は、画像検索の多様性に関する側面にほとんど取り組んでいない。多様性は、画像中に存在する様々な概念が、関連付けられた表現に現われていることを暗示している。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ｄｅｎｇ  ｅｔ  ａｌ．，２００９
【非特許文献２】Ｌｉ  ｅｔ  ａｌ．，２０１０
【非特許文献３】Ｓｕ  ａｎｄ  Ｊｕｒｉｅ，２０１２
【非特許文献４】Ｂｅｒｇａｍｏ  ａｎｄ  Ｔｏｒｒｅｓａｎｉ，２０１２
【非特許文献５】Ｔｏｒｒｅｓａｎｉ  ｅｔ  ａｌ．，２０１０
【非特許文献６】Ｓｅｒｍａｎｅｔ  ｅｔ  ａｌ．
【非特許文献７】Ｄｏｎａｈｕｅ  ｅｔ  ａｌ．
【非特許文献８】“Ｍｅｔａ−ｃｌａｓｓ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｏｂｊｅｃｔ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｏｎ  ａ  ｂｕｄｇｅｔ”（ＣＶＰＲ．ＩＥＥＥ，２０１２）
【発明の概要】
【課題を解決するための手段】
【００１３】
本明細書において提案される本発明により、これらのニーズまたは制限に少なくとも部分的に対処することが可能になる。
【００１４】
コンピュータによって実施される、画像の内容の意味記述のための方法であって、前記画像と関連付けられた署名を受領することと、初期視覚概念の複数のグループを受領することとを含むステップを含む、方法であって、初期視覚概念のグループを表す成分を含むベクトルの形式で画像の署名を表現することと、前記ベクトルの成分に適用可能なフィルタリングルールを適用することにより、前記署名を修正することとを含むステップを特徴とする方法が開示される。発展形態は、特に、グループ内またはグループ間の閾値に基づくおよび／または順序統計量に基づくフィルタリングルール、画像の視覚的な類似度、および／または概念の意味的な類似度、画像の意味記述へのマニュアルアノテーションの任意選択的な追加を含む分割技法を説明する。パーシモニアスで多様な意味表現に関する本方法の利点が提示される。
【００１５】
本発明による方法は、ドキュメントのマルチメディア情報検索および／または分類の枠組み内で（例えば、データマイニングに関連して）有利に適用できる。
【００１６】
本発明の１つの態様によれば、視覚ドキュメントは、これらのドキュメントを個々の概念識別子と比較することにより得られる確率によって表現される。
【００１７】
本発明の１つの態様によれば、画像の内容の多様な表現が可能になる。
【００１８】
本発明の１つの態様によれば、性能を損なわずにコンパクトな表現の特徴が確保される。
【００１９】
有利には、本発明の一実施形態は、コンパクトでありかつ多様な意味表現を提案する。
【００２０】
有利には、本発明は、当技術分野における文献で現在のところ取り組まれていない２つの側面である、多様性およびスパースな特徴を関連付ける視覚的な内容の意味表現を提案する。多様性は、画像中に存在する様々な概念が表現に現われることを保証することから重要である。スパースな特徴は、逆ファイルを用いて、類似度に基づく画像検索の処理の加速を可能にすることから重要である。
【００２１】
有利には、本発明は、意味表現の一般化能力を確保する（すなわち、システムは内容自体と無関係に動作することができる）。
【００２２】
有利には、本発明による方法は、概して計算速度が速く、大容量マルチメディアデータベースに迅速に使用できる。
【００２３】
有利には、本発明による方法により、多様でありかつスパースな意味表現が可能になる。
【００２４】
本発明は、（視覚情報およびテキスト形式の情報を組み合わせた）マルチメディアドキュメントを検索または分類する目的で、このドキュメントの記述が必要である、あらゆるタスクに関して有利に適用できる。例えば、本方法により、マルチメディア検索エンジンの実施が可能になる。本方法の意味表現のスパースな特徴のために、「大容量」マルチメディアスタッシュの探査が概して大幅に加速される。本発明により、画像または映像中に存在するオブジェクトの大規模な認識が可能になる。例えば、コンテキスト広告を提案する目的で、利用者の画像を利用して利用者プロファイルを生成し、これらのプロファイルを用いて広告の対象にするか、または広告を個人専用にすることが可能になる。
【００２５】
本発明の様々な態様および利点は、以下の図面に関連して行われる、本発明の実施の好適であるが非限定的な形態の説明から明らかになるであろう。
【図面の簡単な説明】
【００２６】
【図１】ドキュメントの分類またはアノテーションを図示する。
【図２】教師付き分類の一例を図示する。
【図３】本発明による例示的な方法の全体図を図示する。
【図４】本発明による方法に特有の特定のステップを詳述する。
【発明を実施するための形態】
【００２７】
図１は、ドキュメントの分類またはアノテーションを図示する。検討する例では、ドキュメントは画像１００である。このドキュメントのラベル１３０は、検討する例のクラス１１０のそれぞれにおけるドキュメントの帰属の程度を表示する。例えば、４つのクラス（ここでは「木材」、「金属」、「土」および「セメント」）を考えると、ドキュメント１００をアノテーションするタグ１２０は、４つの次元を有するベクトル１４０であり、その成分はそれぞれ（ドキュメントがクラスに該当しない場合に０に等しく、ドキュメントが明確にクラスに該当する場合に１に等しい）確率である。
【００２８】
図２は、教師付き分類の一例を図示する。本方法は、特に、２つのステップ、すなわち第１のいわゆる訓練ステップ２００および第２のいわゆるテストステップ２１０を含む。訓練ステップ２００は、通常「オフライン」で実行される（すなわち、事前に、またはさもなければあらかじめ行われる）。第２のステップ２１０は、通常「オンライン」で（すなわち、実際の検索ステップおよび／または分類ステップ中にリアルタイムで）実行される。
【００２９】
これらのステップ２００および２１０はそれぞれ、特徴に基づく表現のステップ（すなわち、「特徴抽出」、ステップ２０３および２１２）を含むことにより、決まった次元のベクトルによってドキュメントを記述することが可能になる。このベクトルは、通常、そのドキュメントのみのモダリティ（すなわち、チャネル）のうちの１つから抽出される。視覚的な特徴は、視覚的な内容または意味表現の局所表現（すなわち、バッグオブビジュアルワード（ｂａｇ−ｏｆ−ｖｉｓｕａｌ  ｗｏｒｄｓ）、フィッシャーベクトル（Ｆｉｓｈｅｒ  ｖｅｃｔｏｒ）等）もしくは大域表現（色のヒストグラム、テクスチャの記述等）を含む。
【００３０】
意味表現は、通常、中間識別子を用いることにより得られる。中間識別子は、画像中の個々の概念の出現確率値を提供し、ｃｌａｓｓｅｍｅｓまたはメタクラスを含む。概略的には、視覚ドキュメントは、｛「犬」＝０．８，「猫」＝０．０３，「車」＝０．０３，．．．，「晴れた」＝０．６５｝型のベクトルによって表現されることになる。
【００３１】
訓練段階２００中、一連のこうしたベクトルおよび対応するラベル２０２が訓練モジュール（「機械学習」２０４）に供給され、訓練モジュールがこのようにモデル２１３をもたらす。テスト段階２１０では、「テスト」マルチメディアドキュメント２１１が、訓練２００中と同じ種類のベクトルによって記述される。後者は、先に訓練されたモデル２１３への入力として用いられる。テストドキュメント２１１のラベルの予測２１４が出力として返される。
【００３２】
ステップ２０４において実施される訓練は、様々な技法、特に単独でまたは組み合わせで考えられる「ブースティング」と呼ばれる訓練方法の「マージンの広いセパレータ（ＳＶＭ）」を使用すること、またはさもなければニューラルネットワーク、例えば「深層」ニューラルネットワークを使用することを含む場合がある。
【００３３】
本発明の特有の態様に従い、有利な特徴を抽出するステップ（ステップ２０３および２１２）が開示される。特に、検討される意味記述子は識別子のセット（「バンク」）を伴う。
【００３４】
図３は、本発明による例示的な方法の全体図を図示する。本図は、所与の画像と関連付けられた意味表現の構築の一例を図示する。
【００３５】
本図は、「オンラインの」（すなわち、「アクティブな」）ステップを図示する。これらのステップは、実質的に画像検索またはアノテーションのときに実行されるステップを指定する。本図は、「オフラインの」（すなわち、「パッシブな」）ステップも図示する。これらのステップは、通常、事前に、すなわち（少なくとも部分的に）事前に実行される。
【００３６】
事前に、すなわち「オフライン」で供給されたデータベース３２０１の画像のセットを分析してもよい（本発明による方法は、積み重ねにより進行し、反復により累進的にデータベースおよび／またはグループ化を構築してもよい）。視覚的な特徴を抽出するステップ３１１１および正規化するステップ３１２１が、前記画像のデータベース３２０１を構成する画像のそれぞれについて繰り返される（画像は、ｎ個の概念Ｃとして構築される）。１つまたは複数の（任意選択的な）訓練ステップ３１２３（正例および／または負例等）を実行してもよい。それとともに、これらの演算は、視覚モデル３２３（以下を参照）およびグループ化モデル３２４の確立を決定または最適化する機能をさらに果たし得る。
【００３７】
ステップ３２３において、視覚モデルのバンクが受領される。このモデルのバンクは、様々な方法で決定することができる。特に、モデルのバンクは、例えばステップ３１０１の後に続いて、第三者モジュールまたはシステムから受領してもよい。「バンク」は、（「個々の視覚モデル」と呼ばれる）複数の視覚モデルＶに対応する。「個々の視覚モデル」は、基準ベースの初期概念（「日没」、「犬」等）のそれぞれと関連付けられている。所与の概念と関連付けられた画像は、各概念の正例を表現する（これに対して、負例は、例えばサンプリングによって選択されるが、訓練ベースのその他の概念を表現する画像と関連付けられている）。
【００３８】
ステップ３２４において、（初期、すなわち受領したままの）概念がグループ化される。グループ化のモデルが（例えば、第三者システムから）受領される。
【００３９】
概して、本発明の方法に従って、分析される画像３００が提出／受領され、様々な処理および分析３１０の対象（それらは場合により任意選択的であってもよい）を形成し、次に、本発明による方法により、この画像の意味記述３２０が決定される。１つまたは複数のアノテーション３４０が出力として決定される。
【００４０】
ステップ３１０の詳細部分では、第１のステップ３１１（ｉ）において、画像３００の視覚的な特徴が決定される。ベース３２０１（それは、通常、何千もの画像、実際には何百万もの画像を含む）は、最初に、すなわち事前にｎ個の概念Ｃとして構築される（特定の実施形態では、特定の用途に対して、ｎは約１０，０００とすることができる）。画像の視覚的な特徴は、ステップ３１１において決定される（ただし、それらは第三者モジュールから受領してもよい。すなわち、例えば、それらはメタデータとして提供されてもよい）。ステップ３１１は、概してステップ３１１１と同じである。画像３００の内容は、このように決まったサイズのベクトル（または「署名」）によって表現される。第２のステップ３１２（ｉｉ）において、画像３００の視覚的な特徴は正規化される（適宜、すなわち、必要に応じて正規化され、受領した視覚的な特徴により、すでに正規化されていることが起こり得る）。
【００４１】
ステップ３２０（本方法による画像の内容の意味記述）の詳細部分では、本発明によるステップ３２５（ｖ）において、各画像の意味記述が決定される。ステップ３２６（ｖｉ）において、本発明に従って、この意味記述は、１個または数個の画像に「プルーニング」（すなわち、「簡素化」または「削減」）される。任意選択的なステップ３２７（ｖｉｉ）において、多岐にわたる来歴のアノテーション（マニュアルアノテーションを含む）を追加または利用してもよい。
【００４２】
図４は、本発明による方法に特有の特定のステップを詳説する。ステップｖ、ｖｉ、および任意選択的にｖｉｉは（本明細書に記載されている他のステップと組み合わせて）、本発明による方法に特有の特徴に対応する。これらのステップにより、特に、データベースの画像の多様でパーシモニアスな表現を得ることが可能になる。
【００４３】
元々アノテーションされたデータベースにより提供されるような初期の個々の概念ではなく、グループを用いることによって「多様な」表現が可能になることで、さらに多様性に富む画像のアスペクトを表現することが有利に可能になる。例えば、グループは、様々な犬種の犬および様々なレベルの粒度のこれらの概念（「ゴールデンレトリーバー」、「ラブラドルレトリーバー」、「ボーダーコリー」、「レトリーバー」等）を含むことが可能になるであろう。別のグループは、（例えば、海辺の景色に関連する）自然概念と関連付けることが可能になり、別のグループは、天候状態（「好天」、「曇天」、「荒天」等）に結び付けることが可能になるであろう。
【００４４】
画像の「スパースな」表現は、ベクトル（または画像の署名）に含まれる非ゼロ次元の数が少なくなっている表現に対応する。このパーシモニアスな（または「スパースな」）特徴により、たとえ大規模であったとしても、画像のデータベースの有効な検索が可能になる（画像の署名は、通常、ランダムアクセスメモリにおいて、例えば互いに比較され、これらの署名の索引により、例えば逆ファイルを用いて、類似度に基づく画像検索の処理を加速することが可能になる）。
【００４５】
「多様な表現」および「パーシモニー」の２つの特徴は相乗作用するか、または共同して動作する。本発明による多様な表現は、パーシモニアスな検索と互換性を有する（例えば、対応が可能であるか、または対応が容易である）。すなわち、パーシモニアスな検索は多様な表現を有利に活用する。
【００４６】
ステップ３２４において、概念は、ｘ＝１，．．．ｋであり、ｋ＜ｎとしたとき、ｋ個のグループＧｘを得るようにグループ化される。
Ｇｘ＝｛Ｖｘ１，Ｖｘ２，．．．，Ｖｘｙ｝（１）
【００４７】
様々な手法を（任意選択的にともに組み合わせて）グループへの細分化に用いてもよい。この細分化は、静的かつ／もしくは動的、および／または構成されたもの、および／または構成可能なものであってもよい。
【００４８】
特定の実施形態では、グループ化は、特に、画像の視覚的な類似度に基づいてもよい。他の実施形態では、画像の視覚的な類似度は、必ずしも考慮に入れなくてもよい。
【００４９】
１つの実施形態では、概念のグループ化は、画像の意味的な類似度の関数として（例えば、アクセス可能なアノテーションの関数として）実行してもよい。１つの実施形態では、概念のグループ化は教師付きである。すなわち、人間の経験に基づく専門的判断の恩恵を受けている。他の実施形態では、グループ化は教師なしである。１つの実施形態では、概念のグループ化は、訓練ベースで訓練された各画像の特徴ベクトルに適用されるＫ−ｍｅａｎｓ法（またはＫ−ｍｅｄｏｉｄｓ法）のような「クラスタリング」手法を用いて実行してもよい。これにより、クラスタの平均特徴ベクトルが得られる。この実施形態により、特に、上流での人間の介在を最小限にすることが可能になる（パラメータの数Ｋのみを選択すればよい）。他の実施形態では、（例えば、「共有最近傍」法のような、あらゆる人間の介在を省略可能にするクラスタリング手法を用いることによって）グループ化に関する利用者の介在が排除されている。
【００５０】
他の実施形態では、グループ化は、階層グループ化手法、および／または期待値最大化（ＥＭ）アルゴリズム、および／またはＤＢＳＣＡＮまたはＯＰＴＩＣＳのような密度に基づくアルゴリズム、および／または自己適応マップのような接続係数手法に従って実行される。
【００５１】
グループはそれぞれ、画像を表現することが可能である、あり得る（概念的）「アスペクト」に対応する。（グループの数、および各グループのサイズ、すなわちグループ内の画像の数を）グループ化を行うための多様な方法が可能であるため、その結果、様々な結論または利点が得られる。グループのサイズは、表現の粒度によって変わる適用ニーズに対処するように可変としてもよい。グループの数は、（元のアノテーションされた画像ベースにおいて継承またはアクセスされたような）初期概念よりも精度が高いまたは低い（粗いまたは粗くない）分割に対応させてもよい。
【００５２】
適切なサイズのグループに細分化することにより、特に、様々な概念領域を（精度の高低、すなわち様々な粒度に従って）特徴付けることが可能になる。グループはそれぞれ、例えば、初期概念よりも粗い（または広範囲の）「メタ概念」に対応させてもよい。概念空間を細分化または分割することを含むステップは、「メタ概念」の（無からの）生成を有利に完結させる。特に記載のない限り、これらのグループ（または「メタ概念」）のセットは、画像が表現されている概念表現空間の新たな分割を形成する。
【００５３】
本発明によるステップ３２５において、すべてのテスト画像について、１つまたは複数の視覚的な特徴が計算または決定され、正規化され（ステップｉおよびｉｉ）、概念の視覚モデルと比較されて（ステップｉｉｉ）、概念のバンクの要素の発生確率ｐ（Ｖｘｙ）（０≦ｐ（Ｖｘｙ）≦１としたとき）に基づき、この画像の意味記述Ｄを得るようにする。
【００５４】
したがって、画像の記述は、ｉｖにおいて計算された概念のグループに従って構築される。
【数１】
2018501579.tif 000003
【００５５】
保持されるグループの数は、特に、適用ニーズの関数として変わってもよい。パーシモニアスな表現では、少数のグループを用いることにより、多様化を高めるが、逆に表現の表現度が低下する。逆に、グループがなければ、表現度は最大であるが、多様性は低下する。なぜなら、まったく同一の概念が複数レベルの粒度で存在することになるからである（上記で引用した例では、「ゴールデンレトリーバー」、「レトリーバー」および「犬」）。グループ化作業後、先の３つの概念はまったく同一のグループ内にあり、これらは単一の値によって表現されることになる。したがって、「中間グループ」に基づく表現が提案されることにより、多様性および表現度を同時に組み込むことが可能になっている。
【００５６】
本発明による第６のステップ３２６（ｖｉ）において、得られた記述Ｄは、各グループＧｘ内に１つまたは複数の最も高い確率ｐ（Ｖｘｙ）のみを保存し、（画像の類似度を計算するときに負の影響を有する可能性がある）低い確率を排除するようにプルーニングまたは簡素化される。
【００５７】
１つの実施形態では、グループはそれぞれ、（任意選択的に異なる）閾値およびこれらの閾値（例えば、それら未満）が排除される確率と関連付けられている。１つの実施形態では、グループはすべて、確率のフィルタリングを可能にするまったく同一の閾値と関連付けられている。１つの実施形態では、１つまたは複数のグループが１つまたは複数の所定の閾値と関連付けられており、これらの閾値（または閾値の範囲）を上回る確率および／または下回る確率を排除することができる。
【００５８】
閾値は、様々な方法で（すなわち、他の型の数学演算子による様々な型の数学的平均値に従って）決定してもよい。閾値は、所定のアルゴリズムの結果としてもよい。概して、閾値は静的（すなわち、時間が経過しても不変）であってもよく、またはさもなければ（例えば、利用者によって制御され、かつ／または別のシステムに由来するような１つまたは複数の外部の要因に応じて）動的であってもよい。閾値は、（例えば、前述の方法で、すなわち「ハードコード化」して）構成してもよいが、（例えば、検索のタイプ等に従って）構成可能にしてもよい。
【００５９】
１つの実施形態では、閾値は、確率値（例えば、スコア）に関係するのではなく、グループＧｘを「保存」または「排除」する確率の（ソート後の）ランクと関連付けられた個数Ｋｐ（Ｇｘ）に関係する。この実施形態によれば、確率値は順序付け、すなわち、値によってランク付けされ、次に、決定されたＫｐ（Ｇｘ）個の確率値が（それらの順序付け、または順序、またはランクの関数として）選択され、様々なフィルタリングルールが適用されてもよい。例えば、Ｋｐ（Ｇｘ）が３に等しい場合、本方法は、３つの「最も大きい」値（または３つの「最も小さい」値、またはさもなければ３つの「メジアン周辺に分布した」値等）を保存することができる。ルールは、関数（最大、最小等）であってもよい。
【００６０】
例えば、｛Ｐ（Ｖ１１）＝０．９；Ｐ（Ｖ１２）＝０．１；Ｐ（Ｖ１３）＝０．８｝を含むグループ１、および｛Ｐ（Ｖ２１）＝０．９；Ｐ（Ｖ２２）＝０．２；Ｐ（Ｖ２３）＝０．４｝を含むグループ２を考えると、０．５に等しい閾値に基づいてフィルタリングを適用すれば、グループ１についてＰ（Ｖ１１）およびＰ（Ｖ１３）を、およびグループ２についてＰ（Ｖ２１）を選択することになる。Ｋｐ（Ｇｘ）＝２としたとき、「最大値を保存する」というフィルタリングルールを適用することにより、Ｐ（Ｖ１１）およびＰ（Ｖ１３）がグループ１について保存されることになる（手法１と同じ結果）が、Ｐ（Ｖ２１）およびＰ（Ｖ２３）がグループ２について保存されることになる。
【００６１】
次に、意味記述Ｄｅのプルーニングされたバージョンは、次のように記述することができる（この場合、Ｋｐ（Ｇｘ）は１と等しくなる）。
Ｇ１について、ｐ（Ｖ１１）＞ｐ（Ｖ１２）、ｐ（Ｖ１１）＞ｐ（Ｖ１ａ）；Ｇ２について、ｐ（Ｖ２２）＞ｐ（Ｖ１ｂ）、ｐ（Ｖ２２）＞ｐ（Ｖ１ｂ）；およびＧｋについて、ｐ（Ｖｋｃ＞ｐ（Ｖｋ１）、ｐ（Ｖｋｃ）＞ｐ（Ｖｋ２）としたとき、
Ｄｅ＝｛｛ｐ（Ｖ１１），０，．．．，０｝，｛０，ｐ（Ｖ２２），．．．，０｝，．．．，｛０，０，．．．，ｐ（Ｖｋｃ）｝｝（３）
【００６２】
（３）で与えられている表現は、「マックスプーリング」と呼ばれる、次元を選択するための手法が用いられていることを示している。この表現は、例示的なものであり、前記手法の使用は完全に任意選択的である。他の代替的な手法、例えば、「平均プーリング」（各グループＧｋにおける概念の確率の平均値）と呼ばれる技法、またはさもなければ「ソフトマックスプーリング」（各グループ内のｘ個の最も高い確率の平均値）と呼ばれる技法を「マックスプーリング」の代わりに用いてもよい。
【００６３】
グループのスコアを以下ｓ（Ｇｋ）と表記することにする。
【００６４】
式（３）に記載されているプルーニングは、グループ内でのものである。最後のグループ間プルーニングは、画像の「スパースな」表現に到達するために有利である。
【００６５】
より正確に言えば、Ｄｅ＝｛ｓ（Ｇ１），ｓ（Ｇ２），．．．，ｓ（Ｇｋ）｝から開始して、（３）に記載されているグループ内プルーニングを適用した後、最も高いスコアを有するグループのみが保持される。例えば、ちょうど２つのゼロ以外の次元を有する記述が所望され、ｓ（Ｇ１）＞ｓ（Ｇｋ２）＞．．．ｓ（Ｇ２）であると仮定すると、最終的な表現は以下の式により与えられる。
Ｄｆ＝｛ｓ（Ｇ１），０，．．．，ｓ（Ｇｋ）｝（４）
【００６６】
各グループにおいて１つまたは複数の概念を選択することにより、画像の「多様な」記述、すなわち画像の様々な（概念的）アスペクトを含む記述を得ることが可能になる。概念空間の「アスペクト」または「メタアスペクト」は、初期概念の中から選択される概念のグループに対応することに留意されたい。
【００６７】
本発明において提案される方法の利点は、これらのアスペクト（または「メタ概念」）のうちの１つまたは複数に、たとえこれらのアスペクトうちの１つが当初は主流であっても初期画像の表現を「強制する」ことである。例えば、画像が、「犬」、「ゴールデンレトリーバー」および「猟犬」と関連付けられた概念によって主としてアノテーションされているが、それよりも低い程度で概念「車」および「灯柱」によってもアノテーションされている場合、および提案される方法のステップｉｖが、第１のグループについて｛「犬」＋「ゴールデンレトリーバー」＋「猟犬」｝を含み、第２のグループについて｛「車」＋「バイク」＋「オートバイ」｝を含み、かつ第３のグループについて｛「灯柱」＋「町」＋「通り」｝を含んでいる３つのメタ概念（すなわち、グループ／アスペクト等）の形成を完結させる場合、従来技術による意味表現は、その重みの大半を概念「犬」、「ゴールデンレトリーバー」および「猟犬」に置くことになるのに対し、本発明による方法では、これらの４つの概念が類似したアスペクトを記述していることが識別可能になり、グループに帰属するアスペクト「車」および「灯柱」に（もまた）何らかの重みを割り当てることで、町、屋外、輸送手段が存在する状況で撮影された犬の画像をさらに正確に取り出すことが可能になる。
【００６８】
有利には、本発明による方法によって提案されるような概念および「スパースな」表現の初期の数が多い場合、本発明による方法による表現により、記述の次元をより良好に比較することが可能になる。したがって、グループがなければ、「ゴールデンレトリーバー」によって表現される画像および「レトリーバー」によって表現される別の画像は、これらの概念が存在するために、類似度がゼロに等しいか、またはゼロに近いことになる。本発明によるグループ化があれば、２つの概念の存在は、これらの概念がグループに共通して帰属することにより、画像の（概念的）類似度の向上に役立つであろう。
【００６９】
利用者の使用感の点から、本発明による画像の内容に基づく検索により、（従来技術において既知の、画像に基づく検索に従って「優勢な」１つまたは複数の概念だけでなく、）より多くのクエリのアスペクトを考慮に入れることが可能になり有利である。本方法により得られる「多様化」は特に有利である。それは、現在の画像記述子に存在しないものである。グループのサイズを１に等しい限界値で固定することにより、画像の意味表現の多様化のない方法が得られる。
【００７０】
ステップ３２２（ｖｉｉ）において、手作業で追加された（概して意味論的な品質の高い）画像と関連付けられたテキスト形式のアノテーションが存在する場合、関連付けられた概念は、確率１（または少なくとも、例えば、自動分類のタスクと関連付けられた確率よりも大きい確率）を有する画像の意味記述に加えられる。このステップは、マニュアルアノテーションの存在に左右されるが、マニュアルアノテーションは利用可能でない場合があるため、やはり完全に任意選択的である。
【００７１】
１つの実施形態では、本発明による方法は、独自の方法で画像のグループ化を実行する（特に記載のない限り、Ｍ個の画像のグループがＮ個存在する）。１つの実施形態では、サイズの異なるグループの「コレクション」、すなわち「セット」が事前に計算される（特に記載のない限り、Ｂ個の画像のグループがＡ個、Ｄ個の画像のグループがＣ個存在する等）。画像の内容に基づく検索は、例えば利用者に提示された１つまたは複数の選択肢に従って「パラメータ化」されてもよい。適宜、事前に計算されたコレクションの１つまたは他のものがアクティブ化される（すなわち、検索は決定されたコレクション内で実行される）。特定の実施形態では、様々なコレクションの計算は、検索のバックグラウンドにおいて実行される。特定の実施形態では、１つまたは複数のコレクションの選択は、（少なくとも部分的に）利用者フィードバックの関数として決定される。
【００７２】
概して、本発明による方法およびシステムは、そのようなものとして見なされた（すなわち、必ずしも画像の内容または関連付けられたメタデータ以外のデータソースを考慮に入れない）画像の内容のアノテーションもしくは分類または自動記述に関する。本発明によって開示される自動アプローチは、補足してもよく、または画像の関連付けられた（例えば、これらの画像の掲載のモダリティまたは視覚レンディションに関する）コンテキストデータと組み合わせてもよい。一変形実施形態では、コンテキスト情報（例えば、検討される画像が掲載されているウェブページから生じたキーワード、またはさもなければ既知の場合にはレンディションのコンテキスト）を使用してもよい。この情報は、本発明に従って、例えば、画像の内容の分析から抽出されたアノテーションを確認し、遂行もしくは制止、または確証もしくは否定する機能を果たす。様々なカスタマイズされた仕組み（フィルタ、重み付け、選択等）を実際に本発明と組み合わせることができる。コンテキストアノテーションをフィルタリングおよび／または選択し、次に、（例えば、適切な信頼度確率または因数または係数または重み付けまたは間隔で）意味記述に加えてもよい。
【００７３】
以下では、本発明の実施形態が説明される。
【００７４】
コンピュータによって実施される、画像の内容の意味記述のための方法であって、前記画像と関連付けられた署名を受領することと、初期視覚概念の複数のグループを受領することとを含むステップを含む、方法であって、初期視覚概念のグループを表す成分を含むベクトルの形式で画像の署名を表現することと、前記ベクトルの成分に適用可能なフィルタリングルールを適用することにより、前記署名を修正することとを含むステップを特徴とする方法が説明される。
【００７５】
画像と関連付けられた署名、すなわち初期ベクトルは、通常、（例えば、別のシステムから）受領される。例えば、この署名は、例えば従来技術から既知の所定の識別子を用いた、および多岐にわたるその他の処理、特に正規化処理を用いた画像の内容の視覚的な特徴の抽出後に得られる。署名は、異なる座標系において表現されたベクトルの形式で受領してもよい。本方法は、適切な作業座標系において受領したベクトルを「表現する」か、または変形する（または変換するか、または翻訳する）。したがって、画像の署名は、一定のサイズであるサイズＣの（成分を含む）ベクトルである。
【００７６】
初期のアノテーションされたベースはまた、例えば、（テキスト形式の）アノテーションの形式で初期概念のセットも提供する。これらの概念のグループは、特に「バンク」の形式で受領してもよい。次に、署名が「初期視覚概念」（テキスト形式のオブジェクト）のグループを基準として、すなわち受領したままに表現される。したがって、グループに対する基準は、ベクトルの成分である。ベクトルの成分の、概念のグループとのマッチングが実行される。本発明による方法は、ｘ＝１，．．．ｋおよびｋ＜ｎとしたとき、Ｇｘ＝｛Ｖｘ１，Ｖｘ２，．．．，Ｖｘｙ｝に従って、初期視覚概念を処理、すなわち分割し、画像の新たな署名を生成する。
【００７７】
本方法は、その後、画像の初期の署名を修正することにより、すなわち、ベクトルの１つまたは複数の成分（グループに対する基準）を保存または（例えば、ゼロに設定して）取り消すことにより、画像の内容の意味記述を決定する。修正後のベクトルは、依然としてサイズＣである。様々なフィルタリングルールを適用してもよい。
【００７８】
一発展形態では、フィルタリングルールは、１つまたは複数の閾値を適用することにより、初期視覚概念のグループに対応するベクトルの１つまたは複数の成分を保持するか、またはゼロに設定することを含む。
【００７９】
意味記述は、閾値を適用することにより、グループ内で修正してもよい。なお、前記閾値は、例えば数学的平均値を含む数学演算子の中から選択される。
【００８０】
プルーニングは、グループ内（例えば、「マックスプーリング」または「平均プーリング」（各グループＧｋにおける概念の確率の平均）と呼ばれる次元の選択、またはさもなければ「ソフトマックスプーリング」（各グループ内のｘ個の最も高い確率の平均）と呼ばれる技法による）であってもよい。
【００８１】
一発展形態では、フィルタリングルールは、順序統計量を適用することにより、初期視覚概念のグループに対応するベクトルの１つまたは複数の成分を保持するか、またはゼロに設定することを含む。
【００８２】
統計において、統計標本のランクｋの順序統計量は、ｋ番目に小さい値に等しい。ランク統計と関連付けられて、順序統計量は、ノンパラメトリック統計量および統計的推定の基本ツールの一部をなしている。順序統計量は、標本の最小統計量、最大統計量、メジアン統計量、および様々な分位点等を含む。
【００８３】
閾値ルールおよび順序統計量ルールに基づき、フィルタ（指定および次に作用）を組み合わせてもよい（概念のグループに対して、（成分を装って）閾値のみを用いて、または順序統計量のみを用いて、または両方を用いて作用することが可能である）。
【００８４】
例えば、決定された意味記述は、各グループ内で初期概念が発生するＫｐ（Ｇｘ）個の確率値をフィルタリングする所定のルールを適用することにより、グループ内でのグループで修正してもよい。
【００８５】
各グループにおいて、ａ）（初期概念が発生する）確率値が順序付けられ、ｂ）個数Ｋｐ（Ｇｘ）が決定され、ｃ）所定のフィルタリングルールが適用される（このルールは、特に、「Ｋｐ（Ｇｘ）個の最大値の選択」、「Ｋｐ（Ｇｘ）個の最小値の選択」、「Ｋｐ（Ｇｘ）個のメジアン周辺の値の選択」等々のルールを含むグループの中から選択される）。最後に、画像の意味記述は、このように決定された確率値を用いて修正される。
【００８６】
一発展形態では、本方法は、初期視覚概念のグループの選択を決定することを含むステップと、選択された視覚概念のグループに対応する成分（数個の成分またはすべての成分）をゼロに設定することを含むステップとをさらに含む。
【００８７】
この発展形態は、グループ間フィルタリングに対応する。
【００８８】
一発展形態では、初期視覚概念のグループへの細分化は、画像の視覚的な類似度に基づいている。
【００８９】
訓練は、教師なしであってもよい。ステップ３２４が、視覚的な類似度に基づいてそのようなグループを提供する。
【００９０】
一発展形態では、初期視覚概念のグループへの細分化は、概念の意味的な類似度に基づいている。
【００９１】
一発展形態では、初期視覚概念のグループへの細分化は、Ｋ−ｍｅａｎｓ法、および／または階層グループ化、および／または期待値最大化（ＥＭ）、および／または密度に基づくアルゴリズム、および／または接続係数アルゴリズムの使用の中から選択される１つまたは複数の演算によって実行される。
【００９２】
一発展形態では、少なくとも１つの閾値が構成可能である。
【００９３】
一発展形態では、本方法は、マニュアルソースの１つまたは複数のテキスト形式のアノテーションを受領することと、それを画像の内容の意味記述に加えることとを含むステップをさらに含む。
【００９４】
一発展形態では、本方法は、画像の内容に基づく検索クエリと関連付けられた少なくとも１つのパラメータであって、視覚概念の１つまたは複数のグループを決定する少なくとも１つのパラメータを受領することを含むステップと、決定された概念のグループ内において検索を行うことを含むステップとをさらに含む。
【００９５】
一発展形態では、本方法は、初期視覚概念のグループのコレクションを構築することを含むステップと、画像の内容に基づく検索クエリと関連付けられた少なくとも１つのパラメータであって、初期視覚概念のグループのコレクションの中から１つまたは複数のコレクションを決定する少なくとも１つのパラメータを受領することを含むステップと、決定されたコレクション内において検索を行うことを含むステップとをさらに含む。
【００９６】
この発展形態では、「グループの群」を対象としている。１つの実施形態では、様々な事前に計算された分割の中から（すなわち、種々のグループ化に従って）、（例えば、クエリの特徴を）選択することが可能である。非常に特別な一実施形態では、分割は、（困難を伴うが）リアルタイムで（すなわち、クエリの際に）行ってもよい。
【００９７】
コンピュータプログラム製品が開示されており、前記コンピュータプログラムは、本方法のステップのうちの１つまたは複数の実行を可能にするコード命令を含む。
【００９８】
本方法のステップのうちの１つまたは複数に従って、本方法を実施するためのシステムも開示される。
【００９９】
本発明は、ハードウェア要素および／またはソフトウェア要素を利用して実施してもよい。それは、コンピュータ可読媒体上でコンピュータプログラム製品として利用可能である。媒体は、電子媒体、磁気媒体、光学媒体、または電磁気媒体であってもよい。本方法のステップのうちの１つまたは複数を実施するデバイスは、１つまたは複数の専用電子回路または１つの汎用回路を使用してもよい。本発明の技法は、命令のシーケンスを含んでいるプログラムを実行する、再プログラム可能な計算機械（例えば、プロセッサまたはマイクロコントローラ）上で、または専用の計算機械（例えば、ＦＰＧＡもしくはＡＳＩＣのような論理ゲートのセット、または任意の他のハードウェアモジュール）上で行ってもよい。専用の回路は、特に、画像の特徴（または画像のコレクションまたは映像の「フレーム」）の抽出に関する動作を加速させることができる。本発明の実施に適した例示的なハードウェアのアーキテクチャとして、デバイスは、中央処理装置（ＣＰＵ）、または「マルチコアプロセッサ」もしくは「メニーコアプロセッサ」とすることが可能なマイクロプロセッサがリンクされたコミュニケーションバスと、本発明の実施に必要なプログラムを含むことが可能な読み取り専用メモリ（ＲＯＭ）と、前述のプログラムの実行中に生成および修正された、変数およびパラメータの記録に適したレジスタを含むキャッシュメモリまたはランダムアクセスメモリ（ＲＡＭ）と、データ（例えば、画像または映像）の送受信に適したコミュニケーションインタフェースまたはＩ／Ｏ（「入力／出力」）とを含んでもよい。特に、ランダムアクセスメモリは、関連したベクトルを介して画像の迅速な比較を可能にし得る。再プログラム可能な計算機械に本発明がインストールされる場合、対応するプログラム（すなわち、命令のシーケンス）は、リムーバブル記憶媒体（例えば、フラッシュメモリ、ＳＤカード、ＤＶＤまたはブルーレイ、ハードディスクのような大容量記憶手段、例えばＳＳＤ）、または非リムーバブルの揮発性または不揮発性記憶媒体であって、コンピュータまたはプロセッサによって部分的にもしくは完全に読み取り可能な記憶媒体中もしくは媒体上に格納してもよい。コンピュータ可読媒体は、可搬型、または通信可能型もしくはモバイル型、または（すなわち、２Ｇ、３Ｇ、４Ｇ、Ｗｉｆｉ、ＢＬＥ、光ファイバ、またはその他の通信ネットワークによる）伝送可能型であってもよい。実行時、上述した機能のうちのいずれか１つを行うコンピュータプログラムへの言及は、単一のホストコンピュータ上で実行するアプリケーションプログラムに限定するものではない。むしろ、コンピュータプログラムおよびソフトウェアという用語は、本明細書では、一般的な意味において、１台または複数台のプロセッサをプログラムするために使用して、本明細書に記載された技法の態様を実施し得る任意のタイプのコンピュータコード（例えば、アプリケーションソフトウェアパッケージ、マイクロソフトウェア、マイクロコードまたは任意の他の形式のコンピュータ命令）を指すように用いられる。コンピュータ化された手段またはリソースは、特に、任意選択的にピアーツーピア技術および／または仮想化技術を用いて、またはこれらの技術に従って分散させてもよい（「クラウドコンピューティング」）。ソフトウェアコードは、単一の計算装置に設けられているにせよ、（例えば、装置の環境において場合によりアクセス可能であるような）複数の計算装置間に分散されているにせよ、任意の適切なプロセッサ（例えば、マイクロプロセッサ）、またはプロセッサコアもしくはプロセッサのセットで実行してもよい。
【図１】
2018501579.tif 000004
【図２】
2018501579.tif 000005
【図３】
2018501579.tif 000006
【図４】
2018501579.tif 000007
【国際調査報告】
2018501579.tif 000008
2018501579.tif 000009
2018501579.tif 000010
2018501579.tif 000011
2018501579.tif 000012
2018501579.tif 000013