(57)【要約】画像に基づく関係分析のシステム及び方法が提供され、この方法は、１人又は複数の個人の１つ又は複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、画像表現ごとに、対応するベクトル表現を取得することと、複数のベクトル表現を、複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化することと、ターゲット画像ごとに、画像に関連付けられた１人又は複数の一意の個人を取得することと、このセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、画像パラメータのセットを取得することと、画像パラメータのセットを使用して、局所的関係行列を生成することであって、局所的関係行列が、１人又は複数の一意の個人間の局所的相互関係を表すことと、それにより、局所的関係行列のセットを取得することと、局所的関係行列のセットを結合することによって大域的関係行列を生成することとを含む。【選択図】図２
2021530773.tif 000002
【特許請求の範囲】
【請求項１】
画像に基づく関係分析のコンピュータ化された方法であって、
１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、
各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ）によって生成された対応するベクトル表現を取得し、それによって、前記ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、
類似性尺度を使用して、前記複数のベクトル表現を、前記ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化し、ターゲット画像ごとに、前記画像に関連付けられた１人または複数の一意の個人を取得することと、
前記セットの少なくとも１つのサブセットの所与のターゲット画像ごとに、
前記所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、前記画像パラメータのセットが、前記所与のターゲット画像に関連付けられた前記１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、
前記画像パラメータのセットを使用して、局所的関係行列を生成することであって、前記局所的関係行列が、前記１人または複数の一意の個人間の局所的相互関係を表す、ことと、
それによって、前記ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、
前記局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、前記大域的関係行列が、前記複数の一意の個人間の関係を表す、こととを含む、コンピュータ化された方法。
【請求項２】
前記大域的関係行列に基づいて社会的マップを描くことをさらに含み、前記社会的マップが、前記複数の一意の個人間の関係のグラフィック表現である、請求項１に記載のコンピュータ化された方法。
【請求項３】
対応するベクトル表現を前記取得することが、所与のターゲット画像ごとに、前記ＦＲＭを使用して、前記画像に含まれる個人の各画像表現に対応するベクトル表現を生成することを含む、請求項１に記載のコンピュータ化された方法。
【請求項４】
個人の特定のグループをターゲットにする画像のトレーニングセットを使用して前記顔認識モデルがトレーニングされ、前記トレーニングセット内の各画像が、前記画像に含まれる１人または複数の一意の個人で事前にタグ付けされる、請求項１に記載のコンピュータ化された方法。
【請求項５】
前記画像のトレーニングセットが画像の複数のサブセットを含み、各サブセットが、前記特定のグループからの各個人で事前にタグ付けされており、前記画像の複数のサブセットが、前記ＦＲＭの精度を高めるために、前記顔認識モデルのトレーニングに使用される前にフィルタリングされる、請求項４に記載のコンピュータ化された方法。
【請求項６】
各個人で事前にタグ付けされた画像の所与のサブセットごとに、
前記画像の特定のサブセットを前記顔認識モデルに入力して、前記画像の所与のサブセット内の前記各個人を表すベクトル表現のクラスターを取得することと、
類似性尺度を前記クラスターに適用し、画像のフィルタリングされたサブセットに対応するベクトル表現の削減されたクラスターを生成することと、
それによって、各個人に対応する複数のフィルタリングされたサブセットを取得することと、
前記顔認識モデルをトレーニングするために、前記複数のフィルタリングされたサブセットを前記顔認識モデルに入力することとを実行する、請求項５に記載のコンピュータ化された方法。
【請求項７】
前記類似性尺度が、各ベクトル表現と前記クラスターの中心の間の距離を測定し、前記距離をしきい値と比較することによって適用される、請求項６に記載のコンピュータ化された方法。
【請求項８】
前記クラスター化が、前記類似性尺度を使用して、ベクトル表現の各対間の類似性をそれぞれ示す要素を含んでいる類似性行列を生成することと、前記同じ一意の個人を表す前記類似性行列によって類似していることが示された１つまたは複数のベクトル表現を決定することとを含む、請求項１に記載のコンピュータ化された方法。
【請求項９】
前記複数のクラスターに基づいて前記ターゲット画像のセットをフィルタリングし、前記少なくとも１つのサブセットを生成することをさらに含む、請求項１に記載のコンピュータ化された方法。
【請求項１０】
前記少なくとも１つの計算されたパラメータが、前記所与のターゲット画像に関連付けられた前記１人または複数の一意の個人間の相対距離を示す距離行列を含む、請求項１に記載のコンピュータ化された方法。
【請求項１１】
前記少なくとも１つの計算されたパラメータが、関連付けられた一意の個人の番号、個人の特定のベクトル、および画像に関連するベクトルを含んでいるグループから選択された１つまたは複数の追加の計算されたパラメータをさらに含む、請求項１０に記載のコンピュータ化された方法。
【請求項１２】
前記画像パラメータのセットが、事前に提出されたパラメータのサブセットおよび／または物理的パラメータのサブセットをさらに含む、請求項１に記載のコンピュータ化された方法。
【請求項１３】
前記局所的関係行列が、前記１人または複数の一意の個人間の前記局所的相互関係の強度の情報を提供する、請求項１に記載のコンピュータ化された方法。
【請求項１４】
所与のターゲット画像ごとに、前記画像パラメータのセットを使用して重みを導出することをさらに含み、前記重みが、前記所与のターゲット画像の重要性を示し、前記大域的関係行列が、前記画像の前記各重みに関して、各ターゲット画像に対応する前記局所的関係行列を結合することによって生成される、請求項１に記載のコンピュータ化された方法。
【請求項１５】
前記大域的関係行列が、一意の個人の数に対応する次元を有し、前記大域的関係行列が、前記大域的関係行列内の関連付けられた前記一意の個人のインデックスに従って、各局所的関係行列を前記次元にマッピングすることによって生成される、請求項１に記載のコンピュータ化された方法。
【請求項１６】
画像に基づく関係分析のコンピュータ化されたシステムであって、前記システムが、
１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、
各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ）によって生成された対応するベクトル表現を取得し、それによって、前記ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、
類似性尺度を使用して、前記複数のベクトル表現を、前記ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化し、ターゲット画像ごとに、前記画像に関連付けられた１人または複数の一意の個人を取得することと、
前記セットの少なくとも１つのサブセットの所与のターゲット画像ごとに、
前記所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、前記画像パラメータのセットが、前記所与のターゲット画像に関連付けられた前記１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、
前記画像パラメータのセットを使用して、局所的関係行列を生成することであって、前記局所的関係行列が、前記１人または複数の一意の個人間の局所的相互関係を表す、ことと、
それによって、前記ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、
前記局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、前記大域的関係行列が、前記複数の一意の個人間の関係を表す、こととを実行するように構成された処理およびメモリ回路（ＰＭＣ）を備える、コンピュータ化されたシステム。
【請求項１７】
前記ＰＭＣが、前記大域的関係行列に基づいて社会的マップを描くようにさらに構成され、前記社会的マップが、前記複数の一意の個人間の関係のグラフィック表現である、請求項１６に記載のコンピュータ化されたシステム。
【請求項１８】
前記ＰＭＣが、所与のターゲット画像ごとに、前記ＦＲＭを使用して、前記画像に含まれる個人の各画像表現に対応するベクトル表現を生成することによって、対応するベクトル表現を取得するように構成される、請求項１６に記載のコンピュータ化されたシステム。
【請求項１９】
個人の特定のグループをターゲットにする画像のトレーニングセットを使用して前記顔認識モデルがトレーニングされ、前記トレーニングセット内の各画像が、前記画像に含まれる１人または複数の一意の個人で事前にタグ付けされる、請求項１６に記載のコンピュータ化されたシステム。
【請求項２０】
前記画像のトレーニングセットが画像の複数のサブセットを含み、各サブセットが、前記特定のグループからの各個人で事前にタグ付けされており、前記画像の複数のサブセットが、前記ＦＲＭの精度を高めるために、前記顔認識モデルのトレーニングに使用される前にフィルタリングされる、請求項１９に記載のコンピュータ化されたシステム。
【請求項２１】
ＦＲＭが、
各個人で事前にタグ付けされた画像の所与のサブセットごとに、
前記画像の所与のサブセットを前記顔認識モデルに入力して、前記画像の所与のサブセット内の前記各個人を表すベクトル表現のクラスターを取得することと、
類似性尺度を前記クラスターに適用し、画像のフィルタリングされたサブセットに対応するベクトル表現の削減されたクラスターを生成することと、
それによって、各個人に対応する複数のフィルタリングされたサブセットを取得することと、
前記顔認識モデルをトレーニングするために、前記複数のフィルタリングされたサブセットを前記顔認識モデルに入力することとによってトレーニングされる、請求項２０に記載のコンピュータ化されたシステム。
【請求項２２】
前記類似性尺度が、各ベクトル表現と前記クラスターの中心の間の距離を測定し、前記距離をしきい値と比較することによって適用される、請求項２１に記載のコンピュータ化されたシステム。
【請求項２３】
前記ＰＭＣが、前記類似性尺度を使用して、ベクトル表現の各対間の類似性をそれぞれ示す要素を含んでいる類似性行列を生成することと、前記同じ一意の個人を表す前記類似性行列によって類似していることが示された１つまたは複数のベクトル表現を決定することとによって、前記複数のベクトル表現をクラスター化するように構成される、請求項１６に記載のコンピュータ化されたシステム。
【請求項２４】
前記ＰＭＣが、前記複数のクラスターに基づいて前記ターゲット画像のセットをフィルタリングし、前記少なくとも１つのサブセットを生成するようにさらに構成される、請求項１６に記載のコンピュータ化されたシステム。
【請求項２５】
前記少なくとも１つの計算されたパラメータが、前記所与のターゲット画像に関連付けられた前記１人または複数の一意の個人間の相対距離を示す距離行列を含む、請求項１６に記載のコンピュータ化されたシステム。
【請求項２６】
前記少なくとも１つの計算されたパラメータが、関連付けられた一意の個人の番号、個人の特定のベクトル、および画像に関連するベクトルを含んでいるグループから選択された１つまたは複数の追加の計算されたパラメータをさらに含む、請求項２５に記載のコンピュータ化されたシステム。
【請求項２７】
前記画像パラメータのセットが、事前に提出されたパラメータのサブセットおよび／または物理的パラメータのサブセットをさらに含む、請求項１６に記載のコンピュータ化されたシステム。
【請求項２８】
前記局所的関係行列が、前記１人または複数の一意の個人間の前記局所的相互関係の強度の情報を提供する、請求項１６に記載のコンピュータ化されたシステム。
【請求項２９】
前記ＰＭＣが、所与のターゲット画像ごとに、前記画像パラメータのセットを使用して重みを導出するようにさらに構成され、前記重みが、前記所与のターゲット画像の重要性を示し、前記大域的関係行列が、前記画像の前記各重みに関して、各ターゲット画像に対応する前記局所的関係行列を結合することによって生成される、請求項１６に記載のコンピュータ化されたシステム。
【請求項３０】
前記大域的関係行列が、一意の個人の数に対応する次元を有し、前記大域的関係行列が、前記大域的関係行列内の関連付けられた前記一意の個人のインデックスに従って、各局所的関係行列を前記次元にマッピングすることによって生成される、請求項１６に記載のコンピュータ化されたシステム。
【請求項３１】
コンピュータによって実行された場合に、前記コンピュータに、画像に基づく関係分析の方法を実行させる命令を含んでいる非一過性コンピュータ可読媒体であって、前記方法が、
１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、
各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ）によって生成された対応するベクトル表現を取得し、それによって、前記ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、
類似性尺度を使用して、前記複数のベクトル表現を、前記ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化し、ターゲット画像ごとに、前記画像に関連付けられた１人または複数の一意の個人を取得することと、
前記セットの少なくとも１つのサブセットの所与のターゲット画像ごとに、
前記所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、前記画像パラメータのセットが、前記所与のターゲット画像に関連付けられた前記１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、
前記画像パラメータのセットを使用して、局所的関係行列を生成することであって、前記局所的関係行列が、前記１人または複数の一意の個人間の局所的相互関係を表す、ことと、
それによって、前記ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、
前記局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、前記大域的関係行列が、前記複数の一意の個人間の関係を表す、こととを含む、非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書において開示される主題は、一般に、関係分析の分野に関し、より詳細には、画像に基づく関係分析のための方法およびシステムに関する。
【背景技術】
【０００２】
関係分析または社会的関係分析は、何らかの手段によって互いに交流する個人の間の関係を調査することを目的とする。そのような分析プロセスの最終結果は、さまざまな表現によって表され得る。
【０００３】
個人間の交流は、通常、通信および興味の調査によって測定される。例えば、組織または特定の地域社会において、固有の電話呼び出しまたは個人間で送信される電子メールの量は、関係だけでなく、その強度も示すことができる。別の例では、複数の個人が類似するスポーツに対する興味を共有しており、さらに具体的には、同じサッカーチームのファンである場合、このことは、友好関係および関係を示唆することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、現在の社会的関係分析は、通信およびソーシャルメディアチャネルの複数の関係のないソースから収集／抽出される必要のある社会的事象の入力に制限され、これには、データアクセス、データエラー、ならびに時間と費用がかかるデータ変換および分析などの、固有の問題が存在する。
【課題を解決するための手段】
【０００５】
本明細書において開示される主題の特定の態様に従って、画像に基づく関係分析のコンピュータ化された方法が提供されており、この方法は、１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ：Ｆａｃｉａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｍｏｄｅｌ）によって生成された対応するベクトル表現を取得し、それによって、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、類似性尺度を使用して、複数のベクトル表現を、ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化することと、ターゲット画像ごとに、画像に関連付けられた１人または複数の一意の個人を取得することと、このセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、画像パラメータのセットが、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、画像パラメータのセットを使用して、局所的関係行列を生成することであって、局所的関係行列が、１人または複数の一意の個人間の局所的相互関係を表す、ことと、それによって、ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、大域的関係行列が、複数の一意の個人間の関係を表す、こととを含む。
【０００６】
上記の特徴に加えて、本明細書において開示される主題のこの態様に従う方法は、以下に示された特徴（ｉ）〜（ｘｉｖ）のうちの１つまたは複数を、技術的に可能な任意の望ましい組み合わせまたは並べ替えで含むことができる。
（ｉ）この方法は、大域的関係行列に基づいて社会的マップを描くことをさらに含むことができ、社会的マップは、複数の一意の個人間の関係のグラフィック表現である。
（ｉｉ）対応するベクトル表現を取得することは、所与のターゲット画像ごとに、ＦＲＭを使用して、画像に含まれる個人の各画像表現に対応するベクトル表現を生成することを含むことができる。
（ｉｉｉ）顔認識モデルは、個人の特定のグループをターゲットにする画像のトレーニングセットを使用してトレーニングされ得る。トレーニングセット内の各画像は、画像に含まれる１人または複数の一意の個人で事前にタグ付けされ得る。
（ｉｖ）画像のトレーニングセットは、画像の複数のサブセットを含むことができ、各サブセットは、特定のグループからの各個人で事前にタグ付けされる。画像の複数のサブセットは、ＦＲＭの精度を高めるために、顔認識モデルのトレーニングに使用される前にフィルタリングされ得る。
（ｖ）ＦＲＭは、各個人で事前にタグ付けされた画像の所与のサブセットごとに、画像の所与のサブセットを顔認識モデルに入力して、画像の所与のサブセット内の各個人を表すベクトル表現のクラスターを取得することと、類似性尺度をクラスターに適用し、画像のフィルタリングされたサブセットに対応するベクトル表現の削減されたクラスターを生成することと、それによって、各個人に対応する複数のフィルタリングされたサブセットを取得することと、顔認識モデルをトレーニングするために、複数のフィルタリングされたサブセットを顔認識モデルに入力することとによって、トレーニングされ得る。
（ｖｉ）類似性尺度は、各ベクトル表現とクラスターの中心の間の距離を測定し、この距離をしきい値と比較することによって適用され得る。
（ｖｉｉ）クラスター化は、類似性尺度を使用して、ベクトル表現の各対間の類似性をそれぞれ示す要素を含んでいる類似性行列を生成することと、同じ一意の個人を表す類似性行列によって類似していることが示された１つまたは複数のベクトル表現を決定することとを含むことができる。
（ｖｉｉｉ）この方法は、複数のクラスターに基づいてターゲット画像のセットをフィルタリングし、少なくとも１つのサブセットを生成することをさらに含むことができる。
（ｉｘ）少なくとも１つの計算されたパラメータは、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の相対距離を示す距離行列を含むことができる。
（ｘ）少なくとも１つの計算されたパラメータは、関連付けられた一意の個人の番号、個人の特定のベクトル、および画像に関連するベクトルを含んでいるグループから選択された１つまたは複数の追加の計算されたパラメータをさらに含むことができる。
（ｘｉ）画像パラメータのセットは、事前に提出されたパラメータのサブセットおよび／または物理的パラメータのサブセットをさらに含むことができる。
（ｘｉｉ）局所的関係行列は、１人または複数の一意の個人間の局所的相互関係の強度の情報を提供することができる。
（ｘｉｉｉ）この方法は、所与のターゲット画像ごとに、画像パラメータのセットを使用して重みを導出することをさらに含むことができ、この重みは、所与のターゲット画像の重要性を示す。大域的関係行列は、画像の各重みに関して、各ターゲット画像に対応する局所的関係行列を結合することによって生成され得る。
（ｘｉｖ）大域的関係行列は、一意の個人の数に対応する次元を有することができ、大域的関係行列は、大域的関係行列内の関連付けられた一意の個人のインデックスに従って、各局所的関係行列をこの次元にマッピングすることによって生成され得る。
【０００７】
本明細書において開示される主題の他の態様に従って、画像に基づく関係分析のコンピュータ化されたシステムが提供されており、このシステムは、１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ）によって生成された対応するベクトル表現を取得し、それによって、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、類似性尺度を使用して、複数のベクトル表現を、ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化することと、ターゲット画像ごとに、画像に関連付けられた１人または複数の一意の個人を取得することと、このセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、画像パラメータのセットが、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、画像パラメータのセットを使用して、局所的関係行列を生成することであって、局所的関係行列が、１人または複数の一意の個人間の局所的相互関係を表す、ことと、それによって、ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、大域的関係行列が、複数の一意の個人間の関係を表す、こととを実行するように構成された処理およびメモリ回路（ＰＭＣ：ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  ｍｅｍｏｒｙ  ｃｉｒｃｕｉｔｒｙ）を備えている。
【０００８】
開示される主題のこの態様は、この方法に関して上に示された特徴（ｉ）〜（ｘｉｖ）のうちの１つまたは複数を、必要な変更を加えて、技術的に可能な任意の望ましい組み合わせまたは並べ替えで含むことができる。
【０００９】
本明細書において開示される主題の他の態様に従って、コンピュータによって実行された場合に、コンピュータに、画像に基づく関係分析の方法を実行させる命令を含んでいる非一過性コンピュータ可読媒体が提供されており、この方法は、１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得することと、各ターゲット画像内の画像表現ごとに、顔認識モデル（ＦＲＭ）によって生成された対応するベクトル表現を取得し、それによって、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供することと、類似性尺度を使用して、複数のベクトル表現を、ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化することと、ターゲット画像ごとに、画像に関連付けられた１人または複数の一意の個人を取得することと、このセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、所与のターゲット画像を特徴付ける画像パラメータのセットを取得することであって、画像パラメータのセットが、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含む、ことと、画像パラメータのセットを使用して、局所的関係行列を生成することであって、局所的関係行列が、１人または複数の一意の個人間の局所的相互関係を表す、ことと、それによって、ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットを取得することと、局所的関係行列のセットを結合することによって、大域的関係行列を生成することであって、大域的関係行列が、複数の一意の個人間の関係を表す、こととを含む。
【００１０】
開示される主題のこの態様は、この方法に関して上に示された特徴（ｉ）〜（ｘｉｖ）のうちの１つまたは複数を、必要な変更を加えて、技術的に可能な任意の望ましい組み合わせまたは並べ替えで含むことができる。
【００１１】
本発明を理解するため、および本発明を実際に実行する方法を確認するために、非限定的な単なる例として添付の図面を参照して、ここで実施形態が説明される。
【図面の簡単な説明】
【００１２】
【図１】本明細書において開示される主題の特定の実施形態に従って、画像に基づく関係分析のコンピュータ化されたシステムのブロック図を概略的に示す図である。
【図２】本明細書において開示される主題の特定の実施形態に従って、画像に基づく関係分析の一般化されたフローチャートを示す図である。
【図３】本明細書において開示される主題の特定の実施形態に従って、顔認識モデルのトレーニングプロセスの一般化されたフローチャートを示す図である。
【図４】本明細書において開示される主題の特定の実施形態に従って、ＦＲＭのトレーニングのために、特定の個人で事前にタグ付けされた画像のサブセットをフィルタリングすることの例示的な図である。
【図５】本明細書において開示される主題の特定の実施形態に従う、ベクトル表現の複数のクラスターおよび対応する削減されたクラスターの例示的な図である。
【図６】本明細書において開示される主題の特定の実施形態に従う、ターゲット画像のセットに含まれている一意の個人を導出することの例示的な図である。
【図７】本明細書において開示される主題の特定の実施形態に従う、例示的な画像パラメータおよびこれらのパラメータを使用した局所的関係行列の生成の概略図である。
【図８】本明細書において開示される主題の特定の実施形態に従う、局所的関係行列に基づく大域的関係行列の生成の概略図である。
【図９】本明細書において開示される主題の特定の実施形態に従って、クラスターに基づく画像のセットのフィルタリングの２つの例を示す図である。
【図１０】本明細書において開示される主題の特定の実施形態に従って、２つの例示的な社会的マップを示す図である。
【発明を実施するための形態】
【００１３】
以下の詳細な説明では、本発明の完全な理解を可能にするための多くの具体的な詳細を示す。しかし、これらの具体的な詳細がなくても本明細書において開示される主題を実施できるということが、当業者によって理解されるであろう。他の例では、周知の方法、手順、コンポーネント、および回路は、本明細書において開示される主題を曖昧にしないようにするために、詳細には説明されていない。
【００１４】
特に具体的に述べられない限り、以下の説明から明らかなように、本明細書全体を通じて、「取得する」、「識別する」、「生成する」、「提供する」、「クラスター化する」、「描く」、「トレーニングする」、「入力する」、「適用する」、「測定する」、「選択する」、「フィルタリングする」、「導出する」、「マッピングする」、「関連付ける」などの用語を使用する説明は、データを操作するコンピュータおよび／またはデータを他のデータに変換するコンピュータの動作および／またはプロセスのことを指し、前述のデータは、電子、量などの物理的なものとして表され、かつ／または前述のデータは、物理的対象を表す、ということが理解される。「コンピュータ」という用語は、非限定的な例として、本出願において開示される画像に基づく関係分析のコンピュータ化されたシステムならびにその処理およびメモリ回路（ＰＭＣ）を含む、データ処理能力を有する任意の種類のハードウェアベースの電子デバイスを対象とすると広く解釈されるべきである。
【００１５】
本明細書における内容に従う動作は、望ましい目的のために特別に構築されたコンピュータによって、または非一過性コンピュータ可読ストレージ媒体に格納されたコンピュータプログラムによって望ましい目的のために特別に構成された汎用コンピュータによって、実行され得る。
【００１６】
本明細書において使用される「非一過性メモリ」、「非一過性ストレージ媒体」、および「非一過性コンピュータ可読ストレージ媒体」という用語は、本明細書において開示される主題に適した任意の揮発性または不揮発性コンピュータメモリを対象とすると広く解釈されるべきである。
【００１７】
本明細書において開示される主題の実施形態は、いずれかの特定のプログラミング言語を参照して説明されない。本明細書において説明されているように、本明細書において開示される主題の内容を実装するために、さまざまなプログラミング言語が使用されてよいということが理解されるであろう。
【００１８】
本明細書において使用されるとき、「例えば」、「などの」、「例として」という語句、およびこれらの変形は、本明細書において開示される主題の非限定的実施形態を表す。本明細書における「ある場合」、「一部の場合」、「他の場合」、またはこれらの変形への言及は、実施形態に関連して説明された特定の特徴、構造、または特性が、本明細書において開示される主題の少なくとも１つの実施形態に含まれるということを意味する。したがって、「ある場合」、「一部の場合」、「他の場合」という語句、またはこれらの変形の出現は、同じ実施形態を必ずしも指していない。
【００１９】
特に具体的に述べられない限り、別々の実施形態との関連において説明されている本明細書において開示される主題の特定の複数の特徴が、単一の実施形態において組み合わせでも、提供することができるということが、理解される。反対に、単一の実施形態との関連において説明されている本明細書において開示される主題の個々の特徴を、別々に、または任意の適切な部分的組み合わせでも、提供することができる。以下の詳細な説明では、方法および装置の完全な理解を可能にするための多くの具体的な詳細を示す。
【００２０】
本明細書において開示される主題の特定の実施形態では、１つまたは複数の段階が異なる順序実行されてよく、かつ／または段階の１つまたは複数のグループが同時に実行されてよく、この逆であってもよい。
【００２１】
このことを考慮に入れて、図１に注目すると、図１は、本明細書において開示される主題の特定の実施形態に従って、画像に基づく関係分析のコンピュータ化されたシステムのブロック図を概略的に示している。
【００２２】
図１に示されているシステム１１０は、画像に基づいて個人間の関係を分析できるコンピュータベースのシステムである。前述したように、現在の関係分析ツールは、通常、無関係であり、不均一であることが多い制限されたデータリソースに基づくため、例えば、時間と費用がかかるデータ変換および分析などの問題の悪影響を本質的に受ける。関係を評価する場合、特に自動化された手段によって実行される場合に、通常は無視される１つの媒体は、画像である。本明細書において使用される画像とは、交流、関係、および場合によっては人々の間の関係の強度を示すことがある、（束またはアルバムに配置されることがある）人々の写真のことを指す。画像、写真、および像という用語が、本開示において交換可能なように使用されるということに、注意するべきである。
【００２３】
システム１００は、ハードウェアベースのＩ／Ｏインターフェイス１２０を介して、１人または複数の個人の１つまたは複数の画像表現をそれぞれが含んでいるターゲット画像のセットを取得するように構成され得る。ターゲット画像のセットは、例えば、システム１００に動作可能なように接続されたローカルストレージユニット１２２、外部デジタルカメラ、または特定の外部データリポジトリなどの、任意の内部または外部のストレージまたは画像収集デバイスから取得され／取り出され得る。
【００２４】
ターゲット画像のセットが取得された後に、これらの画像に含まれる一意の個人間の関係に関する情報を提供するために、これらの画像を分析する必要がある。そのような画像に基づく関係分析は、特定の課題を提示する可能性がある。例えば、複数の個人の少なくとも一部の間に特定の社会的交流が存在する、複数の個人を含むことが期待されるネイティブ写真（ネイティブ写真とは、自然な周囲の状況および環境内の１人または複数の個人を含んでいることがある標準的な画像のことを指す）の束の場合、分析を実行するときに、次の問題のうちの１つまたは複数が生じることがある。
【００２５】
−  変化する画像品質
特定の画像の物理的特性／パラメータが変化することがある。これは、例として、元の画像のサイズ、解像度、色および明るさ、焦点の質などに関連していることがある。低品質の画像は、画像から情報の抽出を試みるとき、および／またはトレーニングもしくは調整の目的に使用されるときに、障害をもたらすことがあり、それによって不必要なノイズを発生させ、焦点ぼけおよび分析全体の質の低下を引き起こす可能性がある。
【００２６】
−  変化する画像の重要性
すべての画像が、社会的重要性に関連する観点から、同じように作成されるわけではない。すなわち、一部の画像は、個人間の関係を導出することに関して、他の画像より重要である可能性がある。下でさらに詳細に説明されているように、場合によっては、画像内に「埋められた」情報によって、そのような重要性の推定が示され得る。その他の一部の場合では、重要性の推定は、画像自体と共に提出された予備的入力として与えられてよい。例として、そのような事前に提出されるパラメータは、（例えば、画像Ｘが画像Ｙより重要である、などの）相対的方法で提供され得る。
【００２７】
−  乱雑な画像
写真は、２人以上の個人を含んでいることがあるが、分析自体に無関係な他の物体を含んでいることもある。この問題は、変化する画像品質および柔軟な顔の形状（例えば、「写真撮影」の角度）を考慮するときに、さらに増幅される。
【００２８】
−  精度の問題
さまざまな要因が精度の問題を引き起こす可能性がある。下で説明されているように、個人は顔認識モデル（ＦＲＭ）を使用して識別され得る。ＦＲＭは、通常、大きい母集団にわたってトレーニングされ、場合によっては、精度を最大化するために、特定の画像形式および顔の表現の組み立て（例えば、中心に置かれた前向きの顔）を期待することがある。実際の場合、関係分析が適用される母集団セグメントは、汎用的な認識エンジンによって処理された場合に抑制される可能性がある何らかの特有の（または区別された）特性（例えば、子供）を有することがある。場合によっては、画像の一部が、特定の画像内の個人に関する情報、個人が含んでいるものおよび名前など、で事前にタグ付けされることがある。しかし、そのような情報の存在に完全に頼ること、またはそのような情報を信頼性の基準として使用することは、問題のある慣行であることがある。
【００２９】
−  関係の推論
上記の問題のすべてが処理されて軽減された場合でも、最も重要な問題がまだ残っている。すなわち、個人間の関係を推論する方法であり、この方法は、写真入力のみによって確立されることになる。
【００３０】
本明細書において開示される主題は、画像に基づく関係分析を効果的に実施するために、上記の問題に対処することを目指す。再び図１を参照すると、示されているように、システム１００は、Ｉ／Ｏインターフェイス１２０およびストレージユニット１２２に動作可能なように接続された処理およびメモリ回路（ＰＭＣ）１０２を備えることができる。ＰＭＣ１０２は、オペレーティングシステム１００に必要なすべての処理を提供するよう構成され、これらの処理は、図２〜３を参照してさらに詳細に説明される。ＰＭＣ１０２は、プロセッサ（個別に示されていない）およびメモリ（個別に示されていない）を備えている。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一過性コンピュータ可読メモリ上に実装されたコンピュータ可読命令に従って複数の機能モジュールを実行するように構成され得る。そのような機能モジュールは、以下ではＰＭＣに含まれていると見なされる。本明細書において言及されるプロセッサという用語が、データ処理能力を有する任意の処理回路を対象とすると広く解釈されるべきであり、本開示が、プロセッサの種類またはプラットフォーム、あるいはプロセッサに含まれるプロセッシングコアの数に限定されないということに、注意するべきである。
【００３１】
特定の実施形態では、ＰＭＣ１０２に含まれる機能モジュールは、関係アナライザ１０６を備えることができる。任意に、機能モジュールは、下で説明されているように、顔認識モデル１０４および／または社会的マップジェネレータ１０８をさらに備えることができる。ＰＭＣに含まれる機能モジュールは、互いに動作可能なように接続される。
【００３２】
ＰＭＣ１０２は、各ターゲット画像内の画像表現ごとに、対応するベクトル表現を取得し、それによって、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供するように構成され得る。ベクトル表現は、顔認識モデル（ＦＲＭ）によって生成され得る。一部の実施形態では、ＦＲＭの機能は、ＰＭＣ１０２と統合することができ、その場合、ＦＲＭは、図１に含まれるＦＲＭ１０４として示されているように、システム１００の内部構成要素と見なされ得る。しかし、これは単に例示のためであり、本開示を制限するよう全く意図されていない。一部の他の実施形態では、ＦＲＭは、システム１００の外部に存在することができ、システム１００に動作可能なように接続され得る。そのような場合、ＦＲＭによって生成されたベクトル表現は、このようにして、Ｉ／Ｏインターフェイス１２０を介してＰＭＣ１０２によって受信される。関係アナライザ１０６は、類似性尺度を使用して、複数のベクトル表現を、ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化し、ターゲット画像ごとに、画像に関連付けられた１人または複数の一意の個人を取得するように構成され得る。関係アナライザ１０６は、このセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、所与のターゲット画像を特徴付ける画像パラメータのセットを取得し、画像パラメータのセットを使用して、局所的関係行列を生成するようにさらに構成され得る。画像パラメータのセットは、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の関係の測定を示す少なくとも１つのパラメータを含む。局所的関係行列は、１人または複数の一意の個人間の局所的相互関係を表す。したがって、ターゲット画像のセットに対応する局所的関係行列のセットが取得され得る。関係アナライザ１０６は、局所的関係行列のセットを結合することによって、大域的関係行列を生成するようにさらに構成され得る。大域的関係行列は、複数の一意の個人間の関係を表す。一部の実施形態では、ＰＭＣは、大域的関係行列に基づいて社会的マップを描くように構成された社会的マップジェネレータ１０８をさらに備えることができ、社会的マップは、複数の一意の個人間の関係のグラフィック表現である。これらの動作の詳細が、図２を参照して下でさらに詳細に説明される。
【００３３】
一部の実施形態では、ストレージユニット１２２は、例えばターゲット画像、ベクトル表現、および／または生成された社会的マップのセットなどの、必要な入力および出力ならびに中間処理結果を格納するように構成され得る画像データベース（個別に示されていない）を含むことができる。ターゲット画像は、事前に取得されて画像データベースに格納することができ、ＰＭＣによって画像データベースから取り出すことができる。ストレージユニットは、図１ではシステム１００に含まれるように示されているが、これは単に説明のためであり、本開示を制限していると決して見なされるべきではないということに、注意するべきである。場合によっては、画像データベースは、システム１００の外部、例えば、特定の外部データリポジトリ内または外部システムもしくはプロバイダ内に存在することができ、ターゲット画像は、Ｉ／Ｏインターフェイス１２０を介して取り出され得る。
【００３４】
任意に、システム１００は、入力および／または出力の表示をユーザに提供するように構成されたグラフィカルユーザインターフェイス（ＧＵＩ：ｇｒａｐｈｉｃａｌ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）１２４をさらに備えることができる。例えば、グラフィック表現としての社会的マップが、ＧＵＩを介してユーザに表示され得る。任意に、ＧＵＩは、オペレーティングシステム１００のための、ユーザによって指定された入力を可能にするように構成され得る。
【００３５】
システム１００は、さまざまな目的および応用、例えば、ソーシャルネットワーク、セキュリティ関連の応用などのための関係分析に使用することができる。本開示が、システムのいずれかの特定の使用および応用に限定されないということが理解されるべきである。
【００３６】
図１に示されたシステムは、分散コンピューティング環境内で実装することができ、分散コンピューティング環境に含まれる前述の機能モジュールを、複数のローカルデバイスおよび／またはリモートデバイスにわたって分散することができ、通信ネットワークを介してリンクすることができるということにも注意する。
【００３７】
当業者は、本明細書において開示される主題の内容が図１に示されたシステムによって制約されず、同等の機能および／または修正された機能を、別の方法で統合するか、または分割することができ、ファームウェアおよびハードウェアとのソフトウェアの任意の適切な組み合わせで実装することができるということを、容易に理解するであろう。図１のシステムは、スタンドアロンのネットワークエンティティであることができ、または他のネットワークエンティティと完全に、または部分的に統合され得る。当業者は、含まれるデータベースが他のシステムと共有されるか、またはサードパーティの機器を含む他のシステムによって提供され得るということも、容易に理解するであろう。
【００３８】
システム１００の動作のプロセスは、図２〜３に関して説明される方法の段階の一部またはすべてにそれぞれ対応することができるが、必ずしもそうではない。同様に、図２〜３に関して説明される方法およびそれらの可能な実装は、システム１００によってそれぞれ実装され得る。したがって、図２〜３に関して説明される方法に関連して説明される実施形態は、必要な変更を加えて、システム１００のさまざまな実施形態として実装することができ、この逆も同様であるということに注意する。
【００３９】
ここで図２を参照すると、本明細書において開示される主題の特定の実施形態に従って、画像に基づく関係分析の一般化されたフローチャートが示されている。
【００４０】
ターゲット画像のセットが（例えば、図１に示されているように、Ｉ／Ｏインターフェイス１２０を介して、またはストレージユニット１２２から、ＰＭＣ１０２によって）取得され得る（２０２）。各ターゲット画像は、１人または複数の個人の１つまたは複数の画像表現を含む。一部の実施形態では、ターゲット画像のセットは、個人の特定のグループ、例えば、特定の年齢グループまたは民族性または組織などをターゲットにすることができる。個人の画像表現とは、画像内の個人の視覚的特徴（すなわち、個人の外観）を表す／特徴付ける画像データのことを指す。例として、１つの画像が、３人の個人Ａ、Ｂ、およびＣを含んでいることがあり、したがって、３人の個人に対応する３つの画像表現を含んでいることがある。別の例として、同じ人Ａが２つの異なる画像に出現することがあり、したがって各画像は、Ａの各画像表現を含んでいる。画像のセットは、任意の既知の適切な形式、種類、サイズ、および解像度であることができ、本開示は画像のそのような仕様に限定されない。
【００４１】
各ターゲット画像内の画像表現ごとに、対応するベクトル表現（本明細書ではベクトルとも呼ばれる）を、（例えば、図１に示されているように、Ｉ／Ｏインターフェイス１２０を介して、またはストレージユニット１２２から、ＰＭＣ１０２によって）取得することができ（２０４）、それによって、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を提供する。一部の実施形態では、各画像表現に対応するベクトル表現は、顔認識モデル（ＦＲＭ）（顔認識エンジン（ＦＲＥ：Ｆａｃｉａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｅｎｇｉｎｅ）とも呼ばれる）によって生成され得る。そのようなモデルの例示的な実装は、個人の顔の画像を受け取り、モデルによって処理された顔のデジタル特徴抽出を表す多次元（例えば、Ｑ次元）ベクトル表現、すなわち、Ｑ個の数字のリストを出力することができ、異なる次元は顔の異なる特徴を表す。このセット内の各ターゲット画像がＦＲＭによって処理され、ターゲット画像内に出現する１人または複数の人を表す１つまたは複数のベクトル表現が生成される。
【００４２】
ベクトル表現は、ある程度、識別または区別の形態として使用され得る。例えば、ＦＲＭを使用して、人Ｘの写真からベクトルＶｘが生成され、人Ｙの写真からベクトルＶｙが生成されると仮定する。ＶｘとＶｙの間の差異が相対的に大きい場合、これらは異なる個人の写真である可能性が高い。しかし、差異が相対的に小さい場合、これらは同じ人の写真である可能性が高い。
【００４３】
さまざまな使用可能な市販のＦＲＭ製品が存在するが、前述したように、ほとんどのＦＲＭは、比較的大きい汎用的な母集団に対して事前にトレーニングされ、このことが、通常は汎用的な母集団よりも非常に狭く、何らかの事前に区別された特性を有する特定の一意の母集団セグメント（例えば、前述したターゲット画像のセット）にＦＲＭが使用される場合に、ＦＲＭの精度に影響を与えることがあるということに注意するのは、重要である。したがって、ＦＲＭをベクトル表現の生成に使用する前に、このために特に選択された複数の写真をＦＲＭに経験させることによって、ＦＲＭを微調整するか、または再トレーニングする必要がある。
【００４４】
ここで図３を参照すると、本明細書において開示される主題の特定の実施形態に従って、顔認識モデルのトレーニングプロセスの一般化されたフローチャートが示されている。
【００４５】
一部の実施形態では、顔認識モデルは、個人の特定のグループをターゲットにする画像のトレーニングセットを使用してトレーニング／微調整され得る。トレーニングセット内の各画像は、画像に含まれる１人または複数の一意の個人で事前にタグ付けされる。具体的には、画像のトレーニングセットは、画像の複数のサブセットを含むように提供され（３０２）、各サブセットは、特定のグループからの各個人で事前にタグ付けされる。例えば、トレーニングセットは、人Ａでそれぞれ事前にタグ付けされた画像の第１のサブセット、人Ｂでそれぞれ事前にタグ付けされた画像の第２のサブセットなどを含むことができる。場合によっては、変化する画像品質、変化する画像の重要性、乱雑な画像などに関連する前述の問題のため、画像の複数のサブセットが、ＦＲＭの精度を高めるために、顔認識モデルのトレーニングに使用される前にフィルタリングされ得る。このようにして、各個人に対応する複数のフィルタリングされたサブセットが取得され得る（３０４）。具体的には、各個人で事前にタグ付けされた画像の所与のサブセットごとに、画像の所与のサブセットが顔認識モデルに入力され（３０６）、画像の所与のサブセット内の各個人を表すベクトル表現のクラスターを取得することができる。類似性尺度がクラスターに適用され（３０８）、画像のフィルタリングされたサブセットに対応するベクトル表現の削減されたクラスターを生成することができる。各個人に対応する複数のフィルタリングされたサブセットが取得された後に、トレーニングのために複数のフィルタリングされたサブセットをＦＲＭに入力することによって、顔認識モデルがトレーニングされ得る（３１０）。
【００４６】
ここで図４を参照すると、図４は、本明細書において開示される主題の特定の実施形態に従って、ＦＲＭのトレーニングのために、特定の個人で事前にタグ付けされた画像のサブセットをフィルタリングすることの例示的な図を示している。
【００４７】
Ｎ個の画像のサブセットがＦＲＥに入力され、画像のサブセット内の特定の個人を表すＮ個のベクトル表現のクラスター４０２が示されている。各ベクトル表現は、対応する画像の多次元デジタル特徴抽出を表す。特徴空間内の例示的なＱ次元ベクトル表現が、４０４として示されている。理想的な状態では、画像の品質が完全であり、ＦＲＭが完全に調整されている場合、すべての画像が同じ個人の画像であり、ほぼ同一のベクトル表現を有しているはずであるため、クラスターのサイズが著しく小さいということが期待され得る。しかし、実際の場合、精度の問題に起因して、画像が、Ｑ次元空間内で単におおよそ類似する「方向」を指し示すベクトル表現に変換されて、クラスター４０２を形成するため、クラスターのサイズは無視できない。フィルタリングの目的で、類似性尺度をクラスター４０２に適用できる。例として、受容の境界線、すなわち、どの画像を特定の個人に関連付けることができるか、およびどの画像をフィルタリングして除去するべきかを定義するために、しきい値が設定され得る。最終結果として、同じ人で事前にタグ付けされたＮ個の画像のサブセットのうち、画像のフィルタリングされたサブセットに対応するベクトル表現の削減されたクラスター４０６を構成する、Ｎ’個の画像のみが残る（Ｎ’＜Ｎ）。例えば、特定の距離偏差の測定によって、境界線が決定され得る。例えば、各ベクトル表現とクラスターの中心の間の距離を測定することができ、この距離を既定のしきい値と比較することができる。このＮ’個の画像のフィルタリングされたサブセットは、トレーニング段階の間にＦＲＭの調整に使用できる、元の束のきれいなバージョンと見なすことができる。
【００４８】
前述したプロセスを、特定のグループ内のすべての個人の画像の事前にタグ付けされたすべてのサブセットに対して繰り返すことができる。ここで図５を参照すると、本明細書において開示される主題の特定の実施形態に従って、ベクトル表現の複数のクラスターおよび対応する削減されたクラスターの例示的な図が示されている。図に示されているように、各個人に対応するＮ個の画像の複数のサブセットについて、ベクトル提示が、図５に示されているように、特定の個人をそれぞれ表すＮ個のベクトル表現の複数のクラスター４０２を形成する。図４を参照して説明したフィルタリング手法と同様の手法を適用することによって、画像の複数のフィルタリングされたサブセットに対応するベクトル表現の複数の削減されたクラスター４０６を取得することができ、その後、この削減されたクラスター４０６をＦＲＭのトレーニングに使用することができる。
【００４９】
そのような方法でトレーニングされたＦＲＭは、母集団の特定のグループをターゲットにするために微調整され、トレーニングされていないＦＲＭと比較して、特定のグループ内の個人を識別するための改善された精度を有する。トレーニングされたＦＲＭは、ブロック２０２で受信されたターゲット画像のセットを処理するために使用することができ、ブロック２０４を参照して前述したように、ターゲット画像のセットに含まれる個人の複数の画像表現に対応する複数のベクトル表現を生成する。
【００５０】
引き続きブロック２０４を説明すると、このセット内のすべてのターゲット画像がＦＲＭによって処理された後に、このセット内のすべての個人の出現を表す複数のベクトル表現が取得される。場合によっては、各ベクトル表現に、特有のインデックス番号を割り当てることができる。ベクトルの生成元の画像参照番号は、ベクトル表現に関しても参照される。例えば、２人の個人を含む画像番号３２４を処理して、［３２５，Ｖ121，Ｖ122］のエントリを得ることができる。画像番号への参照は、ベクトルおよび表された個人から関連する画像に遡るために必要である。このセット内のすべての画像を処理した後に（このセット内にＬ個の画像が存在すると仮定する）、Ｌ個のエントリを取得することができ、各エントリは、上で例示したように、画像参照番号と、各画像内に出現する個人を表す１つまたは複数のベクトルとを含む。各画像が少なくとも１人の個人を含んでいるため、ベクトルの数は、画像の数Ｌより大きくなり得るということが期待できる。一部の人がターゲット画像のセット内で２回以上出現することがあるため、一意の個人の実際の数Ｋは、ベクトルの数より小さいということも期待できる。したがって、複数のベクトル表現のうちの１つまたは複数のベクトル表現は、（例えば、画像品質、異なる外観／視点、ＦＲＭの精度などに関連する問題に起因して）互いに異なっているが、実際は同じ一意の個人を表していることがある。
【００５１】
このセットに含まれる一意の個人を導出するために、類似性尺度を使用して（例えば、図１に示されているように、ＰＭＣ１０２内の関係アナライザ１０６によって）、複数のベクトル表現を、ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターにクラスター化することができる（２０６）。したがって、ターゲット画像ごとに、画像に関連付けられた１人または複数の一意の個人が取得され得る。
【００５２】
すべてのベクトル表現がＱ次元空間内で投影された場合、画像のセットに含まれるＫ人の一意の個人に対応するＫ個のクラスターを観測することが期待され得る。一部の実施形態では、クラスター間に境界線を引き、同じ一意の個人に関連付けられたベクトル表現を推論するために、測定方法が確立され得る。例として、類似性尺度を使用して類似性行列を生成することができ、類似性行列は、ベクトル表現の各対の間の類似性をそれぞれが示す要素を含む。類似性行列によって類似していることが示された１つまたは複数のベクトル表現に関して、これらのベクトル表現が同じ一意の個人を表しているということが決定され得る。類似性尺度は、２つのデータオブジェクト（例えば、２つのベクトル）がどの程度似ているかの尺度である。例えば、類似性尺度は、距離の測定に基づくことができ、この距離が小さい場合、高い類似性を示し、この距離が大きい場合、低い類似性を示す。
【００５３】
例として、類似性尺度は、２つのベクトル間の隣接性を測定できる距離関数ｄ（ｕ，ｖ）、および特定のしきい値設定に基づいて、このしきい値を超えているかどうかに応じて１または０を出力できるしきい値関数ｈ（ｘ）という、２つの関数を使用して実装され得る。例えば、距離関数はユークリッド距離の測定に基づくことができ、しきい値関数は比較計算に基づくことができる。説明の目的で、複数のベクトル表現に合計ｍ個のベクトルが存在すると仮定する。ｍ×ｍの次元を有する類似性行列Ｄを作成することができ、この行列の各要素は、Ｄij＝ｈ［ｄ（ｕ，ｖ）］である。すべての対角値をゼロに設定できることに注意する。値１を有する任意の要素Ｄijは、対応するベクトルインデックスｉとｊの間の類似性を示す。ここで図６を参照して、本明細書において開示される主題の特定の実施形態に従って、この方法を使用してターゲット画像のセットに含まれている一意の個人を導出することの例示的な図が説明される。
【００５４】
この例では、ターゲット画像のセットが４つの画像を含むということを仮定する。第１の画像（画像番号１）は、ベクトル表現Ｖ１によって表された１人の個人を含み、第２の画像（画像番号２）および第３の画像（画像番号３）は、Ｖ２、Ｖ３およびＶ４、Ｖ５によってそれぞれ表された２人の個人をそれぞれ含み、第４の画像（画像番号４）は、Ｖ６、Ｖ７、およびＶ８によって表された３人の個人を含む。画像のセットのエントリが、表６０１に例示されている。
【００５５】
前述した方法を使用して、次のように類似性行列を生成することができる。
【数１】
2021530773.tif 000003
【００５６】
示されているように、（Ｖ１に対応する）第１の行は、Ｖ１、Ｖ２、およびＶ８が類似している（すなわち、要素Ｄ12およびＤ18の値が１である）ことを示している。第２の行は、さらに、Ｖ２がＶ４に類似していること（すなわち、Ｄ21＝１に加えて、要素Ｄ24も１の値を有する）ことを示している。続いて第３の行では、Ｖ３がＶ５およびＶ７に類似していることが示されている。この例では、Ｖ４は、Ｖ２に類似しているとして（第４の行に）示されているが、（距離の測定に起因して）Ｖ１またはＶ８に対する同じ類似性を有しているとは示されていない。類似するベクトルの決定は、さまざまな手法によって実現することができ、説明および簡潔さの目的で、この例では、相互に類似性を示す（すなわち、行列内の１の値を有する対応する要素によって示される）ベクトルが、類似性ベクトルであり、したがって同じ一意の個人を表していると決定される。例えば、この例では、Ｖ１、Ｖ２、Ｖ４、Ｖ８が類似しており、同じ一意の個人番号１（Ｐ１として示される）を表す。Ｖ３、Ｖ５、およびＶ７が類似しており、同じ一意の個人番号２（Ｐ２として示される）を表す。加えて、Ｖ６は一意であり、類似する仲間がいない。したがって、Ｖ６は一意の個人番号３（Ｐ３として示される）を表すことができる。
【００５７】
上記の類似性の決定に基づいて、表６０１から表６０２が導出され得る。表６０２に示されているように、画像番号１が、類似性尺度に基づいてＰ１を表すベクトル表現Ｖ１に関連付けられるため、画像番号１が一意の個人Ｐ１を含むということが導出され得る。同様に、画像番号２および画像番号３が両方とも一意の個人Ｐ１およびＰ２を含むということが導出され得る。画像番号４は、一意の個人Ｐ１、Ｐ２、およびＰ３を含む。したがって、ブロック２０６を参照して説明されたように、各ターゲット画像に関連付けられた一意の個人が取得される。
【００５８】
任意に、各行エントリが一意の個人を表し、画像のセット内の出現の関連するリストを含んでいる、追加的または代替的な表が、次のように作成されてもよい。
Ｐ１：（１，Ｖ１）、（２，Ｖ２）、（３，Ｖ４）、（４，Ｖ８）
Ｐ２：（２，Ｖ３）、（３，Ｖ５）、（４，Ｖ７）
Ｐ３：（４，Ｖ６）
【００５９】
この表は、３人の一意の個人を表す３つの行を含んでいる。第１の行は、画像１、２、３、および４内の人Ｐ１の出現（および、この個人の対応するベクトル表現）を示している。第２の行は、写真２、３、および４内の人Ｐ２の出現（および、この個人の対応するベクトル表現）を示している。第３の行は、画像番号４内の人Ｐ３の出現を示している。場合によっては、ベクトルがその後の計算に不要であれば、次のような、この表の簡略化された形式を使用できる。
Ｐ１：（１）、（２）、（３）、（４）
Ｐ２：（２）、（３）、（４）
Ｐ３：（４）
【００６０】
上記および図６に示された表の表現は、単に説明および例示のためであり、本開示を制限していると決して解釈されるべきでないということに、注意するべきである。画像と含まれている個人の間の関連性を示すことができるデータ構造表現のその他の適切な形態が、上記に加えて、または上記の代わりに、使用され得る。
【００６１】
各ターゲット画像に関連付けられた一意の個人を導出することについて説明したが、ここで、画像内に出現する個人間の社会的交流を反映する情報を含むことが期待されるターゲット画像に基づいて、これらの一意の個人間の関係を推論することが説明される。
【００６２】
再び図２を参照すると、ターゲット画像のセットの少なくとも１つのサブセットの所与のターゲット画像ごとに、所与のターゲット画像を特徴付ける画像パラメータのセットが（例えば、ＰＭＣ１０２内の関係アナライザ１０６によって）取得され得る（２１０）。一部の実施形態では、画像パラメータのセットは、所与のターゲット画像に関連付けられた１人または複数の一意の個人間の関係の測定を示す少なくとも１つの計算されたパラメータを含むことができる。計算されたパラメータとは、ターゲット画像を処理して分析することによって取得されるパラメータのことを指す。この種のパラメータは、下で説明される画像の物理的パラメータと比較して、ある程度の計算を実行せずに画像から直接アクセス可能／抽出可能ではない。計算されたパラメータは、通常、単一のターゲット画像内またはターゲット画像の完全なセット内に出現する個人の相対的態様に関連付けられる。場合によっては、特定の計算されたパラメータが、（画像に含まれる個人間の関係パラメータを示す）行列形式で提示され得る。１つの実施形態では、少なくとも１つの計算されたパラメータは、特定のターゲット画像に関連付けられた１人または複数の一意の個人間の相対距離を示す距離行列を含むことができる。例えば、距離行列Ｍは、ｎ×ｎの次元であることができ、ｎは、ターゲット画像に含まれる一意の個人の数である。この行列内の各要素Ｍijは、２人の対応する個人ｉとｊの間の相対距離（例えば、ユークリッド距離）の測定を表すことができる。別の実施形態では、少なくとも１つの計算されたパラメータは、距離行列に加えて、関連付けられた一意の個人の番号、個人の特定のベクトル、および画像に関連するベクトルなどを含んでいるグループから選択された１つまたは複数の追加の計算されたパラメータをさらに含むことができる、計算されたパラメータのサブセットのことを指すことができる。例として、所与のターゲット画像に関連付けられた一意の個人の番号のパラメータは、前述したように、顔認識およびクラスター化の計算プロセスの後にのみ、取得され得る。個人に固有のベクトルは、対応する個人の特定の特性／測定を表すことができるｎ個の構成要素を含むことができ、一方、画像に関連するベクトルは、個人に固有ではないターゲット画像の特定の特性／測定を表すことができる。
【００６３】
特定の実施形態では、少なくとも１つの計算されたパラメータに加えて、画像パラメータのセットは、事前に提出されたパラメータのサブセットおよび／または物理的パラメータのサブセットをさらに含むことができる。
【００６４】
事前に提出されたパラメータとは、以前に提出された画像パラメータのことを指し、各画像に付随する。例えば、事前に提出されたパラメータは、ＦＲＭのトレーニング段階の間に画像にタグ付けするときに提出された、画像に含まれるタグ付けされた個人情報を含むことができる。別の例は、他の画像と相対的な１つの画像の重要度を示す、事前に提出された重要性パラメータであることができる。この重要性パラメータは、下で例示されるように、特に情報が相反するか、または部分的である場合に、（例えば、局所的関係に基づいて大域的関係を計算するときに）入力全体に対する重み付けに使用することができ、他の画像に対して１つの画像から推論される／増やされることが可能である。
【００６５】
物理的パラメータとは、さらに計算を実行せずに画像自体から簡単に抽出できる、画像の物理的特性に関連するパラメータのことを指す。これらのパラメータは、例えば、元の画像のサイズ、画像の解像度、全体的品質、画像が撮影された日付などを含むことができる。
【００６６】
画像パラメータのセットが取得された後に、画像パラメータのセットを使用して（例えば、ＰＭＣ１０２内の関係アナライザ１０６によって）局所的関係行列が生成され得る（２１２）。局所的関係行列は、所与のターゲット画像に含まれるか、または関連付けられた１人または複数の一意の個人間の局所的相互関係を表すことができる。場合によっては、局所的関係行列は、１人または複数の一意の個人間の局所的相互関係の強度の情報を提供することができる。例えば、距離行列を、個人間の局所的関係の強度の指示として使用することができる。一部の実施形態では、所与のターゲット画像ごとに、画像パラメータのセットを使用して重みを導出することができ、この重みは、所与のターゲット画像の重要性を示す（この重みが、事前に提出された重要性パラメータとは異なる、計算されたパラメータであることに注意する）。ブロック２１４を参照して下で説明されているように、大域的関係行列を生成するときに、この重みを使用することができる。すべてのターゲット画像が分析された後に、それによって、ターゲット画像の少なくとも１つのサブセットに対応する局所的関係行列のセットが取得される（２０８）。
【００６７】
ここで図７を参照すると、本明細書において開示される主題の特定の実施形態に従って、例示的な画像パラメータおよびこれらのパラメータを使用した局所的関係行列の生成の概略図が示されている。
【００６８】
示されているように、特定のターゲット画像７０１に関して、事前に提出されたパラメータＳｐ、物理的パラメータＰｐ、および計算されたパラメータＣｐを含む、画像パラメータの３つの可能なサブセットが示されている。計算されたパラメータＣｐは、前述したように、ターゲット画像に含まれる一意の個人の数（ｎ）、距離行列（Ｍ−ｎ×ｎ）、個人ベクトルＮ（１×ｎ）、および画像ベクトルＪのうちの１つまたは複数をさらに含むことができる。画像パラメータのセットの少なくとも一部を使用して、局所的関係行列Ｒおよび写真の重要性値ｗ（すなわち、ターゲット画像の重み）、例えば、Ｒ＝Ｆ（Ｍ，Ｎ，Ｊ，Ｓp，Ｐp）、Ｗ＝ｇ（Ｍ，Ｎ，Ｊ，Ｓp，Ｐp）が導出され得る。１つの例では、各写真の重要性値は、すべての写真に関してｗi＝１として設定され得る。別の例では、関係を評価するために、計算されたパラメータ、例えば、距離行列Ｍのみを使用することが決定されてもよい。単純な形態では、Ｒ＝Ｍと設定することができ、これは、写真内の個人間の測定のみが、局所的関係行列に直接影響を与えるということを意味する。さらに簡略化された例では、行列Ｍのすべての非対角要素が１の値を含む（かつ、対角要素が０の値を含む）場合、これは、実際は、写真内の出現のみが考慮される場合を指している（すなわち、Ｍij＝１は、相互の出現に起因して、ＰｉおよびＰｊが接続されるということを意味する）。
【００６９】
大域的関係行列は、（例えば、ＰＭＣ１０２内の関係アナライザ１０６によって）局所的関係行列のセットを結合することによって生成され得る（２１４）。大域的関係行列は、ターゲット画像のセットに含まれる複数の一意の個人間の関係を表すことができる。一部の実施形態では、大域的関係行列は、一意の個人の数に対応する次元を有する。大域的関係行列は、大域的関係行列内の関連付けられた一意の個人のインデックスに従って、各局所的関係行列をこの次元にマッピングすることによって生成され得る。
【００７０】
ここで図８を参照すると、本明細書において開示される主題の特定の実施形態に従って、局所的関係行列に基づく大域的関係行列の生成の概略図が示されている。
【００７１】
所与の画像番号ｉごとに、局所的関係行列Ｒｉが、関連する画像内に出現する一意の個人間の局所的関係を表している。したがって、（例えば、ｋ×ｋの次元を有する）大域的関係行列Ｃに結合される場合、それらの個人（すなわち、所与の画像内に出現する個人）に関連する、Ｃの関連する行および列のみが、その重要性に従って影響を受ける。例えば、画像番号７がＰ１、Ｐ３、およびＰ４を含んでいる場合、Ｃ13、Ｃ14、Ｃ34（およびそれらの転置された位置）のみが、Ｒ7による影響を直接受ける可能性がある。画像番号７の重要性ｗ7は、Ｃに対するＲ7の寄与を概して増やす／高めるか、または減らすことができる。Ｒｉが個人の一部のみに関連しているが、Ｃが画像のセット内に出現するすべての個人に関連しているため、Ｒｉの次元がＣの次元より小さい（または等しい）ということが認められている。図８では、変換Ｒ*＝Φ（Ｒ）が、より大きいｋ×ｋ行列へのＲのマッピングとして示されており、その要素をより大きい行列内の対応する場所に配置している。
【００７２】
例えば、図６を参照する前の例では、画像のうちの１つ（例えば、画像番号２）が、次のように、３人の一意の個人のうちの２人のみに対処していた。
［２：Ｐ１，  Ｐ２］
【００７３】
局所的関係行列Ｒ2は、
【数２】
2021530773.tif 000004
として提示され得る。これらの値は、大域的関係行列Ｃ内の（１，１）、（１，２）、（２，１）、および（２，２）にある要素のみに影響を与えるべきであるため、ＣへのＲ2のマッピングは次のようになる。
【００７４】
【数３】
2021530773.tif 000005
【００７５】
一般に、Ｃの計算は
【数４】
2021530773.tif 000006
になり、ここでｆ（．，．）は、重要性／重みに従って局所的関係行列の寄与を較正する重み付け関数である。例えば、１つの可能な実装は、ｆ（ａ，Ｒ）＝ａ＊Ｒであることができる。重要性指標が無視される場合、ｆ（ａ，Ｒ）＝Ｒである。
【００７６】
場合によっては、このセット内の各ターゲット画像が、個人間の関係を導出するために使用されない。ターゲット画像のセットに含まれる複数の一意の個人に対応するベクトル表現の複数のクラスターを取得した後に、複数のクラスターに基づいてターゲット画像のセットをフィルタリングし、フィルタリングされたサブセットを生成することができ、少なくともフィルタリングされたサブセット内の画像ごとに、関係分析（例えば、パラメータ抽出、局所的関係行列の生成など）が実行される。ターゲット画像のセットのフィルタリングは、さまざまな方法で実行され得る。図９は、本明細書において開示される主題の特定の実施形態に従って、クラスターに基づく画像のセットのフィルタリングの２つの例を示している。
【００７７】
上の図では、複数のクラスター９０１が取得された後に、例えば、図４を参照して前述したように、特定の距離の測定に基づいて境界線９０２またはしきい値を設定することによって、クラスターごとにフィルタリングが実行され、それによって、画像のフィルタリングされたサブセットを構成するフィルタリングされたクラスターを生成する。下の図では、おそらく重要性またはその他の関連するパラメータに起因して、複数のクラスター９０３のうちの１つのクラスター９０４がフィルタリングされて除去される。
【００７８】
一部の実施形態では、大域的関係行列が生成された後に、大域的関係行列に基づいて社会的マップが描かれ得る。社会的マップは、ターゲット画像のセットに含まれる複数の一意の個人間の関係のグラフィック表現である。
【００７９】
上で示された例を引き続き使用すると、各ターゲット画像に関連付けられた一意の個人を示す表６０２が、簡略化された形態で次のように示される。
［１：Ｐ１］
［２：Ｐ１，  Ｐ２］
［３：Ｐ１，  Ｐ２］
［４：Ｐ３，  Ｐ２，  Ｐ１］
【００８０】
追加の画像情報もパラメータも追加されない場合、上記のレコードに基づいて局所的関係行列を生成することができ（前述したように、局所的関係行列内の非対角要素が１の値を含み、画像内の出現／発生のみが考慮される場合を指している）、大域的関係行列が、次のように生成され得る。
【００８１】
【数５】
2021530773.tif 000007
【００８２】
Ｃ内の値１を含む要素は、関係の単一の発生（１つの写真内の相互の出現）を示し、２の値は、二重の発生を示す。例えば、Ｃ12は、２つの異なる画像内でＰ１およびＰ２が一緒に出現したことを示している。上記のＣに基づいて、図１０に示されているように、第１の社会的マップ１００１を描くことができ、Ｐ１とＰ２の間の太い線は、Ｐ１とＰ３およびＰ２とＰ３の間の接続と比較して、より強い関係を示している。
【００８３】
ここで、さらに多くの画像パラメータが取得される例示的な事例が示される。例えば、画像の重要度を示す事前に提出された重要性パラメータが、上記のレコードに適用され得る（このパラメータは０〜５の値を有し、５が最高の重要性である）。
０−［１：Ｐ１］
２−［２：Ｐ１，  Ｐ２］
１−［３：Ｐ１，  Ｐ２］
５−［４：Ｐ３，  Ｐ２，  Ｐ１］
【００８４】
さらに、写真が撮影された日付に関連する物理的パラメータが追加されてもよい。この例では、最近（１カ月未満）の写真を表すために「Ｒ」が使用され、過去１年以内に撮影された写真を表すために「Ｙ」が使用され、さらに古い写真には「Ｏ」が使用される。
Ｏ  Ｙ−［１：Ｐ１］
２  Ｏ−［２：Ｐ１，  Ｐ２］
１  Ｏ−［３：Ｐ１，  Ｐ２］
５  Ｒ−［４：Ｐ３，  Ｐ２，  Ｐ１］
【００８５】
さらに、計算されたパラメータ、すなわち、一意の個人ＰiとＰjの間の距離である相対距離ｄijが、各写真から計算され、次のように追加され得る。
Ｏ  Ｙ−［１：Ｐ１］
２  Ｏ−［２：Ｐ１，  Ｐ２］  ｄ１２＝０．３２
１  Ｏ−［３：Ｐ１，  Ｐ２］  ｄ１２＝０．３
５  Ｒ−［４：Ｐ３，  Ｐ２，  Ｐ１］  ｄ１２＝０．４  ｄ１３＝０．０５  ｄ２３＝０．０７
【００８６】
この場合、第４の写真が、Ｐ１およびＰ２とのＰ３の関係を高度に強調しているということが、非常に明らかである。この写真は、高い重要性でフラグ付けされ（例えば、重要性パラメータが５の値を有する）、最近であり、Ｐ３と他の個人の間の距離が相対的に短く、これは、より近い関係を示すことがある。そのような場合、関係の強度の計算に影響を与える可能性があり、行列Ｃが次のようになることがある。
【００８７】
【数６】
2021530773.tif 000008
【００８８】
図１０に示されているように、更新されたＣに基づいて第２の社会的マップ１００２を描くことができ、第２の社会的マップ１００２では、Ｐ１とＰ３の間の接続、およびＰ２とＰ３の間の接続が強化され、それによって、３人の個人の間でさらにバランスのとれた関係を示している。
【００８９】
ＦＲＭの調整／トレーニングを、初期段階で使用される画像のトレーニングセットに限定する必要はないということを、注意するべきである。システムは、実行時に、新しい画像の束を処理するプロセスを通じて、同じ個人を含む可能性が高い写真を識別する。図６を参照する前の例では、４つの画像内で、８つのベクトル表現が存在することが示されているが、実際は、３人の一意の個人のみが含まれている。Ｐ１は、実際はＶ１、Ｖ２、Ｖ４、およびＶ８であり、Ｐ２は、実際はＶ３、Ｖ５、およびＶ７である。したがって、（すべての写真に出現する）Ｐ１の４つの写真および（第１の写真以外のすべての写真に出現する）Ｐ２の３つの写真が存在する。したがって、（調整後の）実行時に推論されたときに、同じ個人の複数の写真が存在する場合、後の段階で、それらの写真をＦＲＭの調整に使用することができる。
【００９０】
本説明において関係分析プロセスを参照して示された例および実施形態が、可能性のあるすべての代替手段を決して含んでおらず、単に非限定的な例を示すよう意図されているということが、理解される。
【００９１】
本発明が、応用において、本明細書に含まれている説明において示されたか、または図面に示された詳細に限定されないということが、理解されるべきである。本発明は、他の実施形態であることができ、さまざまな方法で実践および実行することができる。したがって、本明細書において採用される表現および用語は、説明を目的としており、制限と見なされるべきではないということが、理解されるべきである。そのため、当業者は、本開示が基づく概念が、本明細書において開示される主題の複数の目的を実行するために他の構造、方法、およびシステムを設計するための基礎として容易に利用されてよいということを理解するであろう。
【００９２】
本発明に従うシステムが、適切にプログラムされたコンピュータ上に少なくとも部分的に実装されてよいということも、理解されるであろう。同様に、本発明は、本発明の方法を実行するためにコンピュータによって読み取り可能であるコンピュータプログラムを企図する。本発明は、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを有形に具現化する非一過性コンピュータ可読メモリまたはストレージ媒体をさらに企図する。
【００９３】
プロセッサに本発明の態様を実行させる非一過性コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。
【００９４】
当業者は、添付の特許請求の範囲において定義された範囲、および添付の特許請求の範囲によって定義された範囲から逸脱することなく、さまざまな修正および変更が、本明細書において前述した本発明の実施形態に適用され得るということを、容易に理解するであろう。
【図１】
2021530773.tif 000009
【図２】
2021530773.tif 000010
【図３】
2021530773.tif 000011
【図４】
2021530773.tif 000012
【図５】
2021530773.tif 000013
【図６】
2021530773.tif 000014
【図７】
2021530773.tif 000015
【図８】
2021530773.tif 000016
【図９】
2021530773.tif 000017
【図１０】
2021530773.tif 000018
【国際調査報告】
2021530773.tif 000019
2021530773.tif 000020
2021530773.tif 000021