(57)【要約】ドローン映像ベースの行動認識のための方法が提供される。本方法は、ターゲット映像クリップから抽出された元の特徴に応答して、ターゲット映像のセットから取得されたターゲット映像クリップの各々に対する変換を学習する（２２０）。この変換は、ターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得されたソース映像クリップに対応するソース非ドローンドメインとの間の差異を補正する。本方法は、元の特徴に変換を適用して、ターゲット映像クリップのための変換された特徴を得ることによって、ターゲットをソースドメインに適合させる（２２５）。この方法は、ターゲット映像クリップの同じものの元の特徴と変換された特徴とを、ターゲット映像のそれぞれに対して単一の分類特徴に変換（２３０）する。本方法は、ターゲット映像のそれぞれに対する単一の分類特徴を使用して、ソース映像のセットに対して新しいターゲット映像内の人間の行動を分類する（２４０）。
2021528736.tif 000002
【特許請求の範囲】
【請求項１】
ドローン映像ベースの行動認識のためのコンピュータ化された方法であって、
ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴に応答して、ターゲット映像のセットから取得された複数のターゲット映像クリップのそれぞれに対する、前記複数のターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソース非ドローンドメインとの間の差を補正するためのそれぞれの変換を学習すること（２２０）と、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、前記複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させること（２２５）と、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップのうちの同一のものの元の特徴と変換された特徴とを、前記セット内の前記ターゲット映像のそれぞれについて単一の分類特徴に変換すること（２３０）と、
前記ハードウェアプロセッサによって、前記セット内の前記ターゲット映像のそれぞれについての単一の分類特徴を使用して、ソース映像の前記セットに対する新しいターゲット映像内の人間の行動を分類すること（２４０）とを含む、コンピュータ化された方法。
【請求項２】
畳み込みニューラルネットワークを使用して元の特徴を抽出すること（２１５）をさらに含む、請求項１に記載のコンピュータ化された方法。
【請求項３】
前記学習するステップ（２２０）は、前記ソースドメインと前記ターゲットドメインとの間の視点差を補正するそれぞれの変換を学習する、請求項１に記載のコンピュータ化された方法。
【請求項４】
前記学習するステップ（２２０）は、前記ソースドメインと前記ターゲットドメインとの間の動きの差を補正するそれぞれの変換を学習する、請求項１に記載のコンピュータ化された方法。
【請求項５】
前記変換するステップ（２３０）は、次元的最大関数を使用して、前記元の特徴と前記変換された特徴とに対して実行される、請求項１に記載のコンピュータ化された方法。
【請求項６】
前記変換するステップ（２３０）は、平均化関数を使用して、前記元の特徴と前記変換された特徴とに実行される、請求項１に記載のコンピュータ化された方法。
【請求項７】
前記ハードウェアプロセッサは、前記それぞれの変換のパラメータを予測するために、サッパーベクトル回帰器を使用する、請求項１に記載のコンピュータ化された方法。
【請求項８】
前記セット内の前記ターゲット映像をドローンによってキャプチャすることをさらに含む、請求項１に記載のコンピュータ化された方法。
【請求項９】
前記適合させるステップは、前記分類するステップを使用して、前記ターゲットドローンドメインを前記ソース非ドローンドメインに整列させるニューラルネットワークを微調整する、請求項１に記載のコンピュータ化された方法。
【請求項１０】
映像分類のための教師なしドメイン適応のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータに方法を実行させるためにコンピュータによって実行可能なプログラム命令を有する、一時的でないコンピュータ読み取り可能な記憶媒体を備え、
ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴に応答して、ターゲット映像のセットから取得された複数のターゲット映像クリップのそれぞれに対する、前記複数のターゲット映像クリップに対応するターゲットドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソースドメインとの間の差を補正するためのそれぞれの変換を学習すること（２２０）と、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、前記複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させること（２２５）と、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップのうちの同一のものの元の特徴と変換された特徴とを、前記セット内の前記ターゲット映像のそれぞれについて単一の分類特徴に変換すること（２３０）と、
前記ハードウェアプロセッサによって、前記セット内の前記ターゲット映像のそれぞれについての単一の分類特徴を使用して、ソース映像の前記セットに対する新しいターゲット映像を分類すること（２４０）とを含む、コンピュータプログラム製品。
【請求項１１】
畳み込みニューラルネットワークを使用して元の特徴を抽出すること（２１５）をさらに含む、請求項１０に記載のコンピュータ化された方法。
【請求項１２】
前記学習するステップ（２２０）は、前記ソースドメインと前記ターゲットドメインとの間の視点差を補正するそれぞれの変換を学習する、請求項１０に記載のコンピュータ化された方法。
【請求項１３】
前記学習するステップ（２２０）は、前記ソースドメインと前記ターゲットドメインとの間の動きの差を補正するそれぞれの変換を学習する、請求項１０に記載のコンピュータ化された方法。
【請求項１４】
前記変換するステップ（２３０）は、次元的最大関数を使用して、前記元の特徴と前記変換された特徴とに対して実行される、請求項１０に記載のコンピュータ化された方法。
【請求項１５】
前記変換するステップ（２３０）は、平均化関数を使用して、前記元の特徴と前記変換された特徴とに実行される、請求項１０に記載のコンピュータ化された方法。
【請求項１６】
前記ハードウェアプロセッサは、前記それぞれの変換のパラメータを予測するために、サッパーベクトル回帰器を使用する、請求項１０に記載のコンピュータ化された方法。
【請求項１７】
前記セット内の前記ターゲット映像をドローンによってキャプチャすることをさらに含む、請求項１０に記載のコンピュータ化された方法。
【請求項１８】
前記適合させるステップは、前記分類するステップを使用して、前記ターゲットドローンドメインを前記ソース非ドローンドメインに整列させるニューラルネットワークを微調整する、請求項１０に記載のコンピュータ化された方法。
【請求項１９】
ドローン映像ベースの行動認識のためのコンピュータ処理システムであって、
プログラムコードを記憶するメモリ（１０３）と、
ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴に応答して、ターゲット映像のセットから取得された複数のターゲット映像クリップのそれぞれに対する、前記複数のターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソース非ドローンドメインとの間の差を補正するためのそれぞれの変換を学習し、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、前記複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させ、
前記ハードウェアプロセッサによって、前記複数のターゲット映像クリップのうちの同一のものの元の特徴と変換された特徴とを、前記セット内の前記ターゲット映像のそれぞれについて単一の分類特徴に変換し、
前記ハードウェアプロセッサによって、前記セット内の前記ターゲット映像のそれぞれについての単一の分類特徴を使用して、ソース映像の前記セットに対する新しいターゲット映像内の人間の行動を分類するための前記プログラムコードを実行するためのハードウェアプロセッサとを有するコンピュータ処理システム。
【請求項２０】
前記ハードウェアプロセッサ（１０１）は、前記各変換のパラメータを予測するために、サッパーベクトル回帰器を使用する、請求項１９に記載のコンピュータ処理システム。 
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願情報
本出願は、２０１８年８月２４日に出願された米国仮特許出願第６２／７２２，２５３号の優先権を主張し、その全体が参照により本明細書に組み込まれる。本出願はまた、２０１９年７月１８日に出願された米国非仮特許出願第１６／５１５，７１３号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【背景技術】
【０００２】
本発明は、情報処理に関し、より詳細には、ドローン映像における人間の行動認識に関する。
関連技術の説明
【０００３】
ドローンで取得した映像（以下、「ドローン映像」）において、人間の行動認識を行うことが望ましい。多くの場合、十分な量のソースビデオには注釈があり、ターゲットドメイン映像にはそのような注釈がない。さらに、そのような注釈は、ターゲットドメインに対して容易には得られない。したがって、上述の問題を克服することができるドローン映像における人間の行動認識が必要とされている。
【発明の概要】
【０００４】
本発明の一態様によれば、ドローン映像ベースの行動認識のためのコンピュータ化された方法が提供される。この方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴に応答して、一組のターゲット映像から取得された複数のターゲット映像クリップのそれぞれに対するそれぞれの変換を学習することを含む。それぞれの変換は、複数のターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソース非ドローンドメインとの間の差を補正するためのものである。この方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させることをさらに含む。また、本方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップの同一のものの元の特徴と変換された特徴とを、セット内のターゲット映像のそれぞれについて単一の分類特徴に変換することを含む。この方法は、さらに、ハードウェアプロセッサによって、セット内の各ターゲット映像についての単一の分類特徴を用いて、ソース映像のセットに対する新しいターゲット映像内の人間の行動を分類することを含む。
【０００５】
本発明の別の態様によれば、映像分類のための教師なしドメイン適応のためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、それを具体化したプログラム命令を有する一時的でないコンピュータ読み取り可能な記憶媒体を含む。プログラム命令は、コンピュータに方法を実行させるために、コンピュータによって実行可能である。この方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴に応答して、一組のターゲット映像から取得された複数のターゲット映像クリップのそれぞれに対するそれぞれの変換を学習することを含む。それぞれの変換は、複数のターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソース非ドローンドメインとの間の差を補正するためのものである。この方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させることをさらに含む。また、本方法は、ハードウェアプロセッサによって、複数のターゲット映像クリップの同一のものの元の特徴と変換された特徴とを、セット内のターゲット映像のそれぞれについて単一の分類特徴に変換することを含む。この方法は、さらに、ハードウェアプロセッサによって、セット内の各ターゲット映像についての単一の分類特徴を用いて、ソース映像のセットに対する新しいターゲット映像内の人間の行動を分類することを含む。
【０００６】
本発明のさらに別の態様によれば、ドローン映像ベースの行動認識のためのコンピュータ処理システムが提供される。コンピュータ処理システムは、プログラムコードを記憶するためのメモリを含む。コンピュータ処理システムは、さらに、プログラムコードを実行して、複数のターゲット映像クリップから抽出された元の特徴に応答して、一組のターゲットビデオから取得された複数のターゲット映像クリップのそれぞれに対するそれぞれの変換を学習するためのハードウェアプロセッサを含む。それぞれの変換は、複数のターゲット映像クリップに対応するターゲットドローンドメインと、ソース映像のセットから取得された複数のソース映像クリップに対応するソース非ドローンドメインとの間の差異を補正するためのものである。ハードウェアプロセッサは、さらに、プログラムコードを実行して、複数のターゲット映像クリップから抽出された元の特徴にそれぞれの変換を適用して、複数のターゲット映像クリップのための変換された特徴を得ることによって、ターゲットドメインをソースドメインに適合させる。また、ハードウェアプロセッサは、プログラムコードを実行して、複数のターゲット映像クリップの同一のものの元の特徴と変換された特徴とを、セット内のターゲット映像のそれぞれについて単一の分類特徴に変換する。プロセッサはさらに、プログラムコードを実行して、セット内の各ターゲット映像についての単一の分類機能を使用して、ソース映像のセットに対する新しいターゲット映像内の人間の行動を分類する。
【０００７】
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。
【０００９】
【図１】本発明の一実施形態による例示的な処理システムを示すブロック図である。
【００１０】
【図２】本発明の一実施形態による、映像分類のための教師なしドメイン適応のための例示的訓練方法を示す高レベルブロック／フロー図である。
【００１１】
【図３】本発明の一実施形態による、映像分類のための教師なしドメイン適応のための例示的な試験（推論）方法を示す高レベルのブロック／フロー図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態は、ドローン映像における人間の行動認識を対象とする。
【００１３】
一実施形態では、ドローン映像における人間の行動認識のための方法およびシステムが提供される。一実施形態では、本発明は、第三者映像で訓練された分類器を使用し、次いで、ドローンから取得された映像の新しい注釈付きデータセット上で分類器を微調整することができる。一実施形態では、本発明は、ドローン映像のドメインを第１のドメインに近づける学習可能な変換を追加することによって、ドローン映像上の分類器のより良好な学習を可能にする。通常のシナリオは、利用可能な映像の量が少なく、注釈コストも高いので、第三者映像では注釈付けされたデータがたくさんあるが、ドローン映像では少量のデータしか利用できないというものである。提案した方法は、ドローン映像により良く適合し、潜在的により少量の注釈付きデータで動作することができる分類器の学習を可能にする。
【００１４】
一実施形態では、本発明は、映像分類ネットワークにブロックを追加し、このブロックは、ドローン映像を第三者映像のものと補正またはマッチングさせるための一般的な変換を予測する。これにより、第三者映像上で訓練された分類器は、ドローン映像により良く適応することができる。変換学習モジュールは、従来の人間行動映像分類ネットワークに追加され、ドローンから取得された映像に利用可能な注釈を用いてエンドツーエンドで学習可能である。
【００１５】
本発明は、１つのタイプの映像（例えば、第三者映像）から別のタイプの映像（例えば、ドローン映像）に予め訓練された分類器を使用することを困難にする様々な要因の補正／軽減を可能にする。本発明は、新しいタイプの映像における認識を改善するために必要な変換を予測するように学習することができる一般的な学習可能な変換要素を使用する。
【００１６】
一実施形態では、本発明は、全分類器の一部として一般変換予測要素を学習することを含み、一般変換予測要素は、ドローン映像を補正し、第三者映像分類器をドローン映像により良く適合させる。
【００１７】
図１は、本発明の一実施形態による例示的な処理システム１００を示すブロック図である。処理システム１００は、１組の処理ユニット（例えば、ＣＰＵ）１０１と、１組のＧＰＵ１０２と、１組の記憶装置１０３と、１組の通信装置１０４と、１組の周辺機器１０５とを含む。ＣＰＵ１０１は、シングルまたはマルチコアＣＰＵとすることができる。ＧＰＵ１０２は、シングル又はマルチコアＧＰＵとすることができる。１つまたは複数の記憶装置１０３は、キャッシュ、ＲＡＭ、ＲＯＭ、および他のメモリ（フラッシュ、光、磁気など）を含むことができる。通信装置１０４は、無線および／または有線通信装置（例えば、ネットワーク（たとえば、ＷＩＦＩなど）アダプタなど）を含むことができる。周辺機器１０５は、表示装置、ユーザ入力装置、プリンタ、撮像装置などを含むことができる。処理システム１００の要素は、１つまたは複数のバスまたはネットワーク（まとめて図参照番号１１０で示す）によって接続される。
【００１８】
一実施形態では、記憶装置１０３は、コンピュータ処理システムを本発明の様々な態様を実施するように構成された特殊目的のコンピュータに変換するために、特別にプログラムされたソフトウェアモジュールを記憶することができる。一実施形態では、専用ハードウェア（例えば、特定用途向け集積回路など）を使用して、本発明の様々な態様を実施することができる。
【００１９】
一実施形態では、１つまたは複数の記憶装置１０３は、エンテイルメントモジュール１０３Ａを含む。別の実施形態では、エンテイルメントモジュール１０３Ａは、専用ハードウェア（例えば、特定用途向け集積回路など）として実装することができる。
【００２０】
もちろん、処理システム１００は、当業者によって容易に企図されるように、他の要素（図示せず）を含んでもよく、また、特定の要素を省略してもよい。例えば、当業者によって容易に理解されるように、様々な他の入力装置および／または出力装置を、その特定の実装に応じて、処理システム１００に含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなども、当業者には容易に理解されるように利用することができる。処理システム１００のこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられれば、当業者によって容易に企図される。
【００２１】
さらに、システム１００の要素のうちの１つまたは複数によって、全体的にまたは部分的に実装され得る、本発明に関連する様々な要素およびステップに関して以下に記載されるような様々な図が理解されるべきである。
【００２２】
図２は、本発明の一実施形態による、映像分類のための教師なしドメイン適応のための例示的な訓練方法２００を示す高レベルのブロック／フロー図である。
【００２３】
ブロック２０５において、ターゲット映像を受信する。
【００２４】
ブロック２１０において、ターゲット映像を（ターゲットベースの）クリップに分割する。
【００２５】
ブロック２１５で、（ターゲットベースの）クリップから元の特徴を抽出する。
【００２６】
ブロック２２０において、元の特徴に対する変換を推定する。
【００２７】
ブロック２２５において、元の特徴に変換を適用して、変換された特徴２２６を得る。一実施形態では、１つまたは複数の推定変換（ブロック２２０ごと）および／または１つまたは複数の所定の変換を実行することができる（後者は、変換の少なくとも１つの適用においてブロック２２０ごとの推定をバイパスする）。
【００２８】
ブロック２３０において、変換された特徴および（ターゲットベースのクリップ）から抽出された元の特徴に対して時間的集約を実行する。時間的集約の出力は、ターゲット映像のそれぞれについてのそれぞれの単一の特徴である。
【００２９】
ブロック２３５において、分類器を学習する。
【００３０】
ブロック２４０において、分類器を入力クリップに適用して、入力クリップに示される人間の行動を分類する。分類は、クラスのセットに対して行われる。
【００３１】
ブロック２４５において、ブロック２４０から得られた分類に応答して動作を実行する。動作は、例えば、機械を制御すること（シャットダウンするため、電源を入れるため、ライトをオンにするため、またはロックドアを開くため）、車両による回避操作を行うこと（例えば、高度運転者支援システム（ＡＤＡＳ）において）などを含むことができる。
【００３２】
図３は、本発明の一実施形態による、映像分類のための教師なしドメイン適応のための例示的なシステム３００を示すブロック図である。システム３００の１つまたは複数の要素は、システム１００の１つまたは複数の要素によって実装することができる。
【００３３】
図３では、ｖ1、ｖ2、．．．ｖNは、ソース映像のＮ個のクリップの特徴ベクトルである（ソース映像とターゲット映像のクリップの数は異なることができる）。Θ1、Θ2、．．．ΘNは変換関数Ｔのパラメータで、ターゲット映像のクリップ特徴ｖ1、ｖ2、．．．ｖNに作用し、変換された特徴ＴΘ1（ｖ1）、ＴΘ2（ｖ2）、．．．ＴΘN（ｖN）を与える。
【００３４】
システム３００への入力は、入力映像３９１（例えば、ドローンによって撮影される）を含む。
【００３５】
システム３００は、特徴抽出器３０１と、変換予測器（回帰器）３０２と、時間集約器３０３と、分類器３０４とを含む。
【００３６】
特徴抽出部３０１は、入力映像の短いクリップを取り込み、映像の特徴を抽出する畳み込みニューラルネットワーク（ＣＮＮ）である。これは、任意の画像または映像ベースのＣＮＮとすることができる。対象映像については、抽出された特徴を特徴ベクトルｖ1〜ｖNの形態で出力することができる。ソース映像の場合、抽出された特徴は、特徴ベクトルｕ1〜ｕmの形で出力することができる。
【００３７】
変換予測器（回帰器）３０２は、それ自体、入力クリップから抽出された特徴を取り込み、クリップのそれぞれについて潜在的に一意の変換を予測するニューラルネットワーク（またはサポートベクトル回帰器（ＳＶＲ）とすることができる）である。システム全体が学習されるので、直感は、変換予測器３０２が、標準的な第三者映像と、より難しいプラットフォームから取得された現在のターゲット映像との間の視点および動きの差を「補正」するように導くことである。さらに詳細には、変換予測器３０２は、変換パラメータを予測し、例えば、それが一般的な射影変換である場合、パラメータ行列は、８自由度（ＤＯＦ）を有する３×３である。変換型は、システム設計者によって決定され、等尺性（３ＤＯＦ）、類似性（４ＤＯＦ）、アフィン（６ＤＯＦ）、または射影（８ＤＯＦ）変換のいずれかとすることができる。ひとたび変換が予測されると、それは、パイプラインにおいてさらに進む新しい変換された特徴を出力するために、クリップ特徴に適用される。変換予測器３０２は、１組の回帰器３０２Ａと、新しい変換された特徴を出力するために使用される１組の乗算器３０２Ｂとを含む。さらに詳細には、回帰器３０２Ａのセットは、クリップを入力として取り込み、その特定のクリップに適用される変換のパラメータを予測する。パラメータ行列は、３×３であり、自由度は、システム設計者によって決定されるパラメータのタイプに依存する。一旦計算されると、この変換は、変換された特徴を得るために抽出された特徴に適用される。
【００３８】
時間集約器３０３は、各映像のクリップの特徴（ターゲットのための変換された特徴、およびソースのためのオリジナル特徴）を取得し、それらを映像全体のための１つの特徴に変換する。これは、多数対１の動作であり、すなわち、異なる映像は、異なる長さを有し、したがって、異なる数のクリップを与えることができる。時間集約器３０３は、映像出力から全てのクリップを単一の特徴に取り込む。一実施形態では、時間集約器３０３は、次元的最大値、または平均演算を適用することができる。
【００３９】
次いで、分類器３０４は、映像特徴を異なる関心クラスに分類するように働く。次いで、分類器３０４または他のデバイス（例えば、ハードウェアプロセッサ）を使用して、分類に応答する動作を実行することができる。
【００４０】
したがって、一実施形態では、ネットワークは、変換予測器３０２なしで、第１のタイプの映像（例えば、第三者映像）上で最初に訓練される。次に、変換予測器３０２が挿入され、ネットワーク全体が新しいタイプの映像（例えば、ドローン映像）に細分化される。訓練されると、次いで、フルネットワークを使用して、ドローン映像の予測を行うことができる。
【００４１】
次に、本発明の１つまたは複数の実施形態による、本発明の１つまたは複数の利点について説明する。
【００４２】
本発明の実施形態は、ドローンからの映像と従来の第三者映像との変換ベースのアラインメントの結果として、より良好なパフォーマンスを可能にする。本発明はまた、ドローン映像に必要とされる注釈の量がより少なくなるので、コストおよび展開時間の両方を低減する。これらの利点および他の利点は、本明細書に提供される本発明の教示が与えられれば、当業者によって容易に決定される。
【００４３】
本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、および／またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含み得る。
【００４４】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、ディジタル汎用ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード等の機械的に符号化された装置、及び上記の任意の適切な組み合わせが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝播する電磁波、またはワイヤを通って伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
【００４５】
本明細書に記載するコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して、外部コンピュータまたは外部記憶装置に、それぞれの演算／処理装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含むことができる。各演算／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの演算／処理装置内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。
【００４６】
本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＣ＋＋などのオブジェクト指向プログラミング言語を含む１つ以上のプログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語のいずれかの組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にはユーザのコンピュータ上で、部分的にはリモートコンピュータ上で、または全体的にはリモートコンピュータまたはサーバ上で、ユーザのコンピュータ上で実行することができる。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナル化するためにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。
【００４７】
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることを理解されたい。
【００４８】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実装するための手段を作成するように、機械を生成することができる。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスが特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納されてもよく、その結果、その中に格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作の態様を実装する命令を含む製造品を備える。
【００４９】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実装するように、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実行させて、コンピュータ実装プロセスを生成することができる。
【００５０】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を備える、モジュール、セグメント、または命令の一部を表すことができる。一部の代替実装では、ブロックに記載されている機能は、図に記載されている順序から外れる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、または、ブロックは、含まれる機能に応じて、時には逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行するか、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせを実行する特殊目的ハードウェアベースのシステムによって実装され得ることにも留意されたい。
【００５１】
なお、本明細書において、本発明の「一実施形態」又は「一実施形態」とは、その他の変形例と同様に、その実施形態に関連して説明した特定の特徴、構造、特性等が、本発明の少なくとも一実施形態に含まれることを意味するものであり、「一実施形態において」又は「一実施形態において」の語句の出現、並びに本明細書全体の様々な箇所に出現する他の変形例は、必ずしも全て同一の実施形態を意味するものではない。
【００５２】
以下の「／」、「および／または」、および「少なくとも１つ」、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」のいずれかの使用は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または両方の実施例（ＡおよびＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、このような句は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または第３のリストされた実施例（Ｃ）のみの選択、または第１および第２のリストされた実施例（ＡおよびＢ）のみの選択、または 第１および第３のリストされた実施例（ＡおよびＣ）のみの選択、または第２および第３のリストされた実施例（ＢおよびＣ）のみの選択、または３つすべての実施例（ＡおよびＢおよびＣ）の選択を包含することを意図する。これは、当業者には容易に明らかなように、列挙された項目の数だけ拡張することができる。
【００５３】
システムおよび方法の好ましい実施形態（これは、例示的であり、限定的ではないことが意図される）を説明したが、上記の教示に照らして、当業者によって、修正および変形がなされ得ることに留意されたい。したがって、添付の特許請求の範囲によって概説される本発明の範囲内にある、開示された特定の実施形態に変更を加えることができることを理解されたい。このように、本発明の態様を、特許法によって要求される詳細および特殊性と共に説明してきたが、特許状によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。
【図１】
2021528736.tif 000003
【図２】
2021528736.tif 000004
【図３】
2021528736.tif 000005
【国際調査報告】
2021528736.tif 000006
2021528736.tif 000007
2021528736.tif 000008