(57)【要約】      （修正有）【課題】オブジェクトおよびそのキーポイントが検出される間、全体の検出速度が、検出対象の画像内のオブジェクトの数によって影響されないことを保証することができ、実際のコンピュータビジョンタスクによる検出の適時性および実行可能性の要件をよりよく満たすことができる、検出装置および方法ならびに画像処理装置およびシステムを提供する。【解決手段】検出装置は、画像から特徴を抽出するユニットと、抽出された特徴に基づいて画像内のオブジェクトを検出するユニットと、抽出された特徴と検出されたオブジェクトと事前取得されたキーポイントセットとに基づいて、検出されたオブジェクトのキーポイントを検出するユニットと、を有する。【選択図】図５
2020140700.tif 000002
【特許請求の範囲】
【請求項１】
画像から特徴を抽出する特徴抽出部と、
前記抽出された特徴に基づいて前記画像内のオブジェクトを検出するオブジェクト検出部と、
前記抽出された特徴と前記検出されたオブジェクトと事前取得されたキーポイントセットとに基づいて、前記検出されたオブジェクトのキーポイントを検出するキーポイント検出部と、
を有する検出装置。
【請求項２】
前記キーポイント検出部は、前記検出されたオブジェクトの１つについて、前記オブジェクトの情報に基づいて、前記事前取得されたキーポイントセットから前記オブジェクトに対応するキーポイントセットを決定し、前記抽出された特徴と前記決定されたキーポイントセットとに基づいて前記オブジェクトのキーポイントを検出する
請求項１に記載の検出装置。
【請求項３】
前記検出されたオブジェクトの１つについて、前記オブジェクトの前記情報は、前記オブジェクトの形状情報を含む
請求項２に記載の検出装置。
【請求項４】
前記検出されたオブジェクトが人間である場合、前記キーポイント検出部は、前記人間に対応する前記決定されたキーポイントセットについて、前記人間の部分情報に基づいて前記人間に対応する前記キーポイントセットをさらに更新し、前記更新されたキーポイントセットに基づいて前記人間のキーポイントを検出する
請求項２に記載の検出装置。
【請求項５】
前記事前取得されたキーポイントセットのうちの１つのキーポイントセットは、１つのオブジェクトの形状および／または１つのオブジェクトの姿勢を記述する
請求項３に記載の検出装置。
【請求項６】
前記特徴抽出部と前記オブジェクト検出部と前記キーポイント検出部は、事前生成された第１のニューラルネットワークを使用して対応する動作を実行する
請求項１に記載の検出装置。
【請求項７】
前記オブジェクトの前記検出されたキーポイントのうちの一部のキーポイントに対して更新動作を少なくとも１回実行して、前記オブジェクトの前記検出されたキーポイントを更新するキーポイント更新部をさらに有する
請求項１に記載の検出装置。
【請求項８】
前記キーポイント更新部は、前記オブジェクトの前記検出されたキーポイントの所定の閾値および信頼度情報に基づいて、更新動作の実行に必要なキーポイントを決定し前記更新動作の実行回数を決定する
請求項７に記載の検出装置。
【請求項９】
前記特徴抽出部と前記オブジェクト検出部と前記キーポイント検出部と前記キーポイント更新部とは、事前生成された第２のニューラルネットワークを使用して対応する動作を実行する
請求項７に記載の検出装置。
【請求項１０】
画像から特徴を抽出する特徴抽出ステップと、
前記抽出された特徴に基づいて前記画像内のオブジェクトを検出するオブジェクト検出ステップと、
前記抽出された特徴と前記検出されたオブジェクトと事前取得されたキーポイントセットとに基づいて、前記検出されたオブジェクトのキーポイントを検出するキーポイント検出ステップと、
を含む検出方法。
【請求項１１】
前記キーポイント検出ステップにおいて、前記検出されたオブジェクトの１つについて、前記オブジェクトの情報に基づいて、前記事前取得されたキーポイントセットから前記オブジェクトに対応するキーポイントセットが決定され、前記抽出された特徴と前記決定されたキーポイントセットとに基づいて前記オブジェクトのキーポイントが検出される
請求項１０に記載の検出方法。
【請求項１２】
前記検出されたオブジェクトの１つについて、前記オブジェクトの前記情報は、前記オブジェクトの形状情報を含む
請求項１１に記載の検出方法。
【請求項１３】
前記特徴抽出ステップと前記オブジェクト検出ステップと前記キーポイント検出ステップとにおいて、事前生成されたニューラルネットワークを使用して対応する動作が実行される
請求項１０に記載の検出方法。
【請求項１４】
画像またはビデオを取得するための取得デバイスと、
命令が保存されている記憶デバイスと、
前記取得された画像またはビデオに基づいて前記命令を実行し、少なくとも請求項１０に記載の検出方法を実施するプロセッサと、
を有する画像処理装置。
【請求項１５】
画像またはビデオを取得するための取得装置と、
前記取得された画像またはビデオからオブジェクトと該オブジェクトのキーポイントとを検出するための請求項１に記載の検出装置と、
前記検出されたオブジェクトと該オブジェクトのキーポイントとに基づいて後続の画像処理動作を実行する処理装置と、
を含み、
前記取得装置と前記検出装置と前記処理装置とはネットワークを介して互いに接続されている
画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理に関し、特に、例えば、画像内のオブジェクトおよびそのキーポイントの検出に関する。
【背景技術】
【０００２】
オブジェクト（たとえば、人間、物など）のキーポイント検出は、動きの検出と分類、異常／危険な挙動の検出、自動運転など、多くのコンピュータビジョンタスクの基盤である。したがって、オブジェクトのキーポイント検出は非常に重要である。現時点において、従来の方法は、複数のオブジェクトに対する複雑なキーポイント検出問題を単一のオブジェクトに対するキーポイント検出問題に単純化することである。詳細な動作は以下の通りである：最初に、複数のオブジェクト（たとえば、特にオブジェクトの境界ボックス）が画像から検出され、次に、検出されたオブジェクトごとに、その境界ボックスから対応するキーポイントが検出される。
【０００３】
例えば、非特許文献１は、ニューラルネットワークを使用することによりオブジェクトのキーポイントを検出する例示的な技術を開示している。ここで、例示的な技術で使用されるニューラルネットワークは、例えば、オブジェクトを検出するためのネットワークブランチおよびオブジェクトのキーポイントを検出するためのネットワークブランチを含む。ここで、例示的な技術は主に次のとおりである：最初に、オブジェクトを検出するためのネットワークブランチを使用することにより画像内のオブジェクトが検出され、オブジェクトのカテゴリが取得され、次に、検出されたオブジェクトごとに、オブジェクトのキーポイントを検出するためのネットワークブランチを使用することにより、オブジェクトのキーポイントが検出される。
【０００４】
上述のように、オブジェクトのキーポイントを検出する過程で、上述の方法は、２つの独立したステージによって対応する検出を実現する必要があることが分かる。ここで、一方のステージの動作は、画像内のオブジェクト（たとえば、オブジェクトの境界ボックスやオブジェクトのカテゴリを含む）を検出することである。もう一方のステージの動作は、検出されたオブジェクトごとに、その対応するキーポイントを検出することであり、すなわち、このステージ中に、検出されたオブジェクトごとにキーポイント検出動作を実行する必要がある。したがって、検出対象の画像中のオブジェクトの数が多い場合、キーポイント検出動作に費やされる時間が増加し、全体の検出速度に影響を与える（例えば、検出速度が遅くなる）。換言すれば、キーポイント検出動作に費やされる時間は、検出対象の画像内のオブジェクトの数に直接関係している。したがって、検出対象の画像内のオブジェクトの数が多いほど、キーポイント検出動作に費やされる時間が長くなり、検出速度全体が大きく影響されるため、実際のコンピュータビジョンタスクの適時性と実用性が影響を受ける。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Kaiming He, Georgia Gkioxari, Piotr Doll'ar, Ross Girshick;「Mask R-CNN」; Facebook AI Research; ICCV 2017
【発明の概要】
【０００６】
上述の関連技術の記録を考慮して、本開示は、上述の問題の少なくとも１つに対処することを目的とする。
【０００７】
本開示の一態様によれば、画像から特徴を抽出する特徴抽出部と、前記抽出された特徴に基づいて前記画像内のオブジェクトを検出するオブジェクト検出部と、前記抽出された特徴と前記検出されたオブジェクトと事前取得されたキーポイントセットとに基づいて、前記検出されたオブジェクトのキーポイントを検出するキーポイント検出部と、を有する検出装置が提供される。
【０００８】
本開示の別の態様によれば、画像から特徴を抽出する特徴抽出ステップと、前記抽出された特徴に基づいて前記画像内のオブジェクトを検出するオブジェクト検出ステップと、前記抽出された特徴と前記検出されたオブジェクトと事前取得されたキーポイントセットとに基づいて、前記検出されたオブジェクトのキーポイントを検出するキーポイント検出ステップと、を含む検出方法が提供される。
【０００９】
ここで、本開示では、画像内のオブジェクトは、例えば、画像内の人間と画像内の物とを含む。ここで、検出されたオブジェクトは、少なくともオブジェクトの領域情報とオブジェクトのカテゴリ信頼性情報を有する。ここで、本開示では、事前取得されたキーポイントセット内の１つのキーポイントセットは、例えば１つのオブジェクトの形状および／または１つのオブジェクトの姿勢を記述し得る。
【００１０】
本開示のさらなる態様によれば、画像またはビデオを取得するための取得デバイスと、命令が保存されている格納デバイスと、前記取得された画像またはビデオに基づいて前記命令を実行し、少なくとも上述の検出方法を実施するプロセッサと、を有する画像処理装置が提供される。
【００１１】
本開示のさらなる態様によれば、画像またはビデオを取得するための取得装置と、前記取得された画像またはビデオからオブジェクトと該オブジェクトのキーポイントとを検出するための上述の検出装置と、前記検出されたオブジェクトと該オブジェクトのキーポイントとに基づいて後続の画像処理動作を実行する処理装置と、を含む画像処理システムが提供され、前記取得装置と前記検出装置と前記処理装置とはネットワークを介して互いに接続されている。
【００１２】
本開示は、オブジェクト検出動作およびキーポイント検出動作で使用できる特徴を同時に抽出すること、また、事前取得したキーポイントセットを使用することにより、画像内のオブジェクト検出およびキーポイント検出を本開示の１ステージマナーで達成することができる。すなわち、キーポイント検出動作は、オブジェクト検出動作のプロセスに統合されて一緒に実施され得る。したがって、本開示によれば、キーポイント検出動作に費やされる時間（すなわち、キーポイント検出の速度）は、検出対象の画像内のオブジェクトの数に依存しない。したがって、本開示によれば、オブジェクトおよびそのキーポイントが検出されている間、全体の検出速度が、検出対象の画像内のオブジェクトの数によって影響されないことを保証することができ、実際のコンピュータビジョンタスクによる検出の適時性および実行可能性の要件の要件をよりよく満たすことができる。
【００１３】
本開示のさらなる特徴および利点は、添付の図面を参照した典型的な実施形態の以下の説明から明らかになるであろう。
【図面の簡単な説明】
【００１４】
本明細書に組み込まれその一部を構成する添付図面は、本開示の実施形態を示し、実施形態の説明とともに、本開示の原理を説明するのに役立つ。
【００１５】
【図１Ａ】本開示による特定の位置に配置された特定の数のキーポイントによって人間が記述される例を概略的に示す。
【図１Ｂ】本開示による特定の位置に配置された特定の数のキーポイントによって人間が記述される例を概略的に示す。
【図２Ａ】本開示による特定の位置に配置された特定の数のキーポイントによって自動車が記述される例を概略的に示す。
【図２Ｂ】本開示による特定の位置に配置された特定の数のキーポイントによって自動車が記述される例を概略的に示す。
【図３Ａ】本開示による特定の位置に配置された特定の数のキーポイントによって自転車が記述される例を概略的に示す。
【図３Ｂ】本開示による特定の位置に配置された特定の数のキーポイントによって自転車が記述される例を概略的に示す。
【図４】本開示の一実施形態に係る技術を実現可能なハードウェア構成を概略的に示すブロック図である。
【図５】本開示の第１の実施形態に係る検出装置の構成を示すブロック図である。
【図６】本開示の第１の実施形態に適用可能な事前生成ニューラルネットワークの概略構造を概略的に示す図である。
【図７】本開示の第１の実施形態による検出方法のフローチャートを概略的に示す。
【図８】本開示の第１の実施形態による、図７に示されるようなキーポイント検出ステップＳ７３０のフローチャートを概略的に示す。
【図９】本開示に従って更新された人間に対応するアンカーセットの一例を概略的に示す。
【図１０Ａ】本開示による人間を説明するために使用することができるあるタイプの形状およびアンカーセットを有する人間の例を概略的に示す。
【図１０Ｂ】本開示による人間を説明するために使用することができるあるタイプの形状およびアンカーセットを有する人間の例を概略的に示す。
【図１１Ａ】本開示による人間を説明するために使用することができる別のタイプの形状およびアンカーセットを有する人間の例を概略的に示す。
【図１１Ｂ】本開示による人間を説明するために使用することができる別のタイプの形状およびアンカーセットを有する人間の例を概略的に示す。
【図１２Ａ】本開示による人間を説明するために使用することができる特定の姿勢および特定の形状を有する人間およびアンカーセットの一例を概略的に示す。
【図１２Ｂ】本開示による人間を説明するために使用することができる特定の姿勢および特定の形状を有する人間およびアンカーセットの一例を概略的に示す。
【図１３】本開示の第２の実施形態に係る検出装置の構成を示すブロック図である。
【図１４】本開示の第２の実施形態に適用可能な事前生成ニューラルネットワークの概略構造を概略的に示す図である。
【図１５】本開示の第２の実施形態による検出方法のフローチャートを概略的に示す。
【図１６】本開示の第２の実施形態による、図１５に示されるようなステップＳ１５２０のフローチャートを概略的に示す。
【図１７】本開示による例示的な画像処理装置の構成を示す。
【図１８】本開示による例示的な画像処理システムの構成を示す。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して本発明の例示的な実施形態を詳細に説明する。以下の説明は、本質的に単なる実例および例示に過ぎず、本開示およびその応用または使用を限定することを決して意図するものではないことに留意されたい。実施形態に記載されている構成要素およびステップの相対的な配置、数値表現および数値は、特に明記しない限り、本開示の範囲を限定しない。加えて、当業者に知られている技術、方法、およびデバイスは詳細に議論されないかもしれないが、適切な場合には明細書の一部であるべきである。
【００１７】
同様の参照番号と文字は、図面内の類似のアイテムを指しているため、アイテムが１つの図面で定義されると、以降の図面で説明する必要はないことに注意してください。
【００１８】
一方、上述のように、上述の従来の方法では、オブジェクト検出動作とキーポイント検出動作が独立して実行されるため、オブジェクトを検出するための特徴とキーポイントを検出するための特徴を別々に抽出する必要がある。加えて、キーポイント検出動作は、各検出オブジェクトに対してキーポイント検出に使用される対応する特徴を抽出する必要があるように、各検出オブジェクトに対して１つずつ実行する必要がある。このように、上述の従来の方法では、特に検出対象の画像内のオブジェクトの数が多い場合、特徴抽出処理にかかる時間も検出処理全体にかかる時間に影響を与えることが分かる。画像から抽出され画像全体に関連する特徴には、通常、さまざまな動作に使用できる特徴が含まれているため、たとえば、その中のオブジェクトに関連する特徴はオブジェクト検出に使用され得、その中のオブジェクトのキーポイントに関連する特徴はキーポイントの検出などに使用され得る。したがって、発明者は、画像全体に関連する特徴は、最初に画像から同時に抽出され、その後のオブジェクト検出動作とキーポイント検出動作の両方が特徴を使用でき、特徴抽出動作に費やされた時間の検出処理全体に費やされた時間への影響も可能な限り減らすことができると考えている。以下、上述の抽出された特徴は、例えば、「共有特徴(Shared features)」とみなされ、本開示において、共有特徴は、少なくともオブジェクトに関連する特徴およびオブジェクトのキーポイントに関連する特徴を含む。ただし、明らかにこれに限定されることはない。
【００１９】
一方、上述したように、上述の従来の方法では、オブジェクト検出動作とキーポイント検出動作が独立して実行されるため、キーポイント検出動作に費やされる時間は、検出対象の画像内のオブジェクトの数に直接関係する。オブジェクトの特定のカテゴリに関しては、通常、特定の位置に配置された特定の数のキーポイントによって説明され得る。たとえば、オブジェクトが人間である場合（たとえば、図１Aに示されるように）、通常、図１Ｂに示されるこれらのキーポイントによって記述でき、図１Ｂに示されるドットは、たとえば、人間のキーポイントである。別の例として、オブジェクトが車の場合（たとえば、図２Ａに示されるように）、通常、図２Ｂに示されるこれらのキーポイントによって記述でき、図２Ｂに示されるドットは、たとえば、車のキーポイントである。さらなる例として、オブジェクトが自転車の場合（たとえば、図３Ａに示されるように）、通常、図３Ｂに示されるこれらのキーポイントによって記述でき、図３Ｂに示されるドットは、たとえば、自転車のキーポイントである。したがって、発明者は、オブジェクトの各カテゴリは、特定の位置に配置された一定数のキーポイントで構成される少なくとも１セットのキーポイントで記述できると考えている。以下、キーポイントは、例えば、「アンカー」とみなすことができ、キーポイントのセットは、例えば、「アンカーセット」とみなすことができる。したがって、発明者は、事前構築されたアンカーセットに基づいて、キーポイント検出動作をオブジェクト検出動作のプロセスに統合して一緒に実施することで、検出されたオブジェクトごとに独立したキーポイント検出を１つずつ実行する（たとえば、キーポイント検出の特徴を個別に抽出し、対応する検出動作を個別に実行する）ことなく、オブジェクトの各カテゴリに対して少なくとも１つのアンカーセットを事前構築でき、オブジェクトの各カテゴリのキーポイントの検出を制限できると考えている。 したがって、本開示によれば、キーポイント検出動作に費やされる時間（すなわち、キーポイント検出の速度）は、検出対象の画像内のオブジェクトの数に依存しない。したがって、本開示によれば、オブジェクトおよびそのキーポイントが検出されている間、全体の検出速度が、検出対象の画像内のオブジェクトの数によって影響されないことを保証することができ、実際のコンピュータビジョンタスクによる検出の適時性および実行可能性の要件の要件をよりよく満たすことができる。
【００２０】
（ハードウェア構成）
まず、図４を参照して、後述する技術を実現できるハードウェア構成について説明する。
【００２１】
ハードウェア構成４００は、例えば、中央処理装置（ＣＰＵ）４１０、ランダムアクセスメモリ（ＲＡＭ）４２０、リードオンリーメモリ（ＲＯＭ）４３０、ハードディスク４４０、入力デバイス４５０、出力デバイス４６０、ネットワークインターフェース４７０、およびシステムバス４８０を含む。さらに、一実施形態では、ハードウェア構成４００は、タブレット、ラップトップ、デスクトップ、または他の適切な電子デバイスなどのコンピュータによって実施され得る。別の実施形態では、ハードウェア構成４００は、デジタルカメラ、ビデオカメラ、ネットワークカメラ、または他の適切な電子デバイスなどの監視デバイスによって実施され得る。ここで、ハードウェア構成４００が監視デバイスによって実施される場合、ハードウェア構成４００は、例えば、光学系４９０も含む。
【００２２】
一実施形態では、本開示による検出装置は、ハードウェアまたはファームウェアによって構成され、ハードウェア構成４００のモジュールまたはコンポーネントとして使用される。例えば、図５を参照して以下で詳細に説明する検出装置５００、または、図１３を参照して以下で詳細に説明する検出装置１３００は、ハードウェア構成４００のモジュールまたはコンポーネントとして使用することができる。別の実施形態では、本開示による検出装置は、ＲＯＭ４３０またはハードディスク４４０に格納されたソフトウェアによって構成され、ＣＰＵ４１０によって実行される。例えば、図７を参照して以下に詳細に説明する手順７００、および、図１５を参照して以下に詳細に説明する手順１５００は、ＲＯＭ４３０またはハードディスク４４０に格納されたプログラムとして使用することができる。
【００２３】
ＣＰＵ４１０は、任意の適切かつプログラム可能な制御デバイス（プロセッサなど）であり、ＲＯＭ４３０またはハードディスク４４０（メモリなど）に格納されたさまざまなアプリケーションを実行することにより、以下に説明するさまざまな機能を実行できる。ＲＡＭ４２０は、ＲＯＭ４３０またはハードディスク４４０からロードされたプログラムまたはデータを一時的に格納するために使用され、ＣＰＵ４１０が様々な手順（図７〜図１２Ｂ、図１５〜図１６を参照して以下で詳細に説明する技術の実施など）および他の利用可能な機能を実行するスペースとしても使用される。ハードディスク４４０は、オペレーティングシステム（ＯＳ）、様々なアプリケーション、制御プログラム、ビデオ、画像、事前生成ネットワーク（例えば、ニューラルネットワーク）および事前構築／取得アンカーセットなどの様々なタイプの情報を格納する。
【００２４】
一実施形態では、入力デバイス４５０は、ユーザがハードウェア構成４００と対話できるようにするために使用される。一例では、ユーザは、入力デバイス４５０を介してビデオ／画像を入力し得る。別の例では、ユーザは、入力デバイス４５０によって本開示の対応する処理をトリガーし得る。加えて、入力デバイス４５０は、ボタン、キーボード、またはタッチスクリーンなどの様々な形態であり得る。別の実施形態では、入力デバイス４５０は、デジタルカメラ、ビデオカメラ、および／またはネットワークカメラなどの専用電子デバイスからのビデオ／画像出力を受信するために使用される。加えて、ハードウェア構成４００が監視デバイスによって実施される場合、ハードウェア構成４００内の光学系４９０は、監視サイトのビデオ／画像を直接撮像する。
【００２５】
一実施形態において、出力デバイス４６０は、検出結果（検出されたオブジェクトおよびそのキーポイントなど）をユーザに表示するために使用される。さらに、出力デバイス４６０は、陰極線管（ＣＲＴ）またはＬＣＤディスプレイなどの様々な形態であり得る。別の実施形態では、出力デバイス４６０は、検出結果を、動き検出および分類、異常／危険な挙動の検出などの後続の画像処理に出力するために使用される。
【００２６】
ネットワークインターフェース４７０は、ハードウェア構成４００をネットワークに接続するためのインターフェースを提供する。例えば、ハードウェア構成４００は、ネットワークインターフェース４７０を介して、ネットワークによって接続された他の電子デバイスとのデータ通信を実行し得る。あるいは、ハードウェア構成４００は、無線データ通信のための無線インターフェースを備え得る。システムバス４８０は、ＣＰＵ４１０、ＲＡＭ４２０、ＲＯＭ４３０、ハードディスク４４０、入力デバイス４５０、出力デバイス４６０、ネットワークインターフェース４７０、光学系４９０など、の間でデータを互いに送信するためのデータ送信経路を提供し得る。バスと呼ばれるが、システムバス４８０は特定のデータ伝送技術に限定されない。
【００２７】
上述のハードウェア構成４００は単なる例示であり、本開示、その応用または使用を限定することを意図するものではない。さらに、簡単にするために、１つのハードウェア構成のみが図４に示されている。しかし、必要に応じて複数のハードウェア構成を使用し得る。
【００２８】
（検出装置および方法）
次に、図５〜図１６を参照して、本開示による検出処理について説明する。
【００２９】
図５は、本開示の第１の実施形態に係る検出装置５００の構成を示すブロック図である。ここで、図５に示すモジュールの一部またはすべては、専用のハードウェアで実現され得る。図５に示されるように、検出装置５００は、特徴抽出部５１０、オブジェクト検出部５２０、および、キーポイント検出部５３０を含む。
【００３０】
さらに、図５に示す記憶デバイス５４０は、例えば、少なくとも事前構築／取得されたキーポイントセット（すなわち、アンカーセット）を格納する。一実施形態では、記憶デバイス５４０は、図４に示されるＲＯＭ４３０またはハードディスク４４０である。別の実施形態では、記憶デバイス５４０は、ネットワーク（不図示）を介して検出装置５００に接続されたサーバまたは外部記憶デバイスである。
【００３１】
最初に、一実施形態では、たとえば、図４に示されるハードウェア構成４００がコンピュータによって実施される場合、入力デバイス４５０は、専用の電子デバイス（たとえば、ビデオカメラなど）により出力されたまたはユーザにより入力された画像を受信する。次に、入力デバイス４５０は、受信した画像をシステムバス４８０を介して検出装置５００に送信する。別の実施では、例えば、ハードウェア構成４００が監視デバイスによって実施される場合、検出装置５００は、光学系４９０によって撮像された画像を直接使用する。
【００３２】
次に、図５に示されるように、特徴抽出部５１０は、受信された画像（すなわち、画像全体）から特徴を抽出する。上述のように、本開示では、抽出された特徴は共有特徴と見なされ、抽出された特徴は、例えば、少なくともオブジェクトに関連する特徴およびオブジェクトのキーポイントに関連する特徴を含む。上述したように、本開示では、画像内のオブジェクトは、例えば、画像内の人間および画像内の物を含む。一実施形態では、特徴抽出部５１０は、ＶＧＣ１６、ＲｅｓＮｅｔ、ＳＥＮｅ、Ｄａｒｋｎｅｔなどの構造を有する畳み込みニューラルネットワークなどの様々な特徴抽出オペレータを使用することにより、受信された画像から共有特徴を抽出する。
【００３３】
オブジェクト検出部５２０は、特徴抽出部５１０によって抽出された共有特徴に基づいて、受信された画像内のオブジェクトを検出する。一実施形態では、オブジェクト検出部５２０は、従来の回帰アルゴリズムを使用することにより、抽出された共有特徴内のオブジェクトに関連する特徴に基づいて、受信された画像内の人間および／または関心オブジェクトを検出する。上述したように、本開示では、検出されたオブジェクトは、例えば、少なくともオブジェクトの領域情報とオブジェクトのカテゴリ信頼度情報とを有する。
【００３４】
キーポイント検出部５３０は、特徴抽出部５１０によって抽出された共有特徴、オブジェクト検出部５２０によって検出されたオブジェクト、および、記憶デバイス５４０に格納された事前構築／取得されたキーポイントセット（すなわちアンカーセット）に基づいて、検出されたオブジェクトのキーポイントを検出する。ここで、上述のように、事前取得したアンカーセットのそれぞれは、特定の位置にある一定数のキーポイントで構成され、１つのオブジェクトを記述するために使用され得る。一実施形態では、キーポイント検出部５３０は、従来の回帰アルゴリズムを使用して、検出されたオブジェクト、抽出された共有特徴および事前取得されたアンカーセットのうちのオブジェクトのキーポイントに関連する特徴に基づいて、検出されたオブジェクトのキーポイントを検出する。ここで、本開示では、検出された各キーポイントは、例えば、対応する信頼度情報を有しているため、キーポイントが実際のキーポイントであるか、キーポイントが各キーポイントの信頼度情報によって遮蔽されたキーポイントであるかを判定することができる。
【００３５】
最後に、オブジェクト検出部５２０およびキーポイント検出部５３０は、図４に示すシステムバス４８０を介して、検出結果（例えば、検出されたオブジェクトおよびそのキーポイント）を出力デバイス４６０に送信し、検出結果をユーザに表示するか、検出結果を動き検出および分類、異常／危険な挙動の検出などの後続の画像処理に出力する。
【００３６】
さらに、好ましくは、一実施形態では、図５に示す検出装置５００の各部（すなわち、特徴抽出部５１０、オブジェクト検出部５２０およびキーポイント検出部５３０）は、事前生成されたニューラルネットワークを使用することにより、対応する動作を実行し得、本開示では、事前生成されたニューラルネットワークは、例えば、事前生成された第１のニューラルネットワークと呼ばれ得る。一方で、例えば、図６に示されるように、本開示の第１の実施形態に適用可能な事前生成された第１のニューラルネットワークは、例えば、特徴を抽出する部分（すなわち、サブネットワーク）、オブジェクトを検出する部分、およびキーポイントを検出する部分を含む。ここで、本開示において、第１のニューラルネットワークの各部分は、例えば、オブジェクトの領域、カテゴリ、キーポイントのラベルが付されたサンプル画像に基づいて、エンドツーエンドのトレーニング方法と逆方向伝播の更新マナーによって事前生成され得る。 他方、例えば、事前生成された第１のニューラルネットワークは、記憶デバイス５４０に格納され得る。
【００３７】
具体的には、一方で、検出装置５００は、記憶デバイス５４０から事前生成された第１のニューラルネットワークを取得する。一方、特徴抽出部５１０は、ニューラルネットワークの特徴を抽出する部分を使用して、受信された画像から共有特徴を抽出する。物体検出部５２０は、特徴抽出部５１０により抽出された共有特徴に基づいて、ニューラルネットワーク内のオブジェクトを検出する部分を使用して、受信された画像中のオブジェクトを検出する。キーポイント検出部５３０は、ニューラルネットワークのキーポイントを検出する部分を使用して、特徴抽出部５１０によって抽出された共有特徴とオブジェクト検出部５２０によって検出されたオブジェクトと記憶デバイス５４０に格納された事前取得アンカーセットとに基づいて、検出されたオブジェクトのキーポイントを検出する。
【００３８】
図７に示されるフローチャート７００は、図５に示される検出装置５００の対応する手順である。
【００３９】
図７に示されるように、特徴抽出ステップＳ７１０において、特徴抽出部５１０は、受信された画像から特徴（すなわち共有特徴）を抽出する。
【００４０】
共有特徴を取得した後、オブジェクト検出ステップＳ７２０において、オブジェクト検出部５２０は、抽出された共有特徴に基づいて受信された画像内のオブジェクトを検出する。例えば、オブジェクト検出部５２０は、従来の回帰アルゴリズムを用いて、抽出された共有特徴のうちオブジェクトに関連する特徴に基づいて、受信された画像内のオブジェクトを検出する。上述したように、本開示では、検出されたオブジェクトは、例えば、少なくともオブジェクトの領域情報とオブジェクトのカテゴリ信頼度情報とを有する。
【００４１】
画像内のオブジェクトを検出した後、キーポイント検出ステップＳ７３０において、キーポイント検出部５３０は、抽出された共有特徴、検出されたオブジェクト、および記憶デバイス５４０に格納された事前構築／取得されたキーポイントセット（すなわち、アンカーセット）に基づいて、検出されたオブジェクトのキーポイントを検出する。例えば、キーポイント検出部５３０は、従来の回帰アルゴリズムを用いて、検出されたオブジェクト、抽出された共有特徴のうちオブジェクトのキーポイントに関連する特徴、及び事前取得アンカーセットに基づいて、検出されたオブジェクトのキーポイントを検出する。一実施形態では、検出されたオブジェクトのいずれか１つについて、キーポイント検出部５３０は、図８を参照して対応するキーポイント検出動作を実行する。
【００４２】
図８に示すように、ステップＳ７３１０において、キーポイント検出部５３０は、オブジェクトの情報に基づいて、記憶デバイス５４０に格納された事前取得アンカーセットからオブジェクトに対応するアンカーセットを決定する。上述のように、オブジェクトの各カテゴリは、特定の位置にある一定数のアンカーで構成される少なくとも１つのアンカーセットによって記述され得る。
【００４３】
したがって、１つの実施形態では、オブジェクトの１つのカテゴリを記述するために、事前取得されたアンカーセットのそれぞれが使用され得る。つまり、オブジェクトの各カテゴリは、事前取得されたアンカーセットの１つのアンカーセットにそれぞれ対応する。したがって、この場合、キーポイント検出部５３０は、例えば以下の方法により、検出されたオブジェクトに対応するアンカーセットを決定する：最初に、オブジェクトのカテゴリ信頼度情報に基づいて、オブジェクトのカテゴリに対応するアンカーセットを事前取得アンカーセットから選択し（たとえば、検出されたオブジェクトが人間である場合、選択されたアンカーセットはたとえば図１Ｂに示され、ここで、図１Ｂに示される矩形フレームは、アンカーセットの領域サイズを示す）、次に、代わりに、オブジェクトの領域情報に基づいて、選択されたアンカーセットの領域サイズを調整し、アンカーセットの領域サイズが、たとえば、オブジェクトの領域サイズと同じとなるように調整し、したがって、選択したアンカーセットは後続のキーポイント検出に使用され得る。さらに、物（たとえば、車、自転車など）などの画像内の他のオブジェクトについては、対応するアンカーセットは上述と同様の方法で決定され得る。さらに、この場合、検出されたオブジェクトが人間である場合、人間の一部（特に人間の腕）の動きは変化が大きいため（たとえば人間の腕は通常持ち上げられ、振られ、曲げられる）、人間の動きの変化が大きい部分は、固定されたアンカーセットを１つだけ使用して人間を記述する場合、うまく記述できない。これにより、人間のキーポイントの検出精度（特に人間の動きの変化が大きい部分のキーポイントの検出精度）を向上させるために、キーポイント検出部５３０が上述の方法で事前取得したアンカーセットから人間に対応するアンカーセットを決定した後、キーポイント検出部５３０は、人間の部分情報に基づいて、人間に対応する決定されたアンカーセットをさらに更新し得る。例えば、人間に対応する決定されたアンカーセット内の人間の腕を記述するためのアンカーに対して、キーポイント検出部５３０は、腕の可能な動きの変化（例えば、持ち上げ、手を振る、曲げるなど）に基づいてこれらのアンカーの周りに対応するアンカーを追加する。上述したように、人間に対応する決定されたアンカーセットは、図１Ｂに示されている通りであり、例えば、更新されたアンカーセットは図９に示されている通りであり、例えば、図９に示される小さな黒いドットは新しく追加されたアンカーを示している。さらに、アンカーセット内の人間の脚を記述するためのアンカーに対して同様の更新動作を実行し得る。
【００４４】
オブジェクトは画像内で異なる形状や姿勢を持っていることが多いため、オブジェクトの１つのカテゴリは複数のアンカーセットで記述され得、ここで、各アンカーセットは特定の位置にある一定数のアンカーで構成され得る。一方、人間を例にとると、人間は通常、頭の形状、上半身の形状、全身の形状、体側面の形状などの形状を有している。一方、人間は通常、たとえば、直立歩行、ランニング、プッシュなどの姿勢（特に、運動姿勢）を有している。ただし、形状／姿勢は明らかにこれらに限定されない。例えば、人間の形状が図１０Ａに示されているようである場合、それを記述できるアンカーセットは図１０Ｂに示されており、ここで、例えば図１０Ｂに示されている小さな黒いドットは人間のキーポイント（つまり、アンカー）を示す。人間の形状が図１１Ａに示されているようである場合、それを記述できるアンカーセットは図１１Ｂに示されており、ここで、例えば、図１１Ｂに示されている小さな黒いドットは人間のアンカーを示す。人間の形状および姿勢が図１２Ａに示されているようである場合、それを記述できるアンカーセットは図１２Ｂに示されており、図１２Ｂに示されている小さな黒いドットは、例えば、人間のアンカーを示す。ここで、上記の図に示されたアンカーセットは例示に過ぎず、アンカーセットが対応する人間の形状および／または姿勢を記述できる限り、それは本開示で説明されるアンカーとして使用され得る。さらに、異なる形状および／または姿勢を有する他のオブジェクト（たとえば物（たとえば、車、自転車など））は、異なるアンカーセットによって同様に記述され得る。したがって、キーポイントの検出精度を向上させるために、別の実施形態では、事前取得したアンカーセットの中の複数のアンカーセットは、オブジェクトの１つのカテゴリを記述するために使用され得る。すなわち、オブジェクトの各カテゴリは、事前取得されたアンカーセットの中の複数のアンカーセットに対応し得る。したがって、この場合、一方では、図５に示される物体検出部５２０は、オブジェクトの領域情報およびカテゴリの信頼度情報に加えて、オブジェクトの形状情報を検出し得る。例えば、オブジェクト検出部５２０は、従来の回帰アルゴリズムを使用することにより、抽出された共有特徴内のオブジェクトに関連する特徴に基づいて、受信された画像内のオブジェクトの形状情報を検出し得る。すなわち、オブジェクト検出部５２０により検出されたオブジェクトは、そのオブジェクトの形状情報も有する。一方、キーポイント検出部５３０は、例えば以下の方法により、検出されたオブジェクトに対応するアンカーセットを決定する：最初に、オブジェクトのカテゴリ信頼度情報と形状情報とに基づいて、事前取得したアンカーセットからオブジェクトのカテゴリと形状との両方に対応するアンカーセットを選択し（たとえば、検出されたオブジェクトが人間であり、その形状および姿勢がたとえば図１２Ａに示されているようである場合、選択されたアンカーセットはたとえば図１２Ｂに示され、ここで、図１２Ｂに示される矩形フレームは、アンカーセットの領域サイズを示す）、次に、代わりに、オブジェクトの領域情報に基づいて、選択したアンカーセットの領域サイズを調整する。 さらに、画像内の他のオブジェクトについては、対応するアンカーセットを上述と同様の方法で決定され得る。さらに、この場合、上述の事前取得されたアンカーセット（すなわち、キーポイントセット）は、オブジェクトの形状に対応するサンプルキーポイントのラベルが付されている、および／または、オブジェクトの姿勢に対応するサンプルキーポイントのラベルが付されている、サンプル画像に基づいて取得され得る。
【００４５】
図８に戻り、オブジェクトに対応するアンカーセット（更新されたアンカーセットを含む）を決定した後、キーポイント検出部５３０は、抽出された特徴（すなわち共有特徴）およびステップＳ７３２０で決定されたキーポイントセット（すなわち、アンカーセット）に基づいてオブジェクトのキーポイントを検出する。例えば、キーポイント検出部５３０は、決定されたアンカーセット内のアンカーをキーポイント検出の初期ポイントとして取得し、抽出された共有特徴のうちオブジェクトのキーポイントに関連する特徴に基づく従来の回帰アルゴリズムを使用することにより、これらの初期点に対して対応する回帰演算を実行し、オブジェクトの最終的なキーポイントを取得する。加えて、上述のように、検出されたキーポイントの各々は、例えば、本開示においてそれに対応する信頼度情報を有する。したがって、例えば、オブジェクトのある部分／箇所（例えば、人間の腕）に複数のキーポイントがある場合、この部分／箇所で最大の信頼度情報を有するキーポイントが、この部分／箇所の最終的なキーポイントとして出力され得る。しかしながら、明らかに、本開示はこれに限定されず、最終的なキーポイントは他の方法により決定され得る。
【００４６】
最後に、図７に戻り、オブジェクト検出部５２０およびキーポイント検出部５３０は、図４に示すシステムバス４８０を介して、検出結果（例えば、検出されたオブジェクトおよびそのキーポイント）を出力デバイス４６０に送信し、検出結果をユーザに表示するか、検出結果を動き検出および分類、異常／危険な挙動の検出などの後続の画像処理に出力する。
【００４７】
また、図５で説明したように、検出装置５００の各部（すなわち、特徴抽出部５１０、オブジェクト検出部５２０およびキーポイント検出部５３０）は、事前生成されたニューラルネットワーク（第１のニューラルネットワークなど）を使用することにより、対応する動作を実行し得る。したがって、図７に示される各ステップ（すなわち、特徴抽出ステップＳ７１０、オブジェクト検出ステップＳ７２０およびキーポイント検出ステップＳ７３０）は、事前生成されたニューラルネットワークを使用することによって対応する動作を実行し得る。
【００４８】
さらに、キーポイント検出動作では、遮蔽されたキーポイント、動きの変化が大きいキーポイント、明確な特徴を有さないキーポイントなど、検出が困難なキーポイントが時々ある。これらのキーポイントについて、より正確な検出結果を得るために、図１３は、本開示の第２の実施形態による検出装置１３００の構成を示すブロック図である。ここで、図１３に示されるモジュールの一部またはすべては、専用のハードウェアで実現され得る。図１３に示されるように、検出装置１３００は、特徴抽出部５１０、オブジェクト検出部５２０、キーポイント検出部５３０、キーポイント更新部１３１０を含む。
【００４９】
ここで、図１３に示される特徴抽出部５１０、オブジェクト検出部５２０、キーポイント検出部５３０、および記憶デバイス５４０は、図５に示される各部と同じであるため、ここで再度の説明は繰り返さない。
【００５０】
図１３に示されるように、特徴抽出部５１０の後、その中のオブジェクト検出部５２０およびキーポイント検出部５３０は、図５〜図１２Ｂの対応する説明を参照して、受信された画像内のオブジェクトのキーポイントを検出し、キーポイント更新部１３１０は、検出されたオブジェクトのキーポイントのうち一部のキーポイントに対して更新動作を少なくとも１回実行し、検出されたオブジェクトのキーポイントを更新する。図５〜図１２Ｂに示されるように、キーポイント検出部５３０によって検出された各キーポイントはそれに対応する信頼度情報を有するため、一実施形態では、キーポイント更新部１３１０は、例えば、所定の閾値とオブジェクトの検出されたキーポイントの信頼度情報とに基づいて、更新動作を実行する必要があるキーポイントを決定し、更新動作を実行する回数を決定し、ここで、実行される更新動作は、例えば、従来の回帰アルゴリズムを使用することにより実現される。さらに、図５で説明したように、検出装置５００の各部は、事前生成されたニューラルネットワークを使用することにより、対応する動作を実行し得る。同様に、図１３に示す検出装置１３００の各部（すなわち、特徴抽出部５１０、オブジェクト検出部５２０、キーポイント検出部５３０、キーポイント更新部１３１０）は、事前生成されたニューラルネットワークを使用することにより、対応する動作を実行し得、ここで、事前生成されたニューラルネットワークは、例えば、本開示における事前生成された第２のニューラルネットワークと呼ばれ得る。一方で、例えば、図１４に示されるように、本開示の第２の実施形態に適用可能な事前生成された第２のニューラルネットワークは、例えば、特徴を抽出する部分（すなわち、サブネットワーク）、オブジェクトを検出する部分、キーポイントを検出する部分、および更新する部分を含む。ここで、更新する部分は、例えば、少なくとも１つのネットワーク層を含み、各ネットワーク層は、例えば、特徴を再抽出する部分とキーポイントを更新する部分とを含む。ここで、本開示において、第２のニューラルネットワークの各部分は、例えば、オブジェクトの領域、カテゴリ、キーポイントのラベルが付されたサンプル画像に基づいて、エンドツーエンドのトレーニング方法と逆方向伝播の更新マナーによって事前生成され得る。ここで、特徴を抽出する部分のニューラルネットワークの構造および特徴を再抽出する部分のニューラルネットワークの構造は、例えば、ＶＧＣ１６、ＲｅｓＮｅｔ、ＳＥＮｅ、Ｄａｒｋｎｅｔなどであり得る。ここで、第２のニューラルネットワークの生成中、更新する部分の各ネットワーク層について、それは処理されるべき「エンド」とみなされ得る。一方、例えば、事前生成された第２のニューラルネットワークは、記憶デバイス５４０に記憶され得る。
【００５１】
具体的には、一方で、検出装置１３００は、記憶デバイス５４０から事前生成された第２のニューラルネットワークを取得する。一方、図５に示されるように、特徴抽出部５１０、オブジェクト検出部５２０、キーポイント検出部５３０は、ニューラルネットワークの関連部分を使用して、対応する動作を実行し、キーポイント更新部１３１０は、ニューラルネットワークの更新部分を使用して、キーポイント検出部５３０によって検出されたオブジェクトのキーポイントに対して対応する更新動作を実行する。
【００５２】
図１５に示されるフローチャート１５００は、図１３に示される検出装置１３００の対応する手順である。
【００５３】
図１５に示されるように、特徴抽出ステップＳ７１０、オブジェクト検出ステップＳ７２０およびキーポイント検出ステップＳ７３０は、図７に示される各ステップで実行される動作と同じであるため、ここで再度の説明は繰り返さない。
【００５４】
キーポイント検出部５３０がキーポイント検出ステップＳ７３０を介して受信された画像からオブジェクトのキーポイントを検出した後、キーポイント更新部１３１０は、検出されたオブジェクトのキーポイント内の一部のキーポイントに対して少なくとも１回の更新動作を実行し、オブジェクトの検出されたキーポイントを更新する。
【００５５】
具体的には、ステップＳ１５１０において、キーポイント更新部１３１０は、検出されたオブジェクトのキーポイントの中に更新する必要があるキーポイントがあるか否かを判断する。本開示において、更新する必要があるキーポイントは、例えば、検出が困難な上述のキーポイント（例えば、遮蔽されたキーポイント、動きの変化が大きいキーポイント、および明確な特徴を有さないキーポイントなど）である。一実施形態では、キーポイント検出部５３０によって検出されたキーポイントのそれぞれについて、キーポイント更新部１３１０は、キーポイントの信頼度情報を所定の閾値（例えば、ＴＨｎ）と比較して、更新する必要があるキーポイントに属するかどうかを判定する。たとえば、キーポイントの信頼度情報が所定の閾値以上である場合、キーポイントは比較的簡単に検出できると見なされ、更新する必要はない。キーポイントの信頼度情報が所定の閾値よりも小さい場合、キーポイントは検出が困難であると見なされ、更新する必要がある。ここで、上述のｎは、実行が必要な更新動作の回数を示す。つまり、更新する必要があるキーポイントがあるかどうかを判断するために使用される閾値は、毎回異なり得る。ただし、明らかにこれに限定されることはない。
【００５６】
ステップＳ１５２０では、キーポイント更新部１３１０は、更新されると判断されたキーポイントに対して対応する更新動作を実行する。一実施形態では、キーポイント更新部１３１０は、図１６を参照して対応する更新動作を実行する。
【００５７】
図１６に示されるように、ステップＳ１５２１において、キーポイント更新部１３１０は、受信された画像から更新する必要があるキーポイントに関連する特徴を抽出し、ここで再抽出された特徴は、例えばヒートマップである。
【００５８】
ステップＳ１５２２で、キーポイント更新部１３１０は、再抽出された特徴に基づいて更新する必要があるキーポイントに対して更新動作を実行する。一実施形態では、キーポイント更新部１３１０は、更新する必要があるキーポイントをキーポイント更新の初期ポイントとして採用し、抽出された特徴マップに基づいて従来の回帰アルゴリズムを使用することにより、初期ポイントに対する回帰演算を実行し、更新する必要があるキーポイントを更新する。別の実施形態では、キーポイント更新部１３１０は、抽出されたヒートマップに基づいて、ヒートマップに基づくアルゴリズムを使用することによって、更新する必要があるキーポイントを更新する。
【００５９】
図１５に戻り、ステップＳ１５２０によって更新されたキーポイントについて、フロー１５００はステップＳ１５１０に戻り、キーポイント更新部１３１０は、更新されたキーポイントに更新する必要があるキーポイントがあるかどうかを判断する。更新する必要があるキーポイントがまだある場合、キーポイント更新部１３１０は、更新する必要があるキーポイントがなくなるまで、ステップＳ１５２０において再度更新する必要があるキーポイントに対して更なる更新動作を実行する。
【００６０】
更新する必要があるキーポイントがない場合、オブジェクト検出部５２０およびキーポイント検出部５３０／キーポイント更新部１３１０は、図４に示すシステムバス４８０を介して、検出結果（例えば、検出されたオブジェクトおよびそのキーポイント）を出力デバイス４６０に送信し、検出結果をユーザに表示するか、検出結果を動き検出および分類、異常／危険な挙動の検出などの後続の画像処理に出力する。
【００６１】
また、図１３で説明したように、検出装置１３００の各部（すなわち、特徴抽出部５１０、オブジェクト検出部５２０、キーポイント検出部５３０およびキーポイント更新部１３１０）は、事前生成されたニューラルネットワーク（たとえば、第２のニューラルネットワーク）を使用することにより、対応する動作を実行し得る。したがって、図１５に示される各ステップ（すなわち、特徴抽出ステップＳ７１０、オブジェクト検出ステップＳ７２０、キーポイント検出ステップＳ７３０、ステップＳ１５１０、およびステップＳ１５２０）は、事前生成されたニューラルネットワークを使用することによって対応する動作を実行し得る。
【００６２】
上述したように、本開示は、オブジェクト検出動作およびキーポイント検出動作で使用可能な特徴を一度に画像から抽出し、事前取得したキーポイントセットを使用することにより、キーポイント検出動作をオブジェクト検出動作のプロセスに統合し、一緒に実施する。したがって、本開示によれば、キーポイント検出動作に費やされる時間（すなわち、キーポイント検出の速度）は、検出対象の画像内のオブジェクトの数に依存しない。したがって、本開示によれば、オブジェクトおよびそのキーポイントが検出されている間、全体の検出速度が、検出対象の画像内のオブジェクトの数によって影響されないことを保証することができ、実際のコンピュータビジョンタスクによる検出の適時性および実行可能性の要件の要件をよりよく満たすことができる。
【００６３】
（応用）
加えて、上述のように、本開示は、監視デバイス（例えば、ネットワークカメラ）によって実施され得る。したがって、一つの応用として、本開示をネットワークカメラにより実施する場合を例にとると、図１７は、本開示に係る例示的な画像処理装置１７００の構成を示す。図１７に示されるように、画像処理装置１７００は、少なくとも取得デバイス１７１０、記憶デバイス１７２０、およびプロセッサ１７３０を含む。明らかに、画像処理装置１７００は、図示されていない入力デバイス、出力デバイスなども含み得る。
【００６４】
図１７に示されるように、最初に、取得デバイス１７１０（例えば、ネットワークカメラの光学系）は、関心のある場所（例えば、監視サイト）の画像／ビデオを撮像し、撮像された画像／ビデオをプロセッサ１７３０へ送信する。ここで、上述の監視サイトは、たとえば、動きの検出と分類、異常／危険な挙動の検出などを実行する必要がある場所であり得る。
【００６５】
記憶デバイス１７２０は、命令を格納し、格納された命令は、少なくとも、図７〜図１２Ｂおよび図１５〜図１６で説明した検出方法に対応する命令である。
【００６６】
プロセッサ１７３０は、撮像された画像／ビデオに基づいて格納された命令を実行し、少なくとも図７〜図１２Ｂおよび図１５〜図１６で説明された検出方法が実施され得、撮像された画像／ビデオ内のオブジェクトとそのキーポイントを検出する。
【００６７】
さらに、記憶デバイス１７２０が後続の画像処理命令も記憶する場合、例えば、監視サイトに異常／危険な挙動があるかどうかが判断される場合、プロセッサ１７３０は、検出されたオブジェクトとそのキーポイント（特に、人間とそのキーポイント）に基づく、対応する後続の画像処理命令を実行することにより、対応する動作を実施し得る。この場合、例えば、外部表示装置（不図示）がネットワークを介して画像処理装置１７００に接続され、外部表示装置は、後続の画像処理結果（例えば、異常／危険な挙動など）をユーザ／監視要員に出力し得る。あるいは、上述の後続の画像処理命令は、外部プロセッサ（不図示）によって実行され得る。この場合、上述の後続の画像処理命令は、例えば、外部記憶デバイス（不図示）に格納され、画像処理装置１７００、外部記憶デバイス、外部プロセッサおよび外部表示装置は、たとえば、ネットワークを介して接続され得る。したがって、外部プロセッサは、画像処理装置１７００によって検出されたオブジェクトおよびそのキーポイントに基づいて、外部記憶デバイスに格納された後続の画像処理命令を実行し得、外部表示装置は、後続の画像処理結果をユーザ／監視要員に出力し得る。
【００６８】
加えて、上述のように、本開示はまた、コンピュータ（例えば、クライアントサーバ）によって実施され得る。したがって、１つの応用として、本開示がクライアントサーバによって実施される場合を例にとると、図１８は、本開示による例示的な画像処理システム１８００の構成を示す。図１８に示されるように、画像処理システム１８００は、取得装置１８１０（例えば、少なくとも１つのネットワークカメラ）、処理装置１８２０、および図５に示される検出装置５００または図１３に示される検出装置１３００を含み、取得装置１８１０、処理装置１８２０、および検出装置５００／１３００は、ネットワーク１８３０を介して互いに接続されている。ここで、処理装置１８２０および画像処理装置５００／１３００は、同じクライアントサーバによって実現され得、またはそれぞれ異なるクライアントサーバによって実現され得る。
【００６９】
図１８に示されるように、最初に、取得装置１８１０は、関心のある場所（例えば、監視サイト）の画像またはビデオを撮像し、撮像された画像／ビデオをネットワーク１８３０を介して検出装置５００／１３００に送信する。ここで、上述の監視サイトは、たとえば、動きの検出と分類、異常／危険な挙動の検出などを実行する必要がある場所であり得る。
【００７０】
検出装置５００は、図７〜図１２Ｂを参照して、撮像された画像／ビデオからオブジェクトおよびそのキーポイントを検出し、または、検出装置１３００は、図１５〜図１６を参照して、撮像された画像／ビデオからオブジェクトおよびそのキーポイントを検出する。
【００７１】
処理装置１８２０は、検出されたオブジェクトとそのキーポイントに基づいて後続の画像処理動作を実行し、例えば、監視サイトに異常／危険な挙動があるかどうかが判断される。例えば、検出された人間およびそのキーポイントを事前定義された異常／危険ルールと比較して、異常／危険な挙動があるかどうかを判断し得る。たとえば、事前定義された異常／危険ルールは「多くの人が集まる場合、異常／危険な挙動がある」と想定され、検出された人間の領域情報が比較的密である場合、対応する画像処理結果（たとえば、異常／危険な挙動があるなど）が、ネットワーク１８３０を介して接続され表示装置または警報装置によってユーザ／監視要員に出力され得る。
【００７２】
さらに、本開示は、人計数システムに適用され得、人計数システムの機能を拡張し得る。たとえば、入力された画像／ビデオ内の人間の頭部の領域が人計数によって取得でき、その後、得られた人間の各頭部の領域について、図７に示されるステップＳ７３０で実行されるキーポイント検出動作を使用して、または、図１５に示されるステップＳ７３０およびステップＳ１５１０〜Ｓ１５２０で実行されるキーポイント検出動作および更新動作を使用して、人間の頭部のキーポイントが検出され得、人計数情報は、人々の性別分布、人々の年齢分布など、さらに分析され得る。
【００７３】
上述のユニットはすべて、本開示で説明する処理を実施するための例示的および／または好適なモジュールである。これらのユニットは、ハードウェアユニット（フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ、特定用途向け集積回路など）および／またはソフトウェアモジュール（コンピュータ可読プログラムなど）であり得る。各ステップを実施するためのユニットについては、上記では詳しく説明していない。ただし、特定の手順を実行するステップがある場合、同じ手順を実施するための対応する機能モジュールまたはユニット（ハードウェアおよび／またはソフトウェアで実施）が存在し得る。説明されたステップおよびこれらのステップに対応するユニットのすべての組み合わせによって構成される技術的解決策は、それらによって構成される技術的解決策が完全で適用可能である限り、本願の開示内容に含まれる。
【００７４】
本開示の方法および装置は、様々な方法で実施され得る。例えば、本開示の方法および装置は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせによって実施され得る。別段の指定がない限り、本方法のステップの上述のシーケンスは例示のみを意図しており、本開示の方法のステップは上述の特定のシーケンスに限定されない。加えて、いくつかの実施形態では、本開示は、本開示による方法を実施するためのマシン可読命令を含む記録媒体に記録されたプログラムとして実施され得る。したがって、本開示は、本開示による方法を実施するためのプログラムを格納するための記録媒体もカバーする。
【００７５】
本開示のいくつかの特定の実施形態が実施例により詳細に説明されたが、当業者は、上述の実施形態が単に例示であり、本開示の範囲を限定することを意図していないことを理解すべきである。上述の実施形態は、本開示の範囲および精神から逸脱することなく修正され得ることを当業者は理解すべきである。本開示の範囲は、添付の特許請求の範囲によって定義される。
【図１Ａ】
2020140700.tif 000003
【図１Ｂ】
2020140700.tif 000004
【図２Ａ】
2020140700.tif 000005
【図２Ｂ】
2020140700.tif 000006
【図３Ａ】
2020140700.tif 000007
【図３Ｂ】
2020140700.tif 000008
【図４】
2020140700.tif 000009
【図５】
2020140700.tif 000010
【図６】
2020140700.tif 000011
【図７】
2020140700.tif 000012
【図８】
2020140700.tif 000013
【図９】
2020140700.tif 000014
【図１０Ａ】
2020140700.tif 000015
【図１０Ｂ】
2020140700.tif 000016
【図１１Ａ】
2020140700.tif 000017
【図１１Ｂ】
2020140700.tif 000018
【図１２Ａ】
2020140700.tif 000019
【図１２Ｂ】
2020140700.tif 000020
【図１３】
2020140700.tif 000021
【図１４】
2020140700.tif 000022
【図１５】
2020140700.tif 000023
【図１６】
2020140700.tif 000024
【図１７】
2020140700.tif 000025
【図１８】
2020140700.tif 000026