(57)【要約】【課題】  対象物ヒット率を向上させる。【解決手段】  姿勢分類器トレーニング方法であって、第１のトレーニング画像サンプルセットを取得するステップと、第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの、実際の姿勢情報を取得するステップと、指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するステップとを含む。【選択図】  図９
2013196683.tif 000002
【特許請求の範囲】
【請求項１】
第１のトレーニング画像サンプルセットを取得するステップと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの、実際の姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するステップと
を含むことを特徴とする姿勢分類器トレーニング方法。
【請求項２】
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成する前記ステップは、
損失関数を構築するステップと、
マッピング関数を構築するステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するステップとを含み、
前記損失関数の入力が前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差であり、
前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である
ことを特徴とする請求項１に記載の姿勢分類器トレーニング方法。
【請求項３】
前記損失関数は、実際の姿勢情報と推定された姿勢情報との間の位置差である
ことを特徴とする請求項２に記載の姿勢分類器トレーニング方法。
【請求項４】
前記損失関数は、実際の姿勢情報と推定された姿勢情報との間の位置差および方向差である
ことを特徴とする請求項２に記載の姿勢分類器トレーニング方法。
【請求項５】
請求項１から請求項４の何れか１項に記載の姿勢分類器トレーニング方法によって生成された姿勢分類器を使用して対象物分類器をトレーニングする対象物分類器トレーニング方法であって、
第２のトレーニング画像サンプルセットを取得するステップと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行するステップと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するステップとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物分類器トレーニング方法。
【請求項６】
前記姿勢分類器に従って前記第２のトレーニング画像サンプルセットにおける、指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行する前記ステップは、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するステップとを含み、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行する前記ステップは、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するステップを含む
ことを特徴とする請求項５に記載の対象物分類器トレーニング方法。
【請求項７】
請求項１から請求項４の何れか１項に記載の姿勢分類器トレーニング方法によって生成された姿勢分類器、および請求項５から請求項１０の何れか１項に記載の対象物分類器トレーニング方法によって生成された対象物分類器を使用した対象物検出方法であって、
入力画像サンプルを取得するステップと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するステップと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するステップとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物検出方法。
【請求項８】
第１のトレーニング画像サンプルセットを取得する第１の取得モジュールと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得する第２の取得モジュールと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成する第１のトレーニング生成モジュールとを含む
ことを特徴とする姿勢分類器トレーニング装置。
【請求項９】
請求項１７から請求項２０の何れか１項に記載の姿勢姿勢分類器トレーニング装置によって生成された姿勢分類器を使用して、対象物分類器をトレーニングする対象物分類器トレーニング装置であって、
第２のトレーニング画像サンプルセットを取得する第３の取得モジュールと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して、姿勢推定処理を実行する第１の姿勢推定モジュールと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成する第２のトレーニング生成モジュールとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物分類器トレーニング装置。
【請求項１０】
請求項１７から請求項２０の何れか１項に記載の姿勢姿勢分類器トレーニング装置によって生成された姿勢分類器、及び、請求項２１から請求項２６の何れか１項に記載の対象物分類器トレーニング装置によって生成された対象物分類器を使用した対象物検出装置であって、
入力画像サンプルを取得する第４の取得モジュールと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行する第２の姿勢推定モジュールと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するための検出モジュールとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の分野に関し、特に姿勢分類器および対象物分類器をトレーニングするための方法および装置、対象物検出のための方法および装置に関する。
【背景技術】
【０００２】
電子情報技術の発展およびネットワークの普及と共に、日常生活ではモノのインターネットにおいて、監視ビデオカメラ、デジタルビデオカメラ、ウェブカメラ、デジタルカメラ、電話カメラ、およびビデオセンサなど、様々な画像収集装置によって、大量の画像およびビデオデータが取得されるようになった。こうした膨大な量の画像およびビデオデータに対応して、すべてのデータを迅速かつ知的に分析する方法が緊急の課題になっている。
【０００３】
人体検出技術はデータを知的に分析する技術的な手法の１つである。図１を参照すると、人体検出のプロセスは入力画像について画像における人体を検出し、人体の位置を特定し、人体の位置を検出結果として出力することである。
【０００４】
人体検出のための既存の方法は、主に３つのタイプに分類される。
【０００５】
第１のタイプは局所的な特徴抽出に基づく方法である。このタイプの方法によってトレーニング画像のサブエリアに基づいて特徴が計算され、異なるサブエリアの特徴が並べ替えられ、ある方法で人体の特徴として結合され、次に人体の特徴に従って分類器がトレーニングされる。検出プロセス中、入力画像の対応するサブエリアの特徴が検出、計算され、次に分類器が計算された特徴を分類して人体検出が実現する。
【０００６】
第２のタイプは、注視点に基づく方法である。このタイプの方法によって、まずトレーニング画像セットに基づいて注視点を計算し、次にポイントを中心とするある大きさのブロックを抽出し、抽出されたすべてのブロックをクラスタ化して辞書を生成する。検出プロセス中、入力画像における同一の注視点が計算され、ブロックが抽出され、次に類似のブロックが辞書から検索され、最後に辞書におけるブロックに従って投票することによって、入力画像における人体の位置が識別されて人体検出が実現する。
【０００７】
第３のタイプはテンプレート照合に基づく方法である。このタイプの方法によって身体輪郭のテンプレートが前もって準備される。検出プロセス中、入力画像のエッジ分布画像が計算され、エッジ分布画像から身体輪郭と最も類似するエリアが検索されて人体検出が実現する。
【０００８】
本発明を実現する過程で、発明者は従来技術において少なくとも以下の問題を発見した。上記の３つのタイプの方法は、ある程度まで人体検出を実現することはできるが、これらの方法は一般的にすべて人体が直立であることを前提としており、柔軟な物体としての人体の姿勢の変化を無視している。人体の姿勢が変化すると既存の人体検出方法では、人体を背景エリアと区別することが殆ど不可能となり人体ヒット率が低下する。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
人体ヒット率を向上させるために、本発明の実施例において姿勢分類器および対象物分類器をトレーニングするための方法および装置、ならびに対象物検出のための方法および装置が提供される。技術的な解決法は、以下の通りである。
【課題を解決するための手段】
【００１０】
本発明の実施例の１つの目的は姿勢分類器をトレーニングするための方法を提供することであり、この方法は、
第１のトレーニング画像サンプルセットを取得するステップと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの、実際の姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するステップとを含む。
【００１１】
一実施例において、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成する前記ステップは、
損失関数を構築するステップであって、前記損失関数の入力が前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差である、ステップと、
マッピング関数を構築するステップであって、前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である、ステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するステップとを含む。
【００１２】
ここで前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差であることが望ましい。
【００１３】
ここで前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差および方向差であることが望ましい。
【００１４】
本発明の実施例の１つの目的は、上述の方法に従った方法によって生成された姿勢分類器を使用して対象物分類器をトレーニングするための方法を提供することであり、前記対象物は関節を有する対象物であり、前記方法は、
第２のトレーニング画像サンプルセットを取得するステップと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行するステップと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するステップとを含む。
【００１５】
一実施例において、前記姿勢分類器に従って前記第２のトレーニング画像サンプルセットにおける、指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行する前記ステップは、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するステップとを含み、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行する前記ステップは、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するステップを含む。
【００１６】
別の実施例では、前記指定された数のトレーニング画像サンプルの、推定された姿勢情報を取得する前記ステップの後、
前記指定された数のトレーニング画像サンプルの、推定された姿勢情報を表示するステップをさらに含む。
【００１７】
別の実施例では、前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップの後、
前記複数の正規化されたトレーニング対象物包囲枠を表示するステップをさらに含む。
【００１８】
別の実施例では、前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するステップを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００１９】
別の実施例では、前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するステップを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００２０】
本発明の実施例の別の目的は、上述の方法によって生成された姿勢分類器、および上述の方法によって生成された対象物分類器を使用した対象物検出のための方法を提供することであり、前記対象物は関節を有する対象物であり、前記方法は、
入力画像サンプルを取得するステップと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するステップと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するステップとを含む。
【００２１】
一実施例では、前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行する前記ステップは、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得するステップと、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分の対象物境界ボックスがサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行するステップとを含み、
それに対応して、前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行する前記ステップは、
前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行するステップを含む。
【００２２】
別の実施例では、前記入力画像サンプルの推定された姿勢情報を取得する前記ステップの後、
前記入力画像サンプルの推定された姿勢情報を表示するステップをさらに含む。
別の実施例では、複数の対象物境界ボックスにおいて正規化を実行する前記ステップの後、
前記複数の正規化された対象物境界ボックスを表示するステップをさらに含む。
別の実施例では、前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するステップを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００２３】
別の実施例では、前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するステップを含み、前記対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００２４】
本発明の実施例の別の目的は、姿勢分類器をトレーニングするための装置を提供することであり、この装置は、
第１のトレーニング画像サンプルセットを取得するための第１の取得モジュールと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得するための第２の取得モジュールと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するための第１のトレーニング生成モジュールとを含む。
【００２５】
一実施例では、前記第１のトレーニング生成モジュールは、
損失関数を構築するための第１の構築ユニットであって、前記損失関数の入力が、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差である、第１の構築ユニットと、
マッピング関数を構築するための第２の構築ユニットであって、前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である、第２の構築ユニットと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するための姿勢分類器取得ユニットとを含む。
【００２６】
ここで前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差であることが望ましい。
【００２７】
ここで前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差および方向差であることが望ましい。
【００２８】
本発明の実施例の別の目的は、上述の装置によって生成された姿勢分類器を使用して対象物分類器をトレーニングするための装置を提供することであり、前記対象物は関節を有する対象物であり、前記装置は、
第２のトレーニング画像サンプルセットを取得するための第３の取得モジュールと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して、姿勢推定処理を実行するための第１の姿勢推定モジュールと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するための第２のトレーニング生成モジュールとを含む。
【００２９】
一実施例では、前記第１の姿勢推定モジュールは、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するための第１の姿勢推定ユニットと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するための第１の構築処理ユニットとを含み、
前記第２のトレーニング生成モジュールは、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するためのトレーニングユニットを含む。
【００３０】
別の実施例では、前記装置は、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得する前記ステップの後、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を表示するための第１のグラフィックユーザインターフェースをさらに含む。
【００３１】
別の実施例では、前記装置は、
前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップの後、前記複数の正規化されたトレーニング対象物包囲枠を表示するための第２のグラフィックユーザインターフェースをさらに含む。
【００３２】
別の実施例では、前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第１の構築サブユニットを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００３３】
別の実施例では、前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するための第２の構築サブユニットを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００３４】
本発明の実施例の別の目的は、上述の装置によって生成された姿勢分類器および対象物分類器を使用した対象物検出のための装置を提供することであり、前記対象物は関節を有する対象物であり、前記装置は、
入力画像サンプルを取得するための第４の取得モジュールと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するための第２の姿勢推定モジュールと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するための検出モジュールとを含む。
【００３５】
一実施例では、前記第２の姿勢推定モジュールは、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得するための第２の姿勢推定ユニットと、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行するための第２の構築処理ユニットとを含み、
前記検出モジュールは、
前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行するための検出ユニットを含む。
【００３６】
別の実施例では、前記装置は、
前記入力画像サンプルの推定された姿勢情報を取得する前記ステップの後、前記入力画像サンプルの推定された姿勢情報を表示するための第３のグラフィックユーザインターフェースをさらに含む。
【００３７】
別の実施例では、前記装置は、
複数の対象物境界ボックスにおいて正規化を実行する前記ステップの後、前記複数の正規化された対象物境界ボックスを表示するための第４のグラフィックユーザインターフェースをさらに含む。
【００３８】
別の実施例では、前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第３の構築サブユニットを含み、対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【００３９】
別の実施例では、前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は、
頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸と見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するための第４の構築サブユニットを含み、前記対象物の前記構造特徴点は、対応する対象物境界ボックスにある。
【発明の効果】
【００４０】
本発明の実施例によって提供される技術的な解決法は、以下の利点を有する。回帰方法を使用して第１のトレーニング画像セットにおける指定された数のトレーニング画像サンプルをトレーニングすることによって、姿勢分類器が生成され、次に前記姿勢分類器を使用して、対象物分類器のトレーニングおよび対象物推定のプロセスにおいて姿勢推定が実行され、対象物境界ボックスがさらに構築され、正規化され、従って対象物の特徴の計算における姿勢の影響が除去され、その結果、同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになり、それによって異なる姿勢の、関節を有する対象物を検出することができ、対象物ヒット率を向上させることができる。
【００４１】
さらに、回帰方法によって生成される姿勢分類器が、対象物分類器トレーニングプロセスおよび対象物検出プロセスに対して姿勢推定のためにそれぞれ出力され、本実施例における方法の計算の複雑さは、従来の姿勢推定方法のものと比較して低減する。
【００４２】
損失関数を構築する際に方向差が考慮されるため、異なる姿勢の対象物の検出において好都合となり、対象物ヒット率が向上することが望ましい。
【００４３】
本発明において提供される方法および装置は、人体の計数、ビデオ監視の分野など、画像またはビデオ分析の分野に適用することができる。
【図面の簡単な説明】
【００４４】
本発明は、以下に示す添付の図面からより完全に理解されるであろう。しかし、これらの図面は例示にすぎない。当業者であれば、負担の大きい不要な実験を行わなくても、さらに別の変形を容易に得ることができる。こうした変形は、本発明の精神および範囲からの逸脱と見なされない。
【００４５】
【図１】本発明の実施例において提供される姿勢分類器をトレーニングするための方法の一実施例のフローチャートを示す。
【図２】本発明の実施例において提供される姿勢分類器をトレーニングするための方法の別の実施例のフローチャートを示す。
【図３】本発明の実施例において提供されるトレーニング画像サンプルの特徴ベクトルを抽出する概略図を示す。
【図４】本発明の実施例において提供される推定された位置の概略図を示す。
【図５】本発明の実施例において提供される対象物分類器をトレーニングするための方法の一実施例のフローチャートを示す。
【図６】本発明の実施例において提供される対象物分類器をトレーニングするための方法の別の実施例のフローチャートを示す。
【図７】本発明の実施例において提供される４つの特徴点の対象物境界ボックスの概略図を示す。
【図８】本発明の実施例において提供される６つの特徴点の対象物境界ボックスの概略図を示す。
【図９】本発明の実施例において提供される対象物検出のための方法の一実施例のフローチャートを示す。
【図１０】本発明の実施例において提供される対象物検出のための方法の別の実施例のフローチャートを示す。
【図１１】本発明の実施例において提供される、本発明の実施例および既存の実施例のＲＯＣ曲線の概略図を示す。
【図１２】本発明の実施例において提供される姿勢分類器をトレーニングするための装置の一実施例の構造図を示す。
【図１３】本発明の実施例において提供される姿勢分類器をトレーニングするための装置の別の実施例の構造図を示す。
【図１４】本発明の実施例において提供される対象物分類器をトレーニングするための装置の一実施例の構造図を示す。
【図１５】本発明の実施例において提供される対象物分類器をトレーニングするための装置の別の実施例の構造図を示す。
【図１６】本発明の実施例において提供される対象物検出のための装置の一実施例の構造図を示す。
【図１７】本発明の実施例において提供される対象物検出のための装置の別の実施例の構造図を示す。
【発明を実施するための形態】
【００４６】
本発明の目的、技術的解決法、および利点をより明確にするために、本発明の実施例を添付の図面を参照しながら以下にさらに詳しく説明する。
【００４７】
図１を参照すると、本発明の実施例において姿勢分類器をトレーニングするための方法の一実施例のフローチャートが提供される。姿勢分類器をトレーニングするための前記方法は、
Ｓ１０１：第１のトレーニング画像サンプルセットを取得するステップと、
Ｓ１０２：前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得するステップと、
Ｓ１０３：前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するステップとを含む。
【００４８】
本実施例では、第１のトレーニング画像サンプルセット、および前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得し、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行することによって、姿勢分類器が生成され、その結果、姿勢分類器によって異なる姿勢の対象物を検出することができるようになり、それによって対象物ヒット率が向上する。
【００４９】
本発明の実施例における対象物は、具体的には人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない、関節を有する対象物である。本実施例では、詳細な説明のために一例として人体が使用される。図２を参照すると、本発明の実施例において、姿勢分類器をトレーニングするための方法の別の実施例のフローチャートが提供される。
【００５０】
姿勢分類器をトレーニングするための前記方法は、以下を含む。
【００５１】
Ｓ２０１：第１のトレーニング画像サンプルセットを取得するステップ。
【００５２】
姿勢分類器をトレーニングするプロセス中、トレーニングプロセスを実行するために、トレーニング画像サンプルとして複数の画像サンプルが使用されるものとする。具体的には前記複数の画像サンプルは、例えば人体または他の対象物など、関節を有する対象物の複数の画像とすることができる。本発明の実施例では、複数のトレーニング画像サンプルは第１のトレーニング画像サンプルセットとして格納することができる。
【００５３】
同じシーンまたは異なるシーンで、画像収集装置によって前記第１のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプルを取得することができる。本発明の実施例では、できるだけ多くの様々な姿勢の人体の画像サンプルが選択され、トレーニング画像サンプルとして前記第１のトレーニング画像サンプルセットに格納され、従って生成された姿勢分類器の精度が向上することが望ましい。
【００５４】
Ｓ２０２：前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得するステップ。
【００５５】
本発明の実施例では、関連する実際の姿勢情報は例えば頭部またはウエストの位置情報などの、人体の各部分の位置情報を指す。人体の各部分の位置情報は人体の各部分の特定の位置を表すことができる。前記指定された数のトレーニング画像サンプルは、前記第１のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプル、または前記第１のトレーニング画像サンプルセットにおけるトレーニング画像サンプルの一部とすることができる。生成された姿勢分類器の精度が向上するように、前記指定された数のトレーニング画像サンプルは、前記第１のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプルを指すことが望ましい。
【００５６】
このステップでは、前記指定された数のトレーニング画像サンプルにおける人体の実際の姿勢情報を取得するために、前記指定された数のトレーニング画像サンプルにおける人体は手動でマークされるものとする。
【００５７】
具体的には、人体の前記各部分は人体の構造特徴点によって表すことができ、人体の前記構造特徴点とは、人体構造を反映することができる位置の点を指す。人体の構造特徴点は１つまたは複数あり得る。人体の構造特徴点は４つまたは６つであることが望ましい。人体の構造特徴点が４つある場合、人体の前記構造特徴点は、頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、人体の構造特徴点が６つある場合、人体の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含む。しかし、人体の構造特徴点の数は４つまたは６つに限定されず、ここでは詳述しない。
【００５８】
Ｓ２０３：損失関数を構築するステップであって、前記損失関数の入力が、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差である、ステップ。
【００５９】
本発明の実施例では、損失関数の入力は前記指定された数のトレーニング画像サンプル、具体的には前記指定された数のトレーニング画像サンプルの特徴ベクトルを含む。図３を参照すると、本発明の実施例においてトレーニング画像サンプルの特徴ベクトルを抽出する概略図が提供される。トレーニング画像サンプルがＩ、その特徴ベクトルがＸであるならば、トレーニング画像サンプルＩから特徴を抽出することによって特徴ベクトルＸが取得される。ここでトレーニング画像サンプルの特徴ベクトルＸは、例えば画像の色、グレースケール、テクスチャ、勾配、および形状など、対象物のモード情報を表すことができ、ビデオにおいて、トレーニング画像サンプルの前記特徴ベクトルＸは対象物の動き情報を表すこともできる。
【００６０】
トレーニング画像サンプルの前記特徴ベクトルはＨＯＧ特徴であることが望ましい。ここでＨＯＧ特徴は、コンピュータビジョンおよび画像処理において対象物を検出するための特徴ディスクライバである。ＨＯＧ特徴を抽出する方法は、画像自体の勾配の方向の特徴を使用し、高密度のメッシュおよび同一の寸法を有するグリッドユニットにおいて計算を行う方法であり、最後にトレーニング画像サンプルの特徴として異なるメッシュの特徴を連結し、さらに精度を向上させるためにローカルコントラストの正規化を重ね合わせる方法を採用する。ＨＯＧ特徴を抽出する方法は従来技術における方法に類似しており、従ってここでは詳述しない。詳細については従来技術の関連の記述を参照されたい。
【００６１】
前記損失関数は多くの形を有することができる。例えば前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差であり、以下を含む。
【数１】
2013196683.tif 000003
【００６２】
式中、Ｊ’（ｙ，Ｆ（ｘ））は損失関数を表し、Ｆ（ｘ）はマッピング関数を表し、ｙは前記指定された数のトレーニング画像サンプルの実際の姿勢情報を表し、Ψ（ｙｉ，Ｆ（ｘｉ））はｉ番目のトレーニング画像サンプルのマッピング関数を表し、ｙｉはｉ番目のトレーニング画像サンプルの実際の姿勢情報を表し、ｘｉはｉ番目のトレーニング画像サンプルを表し、Ｆ（ｘｉ）はｉ番目のトレーニング画像サンプルのマッピング関数を表し、Ｎはトレーニング画像サンプルの合計数を表す。
【００６３】
損失関数Ｊ’（ｙ，Ｆ（ｘ））は上述の式の形態に限定されず、ここでは詳述しない。実際の姿勢情報と推定された姿勢情報との間の位置差を反映することができるすべての損失関数は、本発明の補償範囲に属するものとする。
【００６４】
別の実施例では、前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差および方向差であり、以下を含むことが望ましい。
【数２】
2013196683.tif 000004
【００６５】
式中、Ｊ（ｙ，Ｆ（ｘ））は損失関数を表し、ｙは前記指定された数のトレーニング画像サンプルの実際の姿勢情報を表し、Ｆ（ｘ）はマッピング関数を表し、ｙｉ，１はｉ番目のトレーニング画像サンプルにおけるルートノードの実際の位置を表し、ｇ（ｘｉ）はｉ番目のトレーニング画像サンプルにおけるルートノードの推定された位置を表し、ｙｉ，ｊはｉ番目のトレーニング画像サンプルにおける人体のｊ番目の構造特徴点の実際の位置を表し、Ｆｊ（ｘｉ）はｉ番目のトレーニング画像サンプルにおける人体のｊ番目の構造特徴点のマッピング関数を表し、Ｎはトレーニング画像サンプルの合計数を表し、ｑは人体の構造特徴点の合計数を表し、αは加重係数であり、０＜α＜１である。
【００６６】
損失関数Ｊ（ｙ，Ｆ（ｘ））において、ウエスト中心点をルートノードと見なし、軸は、ウエスト中心点および人体の他の構造特徴点に従って実際の姿勢情報の軸として構築され、次に前記実際の姿勢情報と前記推定された姿勢情報との間の方向差は、前記実際の姿勢情報の軸と対応する推定された姿勢情報の軸との間のベクトルによって表すことができる。例えば
【数３】
2013196683.tif 000005
であり、方向差は実際の姿勢情報の軸と推定された姿勢情報の軸との間の内抱角によって表すこともでき、これについてはここで詳述しない。
【００６７】
前記損失関数Ｊ（ｙ，Ｆ（ｘ））は上述の式の形態に限定されず、ここでは詳述しない。実際の姿勢情報と推定された姿勢情報との間の位置差および方向差を反映することができるすべての損失関数は、本発明の補償範囲に属するものとする。
【００６８】
図４を参照すると、本発明の実施例において推定された位置の概略図が提供される。損失関数Ｊ（ｙ，Ｆ（ｘ））では、推定位置２の方向が実際の位置のものと一致しているので、図４において、推定位置２は推定位置１よりも効果的であり、これは特徴抽出のためにはより効果的である。従って損失関数が構築される時、異なる姿勢の人体の検出では、実際の姿勢情報と推定された姿勢情報との間の位置差および方向差を考慮に入れることが有利である。
【００６９】
Ｓ２０４：マッピング関数を構築するステップであって、前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である、ステップ。
【００７０】
このステップでは、最初にあらかじめ設定された弱いマッピング関数プールから前記損失関数の出力値を最小にする弱いマッピング関数が選択され、前記弱いマッピング関数が最初のマッピング関数として使用され、マッピング関数が前記最初のマッピング関数に従って構築される。
【００７１】
本発明の実施例における弱いマッピング関数プールは、複数の弱いマッピング関数を含むプールである。前記弱いマッピング関数プールにおける弱いマッピング関数は経験に従って構築される。前記弱いマッピング関数プールは、３，０２５の弱いマッピング関数を含むことが望ましい。ここで各弱いマッピング関数はサブウィンドウに対応し、次に本発明の実施例における前記弱いマッピング関数プールは、３，０２５のサブウィンドウを含むことが望ましい。
【００７２】
これは損失関数の式から知られており、前記損失関数はマッピング関数Ｆ（ｘ）の関数であり、前記損失関数はそれぞれ前記弱いマッピング関数プールにおける各弱いマッピング関数よって置換される。前記損失関数の出力値は、前記指定された数のトレーニング画像サンプルおよび実際の姿勢情報に従って計算され、前記損失関数の出力値を最小にする弱いマッピング関数が取得され、前記損失関数の出力値を最小にする弱いマッピング関数が最初のマッピング関数Ｆ０（ｘ）として使用される。
【００７３】
マッピング関数Ｆ（ｘ）が最初のマッピング関数Ｆ０（ｘ）に従って構築される。例えば
【数４】
2013196683.tif 000006
であり、式中、前記マッピング関数Ｆ（ｘ）の入力は、前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力は、前記指定された数のトレーニング画像サンプルの推定された姿勢情報であり、λｔはｔ番目の回帰の最適な重みを表し、ｈｔ（ｘ）はｔ番目の回帰の最適な弱いマッピング関数を表し、Ｔは回帰の合計回数を表す。
【００７４】
Ｓ２０５：前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するステップ。
【００７５】
本発明の実施例では、Ｆ（ｘ）を解くプロセスは回帰のプロセスである。回帰が実行されるたびに最適な弱いマッピング関数ｈｔ（ｘ）は、あらかじめ設定された式に従って弱いマッピング関数プールから選択され、現在の回帰の最適な重みλｔが前記ｈｔ（ｘ）に従って計算されて、現在の回帰のマッピング関数Ｆ（ｘ）が取得される。連続した回帰と共に、マッピング関数に対応する損失関数の出力値が連続して低減し、取得されたマッピング関数Ｆ（ｘ）が収束すると回帰は停止し、この時点でマッピング関数Ｆ（ｘ）に対応する前記損失関数の出力値は最小であり、前記損失関数の出力値を最小にするマッピング関数が姿勢分類器として使用される。
【００７６】
マッピング関数が収束したかどうかを判断するプロセスは、具体的には以下を含む。Ｔ番目の回帰によって取得されたマッピング関数Ｆ（ｘ）が収束されるならば、Ｔ番目の回帰によって取得されたマッピング関数Ｆ（ｘ）に対応する損失関数の出力値はψＴとして計算され、（Ｔ−１）番目の回帰によって取得されたマッピング関数Ｆ（ｘ）に対応する損失関数の出力値はψＴ−１として計算され、この時０≦ψＴ−１−ψＴ≦はあらかじめ設定されたしきい値であり、あらかじめ設定されたしきい値は、それだけには限定されないが０．０１とすることができる。
【００７７】
損失関数は、実際の姿勢情報と推定された姿勢情報（すなわち、マッピング関数）との間の差の程度を表す。本実施例では、前記損失関数は姿勢分類器を計算するために使用することができ、これは損失関数の最小の値に対応するマッピング関数が姿勢分類器として使用されることを意味し、また、姿勢分類器が実際の姿勢情報にほぼ近い推定された姿勢情報であることを意味する。
【００７８】
姿勢分類器を取得するための計算プロセスについて、一例として損失関数Ｊ（ｙ，Ｆ（ｘ））を使用して説明する。
【００７９】
単一のトレーニング画像サンプルでは、損失関数は以下の通りである。
【数５】
2013196683.tif 000007
【００８０】
式中、ｑは人体の構造特徴点の合計数を表し、Ｐｊは人体のｊ番目の構造特徴点の実際の位置を表し、Ｐ’ｊは人体のｊ番目の構造特徴点の推定位置を表し、Ｐｒｏｏｔ，ｊはＰｊのルートノードの実際の位置を表し、ここで前記ルートノードは、ウエスト中心点であり、Ｐ’ｒｏｏｔ，ｊはＰｊのルートノードの推定位置を表し、（Ｐｒｏｏｔ，ｊ，Ｐｊ）は実際の姿勢情報の軸を表すことが望ましい。
【００８１】
第１のトレーニング画像サンプルセット全体では、損失関数は以下の通りである。
【数６】
2013196683.tif 000008
【００８２】
前記Ｊ（ｙ，Ｆ（ｘ））は、前記第１のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプルの損失関数である。Ｊ（ｙ，Ｆ（ｘ））が構築される時、すべての人体境界ボックスの軸の開始点は同じ特徴点として定義され、前記同じ特徴点はルートノードとして定義され、前記ルートノードはウエスト中心点であることが望ましく、従ってルートノードを除いて損失関数Ｊ（ｙ，Ｆ（ｘ））におけるｊの開始点は２である。
【００８３】
ここでｋｊ（ｘｉ）＝Ｆｊ（ｘｉ）−ｇ（ｘｉ），ｕｉ，ｊ＝ｙｉ，ｊ−ｙｉ，１である。
【００８４】
上述のＪ（ｙ，Ｆ（ｘ））では、Ｆ（ｘ）はｋ（ｘ）およびｇ（ｘ）を計算することよって取得することができる。
【００８５】
ｇ（ｘ）は、ＳＶＲ（サポートベクトル回帰）およびＰＣＡ（主成分分析）の方法を採用することによって解くことができ、具体的にこのプロセスは以下を含む。
【００８６】
１ａ）次を入力する：｛ｙｉ，ｘｉ｝Ｎ１，ｙｉ∈Ｒ２ｑ，ｘｉ∈Ｒｄ
２ａ）ＰＣＡの解法によって次を計算する：ｒｉ＝ｐ（ｙｉ，１）：Ｒ２→Ｒ１
３ａ）
【数７】
2013196683.tif 000009
を最小にすることによってＷを計算し、ここで
【数８】
2013196683.tif 000010
であり、ｋ（ｘ，ｘｎ）はカーネル関数である
４ａ）次を出力する：ｇ（ｘ）＝ｐ−１（ｇ’（ｘ））：Ｒｄ→Ｒ２
【００８７】
式中、Ｒは実数体を表し、ｘｉはｉ番目のトレーニング画像サンプルを表し、ｙｉは人体のｊ番目の構造特徴点の位置を表し、ｒｉはｉ番目のトレーニング画像サンプルのルートノードの位置を表し、ｙｉ，１はｉ番目のトレーニング画像サンプルにおけるルートノードの実際の位置を表し、ｗはベクトルであり式の係数を表し、例えばｚ＝ａｘ＋ｂｙである場合ｗ＝（ａ，ｂ）であり、Ｃは倍率であり、Ｎはトレーニング画像サンプルの合計数を表し、ｇ’（ｘｉ）はｉ番目のトレーニング画像サンプルにおけるルートノードの推定位置を表し、ξは短縮係数を表す。
【００８８】
ｋ（ｘ）はブースティング方式によって計算することができ、具体的にこの方法は以下を含む。
【００８９】
１ｂ）次を入力する：｛ｙｉ，ｘｉ｝Ｎ１，ｙｉ∈Ｒ２ｑ，ｘｉ∈Ｒｄ
２ｂ）次を計算する：ｕｉ＝｛（ｙｉ，ｊ−ｙｉ，１）｝ｑｊ＝２∈Ｒ２ｑ−２
３ｂ）次を設定する：ｋ（ｘ）＝０
４ｂ）ｌｏｏｐ：ｔ：１→Ｔ、ｋｔ（ｘ）＝λｔｈｔ（ｘ），ｋ（ｘ）＝ｋ（ｘ）＋ｋｔ（ｘ）を計算し、ｋ（ｘ）の収束をチェックし、ｋ（ｘ）が収束すると、ループは終了する。ここでλｔはｔ番目の回帰の最適な重みを表し、ｈｔ（ｘ）はｔ番目の回帰の最適な弱いマッピング関数を表し、Ｔは回帰の合計回数を表す。
ここでは以下の通りである。
【数９】
2013196683.tif 000011
５ｂ）次を出力する：Ｆ（ｘ）＝Ｊ（ｇ（ｘ），ｋ（ｘ））：Ｒｄ→Ｒ２ｑ
【００９０】
ｋ（ｘ）が収束するとＭ（ｋ（ｘ））の値は最小になり、対応するマッピング関数Ｆ（ｘ）はこの時点で姿勢分類器となる。
【００９１】
ｋ（ｘ）を計算するプロセスは回帰プロセスであり、各回帰において最適な弱いマッピング関数ｈｔ（ｘ）がマッピング関数プールから取得される。
【００９２】
前記姿勢分類器は生成された後、後で使用するために格納することができる。具体的には本実施例において生成される姿勢分類器は、対象物分類器をトレーニングするその後のプロセスおよび対象物検出のプロセスにおける姿勢推定のために使用することもできる。
【００９３】
本実施例では、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行するプロセスは、具体的には姿勢分類器を生成するためにＳ２０３およびＳ２０５の実現プロセスによって実現される。
【００９４】
本実施例では、第１のトレーニング画像サンプルセット、および前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報が取得され、マッピング関数および損失関数は前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って構築され、前記損失関数の出力値が最小になるまで、前記マッピング関数は前記損失関数の出力値に従って調整され、回帰トレーニングプロセスを実現することによって、前記損失関数の出力値を最小にするマッピング関数が姿勢分類器として選択される。その結果、様々な姿勢の関節を有する対象物を姿勢分類器によって検出できるようになり、それによって対象物ヒット率が向上する。
【００９５】
さらに姿勢推定のために、回帰方法によって生成される姿勢分類器が対象物分類器トレーニングプロセスおよび対象物検出プロセスに対してそれぞれ出力され、これは本実施例において多出力回帰の方法が採用されることを意味し、本実施例における方法の計算の複雑さは従来の姿勢推定方法のものと比較して低減する。本実施例では、損失関数が構築される時に方向差が考慮され、これは異なる姿勢の対象物の検出に、より有利であり対象物ヒット率を向上させる。
【００９６】
図５を参照すると、本発明の実施例において対象物分類器をトレーニングするための方法の一実施例のフローチャートが提供される。前記対象物は、本実施例では、例えば人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない関節を有する対象物であり、本実施例において採用される姿勢分類器は上述の実施例において生成されるものである。
【００９７】
対象物分類器をトレーニングするための前記方法は、以下を含む。
【００９８】
Ｓ５０１：第２のトレーニング画像サンプルセットを取得するステップと、
Ｓ５０２：前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおいて姿勢推定処理を実行するステップと、
Ｓ５０３：前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するステップとを含む。
【００９９】
本実施例では、第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおける姿勢推定処理は、姿勢分類器に従って実行され、次に前記姿勢推定処理によって処理されたトレーニング画像サンプルは対象物分類器を生成するためにトレーニングされ、従って生成された対象物分類器によって、対象物の特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになり、それによって異なる姿勢の、関節を有する対象物を検出することができ、対象物ヒット率を向上させることができる。
【０１００】
本発明の実施例における対象物は、具体的には人体、ロボット、サル、またはイヌなどの対象物を含むがそれらに限られない関節を有する対象物である。本実施例では、詳細な説明のために一例として人体が使用される。図６を参照すると、本発明の実施例において対象物分類器をトレーニングするための方法の別の実施例のフローチャートが提供され、本実施例において採用される姿勢分類器は、上述の実施例において生成された姿勢分類器である。
【０１０１】
対象物分類器をトレーニングするための前記方法は以下を含む。
【０１０２】
Ｓ６０１：第２のトレーニング画像サンプルセットを取得するステップ。
【０１０３】
対象物分類器をトレーニングするプロセス中、トレーニングプロセスを実行するためにトレーニング画像サンプルとして複数の画像サンプルが使用されるものとする。具体的に前記複数の画像サンプルは、例えば人体または他の対象物など関節を有する対象物の複数の画像とすることができる。本発明の実施例では、複数のトレーニング画像サンプルは、第２のトレーニング画像サンプルセットとして格納することができる。
【０１０４】
同じシーンまたは異なるシーンで、画像収集装置によって前記第２のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプルを取得することができる。
【０１０５】
６０２：前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおいて姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するステップ。
【０１０６】
前記指定された数のトレーニング画像サンプルは、前記第２のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプル、または前記第２のトレーニング画像サンプルセットにおけるトレーニング画像サンプルの一部とすることができる。生成された対象物分類器の精度が向上するように、前記指定された数のトレーニング画像サンプルは、前記第２のトレーニング画像サンプルセットにおけるすべてのトレーニング画像サンプルを指すことが望ましい。
【０１０７】
本発明の実施例では、関連する推定された姿勢情報は人体の各部分の推定された位置情報を指し、具体的に人体をトレーニングする構造特徴点の位置情報である。人体をトレーニングする前記構造特徴点は１つまたは複数あり得る。人体の構造特徴点は４つまたは６つであることが望ましい。具体的には人体の構造特徴点が４つある場合、人体の前記構造特徴点は頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、人体の構造特徴点が６つある場合、人体の前記構造特徴点は頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含む。
【０１０８】
別の実施例では、前記指定されたトレーニング画像サンプルの推定された姿勢情報が取得された後、前記指定された数のトレーニング画像サンプルの推定された姿勢情報、具体的に前記指定されたトレーニング画像サンプルの人体の構造特徴点の位置情報を表示することもできる。
【０１０９】
Ｓ６０３：前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するステップ。
【０１１０】
このステップでは、前記推定された姿勢情報は具体的に人体の構造特徴点の位置情報であり、次に複数のトレーニング人体境界ボックスが人体の構造特徴点の前記位置情報に従って人体毎に構築される。人体境界ボックスを構築するために、ウエスト中心点がルートノードとして使用されることが望ましいがこれに限られない。
【０１１１】
具体的にはトレーニングする人体の構造特徴点が４つある時、図７に示されるように、頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中央軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸と見なすことによって、人体毎に３つの人体境界ボックスがそれぞれ構築され、本発明の実施例において４つの特徴点の人体境界ボックスの概略図が提供される。
【０１１２】
構築された後、異なる人体の同じ部分の人体境界ボックスがサイズおよび方向で一致するように、前記３つの人体境界ボックスが回転され、サイズ変更され、すなわち正規化される。ここで人体の前記構造特徴点は対応する人体境界ボックスにある。
【０１１３】
別の実施例では、人体のトレーニング構造特徴点が６つある時、図８に示されるように頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸と見なすことによって、人体毎に５つの人体境界ボックスがそれぞれ構築される。図８は、本発明の実施例において提供される６つの特徴点の人体境界ボックスの概略図を示す。
【０１１４】
構築された後、異なる人体の同じ部分の人体境界ボックスがサイズおよび方向で一致するように、前記５つの人体境界ボックスが回転され、サイズ変更され、すなわち正規化される。ここで人体の前記構造特徴点は対応する人体境界ボックスにある。
【０１１５】
本実施例では、前記姿勢分類器に従って前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおいて姿勢推定処理を実行するプロセスは、具体的にはＳ６０２およびＳ６０３の実現プロセスによって実現される。
【０１１６】
別の実施例では、複数のトレーニング対象物包囲枠において正規化を実行した後、図７および図８に示されるように前記複数の正規化されたトレーニングオブジェクト境界ボックス、具体的には回転され、サイズ変更された複数のトレーニングオブジェクト境界ボックスを表示することができる。
【０１１７】
Ｓ６０４：姿勢分類器を生成するために前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するステップ。
【０１１８】
このステップでは、正規化されたトレーニング画像サンプルにおいてトレーニングを実行する前記ステップは、具体的には正規化されたトレーニング画像サンプルの人体境界ボックスの特徴ベクトルを計算し、前記特徴ベクトルをトレーニングし、その結果、特徴の計算における人体の姿勢の影響が除去され、従って同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになるステップを含み、ここで前記特徴ベクトルはＨＯＧベクトルである。
【０１１９】
前記対象物分類器は、ＳＶＭ（サポートベクトルマシン）対象物分類器を含み、具体的にそれだけには限定されないが、ＳＶＭ人間分類器であることが望ましい。
【０１２０】
オプションで正規化されたトレーニング画像サンプルの人体境界ボックスの特徴ベクトルが計算された後、後で使用できるように前記特徴ベクトルを格納することができる。具体的には本実施例において生成された対象物分類器は、その後の対象物検出プロセスにおける対象物検出に使用することができる。
【０１２１】
前記ＳＶＭ対象物分類器は取得された後、後で使用できるように格納できることが望ましい。
【０１２２】
本実施例では、第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおける姿勢推定処理は、姿勢分類器に従って実行され、次いで前記姿勢推定処理によって処理されたトレーニング画像サンプルは、対象物分類器を生成するためにトレーニングされ、従って生成された対象物分類器によって、対象物の特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになり、それによって異なる姿勢の関節を有する対象物を検出することができ、対象物ヒット率を向上させることができる。
【０１２３】
図９を参照すると、本発明の実施例において、対象物検出のための方法の一実施例のフローチャートが提供される。本発明の実施例における対象物は、具体的には人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない関節を有する対象物である。本実施例において採用される姿勢分類器および対象物分類器は、上述の実施例において生成された姿勢分類器および対象物分類器である。
【０１２４】
対象物検出のための前記方法は以下を含む。
【０１２５】
Ｓ９０１：入力画像サンプルを取得するステップ。
【０１２６】
Ｓ９０２：前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するステップ。
【０１２７】
Ｓ９０３：前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するステップ。
【０１２８】
本実施例では、入力画像サンプルにおける姿勢推定処理は姿勢分類器に従って実行され、従って特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになる。次に姿勢推定に従って生成された対象物分類器を使用して、処理された入力画像サンプルにおいて対象物検出が実行され、従って対象物の位置情報が取得され、対象物検出プロセスにおいて対象物の姿勢情報が十分に考慮され、異なる姿勢の関節を有する対象物を検出することができ、従って対象物ヒット率が増加する。
【０１２９】
本発明の実施例における対象物は、具体的には人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない関節を有する対象物である。本実施例では、詳細な説明のために一例として人体が使用される。図１０は、本発明の実施例において提供された対象物検出のための方法の別の実施例のフローチャートであり、本実施例において採用される姿勢分類器および対象物分類器は、上述の実施例において生成された姿勢分類器および対象物分類器である。
【０１３０】
Ｓ１００１：入力画像サンプルを取得するステップ。
【０１３１】
対象物検出のプロセス中に、入力画像サンプルにおいて、前記入力画像サンプルに人体など関節を有する対象物があるかどうかを検出するための検出が必要となる。前記入力画像サンプルは１つまたは複数の人体を含む画像、または人体を含まない画像でもよく、この態様における特定の限定はない。
【０１３２】
Ｓ１００２：前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得するステップ。
【０１３３】
前記推定された姿勢情報は、具体的には人体の構造特徴点の位置情報である。人体の構造特徴点は４つまたは６つであるのが望ましい。具体的に人体の構造特徴点が４つある場合、人体の前記構造特徴点は頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、人体の構造特徴点が６つある場合、人体の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含む。
【０１３４】
Ｓ１００３：前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分の対象物境界ボックスがサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行するステップ。
【０１３５】
Ｓ１００３およびＳ６０３の手順は類似している。違いは、Ｓ６０３では、前記第２のトレーニング画像サンプルにおける指定された画像サンプルの推定された姿勢情報に従って対応する処理が実行され、一方、Ｓ１００３では、前記入力画像サンプルの推定された姿勢情報において対応する処理が実行されるという点である。関連の説明は、Ｓ６０３にあるためここで詳述しない。
【０１３６】
本実施例では、前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するプロセスは、具体的にはＳ１００２およびＳ１００３の実現プロセスで実現される。
【０１３７】
１００４：前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するステップ。
【０１３８】
このステップでは、前記対象物分類器に従って前記正規化された入力画像サンプルにおいて人体の検出を実行する前記ステップは、具体的には入力画像サンプルの正規化された人体境界ボックスの特徴ベクトルを計算し、前記対象物分類器、具体的には人体分類器に従って入力画像サンプルの正規化された人体境界ボックスの前記特徴ベクトルにおいて人体の検出を実行して、特徴の計算における人体の姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有するようになるステップを含み、ここで前記特徴ベクトルはＨＯＧベクトルである。
【０１３９】
ＲＯＣ（受信者動作特性）曲線は、システムのヒット率と偽陽性率との間の関係を反映し、ここでヒット率＝正確に検出されたターゲット対象物の量／テストセットにおけるターゲット対象物の総量、偽陽性率＝誤って検出されたターゲット対象物の量／テストセットにおけるすべての走査窓の総量である。本実施例における対象物検出のための方法のＲＯＣ曲線については、図１１を参照されたい。図１１は、本発明および従来技術の実施例のＲＯＣ曲線である。本発明の実施例における対象物検出のための方法のＲＯＣ曲線が従来技術のものより明らかに優れていることが図１１からわかる。
【０１４０】
本実施例では、姿勢分類器に従って入力画像サンプルにおける姿勢推定処理が実行され、従って特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになり、次に姿勢推定に従って生成された対象物分類器を使用して、処理された入力画像サンプルにおいて対象物検出が実行され、従って対象物の位置情報が取得され、対象物検出プロセスにおいて、関節を有する対象物の姿勢情報が十分に考慮され、異なる姿勢の関節を有する対象物を検出することができ、従って対象物ヒット率が向上する。
【０１４１】
図１２は、本発明の実施例において提供される姿勢分類器をトレーニングするための装置の構造図を示す。姿勢分類器をトレーニングするための前記装置は以下を含む。
【０１４２】
第１のトレーニング画像サンプルセットを取得するための第１の取得モジュール１２０１と、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの、実際の姿勢情報を取得するための第２の取得モジュール１２０２と、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するための第１のトレーニング生成モジュール１２０３とを含む。
【０１４３】
図１３を参照すると、一実施例において前記第１のトレーニング生成モジュール１２０３は、
損失関数を構築するための第１の構築ユニット１２０３ａであって、前記損失関数の入力が前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差である、第１の構築ユニット１２０３ａと、
マッピング関数を構築するための第２の構築ユニット１２０３ｂであって、前記マッピング関数の入力が、前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が、前記指定された数のトレーニング画像サンプルの推定された姿勢情報である、第２の構築ユニット１２０３ｂと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するための姿勢分類器取得ユニット１２０３ｃとを含む。
【０１４４】
ここでは前記損失関数は、実際の姿勢情報と推定された姿勢情報との間の位置差である。
【０１４５】
または、前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差および方向差である。
【０１４６】
本実施例では、第１のトレーニング画像サンプルセット、および前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報が取得され、マッピング関数および損失関数は、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って構築され、前記損失関数の出力値が最小になるまで、前記マッピング関数は、前記損失関数の出力値に従って調整され、回帰トレーニングプロセスを実現することによって、前記損失関数の出力値を最小にするマッピング関数が姿勢分類器として選択され、その結果様々な姿勢の関節を有する対象物を姿勢分類器によって検出できるようになり、それによって対象物ヒット率が向上する。
【０１４７】
さらに、回帰方法によって生成される姿勢分類器が、対象物分類器トレーニングプロセスおよび対象物検出プロセスに対して姿勢推定のためにそれぞれ出力され、このことは、本実施例において多出力回帰の方法が採用されることを意味し、本実施例における方法の計算の複雑さは従来の姿勢推定方法のものと比較して低減する。本実施例では、損失関数が構築される時に方向差が考慮され、これは異なる姿勢の対象物の検出に、より有利であり対象物ヒット率を向上させる。
【０１４８】
本発明の実施例における対象物は、具体的には人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない関節を有する対象物である。図１４は、本発明の実施例において提供される対象物分類器をトレーニングするための装置の一実施例の構造図である。本実施例における対象物分類器をトレーニングするための前記装置は、上述の実施例において生成される姿勢分類器である。
【０１４９】
対象物分類器をトレーニングするための前記装置は、以下を含む。
【０１５０】
第２のトレーニング画像サンプルセットを取得するための第３の取得モジュール１４０１と、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおいて姿勢推定処理を実行するための第１の姿勢推定モジュール１４０２と、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するための第２のトレーニング生成モジュール１４０３とを含む。
【０１５１】
図１５を参照すると、一実施例において前記第１の姿勢推定モジュール１４０２は、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおいて姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するための第１の姿勢推定ユニット１４０２ａと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するための第１の構築処理ユニット１４０２ｂとを含む。
【０１５２】
それに対応して、前記第２のトレーニング生成モジュール１４０３は、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するためのトレーニングユニット１４０３ａを含む。
【０１５３】
別の実施例では、前記装置は、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得する前記ステップの後、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を表示するための第１のグラフィックユーザインターフェース（ＧＵＩ）をさらに含む。
【０１５４】
別の実施例では、前記装置は、
前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップの後、前記複数の正規化されたトレーニング対象物包囲枠を表示するための第２のグラフィックユーザインターフェースをさらに含む。
【０１５５】
他の実施例において、前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニット１４０２ｂは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第１の構築サブユニットを含み、対象物の前記構造特徴点は対応する対象物境界ボックスにある。
【０１５６】
別の実施例において前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、トレーニング対象物の前記構造特徴点は頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニット１４０２ｂは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し前記５つの対象物境界ボックスを回転し、サイズ変更するための第２の構築サブユニットを含み、対象物の前記構造特徴点は対応する対象物境界ボックスにある。
【０１５７】
本実施例では、第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルにおける姿勢推定処理は姿勢分類器に従って実行され、次いで前記姿勢推定処理によって処理されたトレーニング画像サンプルは、対象物分類器を生成するためにトレーニングされ、従って生成された対象物分類器によって、対象物の特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになり、それによって異なる姿勢の関節を有する対象物を検出することができ、対象物ヒット率を向上させることができる。
【０１５８】
本発明の実施例における対象物は、人体、ロボット、サル、またはイヌなどの対象物を含むがこれらに限られない関節を有する対象物である。図１６は、本発明の実施例において提供される対象物検出のための装置の一実施例の構造図である。本実施例における対象物検出のための前記装置は、上述の実施例において生成された姿勢分類器および対象物分類器を採用する。
【０１５９】
対象物検出のための前記装置は、
入力画像サンプルを取得するための第４の取得モジュール１６０１と、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するための第２の姿勢推定モジュール１６０２と、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するための検出モジュール１６０３とを含む。
【０１６０】
図１７を参照すると、一実施例において、前記第２の姿勢推定モジュール１６０２は、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得するための第２の姿勢推定ユニット１６０２ａと、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行するための第２の構築処理ユニット１６０２ｂとを含む。
【０１６１】
それに対応して、前記検出モジュール１６０３は、
前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行するための検出ユニット１６０３ａを含む。
【０１６２】
別の実施例では、前記装置は、
前記入力画像サンプルの推定された姿勢情報を取得する前記ステップの後、前記入力画像サンプルの推定された姿勢情報を表示するための第３のグラフィックユーザインターフェースをさらに含む。
【０１６３】
別の実施例では、前記装置は、
複数の対象物境界ボックスにおいて正規化を実行する前記ステップの後、前記複数の正規化された対象物境界ボックスを表示するための第４のグラフィックユーザインターフェースをさらに含む。
【０１６４】
他の実施例において前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニット１６０２ｂは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第３の構築サブユニットを含み、対象物の前記構造特徴点は対応する対象物境界ボックスにある。
【０１６５】
他の実施例において前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、対象物の前記構造特徴点は頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニット１６０２ｂは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸と見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するための第４の構築サブユニットを含み、前記対象物の前記構造特徴点は対応する対象物境界ボックスにある。
【０１６６】
本実施例では、入力画像サンプルにおける姿勢推定処理は姿勢分類器に従って実行され、従って特徴の計算における姿勢の影響が除去され、その結果同じタイプの対象物は、異なる姿勢にあっても一致した特徴ベクトルを有することができるようになる。次に姿勢推定に従って生成された対象物分類器を使用して、処理された入力画像サンプルにおいて対象物検出が実行され、従って対象物の位置情報が取得され、対象物検出プロセスにおいて対象物の姿勢情報が十分に考慮され、異なる姿勢の関節を有する対象物を検出することができ、従って対象物ヒット率が向上する。
【０１６７】
本説明におけるすべての実施例は漸進的な手段で記載されており、各実施例は他の実施例との差を強調しており、実施例の同じ部分は相互に関連するということに留意されたい。装置の実施例は方法の実施例と基本的に類似しているので、簡素化されている。関連については方法の実施例の説明部分を参照されたい。
【０１６８】
本書では、第１および第２などの関係を示す用語は、あるエンティティまたは操作を別のエンティティまたは操作と区別するために使用されているにすぎず、それらのエンティティまたは操作の実際の関係または順序を必要としたり、暗示しないことに留意されたい。さらに「備える」、「含む」という用語、および任意の他の変形は、プロセス、方法、オブジェクト、もしくは装置（一連の要求を含む）が非排他的な要素を網羅するだけでなく、明示された要素も含むことを意味し、またプロセス、方法、オブジェクト、もしくは装置の固有の要素も含むことを意味する。また「〜を備える」という文章によって限定される要素は、プロセス、方法、オブジェクト、または装置内に存在する他の同一の要素を除外しない。但し他の限定は考慮しない。
【０１６９】
上述の実施例を実現するためのステップのすべてまたは一部は、ハードウェアによって、またはプログラムの命令によって関連のハードウェアによって達成することができ、前記プログラムを、ＲＯＭ、ディスク、または光ディスクなどの可読メモリ媒体に格納することができることを、当業者であれば理解することができる。
上述の説明は本発明の例示的な実施例であり、本発明を限定することはできない。本発明の精神および原理の範囲内で、任意の変更、同等物との置換、または改良はすべて、本発明の補償範囲内に含まれるものとする。
【０１７０】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【０１７１】
（付記１）
第１のトレーニング画像サンプルセットを取得するステップと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの、実際の姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成するステップと
を含むことを特徴とする姿勢分類器トレーニング方法。
【０１７２】
（付記２）
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成する前記ステップは、
損失関数を構築するステップと、
マッピング関数を構築するステップと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択するステップとを含み、
前記損失関数の入力が前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差であり、
前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である
ことを特徴とする付記１に記載の姿勢分類器トレーニング方法。
【０１７３】
（付記３）
前記損失関数は、実際の姿勢情報と推定された姿勢情報との間の位置差である
ことを特徴とする付記２に記載の姿勢分類器トレーニング方法。
【０１７４】
（付記４）
前記損失関数は、実際の姿勢情報と推定された姿勢情報との間の位置差および方向差である
ことを特徴とする付記２に記載の姿勢分類器トレーニング方法。
【０１７５】
（付記５）
付記１から付記４の何れか１項に記載の姿勢分類器トレーニング方法によって生成された姿勢分類器を使用して対象物分類器をトレーニングする対象物分類器トレーニング方法であって、
第２のトレーニング画像サンプルセットを取得するステップと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行するステップと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成するステップとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物分類器トレーニング方法。
【０１７６】
（付記６）
前記姿勢分類器に従って前記第２のトレーニング画像サンプルセットにおける、指定された数のトレーニング画像サンプルに対して姿勢推定処理を実行する前記ステップは、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得するステップと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行するステップとを含み、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行する前記ステップは、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するステップを含む
ことを特徴とする付記５に記載の対象物分類器トレーニング方法。
【０１７７】
（付記７）
前記指定された数のトレーニング画像サンプルの、推定された姿勢情報を取得する前記ステップの後に、
前記指定された数のトレーニング画像サンプルの、推定された姿勢情報を表示するステップを有する
ことを特徴とする付記６に記載の対象物分類器トレーニング方法。
【０１７８】
（付記８）
前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップの後に、
前記複数の正規化されたトレーニング対象物包囲枠を表示するステップを有する
ことを特徴とする付記６に記載の対象物分類器トレーニング方法。
【０１７９】
（付記９）
前記推定された姿勢情報は、具体的にはトレーニング対象物の構造特徴点の位置情報であり、
トレーニング対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、
前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するステップを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記５から付記８の何れか１項に記載の対象物分類器トレーニング方法。
【０１８０】
（付記１０）
前記推定された姿勢情報は、トレーニング対象物の構造特徴点の位置情報であり、
トレーニング対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数のトレーニング対象物包囲枠において正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するステップを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記５から付記８の何れか１項に記載の対象物分類器トレーニング方法。
【０１８１】
（付記１１）
付記１から付記４の何れか１項に記載の姿勢分類器トレーニング方法によって生成された姿勢分類器、および付記５から付記１０の何れか１項に記載の対象物分類器トレーニング方法によって生成された対象物分類器を使用した対象物検出方法であって、
入力画像サンプルを取得するステップと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行するステップと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するステップとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物検出方法。
【０１８２】
（付記１２）
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行する前記ステップは、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得するステップと、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分の対象物境界ボックスがサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行するステップとを含み、
それに対応して、前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行する前記ステップは、
前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行するステップを含む
ことを特徴とする付記１１に記載の対象物検出方法。
【０１８３】
（付記１３）
前記入力画像サンプルの推定された姿勢情報を取得する前記ステップの後に、前記入力画像サンプルの推定された姿勢情報を表示するステップを有する
ことを特徴とする付記１２に記載の対象物検出方法。
【０１８４】
（付記１４）
複数の対象物境界ボックスにおいて正規化を実行する前記ステップの後に、前記複数の正規化された対象物境界ボックスを表示するステップを有する
ことを特徴とする付記１２に記載の対象物検出方法。
【０１８５】
（付記１５）
前記推定された姿勢情報は、対象物の構造特徴点の位置情報であり、
対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するステップを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記１２から付記１４の何れか１項に記載の対象物検出方法。
【０１８６】
（付記１６）
前記推定された姿勢情報は、具体的には対象物の構造特徴点の位置情報であり、
対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、前記複数の対象物境界ボックスにおいて正規化を実行する前記ステップは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するステップを含み、
前記対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記１２から付記１４の何れか１項に記載の対象物検出方法。
【０１８７】
（付記１７）
第１のトレーニング画像サンプルセットを取得する第１の取得モジュールと、
前記第１のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルの実際の姿勢情報を取得する第２の取得モジュールと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰トレーニングプロセスを実行して、姿勢分類器を生成する第１のトレーニング生成モジュールとを含む
ことを特徴とする姿勢分類器トレーニング装置。
【０１８８】
（付記１８）
前記第１のトレーニング生成モジュールは、
損失関数を構築する第１の構築ユニットと、
マッピング関数を構築する第２の構築ユニットと、
前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報に従って回帰を実行し、前記損失関数の出力値を最小にするマッピング関数を姿勢分類器として選択する姿勢分類器取得ユニットとを含み、
前記損失関数の入力が、前記指定された数のトレーニング画像サンプルおよびその実際の姿勢情報であり、前記損失関数の出力が、実際の姿勢情報と前記指定された数のトレーニング画像サンプルの推定された姿勢情報との間の差であり、
前記マッピング関数の入力が前記指定された数のトレーニング画像サンプルであり、前記マッピング関数の出力が前記指定された数のトレーニング画像サンプルの推定された姿勢情報である
ことを特徴とする付記１７に記載の姿勢分類器トレーニング装置。
【０１８９】
（付記１９）
前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差である
ことを特徴とする付記１８に記載の姿勢分類器トレーニング装置。
【０１９０】
（付記２０）
ここで前記損失関数は実際の姿勢情報と推定された姿勢情報との間の位置差および方向差であることが望ましい。
ことを特徴とする付記１８に記載の姿勢分類器トレーニング装置。
【０１９１】
（付記２１）
付記１７から付記２０の何れか１項に記載の姿勢姿勢分類器トレーニング装置によって生成された姿勢分類器を使用して、対象物分類器をトレーニングする対象物分類器トレーニング装置であって、
第２のトレーニング画像サンプルセットを取得する第３の取得モジュールと、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して、姿勢推定処理を実行する第１の姿勢推定モジュールと、
前記姿勢推定によって処理されたトレーニング画像サンプルにおいてトレーニングを実行して、対象物分類器を生成する第２のトレーニング生成モジュールとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物分類器トレーニング装置。
【０１９２】
（付記２２）
前記第１の姿勢推定モジュールは、
前記姿勢分類器に従って、前記第２のトレーニング画像サンプルセットにおける指定された数のトレーニング画像サンプルに対して姿勢推定を実行して、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得する第１の姿勢推定ユニットと、
前記指定された数のトレーニング画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数のトレーニング対象物包囲枠を構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数のトレーニング対象物包囲枠において正規化を実行する第１の構築処理ユニットとを含み、
前記第２のトレーニング生成モジュールは、
前記正規化されたトレーニング画像サンプルにおいてトレーニングを実行するためのトレーニングユニットを含む
ことを特徴とする付記２１に記載の対象物分類器トレーニング装置。
【０１９３】
（付記２３）
前記指定された数のトレーニング画像サンプルの推定された姿勢情報を取得した後に、前記指定された数のトレーニング画像サンプルの推定された姿勢情報を表示する第１のグラフィックユーザインターフェースを含む
ことを特徴とする付記２２に記載の対象物分類器トレーニング装置。
【０１９４】
（付記２４）
前記複数のトレーニング対象物包囲枠において正規化を実行した後に、前記複数の正規化されたトレーニング対象物包囲枠を表示する第２のグラフィックユーザインターフェースを含む
ことを特徴とする付記２２に記載の対象物分類器トレーニング装置。
【０１９５】
（付記２５）
前記推定された姿勢情報は、トレーニング対象物の構造特徴点の位置情報であり、
トレーニング対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第１の構築サブユニットを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記２２から付記２４の何れか１項に記載の対象物分類器トレーニング装置。
【０１９６】
（付記２６）
前記推定された姿勢情報は、トレーニング対象物の構造特徴点の位置情報であり、
トレーニング対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第１の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するための第２の構築サブユニットを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記２２から付記２４の何れか１項に記載の対象物分類器トレーニング装置。
【０１９７】
（付記２７）
付記１７から付記２０の何れか１項に記載の姿勢姿勢分類器トレーニング装置によって生成された姿勢分類器、及び、付記２１から付記２６の何れか１項に記載の対象物分類器トレーニング装置によって生成された対象物分類器を使用した対象物検出装置であって、
入力画像サンプルを取得する第４の取得モジュールと、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定処理を実行する第２の姿勢推定モジュールと、
前記対象物分類器に従って処理された入力画像サンプルにおいて対象物検出を実行して、対象物の位置情報を取得するための検出モジュールとを含み、
前記対象物は関節を有する対象物である
ことを特徴とする対象物検出装置。
【０１９８】
（付記２８）
前記第２の姿勢推定モジュールは、
前記姿勢分類器に従って前記入力画像サンプルにおいて姿勢推定を実行して、前記入力画像サンプルの推定された姿勢情報を取得する第２の姿勢推定ユニットと、
前記入力画像サンプルの推定された姿勢情報に従って、関節を有する対象物毎に複数の対象物境界ボックスを構築し、異なる対象物の同じ部分のトレーニング対象物包囲枠がサイズおよび方向で一致するように、前記複数の対象物境界ボックスにおいて正規化を実行する第２の構築処理ユニットとを含み、
前記検出モジュールは、
前記対象物分類器に従って前記正規化された入力画像サンプルにおいて対象物検出を実行する検出ユニットを含む
ことを特徴とする付記２７に記載の対象物検出装置。
【０１９９】
（付記２９）
前記入力画像サンプルの推定された姿勢情報を取得した後、前記入力画像サンプルの推定された姿勢情報を表示する第３のグラフィックユーザインターフェースを含む
ことを特徴とする付記２８に記載の対象物検出装置。
【０２００】
（付記３０）
複数の対象物境界ボックスにおいて正規化を実行した後、前記複数の正規化された対象物境界ボックスを表示する第４のグラフィックユーザインターフェースを含む
ことを特徴とする付記２８に記載の対象物検出装置。
【０２０１】
（付記３１）
前記推定された姿勢情報は、対象物の構造特徴点の位置情報であり、
対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸とそれぞれ見なすことによって、関節を有する対象物毎に３つの対象物境界ボックスを構築し、前記３つの対象物境界ボックスを回転し、サイズ変更するための第３の構築サブユニットを含み、
対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記２８から付記３０の何れか１項に記載の対象物検出装置。
【０２０２】
（付記３２）
前記推定された姿勢情報は、対象物の構造特徴点の位置情報であり、
対象物の前記構造特徴点は、頭部中心点、ウエスト中心点、左膝中心点、右膝中心点、左足中心点、および右足中心点を含み、
前記第２の構築処理ユニットは、
頭部中心点とウエスト中心点との間の直線を中心軸と見なし、ウエスト中心点と左膝中心点との間の直線を中心軸と見なし、ウエスト中心点と右膝中心点との間の直線を中心軸と見なし、ウエスト中心点と左足中心点との間の直線を中心軸と見なし、ウエスト中心点と右足中心点との間の直線を中心軸と見なすことによって、関節を有する対象物毎に５つの対象物境界ボックスを構築し、前記５つの対象物境界ボックスを回転し、サイズ変更するための第４の構築サブユニットを含み、
前記対象物の前記構造特徴点は、対応する対象物境界ボックスにある
ことを特徴とする付記２８から付記３０の何れか１項に記載の対象物検出装置。
【符号の説明】
【０２０３】
１２０１：第１の取得モジュール
１２０２：第２の取得モジュール
１２０３：第１のトレーニング生成モジュール
１２０３ａ：第１の構築ユニット
１２０３ｂ：第２の構築ユニット
１４０１：第３の取得モジュール
１４０２：第１の姿勢推定モジュール
１４０３：第２のトレーニング生成モジュール
１４０２ａ：第１の姿勢推定ユニット
１４０２ｂ：第１の構築処理ユニット
１４０３ａ：トレーニングユニット
１６０１：第４の取得モジュール
１６０２：第２の姿勢推定モジュール
１６０３：検出モジュール
１６０２ａ：第２の姿勢推定ユニット
１６０２ｂ：第２の構築処理ユニット
１６０３ａ：検出ユニット
【図１】
2013196683.tif 000012
【図２】
2013196683.tif 000013
【図３】
2013196683.tif 000014
【図４】
2013196683.tif 000015
【図５】
2013196683.tif 000016
【図６】
2013196683.tif 000017
【図７】
2013196683.tif 000018
【図８】
2013196683.tif 000019
【図９】
2013196683.tif 000020
【図１０】
2013196683.tif 000021
【図１１】
2013196683.tif 000022
【図１２】
2013196683.tif 000023
【図１３】
2013196683.tif 000024
【図１４】
2013196683.tif 000025
【図１５】
2013196683.tif 000026
【図１６】
2013196683.tif 000027
【図１７】
2013196683.tif 000028
【外国語明細書】
2013196683000001.pdf