(57)【要約】      （修正有）【課題】歩行者姿勢分類モデルをトレーニングするための方法を提供する。【解決手段】画像生成モジュール１０５は、歩行者の３次元仮想モデルと背景画像とを入力として受取って、歩行者の２次元画像を生成し、生成された２次元画像に注釈を付け、注釈付２次元画像(合成された歩行者データ）を出力する。トレーニング・モジュール１１０は、生成された注釈付２次元画像(合成された歩行者データ）を受け取り、歩行者姿勢分類機能をトレーニングし、トレーニングされた歩行者姿勢機能を出力する。総合分類モジュール１２０は、歩行者の静止画像とトレーニング・モジュール１１０によってトレーニングされた歩行者姿勢分類機能とを受け、歩行者の姿勢の分類を決定し、該分類を出力する。【選択図】図１
2014123366.tif 000002
【特許請求の範囲】
【請求項１】
歩行者姿勢分類モデルをトレーニングする方法であって、
歩行者の3次元(3D)モデルを受け取るステップと、
歩行者の画像を如何に生成するかを示す画像パラメータの組を受け取るステップと、
受け取った前記３次元モデルと受け取った前記画像パラメータの組とに基づいて2次元(2D)合成画像を生成するステップと、
生成された前記合成画像に、前記画像パラメータの組によって注釈を付けるステップと、
前記注釈付合成画像によって複数の歩行者姿勢分類機能をトレーニングするステップとを含むことを特徴とする方法。
【請求項２】
前記画像パラメータの組は姿勢分類を含み、前記複数の歩行者姿勢分類機能をトレーニングする前記ステップは、第1の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第1の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項1記載の方法。
【請求項３】
前記複数の歩行者姿勢分類機能をトレーニングする前記ステップは、更に、
前記第1の姿勢分類である画像パラメータの姿勢分類に応じた負のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項2記載の方法。
【請求項４】
前記複数の歩行者姿勢分類機能をトレーニングする前記ステップは、更に、
負のサンプルとしての前記注釈付合成画像によって前記第1の歩行者姿勢分類機能をトレーニングし、第2の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項3記載の方法。
【請求項５】
前記2次元合成画像を生成する前記ステップは、
前記受け取った３次元モデルから歩行者の2次元画像を作成すること、および、
作成された前記2次元画像に背景を付加することを含むことを特徴とする請求項1記載の方法。
【請求項６】
前記複数の歩行者姿勢分類機能は複数の歩行者姿勢二項分類機能であることを特徴とする請求項1記載の方法。
【請求項７】
前記複数の歩行者姿勢分類機能は非線形のサポート・ベクトル・マシン（SVM）を含むことを特徴とする請求項1記載の方法。
【請求項８】
前記複数の歩行者姿勢分類機能は、勾配方向ヒストグラム(HOG)画像特徴に基づいて分類を実行することを特徴とする請求項1記載の方法。
【請求項９】
歩行者姿勢分類モデルをトレーニングするための命令を記憶するように構成された、コンピュータによって読取り可能な非一時的記憶媒体であって、
歩行者の3次元(3D)モデルを受け取ること、
歩行者の画像をどのように生成するかを示す画像パラメータの組を受け取ること、
受け取った前記３次元モデルと受け取った前記画像パラメータの組とに基づいて２次元(2D)合成画像を生成すること、
前記画像パラメータの組によって、前記生成された合成画像に注釈を付けること、
前記注釈を付けられた合成画像によって複数の歩行者姿勢分類機能をトレーニングすること、
を、前記命令がプロセッサにより実行されるとき、前記命令が前記プロセッサに実行させることを特徴とするコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１０】
前記画像パラメータの組は姿勢分類を含み、前記複数の歩行者姿勢分類機能をトレーニングすることは、
第1の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第1の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項9記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１１】
前記複数の歩行者姿勢分類機能をトレーニングすることは、更に、
前記第1の姿勢分類である画像パラメータの姿勢分類に応じた負のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項10記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１２】
前記複数の歩行者姿勢分類機能をトレーニングすることは、更に、
負のサンプルとしての前記注釈付合成画像によって前記第1の歩行者姿勢分類機能をトレーニングし、第2の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項11記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１３】
前記2次元合成画像を生成することは、
前記受け取った３次元モデルから歩行者の2D画像を作成すること、および、
作成された前記2D画像に背景を付加することを含む請求項9記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１４】
前記複数の歩行者姿勢分類機能は複数の歩行者姿勢二項分類機能であることを特徴とする請求項9記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１５】
前記複数の歩行者姿勢分類機能は非線形のサポート・ベクトル・マシン（SVM）を含むことを特徴とする請求項9記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１６】
前記複数の歩行者姿勢分類機能は、勾配方向ヒストグラム(HOG)画像特徴に基づいて分類を実行することを特徴とする請求項9記載のコンピュータによって読取り可能な非一時的記憶媒体。
【請求項１７】
歩行者姿勢分類モデルをトレーニングするためのシステムであって、
プロセッサと、プロセッサによって実行されるときに該プロセッサに以下の動作を実行させる命令を記憶する、コンピュータによって読取り可能な非一時的記憶媒体とを有し、該動作は、
歩行者の3次元(3D)モデルを受け取ること、
歩行者の画像をどのように生成するかを示す画像パラメータの組を受け取ること、
受け取った前記３次元モデルと受け取った前記画像パラメータの組とに基づいて２次元(2D)合成画像を生成すること、
前記画像パラメータの組によって、生成された前記合成画像に注釈を付けること、
前記注釈を付けられた合成画像によって複数の歩行者姿勢分類機能をトレーニングすることを特徴とするシステム。
【請求項１８】
前記画像パラメータの組は姿勢分類を含み、前記複数の歩行者姿勢分類機能をトレーニングすることは、
第1の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第1の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項17記載のシステム。
【請求項１９】
前記複数の歩行者姿勢分類機能をトレーニングすることは、更に、
前記第1の姿勢分類である画像パラメータの姿勢分類に応じた負のサンプルとしての前記注釈付合成画像によって前記複数の歩行者姿勢分類機能のうちの第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項18記載のシステム。
【請求項２０】
前記複数の歩行者姿勢分類機能をトレーニングすることは、更に、
負のサンプルとしての前記注釈付合成画像によって前記第1の歩行者姿勢分類機能をトレーニングし、第2の姿勢分類である画像パラメータの姿勢分類に応じた正のサンプルとしての前記注釈付合成画像によって前記第2の歩行者姿勢分類機能をトレーニングすることを含むことを特徴とする請求項19記載のシステム。
【発明の詳細な説明】
【関連する出願】
【０００１】
本願は2012年12月21日に出願された米国仮出願番号第61/745,235号を基礎とする優先権を主張する。該米国仮出願の内容の全ては、参照によって本願に含めるものとする。
【技術分野】
【０００２】
本願は、一般に、オブジェクト分類の分野に関し、特に、歩行者の姿勢の分類における合成データの使用に関する。
【背景技術】
【０００３】
歩行者検出システムを装備した車両（例えば、自動車）は、歩行者が近くにいることを運転者に警告することができる。しかし、歩行者の発見だけは十分でない。状況の危険性を評価しなければならない。警告は、事故の危険がある時にだけ出されなければならない。さもなければ、運転者は必要以上に注意を逸らされる。状況の危険性は、例えば、歩行者が車両の進路に踏み込みそうであるかどうかに関わる。
【０００４】
「オブジェクト分類」とは、動画像または静止画像の中のオブジェクトを自動的に分類する作業のことを言う。例えば、ある分類システムは、静止画像内の人（例えば、歩行者）が左を向いているか、右を向いているか、前を向いているか、或いは、後を向いているかを決定することができる。歩行者姿勢分類は、例えば、車両において、当該車両の運転者、並びに、当該車両と道路を共用している歩行者、自転車運転者、および、他の全ての人の安全性を向上させるために使用され得る。
【０００５】
現在のオブジェクト分類システムには多くの問題が存在する。1つの問題は、オブジェクト分類モデルをトレーニングするための広範囲にわたるトレーニングセットの不足である。トレーニングセットは、オブジェクト分類モデルを作成するためにマシン学習アルゴリズムに提供されるものであって、（特定のクラスのオブジェクトを含む複数の画像である）複数の正のサンプルと（他のクラスのオブジェクトを含む画像のような、上記特定のクラスのオブジェクトを含まない複数の画像である）複数の負のサンプルとを含む。
【０００６】
更にまた、ある種類のオブジェクトのために新しいトレーニングセットを生成するときには、各々の画像には人手によって複数の情報が注釈として付けられる。例えば、画像内に存在するオブジェクトの分類や、画像内に存在するオブジェクトの特定のパラメータ（例えば、オブジェクトの色および画像内におけるオブジェクトの位置）が画像に付加され得る。機械学習アルゴリズムでは、オブジェクトを分類するためのモデルを生成するために、上記の注釈と画像とを使用する。注釈を付ける作業は退屈で時間がかかることがある。
【発明の概要】
【０００７】
上記の、そして、他の問題は、歩行者姿勢分類モデルをトレーニングするための方法、システム、および、コンピュータで読取り可能な非一時的記憶媒体によって対処される。上記の方法の１つの実施例は、歩行者の3次元(3D)モデルを受け取ることを含む。前記方法は、歩行者の画像をどのように生成するかを示す画像パラメータの組を受け取ることを更に含む。前記方法は、受け取った３次元モデルと受け取った画像パラメータの組とに基づいて２次元(2D)合成画像を生成することを更に含む。前記方法は、生成された合成画像に、前記画像パラメータの組によって注釈を付けることを更に含む。前記方法は、複数の歩行者姿勢分類機能(分類器、classifiers)を、前記注釈を付けられた合成画像によってトレーニングすることを更に含む。
【０００８】
前記媒体の１つの実施例は、歩行者姿勢分類モデルをトレーニングするための複数の実行可能な命令を記憶する。上記の複数の命令は、歩行者の3次元(3D)モデルを受け取る。更に、前記複数の命令は、どのように歩行者の画像を生成するかを示す画像パラメータの組を受け取る。更に、前記複数の命令は、受け取った３次元モデルと受け取った画像パラメータの組とに基づいて２次元(2D)合成画像を生成する。更に、前記複数の命令は、前記画像パラメータの組によって、前記生成された合成画像に注釈を付ける。更に、前記複数の命令は、注釈を付けられた合成画像によって複数の歩行者姿勢分類機能(classifiers)をトレーニングする。
【０００９】
前記システムの１つの実施例は、複数の実行可能命令を記憶する、コンピュータで読取り可能な非一時的記憶媒体を有する。前記複数の命令は、歩行者の3次元(3D)モデルを受け取る。更に、前記複数の命令は、歩行者の画像をどのように生成するかを示す画像パラメータの組を受け取る。更に、前記複数の命令は、画像が受け取った3Dモデルと受け取った画像パラメータの組とに基づいて、２次元(2D)合成画像を生成する。更に、前記複数の命令は、前記画像パラメータの組によって、前記生成された合成画像に注釈を付ける。更に、前記複数の命令は、注釈を付けられた合成画像によって複数の歩行者姿勢分類機能(classifiers)をトレーニングする。
【００１０】
本明細書は、本発明の特徴および効果の全てを記述するものではなく、特に、当該技術分野の通常の知識を有する者にとっては、更なる多くの特徴および効果が、図面、明細書、および、特許請求の範囲から明らかであろう。更に、本明細書で使用される言語は、主として読み易さと教育的目的のために選択されたものであり、発明の主題を詳細に描写するか或いは限定するために選択されたものではない点に留意する必要がある。
【図面の簡単な説明】
【００１１】
【図１】１つの実施例に係る歩行者姿勢分類システムを示す上位(high-level)ブロック図である。
【００１２】
【図２】１つの実施例において図1に示される歩行者姿勢分類システムとして使用されるためのコンピュータの例を示す上位ブロック図である。
【００１３】
【図３Ａ】１つの実施例において図1に示される画像生成モジュールの詳細を示す上位ブロック図である。
【００１４】
【図３Ｂ】１つの実施例において図1に示される総合分類モジュールの詳細を示す上位ブロック図である。
【００１５】
【図４Ａ】１つの実施例において、合成された歩行者データを生成する方法を示すフローチャートである。
【００１６】
【図４Ｂ】１つの実施例において、図３Ｂに示される総合分類モジュールで使用するための複数の歩行者姿勢二項分類機能をトレーニングする方法を示すフローチャートである。
【００１７】
【図４Ｃ】１つの実施例において、静止画像内における歩行者の姿勢を分類する方法を示すフローチャートである。
【００１８】
上記の図面は、様々の実施例を説明目的のみに示すものである。図面に例示される構成と方法の複数の代わりの実施例が、本明細書および図面に記述される実施例の原理から逸脱しない範囲内で使用され得ることは、当業者にとっては、以下の説明から容易に認識できるであろう。
【発明を実施するための形態】
【００１９】
実施例について前記図面を参照して説明する。前記図面においては、類似の参照番号は同一または機能的に同等の要素を示す。また、前記図面においては、各参照番号の最上位の桁の数字は、その参照符号が最初に使用された図面に対応する。
【００２０】
図1は、１つの実施例に係る歩行者姿勢分類システム100を示す上位ブロック図である。歩行者姿勢分類システム100は、画像生成モジュール105、トレーニング・モジュール110、および、総合分類モジュール120を含むことができる。歩行者の静止画像が与えられると、歩行者姿勢分類システム100は歩行者の姿勢を分類することができる。ある実施例において、姿勢は「左を向いている」、「右を向いている」、或いは、「前または後を向いている」に分類される。
歩行者姿勢分類システム100は、車両の外で近くにいる歩行者の姿勢を分類するために、車両内で使用され得る。その時、姿勢分類は、歩行者が車両の進路に入り得るかどうかを決定するために用いられ得る。
【００２１】
歩行者の姿勢についての知識は、例えば、車両事故防止装置システムにおいて、車両内の人々の安全性と該車両と道路を共用している歩行者の安全性とを向上するために使用され得る。車両を運転している間、運転者は彼らの周囲で起こる事態と複数のオブジェクトとに注意を払う必要があり得る。例えば、道路標識（例えば、交通信号、速度標識、および、警戒標識）、車両パラメータ（例えば、車両速度、エンジン回転速度、油温、および、ガスレベル）、道路を共用している他の車両、通りを横断しようとしている歩行者等に注意を払う必要があるかもしれない。時々は、歩行者は見落とされ、事故に巻き込まれるかもしれない。
【００２２】
もし、（車両の進路に入る）歩行者の存在が見つけられるならば、運転者は歩行者の存在について注意を喚起させられ得る。例えば、車両の右側に所在する歩行者について考える。もし、歩行者が左を向いているならば、歩行者はより車両の進路に入りそうである。もし、歩行者が右を向いているならば、歩行者は車両の進路に入りそうにない。
【００２３】
画像生成モジュール105は、歩行者の3次元(3D)仮想モデルと背景画像とを入力として受取って、歩行者の２次元(2D)画像を生成し、生成された2D画像に注釈を付け、注釈付2D画像（「合成された歩行者データ」）を出力する。画像生成モジュール105は、歩行者（図示せず）の2D画像を生成するときに使用するパラメータの組をも受け取ることができる。
【００２４】
トレーニング・モジュール110は、画像生成モジュール105によって生成された注釈付2D画像（合成された歩行者データ）を入力として受け取る。それから、トレーニング・モジュール110は、歩行者姿勢分類機能(classifier)を画像内における歩行者の姿勢を分類するために、前記合成された歩行者データを使用して歩行者姿勢分類機能(classifier)をトレーニングし、トレーニングされた歩行者姿勢分類機能(classifier)を出力する。前記合成された歩行者データについては、以下、図３Ａを参照して更に説明する。
【００２５】
総合分類モジュール120は、歩行者の静止画像とトレーニング・モジュール110によってトレーニングされた歩行者姿勢分類機能(classifiers)とを受け、歩行者の姿勢の分類を決定し、該分類を出力する。実施例によっては、静止画像は、車両に取り付けられたカメラによって取得される。例えば、静止画像は1/1.8インチのセンサを有する電荷結合素子（CCD）カメラによって取得され得る。
カメラのシャッター速度を上げて、画像ぼけを減らすために、より大きなセンサを有するカメラも使用され得る。実施例によっては、静止画像は、ビデオからフレームを抽出することによって得られる。歩行者姿勢分類は、3分類(ternary classification)の結果（例えば、左を向いているか、右を向いているか、或いは、前または後を向いているか）であってもよい。
【００２６】
図2は、１つの実施例において図1に示される歩行者姿勢分類システム100としてコンピュータ200の例を示す上位ブロック図である。例示されているのは、チップセット204に接続される少なくとも1つのプロセッサ202である。
チップセット204は、メモリ・コントローラ・ハブ250および入出力（I/O）コントローラ・ハブ255を含む。メモリ206とグラフィック・アダプタ213はメモリ・コントローラ・ハブ250に接続される。そして、ディスプレイ装置218はグラフィック・アダプタ213に接続される。記憶装置208、キーボード210、ポインティングデバイス214、および、ネットワーク・アダプタ216は、I/Oコントローラ・ハブ255に接続される。コンピュータ200の他の実施例は異なるアーキテクチャを有する。例えば、実施例によっては、メモリ206はプロセッサ202に直接接続される。
【００２７】
記憶装置208は、１または複数の、コンピュータによって読取り可能な非一時的記憶媒体（例えば、ハードディスク、コンパクトディスク・リードオンリ・メモリ（CD-ROM）、DVD、または、固体メモリ素子）を含む。メモリ206は、プロセッサ202により用いられる命令およびデータを保持する。ポインティングデバイス214は、コンピュータシステム200にデータを入力するために、キーボード210と組み合わせて使用される。グラフィック・アダプタ213は、画像および他の情報をディスプレイ装置218上に表示する。実施例によっては、ディスプレイ装置218は、ユーザ入力およびユーザ選択を受け取るためのタッチ・スクリーン機能を有する。ネットワーク・アダプタ216は、コンピュータシステム200を通信ネットワークまたは他のコンピュータシステム（図示せず）に接続させる。
【００２８】
実施例によっては、コンピュータ200は、図2に示されるものとは異なる構成要素、および／または、他の構成要素を有する。例えば、コンピュータ200は、組込みシステムであってもよく、その場合は、グラフィック・アダプタ213、ディスプレイ装置218、キーボード210、ポインティングデバイス214、および、その他の構成要素は設けなくてよい。
【００２９】
コンピュータ200は、本明細書に記述される機能を提供するためのコンピュータプログラム・モジュールを実行するように構成されている。本明細書に使用されるように、「モジュール」という用語は複数のコンピュータプログラム命令、および／または、指定された機能を提供するために用いられる、その他の論理を指すものである。このように、各モジュールはハードウェア、ファームウェア、および／または、ソフトウェアによって実装され得る。1つの実施例においては、実行可能なコンピュータプログラム命令から作られるプログラム・モジュールは、記憶装置208に格納されており、メモリ206上に読み出され、プロセッサ202によって実行される。
【００３０】
図3Aは、１つの実施例において図1に示される画像生成モジュール105の詳細を示す上位ブロック図である。画像生成モジュール105は、歩行者レンダリング・モジュール301、背景合成モジュール303、画像後処理モジュール305、および、画像注釈モジュール307を含む。
【００３１】
歩行者レンダリング・モジュール301は、歩行者の3次元(3D)仮想モデルとパラメータの組とを入力として受け取り、受け取ったパラメータに基づいて歩行者の２次元(2D)画像を作成し、作成された２次元(2D)画像を出力する。
パラメータの組は、例えば、歩行者（例えば、男性か女性か）の性別、歩行者の身長、歩行者の体型（外胚葉性(細長型)体型、内胚葉性(短大型)体型、または、中胚葉性体型）、歩行者の髪の色（黒、茶色、ブロンド等）、歩行者の衣類（シャツ、ズボン、靴等）、歩行者によって使用されるアクセサリ（帽子、バックパック、傘等）、および/または、歩行者の姿勢分類（左を向いているか、右を向いているか、或いは、前または後ろを向いているか）を含むことができる。
【００３２】
更に、歩行者レンダリング・モジュール301は、照明パラメータ（例えば、光源方位角、光源高度、光源強度、および、周囲光エネルギ）、カメラ・パラメータ（例えば、カメラ方位角、カメラ高度、および、カメラ回転）、そして、レンダリング・パラメータ（画像サイズ、境界サイズ等）をも受け取ることができる。
【００３３】
背景合成モジュール303は、2D背景画像と、歩行者レンダリング・モジュール301によって生成された2D歩行者画像とを入力として受け取り、歩行者画像と背景画像とを合成して、合成された2D画像を出力する。
実施例によっては、背景画像は背景画像のライブラリから選択される。
背景合成モジュール303は、歩行者の画像を、背景画像内の、どこに配置するべきかを示す位置をも、パラメータとして受け取り、受け取った位置に歩行者の画像を配置させることができる。
例えば、背景合成モジュール303は、歩行者の画像を、背景画像内の、どこに配置させるべきかを示す座標点をパラメータとして受け取ることができる。
或いは、背景合成モジュール303は、その中に歩行者の画像を配置させるべき正方形を定める2点をパラメータとして受け取ることができる。
【００３４】
画像後処理モジュール305は、背景合成モジュール303によって生成された背景と共に歩行者の2D画像を受け取り、受け取った画像を、それがトレーニング・モジュール110により使用され得るように編集して、編集された画像を出力する。
例えば、画像後処理モジュール305は、画像の平滑化、画像のダウンサンプリング、画像のクロップ等を行うことができる。
【００３５】
画像注釈モジュール307は、画像後処理モジュール305によって出力された画像を入力として受け取り、受け取った画像のグラウンドトルースによって、受け取った画像に注釈を付け、注釈付画像を出力する。実施例によっては、グラウンドトルースは歩行者の姿勢分類（例えば、左を向いているか、右を向いているか、或いは、前または後を向いているか）を示す。他の実施例においては、グラウンドトルースは、画像を作成するために用いられる他のパラメータを含む。また、グラウンドトルースは、歩行者の位置を画像に含んでもよい。  例えば、画像注釈モジュール307は、歩行者が画像内のどこに位置するかを示す座標点（または、正方形を定める2点）によって、画像に注釈を付けることができる。
【００３６】
図３Ｂは、１つの実施例において図1に示される総合分類モジュール120の詳細を示す上位ブロック図である。総合分類モジュール120は、勾配方向ヒストグラム（HOG）抽出モジュール311、複数の二項分類モジュール313、および、決定モジュール315を含む。
【００３７】
勾配方向ヒストグラム（HOG）抽出モジュール311は、静止画像を受け取り、受け取った静止画像からHOG特徴を抽出して、抽出された特徴を出力する。本明細書に使用されるように、勾配方向ヒストグラム(HOG)は、オブジェクト分類のための画像処理とコンピュータビジョンとにおいて使用される特徴ディスクリプタである。HOG特徴は、画像の局所的な部分における勾配方向の発生数を示す。
【００３８】
HOG抽出モジュール311は、受け取った画像を複数のセルに分割することによってHOG特徴を抽出する。例えば、HOG抽出モジュール311は、8×8ピクセルのセルサイズを用いるHOG特徴を計算することができる。各々のセルについて、HOG抽出モジュール311は、該セルの全てのピクセルにわたる範囲における勾配方向の1次元（1D）ヒストグラムを計算する。実施例によっては、HOG抽出モジュール311は、画像をブロックに分けて、ブロックのローカル・ヒストグラム・エネルギを計算して、計算されたローカル・ヒストグラム・エネルギに基づいてブロック内のセルを正規化することによって、受け取った画像全体にわたり輝度の変化に対応して画像を正規化する。例えば、HOG抽出モジュール311は、2×2セルのブロック・サイズで、ローカル・ヒストグラム・エネルギを計算することができる。
【００３９】
1つの実施例においては、HOG抽出モジュール311は、予め定義されたサイズの画像からHOG特徴を抽出する。例えば、HOG抽出モジュール311は、32×64ピクセルの画像からHOG特徴を抽出してもよい。もし、受け取った画像のサイズがより大きいか小さいならば、HOG抽出モジュールは、画像サイズが前記予め定義されたサイズと等しくなるまで、画像を小さく、または、大きくする。
【００４０】
二項分類モジュール313は、画像から一組のHOG特徴を入力として受け取り、分類機能（例えば、サポート・ベクトル・マシンまたは「SVM」）と上記HOG特徴とを使って、画像内に存在している歩行者の姿勢が特定のクラスに属しているかどうか決定し、二項分類結果（例えば、イエス／ノー）と信頼値とを出力する。実施例によっては、二項分類モジュール313は、線形分類機能（例えば線形SVM）を使用する。他の実施例において、二項分類モジュール313は、非線形の分類機能、例えば、ラジアル基底関数SVM (RBF SVM)を使用する。
二項分類モジュール313によって出力される信頼値は、二項分類結果が正しい確率を示す。
【００４１】
本明細書に使用されるように、線形分類機能は、オブジェクト（例えば、静止画像）の特性または特徴の線形結合（または関数）に基づいて、オブジェクトが特定のクラス（例えば、左を向いている歩行者、右を向いている歩行者、前または後を向いている歩行者）に属しているかどうかを識別する。
1つの実施例においては、線形分類機能の出力は次式で与えられる。
【数１】
2014123366.tif 000003
【００４２】
ここで、yは線形分類モジュールの出力、ωはトレーニング・モジュール110によって決定される重みベクトル、xは分類されるオブジェクトの特徴の値を含む特徴ベクトルである。
【００４３】
本明細書に使用されるように、非線形分類機能は、オブジェクト（例えば、画像）の特性または特徴の非線形結合（または関数）に基づいて、オブジェクトが特定のクラス（例えば、左を向いている歩行者、右を向いている歩行者、前または後を向いている歩行者）に属しているかどうかを識別する。
【００４４】
二項分類モジュール313の各々は、1つの姿勢に関して歩行者の静止画像を分類することができる。例えば、二項分類モジュール313Aは、画像が左を向いている歩行者を含むかどうかを決定するために歩行者の画像を分類することができる。二項分類モジュール313Bは、画像が右を向いている歩行者を含むかどうかを決定するために歩行者の画像を分類することができる。そして、二項分類モジュール313Cは、画像が前または後を向いている歩行者を含むかどうかを決定するために歩行者の画像を分類することができる。実施例によっては、二項分類モジュール313Aは、歩行者の静止画像が左を向いている歩行者を含む確率に基づいて評価点（例えば、信頼値）を生成する。二項分類モジュール313Bは、歩行者の静止画像が右を向いている歩行者を含む確率に基づいて評価点（信頼値）を生成する。そして、二項分類モジュール313Cは、歩行者の静止画像が前または後を向いている歩行者を含む確率に基づいて評価点（信頼値）を生成する。
【００４５】
決定モジュール315は、二項分類モジュール313の各々からの出力を受け取り、静止画像内における歩行者姿勢分類を決定する。1つの実施例においては、決定モジュールは、以下のように姿勢分類を決定する。
【数２】
2014123366.tif 000004
【００４６】
ここで、iは0、1、または、2である、そして、p0は（二項分類モジュール313Aの決定により）静止画像内の歩行者が左へ向いている確率、p1は（二項分類モジュール313Bの決定により）静止画像内の歩行者が右へ向いている確率、そして、p2は（二項分類モジュール313Cの決定により）静止画像内の歩行者が前または後ろを向いている確率である。上記のように、pmaxは、二項分類モジュール313によって決定される評価点（信頼値）の最大値である。更に、θは確率のしきい値である、そして、cは決定モジュール315による姿勢分類出力である。このように、決定モジュール315の出力は、（評価点がしきい値θを越えるならば）最高評価点を有する姿勢分類であり、（最大の評価点がしきい値と等しいか、または、下回るならば)-1である。本明細書に使用されるように、決定モジュール315からの-1の出力は、決定モジュールが静止画像内における歩行者の姿勢を分類することができなかったことを示す。
【００４７】
図４Ａは、１つの実施例において、合成された歩行者データを生成する方法を示すフローチャートである。合成された歩行者データは、（例えば、分類機能をトレーニングするか、分類機能の正確さを試験するために）歩行者姿勢分類機能(classifier)と共に使用され得る。ステップ401において、画像生成モジュール105は、3次元(3D)歩行者モデルおよび画像パラメータの組を受け取る。
【００４８】
ステップ403において、歩行者レンダリング・モジュール301は、受け取った歩行者モデルと受け取った画像パラメータとに基づいて歩行者の２次元(2D)画像を作成する。
【００４９】
ステップ405において、背景合成モジュール303は、作成された歩行者の画像に背景を付加する。
【００５０】
（図示しないが）実施例によっては、画像後処理モジュール305は、背景を有する歩行者の画像に、画像後処理技術（例えば、スムージング、ダウンサンプリング、クロッピング）を適用することができる。
【００５１】
ステップ407において、画像注釈モジュール307は、合成した画像（歩行者プラス背景）にグラウンドトルースによって注釈を付ける。例えば、画像注釈モジュール307は、画像内における歩行者姿勢分類を示す値によって、画像に注釈を付けることができる。他の実施例においては、画像注釈モジュール307は、受け取った1または複数の画像パラメータ（例えば、歩行者によって使用されるアクセサリ）によって、画像に更に注釈を付ける。
【００５２】
複数の注釈付合成歩行者画像を生成するために、図４Ａに示されるステップは、（複数の異なる歩行者のモデル、複数の画像パラメータ、および/または、複数の背景を使用して）複数回繰り返されるかもしれない。例えば、何千もの注釈付合成歩行者画像を作成するために、図４Ａのステップは、数千回も繰り返され得る。
【００５３】
図4Bは、１つの実施例において、図３Ｂに示される総合分類モジュール120において使用するための複数の歩行者姿勢二項分類機能(classifiers)をトレーニングする方法を示すフローチャートである。ステップ431において、トレーニング・モジュール110は、画像生成モジュール105によって生成された注釈付合成歩行者画像を受け取り、「1対全」アプローチ("one-against-all" approach)を用いる複数の歩行者姿勢二項分類機能(classifiers)をトレーニングするために注釈付画像を使用する。
【００５４】
ステップ433において、トレーニング・モジュール110は、受け取った画像内の歩行者が第1の姿勢分類に属するかどうか（例えば、左を向いているかどうか）を決定する。この決定は、例えば、画像の注釈にアクセスすることによって実行される。歩行者が第1の姿勢分類に属するならば、受け取った画像は、ステップ437にて第1の歩行者二項分類機能をトレーニングするための正のサンプルとして使用され、ステップ443にて第2の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用され、ステップ447にて第3の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用される。
【００５５】
歩行者が第1の姿勢分類に属しないならば、ステップ435において、トレーニング・モジュール110は、受け取った画像の歩行者が第1の姿勢分類であるかどうか（例えば、右を向いているか）を決定する。
この決定は、例えば、画像の注釈にアクセスすることによって実行される。
歩行者が第2の姿勢分類に属するならば、受け取った画像は、ステップ441にて第2の歩行者姿勢二項分類機能をトレーニングするための正のサンプルとして使用され、ステップ439にて第1の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用され、ステップ447にて第3の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用される。
【００５６】
歩行者が第2の姿勢分類に属しないならば、受け取った画像は、ステップ445にて第3の歩行者二項分類機能をトレーニングするための正のサンプルとして使用され、ステップ439にて第1の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用され、ステップ443にて第2の歩行者姿勢二項分類機能をトレーニングするための負のサンプルとして使用される。
【００５７】
図4Cは、1つの実施例において、静止画像内における歩行者の姿勢を分類する方法を示すフローチャートである。ステップ441において、総合分類モジュール120は、分類されるべき静止画像を受け取る。実施例によっては、画像は、車両に取り付けられたカメラによって取得され得る。
【００５８】
ステップ413において、HOG抽出モジュール311は、受け取った静止画像を分析し、受け取った静止画像からHOG特徴を抽出する。
【００５９】
ステップ415Aにおいて、第1の二項分類モジュール313Aは、トレーニング・モジュール110によってトレーニングされた第1の歩行者姿勢分類機能とHOG抽出モジュールによって抽出されたHOG特徴とを用いて画像を分類する。ステップ415Bにおいて、第2の二項分類モジュール313Bは、トレーニング・モジュール110によってトレーニングされた第2の歩行者姿勢分類機能とHOG抽出モジュールによって抽出されたHOG特徴とを用いて画像を分類する。ステップ415Cにおいて、第3の二項分類モジュール313Cは、トレーニング・モジュール110によってトレーニングされた第3の歩行者姿勢分類機能とHOG抽出モジュールによって抽出されたHOG特徴とを用いて画像を分類する。分類の一部として、歩行者姿勢二項分類機能313の各々は、分類評価点（例えば、信頼値）を生成してもよい。
【００６０】
決定モジュール315は、最高評価点を有する分類をステップ417にて選択し、選択された分類評価点がしきい値より大きいかどうかをステップ419にて決定する。選択された分類がしきい値より大きいならば、選択された分類はステップ421にて出力される。或いは、選択された分類評価点がしきい値と等しいか、または、しきい値より低いならば、ステップ423にて、エラーが出力されるかもしれない。
【００６１】
画像生成モジュール105によって生成された合成された歩行者データは、トレーニングされた歩行者姿勢分類機能をベンチマークテストするためにも用いられ得る。例えば、図４Ｃのステップは、注釈付合成歩行者画像を使って実行され得る。ステップ421にて出力された姿勢分類は、合成歩行者画像の注釈と比較される。出力された姿勢分類が合成された歩行者画像のグラウンドトルース（例えば、その姿勢分類）と一致するならば、トレーニングされた歩行者姿勢分類機能が正しく歩行者画像を分類していると確定され得る。1つの実施例においては、複数の注釈付合成歩行者画像は、トレーニングされた歩行者姿勢分類機能をベンチマークでテストするために用いられ、誤った分類のパーセンテージが決定される。
【００６２】
本明細書において「1つの実施例」とは、その実施例に関連して記述された特定の特徴、構成、または、特性が少なくとも1つの実施例に含まれること意味する。本明細書の様々の場所において「1つの実施例において」との表現が使われているが、必ずしも、全てが同じ実施例のことを指しているというわけではない。
【００６３】
詳細な記述のうちの、いくらかの部分は、コンピュータメモリの中のデータビットの操作の記号表現とアルゴリズムとによって示される。これらのアルゴリズムによる記述と表現とは、データ処理技術の当業者によって彼らの仕事の実体を最も効果的に他の当業者に伝えるために用いられる手段である。本明細書に記述されるアルゴリズムは、通常、望ましい結果に導くステップ（命令）の自己矛盾の無いシーケンスであると理解される。それらのステップは、物理量の物理的操作を要求するものである。通常、そうとは限らないけれども、これらの量は、保存され、転送され、合成され、比較され、或いは、他の方法で操作された電気的、磁気的、光学的信号の形をとる。主に一般的な用法上の理由で、これらの信号をビット、値、素子、記号、文字、用語、数等と称することは、しばしば便利である。また、一般性を失うことなく、物理量または物理量の表現の物理的操作または変形を要求するステップの特定の配列をモジュールまたはコード・デバイスと称することは、しばしば便利である。
【００６４】
しかし、上記の用語および同様の用語の全ては、適切な物理量と関連付けられるべきであって、単にこれらの量に適用される便利なラベルに過ぎない。以下の説明から明らかであるように、別途特に記述されていない限り、本明細書の記述を通して、「処理」、「コンピューティング」、「計算」、「決定」、「展示」等の用語を使用した議論は、コンピュータのシステムメモリまたはレジスタ、その他の同様の情報記憶装置、通信装置、または、表示装置内で物理（電子）量として表現されるデータを操作および変換するコンピュータシステムまたは（特定の計算マシンのような）類似した電子コンピューティング装置の動作およびプロセスに言及するものと理解される。
【００６５】
実施例の特定の態様は、本明細書においてアルゴリズムの形で記述されるプロセスステップと命令とを含む。実施例のプロセスステップおよび命令は、ソフトウェア、ファームウェア、または、ハードウェアとして実現され得る点に留意すべきである。ソフトウェアとして実現される場合には、実施例のプロセスステップおよび命令は、様々のオペレーティングシステムにより用いられる異なるプラットホームに存在し、それら異なるプラットホームから操作されるようにダウンロードされ得る点に留意すべきである。上記実施例は、コンピューティング・システム上で実行され得るコンピュータプログラム製品内にある場合もある。
【００６６】
上記実施例は、本明細書に記載の動作を実行する装置に関するものでもある。
上記の装置は、例えば、特定のコンピュータのような特定の目的のために特別に構成されたたものであってもよい。また、上記の装置は、コンピュータに格納されるコンピュータプログラムによって選択的に稼働させられるか、または、変更される汎用計算機を有することができる。そのようなコンピュータプログラムは、コンピュータによって読取り可能な記憶媒体に格納され得る。この記憶媒体は、例えば、フロッピディスク、光ディスク、CD-ROM、光磁気ディスク、読取り専用メモリ（ROM）を含む任意のタイプのディスク、或いは、ランダムアクセスメモリ（RAM）、EPROM、EEPROM、磁気または光学カード、特定用途向け集積回路(ASIC)、或いは、コンピュータシステム・バスに結合され電子命令を保存するのに適した任意のタイプの媒体であってもよいが、これらに限るものではない。メモリは、情報/データ/プログラムを格納することができる上記、および／または、他のデバイス含むことができ、更にまた、メモリは、一時的または非一時的な媒体であり得る。一時的または非一時的な媒体は、最小の時間より長い時間、情報を記憶するメモリ/記憶装置を含むことができる。更にまた、明細書に記載のコンピュータは、単一のプロセッサを含むものか、或いは、計算能力向上のためのマルチプロセッサデザインを利用するものかもしれない。
【００６７】
本明細書に記載されるアルゴリズムと表示とは、特定のコンピュータにも、他の装置にも本質的には如何なる関係もない。様々の汎用システムが、本明細書の教示に従うプログラムと共に使用され得る。或いは、方法ステップを実行するために、より特殊な装置を造ることが便利であると理解されるであろう。これらの多様なシステムのための構成は、本明細書の説明から明らかであろう。
加えて、実施例は、如何なる特定のプログラミング言語に関して記述されるものでもない。本明細書に記述される実施例の教示を実現するために様々のプログラミング言語が用いられるかもしれないが、本明細書における、特定の言語の如何なる言及も、実施可能性とベストモードの開示のために提供されたものであることは理解されるであろう。
【００６８】
また、本明細書で使用される言語は、主として読み易さと教育的目的のために選択されたものであり、発明の主題を詳細に描写するか或いは限定するために選択されたものではないかもしれない。したがって、実施例の開示は、添付の特許請求の範囲に記述される実施例の技術範囲の説明に役立つことを意図するものであり、実施例の技術範囲を限定するものではない。
【００６９】
本明細書には特定の実施例と応用が例示され記述されているが、実施例は本明細書に記述されるとおりの構成および構成要素に限定されるものではなく、また、添付の特許請求の範囲に記述される実施例の趣旨および技術範囲から逸脱することなく、実施例の方法および装置の配置、動作、および、詳細において様々の修正、変更、および、変形がなされ得ることは理解されるべきである。
【図１】
2014123366.tif 000005
【図２】
2014123366.tif 000006
【図３Ａ】
2014123366.tif 000007
【図３Ｂ】
2014123366.tif 000008
【図４Ａ】
2014123366.tif 000009
【図４Ｂ】
2014123366.tif 000010
【図４Ｃ】
2014123366.tif 000011
【外国語明細書】
2014123366000001.pdf