(57)【要約】  本開示は、群集の中の個人を識別するための方法およびシステムに関する。この方法は、複数の撮像装置を用いて複数の群衆観察画像をキャプチャするステップを含む。各画像について、画像における人の顔の輪郭内の基準点が選択される。基準点は、人物の顔の輪郭上の顔の特徴に基づいて選択される。この方法はさらに、画像を処理して、画像における人の姿勢に関連する１つまたは複数の角度測定値を取得するステップを含む。取得された角度測定に基づいて、基準点に対する人の所定の身体部位の位置データが抽出される。【選択図】図１
2021515944.tif 000002
【特許請求の範囲】
【請求項１】
群衆の中の個人を識別するための方法であって、
複数の撮像装置を用いて複数の群衆観察画像を取得すること、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択すること、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理すること、および、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出すること、
を含む方法。
【請求項２】
請求項１記載の方法であって、
前記位置データは、前記群衆観察画像に重なるデカルト座標系における位置座標を含み、
前記所定の身体部位の位置データを抽出することは、前記基準点の座標に対する前記位置座標を算出することを含む、
方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記姿勢は、前記人の顔の方向を含み、
前記角度測定値は、前記顔のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
【請求項４】
請求項１から３のいずれか１項に記載の方法であって、
前記姿勢は、前記人の体の方向を含み、
前記角度測定値は、前記体のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
【請求項５】
請求項１から４のいずれか１項に記載の方法であって、
前記基準点は、前記人の両目の間の中点、前記人の両目のうちの一方、前記人の鼻、前記人の唇、前記人の両耳の間の中点、前記人の両耳のうちの一方、のうちの少なくとも１つを含む、
方法。
【請求項６】
請求項１から５のいずれか１項に記載の方法であって、
前記抽出された位置データに基づいて、前記群衆観察画像から所定の身体領域を切り取ることを更に含む、
方法。
【請求項７】
請求項６記載の方法であって、
前記複数の撮像装置によって取得された前記複数の群衆観察画像から切り取られた前記所定の身体領域の画像データを比較すること、および、
前記画像データの比較結果に基づいて、前記個人を識別すること、
を更に含む、方法。
【請求項８】
請求項１から７のいずれか１項に記載の方法であって、
前記複数の群衆観察画像は、リアルタイム画像である、
方法。
【請求項９】
群衆の中の個人を識別するためのシステムであって、
前記システムは、
複数の群衆観察画像を取得する複数の撮像装置と、
前記複数の撮像装置と通信するコンピュータモジュールと、
を含み、
前記コンピュータモジュールは、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択し、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理し、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出する、
システム。
【請求項１０】
請求項９記載のシステムであって、
前記位置データは、前記群衆観察画像に重なるデカルト座標系における位置座標を含み、
前記コンピュータモジュールは、前記所定の身体部位の位置データを抽出するために、前記基準点の座標に対する前記位置座標を算出する、
システム。
【請求項１１】
請求項９又は１０に記載のシステムであって、
前記姿勢は、前記人の顔の方向を含み、
前記角度測定値は、前記顔のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
システム。
【請求項１２】
請求項９から１１のいずれか１項に記載のシステムであって、
前記姿勢は、前記人の体の方向を含み、
前記角度測定値は、前記体のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
システム。
【請求項１３】
請求項９から１２のいずれか１項に記載のシステムであって、
前記基準点は、前記人の両目の間の中点、前記人の両目のうちの一方、前記人の鼻、前記人の唇、前記人の両耳の間の中点、前記人の両耳のうちの一方、のうちの少なくとも１つを含む、
システム。
【請求項１４】
請求項９から１３のいずれか１項に記載のシステムであって、
前記コンピュータモジュールは、前記抽出された位置データに基づいて、前記群衆観察画像から所定の身体領域を切り取る、
システム。
【請求項１５】
請求項１４記載のシステムであって、
前記コンピュータモジュールは、
前記複数の撮像装置によって取得された前記複数の群衆観察画像から切り取られた前記所定の身体領域の画像データを比較し、
前記画像データの比較結果に基づいて、前記個人を識別する、
システム。
【請求項１６】
請求項９から１５のいずれか１項に記載のシステムであって、
前記複数の群衆観察画像は、リアルタイム画像である、
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、排他的ではないが、群集の中の個人を識別するための方法およびシステムに関する。
【背景技術】
【０００２】
監視は、犯罪の防止または調査のために、公共エリア（public areas）にいる人々の行動または活動を監視するために、政府によってしばしば行われる。公共エリアに設置される監視カメラの数は、近年大幅に増加している。したがって、監視は、以前よりもはるかに広い領域をカバーできる。
【０００３】
通常、監視は、人の位置の追跡を含む。監視カメラによって捕らえられた（キャプチャされた）顔の特徴（facial features）または衣服の色は、人の位置を特定することおよび追跡することの目的のために、比較される特徴（traits）のいくつかの例である。ただし、顔の特徴および衣服の色を比較することは、結果が悪くなる可能性がある。
【０００４】
たとえば、監視カメラで撮影された人の顔は、意味のある比較を行うために、常に十分なほど鮮明であるとは限らずまたは常に適切な角度にある（in suitable angle）とは限らない。また、比較のために衣服の同じ領域を抽出することは難しい場合があることに注意をすべきである。通常、画像では人物の顔と体とが一直線であると想定され、監視カメラで撮影された複数の画像における人物の顔の真下にある衣服の色を比較して、その複数の画像においてその人物を識別する。しかし、人は、歩いたり座ったりしながら、さまざまなポーズをとることがある。その結果、上で説明したように、顔の特徴または衣服の色に基づいた比較は、結果が良くない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、上記の問題の少なくとも１つに対処する、群集の中の個人を識別するための方法およびシステムを提供することまたは有用な代替案を提供することの必要性が存在する。
【課題を解決するための手段】
【０００６】
本開示の第１の態様によれば、群集内の個人を識別するための方法が提供され、
この方法は、
複数の撮像装置を用いて複数の群衆観察画像を取得すること、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択すること、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理すること、および、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出すること、
を含む。
【０００７】
本開示の第２の態様によれば、群集内の個人を識別するためのシステムが提供され、
このシステムは、
複数の群衆観察画像を取得する複数の撮像装置と、
前記複数の撮像装置と通信するコンピュータモジュールと、
を含み、
前記コンピュータモジュールは、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択し、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理し、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出する。
【図面の簡単な説明】
【０００８】
本開示の実施形態は、例としてのみ提供され、以下の書面による説明および図面から当業者にはよりよく理解され、容易に明らかになるであろう。
【０００９】
【図１】図１は、群集の中の個人を識別する方法を説明するフローチャートを示す。
【図２】図２は、例示的な実施形態による、顔が３つの異なるロール角にある、人の正面図を示す複数の画像を示す。
【図３】図３は、例示的な実施形態による、顔が３つの異なるパン角度にある、人の正面図を示す複数の画像を示す。
【図４】図４は、例示的な実施形態による、顔が３つの異なるチルト角にある、人の正面図を示す複数の画像を示す。
【図５】図５は、例示的な実施形態による、身体が或るロール角にある、人の正面図を示す画像を示す。
【図６】図６は、別の例示的な実施形態による、身体が或るロール角にある、人の正面図を示す画像を示す。
【図７】例示的な実施形態の方法およびシステムを実装するのに適したコンピュータを示す概略図を示す。
【発明を実施するための形態】
【００１０】
本開示の実施形態は、図面を参照して、例としてのみ説明される。図面における同様の参照番号および文字は、同様の要素または同等物を指す。
【００１１】
以下の説明のいくつかの部分は、コンピュータメモリ内のデータに対する操作の、アルゴリズムおよび機能的または象徴的な表現の観点から、明示的または暗黙的に示されている。これらのアルゴリズムの記述および機能的または象徴的な表現は、データ処理技術の当業者が彼らの仕事の内容を他の当業者に最も効果的に伝えるために使用する手段である。ここで、アルゴリズムは、一般に、望ましい結果につながる自己矛盾のない一連のステップであると考えられている。これらのステップは、保存、転送、結合、比較、その他の操作が可能な電気信号、磁気信号、または光信号などの物理量の物理操作を必要とするものである。
【００１２】
特に明記しない限り、以下から明らかなように、本明細書全体を通して、「捕らえること（capturing）」、「選択すること（selecting）」、「処理すること（processing）」、「抽出すること（extracting）」、「計算すること（calculating）」、「切り取ること（cropping）」、「比較すること（comparing）」、「識別すること（identifying）」などの用語を用いた議論は、コンピュータシステムまたは同様の電子デバイスのアクションおよびプロセスを指している、ことが理解されよう。そのコンピュータシステムまたは同様の電子デバイスは、そのコンピュータシステム内の物理量として表されるデータを、操作および変換して、そのコンピュータシステムまたは他の情報ストレージデバイス、伝送デバイス、または表示デバイスにおける物理量として同様に表される他のデータにする。
【００１３】
本明細書はまた、その方法の動作を実行するための装置を開示する。そのような装置は、必要な目的のために特別に構築されてもよく、または、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成される、コンピュータまたは他のデバイスを備えてもよい。本明細書に提示されているアルゴリズムおよび表示は、特定のコンピュータまたは他の装置に本質的に関連しているわけではない。本明細書の教示に従って、様々な機械をプログラムと共に使用することができる。あるいは、必要な方法ステップを実行するためのより専門的な装置の構築が適切な場合がある。以下の説明からコンピュータの構造が明らかになるだろう。
【００１４】
さらに、本明細書はまた、本明細書に記載の方法の個々のステップがコンピュータコードによって実行され得ることが当業者に明らかであるという点で、コンピュータプログラムを暗黙的に開示する。そのコンピュータプログラムは、特定のプログラミング言語およびその実装に限定されることを意図していない。本明細書に含まれる開示の教示を実施するために、様々なプログラミング言語およびそのコーディングが用いられてもよいことが理解されよう。さらに、コンピュータプログラムは、特定の制御フローに限定されることを意図していない。本開示の精神または範囲から逸脱することなく、異なる制御フローを使用することができる、コンピュータプログラムの多くの他の変形が存在する。
【００１５】
さらに、コンピュータプログラムの１つ以上のステップは、順次ではなく並行して実行されてもよい。そのようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納され得る。そのコンピュータ可読媒体は、磁気ディスクまたは光ディスク、メモリチップ、またはコンピュータとのインターフェースに適した他のストレージデバイスなどのストレージデバイスを含み得る。そのコンピュータ可読媒体はまた、インターネットシステムで例示されるような有線媒体（hard-wired medium）、またはＧＳＭ携帯電話システムで例示されるような無線媒体（wireless medium）を含み得る。このようなコンピュータにロードされて実行されるとき、そのコンピュータプログラムは、好ましい方法のステップを実行する装置を効果的にもたらす。
【００１６】
以下の説明では、「群衆観察画像（crowd-viewing images）」という用語は、１人または複数の人々の写真を含み且つ撮像装置（image-capturing device）によってキャプチャされた画像を指す。
【００１７】
以下の説明において、「顔の輪郭（facial contour）」という用語とは、撮像装置により捕らえられた画像における、人の顔領域の輪郭（outline）を指す。
【００１８】
以下の説明では、「撮像装置（image-capturing device）」という用語は、カメラシーンの画像および／またはビデオをキャプチャすることができる、電子カメラを指す。
【００１９】
以下の説明において、「顔の特徴（facial feature）」という用語は、顔の特徴的な要素（characteristic element）を指す。
【００２０】
以下の説明において、「ロール角（roll angle）」という用語は、撮像装置によってキャプチャされた画像上に重ねられた、３次元デカルト座標系（three-dimensional Cartesian coordinate system）のＸ軸に対する、人の顔または体の方向（orientation）を指す。顔または体が左右に傾くと、ロール角は変化する。
【００２１】
以下の説明において、「チルト角（tilt angle）」という用語は、撮像装置によってキャプチャされた画像上に重ねられた、３次元デカルト座標系のＹ軸に対する、人の顔または体の方向を指す。顔または体を前後に上下させると、チルト角は変化する。
【００２２】
以下の説明において、「パン角（pan angle）」という用語は、撮像装置によってキャプチャされた画像上に重ねられた、３次元デカルト座標系のＺ軸に対する、人の顔または体の方向を指す。顔または体を横向きに回転すると、パン角は変化する。
【００２３】
図１は、群集の中の個人を識別する方法を例示するフローチャート１００を示す。ステップ１０２で、複数の群集観察画像が、複数の撮像装置を用いてキャプチャされる。ステップ１０４で、キャプチャされた各画像において人の顔の輪郭内で基準点（reference point）が選択される。その基準点は、画像内の人の顔の輪郭上の顔の特徴に基づいて選択される。ステップ１０６で、その画像内の人によって表された姿勢（posture）に関連する、１つまたは複数の角度測定値（angular measurements）を取得するために、その画像が処理される。ステップ１０８で、基準点に対する、人の所定の身体部位（body point）の位置データ（location data）が、上記の取得された角度測定値に基づいて、抽出される。
【００２４】
ステップ１０２で、複数の群集観察画像が、複数の撮像装置を用いてキャプチャされる。一実施形態では、複数の撮像装置は、公共を監視するために公共エリアに設置される閉回路テレビ（ＣＣＴＶｓ：closed-circuit televisions）である。通常、ＣＣＴＶによってキャプチャされたデジタル画像は、監視の目的で使用できる高解像度の画像である。ＣＣＴＶによってキャプチャされた群衆観察画像は、１人以上の人の写真を含む。ＣＣＴＶは通常、銀行、公共の集会所、交通ジャンクションなどのセキュリティが必要な場所に設置される。ＣＣＴＶによってキャプチャされた画像は、画像処理のためにコンピュータモジュールに送信される。
【００２５】
ＣＣＴＶはカメラシーンのビデオを記録するビデオカメラであってもよい。記録されたビデオは、さらなる分析に使用されるデジタル画像を生成するために、コンピュータモジュールに送信されてもよい。一実施形態では、ＣＣＴＶによってキャプチャされたデジタル画像は、リアルタイムで分析される。これは、有利には、ＣＣＴＶによってキャプチャされた画像の動的分析と、個人を追跡するプロセスにおいて取られるタイムリーなアクションとを可能にする。画像の分析は、コンピュータデータベースから検索された画像の処理も含むことができることは理解されるであろう。
【００２６】
ステップ１０４で、画像における人の顔の輪郭内の基準点が選択される。具体的には、コンピュータモジュールは、画像内の人の顔の特徴を識別するために、画像を処理する。顔の特徴は、顔の目、耳、鼻、唇などの、顔の特徴的な要素を含む。その特徴的な要素に基づいて、所定の条件を満たす基準点が選択される。例えば、コンピュータモジュールは、１つ以上の顔の特徴から離れた距離にある点を、基準点として選択するように構成される。別の例では、コンピュータモジュールは、顔の特徴の１つを、基準点として単に選択するように構成されている。一実施形態では、基準点は、人の両方の目の間の中点、人の目の一方、人の鼻、人の唇、人の両方の耳の間の中点、および、人の耳の一つのうちから選択される、１つまたは複数である。
【００２７】
ステップ１０６で、その画像において人によって表された姿勢に関連する１つまたは複数の角度測定値を取得するために、その画像が処理される。その姿勢は、人の顔および／又は体の方向（orientation）を含む。角度測定値は、その画像における人の顔および／又は体の向きを表す角度（angles）である。人は、歩いたり座ったりするときに異なる姿勢をとることがあります。また、ＣＣＴＶは、ＣＣＴＶが地上の高所に取り付けられているため、或る角度で人の写真をキャプチャする場合がある。したがって、ＣＣＴＶによってキャプチャされた画像は、顔および体がＣＣＴＶに直接向いている、人の写真を含んでいない可能性がある。複数の画像における顔および／または体の向きが考慮されない場合、それらの画像の画像データの比較から生成された結果は、正確ではないであろう。
【００２８】
一実施形態では、コンピュータモジュールは、顔のロール角、顔のパン角、および顔のチルト角を含む、顔の関連する複数の角度測定値を取得するために、人の顔の方向を決定するように構成される。たとえば、コンピュータモジュールは、画像における人の顔の特徴を検出する。顔の複数の特徴の相対位置（relative positions）は、顔の向きに関連付けられた複数の角度測定値を取得するために用いられる。
【００２９】
さらなる実施形態では、コンピュータモジュールは、体のロール角、体のパン角、および体のチルト角を含む、体の関連する複数の角度測定値を取得するために、人の体の方向を決定するように構成される。たとえば、コンピュータモジュールは、画像における人の（肩、腰、手足などの）複数の身体部分（body parts）を検出する。複数の身体部分の相対位置は、体の向きに関連する複数の角度測定値を取得するために用いられる。
【００３０】
上記の所定の身体部位（body point）を決定するために、顔および体の両方の方向に関連する複数の角度測定値が、コンピュータモジュールによって一緒に用いられ得ることが理解されよう。顔の方向および／または体の方向に関連する複数の角度測定値を考慮することにより、コンピュータモジュールは、その画像における所定の身体部位および領域の正確な位置を有利に抽出することができる。言い換えれば、ＣＣＴＶによってキャプチャされた複数の画像について、身体領域（body region）の同じ部分が識別され得る。その結果、画像における所定の身体領域の比較に基づいて個人を識別する方法は、より正確な結果を有利に生成することができる。
【００３１】
ステップ１０８で、上記の基準点に対する上記の所定の身体部位の位置データが、取得された複数の角度測定値に基づいて抽出される。一実施形態では、デカルト座標系が画像上にオーバーレイされる。基準点は、デカルト座標系の座標（ｘｒ，ｙｒ）を有している。所定の身体部位の位置データを抽出するステップは、基準点の座標に対する所定の身体部位の座標（ｘｐ，ｙｐ）を計算することを含む。
【００３２】
所定の身体部位の座標の計算は、顔の方向および／または体の方向に関連する複数の角度測定値を考慮に入れる。具体的には、調整座標（ｘθ，ｙθ）を決定するために、三角関数が、角度測定値θに適用される。言い換えると、上記の調整座標（adjustment coordinates）は、変数として角度測定値を含む１つ又は複数の三角関数の式を用いて、各画像において算出され得る。調整座標は、所定の身体部位の座標を取得するために用いられる。ここで、所定の身体部位の座標（ｘｐ，ｙｐ）は、（ｘｒ＋ｘθ，ｙｒ＋ｙθ）である。上記の三角関数の例は、図２−６に関して以下でさらに詳細に説明される。
【００３３】
所定の身体部位の座標を決定すると、抽出された位置データに基づいて、上記の所定の身体領域が画像から切り取られる。例えば、所定の身体領域は、角の１つが上記の所定の身体部位の座標である、単位正方形（unit square）である。複数のＣＣＴＶによってキャプチャされた複数の画像から切り取られた所定の身体領域の画像データが比較される。コンピュータモジュールは、画像データの比較に基づいて、複数の画像における複数の人物が同じ人物であるかどうかを決定する。次に、複数の画像をキャプチャした複数のＣＣＴＶの場所に基づいて、個人の場所が決定され得る。
【００３４】
図２は、例示的な実施形態による、顔が３つの異なるロール角にある人の正面図を示す複数の画像２００を示す。
【００３５】
中央の第１の画像は、顔を立てた状態（upright manner）（顔のロール角θｒは０°である）で立っている人を示している。左の第２の画像は、画像を見る人の右側または左側に頭を横に傾けた（顔のロール角θｒは０°よりも大きい）人を示している。右側の第３の画像は、画像を見る人の左側または右側に頭を横に傾けた（顔のロール角θｒは０°よりも小さい）人を示している。これらの画像２００では、顔のパン角およびチルト角は観察されない。デカルト座標系は、各画像の左上隅に原点を含み、この原点は、右がプラス方向であるＸ軸および下がプラス方向であるＹ軸を有している。
【００３６】
一例では、両目の間の距離は、ｄ単位（d unit）であり、両目の中点と下頸部（lower neck）との間の距離は、３．５ｄ単位である、と仮定される。所定の身体部位（ｘｐ，ｙｐ）は、人の下頸部の真下のｄ単位の距離にある。
【００３７】
この例では、両目の間の中点が基準点として選択される。基準点の座標は、（ｘｒ，ｙｒ）である。画像２００は、顔のロール角θｒを決定するために、処理される。続いて、所定の身体部位の座標（ｘｐ，ｙｐ）が、次の式を用いて、各画像において算出される。
(xp, yp) = (xr + [3.5d * sin θr], yr + d + [3.5d * cos θr])
【００３８】
所定の身体領域２０２は、各画像から切り取られる。この例では、所定の身体領域２０２は、正方形であり、この正方形の左上の角は、上記の所定の身体部位である。複数の画像から切り取られた複数の所定の身体領域２０２の画像データは、その複数の画像における複数の人物が同じ人物であるかどうかを判定するために、比較される。
【００３９】
図３は、例示的な実施形態による、顔が３つの異なるパン角にある人の正面図を示す複数の画像３００を示す。
【００４０】
中央の第１の画像は、顔を立てた状態（顔のパン角θｐは、０°である）で立っている人を示している。右の第２の画像は、画像を見る人の左側または右側に頭を横向きに回転させた（顔のパン角θｐは、０°よりも大きい）人を示している。左の第３の画像は、画像を見る人の右側または左側に頭を横向きに回転させた（顔のパン角度θｐは、０°よりも小さい）人を示している。これらの複数の画像３００では、顔のロール角およびチルト角は、観察されない。デカルト座標系は、各画像の左上隅に原点を含み、この原点は、右がプラス方向であるＸ軸および下がプラス方向であるＹ軸を有している。
【００４１】
一例では、両目の間の距離は、ｄ単位（d unit）であり、頭の前後の距離は、１．５ｄ単位である、と仮定されている。所定の身体部位（ｘｐ，ｙｐ）は、人の下頸部の真下のｄ単位の距離にある。
【００４２】
この例では、両目の間の中点が基準点として選択される。基準点の座標は、（ｘｒ，ｙｒ）である。画像３００は、顔のパン角θｐを決定するために、処理される。続いて、所定の身体部位の座標（ｘｐ，ｙｐ）が、次の式を用いて、各画像において算出される。
(xp, yp) = (xr - [1.5d * sin θp], yr + 3.5d + d)
【００４３】
所定の身体領域３０２は、各画像から切り取られる。この例では、所定の身体領域３０２は、正方形であり、この正方形の左上の角は、上記の所定の身体部位である。複数の画像から切り取られた複数の所定の身体領域３０２の画像データは、その複数の画像における複数の人物が同じ人物であるかどうかを判定するために、比較される。
【００４４】
図４は、例示的な実施形態による、顔が３つの異なるチルト角にある人の正面図を示す複数の画像４００を示す。
【００４５】
中央の第１の画像は、顔を立てた状態（顔のチルト角θｔは、０°である）で立っている人を示している。右の第２の画像は、頭を上げた状態（顔のチルト角θｔは、０°よりも小さい）の人を示している。左の第３の画像は、頭を下げた状態（顔のチルト角θｔは、０°よりも大きい）の人を示している。これらの複数の画像４００では、顔のロール角およびパン角は、観察されない。デカルト座標系は、各画像の左上隅に原点を含み、この原点は、右がプラス方向であるＸ軸および下がプラス方向であるＹ軸を有している。
【００４６】
一例では、両目の間の距離は、ｄ単位（d unit）であり、両目の中点と下頸部（lower neck）との間の距離は、３．５ｄ単位である、と仮定される。所定の身体部位（ｘｐ，ｙｐ）は、人の下頸部の真下のｄ単位の距離にある。
【００４７】
この例では、両目の間の中点が基準点として選択される。基準点の座標は、（ｘｒ，ｙｒ）である。画像４００は、顔のチルト角θｔを決定するために、処理される。続いて、所定の身体部位の座標（ｘｐ，ｙｐ）が、次の式を用いて、各画像において算出される。
(xp, yp) = (xr , yr + 3.5d * cos θt + d)
【００４８】
所定の身体領域４０２は、各画像から切り取られる。この例では、所定の身体領域４０２は、正方形であり、この正方形の左上の角は、上記の所定の身体部位である。複数の画像から切り取られた複数の所定の身体領域４０２の画像データは、その複数の画像における複数の人物が同じ人物であるかどうかを決定するために、比較される。
【００４９】
顔のロール角、パン角、およびチルト角が決定されてもよいことに留意されたい。所定の身体部位の座標（ｘｐ，ｙｐ）が、次の式を用いて算出されてもよい。
(xp, yp) = (xr + 3.5d * sin θr - 1.5d * sin θp, yr + 3.5d * cos θr + 3.5d * cos θt + d)
【００５０】
図５は、例示的な実施形態による、体が或るロール角にある人の正面図を示す画像５００を示す。具体的には、その画像は、画像を見る人の左側または右側に体が傾いた人を示している。この方向では、体のロール角αｒは、０°よりも小さい。デカルト座標系は、各画像の左上隅に原点を含み、この原点は、右がプラス方向であるＸ軸および下がプラス方向であるＹ軸を有している。
【００５１】
一例では、両目の間の距離は、ｄ単位（d unit）であり、両目の中点と下頸部（lower neck）との間の距離は、３．５ｄ単位である、と仮定される。所定の身体部位（ｘｐ，ｙｐ）は、人の下頸部の真下のｄ単位の距離にある。
【００５２】
この例では、両目の間の中点が基準点として選択される。基準点の座標は、（ｘｒ，ｙｒ）である。画像５００は、体のロール角αｒを決定するために、処理される。続いて、所定の身体部位の座標（ｘｐ，ｙｐ）が、次の式を用いて算出される。
(xp, yp) = (xr + 4.5d * sin αr , yr + 4.5d * cos αr)
【００５３】
図６は、別の例示的な実施形態による、体が或るロール角にある人の正面図を示す画像６００を示す。具体的には、その画像は、画像を見る人の左側または右側に体が傾き（体のロール角αｒは、０°より小さい）、且つ、その画像において片目だけが見えるように顔が左横向きに回転した、人を示している。言い換えると、顔のパン角は、０°よりも大きい。デカルト座標系は、各画像の左上隅に原点を含み、この原点は、右がプラス方向であるＸ軸および下がプラス方向であるＹ軸を有している。
【００５４】
この例では、画像において見える目が座標（ｘｒ，ｙｒ）を持つ基準点として選択されている。図５に関して説明した上記の式は、図６のこの例の所定の身体部位の座標（ｘｐ，ｙｐ）を算出するために用いられ得る。
【００５５】
図７は、以下で互換的にコンピュータシステム７００と呼ばれる例示的なコンピューティングデバイス７００を示す。１つまたは複数のそのようなコンピューティングデバイス７００は、群集の中の個人を識別するために用いられ得る。例示的なコンピューティングデバイス７００は、図１に示される方法１００を実装するために用いられ得る。コンピューティングデバイス７００の以下の説明は、例としてのみ提供され、限定することを意図しない。
【００５６】
図７に示すように、例示的なコンピューティングデバイス７００は、複数のソフトウェアルーチンを実行するためのプロセッサ７０７を含む。明確にするために単一のプロセッサが示されているが、コンピューティングデバイス７００は、マルチプロセッサシステムを含んでいてもよい。プロセッサ７０７は、コンピューティングデバイス７００の他の構成要素と通信するための通信インフラストラクチャ７０６に接続される。通信インフラストラクチャ７０６は、たとえば、通信バス、クロスバー、またはネットワークを含み得る。
【００５７】
コンピューティングデバイス７００は、ランダムアクセスメモリ（ＲＡＭ）などのメインメモリ７０８と、二次メモリ（secondary memory）７１０とをさらに含む。二次メモリ７１０は、たとえば、ストレージドライブ７１２および／又はリムーバブルストレージドライブ７１７を含んでいてもよい。ストレージドライブ７１２は、ハードディスクドライブ、ソリッドステートドライブ、又はハイブリッドドライブであってもよい。リムーバブルストレージドライブ７１７は、磁気テープドライブ、光ディスクドライブ、（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、又は、メモリカードのような）ソリッドステートストレージドライブなどを含んでいてもよい。リムーバブルストレージドライブ７１７は、周知の方法で、リムーバブルストレージメディア７７７からの読み取りおよび／又はそこへの書き込みを行う。リムーバブルストレージメディア７７７は、磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含んでいてもよく、リムーバブル記憶ドライブ７１７によって読み書きされる。関連技術の当業者に理解されるように、リムーバブルストレージメディア７７７は、コンピュータ実行可能プログラムコード命令および／又はデータが記憶されている、コンピュータ可読記憶媒体を含む。
【００５８】
代替の実装では、二次メモリ７１０は、コンピュータプログラム又は他の命令がコンピューティングデバイス７００にロードされることを可能にする、他の同様の手段を追加または代替として含み得る。このような手段は、例えば、リムーバブルストレージユニット７２２およびインターフェース７５０を含み得る。リムーバブルストレージユニット７２２およびインターフェース７５０の例は、（ビデオゲームコンソールデバイスで見られるような）プログラムカートリッジおよびカートリッジインターフェース、（EPROM又はPROMなどの）リムーバブルメモリチップおよび関連するソケット、（USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、又はメモリカードなどの）リムーバブルソリッドステートストレージドライブ、並びに、ソフトウェアおよびデータをリムーバブルストレージユニット７２２からコンピュータシステム７００に転送できるようにする他のリムーバブルストレージユニット７２２およびインターフェース７５０を含む。
【００５９】
コンピューティングデバイス７００はまた、少なくとも１つの通信インターフェース７２７を含む。通信インターフェース７２７は、ソフトウェアおよびデータが通信パス７２６を介してコンピューティングデバイス７００と外部デバイスとの間で転送される、ことを可能にする。本開示の種々の実施形態において、通信インターフェース７２７は、コンピューティングデバイス７００と、パブリックデータ通信ネットワークまたはプライベートデータ通信ネットワークなどのデータ通信ネットワークとの間で、データが転送される、ことを可能にする。通信インターフェース７２７は、相互接続されたコンピュータネットワークの一部を形成する複数の異なるコンピューティングデバイス７００の間でデータを交換するために、用いられてもよい。通信インターフェース７２７の例は、モデム、（イーサネットカードなどの）ネットワークインターフェース、（シリアル、パラレル、プリンター、ＧＰＩＢ、ＩＥＥＥ１３９４、ＲＪ４５、ＵＳＢなどの）通信ポート、関連する回路を備えたアンテナなどを含んでいてもよい。通信インターフェース７２７は、有線であっても無線であってもよい。通信インターフェース７２７を介して転送されるソフトウェアおよびデータは、電子、電磁気、光学の信号形態、又は、通信インターフェース７２７によって受信可能な他の信号形態である。これらの信号は、通信パス７２６を介してその通信インターフェースに提供される。
【００６０】
図７に示すように、コンピューティングデバイス７００は、ディスプレイインターフェース７０２およびオーディオインターフェース７５２をさらに含む。ディスプレイインターフェース７０２は、関連するディスプレイ７５０に画像を表示するための操作を実行する。オーディオインターフェース７５２は、関連するスピーカー７５７を介してオーディオコンテンツを再生するための操作を実行する。
【００６１】
本明細書で使用する場合、「コンピュータプログラムプロダクト」という用語は、部分的に、リムーバブルストレージメディア７７７、リムーバブルストレージユニット７２２、ストレージドライブ７１２にインストールされたハードディスク、又は、（無線リンク又はケーブルである）通信パス７２６を介して通信インターフェース７２７にソフトウェアを運ぶキャリア波（carrier wave）を差してもよい。コンピュータ可読記録媒体は、記録された命令および／またはデータを実行および／または処理のためにコンピューティングデバイス７００に提供する、任意の非一時的で不揮発性の有形記憶媒体（non-transitory, non-volatile tangible storage medium）を指す。そのような記憶媒体の例は、コンピューティングデバイス７００の内部か外部かに関係なく、磁気テープ、CD-ROM、DVD、ブルーレイディスク、ハードディスクドライブ、ＲＯＭ又は集積回路、（USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、又はメモリカードなどの）ソリッドステートストレージドライブ、ハイブリッドドライブ、光磁気ディスク、又は、PCMCIAカードなどのコンピュータ可読カードを含む。コンピューティングデバイス７００へのソフトウェア、アプリケーションプログラム、命令、および／又はデータの提供にも参加し得る、一時的または非有形のコンピュータ可読伝送媒体の例は、別のコンピュータ又はネットワーク化されたデバイスへのネットワーク接続だけでなく、無線または赤外線伝送チャネル（radio or infra-red transmission channels）と、電子メールの送信およびWebサイトなどに記録された情報などを含むインターネット又はイントラネットとを含む。
【００６２】
コンピュータプログラム（コンピュータプログラムコードとも呼ばれる）は、メインメモリ７０８および／または二次メモリ７１０に格納される。コンピュータプログラムは、通信インターフェース７２７を介して受信することもできる。そのようなコンピュータプログラムは、実行されると、コンピューティングデバイス７００が本明細書で論じられる実施形態の１つ以上の特徴を実行することを可能にする。様々な実施形態では、コンピュータプログラムは、実行されると、プロセッサ７０７が上記の実施形態の特徴を実行することを可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム７００のコントローラを表す。
【００６３】
ソフトウェアは、コンピュータプログラムプロダクトに格納され、リムーバブルストレージドライブ７１７、ストレージドライブ７１２、またはインターフェース７５０を用いてコンピューティングデバイス７００にロードされ得る。コンピュータプログラムプロダクトは、非一時的なコンピュータ可読媒体であってもよい。あるいは、コンピュータプログラムプロダクトは、通信パス７２６を介してコンピュータシステム７００にダウンロードされてもよい。ソフトウェアは、プロセッサ７０７によって実行されると、コンピューティングデバイス７００に、本明細書に記載の実施形態の機能を実行させる。
【００６４】
図７の実施形態は単に例として提示されていることを理解されたい。したがって、いくつかの実施形態では、コンピューティングデバイス７００の１つまたは複数の機能を省くことができる。また、いくつかの実施形態では、コンピューティングデバイス７００の１つまたは複数の機能を一緒に組み合わせることができる。さらに、いくつかの実施形態では、コンピューティングデバイス７００の１つまたは複数の機能を１つまたは複数の構成要素に分割することができる。
【００６５】
コンピューティングデバイス７００が群集の中の個人を識別するように構成されるとき、コンピューティングシステム７００は、実行されるとコンピューティングシステム７００にステップを実行させるアプリケーションを記憶した非一時的なコンピュータ可読媒体を有する。上記のステップは、複数の撮像装置を用いて複数の群衆観察画像をキャプチャすることと、各画像について、画像における人の顔の輪郭内の基準点を、人の顔の輪郭上の顔の特徴に基づいて選択することと、画像における人の姿勢に関連する１つ又は複数の角度測定値を取得するために、画像を処理することと、取得された角度測定値に基づいて、基準点に対する人の所定の身体部位の位置データを抽出することとを含む。
【００６６】
当業者に理解されるように、特定の複数の実施形態に示される本発明に対して、広く説明された本発明の思想又はスコープから逸脱することなく、多数の変更および／または修正が行われてもよい。したがって、本実施形態は、あらゆる点で例示的であり、限定的ではないと見なされるべきである。
【００６７】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６８】
（付記１）
群衆の中の個人を識別するための方法であって、
複数の撮像装置を用いて複数の群衆観察画像を取得すること、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択すること、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理すること、および、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出すること、
を含む方法。
（付記２）
付記１記載の方法であって、
前記位置データは、前記群衆観察画像に重なるデカルト座標系における位置座標を含み、
前記所定の身体部位の位置データを抽出することは、前記基準点の座標に対する前記位置座標を算出することを含む、
方法。
（付記３）
付記１又は２に記載の方法であって、
前記姿勢は、前記人の顔の方向を含み、
前記角度測定値は、前記顔のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
（付記４）
付記１から３のいずれか１項に記載の方法であって、
前記姿勢は、前記人の体の方向を含み、
前記角度測定値は、前記体のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
（付記５）
付記１から４のいずれか１項に記載の方法であって、
前記基準点は、前記人の両目の間の中点、前記人の両目のうちの一方、前記人の鼻、前記人の唇、前記人の両耳の間の中点、前記人の両耳のうちの一方、のうちの少なくとも１つを含む、
方法。
（付記６）
付記１から５のいずれか１項に記載の方法であって、
前記抽出された位置データに基づいて、前記群衆観察画像から所定の身体領域を切り取ることを更に含む、
方法。
（付記７）
付記６記載の方法であって、
前記複数の撮像装置によって取得された前記複数の群衆観察画像から切り取られた前記所定の身体領域の画像データを比較すること、および、
前記画像データの比較結果に基づいて、前記個人を識別すること、
を更に含む、方法。
（付記８）
付記１から７のいずれか１項に記載の方法であって、
前記複数の群衆観察画像は、リアルタイム画像である、
方法。
（付記９）
群衆の中の個人を識別するためのシステムであって、
前記システムは、
複数の群衆観察画像を取得する複数の撮像装置と、
前記複数の撮像装置と通信するコンピュータモジュールと、
を含み、
前記コンピュータモジュールは、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択し、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理し、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出する、
システム。
（付記１０）
付記９記載のシステムであって、
前記位置データは、前記群衆観察画像に重なるデカルト座標系における位置座標を含み、
前記コンピュータモジュールは、前記所定の身体部位の位置データを抽出するために、前記基準点の座標に対する前記位置座標を算出する、
システム。
（付記１１）
付記９又は１０に記載のシステムであって、
前記姿勢は、前記人の顔の方向を含み、
前記角度測定値は、前記顔のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
システム。
（付記１２）
付記９から１１のいずれか１項に記載のシステムであって、
前記姿勢は、前記人の体の方向を含み、
前記角度測定値は、前記体のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
システム。
（付記１３）
付記９から１２のいずれか１項に記載のシステムであって、
前記基準点は、前記人の両目の間の中点、前記人の両目のうちの一方、前記人の鼻、前記人の唇、前記人の両耳の間の中点、前記人の両耳のうちの一方、のうちの少なくとも１つを含む、
システム。
（付記１４）
付記９から１３のいずれか１項に記載のシステムであって、
前記コンピュータモジュールは、前記抽出された位置データに基づいて、前記群衆観察画像から所定の身体領域を切り取る、
システム。
（付記１５）
付記１４記載のシステムであって、
前記コンピュータモジュールは、
前記複数の撮像装置によって取得された前記複数の群衆観察画像から切り取られた前記所定の身体領域の画像データを比較し、
前記画像データの比較結果に基づいて、前記個人を識別する、
システム。
（付記１６）
付記９から１５のいずれか１項に記載のシステムであって、
前記複数の群衆観察画像は、リアルタイム画像である、
システム。
【００６９】
この出願は、2018年3月27日に提出されたシンガポール特許出願10201802532Yに基づく優先権の利益に基づいており、その開示は参照により全体として本明細書に組み込まれる。
【図１】
2021515944.tif 000003
【図２】
2021515944.tif 000004
【図３】
2021515944.tif 000005
【図４】
2021515944.tif 000006
【図５】
2021515944.tif 000007
【図６】
2021515944.tif 000008
【図７】
2021515944.tif 000009
【手続補正書】
【提出日】令和2年9月7日(2020.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
群衆の中の個人を識別するための方法であって、
複数の撮像装置を用いて複数の群衆観察画像を取得すること、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択すること、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理すること、および、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出すること、
を含む方法。
【請求項２】
請求項１記載の方法であって、
前記位置データは、前記群衆観察画像に重なるデカルト座標系における位置座標を含み、
前記所定の身体部位の位置データを抽出することは、前記基準点の座標に対する前記位置座標を算出することを含む、
方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記姿勢は、前記人の顔の方向を含み、
前記角度測定値は、前記顔のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
【請求項４】
請求項１から３のいずれか１項に記載の方法であって、
前記姿勢は、前記人の体の方向を含み、
前記角度測定値は、前記体のロール角、パン角、およびチルト角のうちの少なくとも１つを含む、
方法。
【請求項５】
請求項１から４のいずれか１項に記載の方法であって、
前記基準点は、前記人の両目の間の中点、前記人の両目のうちの一方、前記人の鼻、前記人の唇、前記人の両耳の間の中点、前記人の両耳のうちの一方、のうちの少なくとも１つを含む、
方法。
【請求項６】
請求項１から５のいずれか１項に記載の方法であって、
前記抽出された位置データに基づいて、前記群衆観察画像から所定の身体領域を切り取ることを更に含む、
方法。
【請求項７】
請求項６記載の方法であって、
前記複数の撮像装置によって取得された前記複数の群衆観察画像から切り取られた前記所定の身体領域の画像データを比較すること、および、
前記画像データの比較結果に基づいて、前記個人を識別すること、
を更に含む、方法。
【請求項８】
請求項１から７のいずれか１項に記載の方法であって、
前記複数の群衆観察画像は、リアルタイム画像である、
方法。
【請求項９】
群衆の中の個人を識別するためのシステムであって、
前記システムは、
複数の群衆観察画像を取得する複数の撮像装置と、
前記複数の撮像装置と通信するコンピュータモジュールと、
を含み、
前記コンピュータモジュールは、
各群衆観察画像について、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択し、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理し、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出する、
システム。
【請求項１０】
群衆の中の個人を識別するための処理装置であって、
複数の撮像装置にて取得された複数の群衆観察画像のそれぞれについて、画像における人の顔の輪郭内の基準点を、前記人の顔の輪郭上の顔の特徴に基づいて選択する手段と、
前記群衆観察画像における前記人の姿勢に関連する１つ又は複数の角度測定値を取得するために、前記群衆観察画像を処理する手段と、
前記基準点に対する、前記人の所定の身体部位の位置データを、前記取得された角度測定値に基づいて抽出する手段と、
を具備する処理装置。
【国際調査報告】
2021515944.tif 000010
2021515944.tif 000011