(57)【要約】  本発明は、シングルレンズカメラを用いたジェスチャー認識を実施するための方法並びに装置に関し、特に好ましくは、部分的に自動的に走行する車両の車載カメラにおいて採用されることができる。単眼カメラの少なくとも一枚の画像からあるヒトのジェスチャーを認識するための該方法は、以下のステップを包含している：ａ）  単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントの検出するステップｂ）  これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映しているｃ）  ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、  ｄ）  認識したジェスチャーを出力するステップ。
2020533662.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップを包含していることを特徴とする単眼カメラの少なくとも一枚の画像からあるヒトのジェスチャーを認識するための方法：
ａ）  単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントの検出するステップ
ｂ）  これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している
ｃ）  ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、
ｄ）  認識したジェスチャーを出力するステップ。
【請求項２】
一つの乃至複数の互いに関連している体の部位からグループが構成されることを特徴とする請求項１に記載の方法。
【請求項３】
一つの体の部位が複数のグループに帰属していることを特徴とする請求項２に記載の方法。
【請求項４】
グループの数Ｎが設定されることを特徴とする請求項２或いは３に記載の方法。
【請求項５】
各グループに、それぞれのグループに統合されたキーポイントの座標を基にした一つの特徴ベクトルが、割り当てられていることを特徴とする請求項２から４のうち何れか一項に記載の方法。
【請求項６】
一人のヒトの各グループの各特徴ベクトルが、クラスタ化されたポーズリストを用いて、最終特徴ベクトルに統合されることを特徴とする請求項５に記載の方法。
【請求項７】
ジェスチャーの認識が、最終特徴ベクトルの分類を用いて実施されることを特徴とする請求項６に記載の方法。
【請求項８】
骨格のような描写を基に、ヒトの視線方向の推定が実施されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項９】
ヒトの視線方向が、該単眼カメラに向けられているか否かを調べることを特徴とする請求項８に記載の方法。
【請求項１０】
ジェスチャーの認識が、予め訓練されたジェスチャー分類によって実施されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１１】
一人のヒトに割り当てられるキーポイントの数が、最多２０個であることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１２】
頭を下げ、視線が自分の手の方向に向けられているヒトが、注意散漫な交通参加者に分類されることを特徴とする請求項８から１１のうち何れか一項に記載の方法。
【請求項１３】
単眼カメラの画像からあるヒトのジェスチャーを認識するための装置であって、以下を実施できるように構成されていることを特徴とする装置：
ａ）  単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントを検出する、
ｂ）  これらのキーポイントを、骨格のようなヒトの部位の描写に連結する、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している、
ｃ）  ヒトの骨格のような描写からジェスチャーを認識する、そして、
ｄ）  認識したジェスチャーを司る出力シグナルを作成し、出力する。
【請求項１４】
単眼カメラと請求項１３に記載の装置を搭載している車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シングルレンズカメラを用いたジェスチャー認識を実施するための方法並びに装置に関し、特に好ましくは、部分的に自動的に走行する車両の車載カメラにおいて採用されることができる。
【背景技術】
【０００２】
ジェスチャーを検出する従来の技術には、例えば３Ｄカメラ「Ｋｉｎｅｃｔ」が挙げられる。既知の方法やシステム（例えば、Ｋｉｎｅｃｔなど）の多くにおいては、ジェスチャーの認識を可能にする３Ｄ情報が必要とされる。
【０００３】
文献「Ｒｅａｌｔｉｍｅ  Ｍｕｌｔｉ−Ｐｅｒｓｏｎ  ２Ｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  Ｐａｒｔ  Ａｆｆｉｎｉｔｙ  Ｆｉｅｌｄｓ  ｖｏｎ  Ｃａｏ  ｅｔ  ａｌ．」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６１１．０８０５０．ｐｄｆの２０１７／０９／１１にダウンロードしたバージョン）には、一枚の画像内の複数のヒトの２Ｄポーズ推定を実施するための方法が、開示されている。ここでは、一人のヒトに帰属する体の部位が、骨格のように互いにつなぎ合わされる。
こうすることにより、内骨格の関連要素を作成するためのキーポイント（ｋｅｙ  ｐｏｉｎｔｓ）のリストが、作成される。
【０００４】
ＤＥ  １０  ２０１４  ２０７  ８０２  Ｂ３は、道路交通における交通参加者のアクションを予測的に認識するための方法とシステムを開示している。ここでは、少なくとも一台のカメラを用いて交通参加者（例えば、歩行者など）のピクセル毎に構成された画像が捕捉され、対応する画像データが、作成される。複数のピクセルの画像データは、それぞれ、セル毎にグループ化されるが、一枚の画像は、複数のセルを包含している。一つのセル内の画像データに基づいてそれぞれ、重心が割り出される。各々のピクセルに対して、複数のセルの重心に対するそれぞれの間隔が割り出されるが、各々のピクセルと重心の座標に基づいて、一つのピクセルに帰属された特徴ベクトルが形成される。該特徴ベクトルは、少なくとも一つの基準ベクトルクラスタと比較され、その比較に基づいて、該交通参加者には、該交通参加者が実施するであろうアクションに対して典型的なポーズが、割り当てられる。この方法では、ある交通参加者のポーズを元にすれば、実際のアクションを実施する前に（例えば、横断歩道を渡るなどの）意図を認識できると想定している。このポーズ認識を基にすれば、ここでも、アクションが実施される前に、例えば、聴覚的な、及び／或いは、視覚的な警告をドライバーに対して、及び／或いは、測定技術的に捕捉された交通参加者に対して、出力する、及び／或いは、例えば、ブレーキや操舵など、車両システムに対して操縦的介入を実施するなどの対策を予め講じることが可能となる。
【０００５】
一つのポーズは、例えば、骨格のような簡略化された模式的な交通参加者、乃至、歩行者の描写に割り当てられることができる。更に、該ポーズは、それを基に交通状況を評価し、起こり得る全ての危険性を割り出し、必要に応じて、それを基にして更なる制御対策を完全に乃至部分的に自動的に実施させることもできる交通参加者が実施しそうなアクションに割り当てられることもできる。例えば、ヒトが走り始める前にとることが多い少しかがんだポーズには、道路交通においては、該ポーズが、「正面」の方向から捕捉された場合、即ち、ヒトが、車両に向かって動いている場合は、「危険」が割り当てられる。
【０００６】
このアプローチの欠点は、特徴ベクトルの生成が、煩雑であることにある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の技術に対してここで解決すべき課題は、それを基にして車両機能の制御を構築できる車内の単眼カメラの画像をベースにしたジェスチャー認識の改善である。
【０００８】
本発明のアスペクトは、例えば：
・車両に指示を与えるジェスチャー制御
例えば、交差点における警察官（右手が、右折を促している）
・自律運転している車両とコミュニケーションするための単純な２Ｄカメラを採用したジェスチャー制御
・道路交通の参加者の注意度の検証（例えば、スマートフォンに気を取られている歩行者）
【０００９】
ジェスチャー乃至ポーズ認識の目的は、あるヒトの、特に静的な、ポーズ（ジェスチャー）を評価することである。このようにすることで、例えば、あるヒトが、左腕乃至右腕を上げている、或いは、両腕を広げていることを認識できる。
【課題を解決するための手段】
【００１０】
この問題は、独立特許請求項に係る方法と装置によって解決される。
【００１１】
好ましい発展形態は、従属請求項の対象である。
【００１２】
解決のアプローチは、骨格描写を基にして様々なジェスチャーを記述し、これを分級手段に提供し、続いて、ヒトの画像において、ジェスチャーを認識すると言う事をベースにしている。
【００１３】
カメラ画像に写っているヒトの骨格描写は、特に好ましくは、意味論的に割り当てられたオブジェクト部位、例えば、ヒトの体の部位を基にしていることができる。
【００１４】
単眼カメラの少なくとも一枚の画像からあるヒトのジェスチャーを認識するための本発明に係る方法は、以下のステップを包含している：
ａ）  単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントの検出するステップ
ｂ）  これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している
ｃ）  ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、
ｄ）  認識したジェスチャーを出力するステップ。
【００１５】
キーポイントを認識し、それらを骨格に組み合わせたのち、連結された体の部位のリストが、例えば、表として、作成される。これは、完全、乃至、不完全（部分的に覆われているヒト）であることができる。即ち、体の部位が欠如している場合も有り得る。
【００１６】
骨格のような描写は、一人のヒトの個々の体の部位の相対的な位置と向きを、例えば、互いに連結されたキーポイント及びこれらの位置も含むリストとして、反映している。
【００１７】
これにより、一人のヒトの様々なキーポイントは、堅牢な描写に変換されることができる。
【００１８】
そのため様々な体の部位は、好ましくは、グループ（例えば、腕を含む上半身、左腕と頭、右腕と頭、頭のみなど）に分類される。このような冗長的な分類により、該方法は、部分的に覆われたヒト（車両の後ろにいるヒトは、上半身のみ、広告塔の後ろにいるヒトは、縦半分など）に対して非常に安定する。
【００１９】
尚、該グループ（互いに連結されたキーポイント）は、一つの乃至多数の互いに関連しあっている体の部位から構成されることが好ましい。一つのグループは、あるヒトの部分的ポーズ、乃至、あるヒトが行っているジェスチャーの一部に相当している。
【００２０】
尚、一つの体の部位が、複数のグループに帰属している、例えば、第一部分的ポーズが、頭と左腕を包含し、第二部分的ポーズが、頭と右腕を包含しているなどが好ましい。
【００２１】
グループ、乃至、部分的ポーズの数は、適宜設定自在な自由なパラメータである。
【００２２】
キーポイントのコーディングは、理想的には、例えば、ディープ・ニューラルネットワークによって、評価できるコンパクトな意味論的に解釈可能な特徴空間に書き換えられる。言い換えれば、各々のグループ乃至部分的ポーズは、一つの特徴ベクトルに分類されることができる。該特徴ベクトルは、例えば、そのグループにまとめられているキーポイントの座標に基づいている。
【００２３】
グループ乃至部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、最終的な特徴ベクトルにまとめられる。
【００２４】
このような集約の際には、例えば、ポーズリストからヒストグラムを生成する、乃至、ポーズリストの各々のクラスタ中心間の差のトータルを得ることができる。該ポーズリスト自体は、ｋＮＮクラスタリング（ｋ近傍法）、即ち、最近傍のｋ個を考慮するクラスタ化、あるいは、ＧＭＭクラスタリング、即ち、混合ガウスモデルを用いたクラスタ化などのクラスタ化法によって、作成されることができる。
【００２５】
尚、該最終特徴ベクトル（部分的ポーズの特徴ベクトルを集めたもの）は、ポーズ／ジェスチャーのクラス分類に用いられることが好ましい。
【００２６】
また、ヒトの視線方向の推定は、骨格のような描写に基づいて実施されることが好ましい。
【００２７】
更に、ヒトの視線方向が、該単眼カメラに向けられているか否かを調べることも好ましい。
【００２８】
ジェスチャーの認識は、予め学習したジェスチャー分類によって実施されることが有利である。分類方法としては、適した既知の分類方法、例えば、ＳＶＭ  （Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ）やディープ・ニューラルネットワークなどを採用することができる。
【００２９】
一人のヒトに割り当てられるキーポイントの数は、最多２０個であることが好ましい。
【００３０】
頭を下げ、視線が自分の手の方向に向けられているヒトは、注意散漫な交通参加者に分類されることが好ましい。
【００３１】
ジェスチャー認識を基に、自律車両とのコミュニケーションに用いるジェスチャー制御に応用することも可能である。車両オーナや、自律運転しているタクシーに乗客として乗ろうとしているヒトとコミュニケーションするには、そのヒトに、認識された乃至理解されたことを示すために、車両側からのフィードバックも必要となる。この様にすることで、車両とヒトとの間のインターアクションも可能になる。また、ヒトが車道を歩いており、車両との接触が迫っているという警告においても、車両からのヒトに対するフィードバックは、該車両が、該ヒトを認識し、衝突は回避できることを示すためにも、役立つであろう。
【００３２】
本発明の更なる対象は、単眼カメラの画像からヒトのジェスチャーを認識するために適した装置である。該装置は、以下を実施できるように構成されている：
ａ）  単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントを検出する、
ｂ）  これらのキーポイントを、骨格のようなヒトの部位の描写に連結する、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している、
ｃ）  ヒトの骨格のような描写からジェスチャーを認識する、そして、
ｄ）  認識したジェスチャーを司る出力シグナルを作成し、出力する。
【００３３】
該装置は、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ／  特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ  ／  フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、対応する方法ステップを実施するためのソフトウェアを包含している。
【００３４】
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
【００３５】
該装置は、特に好ましくは、単眼カメラ、例えば、車両内に配置され作動しているフロントカメラ、バックカメラ、サイドカメラなどと組み合わせて用いられる。
【００３６】
本発明は更に、単眼カメラと本発明に係る装置を備えた車両にも関する。
【図面の簡単な説明】
【００３７】
【図１】車載カメラによって撮影されたリアルなヒトの骨格描写を例示する図である。
【図２】ジェスチャー分類の方法を示す図である。
【発明を実施するための形態】
【００３８】
以下、実施例と図を詳しく説明する。
【００３９】
ここでは、ジェスチャー認識のある実施例は、二段階のアプローチを応用している：
【００４０】
１．ヒトの検出
先ず、画像内のヒトを認識する。ここでは、ヒト認識手段が、用いられる。ヒトの各々の体の部位を見つけ、これらを骨格に連結する特殊な検出器を採用することが好ましい。
【００４１】
図１は、車載カメラによって撮影されたリアルなヒトの骨格描写を例示している。車載カメラの画像からキーポイントが抽出され、キーポイントの接続が割り出される。キーポイントとは、例えば、肩、首の付け根、肘、手（首）、腰、膝、足首、口、左右の目、並びに、頭の先などである。
【００４２】
これらのキーポイントは、骨格のような描写になるように直線によって互いに連結される。例えば、ヒトの左手首と肘のキーポイントは、「左の前腕」に互いに連結し、左の肩（図においてマークされている「キーポイント」）は、左の肘と、「左の上腕」に連結される。
【００４３】
キーポイントのクラスタは、例えば、「混合ガウスモデル」を用い、ヒトの部位をフィッシャーベクトル描写とすることによって実施される。これによりフィッシャーベクトルは、各々のヒトの情報のみをコーディングする。よって、重なっているヒトは、排除される。
【００４４】
表を用いて、対応するヒトの様々な部位が、特定のジェスチャーに有利なようにアクショングループに分類される。これらの表は、学習方法によって習得することも可能である。簡単なケース（比較的少数のジェスチャーを区別する場合）において、該ポーズに明確に異なる体の部位を割り当てることができる場合、表を手作業で作成することも可能である。
【００４５】
該ヒトの視線方向は、該ヒトの頭部分のキーポイントを基にして推定されることができる。該視線方向は、下向きであり、且つ、該ヒトの右手の方向に向けられている。
【００４６】
これに基づいてジェスチャー認識手段によって、該ヒトは、おそらく、手に持っているオブジェクトを見ており、現時点において、交通には注意を払っていないことが認識される。該ヒトが、スマートフォンを見ているという憶測に基づいて、このジェスチャーは、「Ｓｍｏｍｂｉｅ」（Ｓｍａｒｔｐｈｏｎｅ−Ｚｏｍｂｉｅ）に分類される。
【００４７】
この情報は、ジェスチャー認識手段から、車両の他の制御手段に伝達される。よって、自律的に走行している車両は、走行プランを立てる際に、該歩行者が注意散漫であること考慮する、及び／或いは、危険が迫っている場合は、該歩行者に警告を発する。
【００４８】
２．ジェスチャー乃至ポーズの分類
各々のヒトに対して、特徴ベクトルが、骨格連結点（キーポイント、関節）の座標に基づいて作成される。
【００４９】
図２は、ジェスチャー分類の方法を示している：
各ヒトに対しては、従来のように、特徴ベクトルのみが用いられるのではない。その代わりに、様々な部分的ポーズを基にしたＮ個の特徴ベクトルの群が作成される。これらの部分的ポーズのうちの一つは、例えば、頭と左腕のみを包含しており、他の一つは、頭と右腕のみを包含している。部分的ポーズの数Ｎは、適宜設定自在な自由なパラメータである。
【００５０】
部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、最終的な特徴ベクトルにまとめられる。このような集約の際には、例えば、ポーズリストからヒストグラムを生成する、乃至、ポーズリストのＭ個のクラスタ中心間の差のトータルを得ることができる。該ポーズリスト自体は、クラスタ化法（ｋＮＮクラスタリング（ｋ近傍法）、即ち、最近傍のｋ個を考慮するクラスタ化、あるいは、ＧＭＭクラスタリング、即ち、混合ガウスモデルを用いたクラスタ化など）によって作成される。
【００５１】
該最終特徴ベクトル（部分的ポーズの特徴ベクトルを集めたもの）は、ポーズ／ジェスチャーのクラス分類に用いられる。ここでは、任意な分類方法、例えば、ＳＶＭ  （Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ）やディープ・ニューラルネットワークなどを採用することができる。
【００５２】
図２は、部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、如何に最終的な特徴ベクトルにまとめられるのかを例示している。
【００５３】
左側には、図１に示されているものと同様な骨格描写が示されている。実線として描かれている直線は、各々二つの対になっているキーポイント間の接続、即ち、骨格の「骨」である。人全体の骨格描写は、複数の部分的ポーズ１，  ２，  ３，  …，  Ｎに分解できるが、最初の三つの部分的ポーズは、図２において点線の長方形で示されている。部分的ポーズ１は、ここでは、例えば、ヒトの頭と左腕を包含している。部分的ポーズ２は、同様に、ヒトの頭と右腕、上半身を包含している。部分的ポーズ３は、左右の腕と、上半身、並びに、上腿を包含している。各々の部分的ポーズには、対応する特徴ベクトルが、割り当てられている。各々の特徴ベクトルは、ポーズリストの一つの（各々の）クラスタ中心１，  ２，  ３，  …，  Ｍに伝達される。ポーズリストは、最後に、ヒトのポーズ乃至ジェスチャーの分類に用いられる最終特徴ベクトルを出力する。
【００５４】
更なる実施例では、ジェスチャー認識手段によって、一連の画像から、骨格のような描写における前腕の対応する動きから、一人のヒトが、車両の周辺部において手を振っていることが認識される。カメラとジェスチャー認識手段を搭載した車両は、この例では、自律的に走行するタクシーである。このジェスチャーでは、該歩行者のジェスチャーが、タクシーに対するものか否かを判断することが重要である。ここでも、視線方向推定を考慮することが目的にかなっている。
【００５５】
そうしない場合、他の歩行者に対して手を振っているにもかかわらず、歩行者を乗車させるためにタクシーが、停車するということが起こり得る。又は、該歩行者は、前方を自律走行しているタクシーに対して手を振ったにもかかわらず、二台のタクシーが停車するということも起こり得る。
【図１】
2020533662.tif 000003
【図２】
2020533662.tif 000004
【国際調査報告】
2020533662.tif 000005
2020533662.tif 000006
2020533662.tif 000007
2020533662.tif 000008
2020533662.tif 000009
2020533662.tif 000010