(57)【要約】  【課題】学習用データとして取得される歩行者の撮像画像を、歩行者のプライバシーの保護を図りつつ歩行者の動きを十分に反映したものとする。  【解決手段】カメラ１１で撮像された撮像画像Ｇ１１〜Ｇ１４から、歩行者を含む所定形状の歩行者領域Ｒ１１〜Ｒ１４が部分的に切り出される。Ｒ１１〜Ｒ１４から、歩行者領域の特定の位置に歩行者の頭部が位置するように補正された歩行者領域Ｒ２１〜Ｒ２４を得る。Ｒ２１〜Ｒ２４から歩行者の頭部を除去するように補正された歩行者領域Ｒ４１〜Ｒ４４が、学習用データとして記憶、保存される。Ｒ２１〜Ｒ２４について、歩行者領域の大きさと歩行者領域内の歩行者の大きさの比を一定としつつ、歩行者領域の大きさが互いに同一となるように補正された歩行者領域Ｒ３１〜Ｒ３４を取得して、このＲ３１〜Ｒ３４から歩行者の頭部を除去したＲ４１〜Ｒ４４を取得するのが好ましい。【選択図】  図５
2017224077.tif 000002
【特許請求の範囲】
【請求項１】
歩行者の種々の状態を示す多数の歩行者画像を学習用データとして取得するための車両用歩行者画像取得装置であって、
車両に搭載され、車両周囲の撮像画像を取得するための撮像手段と、
前記撮像手段で撮像された撮像画像中に存在する歩行者を検出する歩行者検出手段と、
前記歩行者検出手段によって検出された歩行者の撮像画像中での頭部位置を検出する頭部位置検出手段と、
前記撮像画像から、歩行者を含む所定形状の歩行者領域を、該歩行者領域の特定の位置に歩行者の頭部が位置するように決定する歩行者領域決定手段と、
前記歩行者領域決定手段によって決定された歩行者領域から、歩行者の頭部を除去した状態の歩行者領域に補正する第１歩行者領域補正手段と、
前記第１歩行者領域補正手段で補正された後の歩行者領域を、前記学習用データとして記憶、保存する記憶手段と、
を備えていることを特徴とする車両用歩行者画像取得装置。
【請求項２】
請求項１において、
歩行者を連続して撮像した複数の撮像画像に基づいて前記歩行者領域決定手段で決定される複数の前記歩行者領域について、該歩行者領域の大きさと該歩行者領域内の歩行者の大きさとの比を一定としつつ、該歩行者領域の大きさが互いに同一となるように補正された複数の歩行者領域を決定する第２歩行者領域補正手段をさらに備え、
前記第１歩行者領域補正手段による補正は、前記第２歩行者領域補正手段によって補正された後の歩行者領域について行われる、
ことを特徴とする車両用歩行者画像取得装置。
【請求項３】
請求項１または請求項２において、
前記歩行者領域が、矩形形状とされている、ことを特徴とする車両用歩行者画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用歩行者画像取得装置に関するものである。
【背景技術】
【０００２】
車両周囲に存在する歩行者の動きを検出することは、安全対策の上で好ましいものとなる。特に最近では、撮像手段の高機能化、数値演算処理装置の高速化が進んだことにより、機械学習を活用した高度な画像認識の機能を安価に提供可能となっている。機械学習を用いた歩行者の動きの予測を正確に行うために、歩行者の画像とその動きとの関係を対応づけた大量のデータが、学習用データ（データベース）として記憶、保存されることになる（特許文献１参照）。
【０００３】
一方、上記学習用データを得るために多数の歩行者の撮像画像を取得する際に、被写体としての歩行者プライバシー保護の観点から、人混みと判断された場合には撮影を制限することが提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１１８７４１号公報
【特許文献２】特開２０１５−１４２３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
学習用データ作成のために撮影される歩行者のプライバシー保護のために、例えば、撮影した画像から歩行者の頭部をぼかしたり除去した後の画像を、学習用データとして記憶、保存することが考えられる。しかしながら、歩行者の頭部を単にぼかしたり除去した画像では、頭部の動きが歩行者の動きを総合的によく反映したものとなることから、学習用データを用いた機械学習による歩行者の動きの予測に誤差を生じやすいものとなる。
【０００６】
本発明は以上のような事情を勘案してなされたもので、その目的は、学習用データとして取得される歩行者の撮像画像が、歩行者のプライバシーの保護を図りつつ歩行者の動きを十分に反映したものとなるようにした車両用歩行者画像取得装置を提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
歩行者の種々の状態を示す多数の歩行者画像を学習用データとして取得するための車両用歩行者画像取得装置であって、
車両に搭載され、車両周囲の撮像画像を取得するための撮像手段と、
前記撮像手段で撮像された撮像画像中に存在する歩行者を検出する歩行者検出手段と、
前記歩行者検出手段によって検出された歩行者の撮像画像中での頭部位置を検出する頭部位置検出手段と、
前記撮像画像から、歩行者を含む所定形状の歩行者領域を、該歩行者領域の特定の位置に歩行者の頭部が位置するように決定する歩行者領域決定手段と、
前記歩行者領域決定手段によって決定された歩行者領域から、歩行者の頭部を除去した状態の歩行者領域に補正する第１歩行者領域補正手段と、
前記第１歩行者領域補正手段で補正された後の歩行者領域を、前記学習用データとして記憶、保存する記憶手段と、
を備えているようにしてある。
【０００８】
上記解決手法によれば、記憶、保存される歩行者の画像は頭部が除去されたものなので、撮像された歩行者のプライバシーが十分に保護されるものとなる。また、記憶、保存される頭部が除去された画像は、歩行者の頭部に相当する位置が歩行者領域の特定位置という一定の位置とされるので、連続する複数の歩行者の画像中における歩行者周囲の背景の動きがそのまま歩行者の動きとして十分に（忠実に）反映したものとなる。勿論、頭部以外の歩行者の動き（特に足の動き）は、記憶、保存される画像中に反映されたものとなる。
【０００９】
上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
歩行者を連続して撮像した複数の撮像画像に基づいて前記歩行者領域決定手段で決定される複数の前記歩行者領域について、該歩行者領域の大きさと該歩行者領域内の歩行者の大きさとの比を一定としつつ、該歩行者領域の大きさが互いに同一となるように補正された複数の歩行者領域を決定する第２歩行者領域補正手段をさらに備え、
前記第１歩行者領域補正手段による補正は、前記第２歩行者領域補正手段によって補正された後の歩行者領域について行われる、
ようにしてある（請求項２対応）。この場合、連続して撮像された複数の画像を一定の大きさに統一した状態で記憶、保存するので、機械学習によって歩行者の動きを予測する場合に、画像の大きさの相違による影響を排除して行うことが可能となる。
【００１０】
前記歩行者領域が、矩形形状とされている、ようにしてある（請求項３対応）。この場合、歩行者領域の設定が容易であり、かつ上下方向に伸びる歩行者の全身を小さい面積範囲でもって確実にとらえた画像とする上で、また歩行者の全周囲をまんべんなく含む画像とする上で好ましいものとなる。
【発明の効果】
【００１１】
本発明によれば、学習用データとして取得される歩行者の撮像画像を、歩行者のプライバシーの保護を図りつつ歩行者の動きを十分に反映したものとすることができる。
【図面の簡単な説明】
【００１２】
【図１】車両に搭載されたカメラによって前方の歩行者を撮影する状況を示す簡略平面図。
【図２】車両に搭載されたカメラによって取得された連続した複数の撮像画像を示す図。
【図３】図２に示す複数の撮像画像からそれぞれ、歩行者を含む矩形形状の歩行者領域を部分的に切り出した状態を示す図。
【図４】図３に示す複数の歩行者領域を、縦横比が同じとなるように補正した状態とその後に同じ大きさとなるように補正した状態とを示す図。
【図５】同じ大きさに補正された複数の歩行者領域から、歩行者の頭部を除去した状態を示す図。
【図６】本発明の制御例を示すフローチャート。
【図７】図６における歩行者領域決定のステップの詳細を示すフローチャート。
【発明を実施するための形態】
【００１３】
図１において、車両Ｖが走行車線Ｄを前方に向けて走行している状況が示される。車両Ｖの前方において、歩行者Ｗが走行車線Ｄを横断するように歩行している状況となっている。
【００１４】
車両Ｖは、歩行者の動きを予測する機械学習のために、多数の歩行者のデータを取得するものとなっている。このため、車両Ｖには、前方を撮影するカメラ１１、前方の撮影対象物までの距離や移動速度、移動方向を検出するレーダ１２が装備されている。そして、カメラ１１、レーダ１２で取得されたデータは、車両Ｖに搭載されたコントローラＵに入力される。コントローラＵは、マイクロコンピュータを利用して構成されて、後述するように、カメラ１１によって撮影された歩行者の撮像画像から、学習用データとして記憶（保存）するための画像を生成する。そして、生成された保存用のデータ（歩行者画像）は、図示を略すハードディスク等の記憶媒体に記憶される。
【００１５】
次に、カメラ１１によって撮像された歩行者Ｗの撮像画像から、最終的に学習用データとして記憶される保存用画像を作成する点について説明する。
【００１６】
まず、歩行者Ｗが走行車線Ｄを横断するように移動することから、カメラ１１は、図２に示すように、歩行者についての複数の連続した撮像画像Ｇ１１〜Ｇ１４を取得することになる。図１に示す場合、歩行者Ｗが右方に向かうように移動していることから、撮像画像中における歩行者Ｗの位置は、時間の経過と共に、撮像画像中における位置が徐々に右側へと位置されることになる。また、車両Ｖが歩行者Ｗに向けて走行していることから、後に取得された撮像画像ほど、撮像画像（のフレーム）中に占める歩行者の大きさが大きくなる。
【００１７】
図２に示す複数の連続した撮像画像Ｇ１１〜Ｇ１４から、歩行者の検出および検出された歩行者の頭部位置が検出される。検出された歩行者（の全身）を含む部分的な撮像画像が歩行者領域として切り出される。切り出された歩行者領域（の画像）が、図３においてＲ１１〜Ｒ１４として示される。歩行者領域の形状は、実施形態では、上下方向が左右方向に比して大きくされた矩形形状として設定されている。また、歩行者領域Ｒ１１〜Ｒ１４は、歩行者の他、その周囲の背景をも含むものとなる。
【００１８】
図３のように切り出された矩形形状の歩行者領域Ｒ１１〜Ｒ１４は、その縦横の比が同一となるように、かつ歩行者の頭部位置（例えば頭部の中心位置）が歩行者領域の特定の位置（特定の座標位置）となるように補正される。このようにして取得された画像は、図４の（ａ）において補正された歩行者領域Ｒ２１〜Ｒ２４として示される。
【００１９】
図４（ａ）の歩行者領域Ｒ２１〜Ｒ２４は、歩行者領域および歩行者の大きさが互いに相違するものとなっており、時間的に遅いものほど大きくなっている。このため、連続した複数の歩行者領域Ｒ２１〜Ｒ２４についてその大きさが同一となるように補正され、補正後の歩行者領域が図４（ｂ）においてＲ３１〜Ｒ３４として示される。この補正に際しては、各歩行者領域Ｒ３１〜Ｒ３４は、その縦横比が互いに同じで、かつ歩行者領域Ｒ３１〜Ｒ３４の大きさ（縦長さに横長さを乗じた面積）に対する歩行者の大きさ（面積）の比（割合）が互いに同一となるように行われる。各歩行者領域Ｒ３１〜Ｒ３４において、歩行者の頭部位置は、歩行者領域Ｒ３１〜Ｒ３４の特定の位置（特定の座標位置）に位置するように統一されている。
【００２０】
上記歩行者領域Ｒ３１〜Ｒ３４から、歩行者の頭部を除去する処理が行われる。歩行者の頭部が除去された後の歩行者領域が、図５においてＲ４１〜Ｒ４４として示される。そして、この歩行者領域Ｒ４１〜Ｒ４４が、学習用データとして記憶される。この記憶の際に、レーダ１２で取得された歩行者Ｗまでの距離、歩行者の移動速度や移動方向が対応づけられて記憶されることになる。そして、記憶される画像は、図５に示すように歩行者の頭部が存在しないものとされるので、撮影された歩行者のプライバシーが十分に保護されたものとなる。
【００２１】
ここで、少なくとも図４（ｂ）に示す連続した複数の歩行者領域においては、歩行者の頭部が歩行者領域の特定の位置に位置づけられる。このことは、連続した複数の歩行者領域における歩行者の背景が、歩行者の動きに対応して移動していることを示すことになる。すなわち、歩行者の左方への移動が、背景の右方への移動として出現される。歩行者の右方への移動が、背景の左方への移動として出現される。歩行者の上方への移動が、背景の下方への移動として出現される。歩行者の下方への移動が、背景の上方への移動として出現される。勿論、歩行者の頭部以外の動き（特に足先）も、歩行者そのものの動きの変化として出現されることになる。このように、複数の連続した画像において、歩行者領域における頭部位置を特定の位置に統一することにより、記憶される画像は、歩行者の動きを伴う（十分に反映した）ものとなる。
【００２２】
次に、コントローラＵによって、最終的に図５に示すような歩行者領域Ｒ４１〜Ｒ４４の画像を取得する制御例について、図６、図７のフローチャートを参照しつつ説明する。なお、以下の説明でＱはステップを示す。
【００２３】
まず、図６のＱ１において、カメラ１１によって撮影された撮像画像が取得される（図２Ｇ１１〜Ｇ１４の取得）。この後Ｑ２において、撮像画像中の歩行者の検出が行われる。Ｑ３では、Ｑ２の処理によって歩行者が検出されたか否かが判別される。このＱ３の判別でＮＯのときは、そのままリターンされる。
【００２４】
上記Ｑ３の判別でＹＥＳのときは、撮像画像中で検出された歩行者の頭部位置が追跡（検出）されて、連続した複数の撮像画像においてこの頭部位置が追跡される。この後、Ｑ５において、後述するように、図４（ａ）で示すような歩行者領域Ｒ２１〜Ｒ２４を取得するまでの処理が行われる。
【００２５】
Ｑ５の後、Ｑ６において、歩行者領域の補正が行われる。Ｑ６での処理は、図４の（ｂ）に示すような歩行者領域への補正と、この後の歩行者の頭部を除去する補正となる。この後、Ｑ７において、歩行者の頭部が削除された後の歩行者領域が抽出されて、学習用データとして記憶される。
【００２６】
図６におけるＱ５の詳細が、図７に示される。図７のＱ１１において、図２に示すような撮像画像Ｇ１１〜Ｇ１４について、歩行者（の全身）を含むように、矩形形状の歩行者領域の寸法が設定される（縦横比は一定とされる）。この後、Ｑ１２において、設定された歩行者領域中における歩行者の頭部位置が算出される。この後、Ｑ１３において、歩行者領域の特定の位置（特定の座標位置）に歩行者の頭部が位置するように歩行者領域の位置が算出される。この後、Ｑ１３で算出された歩行者領域が抽出される。図７での処理は、最終的に図４（ａ）の歩行者領域Ｒ２１〜Ｒ２４を取得する処理となる。
【００２７】
ここで、市販の車両に搭載されたカメラによって、前方に存在する歩行者を検出したときは、検出した歩行者がどのような動きを行っているか（行うか）を機械学習によって予測するには、例えば次のようにすればよい。まず、上記カメラによって取得された歩行者の撮像画像から、図４（ｂ）で示すＲ３１〜Ｒ３４に対応した歩行者領域の画像を生成する。そして、この生成された画像を、多数の歩行者についてのデータを記憶した前述の学習用データと照合して、今回検出した歩行者の動きを予測すればよい。学習用データは、市販の車両に搭載してもよいが、学習用データを外部の情報センターに設置して、情報センターとの通信によって、上記照合を行うこともできる（車両側では、照合すべき今回検出した歩行者の画像データのみを送信して、照合結果を受信するだけでよく、車両側の負担が軽減される）。また、市販の車両からは、図２で示す撮像画像Ｇ１１〜Ｑ１４を情報センターの送信して、情報センター側で、撮像画像Ｇ１１〜Ｇ１４から図４（ｂ）に示すＲ３１〜Ｒ３４（あるいは図５に示すＲ４１〜Ｒ４４）を生成して、学習用データと照合するようにしてもよい（車両側のさらなる負担軽減）。
【００２８】
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。歩行者領域を規定する形状は、矩形形状に限らず、例えば楕円形状等、適宜の形状を設定できる。学習用データとして記憶するデータ（歩行者領域）は、歩行者領域における歩行者の頭部位置が特定の位置に設定されていると共に歩行者の頭部が除去された状態のものであればよく、例えば図３、あるいは図４（ａ）に示すものから歩行者の頭部を削除したものとすることもできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
【産業上の利用可能性】
【００２９】
本発明は、学習用データとなる多数の歩行者の撮像画像を、歩行者のプライバシーを保護しつつ、歩行者の動きを十分に反映したものとすることができる。
【符号の説明】
【００３０】
Ｄ：走行車線
Ｗ：歩行者
Ｖ：車両
Ｕ：コントローラ
１１：カメラ
１２：レーダ
Ｇ１１〜Ｇ１４：歩行者の撮像画像
Ｒ１１〜Ｒ１４：歩行者領域
Ｒ２１〜Ｒ２４：歩行者領域（Ｒ１１〜Ｒ１４の補正後）
Ｒ３１〜Ｒ３４：歩行者領域（Ｒ２１〜Ｒ２４の補正後）
Ｒ４１〜Ｒ４４：歩行者領域（Ｒ３１〜Ｒ３４の補正後）
【図１】
2017224077.tif 000003
【図２】
2017224077.tif 000004
【図３】
2017224077.tif 000005
【図４】
2017224077.tif 000006
【図５】
2017224077.tif 000007
【図６】
2017224077.tif 000008
【図７】
2017224077.tif 000009