(57)【要約】【課題】被写体の肖像権やプライバシーの保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる、車両用歩行者画像取得装置を提供する。【解決手段】車両用歩行者画像取得装置(1)は、車両の周辺を撮影するカメラ(2)と、撮影された車両周辺画像中に含まれる歩行者の顔領域の位置及び大きさを検出する顔領域検出部(6)と、車両周辺画像における各歩行者の顔領域内の情報に基づき、その顔領域毎に特徴量を算出する特徴量算出部(8)と、車両周辺画像における各歩行者の顔領域を非可逆変換する非可逆変換処理部(10)と、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された特徴量とを相互に関連付けて、各歩行者の顔領域を非可逆変換した車両周辺画像と共に保存する歩行者画像保存部(12)とを有する。【選択図】図１
2016126597.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺に存在する歩行者の画像を取得する車両用歩行者画像取得装置であって、
車両の周辺を撮影する撮影手段と、
上記撮影手段により撮影された車両周辺画像中に含まれる歩行者の顔領域の位置及び大きさを検出する顔領域検出手段と、
上記車両周辺画像における上記各歩行者の顔領域内の情報に基づき、その顔領域毎に特徴量を算出する特徴量算出手段と、
上記車両周辺画像における上記各歩行者の顔領域を非可逆変換する非可逆変換処理手段と、
上記車両周辺画像における上記各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された上記特徴量とを相互に関連付けて、上記各歩行者の顔領域を非可逆変換した上記車両周辺画像と共に保存する歩行者画像保存手段と、
を有することを特徴とする車両用歩行者画像取得装置。
【請求項２】
上記歩行者画像保存手段は、上記車両周辺画像における上記各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された上記特徴量とを相互に関連付けたテキストデータを、上記各歩行者の顔領域を非可逆変換した上記車両周辺画像に付与して保存する、請求項１に記載の車両用歩行者画像取得装置。
【請求項３】
更に、上記各歩行者の顔領域について算出された上記特徴量と等しい特徴量を有する等価特徴量画像を取得する等価特徴量画像取得手段を有し、
上記非可逆変換処理手段は、上記車両周辺画像における上記各歩行者の顔領域を上記等価特徴量画像に置換し、
上記歩行者画像保存手段は、上記各歩行者の顔領域を上記等価特徴量画像に置換した上記車両周辺画像を保存する、請求項１に記載の車両用歩行者画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用歩行者画像取得装置に係わり、特に、車両周辺に存在する歩行者の画像を取得する車両用歩行者画像取得装置に関する。
【背景技術】
【０００２】
従来、車両と歩行者等との事故を防止するために、車両周辺に存在する歩行者等の現在の状態を計測し、その計測結果から将来の動作等を予測し、その予測結果に基づいて車両の運転を支援したり、ドライバや歩行者等にお互いの存在を報知したりする技術が提案されている。
【０００３】
例えば、特許文献１には、歩行者の顔向きを検出し、その顔向きに基づいてその歩行者が自車両の存在を認識しているか否かを判断した結果に応じて、その歩行者に対して確保する安全距離を変更する車両用走行支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０２６７６号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したように車両周辺に存在する歩行者等の動作等を予測するためには、歩行者等の現在の状態とその状態から予測される将来の動作等との関係を明らかにする必要がある。例えば、上述したような従来の技術では、歩行者等の現在の状態と将来の動作との関係をモデル化し、実際に計測された歩行者等の現在の状態をそのモデルに当てはめることにより、将来の動作を予測することが行われている。
【０００６】
一方、近年のカメラやコンピュータの高性能化に伴い、歩行者等の現在の状態と将来の動作等との関係を機械学習により獲得することも検討されている。具体的には、計測対象となる歩行者等の状態と予測対象となるその後の動作等の識別結果とを関連付けた学習用サンプル（教師データ）を大量に（例えば１００万件）蓄積し、学習用サンプルの中から抽出した特徴量とその学習用サンプルにおける識別結果との間に存在する何らかの規則性を自動的に獲得することにより、歩行者等の現在の状態から将来の動作等を予測することが可能となる。
【０００７】
従って、機械学習を利用して歩行者等の現在の状態から将来の動作等を正確に予測できるようにするためには大量の学習用サンプルを蓄積しなければならず、例えば一般公道において不特定多数の歩行者を撮影する必要が生じるが、不特定対数の歩行者を撮影する場合には、被写体の肖像権やプライバシーの保護に配慮しなければならない。そこで、被写体の肖像権やプライバシーの保護のため、例えば撮影された画像における歩行者の顔領域にぼかし処理やモザイク処理等の非可逆処理を施した上で、その画像を保存することが考えられる。
【０００８】
しかしながら、撮影された画像における歩行者の顔領域にぼかし処理やモザイク処理のような非可逆処理を施すと、機械学習のためにその領域の画像から得られる特徴量が変化してしまうので、そのような不可逆処理を施した後の画像を学習用サンプルとして機械学習を行っても、歩行者の顔領域の特徴とその後の動作等の識別結果との関係を正確に把握することができず、その結果、予測精度が低下する可能性がある。
【０００９】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、被写体の肖像権やプライバシーの保護に配慮しつつ、元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる、車両用歩行者画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明によれば、車両周辺に存在する歩行者の画像を取得する車両用歩行者画像取得装置であって、車両の周辺を撮影する撮影手段と、撮影手段により撮影された車両周辺画像中に含まれる歩行者の顔領域の位置及び大きさを検出する顔領域検出手段と、車両周辺画像における各歩行者の顔領域内の情報に基づき、その顔領域毎に特徴量を算出する特徴量算出手段と、車両周辺画像における各歩行者の顔領域を非可逆変換する非可逆変換処理手段と、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された特徴量とを相互に関連付けて、各歩行者の顔領域を非可逆変換した車両周辺画像と共に保存する歩行者画像保存手段と、を有することを特徴とする。
このように構成された本発明によれば、歩行者画像保存手段は、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出した特徴量とを相互に関連付けて、各歩行者の顔領域を非可逆変換した車両周辺画像と共に保存するので、車両周辺画像における各歩行者の顔領域を非可逆変換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については非可逆変換前の値をそのまま利用することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【００１１】
また、本発明において、好ましくは、歩行者画像保存手段は、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された特徴量とを相互に関連付けたテキストデータを、各歩行者の顔領域を非可逆変換した車両周辺画像に付与して保存する。
このように構成された本発明においては、車両周辺画像における各歩行者の顔領域を非可逆変換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については車両周辺画像に付与されたテキストデータを参照することで容易に特定することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【００１２】
また、本発明において、好ましくは、車両用歩行者画像取得装置は、更に、各歩行者の顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像を取得する等価特徴量画像取得手段を有し、非可逆変換処理手段は、車両周辺画像における各歩行者の顔領域を等価特徴量画像に置換し、歩行者画像保存手段は、各歩行者の顔領域を等価特徴量画像に置換した車両周辺画像を保存する。
このように構成された本発明においては、歩行者画像保存手段は、各歩行者の顔領域を各顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像に置換した車両周辺画像を保存するので、車両周辺画像における各歩行者の顔領域を等価特徴量画像に置換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については等価特徴量画像により元の値を維持することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【発明の効果】
【００１３】
本発明による車両用歩行者画像取得装置によれば、被写体の肖像権やプライバシーの保護に配慮しつつ、元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態による車両用歩行者画像取得装置の電気的構成を示すブロック図である。
【図２】本発明の第１実施形態による車両用歩行者画像取得装置が実行する歩行者画像取得処理のフローチャートである。
【図３】本発明の第１実施形態による車両用歩行者画像取得装置により車両周辺画像に付与されるテキストデータを例示した表である。
【図４】本発明の第１実施形態による車両用歩行者画像取得装置が取得した画像を例示する図であり、図４（ａ）はカメラが撮影した車両周辺画像を示す図、図４（ｂ）は図４（ａ）の車両周辺画像における各歩行者の顔領域を非可逆変換した後の車両周辺画像を示す図である。
【図５】本発明の第２実施形態による車両用歩行者画像取得装置の電気的構成を示すブロック図である。
【図６】本発明の第２実施形態による車両用歩行者画像取得装置が実行する歩行者画像取得処理のフローチャートである。
【図７】本発明の第２実施形態による車両用歩行者画像取得装置のカメラが撮影した車両周辺画像における各歩行者の顔領域を等価特徴量画像に置換した後の車両周辺画像を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明の実施形態による車両用歩行者画像取得装置を説明する。
【００１６】
まず、図１により、本発明の第１実施形態による車両用歩行者画像取得装置の構成を説明する。図１は、本発明の第１実施形態による車両用歩行者画像取得装置の電気的構成を示すブロック図である。
【００１７】
図１において、符号１は車両用歩行者画像取得装置を示し、この車両用歩行者画像取得装置１は、車両の周辺を撮影するカメラ２と、カメラ２により撮影された車両周辺画像を処理する画像処理部４とを有する。
【００１８】
カメラ２は、車両前方に向けて取り付けられ、自車両の前方の走行路及びその周辺を撮影する。このカメラ２としては、車両用歩行者画像取得装置１専用のカメラ２を車両に設けてもよく、あるいは、ドライブレコーダや車両の運転支援装置用のカメラを車両用歩行者画像取得装置１のカメラ２として利用してもよい。
【００１９】
画像処理部４は、カメラ２により撮影された車両周辺画像中に含まれる歩行者の顔領域を検出する顔領域検出部６と、各歩行者の顔領域における特徴量を算出する特徴量算出部８と、車両周辺画像における各歩行者の顔領域を非可逆変換する非可逆変換処理部１０と、車両周辺画像を保存する歩行者画像保存部１２とを有する。この画像処理部４は、カメラ２と共に車両に搭載してもよく、あるいは、ネットワークを介して複数の車両のカメラ２と通信可能に接続されたサーバに設けてもよい。この画像処理部４の各構成要素は、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＯＭやＲＡＭの如き内部メモリを備えたコンピュータにより構成される。
【００２０】
次に、図２乃至図４により、本発明の実施形態による車両用歩行者画像取得装置１が実行する歩行者画像取得処理について説明する。図２は、本発明の第１実施形態による車両用歩行者画像取得装置１が実行する歩行者画像取得処理のフローチャートであり、図３は、本発明の第１実施形態による車両用歩行者画像取得装置１により車両周辺画像に付与されるテキストデータを例示した表である。また、図４は本発明の第１実施形態による車両用歩行者画像取得装置１が取得した画像を例示する図であり、図４（ａ）はカメラ２が撮影した車両周辺画像を示す図、図４（ｂ）は図４（ａ）の車両周辺画像における各歩行者の顔領域を非可逆変換した後の車両周辺画像を示す図である。
【００２１】
まず、図２に示す歩行者画像取得処理は、車両周辺に存在する歩行者の画像を取得する処理であり、例えば、車両のイグニッションがオンにされ、車両用歩行者画像取得装置１に電源が投入された場合に起動され、カメラ２が１フレームの画像を撮影する度に繰り返し実行される。
【００２２】
図２に示すように、歩行者画像取得処理が開始されると、ステップＳ１において、カメラ２は、自車両の周辺を撮影して車両周辺画像を生成する。
【００２３】
次いで、ステップＳ２において、顔領域検出部６は、既知の画像解析手法により、カメラ２により撮影された車両周辺画像の中から歩行者を抽出する。
【００２４】
次に、ステップＳ３において、顔領域検出部６は、ステップＳ２で抽出した歩行者の中から１人を選択し、その歩行者の顔領域の位置及び大きさを検出する。顔領域の位置及び大きさの検出には、例えば、Viola-Jones法等の既知の顔検出手法を用いることができる。
【００２５】
次に、ステップＳ４において、特徴量算出部８は、ステップＳ３で位置及び大きさが検出された歩行者の顔領域内の情報に基づき、その顔領域における特徴量を算出する。この特徴量としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＯＲＢ（Oriented FAST (Features from Accelerated Segment Test) and Rotated BRIEF (Binary Robust Independent Elementary Features)）特徴量、ＦＲＥＡＫ（Fast Retina Keypoint）特徴量等の特徴量を用いることができる。特徴量算出部８は、１つの顔領域について１種類の特徴量を算出しても良く、複数種類の特徴量を算出してもよい。
【００２６】
次に、ステップＳ５において、特徴量算出部８は、ステップＳ３において顔領域検出部６により検出された顔領域の位置及び大きさと、その顔領域についてステップＳ４で算出した特徴量とを相互に関連付けたテキストデータを、画像処理部４のメモリに格納する。
具体的には、特徴量算出部８は、図３に示すように、ステップＳ１において撮影した車両周辺画像のフレーム番号（図３では「０００１」等）、ステップＳ３において顔領域を検出した歩行者の歩行者ＩＤ（図３では「００１」等）、ステップＳ３において検出した顔領域の位置及び大きさを特定する情報（図３では顔領域の座標（ｘ1，ｙ1）、幅（ｗ1）及び高さ（ｈ1）等）、及び、ステップＳ４において算出した顔領域の特徴量を表すベクトル（図３では（Ｓ11、Ｓ12、Ｓ13，…）等）を、相互に関連付けて画像処理部４のメモリに格納する。
【００２７】
次に、ステップＳ６において、特徴量算出部８は、ステップＳ２で抽出した全ての歩行者について顔領域の特徴量を算出したか否かを判定する。
その結果、全ての歩行者について顔領域の特徴量を算出していない場合、ステップＳ３に戻る。以降、ステップＳ２で抽出した全ての歩行者について顔領域の特徴量を算出するまで、ステップＳ３からＳ５を繰り返す。
【００２８】
一方、ステップＳ６において、ステップＳ２で抽出した全ての歩行者について顔領域の特徴量を算出したと判定した場合、ステップＳ７に進み、非可逆変換処理部１０は、車両周辺画像における各歩行者の顔領域を非可逆変換する。
例えば、非可逆変換処理部１０は、図４（ａ）に示した車両周辺画像における各歩行者の顔領域に、図４（ｂ）に示すようにモザイク処理を施す。また、モザイク処理に代えて、塗りつぶし処理等の各種非可逆変換処理を行ってもよい。
【００２９】
次に、ステップＳ８において、歩行者画像保存部１２は、ステップＳ５において画像処理部４のメモリに格納されたテキストデータを、ステップＳ７において顔領域を非可逆変換した車両周辺画像と組み合わせて、学習用サンプルとして保存する。
このステップＳ８の後、車両用歩行者画像取得装置１は歩行者画像取得処理を終了する。
【００３０】
次に、図５乃至図７により、本発明の第２実施形態を説明する。この第２実施形態は、非可逆変換処理部１０が車両周辺画像における各歩行者の顔領域を非可逆変換する処理の内容が第１実施形態とは異なるものであり、他の構成は同一であるので、ここでは、異なる点についてのみ説明する。
図５は、本発明の第２実施形態による車両用歩行者画像取得装置１の電気的構成を示すブロック図であり、図６は、本発明の第２実施形態による車両用歩行者画像取得装置１が実行する歩行者画像取得処理のフローチャートであり、図７は、本発明の第２実施形態による車両用歩行者画像取得装置１のカメラ２が撮影した車両周辺画像における各歩行者の顔領域を等価特徴量画像に置換した後の車両周辺画像を示す図である。
【００３１】
まず、図５に示すように、本発明の第２実施形態による画像処理部４は、第１実施形態による画像処理部４と同様の構成に加えて、等価特徴量画像取得部１４を有する。この等価特徴量画像取得部１４は、歩行者の顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像を取得する。
【００３２】
次に、図６により、本発明の第２実施形態による歩行者画像取得処理を説明する。この本発明の第２実施形態による歩行者画像取得処理におけるステップＳ１１からＳ１４は、本発明の第１実施形態による歩行者画像取得処理のステップＳ１からＳ４と同様の処理である。
【００３３】
具体的には、図６に示すように、歩行者画像取得処理のステップＳ１４において、特徴量算出部８が歩行者の顔領域における特徴量を算出した後、ステップＳ１５に進み、等価特徴量画像取得部１４は、ステップＳ１４において歩行者の顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像を取得する。
例えば、様々な特徴量を有する画像を予め画像処理部４のメモリに予め格納しておく。そして、等価特徴量画像取得部１４は、ステップＳ１４において歩行者の顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像を、メモリに格納された画像の中から取得する。
【００３４】
次にステップＳ１６において、特徴量算出部８は、ステップＳ１２で抽出した全ての歩行者について顔領域の特徴量を算出したか否かを判定する。
その結果、全ての歩行者について顔領域の特徴量を算出していない場合、ステップＳ１３に戻る。以降、ステップＳ１２で抽出した全ての歩行者について顔領域の特徴量を算出するまで、ステップＳ１３からＳ１５を繰り返す。
【００３５】
一方、ステップＳ１６において、ステップＳ１２で抽出した全ての歩行者について顔領域の特徴量を算出したと判定した場合、ステップＳ１７に進み、非可逆変換処理部１０は、図７に示すように、車両周辺画像における各歩行者の顔領域を、その各歩行者についてステップＳ１５において取得した等価特徴量画像に置換する。
【００３６】
次に、ステップＳ８において、歩行者画像保存部１２は、ステップＳ１７において各歩行者の顔領域を等価特徴量画像に置換した車両周辺画像を、学習用サンプルとして保存する。
このステップＳ１８の後、車両用歩行者画像取得装置１は歩行者画像取得処理を終了する。
【００３７】
次に、上述した各実施形態の車両用歩行者画像取得装置１による作用効果を説明する。
【００３８】
まず、歩行者画像保存部１２は、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出した特徴量とを相互に関連付けて、各歩行者の顔領域を非可逆変換した車両周辺画像と共に保存するので、車両周辺画像における各歩行者の顔領域を非可逆変換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については非可逆変換前の値をそのまま利用することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【００３９】
特に、歩行者画像保存部１２は、車両周辺画像における各歩行者の顔領域の位置及び大きさを特定する情報とそれらの各顔領域について算出された特徴量とを相互に関連付けたテキストデータを、各歩行者の顔領域を非可逆変換した車両周辺画像に付与して保存するので、車両周辺画像における各歩行者の顔領域を非可逆変換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については車両周辺画像に付与されたテキストデータを参照することで容易に特定することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【００４０】
また、歩行者画像保存部１２は、各歩行者の顔領域を各顔領域について算出された特徴量と等しい特徴量を有する等価特徴量画像に置換した車両周辺画像を保存するので、車両周辺画像における各歩行者の顔領域を等価特徴量画像に置換したことにより被写体の肖像権やプライバシーの保護に配慮しつつ、各歩行者の顔領域における特徴量については等価特徴量画像により元の値を維持することができ、これにより、被写体の肖像権やプライバシーを保護に配慮しつつ元の画像と同等の精度を確保した機械学習を行うための学習用サンプルの素材として、車両周辺に存在する歩行者画像を取得することができる。
【符号の説明】
【００４１】
１  車両用歩行者画像取得装置
２  カメラ
４  画像処理部
６  顔領域検出部
８  特徴量算出部
１０  非可逆変換処理部
１２  歩行者画像保存部
１４  等価特徴量画像取得部
【図１】
2016126597.tif 000003
【図２】
2016126597.tif 000004
【図３】
2016126597.tif 000005
【図５】
2016126597.tif 000006
【図６】
2016126597.tif 000007
【図４】
2016126597.tif 000008
【図７】
2016126597.tif 000009