(57)【特許請求の範囲】
【請求項１】
取得した画像における車の特定部位を検出し、特定部位検出結果を生成する特定部位検出手段と、
前記特定部位検出結果を画像間で対応付けることにより、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する対応付け手段と、
前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する人物検出手段と、
前記人物検出結果を、前記車移動情報に基づいて統合することにより、乗車人数を判定する統合手段と
を備えた乗車人数計測装置。
【請求項２】
前記特定部位検出手段は、車の特定部位として車のタイヤを検出する
請求項１に記載の乗車人数計測装置。
【請求項３】
前記特定部位検出手段は、
前記取得した画像におけるタイヤを検出し、前記画像におけるタイヤの位置を示すタイヤ位置情報を生成するタイヤ検出手段と、
前記タイヤ位置情報に基づいて前記画像を解析し、検出されたタイヤが車の前のタイヤであるか、後ろのタイヤであるかを推定し、その推定結果を含む特定部位検出結果を生成する前後タイヤ推定手段とを含み、
前記対応付け手段は、前記特定部位検出結果に含まれる前記推定結果を用いて画像間で検出されたタイヤを対応付ける
請求項２に記載の乗車人数計測装置。
【請求項４】
前記前後タイヤ推定手段は、前記タイヤ位置情報に基づいて、検出されたタイヤの近傍のエッジ特徴または勾配特徴を求め、前記エッジ特徴または前記勾配特徴をもとに、検出された前記タイヤが車の前のタイヤであるか、後ろのタイヤであるかを示す尤度を算出し、その算出結果を含む特定部位検出結果を生成する
請求項３に記載の乗車人数計測装置。
【請求項５】
前記統合手段は、
前記画像ごとに、前記位置情報によって示される人物の位置が近い人物検出結果をグループ化し、グループ化した結果を示す人物グループ化情報を生成する人物グループ化手段と、
車移動情報と前記人物グループ化情報とに基づいて、画像における各グループが他の画像におけるどのグループと対応付くかを示すグループ対応付け情報を生成するグループ対応付け手段と、
前記グループ対応付け情報に基づいて、車の座席の列ごとに乗車している人数を判定し、各列の人数を統合して乗車人数を算出する人数算出手段とを含む
請求項１から請求項４のうちのいずれか１項に記載の乗車人数計測装置。
【請求項６】
前記特定部位検出手段は、画像の幾何歪を推定し、
前記人物検出手段は、推定した前記幾何歪に基づいて前記画像を補正し、補正後の画像から人物を検出する
請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
【請求項７】
前記特定部位検出手段は、画像の幾何歪を推定し、
前記人物検出手段は、推定した前記幾何歪に応じた人物検出器を用いて前記画像から人物を検出する
請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
【請求項８】
取得した画像における車の特定部位を検出して特定部位検出結果を生成し、
前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成し、
取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成し、
前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する
ことを特徴とする乗車人数計測方法。
【請求項９】
コンピュータに、
取得した画像における車の特定部位を検出して特定部位検出結果を生成する処理と、
前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する処理と、
取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する処理と、
前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する処理とを実行させる
乗車人数計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗車した人物の数を数える乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体等に関する。特に、車外に設置されたカメラによって撮影された画像における、乗車人数を計測する乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体に関する。
【背景技術】
【０００２】
車外に設置されたカメラによって車内を撮影し、乗車人数をカウントする方式として、例えば、非特許文献１では、フロントガラス越しに撮影された人物の画像から顔を検知することによって、車内の人物を検出する方式が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｐｈｉｌｉｐ  Ｍ．  Ｂｉｒｃｈ，  Ｒｕｐｅｒｔ  Ｃ．Ｄ．  Ｙｏｕｎｇ，  Ｆｒｅｄｅｒｉｃ  Ｃｌａｒｅｔ−Ｔｏｕｒｎｉｅｒ，  Ｃｈｒｉｓ  Ｒ．Ｃｈａｔｗｉｎ著  ”Ａｕｔｏｍａｔｅｄ  ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ  ｍｏｎｉｔｏｒｉｎｇ”，  Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，  Ｖｏｌ．  ４３，  Ｎｏ．８，  ｐｐ．１８２８−１８３２，  ２００４年８月．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、車の前方に設置したカメラによって車内を撮影する場合、運転席と助手席に乗車している人物は検出できるものの、後部座席に乗車している人物の検出は困難である。したがって、乗車人数を正確に計測することができなかった。【０００５】
そこで、本発明は、車の後部座席に着席している人物も含めて、乗車人数を正確に計測する乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様の乗車人数計測装置は、取得した画像における車の特定部位を検出し、特定部位検出結果を生成する特定部位検出手段と、前記特定部位検出結果を画像間で対応付けることにより、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する対応付け手段と、前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する人物検出手段と、前記人物検出結果を、前記車移動情報に基づいて統合することにより、乗車人数を判定する統合手段とを備える。
【０００７】
本発明の一態様の乗車人数計測方法は、取得した画像における車の特定部位を検出して特定部位検出結果を生成し、前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成し、取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成し、前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する。
【０００８】
なお同目的は、上記の各構成を有する乗車人数計測装置または乗車人数計測方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。
【発明の効果】
【０００９】
本発明によれば、後部座席に着席している人物も含めて、乗車人数を正確に計測することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明による第１の実施形態に係る乗車人数計測装置の構成を示すブロック図である。
【図２】側方から撮影する場合に、車がある速度で等速に移動したときの特定部位の座標値と時刻との関係の一例を示す説明図である。
【図３】側方から撮影するカメラが取得した画像において、人物が検出された様子を示す説明図である。
【図４】前方から撮影するカメラが取得した画像において、人物が検出された様子を示す説明図である。
【図５】特定部位検出部の構成の一例を示すブロック図である。
【図６】側方から撮影するカメラが取得した画像において、タイヤの領域が検出された様子を示す説明図である。
【図７】前後タイヤ推定部の構成の一例を示すブロック図である。
【図８】図３に示す画像におけるエッジを示す説明図である。
【図９】統合部の構成の一例を示すブロック図である。
【図１０】本発明による第２の実施形態に係る乗車人数計測装置の構成を示す説明図である。
【図１１】ローリングシャッタ方式のカメラを用いて側方から車を撮影した画像の一例を示す説明図である。
【図１２】本発明による第３の実施形態に係る乗車人数計測装置の構成を示す説明図である。
【図１３】本発明の各実施形態に係る乗車人数計測装置のハードウエア構成を例示する図である。
【発明を実施するための形態】
【００１１】
実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。
【００１２】
図１は、本発明による乗車人数計測装置の第１の実施形態の構成を示すブロック図である。図１に示すように、本実施形態における乗車人数計測装置は、画像取得部１００と、特定部位検出部１０１と、対応付け部１０２と、人物検出部１０３と、統合部１０４とを備える。
【００１３】
画像取得部１００は、カメラ等の撮像装置を含み、取得した画像を、特定部位検出部１０１および人物検出部１０３に供給する。なお、本実施形態では、画像取得部１００は、カメラの画角を固定して画像を取得する。
【００１４】
特定部位検出部１０１は、画像取得部１００から供給される画像から車の特定の部位（以下、「特定部位」という。）を検出すると共に、検出結果（以下、「特定部位検出結果」という。）を対応付け部１０２に供給する。
【００１５】
対応付け部１０２は、特定部位検出結果を画像間で対応付けることにより車移動情報を求めると共に、求めた車移動情報を統合部１０４に供給する。
【００１６】
人物検出部１０３は、画像取得部１００から供給される画像から人物を検出すると共に、人物の検出結果（以下、「人物検出結果」という。）を統合部１０４に供給する。
【００１７】
統合部１０４は、人物検出部１０３から供給される人物検出結果を、対応付け部１０２から供給される車移動情報に基づいて統合することにより、乗車人数を算出する。
【００１８】
なお、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によって実現される。乗車人数計測プログラムは、例えば、コンピュータの記憶装置（図示せず）に記憶される。ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４として動作する。また、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４が別々のハードウェアで実現されていてもよい。
【００１９】
次に、本実施形態の動作を説明する。
【００２０】
まず、画像取得部１００が、車内を車外から時系列に撮影した画像を取得する。
【００２１】
画像取得部１００は、時系列の画像取得方法として、外部から与えられたトリガに応じて画像を撮影してもよいし、一定間隔で画像を撮影し続けてもよい。
【００２２】
画像取得部１００は、車内の人物をはっきりと撮影するために、赤外線投光器を用いてもよい。つまり、画像取得部１００は、撮影装置として赤外線投光器を含んでよい。この場合、画像取得部１００は、赤外線領域の光を撮影可能である。なお、可視光の影響を軽減するために、画像取得部１００は、バンドパスフィルタを画像取得に用いることにより、赤外線領域の波長のみを透過するように画像を撮影してもよい。また、画像取得部１００は、ガラス面での反射を抑えるために、偏光フィルタを用いてもよい。これにより、反射光の偏光特性を利用することにより、車のガラス面に映りこむ環境情報が検出に与える影響を軽減できる。
【００２３】
画像取得部１００が取得した画像は、人物検出部１０３と特定部位検出部１０１に供給される。
【００２４】
特定部位検出部１０１は、画像取得部１００が取得した画像からタイヤなどの車の特定部位を検出すると共に、検出した特定部位の座標値等を示す情報を含む特定部位検出結果を、対応付け部１０２に供給する。車の特定部位としては、タイヤ以外にも、窓枠や車の扉、テールランプやドアミラーなど、車の特定部位として特徴的なものであれば何でもよい。例えば、前方から撮影するカメラが取得した画像から、ナンバープレートやライトなどが検出されてもよい。特定部位検出部１０１は、検出された特定部位の位置情報、およびそれに付随する情報（例えば、タイヤであれば、前のタイヤか後ろのタイヤかを表す情報）を、特定部位検出結果として生成すると共に、対応付け部１０２に供給する。
【００２５】
対応付け部１０２は、特定部位検出部１０１から供給される特定部位検出結果を画像間で対応付けると共に、画像における、車の移動量および車の位置を算出する。対応付け部１０２は、この対応付けを、２つの連続した画像間ごとに行ってもよいし、複数枚の画像についてまとめて行ってもよい。
【００２６】
対応付け部１０２は、２つの連続した画像間で対応付けを行う場合、車の進行方向を考慮する。例えば、対応付け部１０２は、特定部位検出結果をもとに、画像において、前の画像で特定部位が検出された位置から進行方向に当該特定部位が検出されていないかどうかを探索する。このように、対応付け部１０２は、前の画像と現在の画像とで対応付けられる特定部位を求める。
【００２７】
本実施形態では、カメラの画角が固定されているので、対応付け部１０２は、画像において特定部位が動く方向（軌跡）を予測可能である。よって、対応付け部１０２は、次の画像においてその方向に特定部位の検出結果が存在しないかどうかを探索すると共に、対応付けを行う。画像の各位置における特定部位の動く方向は、人手により与えられてもよい。または、ゆっくりテスト走行させた車を撮影した画像をもとに、対応付け部１０２が、画像間で対応付けを行うと共に、画像の各位置における特定部位の動く方向を取得してもよい。画像間の対応付けの方法としては、部分領域ごとのテンプレートマッチングや、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴などの局所特徴量を算出すると共に特徴量同士を対応付ける方法など、様々な方法を用いることができる。
【００２８】
一方、対応付け部１０２は、複数枚の画像をまとめて対応付けを行う場合、カメラの向きと車の進行方向によって定められる、画像における特定部位の移動軌跡のモデルを事前に構築しておく。そして、対応付け部１０２は、そのモデルを用いて、車の動きが等速であることを仮定したときに、最も合致する特定部位検出結果同士を対応付けることにより、画像間での移動量を算出する。
【００２９】
図２は、側方から撮影する場合に、車がある速度で等速に移動したときの特定部位の座標値と時刻との関係の一例を示す説明図である。ここで、座標値とは、車が撮影された画像において、地面に平行な方向をＸ軸、地面に垂直な方向をＹ軸と捉えたＸ-Ｙ座標におけるＸ軸方向の座標値である。なお、図２は、車が等速に移動したときの特定部位の座標値と時刻との関係を示すが、カメラのレンズの歪み等の影響により、その関係は直線にはならない例を示す。例えば、ある速度で等速に移動する車が撮影された複数の画像がある。これらの画像において、時刻”Ｔ”と、時刻”Ｔ”における特定部位のＸ軸方向の座標値”Ｘ”との関係が、図２の”Ａ”に示すような関係になるとき、対応付け部１０２は、次のように画像間の対応付けを行う。ここでは、検出されたＸ軸方向の座標値”Ｘ１”，”Ｘ２”，”Ｘ３”を有する特定部位が、互いに対応付く特定部位の候補として挙げられ、それらが画像間で対応付くかが、以下のように判定される。なお、図２は、時刻”ｔ”と、時刻”ｔ”における特定部位のＸ軸方向の座標値”Ｘ”との関係が”Ａ”であることを示す図であり、横軸”Ｔ”、および”Ｔ１”、”Ｔ２”、”Ｔ３”は、後述する相対時刻を示す。
【００３０】
まず、対応付け部１０２は、各時刻”ｔ１”、”ｔ２”、”ｔ３”のときに検出された特定部位のＸ軸方向の座標値”Ｘ１”，”Ｘ２”，”Ｘ３”と、図２の”Ａ”に示す関係とに基づいて、対応する時刻（以後、「相対時刻」と呼ぶ）Ｔ、すなわち”Ｔ１”、”Ｔ２”、”Ｔ３”を求める。等速直線運動が仮定できる場合には、”Ｔ１”，”Ｔ２”，”Ｔ３”と、”ｔ１”，”ｔ２”，”ｔ３”との間には、線形な関係が成り立つ。そのため、対応付け部１０２は、直線近似可能かどうかを判定することにより、特定部位が対応付くかどうかを判定できる。このように、”Ｔ１”，”Ｔ２”，”Ｔ３”と、”ｔ１”，”ｔ２”，”ｔ３”との関係に基づいて、上記検出した座標値を有する特定部位同士が対応付くかどうかを判定できる。具体的には、対応付け部１０２は、回帰直線を求め、回帰直線に近い特定部位検出結果を求めることによって、画像間で特定部位を対応付けることができる。この際、検出結果には、誤検出が含まれる場合もある。そのため、対応付け部１０２は、ＲＡＮＳＡＣ（RANｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）などによるロバスト統計手法によって回帰直線を求める。そして、対応付け部１０２は、その直線からどれだけ離れているかに応じて、対応付くかどうかを決定してもよい。具体的には、対応付け部１０２は、直線からの距離が閾値以内のものが対応付くとみなして、画像間で対応付けを行う。または、対応付け部１０２は、Ｈｏｕｇｈ変換によって、時刻ｔと相対時刻Ｔとの関係を近似する直線を求め、同様の処理を行ってもよい。なお、ここでは等速の場合について述べたが、それ以外にも、等加速度のモデル等が用いられてもよい。等加速度のモデルが用いられる場合、”ｔ１”，”ｔ２”，”ｔ３”と”Ｔ１”，”Ｔ２”，”Ｔ３”の間には、二次関数の関係が成り立つ。したがって、対応付け部１０２は、二次関数の当てはめを行うことにより、対応付けを行うことができる。
【００３１】
対応付け部１０２は、各画像間で算出した移動量および車の位置情報を、車移動情報として統合部１０４に出力する。
【００３２】
人物検出部１０３は、画像において、乗車している人物を検出する。図３は、側方から撮影した画像において、人物が検出された様子を示す説明図である。図４は、前方から撮影した画像において、人物が検出された様子を示す説明図である。例えば、図３に示すように、横顔に近い角度で乗車人物の顔が映る場合、人物検出部１０３は、横顔の検出器を用いて人物を検出できる。または、図４に示すように、正面顔に近い角度で乗車人物の顔が映る場合、人物検出部１０３は、正面顔の検出器を用いて人物を検出できる。これらの検出器は、横や正面から撮影した数多くの顔画像を用いて学習することによって構築できる。検出器としては、例えば、ＳＶＭ（サポートベクターマシン）やＬＤＡ（線形判別分析）、ＧＬＶＱ（一般化学習ベクトル量子化）を利用することができる。
【００３３】
人物検出部１０３は、検出した人物の、画像における位置を示す位置情報を、その画像を識別する情報（例えば、画像の時間情報や画像番号）とともに人物検出結果として、統合部１０４に供給する。本実施形態では、検出した人物の頭部（顔）の、画像における位置（範囲）を示す矩形情報を、位置情報とする。以下、その矩形を、「人物矩形」という。なお、図３および図４に示す白枠は、矩形情報によって示される、検出された人物の頭部の画像における位置（範囲）を示す。
【００３４】
統合部１０４は、対応付け部１０２から供給される車移動情報に基づいて、人物検出部１０３から供給される人物検出結果を画像間で対応付けることにより、乗車人数を推定すると共に、その結果を出力する。
【００３５】
具体的には、統合部１０４は、画像単位で検出された人物を、車移動情報に含まれる移動量を用いて車による動きを補償して対応付け、同一人物に対する検出結果とみなせる人物検出結果を統合する。一方、移動量と関係なく、画像間で同じ位置で常に検出される人物検出結果がある場合、その人物検出結果は、背景の特定のパターンを人物と誤検出している可能性が高い。よって、統合部１０４は、画像間で同じ位置で検出される人物検出結果を誤検出として省く。統合の具体的な方法については後述する。統合部１０４は、統合結果から乗車人数が何名かを判定し、人数を出力する。
【００３６】
次に、各構成要素の具体的な構成及び動作について説明する。
【００３７】
まず、特定部位検出部１０１の構成を説明する。
【００３８】
ここでは、タイヤを車の特定部位として検出する特定部位検出部１０１を例にする。図５は、特定部位検出部１０１の構成の一例を示すブロック図である。図５に示すように、特定部位検出部１０１は、タイヤ検出部２０１と、前後タイヤ推定部２０２とを含む。
【００３９】
タイヤ検出部２０１は、供給される画像において、タイヤの候補を検出し、その位置情報をタイヤ位置情報として前後タイヤ推定部２０２に供給する。
【００４０】
前後タイヤ推定部２０２は、タイヤ検出部２０１から供給されるタイヤ位置情報に基づいて、供給される画像を解析し、検出されたタイヤが車の前のタイヤであるか、後ろのタイヤであるかを推定する。前後タイヤ推定部２０２は、推定結果を含む特定部位検出結果を、対応付け部１０２に供給する。それにより、対応付け部１０２は、特定部位検出結果に含まれる推定結果を用いて、画像間で検出された前のタイヤおよび後のタイヤを対応付けることができる。
【００４１】
なお、タイヤ検出部２０１および前後タイヤ推定部２０２は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、タイヤ検出部２０１および前後タイヤ推定部２０２として動作する。また、タイヤ検出部２０１および前後タイヤ推定部２０２が別々のハードウェアで実現されていてもよい。
【００４２】
次に、特定部位検出部１０１の動作を説明する。
【００４３】
タイヤ検出部２０１は、供給された画像においてタイヤを検出し、検出結果を出力する。例えば、タイヤ検出部２０１は、一般化Ｈｏｕｇｈ変換を用いて、画像において円形を見つけることによりタイヤを検出し、その中心座標、具体的にはタイヤの中心の画像における位置座標値と、半径の値とを、タイヤ位置情報として出力する。図６は、側方から撮影した画像においてタイヤの領域が検出された様子を示す説明図である。図６において、白円で囲まれた部分がタイヤとして検出された領域である。なお、タイヤ検出部２０１は、タイヤ領域の外接矩形を求め、この外接矩形を記述する情報（たとえば、左上の座標値と矩形の幅と高さとを示す情報）を、タイヤ位置情報として出力してもよい。また、タイヤ候補領域が複数検出された場合には、タイヤ検出部２０１は、複数のタイヤ候補領域を出力してもよい。
【００４４】
前後タイヤ推定部２０２は、タイヤ検出部２０１から出力されるタイヤ位置情報に基づいて、後述するように、その近傍領域におけるエッジ特徴や勾配特徴を求める。前後タイヤ推定部２０２は、求めたエッジ特徴や勾配特徴に基づいて、検出されたタイヤ領域が前、後ろのどちらのタイヤである可能性が高いかを判定する。そして、前後タイヤ推定部２０２は、前のタイヤらしさ、後ろのタイヤらしさ（以下、前後のタイヤらしさという。）を表す尤度を算出し、算出結果をタイヤ位置情報と併せて、特定部位検出結果として出力する。
【００４５】
次に、前後タイヤ推定部２０２の構成を説明する。
【００４６】
図７は、前後タイヤ推定部２０２の構成の一例を示すブロック図である。図７に示すように、前後タイヤ推定部２０２は、エッジ抽出部３０１と、エッジ分布解析部３０２とを含む。
【００４７】
エッジ抽出部３０１は、供給される画像からエッジ情報を生成すると共に、生成したエッジ情報をエッジ分布解析部３０２に供給する。エッジ情報は、画像から抽出したエッジの特徴を示す情報である。
【００４８】
エッジ分布解析部３０２は、エッジ抽出部３０１から出力されるエッジ情報とタイヤ位置情報とに基づいて、タイヤの前後判定を行い、その結果をタイヤ位置情報と併せて、特定部位検出結果として出力する。
【００４９】
なお、エッジ抽出部３０１およびエッジ分布解析部３０２は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、エッジ抽出部３０１およびエッジ分布解析部３０２として動作する。また、エッジ抽出部３０１およびエッジ分布解析部３０２が別々のハードウェアで実現されていてもよい。
【００５０】
次に、前後タイヤ推定部２０２の動作を説明する。
【００５１】
エッジ抽出部３０１は、エッジ情報を抽出する。エッジ抽出部３０１は、供給された画像に対して、例えば、Ｓｏｂｅｌオペレータなどによって輝度勾配を求め、その絶対値がある一定以上の値を持つ画素をエッジ特徴として抽出する。そして、エッジ抽出部３０１は、その勾配方向、および勾配の大きさをエッジ情報とする。または、エッジ抽出部３０１は、輝度勾配特徴そのものをエッジ情報としてもよい。または、エッジ抽出部３０１は、確率的Ｈｏｕｇｈ変換等により直線線分情報を求め、線分上の点をエッジ点とし、その方向をエッジ情報として抽出してもよい。なお、エッジの特徴を抽出可能な方式であれば、エッジ抽出部３０１は、上記以外の方式を用いてもよい。図８は、図３に示す画像におけるエッジを示す説明図である。図８に示す白い画素は、エッジと判定された画素である。
【００５２】
エッジ抽出部３０１は、抽出したエッジ情報を、エッジ分布解析部３０２に供給する。
【００５３】
エッジ分布解析部３０２は、エッジ情報をもとに、画像におけるタイヤの近傍のエッジの成分の統計量を算出し、前後のタイヤらしさを表す尤度を算出する。タイヤの近傍とは、タイヤを示す領域から所定範囲内の領域である。例えば、エッジ分布解析部３０２は、エッジの方向成分のヒストグラムを求める。そして、エッジ分布解析部３０２は、ヒストグラムの向きを解析することによって、前後のタイヤらしさを判定する。この際、エッジ分布解析部３０２は、エッジの強度（例えば勾配の大きさ）も考慮し、強度で重みづけしてヒストグラムを生成してもよい。
【００５４】
図８に示すように、右向きに走る車を側方から撮影した画像の場合、前のタイヤの上方は、車のフロントガラスの辺りに相当する。車のフロントガラスは、風を逃がすように、後ろ向きに斜めに傾けて設置されるため、前のタイヤの上方の領域では、左上から右下に向かう線分が多くなる。その線分の法線方向がエッジの方向になるので、この領域においては、この法線方向のエッジが多くなる。一方、後ろのタイヤの上方の領域では、逆に、右上から左下に向かう線分が多くなるため、前のタイヤとは異なる方向のエッジが多くなる。
【００５５】
よって、エッジ分布解析部３０２は、エッジの方向成分のヒストグラムにおいて、エッジの方向性を解析し、前のタイヤか後ろのタイヤかを判定できる。例えば、エッジ分布解析部３０２は、ヒストグラムにおいて特定の斜め方向成分がある閾値を超える場合、前、または後ろのタイヤと判定すればよい。なお、エッジ分布解析部３０２は、前のタイヤか後ろのタイヤかを確定的に判定しなくてもよい。すなわち判定結果は、必ずしも、前のタイヤか後ろのタイヤかを示す２値でなくてもよい。例えば、エッジ分布解析部３０２は、前後のタイヤらしさといったように、前のタイヤか後ろのタイヤかを確率的に判定するようにしてもよい。この場合、出力される結果は、前のタイヤらしさを表すスコア（尤度）と、後ろのタイヤらしさを表すスコア（尤度）となる。ここで、尤度は、大きいほどその確率が高いことを表す値である。
【００５６】
上述した例では、エッジの成分の分布を求め、ヒューリスティックに解析する方法について述べたが、学習によって、これらを自動的に識別するようにしてもよい。例えば、前のタイヤと後ろのタイヤの近傍領域におけるエッジの特徴量を入力として、多くの画像を用いて事前に学習する。これにより、その特徴量をもとに前後のタイヤらしさを表すスコア（尤度）を出力する識別器を構築し、この識別器を用いて判定してもよい。この識別器としては、例えば、ニューラルネットワークを用いることができる。
【００５７】
エッジ分布解析部３０２は、算出した前後のタイヤらしさを表す尤度情報を、供給されるタイヤ位置情報と併せて、特定部位検出結果として出力する。
【００５８】
なお、図７では、エッジ抽出部３０１にはタイヤ位置情報が供給されていないが、エッジ抽出部３０１にタイヤ位置情報を供給してもよい。そして、エッジ抽出部３０１は、タイヤ位置情報に基づいて、エッジ抽出を行う領域をタイヤ近傍に限定して、エッジ抽出を行ってもよい。例えば、エッジ抽出部３０１は、タイヤの上方の一定領域のみをエッジ抽出の対象とし、その領域内でのみ、エッジ情報を求めてもよい。そのような形態によれば、エッジ抽出に要する処理時間などを低減できる。
【００５９】
また、ここまでは、前後タイヤを確定的、または確率的に判定し、特定部位検出結果に含める方式について述べた。しかしながら、前後タイヤに関する情報がなくても、対応付け部１０２において、特定部位検出結果を画像間で対応付ける段階において、前後タイヤのいずれかを判定することも可能である。すなわち、対応付け部１０２は、タイヤの位置と時刻の関係から、画像間で対応付く可能性があるタイヤをグループ化し、そのグループの位置関係によって、前のタイヤか後ろのタイヤかを判定すればよい。
【００６０】
次に、統合部１０４の構成を説明する。
【００６１】
図９は、統合部１０４の構成の一例を示すブロック図である。図９に示すように、統合部１０４は、人物グループ化部４０１と、グループ対応付け部４０２と、人数算出部４０３とを含む。
【００６２】
人物グループ化部４０１は、画像単位で人物検出結果をグループ化する。この処理は、車内に設けられる前後の座席の列ごとに、人物をグループ化することに相当する。
【００６３】
グループ対応付け部４０２は、車移動情報に基づいて、画像間で車の動きを補償して、人物グループ化部４０１から供給される人物グループ化の結果を対応付ける。
【００６４】
そして、人数算出部４０３は、画像間で対応付けられたグループごとに、人数を推定する。さらに、人数算出部４０３は、グループごとの人数の推定結果を合算することにより、乗車人数を算出する。
【００６５】
なお、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３として動作する。また、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３が別々のハードウェアで実現されていてもよい。
【００６６】
次に、統合部１０４の動作を説明する。
【００６７】
人物検出部１０３から、人物グループ化部４０１に、人物検出結果が供給される。
【００６８】
人物グループ化部４０１は、画像単位で人物検出結果をグループ化する。具体的には、人物グループ化部４０１は、人物検出結果の位置情報に基づいて、位置情報が示す位置が近い人物検出結果同士を同一のグループに属するものとしてグループ化する。位置情報が示す位置が近いとは、例えば、検出した人物の頭部（顔）の画像における位置を示す矩形の中心座標値の距離が、互いに所定の範囲以内であることを示す。特に、車の側方から撮影するカメラが取得した画像において、車の座席の列（前の座席、後ろの座席など）ごとに、検出される人物の位置が近くなるので、精度の高いグループ化が可能となる。また、図３に示すように、車の側方から撮影するカメラが取得した画像において、同じ列に座っている人物同士の横顔検出の位置は、横にほぼ並んだ状態となる。したがって、人物グループ化部４０１は、検出された横顔を示す矩形情報のＸ軸方向（図３における地面に対して水平方向）の座標値のみを用いてグループ化してもよい。また、Ｙ軸方向（図３における地面に対して垂直方向）の値が、他と大きく異なる矩形情報は、誤検出の可能性が高いので、グループ化から除いてもよい。
【００６９】
人物グループ化部４０１は、得られた人物矩形の位置情報と、どの人物矩形がどのグループに属するかを表す情報とを、人物のグループ化情報としてグループ対応付け部４０２に供給する。以下、グループに属する全ての人物矩形を囲う領域を、「人物グループ領域」という。
【００７０】
一方、前方から撮影するカメラが取得した画像においては、図４に示すように、後部座席に座る人物の顔が、運転席と助手席の間に現れる場合がある。その場合、上記のような位置による単純なグループ化は適用できない。よって、この場合、人物グループ化部４０１は、顔の横並びの位置関係や、運転席と助手席との間はある程度離れていること、または、前方の座席のほうが後方の座席よりも顔が大きく映るといったことを考慮してグループ化を行う。このようなグループ化は、例えば、ある一定以上近い顔同士は同じグループに入れないといった制約を加えたり、クラスタリング時に、顔検出位置に加えて顔の大きさも特徴として加えて距離を算出したりすることによって、実現できる。
【００７１】
グループ対応付け部４０２は、画像ごとに求められる人物グループ領域を、車移動情報に含まれる移動量に応じて動き補償を行い、対応付けを行う。例えば、グループ対応付け部４０２は、人物グループ領域の中心座標同士が近いグループ同士を画像間で対応付ける。これにより、例えば、各画像のグループが他の画像のどのグループと対応付くかを示す対応付け情報が求められる。さらに、車移動情報にタイヤの位置などの車の特定部位の位置に関する情報が含まれている場合には、グループ対応付け部４０２は、その特定部位の位置とグループの位置とを比較し、各グループがどの列に対応するかを求め、対応付け情報を生成する。車の移動情報に車の特定部位の位置に関する情報が含まれていない場合には、グループ対応付け部４０２は、グループ間の相対位置関係から、前の座席の人物のグループ、後ろの座席の人物のグループなどのように、人物グループがどの列に対応するか求める。グループ対応付け部４０２は、対応付け情報を、人数算出部４０３に供給する。
【００７２】
人数算出部４０３は、対応付け情報に基づいて、各列における人物の数を求め、それらを統合して、乗車人数を算出する。この際、人数算出部４０３は、対応付けられた各グループの中で、最大の人数を求め、これを各列の人数としてもよい。また、画像における位置に応じて、投光器による光の当たり方などが異なることにより人物の検出されやすさが異なる場合、人数算出部４０３は、これを考慮して確率的に人数を算出してもよい。すなわち、人数算出部４０３は、各位置における人数の判定結果を、この人物の検出されやすさによって重みづけを行い、重みづけ平均を算出することによって、各列の人数を算出してもよい。人数算出部４０３は、各列に対して求められた人数を加算することにより、乗車人数を算出する。この際、人数算出部４０３は、列による人物検出のされやすさを加味して、重みづけ加算をしてもよい。例えば、人数算出部４０３は、後部座席はガラスのスモーク等によって前の座席よりも人物が検出されにくいことを加味して、重みづけ加算をする。
【００７３】
以上に説明したように、本実施形態では、複数の画像間で人物検出結果の対応付けを行い、画像ごとの人物検出結果を統合し、乗車人数を判定する。これにより、後部座席に座った人物を含めた乗車人数を計測できる。またこの際、特に、車の特定部位を検出し、その結果を画像間で対応付けて、移動量を求める。従って、画像間における人物の位置の移動量を正しく予測できるので、画像間での人物検出結果の対応付けの精度を上げることができ、推定人数の精度を向上させることができる。
実施形態２．
以下、本発明の第２の実施形態を、図面を参照して説明する。
【００７４】
図１０は、本発明による乗車人数計測装置の第２の実施形態の構成を示す説明図である。図１０に示すように、本実施形態における乗車人数計測装置は、画像取得部１００と、特定部位検出部５０１と、対応付け部１０２と、人物検出部５０３と、統合部１０４とを備える。
【００７５】
本実施形態では、乗車人数計測装置は、図１に示す特定部位検出部１０１の代わりに特定部位検出部５０１を備える。また、乗車人数計測装置は、図１に示す人物検出部１０３の代わりに人物検出部５０３を備える。
【００７６】
特定部位検出部５０１は、画像取得部１００から出力される画像から車の特定部位を検出し、特定部位検出結果を対応付け部１０２に供給するとともに、幾何歪に関する情報（以下、幾何歪情報という。）を人物検出部５０３に供給する。
【００７７】
人物検出部５０３は、特定部位検出部５０１から供給される幾何歪情報に基づいて、画像取得部１００から供給される画像において人物を検出し、人物検出結果を統合部１０４に出力する。
【００７８】
なお、第２の実施形態のその他の構成は、第１の実施形態と同様である。
【００７９】
次に、本実施形態の動作を説明する。
【００８０】
画像取得部１００は、撮影した画像を特定部位検出部５０１に出力する。
【００８１】
特定部位検出部５０１は、第１の実施形態における特定部位検出部１０１と同様に、画像取得部１００が撮影した画像において、車の特定部位を検出する。これと同時に、特定部位検出部５０１は、特定部位の歪度合いから、幾何歪情報を求める。
【００８２】
図１１は、ローリングシャッタ方式のカメラを用いて、側方から車を撮影するカメラが取得した画像の一例を示す説明図である。例えば、カメラのシャッタ方式がローリングシャッタ方式である場合には、車の速度の影響で、図１１に示すように画像がひずむ。ローリングシャッタ方式では、画素のライン毎に、上から順に露光していく。そのため、下側のラインに対する露光時刻は、上側のラインに対する露光時刻よりも遅くなる。この間に、被写体である車が移動すると、図１１に示すように、画像の下側に行くにつれ、車の位置が前にずれ、画像中の車が斜めになる。このずれの程度は、車の速度に依存し、速度が速いほど、ずれの度合いも大きくなる。このことは、車の特定部位についても当てはまる。よって、特定部位検出部５０１は、車の特定部位の幾何的な歪度合いから、車がどの程度の速度で走っているかを判断することができる。また、特定部位検出部５０１は、Ｙ軸（図１１に示す画像における地面に対して垂直方向）の位置によって、定まるずれ量がどれほどであるかを判断することができる。
【００８３】
例えば、特定部位がタイヤである場合、画像におけるタイヤは斜めに傾き、楕円のようになる。よって、特定部位検出部５０１は、楕円の当てはめを行うことにより、長軸の傾きを求める。それにより、特定部位検出部５０１は、Ｙ軸の位置に応じてどの程度ずれているかを算出することができる。また、特定部位が車の扉である場合、特定部位検出部５０１は、扉の縦方向の縁が地面に対して垂直方向からどれだけずれているかを算出する。それにより、特定部位検出部５０１は、Ｙ軸に応じたずれ量を推定することができる。
【００８４】
特定部位検出部５０１は、このようにして算出される情報を幾何歪情報として、人物検出部５０３に供給する。
【００８５】
画像取得部１００により取得された画像は、人物検出部５０３にも供給される。人物検出部５０３は、特定部位検出部５０１から出力される幾何歪情報に従って、供給される画像を補正する。そして、人物検出部５０３は、補正後の画像に対して人物検出を行う。例えば、カメラがローリングシャッタ方式である場合には、人物検出部５０３は、幾何歪情報に基づいて、地面に対して垂直方向の座標位置に応じて変わる横方向のずれ量を補正し、横顔検出等の人物検出処理を行う。これにより、歪を補正しない場合よりも、人物の検出精度を大幅に改善できる。
【００８６】
なお、人物検出部５０３は、画像を補正する代わりに、幾何歪の度合いに応じて、人物検出の方式を切り替えてもよい。上述したように、カメラがローリングシャッタ方式である場合には、車の速度が速くなるほど、画像における人物が斜めに傾く傾向がある。よって、供給される画像に映る人物が斜めに傾いた場合、被写体が傾いた画像で学習した人物検出器を用いるようにすればよい。すなわち、幾何歪情報に応じて、人物が斜めに傾く度合いを推定し、それに応じた検出器（または、検出に用いる辞書情報）を切り替えて人物を検出する。この場合も、歪を補正しない場合に比べて、検出精度を大幅に改善できる。
【００８７】
また、人物検出部５０３は、レンズによる画像の歪（レンズ歪）が大きい場合にも、歪補正をしてもよい。その場合、特定部位検出部５０１は、画像の各位置におけるレンズ歪を求め、その歪と特定部位との位置関係の対応を示す歪情報を人物検出部５０３に供給する。そして、人物検出部５０３は、その歪情報に基づいて画像を補正する。この場合、人物検出部５０３は、必ずしも、入力された歪情報を直接用いなくてもよい。例えば、人物検出部５０３は、それまでに蓄積した歪情報によって示される、歪と特定部位との位置関係を用いて、人物検出の対象となる領域における歪を算出し、画像を補正してもよい。すなわち、人物検出部５０３は、歪情報を、人物検出処理を実行するごとに蓄積しておき、蓄積した歪情報から画像の各位置における歪を近似する歪パラメータを算出する。人物検出部５０３は、歪パラメータ算出後、求められたた歪パラメータを用いて、画像の歪を補正し、人物検出を行う。
【００８８】
このようにして検出された人物の情報は、第１の実施形態と同様に、人物検出結果として統合部１０４に出力される。
【００８９】
なお、第２の実施形態のその他の動作は、第１の実施形態と同様である。
【００９０】
以上に説明したように、本実施形態では、乗車人数計測装置は、画像の歪を考慮して人物検出を行うので、より高精度な人数計測が可能となる。
【００９１】
第３の実施形態
図１２は、本発明による乗車人数計測装置の第３の実施形態の構成を示すブロック図である。図１２に示すように、本実施形態における乗車人数計測装置は、特定部位検出部６０１、対応付け部６０２、人物検出部６０３および統合部６０４を備える。
【００９２】
特定部位検出部６０１は、取得した画像から車の特定部位を検出すると共に特定部位検出結果を生成する。対応付け部６０２は、特定部位検出結果を画像間で対応付けることにより、車の移動量を算出し、その算出結果を含む車移動情報を生成する。
【００９３】
人物検出部６０３は、画像における乗車している人物を検出し、検出した人物の位置情報を含む人物検出結果を生成する。統合部６０４は、人物検出結果を、車移動情報に基づいて統合することにより、乗車人数を判定する。
【００９４】
上記構成を採用することにより、本第３の実施形態によれば、乗車人数計測装置は、後部座席に着席している人物も含めて、乗車人数を正確に計測することが可能となる。
【００９５】
なお、図１、図１２に示した乗車人数計測装置の各部は、図１３に例示するハードウエア資源において実現される。すなわち、図１３に示す構成は、ＣＰＵ２０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、外部接続インタフェース２３および記憶媒体２４を備える。ＣＰＵ２０は、ＲＯＭ２２または記憶媒体２４に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、乗車人数計測装置の全体的な動作を司る。
【００９６】
また、上述した各実施形態では、図１、図１２に示した乗車人数計測装置における各ブロックに示す機能を、図１３に示すＣＰＵ２０が実行する一例として、ソフトウエア・プログラムによって実現する場合について説明した。しかしながら、図１、図１２に示した各ブロックに示す機能は、一部または全部を、ハードウエアとして実現してもよい。
【００９７】
また、各実施形態を例に説明した本発明は、乗車人数計測装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ２０がＲＡＭ２１に読み出して実行することによって達成される。
【００９８】
また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。
【００９９】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【０１００】
以上に述べた乗車人数の計測結果は、ＨＯＶ（Ｈｉｇｈ  Ｏｃｃｕｐａｎｃｙ  Ｖｅｈｉｃｌｅ）レーンを通行可能な車の自動判定や、テーマパーク等での、乗車したままの来場者数カウント、定員以上乗車している車の自動検出等に利用できる。
【０１０１】
この出願は、２０１３年１０月９日に出願された日本出願特願２０１３−２１２２４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１０２】
１００  画像取得部
１０１、５０１  特定部位検出部
１０２  対応付け部
１０３、５０３  人物検出部
１０４  統合部
２０１  タイヤ検出部
２０２  前後タイヤ推定部
３０１  エッジ抽出部
３０２  エッジ分布解析部
４０１  人物グループ化部
４０２  グループ対応付け部
４０３  人数算出部
【図１】
0006458734.tif 000002
【図２】
0006458734.tif 000003
【図３】
0006458734.tif 000004
【図４】
0006458734.tif 000005
【図５】
0006458734.tif 000006
【図６】
0006458734.tif 000007
【図７】
0006458734.tif 000008
【図８】
0006458734.tif 000009
【図９】
0006458734.tif 000010
【図１０】
0006458734.tif 000011
【図１１】
0006458734.tif 000012
【図１２】
0006458734.tif 000013
【図１３】
0006458734.tif 000014