(57)【要約】【課題】乗車人数を計数する精度を向上させることができる乗車人数監視システムを提供することを目的とする。【解決手段】乗車人数監視システム１は、車両の室内の搭乗者までの距離を含む深度画像を撮像する撮像部３と、撮像部３によって撮像された深度画像から搭乗者の顔を認識する顔認識部８３と、撮像部３によって撮像された深度画像から搭乗者の上半身を認識する上半身認識部８４と、顔認識部８３による顔の認識結果と上半身認識部８４による上半身の認識結果とを組み合わせて搭乗者の人数を計数する計数部８５と、を備えることを特徴とする。【選択図】図２
2019219899.tif 000002
【特許請求の範囲】
【請求項１】
車両の室内の搭乗者までの距離を含む深度画像を撮像する撮像部と、
前記撮像部によって撮像された前記深度画像から前記搭乗者の顔を認識する顔認識部と、
前記撮像部によって撮像された前記深度画像から前記搭乗者の上半身を認識する上半身認識部と、
前記顔認識部による前記顔の認識結果と前記上半身認識部による前記上半身の認識結果とを組み合わせて前記搭乗者の人数を計数する計数部と、
を備えることを特徴とする乗車人数監視システム。
【請求項２】
前記計数部は、前記顔認識部によって認識された前記顔の前記室内における３次元の第１座標と前記上半身認識部によって認識された前記上半身の頭部の前記室内における３次元の第２座標とを組み合わせて前記人数を計数する、
請求項１に記載の乗車人数監視システム。
【請求項３】
前記計数部は、
前記第１座標と前記第２座標との距離が予め設定された閾値よりも小さい場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせて１人と計数し、
前記第１座標と前記第２座標との距離が前記閾値以上である場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせずそれぞれ１人として計数する、
請求項２に記載の乗車人数監視システム。
【請求項４】
前記計数部は、前記第１座標と前記第２座標とのいずれか一方に、前記距離が前記閾値よりも小さい他方が複数存在する場合、前記距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する、
請求項３に記載の乗車人数監視システム。
【請求項５】
前記計数部によって計数された前記人数が予め設定された前記車両の定員数を超えている場合に警報する処理を行う動作制御部をさらに備える、
請求項１から４のいずれか１項に記載の乗車人数監視システム。
【請求項６】
前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記顔認識部、前記上半身認識部、及び、前記計数部の少なくとも１つが組み付けられる筐体を備える、
請求項１から５のいずれか１項に記載の乗車人数監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗車人数監視システムに関する。
【背景技術】
【０００２】
車両に乗車する人数を監視する技術として、例えば、カメラによって乗員全員が撮影された画像を顔認識して、顔認識された人の数から乗車人数を計数する自律走行車両が開示されている。また、特許文献２には、画像を複数の認識ブロックへ分割し、当該認識ブロックに人がいるか否かを判断して人数をカウントする監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２００９３３号公報
【特許文献２】特開２０１５−００７９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両に乗車する人数を計数する従来の計数方法では、乗車人数を計数する精度を向上させたいとのニーズがある。
【０００５】
本発明は、上記の事情に鑑みてなされたものであって、乗車人数を計数する精度を向上させることができる乗車人数監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る乗車人数監視システムは、車両の室内の搭乗者までの距離を含む深度画像を撮像する撮像部と、前記撮像部によって撮像された前記深度画像から前記搭乗者の顔を認識する顔認識部と、前記撮像部によって撮像された前記深度画像から前記搭乗者の上半身を認識する上半身認識部と、前記顔認識部による前記顔の認識結果と前記上半身認識部による前記上半身の認識結果とを組み合わせて前記搭乗者の人数を計数する計数部と、を備えることを特徴とする。
【０００７】
また、上記乗車人数監視システムでは、前記計数部は、前記顔認識部によって認識された前記顔の前記室内における３次元の第１座標と前記上半身認識部によって認識された前記上半身の頭部の前記室内における３次元の第２座標とを組み合わせて前記人数を計数するものとすることができる。
【０００８】
また、上記乗車人数監視システムでは、前記計数部は、前記第１座標と前記第２座標との距離が予め設定された閾値よりも小さい場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせて１人と計数し、前記第１座標と前記第２座標との距離が前記閾値以上である場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせずそれぞれ１人として計数することができる。
【０００９】
また、上記乗車人数監視システムでは、前記計数部は、前記第１座標と前記第２座標とのいずれか一方に、前記距離が前記閾値よりも小さい他方が複数存在する場合、前記距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数するものとすることができる。
【００１０】
また、上記乗車人数監視システムでは、前記計数部によって計数された前記人数が予め設定された前記車両の定員数を超えている場合に警報する処理を行う動作制御部をさらに備えるものとすることができる。
【００１１】
また、上記乗車人数監視システムでは、前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記顔認識部、前記上半身認識部、及び、前記計数部の少なくとも１つが組み付けられる筐体を備えるものとすることができる。
【発明の効果】
【００１２】
本発明に係る乗車人数監視システムは、顔認識部が深度画像から認識した顔の第１座標と、上半身認識部が深度画像から認識した上半身の第２座標とを組み合わせて、搭乗者の人数を計数する。この結果、乗車人数監視システム１は、深度画像で顔及び上半身の少なくとも一方が認識できれば、搭乗者の人数を計数することができるので、乗車人数を計数する精度を向上させることができる、という効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態に係る乗車人数監視システムが適用される車両の室内の概略構成を表す模式図である。
【図２】図２は、実施形態に係る乗車人数監視システムの概略構成を表すブロック図である。
【図３】図３は、実施形態に係る乗車人数監視システムの外観を表す斜視図である。
【図４】図４は、実施形態に係る乗車人数監視システムの撮像例を表す図である。
【図５】図５は、実施形態に係る乗車人数監視システムの計数動作の一例を示す図である。
【図６】図６は、実施形態に係る乗車人数監視システムの処理部の制御の一例を表すフローチャート図である。
【図７】図７は、実施形態に係る乗車人数監視システムの顔認識処理の一例を表すフローチャート図である。
【図８】図８は、実施形態に係る乗車人数監視システムの上半身認識処理の一例を表すフローチャート図である。
【図９】図９は、実施形態に係る乗車人数監視システムの計数処理の一例を表すフローチャート図である。
【発明を実施するための形態】
【００１４】
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【００１５】
［実施形態］
図１から図５を参照して、実施形態について説明する。図１は、実施形態に係る乗車人数監視システムが適用される車両の室内の概略構成を表す模式図である。図２は、実施形態に係る乗車人数監視システムの概略構成を表すブロック図である。図３は、実施形態に係る乗車人数監視システムの外観を表す斜視図である。図４は、実施形態に係る乗車人数監視システムの撮像例を表す図である。なお、図１に示す矢印Ｘ方向は、車両１００の車幅方向とする。図１に示す矢印Ｙ方向は、車両１００の長さ方向（前後方向）とする。図１に示す矢印Ｚ方向は、車両１００の高さ方向とする。
【００１６】
図１に示す本実施形態に係る乗車人数監視システム１は、車両１００に搭載され、当該車両１００の室内１０１の搭乗者ＯＢを監視し、搭乗者ＯＢに対する様々な処理を行う車載システム（車室内監視システム）である。搭乗者ＯＢは、乗車人数監視システム１による監視の対象者である。搭乗者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、車両１００の運転者や運転者以外の同乗者を含む。
【００１７】
図１に示す一例では、車両１００は、運転席１０５と、後部座席１０７とを備える。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、電車等であってもよい。そして、本実施形態の乗車人数監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ−Ｈｅａｄ  Ｍｏｄｕｌｅ）を構成する。
【００１８】
以下、図１、図２、図３、図４を参照して乗車人数監視システム１の構成について詳細に説明する。
【００１９】
乗車人数監視システム１は、筐体２と、撮像部３と、出力部４と、照明部５と、操作部６と、外部接続部７と、制御部８とを備える。なお、オーバーヘッドモジュールを構成する乗車人数監視システム１は、この他、例えば、無線通信部、アンテナ、電源分配部等を備えていてもよい。
【００２０】
筐体２は、乗車人数監視システム１を構成する各部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に撮像部３、出力部４、照明部５、操作部６、外部接続部７、及び、制御部８が組み付けられこれらを収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した撮像部３、出力部４、照明部５、操作部６、外部接続部７の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井（ルーフパネル）１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、例えば、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。
【００２１】
撮像部３は、車両１００の室内１０１の搭乗者ＯＢまでの距離を計測する３次元のＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）カメラ、距離画像センサ等を含む。撮像部３は、搭乗者ＯＢまでの距離と画素値とが対応付けられた画素を含む深度画像を撮像するものである。本実施形態の撮像部３は、室内１０１の搭乗者ＯＢの顔及び上半身の３次元位置を計測可能な深度画像を撮像する機能を有する。本実施形態では、撮像部３は、ＴＯＦカメラを用いることで、暗い環境でも搭乗者ＯＢの撮像を可能としている。
【００２２】
撮像部３は、例えば、レンズが筐体２の外面に露出し、光軸が室内１０１の運転席１０５、後部座席１０７側を向くように当該筐体２に設けられる。撮像部３は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、撮像部３は、撮像した深度画像を制御部８に出力する。なお、本実施形態では、撮像部３は、筐体２に設けられる場合について説明するが、例えば、車両１００の前列及び後列に分けて設ける構成としてもよい。
【００２３】
例えば、図４に示す深度画像Ｇは、運転席１０５で前方を向いている搭乗者ＯＢ１と、助手席１０６で下方を向いている搭乗者ＯＢ２とを含む室内１０１を撮像部３によって撮像した画像である。この場合、深度画像Ｇは、２次元画像Ｇ１と、３次元情報である距離画像Ｇ２とを含む。２次元画像Ｇ１は、搭乗者ＯＢ１及び搭乗者ＯＢ２と、その背景である室内１０１とを示す画像である。２次元画像Ｇ１は、搭乗者ＯＢ１及び搭乗者ＯＢ２の顔認識に用いられる。距離画像Ｇ２は、室内１０１の物体までの奥行き、高さ、幅、形状を示す画像である。距離画像Ｇ２は、搭乗者ＯＢ１及び搭乗者ＯＢ２の上半身認識に用いられる。なお、図４に示す一例では、距離画像Ｇ２は、搭乗者ＯＢ１及び搭乗者ＯＢ２に対応した部分のみを示し、背景に対応した部分を省略している。
【００２４】
出力部４は、車両１００の室内１０１に向けて、種々の情報を出力するものである。ここでは、出力部４は、表示部４１と、スピーカ４２とを含んで構成される。表示部４１は、視覚情報（図形情報、文字情報）を出力する表示装置である。表示部４１は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。スピーカ４２は、聴覚情報（音声情報、音情報）を出力する出力装置である。出力部４を構成する表示部４１、スピーカ４２は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
【００２５】
照明部５は、車両１００の室内１０１を照明するものであり、例えば、マップランプ等である。照明部５は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
【００２６】
操作部６は、車両１００の室内１０１側から種々の操作を入力可能な操作機器である。操作部６は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。操作部６は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
【００２７】
外部接続部７は、筐体２の外部の電気機器が電気的に接続される部分である。外部接続部７は、種々の形式のコネクタやインターフェース部によって構成される。外部接続部７は、警報装置９が電気的に接続される。警報装置９は、搭乗者ＯＢに定員オーバーを警報することができる。
【００２８】
外部接続部７は、車両１００の各部を統括的に制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）や車両１００の天井１０２の室内１０１側の面の後部座席側の位置に設けられるリヤモジュール等が電気的に接続される。外部接続部７は、制御部８、及び、筐体２の外部の電気機器に電気的に接続され、相互に電気信号を授受可能である。
【００２９】
図２に示す一例では、外部接続部７は、例えば、メータユニット２０１と、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）ＥＣＵ２０２とが電気的に接続されている。メータユニット２０１は、車両１００の運転席１０５の前方に設けられ、当該車両１００の運転者、搭乗者等から目視可能なものである。メータユニット２０１は、例えば、車両１００のコンビネーションメータ、ヘッドアップディスプレイ、テレビジョン等が用いられる。
【００３０】
先進運転支援システムＥＣＵ２０２は、車両１００の周辺状況に関する周辺状況情報を出力する。周辺状況情報は、例えば、車両１００の周辺環境や車両１００の周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報等を含んでいてもよい。
【００３１】
制御部８は、乗車人数監視システム１の各部を統括的に制御する部分である。制御部８は、搭乗者ＯＢの状態監視や様々な支援に関する種々の演算処理を実行する。制御部８は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部８は、撮像部３、出力部４、照明部５、操作部６、及び、外部接続部７が電気的に接続される。制御部８は、撮像部３によって撮像された深度画像に対応した画像信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
【００３２】
具体的には、制御部８は、機能概念的に、記憶部８１、及び、処理部８２を含んで構成される。記憶部８１、及び、処理部８２は、電気的に接続されている各種機器との間で種々の情報を授受することができる。記憶部８１は、メモリ等の記憶装置である。記憶部８１は、制御部８での各種処理に必要な条件や情報、制御部８で実行する各種プログラム等が格納されている。そして、記憶部８１は、表示部４１に表示する一部の画像等の視覚情報やスピーカ４２で出力する音声等の聴覚情報も記憶している。また、記憶部８１は、撮像部３が撮像した深度画像に関する情報や外部接続部７を介して取得された各種情報を一時的に記憶することもできる。記憶部８１は、処理部８２によって各種情報が必要に応じて読み出される。処理部８２は、各種入力信号等に基づいて、記憶部８１に記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。
【００３３】
図２に示す一例では、記憶部８１は、必要情報８１ａと、人数情報８１ｂとを記憶することができる。必要情報８１ａは、搭乗者ＯＢの顔及び上半身の認識、人数の計数等に必要な条件や情報を含む。例えば、必要情報８１ａは、搭乗者ＯＢの顔及び上半身の認識に用いられる学習辞書、車両１００の定員数等を示す情報を含む。なお、学習辞書の一例については、後述する。人数情報８１ｂは、室内１０１の搭乗者ＯＢの人数を計数した結果を示す情報を含む。
【００３４】
処理部８２は、より詳細には、機能概念的に、顔認識部８３、上半身認識部８４、計数部８５、及び、動作制御部８６を含んで構成される。処理部８２は、プログラムを実行することにより、顔認識部８３、上半身認識部８４、計数部８５、及び、動作制御部８６を実現する。
【００３５】
顔認識部８３は、撮像部３によって撮像された深度画像Ｇから搭乗者ＯＢの顔を認識する。顔認識部８３は、例えば、種々の公知の人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術や深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術を用いて、深度画像Ｇの２次元画像Ｇ１を走査した画素値に基づいて搭乗者ＯＢの顔を認識する。例えば、顔認識部８３は、記憶部８１の必要情報８１ａに記憶されている学習辞書等と撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１とを照合し、搭乗者ＯＢの顔を認識する。なお、学習辞書は、人工知能技術や深層学習技術を用いた様々な手法を用いて顔の特徴量等がデータベース化された情報である。学習辞書は、例えば、外部接続部７を介して他の電子機器から取得してもよい。また、顔認識部８３は、例えば、背景差分法、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ、Ｍｅａｎ  Ｓｈｉｆｔ法、パターンマッチング等によって深度画像Ｇの画素値に基づいて搭乗者ＯＢの顔を認識してもよい。例えば、顔認識部８３は、撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１と事前に撮像しておいた室内１０１の室内画像との画素値の情報を比較し、室内画像とは異なる画素値の画素部分を搭乗者ＯＢの人体部分として抽出し、当該人体部分から顔の部分を認識してもよい。顔認識部８３は、室内１０１に車両１００の前方を向いている搭乗者ＯＢの顔を認識する。そして、顔認識部８３は、認識した搭乗者ＯＢの顔の特定ポイントを検出し、当該特定ポイントの室内１０１における３次元の第１座標を算出する。特定ポイントは、例えば、顔の中心、目、鼻、口等のポイントを含む。顔認識部８３は、算出した第１座標を深度画像に紐付けて記憶部８１に記憶する。
【００３６】
例えば、顔認識部８３は、図４に示す深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識する場合、前方を向いている搭乗者ＯＢ１の顔を認識でき、下方を向いている搭乗者ＯＢ２の顔を認識できない。この結果、顔認識部８３は、認識できた搭乗者ＯＢ１の顔の中心である第１座標Ｃ１を算出する。
【００３７】
上半身認識部８４は、撮像部３によって撮像された深度画像Ｇから搭乗者ＯＢの上半身を認識する。上半身認識部８４は、例えば、種々の公知の人工知能技術や深層学習技術を用いて、深度画像Ｇの距離画像Ｇ２を走査した画素が示す距離の情報に基づいて搭乗者ＯＢの上半身を認識する。例えば、顔認識部８３は、記憶部８１の必要情報８１ａに記憶されている学習辞書等と撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２とを照合し、搭乗者ＯＢの上半身を認識する。なお、学習辞書は、人工知能技術や深層学習技術を用いた様々な手法を用いて上半身の特徴量等がデータベース化された情報である。また、顔認識部８３は、撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２と事前に撮像しておいた室内１０１の室内距離画像との画素が示す距離の情報を比較し、室内画像とは異なる距離の画素部分を搭乗者ＯＢの人体部分として抽出し、当該人体部分から上半身を認識してもよい。そして、上半身認識部８４は、認識した搭乗者ＯＢの上半身を認識すると、当該上半身の頭部の室内１０１における３次元の第２座標を算出する。上半身認識部８４は、算出した第２座標を深度画像に紐付けて記憶部８１に記憶する。
【００３８】
例えば、上半身認識部８４は、図４に示す深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識する場合、前方を向いている搭乗者ＯＢ１の上半身、及び、下方を向いている搭乗者ＯＢ２の上半身の双方を認識できる。この結果、上半身認識部８４は、認識できた搭乗者ＯＢ１、ＯＢ２のそれぞれの上半身の頭部の中心である第２座標Ｄ１、Ｄ２を算出する。
【００３９】
計数部８５は、顔認識部８３による搭乗者ＯＢの顔の認識結果と上半身認識部８４による搭乗者ＯＢの上半身の認識結果とを組み合わせて搭乗者ＯＢの人数を計数する。言い換えると、計数部８５は、顔認識部８３によって認識された搭乗者ＯＢの顔と、上半身認識部８４によって認識された搭乗者ＯＢの上半身とを組み合わせて搭乗者ＯＢの人数を計数する。本実施形態では、計数部８５は、顔認識部８３によって認識された顔の室内１０１における３次元の第１座標と、上半身認識部８４によって認識された上半身の室内１０１における３次元の第２座標とを組み合わせて搭乗者ＯＢの人数を計数する。計数部８５は、計数した搭乗者ＯＢの人数を人数情報８１ｂに記憶する。計数部８５は、第１座標と第２座標との組み合わせ結果に基づいて人数を計数する機能を有する。計数部８５は、第１座標と第２座標との距離が予め定められた必要情報８１ｂの判定閾値よりも小さい場合、顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせて１人と計数する。言い換えると、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値よりも小さい場合、第１座標と第２座標との１つの組み合わせを１人と計数する。すなわち、計数部８５は、距離が必要情報８１ｂの判定閾値よりも小さい第１座標と第２座標とが同一の搭乗者ＯＢの３次元座標であると判定し、第１座標と第２座標と組み合わせることで、３次元座標が重複するのを回避している。また、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値以上である場合、顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせずそれぞれ１人として計数する。言い換えると、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値以上である場合、第１座標と第２座標とを組み合わせずに、それぞれの第１座標の数と第２座標の数とを計数する。なお、必要情報８１ｂの判定閾値は、第１座標と第２座標とが同一の搭乗者ＯＢのものであるか否かを判定するための閾値である。例えば、第１座標が顔の中心を示す３次元座標であり、第２座標が頭部の中心を示す３次元座標である場合、必要情報８１ｂの判定閾値は、一般的な顔の中心位置と頭部の中心位置とを距離を学習して定められた閾値となっている。また、計数部８５は、第１座標と第２座標とのいずれか一方に、距離が判定閾値よりも小さい他方が複数存在する場合、距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する機能を有する。
【００４０】
図４に示す一例では、計数部８５は、２次元画像Ｇ１から算出された搭乗者ＯＢ１の第１座標Ｃ１と、距離画像Ｇ２の搭乗者ＯＢ１の第２座標Ｄ１及び搭乗者ＯＢ２の第２座標Ｄ２との組み合わせから人数を計数する。この場合、計数部８５は、室内１０１において、第１座標Ｃ１と第２座標Ｄ１との距離が判定閾値よりも小さいので、第１座標Ｃ１と第２座標Ｄ１とを組み合わせ、当該組み合わせを１人と計数する。そして、計数部８５は、室内１０１において、第２座標Ｄ２の周囲には第１座標が存在しないので、第２座標Ｄ２を１人として計数する。すなわち、計数部８５は、第１座標Ｃ１と第２座標Ｄ１との組み合わせが１つと、第２座標Ｄ２が１つなので、室内１０１の搭乗者の人数は２人と計数する。このように、計数部８５は、搭乗者ＯＢ１の第１座標Ｃ１と第２座標Ｄ１とが重複しているので、重複した３次元座標の計数を回避している。
【００４１】
動作制御部８６は、動作制御処理を実行可能な部分である。動作制御処理とは、撮像部３、出力部４、照明部５、及び、操作部６等の乗車人数監視システム１の各部の動作を制御する処理である。動作制御部８６は、撮像部３、出力部４（表示部４１、スピーカ４２）、照明部５、操作部６、外部接続部７、記憶部８１と電気的に接続される。動作制御部８６は、撮像部３に駆動信号を出力することで撮像部３の動作を制御し、搭乗者ＯＢを含む深度画像Ｇの撮像を開始させたり当該撮像を終了させたりすることができる。また、動作制御部８６は、出力部４（表示部４１、スピーカ４２）に駆動信号を出力することで出力部４の動作を制御し、表示部４１に視覚情報を表示させたりスピーカ４２に聴覚情報を出力させたりすることができる。また、動作制御部８６は、照明部５に駆動信号を出力することで照明部５の動作を制御し、照明部５を点灯させたり照明部５を消灯させたりすることができる。さらに、動作制御部８６は、操作部６から入力された操作信号に基づいて操作部６に対する操作入力を受け付け、照明部５の点灯、消灯を切り替えたり表示部４１による表示内容を切り替えたり各種設定を行ったりすることができる。動作制御部８６は、外部接続部７を介してメータユニット２０１に表示要求を出力することで、メータユニット２０１に情報を表示させることができる。動作制御部８６は、外部接続部７を介して先進運転支援システムＥＣＵ２０２に支援要求信号を出力し、上記の車両情報、周辺状況情報等を取得することができる。動作制御部８６は、外部接続部７を介して警報装置９に駆動信号を出力することで、警報装置９の動作を制御することができる。
【００４２】
そして、動作制御部８６は、計数部８５によって計数された人数が車両１００の定員数を超えている場合に警報する処理を行う。動作制御部８６は、当該警報する処理を実行することにより、定員オーバーを示す警報情報を出力部４に出力させたり、外部接続部７を介して定員オーバーを警報装置９に警報させたりすることができる。
【００４３】
次に、図５を参照しながら、乗車人数監視システム１による乗車人数を計数する動作の一例を説明する。図５は、実施形態に係る乗車人数監視システム１の計数動作の一例を示す図である。
【００４４】
図５に示すステップＳ１では、車両１００の室内１０１には、搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４が乗車している。具体的には、搭乗者ＯＢ１は、車両１００の運転席１０５に座り、顔を車両１００の進行方向Ｍに向けている。搭乗者ＯＢ２は、車両１００の助手席１０６に座り、顔は進行方向Ｍとは異なる方向に向けている。搭乗者ＯＢ３は、車両１００の後部座席１０７に座り、顔を進行方向Ｍに向けている。搭乗者ＯＢ４は、搭乗者ＯＢ３の子供であり、搭乗者ＯＢ３に抱えられた状態で車両１００の後部座席１０７に位置し、顔を進行方向Ｍとは逆方向に向けている。
【００４５】
ステップＳ１では、乗車人数監視システム１の撮像部３は、搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４を含む室内１０１の深度画像Ｇを撮像する。撮像部３は、撮像した深度画像Ｇを記憶部８１に記憶する。
【００４６】
ステップＳ２では、乗車人数監視システム１の顔認識部８３は、撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１から運転席１０５の搭乗者ＯＢ１の顔と、後部座席１０７の搭乗者ＯＢ３の顔とを認識する。すなわち、顔認識部８３は、当該深度画像Ｇの２次元画像Ｇ１から助手席１０６の搭乗者ＯＢ２の顔と、後部座席１０７の搭乗者ＯＢ４の顔とを認識できていない。この結果、顔認識部８３は、運転席１０５付近の第１座標Ｃ１と、後部座席１０７付近の第１座標Ｃ３とを算出する。
【００４７】
また、ステップＳ２では、乗車人数監視システム１の上半身認識部８４は、撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２から運転席１０５の搭乗者ＯＢ１の上半身と、助手席１０６の搭乗者ＯＢ２の上半身と、後部座席１０７の搭乗者ＯＢ３の上半身と、後部座席１０７の搭乗者ＯＢ４の上半身とを認識する。この結果、上半身認識部８４は、運転席１０５付近の第２座標Ｄ１と、助手席１０６付近の第２座標Ｄ２と、後部座席１０７付近の２つの第２座標Ｄ３、Ｄ４とを算出する。
【００４８】
ステップＳ２では、乗車人数監視システム１の計数部８５は、顔認識部８３によって算出された第１座標Ｃ１、Ｃ３と上半身認識部８４によって算出された第２座標Ｄ１、Ｄ２、Ｄ３、Ｄ４との組み合わせを判別する。例えば、計数部８５は、第１座標Ｃ１、Ｃ３と第２座標Ｄ１、Ｄ２、Ｄ３、Ｄ４との距離が判定閾値よりも小さくなる組み合わせを求める。この結果、計数部８５は、運転席１０５では、第１座標Ｃ１と第２座標Ｄ１とが１対１に組み合わされると判断する。計数部８５は、助手席１０６では、第２座標Ｄ１と組になる第１座標が存在しないと判断する。計数部８５は、後部座席１０７では、第１座標Ｃ３と第２座標Ｄ３、Ｄ４とが１対２に組み合わされると判断する。なお、図５に示す一例では、第１座標Ｃ３と第２座標Ｄ３との距離Ｌ１は、第１座標Ｃ３と第２座標Ｄ４との距離Ｌ２よりも小さくなっているものとする。
【００４９】
ステップＳ３では、計数部８５は、組み合わせ結果に基づいて、運転席１０５では第２座標Ｄ１、後部座席１０７では第１座標Ｃ３をそれぞれ無効化している。この結果、計数部８５は、運転席１０５では第１座標Ｃ１、助手席１０６では第２座標Ｄ２、後部座席１０７では第２座標Ｄ３、Ｄ４をそれぞれ正規化する。そして、計数部８５は、正規化した４つの第１座標Ｃ１、第２座標Ｄ２、第２座標Ｄ３、第２座標Ｄ４の数を計数して、室内１０１における搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４の人数を４人と計数する。計数部８５は、計数した人数を人数情報８１ｂに記憶する。すなわち、計数部８５は、第１座標Ｃ３との距離が判定閾値よりも小さい第２座標Ｄ３、Ｄ４が存在するので、当該距離が近い第１座標Ｃ３と第２座標Ｄ３とを組み合わせて１人として計数し、残りの第２座標Ｄ４を１人として計数している。
【００５０】
また、例えば、着席している搭乗者ＯＢの足下から胸元に至る荷物を当該搭乗者ＯＢの前方に置いている場合、乗車人数監視システム１は、撮像部３によって撮像した深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識できても、当該荷物によって距離画像Ｇ２から搭乗者ＯＢの上半身を認識できない可能性がある。この場合、乗車人数監視システム１は、深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識することができるので、距離画像Ｇ２から上半身を認識できない搭乗者ＯＢも室内１０１の人数として計数することができる。
【００５１】
以上で説明した乗車人数監視システム１は、顔認識部８３が深度画像Ｇから認識した搭乗者ＯＢの顔と、上半身認識部８４が深度画像Ｇから認識した搭乗者ＯＢの上半身とを組み合わせて、搭乗者ＯＢの人数を計数する。例えば、搭乗者ＯＢが下方を向いた状態で就寝している場合、長時間にわたって搭乗者ＯＢの顔を認識できない可能性がある。このような場合、乗車人数監視システム１は、搭乗者ＯＢの上半身に基づいて就寝中の搭乗者ＯＢを計数できる。この結果、乗車人数監視システム１は、深度画像Ｇから顔及び上半身の少なくとも一方が認識できれば、搭乗者ＯＢの人数を計数することができるので、乗車人数を計数する精度を向上させることができる。
【００５２】
乗車人数監視システム１は、計数部８５が顔認識部８３によって認識された顔の３次元の第１座標と、上半身認識部８４によって認識された上半身の頭部の３次元の第２座標とを組み合わせて搭乗者ＯＢの人数を計数する。この結果、乗車人数監視システム１は、搭乗者ＯＢの顔と頭部という近い人体の部位の３次元座標の組み合わせを確認するので、組み合わせの判定精度を向上させることができる。
【００５３】
乗車人数監視システム１は、第１座標と第２座標との距離が予め設定された必要情報８１ａの判定閾値よりも小さい場合、計数部８５が顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせて１人と計数し、第１座標と第２座標との距離が判定閾値以上である場合、計数部８５が顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせずそれぞれ１人として計数する。この結果、乗車人数監視システム１は、離れた位置の第１座標と第２座標とが組み合わされることを防止し、かつ、近接する複数の搭乗者ＯＢの３次元座標を計数に用いることができるので、乗車人数を計数する精度をより一層向上させることができる。
【００５４】
乗車人数監視システム１は、計数部８５が第１座標と第２座標とのいずれか一方に、距離が必要情報８１ａの判定閾値よりも小さい他方が複数存在する場合、第１座標と第２座標との距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する。この結果、乗車人数監視システム１は、複数の搭乗者ＯＢの顔、頭部等が接近していても、当該複数の搭乗者ＯＢの人数を算出できるので、乗車人数を計数する精度をより一層向上させることができる。
【００５５】
乗車人数監視システム１は、撮像部３、制御部８を含む各部が筐体２に設けられるので、当該乗車人数監視システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、乗車人数監視システム１は、車両１００に対する搭載性を向上することができる。
【００５６】
次に、図６のフローチャート図を参照して、制御部８の処理部８２の制御の一例を説明する。図６は、実施形態に係る乗車人数監視システム１の処理部８２の制御の一例を表すフローチャート図である。図６に示すフローチャート図は、車両１００の乗車人数の監視に関する処理手順の一例を示す。図６に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図６に示す処理手順は、処理部８２によって繰り返し実行される。
【００５７】
まず、乗車人数監視システム１の制御部８の処理部８２は、撮像部３によって撮像された深度画像Ｇを取得する（ステップＳ１０１）。そして、処理部８２は、顔認識処理を実行する（ステップＳ１０２）。顔認識処理は、例えば、ステップＳ１で取得した深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識し、認識した顔の３次元座標を算出する処理である。なお、顔認識処理の詳細については、後述する。処理部８２は、ステップＳ１０２の処理を実行することにより、上記の顔認識部８３として機能する。そして、処理部８２は、顔認識処理が終了すると、処理をステップＳ１０３に進める。
【００５８】
処理部８２は、上半身認識処理を実行する（ステップＳ１０３）。上半身認識処理は、例えば、ステップＳ１で取得した深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識し、認識した上半身の頭部の３次元座標を算出する処理である。なお、上半身認識処理の詳細については、後述する。処理部８２は、ステップＳ１０３の処理を実行することにより、上記の上半身認識部８４として機能する。そして、処理部８２は、上半身認識処理が終了すると、処理をステップＳ１０４に進める。
【００５９】
処理部８２は、乗車人数の計数処理を実行する（ステップＳ１０４）。計数処理は、例えば、ステップＳ２で算出した第１座標とステップＳ３で算出した第２座標とを組み合わせて乗車人数を計数する処理である。なお、計数処理の詳細については、後述する。処理部８２は、ステップＳ１０４の処理を実行することにより、上記の計数部８５として機能する。そして、処理部８２は、計数処理が終了すると、処理をステップＳ１０５に進める。
【００６０】
処理部８２は、乗車人数が車両１００の定員数を超えているか否かを判定する（ステップＳ１０５）。例えば、処理部８２は、ステップＳ１０４で計数された人数が、必要情報８１ａが示す車両１００の定員数を超えている場合に、乗車人数が車両１００の定員数を超えていると判定する。処理部８２は、乗車人数が車両１００の定員数を超えていると判定した場合（ステップＳ１０５でＹｅｓ）、処理をステップＳ１０６に進める。
【００６１】
処理部８２は、乗車人数が定員数を超えていることを警報させる（ステップＳ１０６）。例えば、処理部８２は、定員オーバーを示す警報情報を出力部４に出力させる。この結果、出力部４は、警報情報を搭乗者ＯＢに対して出力することで、定員オーバーを警報する。なお、処理部８２は、外部接続部７を介して警報情報による警報を警報装置９、メータユニット２０１等に要求してもよい。この結果、警報装置９、メータユニット２０１等は、警報情報に基づいて定員オーバーを警報できる。処理部８２は、ステップＳ１０６の処理を実行することにより、上記の動作制御部８６として機能する。処理部８２は、警報させると、図６に示す処理手順を終了させる。
【００６２】
処理部８２は、乗車人数が車両１００の定員数を超えていないと判定した場合（ステップＳ１０５でＮｏ）、処理をステップＳ１０７に進める。処理部８２は、人数を出力する（ステップＳ１０７）。例えば、処理部８２は、ステップＳ１０４で計数された人数を示す情報を出力部４に出力させる。この結果、出力部４は、人数を搭乗者ＯＢに対して出力することができる。なお、処理部８２は、外部接続部７を介してメータユニット２０１に人数を示す情報を出力してもよい。処理部８２は、人数を出力すると、図６に示す処理手順を終了させる。
【００６３】
図６に示す処理手順は、乗車人数が車両１００の定員数を超えていないと、ステップＳ１０７で人数を出力させる場合について説明したが、これに限定されない。例えば、図６に示す処理手順は、ステップＳ１０７の処理を削除し、乗車人数が車両１００の定員数を超えていない場合は、処理を行わない処理手順としてもよい。
【００６４】
以上で説明した乗車人数監視システム１は、動作制御部８６が計数部８５によって計数された人数が車両１００の定員数を超えている場合に警報する処理を行う。この結果、乗車人数監視システム１は、計数の精度が向上しているので、当該人数が車両１００定員数を超えたことを警報することで、警報の精度を向上させることができる。特に、複数の搭乗者ＯＢが顔を接近させている状態であっても、乗車人数監視システム１は、人数を正確に計数できるので、定員オーバーの警報精度も向上させることができる。
【００６５】
次に、図７のフローチャート図を参照して、制御部８の処理部８２による顔認識処理の一例を説明する。図７は、実施形態に係る乗車人数監視システム１の顔認識処理の一例を表すフローチャート図である。図７に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図７に示す処理手順は、処理部８２が図６に示すステップＳ１０２を実行することにより、起動される。
【００６６】
まず、乗車人数監視システム１の制御部８の処理部８２は、深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識する（ステップＳ２０１）。例えば、処理部８２は、深度画像Ｇの２次元画像Ｇ１を走査した結果と学習辞書の顔の特徴量とを照合し、２次元画像Ｇ１から搭乗者ＯＢの顔を認識する。処理部８２は、顔の認識結果を記憶部８１に記憶すると、処理をステップＳ２０２に進める。
【００６７】
処理部８２は、ステップＳ２０１の認識結果に基づいて、顔が認識できたか否かを判定する（ステップＳ２０２）。処理部８２は、顔が認識できていないと判定した場合（ステップＳ２０２でＮｏ）、図７に示す処理手順を終了させ、図６に示した処理手順に復帰する。処理部８２は、顔が認識できたと判定した場合（ステップＳ２０２でＹｅｓ）、処理をステップＳ２０３に進める。
【００６８】
処理部８２は、顔の中心を示す２次元座標を算出する（ステップＳ２０３）。例えば、処理部８２は、顔を認識した２次元画像Ｇ１における顔の中心を示す２次元座標（ｘ，ｙ）を算出する。そして、処理部８２は、算出した２次元座標（ｘ，ｙ）を３次元の第１座標に変換する（ステップＳ２０４）。例えば、処理部８２は、顔の中心を示す２次元座標（ｘ，ｙ）を距離画像Ｇ２上に投影、すなわち、顔の中心に対応した距離画像Ｇ２における３次元座標（ｘ，ｙ，ｚ）を第１座標として求める。また、処理部８２は、顔の中心を示す３次元座標（ｘ，ｙ，ｚ）を中心に予め定められた半径の球範囲のトリム平均値を算出して第１座標を求めてもよい。そして、処理部８２は、変換した第１座標を記憶部８１に記憶する（ステップＳ２０５）。その後、処理部８２は、図７に示す処理手順を終了させ、図６に示した処理手順に復帰する。
【００６９】
なお、図７に示す処理手順は、深度画像Ｇの２次元画像Ｇ１から顔を複数認識した場合、ステップＳ２０３からステップＳ２０５が複数の顔の全てに対してそれぞれの処理を行うことを前提としているが、これに限定されない。例えば、図７に示す処理手順は、ステップＳ２０３からステップＳ２０５の一連の処理を、認識した顔の数だけ繰り返す処理手順としてもよい。
【００７０】
次に、図８のフローチャート図を参照して、制御部８の処理部８２による上半身認識処理の一例を説明する。図８は、実施形態に係る乗車人数監視システム１の上半身認識処理の一例を表すフローチャート図である。図８に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図８に示す処理手順は、処理部８２が図６に示すステップＳ１０３を実行することにより、起動される。
【００７１】
まず、乗車人数監視システム１の制御部８の処理部８２は、深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識する（ステップＳ３０１）。例えば、処理部８２は、深度画像Ｇの距離画像Ｇ２を走査した結果と学習辞書の上半身の特徴量とを照合し、距離画像Ｇ２から搭乗者ＯＢの上半身を認識する。処理部８２は、上半身の認識結果を記憶部８１に記憶すると、処理をステップＳ３０２に進める。
【００７２】
処理部８２は、ステップＳ３０１の認識結果に基づいて、上半身が認識できたか否かを判定する（ステップＳ３０２）。処理部８２は、上半身が認識できていないと判定した場合（ステップＳ３０２でＮｏ）、図８に示す処理手順を終了させ、図６に示した処理手順に復帰する。処理部８２は、上半身が認識できたと判定した場合（ステップＳ３０２でＹｅｓ）、処理をステップＳ３０３に進める。
【００７３】
処理部８２は、上半身の頭部を推定する（ステップＳ３０３）。例えば、処理部８２は、距離画像Ｇ２で認識した上半身と学習辞書の頭部の特徴量とを照合し、上半身の頭部を推定する。そして、処理部８２は、推定した頭部の中心を示す３次元の第２座標を算出する（ステップＳ３０４）。例えば、処理部８２は、上半身を認識した距離画像Ｇ２における上半身の頭部の中心を示す３次元座標（ｘ，ｙ，ｚ）を算出する。なお、処理部８２は、距離画像Ｇ２における頭部の領域のトリム平均値を算出して第２座標を算出してもよい。そして、処理部８２は、算出した第２座標を記憶部８１に記憶する（ステップＳ３０５）。その後、処理部８２は、図８に示す処理手順を終了させ、図６に示した処理手順に復帰する。
【００７４】
なお、図８に示す処理手順は、深度画像の距離画像Ｇ２から上半身を複数認識した場合、ステップＳ３０３からステップＳ３０５が複数の上半身の全てに対してそれぞれの処理を行うことを前提としているが、これに限定されない。例えば、図８に示す処理手順は、ステップＳ３０３からステップＳ３０５の一連の処理を、認識した上半身の数だけ繰り返す処理手順としてもよい。
【００７５】
次に、図９のフローチャート図を参照して、制御部８の処理部８２による計数処理の一例を説明する。図９は、実施形態に係る乗車人数監視システム１の計数処理の一例を表すフローチャート図である。図９に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図９に示す処理手順は、処理部８２が図６に示すステップＳ１０４を実行することにより、起動される。
【００７６】
まず、乗車人数監視システム１の制御部８の処理部８２は、第１座標及び第２座標を一元化する（ステップＳ４０１）。例えば、処理部８２は、顔認識処理で算出した第１座標と上半身認識処理で算出した第２座標とを室内１０１の３次元空間にプロットする。そして、処理部８２は、第１座標と第２座標との距離が判定閾値よりも小さくなる組み合わせを検出する（ステップＳ４０２）。例えば、図５に示した一例の場合、処理部８２は、第１座標Ｃ１と第２座標Ｄ１との１対１の組み合わせと、第１座標Ｃ３と第２座標Ｄ３、Ｄ４との１対２の組み合わせとを２つ検出することになる。
【００７７】
処理部８２は、ステップＳ４０２の検出結果に基づいて、組み合わせを検出したか否かを判定する（ステップＳ４０３）。処理部８２は、組み合わせを検出していないと判定した場合（ステップＳ４０３でＮｏ）、処理を後述するステップＳ４０９に進める。処理部８２は、組み合わせを検出したと判定した場合（ステップＳ４０３でＹｅｓ）、処理をステップＳ４０４に進める。
【００７８】
処理部８２は、ステップＳ４０２の検出結果に基づいて、１対１の組み合わせパターンがあるか否かを判定する（ステップＳ４０４）。処理部８２は、１対１の組み合わせパターンがないと判定した場合（ステップＳ４０４でＮｏ）、処理を後述するステップＳ４０６に進める。処理部８２は、１対１の組み合わせパターンがあると判定した場合（ステップＳ４０４でＹｅｓ）、処理をステップＳ４０５に進める。
【００７９】
処理部８２は、１対１の第１座標と第２座標との組み合わせを紐付ける（ステップＳ４０５）。例えば、図５に示した一例の場合、処理部８２は、第１座標Ｃ１と第２座標Ｄ１とを紐付ける。なお、処理部８２は、１対１の第１座標と第２座標との組み合わせが複数ある場合、全ての組み合わせに対して紐付け処理を行う。処理部８２は、ステップＳ４０５の処理を終了すると、処理をステップＳ４０６に進める。
【００８０】
処理部８２は、ステップＳ４０２の検出結果に基づいて、１対１とは異なる組み合わせパターンがあるか否かを判定する（ステップＳ４０６）。処理部８２は、１対１とは異なる組み合わせパターンがないと判定した場合（ステップＳ４０６でＮｏ）、処理を後述するステップＳ４０８に進める。処理部８２は、１対１とは異なる組み合わせパターンがあると判定した場合（ステップＳ４０６でＹｅｓ）、処理をステップＳ４０７に進める。
【００８１】
処理部８２は、複数の組み合わせパターンの中から、距離が最小となる第１座標と第２座標との組み合わせを紐付ける（ステップＳ４０７）。例えば、図５に示した一例の場合、複数の組み合わせパターンは、第１座標Ｃ３と第２座標Ｄ３との組み合わせパターンと、第１座標Ｃ３と第２座標Ｄ４との組み合わせパターンとを含む。この場合、処理部８２は、第１座標Ｃ３と第２座標Ｄ３との距離Ｌ１、第１座標Ｃ３と第２座標Ｄ４との距離Ｌ２を求める。そして、処理部８２は、距離Ｌ１が距離Ｌ２よりも小さいので、第１座標Ｃ３と第２座標Ｄ３とを紐付ける。すなわち、処理部８２は、第１座標Ｃ３と第２座標Ｄ４とを紐付けない。処理部８２は、ステップＳ４０７の処理を終了すると、処理をステップＳ４０８に進める。
【００８２】
処理部８２は、紐付けられた第１座標と第２座標とのうち一方を正規化する（ステップＳ４０８）。例えば、処理部８２は、第１座標と第２座標とのうちの削除する３次元座標を指定する情報等に基づいて、紐付けられた第１座標と第２座標とのうちの一方を正規化し、他方を削除する。そして、処理部８２は、正規化した３次元座標を記憶部８１に記憶すると、処理をステップＳ４０９に進める。
【００８３】
処理部８２は、紐付けられていない第１座標及び第２座標を正規化する（ステップＳ４０９）。すなわち、処理部８２は、深度画像Ｇから搭乗者ＯＢに対して第１座標または第２座標の一方のみ算出した場合、当該算出した３次元座標を正規化する。そして、処理部８２は、正規化した３次元座標を記憶部８１に記憶すると、処理をステップＳ４１０に進める。なお、処理部８２は、紐付けられていない第１座標及び第２座標が記憶部８１に記憶されていない場合、ステップＳ４０９の処理を行わずに、処理をステップＳ４１０に進める。
【００８４】
処理部８２は、正規化した３次元座標の数を人数として計数する（ステップＳ４１０）。例えば、処理部８２は、正規化した３次元座標の数が４つである場合、人数は４人として計数する。そして、処理部８２は、計数した人数を人数情報８１ｂに記憶すると、図９に示す処理手順を終了させ、図６に示した処理手順に復帰する。
【００８５】
以上の説明では、乗車人数監視システム１は、計数した乗員人数に基づいて定員オーバーを監視する場合について説明したが、これに限定されない。例えば、乗車人数監視システム１は、計数した乗員人数を車両１００の乗車履歴として記憶部８１に記憶したり、車両１００を監視する外部装置に外部接続部７を介して出力したりしてもよい。
【００８６】
以上の説明では、乗車人数監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。乗車人数監視システム１は、例えば、制御部８が筐体２の外部に設けられ、配索材を介して各部と電気的に接続される構成であってもよく、例えば、制御部８が車両１００の各部を統括的に制御する車両ＥＣＵによって兼用されて構成されてもよい。また、乗車人数監視システム１は、例えば、車両１００に搭載されるドライブレコーダ、メータユニット、ナビゲーション装置、カーオーディオ装置等の他の車載機器に組み込んで実現してもよい。
【符号の説明】
【００８７】
１    乗車人数監視システム
２    筐体
３    撮像部
４    出力部
５    照明部
６    操作部
７    外部接続部
８    制御部
８１    記憶部
８１ａ    必要情報
８１ｂ    人数情報
８２    処理部
８３    顔認識部
８４    上半身認識部
８５    計数部
８６    動作制御部
９    警報装置
１００    車両
１０１    室内
１０５    運転席
１０６    助手席
１０７    後部座席
Ｃ１、Ｃ３    第１座標
Ｄ１、Ｄ２、Ｄ３、Ｄ４    第２座標
Ｇ    深度画像
Ｇ１    ２次元画像
Ｇ２    距離画像
ＯＢ    搭乗者
【図１】
2019219899.tif 000003
【図２】
2019219899.tif 000004
【図３】
2019219899.tif 000005
【図４】
2019219899.tif 000006
【図５】
2019219899.tif 000007
【図６】
2019219899.tif 000008
【図７】
2019219899.tif 000009
【図８】
2019219899.tif 000010
【図９】
2019219899.tif 000011