(57)【要約】【課題】乗員の誤検知を低減することができる人検知装置を提供することを目的とする。【解決手段】人検知装置は、画像を撮影する撮影部と、撮影部が撮像する画像において、複数の人が収まるスペースが前記スペースに収まる人数分の領域に分割され、分割された領域毎に設定されている検出領域の画像を抽出する抽出部と、抽出部が抽出した検出領域の画像に基づいて、人の存在の有無を判定する判定部、を備える。【選択図】図２
2019177851.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮影部と、
前記撮影部が撮像する前記画像において、複数の人が収まるスペースが前記スペースに収まる人数分の領域に分割され、前記分割された領域毎に設定されている検出領域の画像を抽出する抽出部と、
前記抽出部が抽出した前記検出領域の画像に基づいて、人の存在の有無を判定する判定部、
を備える人検知装置。
【請求項２】
前記抽出部は、
前記検出領域の画像から、前記人を含む画像を第１枠を用いて抽出し、
前記判定部は、
前記抽出部が前記第１枠を抽出できた場合に、前記人が存在していると判定する、請求項１に記載の人検知装置。
【請求項３】
前記判定部は、
前記抽出部が前記第１枠の画像を抽出できた場合、かつ前記第１枠の画像の面積が閾値未満の場合に、前記人が存在していないと判定する、請求項２に記載の人検知装置。
【請求項４】
前記抽出部は、
前記検出領域の画像から、前記人を固定する固定器具を含む画像を、第２枠を用いて抽出し、
前記判定部は、
前記第２枠の画像が抽出された場合に、前記人が前記固定器具を装着していると判定し、
前記第２枠の画像が抽出されなかった場合に、前記人が前記固定器具を装着していないと判定する、請求項２または請求項３に記載の人検知装置。
【請求項５】
前記検出領域は、前記複数の人が収まるスペースの端部を基準に、前記複数の人が収まるスペースの幅方向に分割された領域である、請求項１から請求項４のいずれか１項に記載の人検知装置。
【請求項６】
前記判定部は、前記撮影部が撮影した画像において前記検出領域の外に人の画像が含まれている場合、前記検出領域内に含まれる前記人の画像の面積が閾値未満の場合に前記検出領域の外の人に対応する画像を抽出しない、請求項１から請求項５のいずれか１項に記載の人検知装置。
【請求項７】
撮影部が、画像を撮影する撮影ステップと、
抽出部が、前記撮影ステップによって撮像された前記画像において、複数の人が収まるスペースが前記スペースに収まる人数分の領域に分割され、前記分割された領域毎に設定されている検出領域の画像を抽出する抽出ステップと、
判定部が、前記抽出ステップによって抽出された前記検出領域の画像に基づいて、人の存在の有無を判定する判定部、
を含む人検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人検知装置および人検知方法に関する。
【背景技術】
【０００２】
車両に乗車している乗員に対して、例えば日本では道路交通法第７１条の３により、全ての座席で座席ベルト（シートベルト）の装着の遵守が義務づけられている。さらに、シートベルトが装着されていない場合、運転者に警報する装置「シートベルトリマインダー」の導入が、今後、義務づけられる。
【０００３】
このシートベルトリマインダーは、例えば、乗員が座席に着座か否かを、例えばシートに加わる荷重を検出する着座センサで検出する。そして、シートベルトリマインダーは、さらにシートベルトの装着が装着されているか否かを検出し、装着されていない場合に報知する。
【０００４】
乗員がシートベルトを装着しているか否かを、例えばバックルに取り付けられているセンサが検出する（例えば、特許文献１参照）。また、乗員がシートベルトを装着しているか否かを、乗員を撮影して、撮影した画像から判定する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１７−５１７４４０号公報
【特許文献２】特開２００７−５５２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば後の座席などで乗員が隣接して着座している場合、撮影された画像において例えば隣接する乗員同士の手、腕、肩等が重なっている場合がある。このため、特許文献２に記載された技術では、このような画像から、乗員の検知を行った場合に、乗員を適切に検知できず、誤検知してしまう場合があった。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであって、乗員の誤検知を低減することができる人検知装置および人検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様に係る人検知装置（１）は、画像を撮影する撮影部（１１）と、前記撮影部が撮像する前記画像において、複数の人が収まるスペースが前記スペースに収まる人数分の領域に分割され、前記分割された領域毎に設定されている検出領域の画像を抽出する抽出部（１２１）と、前記抽出部が抽出した前記検出領域の画像に基づいて、人の存在の有無を判定する判定部（乗員判定部１２２）、を備える。
【０００９】
また、本発明の一態様に係る人検知装置において、前記抽出部は、前記検出領域の画像から、前記人を含む画像を第１枠を用いて抽出し、前記判定部は、前記抽出部が前記第１枠を抽出できた場合に、前記人が存在していると判定するようにしてもよい。
【００１０】
また、本発明の一態様に係る人検知装置において、前記判定部は、前記抽出部が前記第１枠の画像を抽出できた場合、かつ前記第１枠の画像の面積が閾値未満の場合に、前記人が存在していないと判定するようにしてもよい。
【００１１】
また、本発明の一態様に係る人検知装置において、前記抽出部は、前記検出領域の画像から、前記人を固定する固定器具を含む画像を、第２枠を用いて抽出し、前記判定部は、前記第２枠の画像が抽出された場合に、前記人が前記固定器具を装着していると判定し、前記第２枠の画像が抽出されなかった場合に、前記人が前記固定器具を装着していないと判定するようにしてもよい。
【００１２】
また、本発明の一態様に係る人検知装置において、前記検出領域は、前記複数の人が収まるスペースの端部を基準に、前記複数の人が収まるスペースの幅方向に分割された領域であるようにしてもよい。
【００１３】
また、本発明の一態様に係る人検知装置において、前記判定部は、前記撮影部が撮影した画像において前記検出領域の外に人の画像が含まれている場合、前記検出領域内に含まれる前記人の画像の面積が閾値未満の場合に前記検出領域の外の人に対応する画像を抽出しないようにしてもよい。
【００１４】
上記目的を達成するため、本発明の一態様に係る人検知方法は、撮影部が、画像を撮影する撮影ステップと、抽出部が、前記撮影ステップによって撮像された前記画像において、複数の人が収まるスペースが前記スペースに収まる人数分の領域に分割され、前記分割された領域毎に設定されている検出領域の画像を抽出する抽出ステップと、判定部が、前記抽出ステップによって抽出された前記検出領域の画像に基づいて、人の存在の有無を判定する判定部、を含む。
【発明の効果】
【００１５】
本発明によれば、乗員の誤検知を低減することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る車両の人検知装置の配置例を示す図である。
【図２】本実施形態に係る人検知装置の構成例を示す図である。
【図３】乗員が座席に着座している状態の例を示す図である。
【図４】本実施形態に係る撮影部が撮影した画像例を示す図である。
【図５】本実施形態に係る乗員を検出する領域の例を示す図である。
【図６】本実施形態に係る座席毎の検出領域の設定例を示す図である。
【図７】本実施形態に係る領域設定部１２４が行う検出領域を設定する処理手順例を示すフローチャートである。
【図８】図５において乗員がシートベルトを装着していない場合の第１の検出領域Ａｒ１の画像例である。
【図９】図８の後に乗員がシートベルトを装着した場合に、乗員を含む領域（第１枠）の画像を抽出した例である。
【図１０】車両の外の通行人を含む画像例を示す図である。
【図１１】検出領域に車両の外にいる人を含む画像例を示す図である。
【図１２】１つの検出領域に乗員の画像と、車両の外にいる人の画像を含む例を示す図である。
【図１３】本実施形態に係る人検知装置１が行う処理手順例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。以下に説明する人検知装置は、人が収まるスペースが複数有り、そのスペース毎に人が並んで着席するような、例えば車両、ジェットコースター（ローラーコースター）、ゴーカートなどに適用することも可能である。人検知装置を車両に適用する場合は、固定器具がシートベルトであり、固定器具によって固定される対象が乗員である。人検知装置をジェットコースターに適用する場合は、固定器具が安全バーであり、固定器具によって固定される対象が乗客である。なお、本実施形態の固定器具は、シートベルトのように長さが伸びたり縮んだりしてもよく、安全バーのように長さが固定であってもよい。また、固定器具は、人が何かに固定されるだけでなく、人に何かが固定され、相対的位置が変わらない形状の器具である。
【００１８】
なお、以下の説明では、人検知装置を車両で用いる例を説明する。このため、固定器具の例としてシートベルトを例に説明し、固定器具によって固定される人の例として乗員を例に説明する。
【００１９】
＜第１実施形態＞
図１は、本実施形態に係る車両２の人検知装置１の配置例を示す図である。図１に示す例において人検知装置１Ａは、車両２の、例えば、ダッシュボード付近に設置または取り付けられている。なお、人検知装置１Ａは、バックミラー部やフロントガラス上部等に設置または取り付けられていてもよい。人検知装置１Ａは、前の座席に着座している乗員の検知とシートベルトが装着されているか否かの検知を行う。また、人検知装置１Ｂは、車両２の、例えば、コンソールや天井やバックミラー部やフロントガラス上部等に設置または取り付けられている。人検知装置１Ｂは、後ろの座席に着座している乗員の検知とシートベルトが装着されているか否かの検知を行う。また、図１において、符号ｇ１０１は、人検知装置１が撮影する画角例を示している。なお、以下の説明において、人検知装置１Ａ、人検知装置１Ｂのうち１つを特定しない場合は、人検知装置１という。
【００２０】
人検知装置１は、撮影した画像に基づいて、乗員の有無を判定する。また、人検知装置１は、撮影した画像からシートベルトを含む領域の画像が検出できたか否かに基づいて、シートベルトが装着されているか否かの検知を行う。
【００２１】
次に、人検知装置１の構成例を説明する。
図２は、本実施形態に係る人検知装置１の構成例を示す図である。図２に示すように、人検知装置１は、撮影部１１（検出部）、判定部１２、記憶部１３、通信部１４、および報知部１５を備える。なお、人検知装置１は、情報の送受信を、ネットワークを介して、外部装置３と行うようにしてもよい。
【００２２】
撮影部１１は、前の座席または後ろの座席を含む画像を撮影する。なお、撮影部１１は、所定の時間間隔で撮影を行う。撮影部１１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮影装置またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮影装置等を含む。乗員が座席に着座している場合、撮影部１１は、乗員の頭部に関する情報を検出していることになる。乗員が座席に着座していない場合、撮影部１１は、乗員の頭部の位置に関する情報を撮影できなかった、すなわち乗員の頭部の位置に関する情報を検出できなかったことになる。
【００２３】
判定部１２は、抽出部１２１、乗員判定部１２２、ベルト判定部１２３、領域設定部１２４を備える。
判定部１２は、撮影部１１が撮影した画像を取得する。判定部１２は、ベルト判定部１２３が判定した結果に基づいて、乗員がシートベルトを装着していない場合、警告情報を生成して報知部１５に出力する。
なお、判定部１２は、乗員が着座していないときの座席を含む領域を撮影し、撮影した画像から座席の画像を抽出する。そして、判定部１２は、抽出した座席の画像に基づいて座席の位置を記憶部１３に記憶させる。
【００２４】
抽出部１２１は、記憶部１３が記憶するアルゴリズムと座席毎に設定されている検出領域を用いて、取得した画像から乗員を含む領域の画像を抽出する。抽出部１２１は、検出領域毎、すなわち座席毎に、記憶部１３が記憶するアルゴリズムを用いて、乗員を含む領域の画像を抽出する。なお、本実施形態では、抽出した領域を第１枠という。乗員の体格や顔の大きさ等により、第１枠の大きさは、乗員毎に異なる。また、仮に、座席に荷物が置かれていた場合、抽出部１２１は、アルゴリズムにより、乗員が座席に着座していないと判定して、その座席に対して第１枠を抽出しない。
【００２５】
乗員判定部１２２は、抽出部１２１によって第１枠の画像が抽出されなかった場合、乗員が着座していないと判定する。乗員判定部１２２は、抽出部１２１によって第１枠の画像が抽出された場合、乗員が着座していると判定する。
【００２６】
ベルト判定部１２３は、記憶部１３が記憶するアルゴリズムによって、抽出部１２１が抽出した第１枠の画像に対して、乗員がシートベルトを含む領域の画像を抽出する。なお、本実施形態では、抽出した領域を第２枠という。ベルト判定部１２３は、抽出した第２枠に基づいて、シートベルトを乗員が装着しているか否かを判定する。ベルト判定部１２３は、第２枠を抽出できた場合、乗員がシートベルトを装着していると判定する。なお、ベルト判定部１２３は、第２枠を抽出できない場合、乗員がシートベルトを装着していないと判定する。また、ベルト判定部１２３は、第２枠を抽出できても、例えば第２枠の横幅が所定値以内の場合、乗員がシートベルトを装着していないと判定する。
【００２７】
領域設定部１２４は、例えば、乗員が座席に着座していないときの画像を撮影し、撮影した画像に基づいて、検出領域を座席毎に設定する。領域設定部１２４は、設定した検出領域それぞれを示す情報を記憶部１３に記憶させる。なお、領域設定部１２４は、例えば、大人の乗員が座席に着座しているときの画像を撮影し、撮影した画像に基づいて、第２枠を座席毎に設定するようにしてもよい。領域設定部１２４は、設定した第２枠それぞれを示す情報を記憶部１３に記憶させるようにしてもよい。なお、座席毎の検出領域は、例えば車種毎に出荷時に設定しておくようにしてもよい。この場合、領域設定部１２４は、人検知装置１を車両２（図１）に設置したときに、利用者の指示や操作に応じて、車種にあった検出領域を選択するようにしてもよい。なお、利用者は、検出領域の設定を、外部装置３（図２）を操作して行う。
【００２８】
記憶部１３は、座席の位置を記憶する。記憶部１３は、乗員を検知するための検出領域を示す情報を座席毎に記憶する。なお、記憶部１３は、シートベルトを検知するための第２枠を示す情報を座席毎に記憶するようにしてもよい。記憶部１３は、画像から乗員を含む領域の画像を抽出するアルゴリズムを記憶する。記憶部１３は、画像からシートベルトの画像を検出するアルゴリズムを記憶する。記憶部１３は、乗員であるか否かを判定する領域の面積の閾値を記憶する。また、記憶部１３は、画像から乗員を含む領域の画像を抽出するための学習モデルを記憶する。記憶部１３は、画像からシートベルトの画像を検出するための学習モデルを記憶する。
【００２９】
通信部１４は、判定部１２が出力する情報を、ネットワークを介して外部装置３に送信する。通信部１４は、外部装置３が送信した情報を、ネットワークを介して受信し、受信した情報を判定部１２に出力する。外部装置３が送信した情報には、例えば、抽出部１２１が用いるアルゴリズム、判定位置を示す情報等が含まれる。判定部１２が出力する情報は、例えば撮影部１１が撮像した画像、または、抽出部１２１が抽出した枠内の画像である。
【００３０】
報知部１５は、判定部１２が出力する警告情報を報知する。報知部１５は、例えば、スピーカー、ＬＥＤ（発光ダイオード）表示装置、液晶表示装置等である。
【００３１】
次に、乗員が座席に着座している状態の例を説明する。
図３は、乗員が座席に着座している状態の例を示す図である。図３において、座席の長手方向をｘ軸方向、高さ方向をｙ軸方向とする。図３に示す例では、後ろの座席において、ｘ軸方向に乗員Ｐ１〜Ｐ３が座席に着座している例である。
符号４は座席である。符号４１はヘッドレストである。符号４２はシートバックである。符号４３はシートクッションである。符号４４はシートベルトである。また、着座している乗員Ｐ１〜Ｐ３は、成人であるとする。また、乗員Ｐ１〜Ｐ３それぞれは、シートベルト４４を装着している。
【００３２】
次に、撮影部１１が撮影した画像の例を説明する。図４は、本実施形態に係る撮影部１１が撮影した画像例を示す図である。図４は、前の座席を撮影した例である。符号ｇ１０１は、撮影部１１が撮影した画像例である。図４に示す例では、領域ｇ１１１において、乗員Ｐ１とＰ２の手が重なっている。また、領域ｇ１１２において、乗員Ｐ２とＰ３の手が重なっている。
【００３３】
図４のような画像を、従来の画像認識手法で認識させた場合は、領域ｇ１１１やｇ１１２のように２人の乗員が重なっている領域において、乗員の一部の画像であっても乗員と判定してしまう場合があった。このような場合、従来技術の手法では、後ろの座席に乗員が５人、着座していると誤検出してしまう場合があった。
【００３４】
このため、本実施形態では、乗員を検出する領域を、座席毎に予め設定しておく。
図５は、本実施形態に係る乗員を検出する領域の例を示す図である。図５は、図４の撮像された画像ｇ１０１と同じである。乗員Ｐ１が、第１の座席に着座している。乗員Ｐ２が、第２の座席に着座している。乗員Ｐ３が、第３の座席に着座している。
図５において、検出領域Ａｒ１は、第１の座席に対して設定されている第１の検出領域である。検出領域Ａｒ２は、第２の座席に対して設定されている第２の検出領域である。検出領域Ａｒ３は、第３の座席に対して設定されている第３の検出領域である。
すなわち、本実施形態では、座席の幅方向（ｘ軸方向）を座席に着座可能な人数に応じて分割設定し、座席毎の検出領域に設定している。
【００３５】
判定部１２は、撮影部１１が撮影した画像ｇ１０１から、このように予め設定されている検出領域毎に、乗員の検知を行う。なお、判定部１２は、画像ｇ１０１から、先に乗員の検知を行った後に、検出領域ごとに乗員の枠であるかを判定するようにしてもよい。
【００３６】
次に、座席毎に領域を設定する例を、図６と図７と用いて説明する。
図６は、本実施形態に係る座席毎の検出領域の設定例を示す図である。図６は、後ろの座席に乗員が着座していないときに撮像した画像ｇ１０２である。なお、図６において座席４は、３人の乗員が収まることが可能なスペースである。
図７は、本実施形態に係る領域設定部１２４が行う検出領域を設定する処理手順例を示すフローチャートである。
【００３７】
（ステップＳ１０１）撮影部１１は、座席に乗員が着座していないときに撮影を行う。
（ステップＳ１０２）領域設定部１２４は、撮像された画像ｇ１０２に対して特徴量抽出、輪郭抽出等の画像処理を行い、座席の左右の幅を求める。なお、領域設定部１２４は、座席４の端部を基準として幅を求める。
【００３８】
（ステップＳ１０３）領域設定部１２４は、画像ｇ１０２から、例えば、特徴量抽出、輪郭抽出等の画像処理を行い、ヘッドレストの領域の画像（符号４１ａ〜４１ｃ）を抽出する。
【００３９】
（ステップＳ１０４）領域設定部１２４は、ステップＳ１０２で求めた座席の幅を、抽出できたヘッドレストの数で分割する。続けて、領域設定部１２４は、撮影された画像ｇ１０２内に、分割数の領域を設定する。なお、領域設定部１２４は、例えば、座席の上部（シートバックの上部）の画像とヘッドレストの画像と座席の下部（シートバックの下部）の画像が含まれるように、各検出領域を設定する。続けて、領域設定部１２４は、設定した検出領域を示す情報を記憶部１３に記憶させる。すなわち、領域設定部１２４は、座席４の端部を基準として、座席の幅方向に検出領域を分割する。
【００４０】
なお、図６に示すように、隣接する検出領域Ａｒ１とＡｒ２、隣接する検出領域Ａｒ２とＡｒ３は、領域の一部が重なっていてもよい。
なお、図５等では、検出領域について、後ろの座席を例に説明したが、前の座席についても検出領域を予め設定しておく。
【００４１】
次に、判定部１２の処理の具体例を説明する。
図８は、図５において乗員Ｐ１がシートベルトを装着していない場合の検出領域Ａｒ１の画像例である。
まず、抽出部１２１は、撮影部１１が撮影した画像から、検出領域Ａｒ１の画像を抽出する。なお、抽出部１２１は、座席毎に検出領域Ａｒｎ（ｎは１以上で最大値が座席数の整数）を用いた画像の抽出を行う。
【００４２】
続けて、抽出部１２１は、検出領域Ａｒ１の画像に対して、記憶部１３が記憶するアルゴリズムを用いて、乗員を含む領域（第１枠Ｆｒ１）の画像を抽出する。乗員判定部１２２は、第１枠Ｆｒ１の画像が抽出されたため、座席に乗員が着座していると判定する。
【００４３】
続けて、ベルト判定部１２３は、第１枠Ｆｒ１内の画像から、画像認識の手法を用いて、シートベルトを含む領域（第２枠）の画像を検出する。ベルト判定部１２３は、第２枠が抽出できないので、乗員Ｐ１がシートベルトを装着していないと判定する。
【００４４】
図９は、図８の後に乗員Ｐ１がシートベルトを装着した場合に、乗員Ｐ１を含む領域（第１枠）の画像を抽出した例である。
【００４５】
ベルト判定部１２３は、第１枠Ｆｒ１内の画像から、画像認識の手法を用いて、シートベルトを含む領域（第２枠Ｆｒｂ１）の画像を抽出する。なお、第２枠Ｆｒｂ１は、第１枠Ｆｒ１の画像の内側に抽出される。また、ベルト判定部１２３は、第２枠Ｆｒｂ１のｘ軸方向の幅が所定の長さを有しているか否かを判定し、所定の長さを有していればシートベルトを装着していると判定するようにしてもよい。例えば、シートベルトが装着されていない場合、第２枠Ｆｒｂ１のｘ軸方向の幅が狭くなる。
ベルト判定部１２３は、シートベルトの画像が抽出できたため、乗員がシートベルトを装着していると判定する。
【００４６】
なお、例えば、車両２（図１）が停止しているときなどに撮影した場合、撮影された画像ｇ１０３（図１１）に、リアガラスやサイドガラス越しの通行人等が撮影される場合がある。
図１０は、車両の外の通行人を含む画像例を示す図である。
図１０に示す例は、リアガラス越しの通行人等が撮影された例である。符号ｇ２０１は、リアガラスの画像である。
【００４７】
通行人Ｐ１１が車両の近くを歩いている場合は、車両の窓越しに通行人Ｐ１１の画像も撮像される。このような場合、通行人Ｐ１１の画像は、例えば図１０のように通行人Ｐ１１の一部が撮像される。このため、例えば検出領域Ａｒ２内で通行人Ｐ１１の画像が抽出された場合、検出領域Ａｒ２内で抽出された通行人Ｐ１１の画像面積は、図１０のように、車両内で座席に着座している乗員の画像面積より小さい。従って、乗員判定部１２２は、検出領域内で抽出された人の画像面積が所定の面積未満である場合、乗員ではないと判定する。
また、乗員判定部１２２は、抽出できた通行人Ｐ１１に対応する第１枠Ｆｒ１１のｙ軸方向の底辺Ｆｒ１１Ｕが、所定位置に設定されている境界線Ｒｆよりも下まで存在しているか否かを判定するようにしてもよい。この場合、乗員判定部１２２は、第１枠Ｆｒ１１の底辺Ｆｒ１１Ｕが境界線Ｒｆよりも下まで存在している場合に乗員であると判定し、第１枠Ｆｒ１１の底辺Ｆｒ１１Ｕが境界線Ｒｆよりも下まで存在していない場合に乗員ではないと判定するようにしてもよい。すなわち、乗員判定部１２２は、第１枠Ｆｒ１１が、境界線Ｒｆを跨いでいる場合に乗員であると判定し、境界線Ｒｆを跨いでいない場合に乗員ではないと判定するようにしてもよい。
なお、乗員判定部１２２は、各検出領域内に通行人Ｐ１１の一部（例えば顔のみ）の画像しか含まれていない場合、記憶部１３が記憶するアルゴリズムによって人の画像として抽出しない。なお、図１０に示した例では、境界線Ｒｆがｙ軸方向に設定されている例を説明したが、境界線Ｒｆはｘ軸方向に設定されていてもよい。また、境界線Ｒｆは、直線であってもよく、曲線であってもよい。
【００４８】
しかしながら、図１１に示すように、座席に乗員が着座していない場合、検出領域Ａｒ１の画像に、乗員ではない通行人Ｐ１１を含む画像を含んでしまう場合もあり得る。図１１は、検出領域に車両の外にいる人を含む画像例を示す図である。
このような例の画像は、人検知装置１が、ダッシュボードに設置され、前の座席を撮影した場合、後ろの座席に乗員が着座している場合にも発生する可能性がある。
【００４９】
このような場合、抽出部１２１は、検出領域Ａｒ１内の画像に対して、記憶部１３が記憶するアルゴリズムを用いて、人を含む領域（第１枠Ｆｒ１１）の画像を抽出する。第１枠Ｆｒ１１の画像は、このようにして検出領域Ａｒ１内で抽出された画像である。乗員判定部１２２は、この第１枠Ｆｒ１１の面積を、記憶部１３が記憶する所定の面積と比較し、第１枠Ｆｒ１１の面積が所定の面積未満であると判定し、第１枠Ｆｒ１１内の画像に対応する人を乗員ではないと判定する。
【００５０】
しかしながら、乗員が着座している場合は、図１２に示すように、検出領域Ａｒ１の画像に乗員Ｐ１を含む画像と、通行人Ｐ１１を含む画像を含んでしまう場合もあり得る。図１２は、１つの検出領域に乗員の画像と、車両の外にいる人の画像を含む例を示す図である。
【００５１】
このような場合、抽出部１２１は、検出領域Ａｒ１内の画像に対して、記憶部１３が記憶するアルゴリズムを用いて、人を含む領域（第１枠Ｆｒ１）の画像と、人を含む領域（第１枠Ｆｒ１１）の画像を抽出する。
乗員判定部１２２は、抽出した第１枠Ｆｒ１の面積を、記憶部１３が記憶する所定の面積と比較し、第１枠Ｆｒ１１の面積が所定の面積以上の場合、乗員であると判定する。また、乗員判定部１２２は、抽出した第１枠Ｆｒ１１の面積を、記憶部１３が記憶する所定の面積と比較し、第１枠Ｆｒ１１の面積が所定の面積未満であると判定し、乗員ではないと判定する。
【００５２】
これにより、本実施形態によれば、車両２（図１）外にいる乗員ではない人を、乗員として誤検出することを防ぐことができる。
【００５３】
次に、人検知装置１が行う処理手順例を説明する。
図１３は、本実施形態に係る人検知装置１が行う処理手順例を示すフローチャートである。なお、座席毎に乗員を検知するための領域が設定するであるとする。
【００５４】
（ステップＳ１０１）撮影部１１は、座席を含む画像を撮影する。
（ステップＳ１０２）抽出部１２１は、撮影部１１が撮影した画像から、座席毎に設定されている検出領域の画像を抽出する。処理後、判定部１２は、ステップＳ１０３〜Ｓ１１１の処理を、座席毎に行う。
【００５５】
（ステップＳ１０３）抽出部１２１は、抽出した検出領域の画像から、座席毎に乗員を含む領域（第１枠）の画像を抽出する。
【００５６】
（ステップＳ１０４）抽出部１２１は、乗員を含む領域の画像を抽出できたか否かを判定する。抽出部１２１は、乗員を含む領域の画像を抽出できなかったと判定した場合（ステップＳ１０４；ＮＯ）、ステップＳ１０６の処理に進める。抽出部１２１は、乗員を含む領域の画像を抽出できたと判定した場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５の処理に進める。
【００５７】
（ステップＳ１０５）乗員判定部１２２は、抽出した第１枠の面積を、記憶部１３が記憶する所定の面積と比較し、第１枠の面積が所定の面積以上であるか否かを判定する。乗員判定部１２２は、第１枠の面積が所定の面積未満であると判定した場合（ステップＳ１０５；ＮＯ）、ステップＳ１０６の処理に進める。乗員判定部１２２は、第１枠の面積が所定の面積以上であると判定した場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０７の処理に進める。
【００５８】
（ステップＳ１０６）乗員判定部１２２は、乗員が座席に着座していないと判定する。処理後、判定部１２は、乗員判定の処理を終了する。
【００５９】
（ステップＳ１０７）乗員判定部１２２は、乗員が座席に着座していると判定する。処理後、乗員判定部１２２は、ステップＳ１０８の処理に進める。
（ステップＳ１０８）ベルト判定部１２３は、ステップＳ２で抽出された領域の画像からシートベルトを含む領域（第２枠）の画像を抽出する。処理後、ベルト判定部１２３は、ステップＳ１０９の処理に進める。
【００６０】
（ステップＳ１０９）ベルト判定部１２３は、シートベルトを含む領域の画像を抽出できたか否かを判定する。ベルト判定部１２３は、シートベルトを含む領域の画像を抽出できなかったと判定した場合（ステップＳ１０９；ＮＯ）、ステップＳ１１０に処理を進める。ベルト判定部１２３は、シートベルトを含む領域の画像を抽出できたと判定した場合（ステップＳ１０９；ＹＥＳ）、ステップＳ１１２に処理を進める。
【００６１】
（ステップＳ１１０）ベルト判定部１２３は、座席に着座している乗員がシートベルトを装着していないと判定する。ベルト判定部１２３は、ステップＳ１１１の処理に進める。
（ステップＳ１１１）ベルト判定部１２３は、警告情報を生成する。続けて、報知部１５は、ベルト判定部１２３が生成した警告情報を報知する。処理後、判定部１２は、乗員判定の処理を終了する。
【００６２】
（ステップＳ１１２）ベルト判定部１２３は、座席に着座している乗員がシートベルトを装着していると判定する。処理後、判定部１２は、乗員判定の処理を終了する。
【００６３】
なお、図５に示した例において、例えば検出領域Ａｒ１の画像は、乗員Ｐ１の左手の画像に、乗員Ｐ２の右手の一部の画像が重なっている。このような場合、抽出部１２１は、乗員Ｐ１の乗員を含む領域を第１枠で抽出し、乗員Ｐ２の腕を含む領域を別の第１枠で抽出する。なお、抽出部１２１は、例えば、パターンマッチング、クラスタリング等の画像処理の手法を用いて、乗員Ｐ１の画像と乗員Ｐ２の画像を分離する。このようにして抽出された検出領域Ａｒ１内の乗員Ｐ２の第１枠の面積が所定の面積以下であるため、乗員判定部１２２は、検出領域Ａｒ１において乗員Ｐ１のみを検知する。
【００６４】
また、例えば図５において、乗員Ｐ１と乗員Ｐ３が着座し、乗員Ｐ２が乗車していず、検出領域Ａｒ２に、乗員Ｐ１の腕の画像や乗員Ｐ３の腕の画像が含まれている場合、抽出される第１枠の面積が閾値未満であるため、乗員判定部１２２は、検出領域Ａｒ２に乗員が着座していないと判定する。
【００６５】
以上のように、本実施形態では、撮像された画像において、座席の幅方向に乗員を検知するための検出領域を設定しておき、その検出領域内の画像に基づいて、乗員の有無、シートベルトが装着されているか否かを判定するようにした。また、本実施形態では、検出領域内の画像に対して乗員の画像を抽出するようにした。
これにより、本実施形態によれば、図５等のように、撮影した画像において、隣り合う乗員の手等が重なっていても、適切に乗員を検知することができる。
【００６６】
また、本実施形態では、検出領域内の画像に対して抽出した乗員の画像の面積が、閾値未満の場合に乗員ではないと判定するようにした。
これにより、本実施形態によれば、例えばリアガラス越しに撮影された通行人等の車外の人を乗員と誤検出することを防ぐことができる。
【００６７】
なお、本実施形態では、判定部１２が、検出領域から、乗員を含む領域（第１枠）の画像と、シートベルトを含む領域（第２枠）の画像それぞれを抽出する例を説明したが、これに限らない。判定部１２は、撮影された画像を、通信部１４を介して外部装置３へ送信するようにしてもよい。この場合、外部装置３は、受信した画像に対して検出領域それぞれの画像を抽出し、抽出した検出領域の画像から第１枠の抽出、第２枠の抽出、乗員が座席に着座しているか否かの判定、乗員がシートベルトを装着しているか否かの判定のうち、少なくとも１つを行うようにしてもよい。そして、外部装置３は、判定結果を人検知装置１へ送信するようにしてもよい。このように、判定部１２が行う処理をクラウド上で処理するようにしてもよい。なお、外部装置３は、判定部１２が用いるアルゴリズムのプログラムがインストールされたスマートフォン等であってもよい。
【００６８】
また、図１に示した例では、後部の座席の乗員に対する検知のために、２つの人検知装置１を用いる例を説明したが、これに限らない。人検知装置１は、１つであってもよい。この場合、例えば人検知装置１がダッシュボード上に設置され、後部の座席を含めて撮影するようにしてもよい。この場合、判定部１２は、バックルに取り付けられているバックルセンサが検出した検出結果も用いて、座席に着座している乗員の画像が基準位置より下であることを検知した場合、シートベルトの装着に対して警告情報を報知するようにしてもよい。
【００６９】
また、外部装置３は、受信した画像を用いて、第１枠を抽出するためのアルゴリズム、第２枠を抽出するためのアルゴリズム、乗員を含む画像を抽出するアルゴリズム、基準位置を検出するアルゴリズムを学習により更新するようにしてもよい。そして、外部装置３は、学習した上記のアルゴリズムを、人検知装置１へ送信するようにしてもよい。この場合、人検知装置１は、外部装置３から受信したアルゴリズムを記憶部１３に記憶させる。
【００７０】
なお、上述した例では学習モデルとして、乗員、シートベルトの例を説明したが、乗員がシートベルトを装着した画像の学習モデルであってもよい。この場合、判定部１２は、乗員がシートベルトを装着した画像の学習モデルを用いて、乗員がシートベルトを装着した画像を学習させることで、乗員の検知とシートベルトの検知アルゴリズムを生成するようにしてもよい。
また、上述した例では、乗員の画像を検出した後、シートベルトの画像が抽出できた場合にシートベルトを装着していると判定する例を説明したが、これに限らない。例えば、判定部１２は、抽出されたシートベルトの画像が、所定位置に設定されている境界線を跨いでいる場合にシートベルトを装着していると判定し、跨いでいない場合にシートベルトを装着していないと判定するようにしてもよい。なお、所定位置は、例えば座席のｘ塾方向の中心位置またはｙ軸方向の中心位置あるいはｙ軸方向のヘッドレストの下側の位置等である。また、判定部１２は、シートベルトを装着しているか否かを、抽出できた乗員の画像の面積に対するシートベルトの画像の面積の割合が所定の割合以上の場合にシートベルトを装着していると判定し、割合が所定の割合未満の場合にシートベルトを装着していないと判定するようにしてもよい。
【００７１】
なお、本発明における判定部１２の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより判定部１２が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７３】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【００７４】
１，１Ａ，１Ｂ…人検知装置、１１…撮影部、１２…判定部、１３…記憶部、１４…通信部、１５…報知部、１２１…抽出部、１２２…乗員判定部、１２３…ベルト判定部、１２４…領域設定部、４４…シートベルト、４…座席、Ａｅ１，Ａｒ２，Ａｒ３，Ａｒｎ…検出領域、Ｆｒ１，Ｆｒ１１…第１枠、Ｆｒｂ１…第２枠、Ｆｒ１１Ｕ…底辺
【図１】
2019177851.tif 000003
【図２】
2019177851.tif 000004
【図３】
2019177851.tif 000005
【図４】
2019177851.tif 000006
【図５】
2019177851.tif 000007
【図６】
2019177851.tif 000008
【図７】
2019177851.tif 000009
【図８】
2019177851.tif 000010
【図９】
2019177851.tif 000011
【図１０】
2019177851.tif 000012
【図１１】
2019177851.tif 000013
【図１２】
2019177851.tif 000014
【図１３】
2019177851.tif 000015