(57)【要約】【課題】乗員状態の特定精度を確保する乗員状態特定システムの提供。【解決手段】乗員状態特定システムは、撮像センサにより乗員を撮像してなる距離画像が取得される車両ＥＣＵを、含んで構成される。車両ＥＣＵは、飛行時間法により乗員を撮像してなる距離画像を取得し、距離画像に含まれる画素の距離値に基づき乗員状態ＯＳを特定して、当該特定結果を表す特定情報Ｉを生成する。距離画像に映る乗員からの反射光が乗員状態ＯＳの特定にとって充足する場合には、距離画像のうち乗員が映る乗員画素領域の複数距離値に基づくことで、乗員状態ＯＳを特定する。また一方、反射光が乗員状態ＯＳの特定にとって不足する場合には、距離画像のうち車両内において乗員に着用されたシートベルトが映るベルト画素領域の複数距離値に基づき乗員状態ＯＳを特定する。【選択図】図９
2019174161.tif 000002
【特許請求の範囲】
【請求項１】
車両（２）内に搭乗した乗員（８）の状態（ＯＳ）を特定する乗員状態特定装置（５）であって、
飛行時間法（ＴＯＦ）により前記乗員を撮像してなる距離画像（３１０）を、取得する画像取得ユニット（Ｓ１０）と、
前記距離画像に含まれる画素の距離値に基づき前記状態を特定して、当該特定結果を表す特定情報（Ｉ）を生成する情報生成ユニット（Ｓ３０）とを、備え、
前記情報生成ユニットは、
前記画像取得ユニットにより取得された前記距離画像に映る前記乗員からの反射光が前記状態の特定にとって充足する場合に、前記画像取得ユニットにより取得された前記距離画像のうち前記乗員が映る乗員画素領域（３１０ａ）の複数距離値に基づくことにより、前記状態を特定する充足特定部（Ｓ３０２）と、
前記反射光が前記状態の特定にとって不足する場合に、前記画像取得ユニットにより取得された前記距離画像のうち前記車両内において前記乗員に着用されたシートベルト（２１）が映るベルト画素領域（３１０ｂ）の複数距離値に基づき前記状態を特定する不足特定部（Ｓ３０５）とを、有する乗員状態特定装置。
【請求項２】
前記情報生成ユニットは、
前記ベルト画素領域を抽出するベルト抽出部（Ｓ３０３，Ｓ３０４）を、さらに有し、
前記不足特定部は、
前記反射光が不足する場合に、前記画像取得ユニットにより取得された前記距離画像のうち前記乗員が映ると推定される推定画素領域（３１０ｃ）の複数距離値を、前記ベルト抽出部により抽出された前記ベルト画素領域の複数距離値から補間して、当該補間結果に基づき前記状態を特定する請求項１に記載の乗員状態特定装置。
【請求項３】
前記充足特定部と前記不足特定部とは、共通のアルゴリズムにより、それぞれ前記反射光が充足する場合と不足する場合とで前記状態を特定する請求項２に記載の乗員状態特定装置。
【請求項４】
前記情報生成ユニットは、
前記ベルト抽出部により前記ベルト画素領域が抽出されない場合に、前記特定情報の生成を中止する特定中止部（Ｓ３０６）を、さらに有する請求項２又は３に記載の乗員状態特定装置。
【請求項５】
車両内に搭乗した乗員の状態を特定する乗員状態特定システム（１）であって、
飛行時間法（ＴＯＦ）により前記乗員を撮像する撮像センサ（３０）と、
前記撮像センサにより前記乗員を撮像してなる前記距離画像が前記画像取得ユニットにより取得される請求項１〜４のいずれか一項に記載の乗員状態特定装置（５）とを、含んで構成される乗員状態特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、乗員状態特定装置及び乗員状態特定システムに、関する。
【背景技術】
【０００２】
従来、車両内に搭乗した乗員の状態、例えば位置、体格又は姿勢等を特定する技術は、特許文献１に開示されている。この特許文献１の開示技術では、カメラにより撮像されてなる撮像画像に映るシートベルト上に抽出された複数地点での輝度値に基づき、カメラから乗員までの距離が計測されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１６１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の開示技術では、撮像画像に映るシートベルト上の輝度値から、カメラ及び乗員間の距離を予測しているに過ぎない。そのため、乗員状態としての乗員位置を特定する特定精度に、改善の余地がある。また、撮像画像に映る乗員の輝度値を抽出可能な場合でも、同画像に映るシートベルト上の輝度値を間接的に利用するため、特定精度の低下は否めない。
【０００５】
そこで本開示の課題は、乗員状態の特定精度を確保する乗員状態特定装置及び乗員状態特定システムを、提供することにある。
【課題を解決するための手段】
【０００６】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【０００７】
本開示の第一態様は、
車両（２）内に搭乗した乗員（８）の状態（ＯＳ）を特定する乗員状態特定装置（５）であって、
飛行時間法（ＴＯＦ）により乗員を撮像してなる距離画像（３１０）を、取得する画像取得ユニット（Ｓ１０）と、
距離画像に含まれる画素の距離値に基づき前記状態を特定して、当該特定結果を表す特定情報（Ｉ）を生成する情報生成ユニット（Ｓ３０）とを、備え、
情報生成ユニットは、
画像取得ユニットにより取得された距離画像に映る乗員からの反射光が前記状態の特定にとって充足する場合に、画像取得ユニットにより取得された距離画像のうち乗員が映る乗員画素領域（３１０ａ）の複数距離値に基づくことにより、前記状態を特定する充足特定部（Ｓ３０２）と、
反射光が前記状態の特定にとって不足する場合に、画像取得ユニットにより取得された距離画像のうち車両内において乗員に着用されたシートベルト（２１）が映るベルト画素領域（３１０ｂ）の複数距離値に基づき前記状態を特定する不足特定部（Ｓ３０５）とを、有する。
【０００８】
本開示の第二態様は、
車両内に搭乗した乗員の状態を特定する乗員状態特定システム（１）であって、
飛行時間法（ＴＯＦ）により乗員を撮像する撮像センサ（３０）と、
撮像センサにより乗員を撮像してなる距離画像が画像取得ユニットにより取得される第一態様の乗員状態特定装置（５）とを、含んで構成される。
【０００９】
これら第一及び第二態様によると、飛行時間法により乗員を撮像してなる距離画像に含まれる画素の距離値に基づくことで、乗員状態を特定した特定結果を表す特定情報が生成される。このとき、距離画像に映る乗員からの反射光が乗員状態の特定にとって充足する場合には、距離画像のうち乗員が映る乗員画素領域の複数距離値に直接基づくことで、乗員状態が高い精度で特定され得る。また一方、距離画像に映る乗員からの反射光が乗員状態の特定にとって不足する場合に限っては、距離画像のうち車両内において乗員に着用されたシートベルトが映るベルト画素領域の複数距離値に基づくことで、シートベルトを利用した間接的な乗員状態の特定であっても精度の低下は抑制され得る。以上によれば、乗員状態の特定精度を確保することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態による車両ＥＣＵを含んだ乗員状態特定システムを示すブロック図である。
【図２】図１の乗員状態特定システムが適用される車両内を示す模式図である。
【図３】一実施形態による距離画像の一例を説明するための模式図である。
【図４】一実施形態による距離画像の一例を説明するための模式図である。
【図５】一実施形態による距離画像の一例を説明するための模式図である。
【図６】一実施形態による距離画像の一例を説明するための模式図である。
【図７】一実施形態による距離画像の一例を説明するための模式図である。
【図８】一実施形態による乗員状態特定フロー示すフローチャートである。
【図９】図８の特定サブルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の一実施形態による乗員状態特定システム１は、図１に示すように車両２に搭載される。乗員状態特定システム１は、乗員モニタ系３、車両センサ系４及び車両ＥＣＵ（Electronic Control Unit）５を含んで構成されている。乗員モニタ系３と車両ＥＣＵ５との間は、例えばシリア方式等の通信回線６を介して接続される。車両センサ系４と車両ＥＣＵ５との間は、例えばＬＡＮ（Local Area Network）等の車内ネットワーク７を介して接続される。
【００１２】
乗員モニタ系３は、撮像センサ３０及び撮像ＥＣＵ３１を備えている。撮像センサ３０は、車両２において例えばウインドシールドの内面部又はルームミラーの外周部等に、設置される。撮像センサ３０は、図２に示すように車両２の車室２ａ内に搭乗して座席２０上に着座した乗員８を、飛行時間法ＴＯＦ（Time Of Flight）により撮像する。
【００１３】
具体的には、図１に示すように撮像センサ３０の有する撮像光源３０ａは、例えばＬＥＤ（Light Emitting Diode）又はレーザ等の発光素子に、レンズ又はミラー等の光学素子を組み合わせてなる。撮像センサ３０の有する撮像デバイス３０ｂは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Ｍetal Oxide Semiconductor）等の半導体素子に、ＴＤＣ（Time to Digital Coverter）等の信号処理回路を組み合わせてなる。
【００１４】
撮像センサ３０は、撮像光源３０ａにより所定波長の光を投射してから、撮像デバイス３０ｂにより反射光を感知するまでに要した時間に基づき、同センサ３０から複数反射点までの距離に関する距離情報を取得する。このとき撮像光源３０ａは、乗員８により視認されない非可視光、その中でも特に人体への影響が少ない波長の光として本実施形態では、例えば８００〜１１００ｎｍ等の近赤外光を発する。また、このとき撮像デバイス３０ｂは、複数反射点にそれぞれ対応する複数画素毎の距離情報を、撮像信号として出力する。
【００１５】
撮像ＥＣＵ３１は、プロセッサ及びメモリを有するマイクロコンピュータを主体として、構成されている。撮像ＥＣＵ３１は、撮像センサ３０の撮像光源３０ａと撮像デバイス３０ｂとに直接接続されており、それら接続対象の作動を制御する。撮像ＥＣＵ３１は、撮像デバイス３０ｂから出力される撮像信号をリアルタイムで逐次処理する。これにより撮像ＥＣＵ３１は、撮像デバイス３０ｂの複数画素毎に、それぞれ対応する複数反射点までの距離情報を三次元データ化することで、図３〜７に模式的に示すように距離画像３１０を生成する。即ち、撮像ＥＣＵ３１により距離画像３１０は、複数反射点までの距離情報をそれぞれ与えられた複数画素を含むデジタルデータとして、生成される。尚、距離画像３１０には、距離情報と共に輝度情報が撮像ＥＣＵ３１によって与えられていてもよい。
【００１６】
図１に示すように車両センサ系４は、例えば車両２の運転状態及び走行環境等に関する情報を、取得する。車両センサ系４は、例えばパワースイッチ４０、シートベルトセンサ４１、車速センサ、回転数センサ、舵角センサ、燃料センサ及び通信機等のうち、少なくともパワースイッチ４０及びシートベルトセンサ４１を含む複数種類である。ここでパワースイッチ４０は、車両２の内燃機関又はモータジェネレータを始動させるために車室２ａの内外にて乗員８により操作されることで、当該操作を検知する。またシートベルトセンサ４１は、車室２ａ内の座席２０に着座した乗員８によるシートベルト２１の着用状態を、検知する。
【００１７】
車両ＥＣＵ５は、プロセッサ５０及びメモリ５１を有するマイクロコンピュータを主体として、構成されている。車両ＥＣＵ５は、例えばボディＥＣＵ、エアバッグＥＣＵ、表示ＥＣＵ、ＨＭＩ（Human Machine Interface）ＥＣＵ及び運転統合ＥＣＵ等のうち、一種類により又は複数種類の共同により実現される。車両ＥＣＵ５は、例えばエアバック作動制御、乗員８によるジェスチャーの認識制御、チャイルドシートを含む座席２０上において乗員８の着座状態又はシートベルト２１の着用状態を検知する検知制御等のうち、少なくとも一種類の制御を実現する。そこで車両ＥＣＵ５は、乗員８の状態である乗員状態ＯＳを特定する乗員状態特定装置の機能を、同ＥＣＵ５の実現する制御に必要な機能として備えている。
【００１８】
具体的に車両ＥＣＵ５は、予めメモリ５１に記憶された制御プログラムをプロセッサ５０により実行することで、図８に示す乗員状態特定フローの各ステップを機能的に実現する。尚、この乗員状態特定フローは、パワースイッチ４０のオン操作に応じて開始され、同スイッチ４０のオフ操作に応じて終了する。また、表示制御フロー中の「Ｓ」とは、各ステップを意味する。
【００１９】
乗員状態特定フローのＳ１０では、飛行時間法ＴＯＦにより乗員８を撮像してなる距離画像３１０を、取得する。このときには、車両ＥＣＵ５からの指令に従って撮像ＥＣＵ３１が撮像センサ３０の各要素３０ａ，３０ｂを制御することで、生成された距離画像３１０が車両ＥＣＵ５によって取得される。その結果、座席２０上にてシートベルト２１を着用している乗員８の上半身のうち、頭部８ａ及び胴部８ｂの双方から強い反射光が撮像デバイス３０ｂに届いた場合には、図３の如く距離画像３１０が取得される。座席２０上にてシートベルト２１を着用していない乗員８の上半身のうち、頭部８ａ及び胴部８ｂの双方から強い反射光が撮像デバイス３０ｂに届いた場合には、図４の如く距離画像３１０が取得される。座席２０上にてシートベルト２１を着用している乗員８の上半身のうち、頭部８ａから強い反射光が撮像デバイス３０ｂに届いている一方、胴部８ｂからの反射光が弱い又は実質届いていない場合には、図５の如く距離画像３１０が取得される。座席２０上にてシートベルト２１を着用していない乗員８の上半身のうち、頭部８ａから強い反射光が撮像デバイス３０ｂに届いている一方、胴部８ｂからの反射光が弱い又は実質届いていない場合には、図６の如く距離画像３１０が取得される。座席２０上に乗員８が着座していない場合には、図７の如く距離画像３１０が取得される。尚、頭部８ａとは、例えば乗員８の顔等を含む部分である。一方で胴部８ｂとは、乗員８の頭部８ａよりも下方にて例えば肩、胸、腕及び腰等を含む部分である。
【００２０】
図８に示すように続くＳ２０では、Ｓ１０により取得された距離画像３１０に乗員８は映っているか否かを、判定する。このときには、距離画像３１０において閾値Ａ以上の強度又は光量が反射光に認められる複数画素に対応した複数反射点は、乗員８の上半身のうち特に顔での反射率が確保され易い頭部８ａの特徴点を含んでいるか否かが、画像認識保処理によって判別される。ここで判別の基準となる閾値Ａは、例えば撮像光源３０ａの発光量、撮像デバイス３０ｂの感度といった撮像センサ３０の特性等を考慮して、設定される。
【００２１】
頭部８ａからの反射光の強度又は光量が閾値Ａ以上となる図３〜６の場合のＳ２０では、複数反射点が同部８ａの特徴点を含んでいると判別される。これにより、距離画像３１０に乗員８は映っているとの判定がＳ２０により下されることで、図８に示すようにＳ３０へと移行する。一方、頭部８ａからの反射光の強度又は光量が閾値Ａ未満となる図７の場合のＳ２０では、複数反射点が同部８ａの特徴点を含んでいないと判別される。これにより、距離画像３１０に乗員８は映っているとの判定が下されることで、図８に示すようにＳ４０へと移行する。
【００２２】
Ｓ３０では、座席２０上での乗員８の状態である乗員状態ＯＳを、距離画像３１０に含まれる画素の距離値に基づき特定するために、特定サブルーチンを実行する。この特定サブルーチンでの特定対象となる図２の乗員状態ＯＳは、例えば座席２０上における各部８ａ，８ｂの前後位置及び上下位置、胴部８ｂの体格、並びに各部８ａ，８ｂの向き又は視線方向といった姿勢等のうち、少なくとも一種類である。
【００２３】
図９に示すように特定サブルーチンのＳ３０１では、Ｓ１０により取得された距離画像３１０に映る乗員８の上半身のからの反射光は、乗員状態ＯＳの特定にとって充足しているか否かを、判定する。このときには、距離画像３１０において閾値Ｂ以上の強度又は光量が反射光に認められる複数画素に対応した複数反射点は、乗員８の上半身のうち特に乗員状態ＯＳが顕著に現れ易い胴部８ｂの特徴点を含んでいるか否かが、画像認識保処理によって判別される。ここで判別の基準となる閾値Ｂは、例えば撮像光源３０ａの発光量、撮像デバイス３０ｂの感度といった撮像センサ３０の特性等を考慮して、Ｓ２０で設定の閾値Ａとは相異又は実質同一となる値のうち、乗員状態ＯＳの特定に最低限必要な値に設定される。
【００２４】
例えば乗員８が高反射率の衣服を着用していること等により、胴部８ｂからの反射光の強度又は光量が閾値Ｂ以上となる図３，４の場合のＳ３０１では、当該反射光の複数反射点が同部８ｂの特徴点を含んでいると判別される。これにより、反射光は乗員状態ＯＳの特定にとって充足しているとの判定が下されることで、図９に示すようにＳ３０２へと移行する。一方、例えば乗員８が低反射率の衣服を着用していること等により、胴部８ｂからの反射光の強度又は光量が閾値Ｂ未満となる図５，６の場合のＳ３０１では、当該反射光の複数反射点が同部８ｂの特徴点を含んでいないと判別される。これにより、反射光は乗員状態ＯＳの特定にとって不足しているとの判定が下されることで、図９に示すようにＳ３０３へと移行する。
【００２５】
Ｓ３０２では、Ｓ１０により取得された距離画像３１０のうち、図３，４に示す如き乗員画素領域３１０ａの複数距離値に基づくことで乗員状態ＯＳを特定して、当該特定結果を表す特定情報Ｉを生成する。このとき乗員画素領域３１０ａは、乗員８の上半身のうち、Ｓ２０，Ｓ３０１によって判別された頭部８ａ及び胴部８ｂがそれぞれ映る画素の複数ずつから、構成される。そこで、乗員画素領域３１０ａをなす複数画素の各距離値に基づくことで、即ち頭部８ａ及び胴部８ｂ上の複数反射点までの各距離値に基づくことで、乗員状態ＯＳが特定される。こうして特定された乗員状態ＯＳは、例えばエアバック作動制御、乗員８によるジェスチャーの認識制御、座席２０上における乗員８の着座状態又はシートベルト２１の着用状態の検知制御等、車両ＥＣＵ５での実現制御に必要な特定情報Ｉとして、生成される。
【００２６】
これに対して、図９に示すようにＳ３０３では、Ｓ１０により取得された距離画像３１０において、図５に示す如きベルト画素領域３１０ｂは抽出可能か否かを、判定する。このときベルト画素領域３１０ｂは、車両２の車室２ａ内において座席２０上の乗員８に着用されたシートベルト２１が映る画素の複数から、構成される。そこでこのときには、距離画像３１０において閾値Ｃ以上の強度又は光量が反射光に認められる複数画素に対応した複数反射点は、シートベルト２１の特徴点を含んでいるか否かが、画像認識保処理によって判別される。ここで判別の基準となる閾値Ｃは、例えば撮像光源３０ａの発光量、撮像デバイス３０ｂの感度といった撮像センサ３０の特性の他、シートベルト２１での光反射率等を考慮して、Ｓ２０，Ｓ３０１で設定の閾値Ａ，Ｂとは相異又は実質同一となる値のうち、シートベルト２１の判別に最低限必要な値に設定される。
【００２７】
シートベルト２１が着用されている図５の場合には、強度又は光量が閾値Ｃ以上である反射光の複数反射点が同ベルト２１の特徴点を含んでいると判別される。これにより、ベルト画素領域３１０ｂは抽出可能との判定が下されることで、図９に示すようにＳ３０４へと移行する。一方、シートベルト２１が着用されていない図６の場合には、強度又は光量が閾値Ｃ以上である反射光の複数反射点が同ベルト２１の特徴点を含んでいないと判別される。これにより、ベルト画素領域３１０ｂは抽出不能との判定が下されることで、図９に示すようにＳ３０６へと移行する。
【００２８】
Ｓ３０４では、Ｓ１０により取得された距離画像３１０にて、ベルト画素領域３１０ｂを抽出する。また続くＳ３０５では、図５に示す如きベルト画素領域３１０ｂの複数距離値に基づくことで乗員状態ＯＳを特定して、当該特定結果を表す特定情報Ｉを生成する。このとき、抽出したベルト画素領域３１０ｂをなす複数画素の各距離値から、即ちシートベルト２１上の複数反射点までの各距離値から、距離画像３１０のうち推定画素領域３１０ｃの複数距離値を補間演算する。
【００２９】
ここで推定画素領域３１０ｃは、乗員８の上半身のうち、図５の如く本来は胴部８ｂが映っているべき領域に推定される。そこで、推定された推定画素領域３１０ｃをなす複数画素の各距離値は、抽出されたベルト画素領域３１０ｂのうち当該推定画素領域３１０ｃとの重複部分３１０ｂｃをなす複数画素の各距離値から、内挿補間又は外挿補間、あるいは機械学習により演算する。これにより、補間演算された結果となる推定画素領域３１０ｃの複数距離値に基づくことで、Ｓ３０２の場合と共通のアルゴリズムにより乗員状態ＯＳの特定及び特定情報Ｉの生成が実行される。ここで、乗員状態ＯＳを特定するアルゴリズムとは、例えば、体の各部位を示す姿勢や乗員の体格を特定するものと定義される。以上のことから乗員状態ＯＳの特定には、反射光が充足する場合と不足する場合とで、共通の特定アルゴリズムが採用される。
【００３０】
これに対して、図９に示すＳ３０６では、Ｓ１０により取得された距離画像３１０にてベルト画素領域３１０ｂが図６の如く抽出されないことに応じて、乗員状態ＯＳの特定を中止することで、特定情報Ｉの生成も中止する。また同様、図８に示すＳ４０では、Ｓ１０により取得された距離画像３１０に乗員８が図７の如く映っていないことに応じて、乗員状態ＯＳの特定を中止することで、特定情報Ｉの生成も中止する。
【００３１】
尚、図８，９に示すように、Ｓ３０のうちＳ３０２，Ｓ３０５，Ｓ３０６の各実行終了後と、Ｓ４０の実行終了後には、いずれもＳ１０へと戻る。このような本実施形態では、車両ＥＣＵ５のうちＳ１０を実行する機能部分が「画像取得ユニット」に相当し、車両ＥＣＵ５のうちＳ３０を実行する機能部分が「情報生成ユニット」に相当する。また本実施形態では、車両ＥＣＵ５のうちＳ３０２を実行する機能部分が「充足特定部」に相当し、車両ＥＣＵ５のうちＳ３０５を実行する機能部分が「不足特定部」に相当する。また本実施形態では、車両ＥＣＵ５のうちＳ３０３，Ｓ３０４を実行する機能部分が「ベルト抽出部」に相当し、車両ＥＣＵ５のうちＳ３０６を実行する機能部分が「特定中止部」に相当する。
【００３２】
（作用効果）
以下、車両ＥＣＵ５を含んだ乗員状態特定システム１に関する本実施形態の作用効果を、説明する。
【００３３】
本実施形態によると、飛行時間法ＴＯＦにより乗員８を撮像してなる距離画像３１０に含まれる画素の距離値に基づくことで、乗員状態ＯＳを特定した特定結果を表す特定情報Ｉが生成される。このとき、距離画像３１０に映る乗員８からの反射光が乗員状態ＯＳの特定にとって充足する場合には、距離画像３１０のうち乗員８が映る乗員画素領域３１０ａの複数距離値に直接基づくことで、乗員状態ＯＳが高い精度で特定され得る。また一方、距離画像３１０に映る乗員８からの反射光が乗員状態ＯＳの特定にとって不足する場合に限っては、距離画像３１０のうち車両２内において乗員８に着用されたシートベルト２１が映るベルト画素領域３１０ｂの複数距離値に基づくことで、シートベルト２１を利用した間接的な乗員状態ＯＳの特定であっても精度の低下は抑制され得る。以上によれば、乗員状態ＯＳの特定精度を確保することが可能となる。
【００３４】
また本実施形態によると、距離画像３１０に映る乗員８からの反射光が不足する場合に限って、距離画像３１０のうち乗員８が映ると推定される推定画素領域３１０ｃの複数距離値は、ベルト画素領域３１０ｂの複数距離値から補間されることになる。故に、この補間結果に基づくことによれば、シートベルト２１を利用した間接的な乗員状態ＯＳの特定であっても、精度を高めることが可能となる。
【００３５】
また本実施形態のように、距離画像３１０に映る乗員８からの反射光が充足する場合と不足する場合とで、乗員状態ＯＳが共通のアルゴリズムにより特定される。これによれば、ベルト画素領域３１０ｂの複数距離値から補間した補間結果に基づく乗員状態ＯＳの特定は、乗員画素領域３１０ａの複数距離値に基づく乗員状態ＯＳの特定と同一の高精度なアルゴリズムを利用して、実現可能となる。
【００３６】
また本実施形態のように、複数距離値が乗員状態ＯＳの特定基準となるベルト画素領域３１０ｂの抽出されない場合には、特定情報Ｉの生成が中止される。これによれば、乗員８がシートベルト２１を着用していない場合に、ベルト画素領域３１０ｂが誤抽出されることで乗員状態ＯＳの特定情報Ｉが誤生成される事態を、回避することが可能となる。
【００３７】
（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【００３８】
具体的に変形例１では、シートベルト２１の特徴点を利用したベルト画素領域３１０ｂの抽出性を高めるために、例えばマーキング等により高反射率の複数部位が同ベルト２１に設けられていてもよい。変形例２では、ベルト画素領域３１０ｂの複数距離値に対する例えばパターンマッチング等により、乗員状態ＯＳが特定されてもよい。変形例３では、乗員状態ＯＳの特定に反射光が充足する場合と不足する場合とで、相異なる特定アルゴリズムが採用されてもよい。変形例４では、ベルト画素領域３１０ｂが抽出されない場合の距離画像３１０のうち、例えば頭部８ａからの反射点に対応した画素の距離値及び座席２０からの反射点に対応した画素の距離値等のうち、少なくとも一種類に基づいた特定アルゴリズムにより乗員状態ＯＳが特定されてもよい。変形例５では、距離画像３１０における反射光の強度又は光量に基づくことに代えて、シートベルトセンサ４１による着用状態の検知結果に基づくことで、ベルト画素領域３１０ｂの抽出可否がＳ３０３にて判定されてもよい。変形例６では、距離画像３１０に映る乗員８のうち脚部上の複数反射点における各距離値（補間による推定を含む）が、乗員状態ＯＳの特定に利用されてもよい。
【符号の説明】
【００３９】
１  乗員状態特定システム、２  車両、３  乗員モニタ系、５  車両ＥＣＵ、、８  乗員、８ａ  頭部、８ｂ  胴部、２０  座席、２１  シートベルト、３０  撮像センサ、３０ａ  撮像光源、３０ｂ  撮像デバイス、３１  撮像ＥＣＵ、５０  プロセッサ、５１  メモリ、３１０  距離画像、３１０ａ  乗員画素領域、３１０ｂ  ベルト画素領域、３１０ｂｃ  重複部分、３１０ｃ  推定画素領域、Ｉ  特定情報、ＯＳ  乗員状態、ＴＯＦ  飛行時間法
【図１】
2019174161.tif 000003
【図２】
2019174161.tif 000004
【図３】
2019174161.tif 000005
【図４】
2019174161.tif 000006
【図５】
2019174161.tif 000007
【図６】
2019174161.tif 000008
【図７】
2019174161.tif 000009
【図８】
2019174161.tif 000010
【図９】
2019174161.tif 000011