(57)【要約】【課題】移動体の乗員のシートベルト着用状態を精度良く識別すること。【解決手段】移動体の乗員のシートベルト着用状態を識別する識別装置であって、撮像装置により得られた画像の入力を受け付ける入力部と、前記画像に基づいてシートベルトのバックル部およびタングプレート部を検出し、前記バックル部および前記タングプレート部の位置関係に基づいて、前記乗員のシートベルト着用状態を識別する識別部と、前記識別部での識別結果を出力する出力部と、を備える、識別装置。【選択図】図４
2020006780.tif 000002
【特許請求の範囲】
【請求項１】
移動体の乗員のシートベルト着用状態を識別する識別装置であって、
撮像装置により得られた画像の入力を受け付ける入力部と、
前記画像に基づいてシートベルトのバックル部およびタングプレート部を検出し、前記バックル部および前記タングプレート部の位置関係に基づいて、前記乗員のシートベルト着用状態を識別する識別部と、
前記識別部での識別結果を出力する出力部と、を備える、
識別装置。
【請求項２】
前記バックル部には、第１のマーカが設けられており、
前記タングプレート部には、第２のマーカが設けられており、
前記識別部は、前記第１のマーカに基づいて前記バックル部を検出し、かつ、前記第２のマーカに基づいて前記タングプレート部を検出する、
請求項１に記載の識別装置。
【請求項３】
前記識別部は、前記画像において前記バックル部または前記タングプレート部に遮蔽物によるオクルージョンが発生したか否かを判定し、
前記出力部は、前記オクルージョンが発生したと判定された場合、警告信号を出力する、
請求項１または２に記載の識別装置。
【請求項４】
前記識別部は、前記画像に基づいて前記乗員の骨格を推定し、推定された前記乗員の骨格に基づいて、前記画像において前記バックル部または前記タングプレート部に前記乗員の体の一部によるオクルージョンが発生したか否かを判定する、
請求項３に記載の識別装置。
【請求項５】
前記識別部は、
前記画像に基づいてシートベルトのストラップ部を検出し、
前記ストラップ部の３次元座標を推定し、
前記位置関係と前記ストラップ部の３次元座標とに基づいて、前記乗員のシートベルト着用状態を識別する、
請求項１〜４のいずれか一項に記載の識別装置。
【請求項６】
前記識別部は、
所定のタイミングにおいて、前記位置関係と前記ストラップ部の３次元座標とに基づいて前記乗員のシートベルト着用状態を識別し、
前記乗員が前記シートベルトを着用していると識別された場合、前記所定のタイミングとは異なる第２の所定のタイミングにおいて、前記ストラップ部の３次元座標に基づいて前記乗員のシートベルト着用状態を識別する、
請求項５に記載の識別装置。
【請求項７】
前記識別部は、前記第２の所定のタイミングにおいて、現在の前記ストラップ部の３次元座標を過去の前記ストラップ部の３次元座標と比較して前記乗員のシートベルト着用状態を識別する、
請求項６に記載の識別装置。
【請求項８】
前記所定のタイミングは、前記移動体の駆動源の始動時であり、
前記第２の所定のタイミングは、前記移動体の停止時である、
請求項６または７に記載の識別装置。
【請求項９】
前記ストラップ部には、第３のマーカが設けられており、
前記識別部は、前記第３のマーカに基づいて前記ストラップ部の３次元座標を推定する、
請求項５〜８のいずれか一項に記載の識別装置。
【請求項１０】
前記ストラップ部の３次元座標に基づいて識別される前記乗員のシートベルト着用状態は前記ストラップ部の捻れまたは緩みの状態であり、
前記識別部は、前記ストラップ部の３次元座標に基づいて、前記ストラップ部が捻れまたは緩みの状態か否かを判定し、
前記出力部は、前記ストラップ部が捻れまたは緩みの状態であると判定された場合、警告信号を出力する、
請求項５〜９のいずれか一項に記載の識別装置。
【請求項１１】
前記識別部は、前記ストラップ部の３次元座標に基づいて、前記ストラップ部が前記乗員の頸部に掛かっているか否かを判定し、
前記出力部は、前記ストラップ部が前記乗員の頸部に掛かっていると判定された場合、警告信号を出力する、
請求項５〜１０のいずれか一項に記載の識別装置。
【請求項１２】
前記画像は、赤外画像または距離画像である、
請求項１〜４のいずれか一項に記載の識別装置。
【請求項１３】
前記識別部は、
前記赤外画像または前記距離画像に基づいて、前記バックル部および前記タングプレート部の特徴点を決定し、
前記距離画像における前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素の情報に基づいて、光飛行時間測距法により前記特徴点までの距離を導出し、
前記特徴点までの距離に基づいて、前記バックル部および前記タングプレート部の３次元座標を推定する、
請求項１２に記載の識別装置。
【請求項１４】
前記画像は、赤外画像または距離画像である、
請求項５〜１１のいずれか一項に記載の識別装置。
【請求項１５】
前記識別部は、
前記赤外画像または前記距離画像に基づいて、前記バックル部および前記タングプレート部の特徴点を決定し、
前記距離画像における前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素の情報に基づいて、光飛行時間測距法により前記特徴点までの距離を導出し、
前記特徴点までの距離に基づいて、前記バックル部および前記タングプレート部の３次元座標を推定する、
請求項１４に記載の識別装置。
【請求項１６】
前記識別部は、
前記赤外画像または前記距離画像に基づいて、前記ストラップ部の特徴点を決定し、
前記距離画像における前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素の情報に基づいて、光飛行時間測距法により前記特徴点までの距離を導出し、
前記特徴点までの距離に基づいて、前記ストラップ部の３次元座標を推定する、
請求項１４または１５に記載の識別装置。
【請求項１７】
移動体の乗員のシートベルト着用状態を識別する識別方法であって、
撮像装置により得られた画像の入力を受け付けるステップと、
前記画像に基づいてシートベルトのバックル部およびタングプレート部を検出し、前記バックル部および前記タングプレート部の位置関係に基づいて、前記乗員のシートベルト着用状態を識別するステップと、
前記識別するステップでの識別結果を出力するステップと、を備える、
識別方法。
【請求項１８】
コンピュータに、
撮像装置により得られた画像の入力を受け付ける処理と、
前記画像に基づいてシートベルトのバックル部およびタングプレート部を検出し、前記バックル部および前記タングプレート部の位置関係に基づいて、前記乗員のシートベルト着用状態を識別する処理と、
前記識別する処理での識別結果を出力する処理と、を実行させる、
識別プログラム。
【請求項１９】
請求項１８に記載の識別プログラムを記録した一時的でない有形の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体に関する。
【背景技術】
【０００２】
従来、移動体に搭載されたカメラで撮像された撮像画像から、乗員のシートベルト着用状態を識別する技術が知られている。特許文献１には、カメラで撮影されたシートベルトのストラップ部に基づいて、乗員のシートベルト着用状態を識別することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１６１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のものは、乗員の着用している服の模様をシートベルトのストラップ部と誤検知する等により乗員のシートベルト着用状態を正しく識別できない場合がある。
【０００５】
本開示の目的は、移動体の乗員のシートベルト着用状態を精度良く識別することである。
【課題を解決するための手段】
【０００６】
本開示の一形態は、移動体の乗員のシートベルト着用状態を識別する識別装置であって、撮像装置により得られた画像の入力を受け付ける入力部と、前記画像に基づいてシートベルトのバックル部およびタングプレート部を検出し、前記バックル部および前記タングプレート部の位置関係に基づいて、前記乗員のシートベルト着用状態を識別する識別部と、前記識別部での識別結果を出力する出力部と、を備える、識別装置である。
【０００７】
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。
【発明の効果】
【０００８】
本開示によれば、移動体の乗員のシートベルト着用状態を精度良く識別することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本開示の実施形態に係る識別装置が搭載されたドライバーモニタリングシステムの構成を示すブロック図である。
【図２】図２は、撮像装置で撮影された車内空間の画像を示す模式図である。
【図３Ａ】図３Ａは、シートベルトのバックル部およびタングプレート部を示す模式図である。
【図３Ｂ】図３Ｂは、シートベルトのバックル部およびタングプレート部を示す模式図である。
【図４】図４は、識別処理を示すフローチャートである。
【図５】図５は、バックル部およびタングプレート部の位置関係に基づいて乗員のシートベルト着用状態を識別する処理の第一具体例を示すフローチャートである。
【図６】図６は、出射光および戻り光の状態を示す模式図である。
【図７】図７は、光飛行時間測距法の概要を示す模式図である。
【図８】図８は、バックル部およびタングプレート部の位置関係に基づいて乗員のシートベルト着用状態を識別する処理の第二具体例を示すフローチャートである。
【図９】図９は、バックル部およびタングプレート部が正常に検出されたか否かを判定する処理の変形例を示すフローチャートである。
【図１０】図１０は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本開示の一実施形態に係る識別装置１００が搭載されたドライバーモニタリングシステム（以下、「ＤＭＳ」）１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。
【００１１】
ＤＭＳ１は例えば車両に搭載される。以下、ＤＭＳ１は、車両のドライバーを監視するものとして説明を続けるが、ドライバー以外（例えば、助手席や後席等に着座している乗員）を監視してもよい。
【００１２】
ＤＭＳ１は、図１に示すように、光源２１０および画像センサ２２０を一体化した撮像装置２００と、識別装置１００とを備える。
【００１３】
撮像装置２００は、車室内の画像を取得する１台の小型カメラであり、車室の天井部分に車室内を撮影可能に、特に、車室内のドライバー２（図２参照）の体の前面を撮影可能に取り付けられている。
【００１４】
光源２１０は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられている。
【００１５】
画像センサ２２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、光源２１０と概ね同じ場所に取り付けられる。なお、画像センサ２２０は、ＣＣＤ（Charged-coupled devices）でもよい。
【００１６】
識別装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車室内のドライバー２のシートベルト着用状態を識別するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。
【００１７】
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源２１０および画像センサ２２０に各種制御信号を出力する。
【００１８】
識別装置１００は、プロセッサがプログラムを実行することで、図１に示すように、撮像制御部１１０、入力部１２０、識別部１３０、記憶部１４０、出力部１５０等として機能する。
【００１９】
撮像制御部１１０は、光源２１０からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等）を制御すべく、光源２１０に対して制御信号を出力する。
【００２０】
また、撮像制御部１１０は、画像センサ２２０における戻り光の受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ２２０に含まれる周辺回路に対して制御信号を出力する。
【００２１】
上記露光制御等により、画像センサ２２０は、所定周期（所定フレームレート）で、撮像範囲に関する赤外画像信号および距離画像信号を識別装置１００に出力することになる。なお、画像センサ２２０から可視画像信号を出力するようにしてもよい。
【００２２】
また、本実施形態では、画像センサ２２０は、隣接する複数の画素の情報を加算して画像情報を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像情報を生成することは必須ではない。
【００２３】
入力部１２０は、画像センサ２２０から出力された画像信号の入力を受け付ける。
【００２４】
識別部１３０は、入力部１２０に入力された画像から、バックル部３、タングプレート部４およびストラップ部５（図２を参照）を検出する。バックル部３、タングプレート部４およびストラップ部５については後述する。識別部１３０は、バックル部３およびタングプレート部４の位置関係に基づいて、ドライバー２のシートベルト着用状態を識別する。また、識別部１３０は、ストラップ部５の位置に基づいて、ドライバー２のシートベルト着用状態を識別する。
【００２５】
記憶部１４０は、識別処理で用いられる各種情報を記憶する。
【００２６】
出力部１５０は、識別部１３０での識別結果を警告装置３００に出力する。
【００２７】
図２は、撮像装置２００で撮影された車内空間の画像を示す模式図である。なお、図２は、ドライバー２が運転席に正面を向いて着座した状態で、シートベルト６を正常に着用している状態を示している。図２に示すように、シートベルト６は、バックル部３、タングプレート部４およびストラップ部５を有する。
【００２８】
図３Ａおよび図３Ｂは、シートベルト６のバックル部３およびタングプレート部４を示す模式図である。なお、図３Ａおよび図３Ｂは、タングプレート部４がバックル部３に挿入される直前の状態を示している。図３Ａに示すように、バックル部３のリジェクトボタンには、マーカ７が設けられている。また、タングプレート部４の把持部には、マーカ８が設けられている。
【００２９】
マーカ７およびマーカ８は、それぞれ、光の反射率の高い材質からなる部材である。マーカ７およびマーカ８は、薄板状の部材であってもよいし、シート状の部材であってもよい。
【００３０】
なお、マーカ７は、図３Ｂに示すように、バックル部３の側面に設けられていてもよい。また、マーカ８は、図３Ｂに示すように、タングプレート部４の側面に設けられていてもよい。このようにすれば、撮像装置２００によりマーカ７やマーカ８を撮影し易くなることが期待される。
【００３１】
識別装置１００の識別部１３０において行われる処理について、図４のフローチャートを参照して詳細に説明する。なお、以下に示す処理は、例えばエンジン始動後に実行される。なお、以下に示す処理は、電源ＯＮ後に実行されてもよい。
【００３２】
エンジンが始動されると、まず、ステップＳ１で、識別部１３０は、画像センサ２２０から受け取った画像を用いて、バックル部３およびタングプレート部４を検出する。バックル部３およびタングプレート部４の検出は、例えば、バックル部３のマーカ７およびタングプレート部４のマーカ８を検出することにより行うことができる。
【００３３】
なお、バックル部３は、座席における所定位置に取り付けられるものであるため、車内空間における位置がほぼ決まっている。そのため、バックル部３のマーカ７の位置を予め記憶部１４０に記憶させておき、当該位置に存在する反射率の高い物標をマーカ７であると決定するようにしてもよい。
【００３４】
続くステップＳ２で、識別部１３０は、ステップＳ１においてバックル部３およびタングプレート部４がそれぞれ正常に検出されたか否かを判定する。識別部１３０は、例えば、バックル部３のマーカ７およびタングプレート部４のマーカ８が、撮像画像中に、それぞれ予め定められた所定の画素数以上存在する場合に、バックル部３およびタングプレート部４が正常に検出されたと判断することができる。
【００３５】
ステップＳ２でバックル部３およびタングプレート部４の少なくとも一方が正常に検出されなかった場合（ステップＳ２：ＮＯ）、処理はステップＳ３に進む。
【００３６】
ステップＳ３で、識別部１３０は、ストラップ部５の３次元座標情報が記憶部１４０に記憶されているか否かを判定する。
【００３７】
ステップＳ３でストラップ部５の３次元座標情報が記憶部１４０に記憶されていると判定された場合（ステップＳ３：ＹＥＳ）、処理はステップＳ１１に進む。ステップＳ１１の処理内容については、後述する。
【００３８】
ステップＳ３でストラップ部５の３次元座標情報が記憶部１４０に記憶されていないと判定された場合（ステップＳ３：ＮＯ）、処理はステップＳ４に進む。
【００３９】
ステップＳ４で、識別部１３０は、バックル部３およびタングプレート部４の少なくとも一方が正常に検出されていないことを示す信号（検出異常の信号）を出力部１５０に出力する。ステップＳ３の処理の後、処理はステップＳ１に戻る。
【００４０】
出力部１５０は、識別部１３０からの検出異常の信号を受けて、警告装置３００に対して検出異常を示す信号を出力する。警告装置３００は、出力部１５０からの信号を受けて、例えば運転席のインジケータ等に、検出異常を示す警告を表示する。
【００４１】
ステップＳ２でバックル部３およびタングプレート部４が正常に検出された場合（ステップＳ２：ＹＥＳ）、処理はステップＳ５に進む。
【００４２】
ステップＳ５で、識別部１３０は、バックル部３およびタングプレート部４の位置関係に基づいて、ドライバー２がシートベルト６を正常に着用しているか否かを判定する。ステップＳ５で行われる処理の具体例については、後述する。
【００４３】
ステップＳ５でドライバー２がシートベルト６を正常に着用していると判定されなかった場合（シートベルト６の着用状態が異常であると判定された場合）、処理はステップＳ６に進む。
【００４４】
ステップＳ６で、識別部１３０は、ドライバー２がシートベルト６を正常に着用していないことを示す信号（着用異常の信号）を出力部１５０に出力する。ステップＳ６の処理の後、処理はステップＳ１に戻る。
【００４５】
出力部１５０は、識別部１３０からの着用異常の信号を受けて、警告装置３００に対して着用異常を示す信号を出力する。警告装置３００は、出力部１５０からの信号を受けて、例えば運転席のインジケータ等に、着用異常を示す警告を表示する。
【００４６】
ステップＳ５でドライバー２がシートベルト６を正常に着用していると判定された場合（シートベルト６の着用状態が正常であると判定された場合）、処理はステップＳ７に進む。
【００４７】
ステップＳ７で、識別部１３０は、ストラップ部５を検出する。ストラップ部５の検出は、例えば、ストラップ部５のマーカ９（図２を参照）を検出することにより行うことができる。
【００４８】
続くステップＳ８で、識別部１３０は、ストラップ部５の状態に基づいて、ドライバー２がシートベルト６を正常に着用しているか否かを判定する。ステップＳ８で行われる処理の具体例については、後述する。
【００４９】
ステップＳ８でドライバー２がシートベルト６を正常に着用していると判定されなかった場合（ステップＳ８：ＮＯ）、処理はステップＳ９に進む。
【００５０】
ステップＳ９で、識別部１３０は、ドライバー２がシートベルト６を正常に着用していないことを示す信号（着用異常の信号）を出力部１５０に出力する。ステップＳ９の処理の後、処理はステップＳ８に戻る。
【００５１】
出力部１５０は、識別部１３０からの着用異常の信号を受けて、警告装置３００に対して着用異常を示す信号を出力する。警告装置３００は、出力部１５０からの信号を受けて、例えば運転席のインジケータ等に、着用異常を示す警告を表示する。
【００５２】
ステップＳ８でドライバー２がシートベルト６を正常に着用していると判定された場合（ステップＳ８：ＹＥＳ）、処理はステップＳ１０に進む。
【００５３】
ステップＳ１０で、識別部１３０は、ストラップ部５の状態を記憶部１４０に記憶させる。
【００５４】
続くステップＳ１１で、識別部１３０は、ストラップ部５の状態に基づくシートベルト６の着用状態の識別を行うタイミングであるか否かを判定する。ストラップ部５の状態に基づくシートベルト６の着用状態の識別を行うタイミングは、例えば、前回識別を行ったタイミングから所定時間経過後とされてもよい。
【００５５】
ステップＳ１１でストラップ部５の状態に基づくシートベルト６の着用状態の識別を行うタイミングでないと判定された場合（ステップＳ１１：ＮＯ）、ステップＳ１１の処理を繰り返す。
【００５６】
ステップＳ１１でストラップ部５の状態に基づくシートベルト６の着用状態の識別を行うタイミングであると判定された場合（ステップＳ１１：ＹＥＳ）、処理はステップＳ１２に進む。
【００５７】
ステップＳ１２で、識別部１３０は、ストラップ部５を検出する。ステップＳ１２での処理内容については、上述のステップＳ７での処理内容と同様である。
【００５８】
続くステップＳ１３で、識別部１３０は、上述のステップＳ１２で検出したストラップ部５の状態と、記憶部１４０に記憶されているストラップ部５の状態とを比較して、ドライバー２がシートベルト６を正常に着用しているか否かを判定する。ステップＳ１３で行われる処理の具体例については、後述する。
【００５９】
ステップＳ１３でドライバー２がシートベルト６を正常に着用していると判定されなかった場合（ステップＳ１３：ＮＯ）、処理はステップＳ１４に進む。
【００６０】
ステップＳ１４で、識別部１３０は、ドライバー２がシートベルト６を正常に着用していないことを示す信号（着用異常の信号）を出力部１５０に出力する。ステップＳ１４の処理の後、処理はステップＳ１５に進む。
【００６１】
出力部１５０は、識別部１３０からの着用異常の信号を受けて、警告装置３００に対して着用異常を示す信号を出力する。警告装置３００は、出力部１５０からの信号を受けて、例えば運転席のインジケータ等に、着用異常を示す警告を表示する。
【００６２】
ステップＳ１３でドライバー２がシートベルト６を正常に着用していると判定された場合（ステップＳ１３：ＹＥＳ）、処理はステップＳ１５に進む。
【００６３】
ステップＳ１５で、識別部１３０は、エンジンが停止されたか否かを判定する。
【００６４】
ステップＳ１５でエンジンが停止されたと判定されなかった場合（ステップＳ１５：ＮＯ）、処理はステップＳ１６に進む。
【００６５】
ステップＳ１６で、識別部１３０は、バックル部３およびタングプレート部４の位置関係に基づくシートベルト６の着用状態の識別を行うタイミングか否かを判定する。バックル部３およびタングプレート部４の位置関係に基づくシートベルト６の着用状態の識別を行うタイミングは、例えば、車両が停止したタイミングである。
【００６６】
ステップＳ１６でバックル部３およびタングプレート部４の位置関係に基づくシートベルト６の着用状態の識別を行うタイミングでないと判定された場合（ステップＳ１６：ＮＯ）、処理はステップＳ１１に戻る。
【００６７】
ステップＳ１６でバックル部３およびタングプレート部４の位置関係に基づくシートベルト６の着用状態の識別を行うタイミングであると判定された場合（ステップＳ１６：ＹＥＳ）、処理はステップＳ１に戻る。
【００６８】
ステップＳ１５でエンジンが停止されたと判定された場合（ステップＳ１５：ＹＥＳ）、処理を終了する。
【００６９】
ここで、ステップＳ５で行われる処理の第一具体例について、図５のフローチャートを参照して説明する。
【００７０】
ステップＳ２１で、識別部１３０は、画像センサ２２０から受け取った赤外画像または距離画像を用いて、バックル部３のマーカ７に対応する画素のクラスタ化を行うとともにタングプレート部４のマーカ８に対応する画素のクラスタ化を行う。
【００７１】
例えば、赤外画像を用いる場合、識別部１３０は、輝度が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。このような所定範囲は、マーカ７およびマーカ８の材質や反射率等に基づいて予め設定されている。
【００７２】
また、例えば、距離画像を用いる場合、識別部１３０は、距離情報が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。なお、クラスタ化は、隣接する画素に対してのみ行われるのではなく、分散した画素に対しても行われ得る。
【００７３】
続くステップＳ２２で、識別部１３０は、光飛行時間測距法（以下、「ＴＯＦ（Time of Flight）方式」という）により、クラスタ化された領域のそれぞれの画素における物標までの距離を導出する。
【００７４】
ここで、ＴＯＦ方式による測距について簡単に説明する。図６に示すように、ＴＯＦ方式による物標Ｔまでの測距は、光源２１０、画像センサ２２０および識別部１３０の組み合わせにより実現される。識別部１３０は、光源２１０からの出射光の出射タイミングと、画像センサ２２０における戻り光の受光タイミングとの時間差または位相差に基づいて、図６に示す物標Ｔまでの距離ｄｔを導出する。なお、図６は、物標Ｔまでの距離ｄｔを導出する際の出射光および戻り光の状態を示す模式図である。
【００７５】
ＴＯＦ方式による測距の一例について説明する。光源２１０からの出射光は、図７に示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（すなわち、第一パルスＰａの立ち下がりエッジから第二パルスＰｂの立ち上がりエッジまでの時間）は、Ｇａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。
【００７６】
画像センサ２２０は、撮像制御部１１０により、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ２２０は、図７に例示するように、光源２１０からの出射光が撮像範囲の物標Ｔで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。
【００７７】
第一露光は、第一パルスＰａの立ち上がりと同時に始まり、光源２１０からの出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光成分を受光することを目的としている。
【００７８】
第一露光による画像センサ２２０の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｓ０と、ドットのハッチングを付した背景成分ＢＧとを含む。戻り光成分Ｓ０の振幅は、第一パルスＰａの振幅よりも小さい。
【００７９】
ここで、第一パルスＰａおよびその戻り光成分Ｓ０の各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置２００から物標Ｔまでの距離ｄｔを、不可視光が往復するのに要する時間である。
【００８０】
第二露光は、第二パルスＰｂの立ち下がりと同時に始まり、露光時間Ｔｘ後に終了する。このような第二露光は、第二パルスＰｂに対する戻り光成分を受光することを目的としている。
【００８１】
第二露光による画像センサ２２０の出力Ｏｂは、全ての戻り光成分ではなく部分的な戻り光成分Ｓ１（斜格子状のハッチング部分を参照）と、ドットのハッチングを付した背景成分ＢＧとを含む。
【００８２】
なお、上記成分Ｓ１は、次の式（１）で表せる。
Ｓ１＝Ｓ０×（Δｔ／Ｗａ）  …（１）
【００８３】
第三露光は、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、露光時間Ｔｘ後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分ＢＧのみを受光することを目的としている。
【００８４】
第三露光による画像センサ２２０の出力Ｏｃは、ドットのハッチングを付した背景成分ＢＧのみを含む。
【００８５】
上記のような出射光と戻り光との関係から、画像センサ２２０から物標Ｔまでの距離ｄｔは、次の式（２）〜（４）により導出することができる。
Ｓ０＝Ｏａ−ＢＧ  …（２）
Ｓ１＝Ｏｂ−ＢＧ  …（３）
ｄｔ＝ｃ×（Δｔ／２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）＝｛（ｃ×Ｗａ）／２｝×（Ｓ１／Ｓ０）  …（４）
ここで、ｃは光速である。
【００８６】
なお、上述したＴＯＦ方式はあくまでも一例である。直接時間領域で計測を行う直接ＴＯＦ方式や、位相差等の物理量の変化およびそれを時間的変化に換算するための時間基準を用いて計測を行う間接ＴＯＦ方式のいずれを用いても距離情報を導出することが可能であることは言うまでもない。
【００８７】
図５の説明に戻る。ステップＳ２２に続くステップＳ２３で、識別部１３０は、クラスタ化された領域のそれぞれの画素における物標までの距離を加算平均して、クラスタ化された領域までの代表距離を算出する。そして、算出された代表距離を、マーカ７までの距離ｄｔｂ、およびマーカ８までの距離ｄｔｔとしてそれぞれ出力する。
【００８８】
このようにすることで、マーカ７およびマーカ８に対応する複数の画素の距離情報を用いて、マーカ７およびマーカ８までの距離ｄｔｂおよびｄｔｔを算出することができ、マーカ７およびマーカ８までの測距精度を向上させることができる。
【００８９】
続くステップＳ２４で、識別部１３０は、バックル部３のマーカ７の３次元座標およびタングプレート部４のマーカ８の３次元座標を算出する。３次元座標の算出は、距離ｄｔｂおよびｄｔｔ、記憶部１４０に予め記憶されている撮像装置２００の３次元座標等を用いて行われる。
【００９０】
続くステップＳ２５で、識別部１３０は、マーカ７の３次元座標と、マーカ８の３次元座標との距離ｄａが、記憶部１４０に予め記憶されている判定閾値ｄｚ以下であるか否かを判定する。
【００９１】
ステップＳ２５で、距離ｄａが判定閾値ｄｚ以下であると判定された場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６へ進む。ステップＳ２６で、識別部１３０は、シートベルト６の着用状態が正常であると判定する。そして、処理を終了する。
【００９２】
一方、ステップＳ２５で、距離ｄａが判定閾値ｄｚを超えていると判定された場合（ステップＳ２５：ＮＯ）、ステップＳ２７へ進む。ステップＳ２７で、識別部１３０は、ステップＳ２７でシートベルト６の着用状態が異常であると判定する。そして、処理を終了する。
【００９３】
ステップＳ５で行われる処理の第二具体例について、図８のフローチャートを参照して説明する。上述の第一具体例では、クラスタ化した領域のそれぞれの画素における物標までの距離を導出した後に加算平均して、マーカ７およびマーカ８までの距離を導出した。これに対して、以下に説明する例では、クラスタ化した領域内の各画素における戻り光成分を積算し、積算した戻り光成分を用いて、マーカ７およびマーカ８までの距離を導出する。
【００９４】
ステップＳ３１で、識別部１３０は、マーカ７およびマーカ８に対応する画素のクラスタ化を行う。ステップＳ３１の処理内容は、上述のステップＳ２１の処理内容と同様である。
【００９５】
続くステップＳ３２−１で、識別部１３０は、距離画像信号を用いて、クラスタ化された領域内の各画素における戻り光成分Ｓ０およびＳ１を上述の式（２）および（３）を用いて算出する。
【００９６】
続くステップＳ３２−２で、識別部１３０は、クラスタ化された領域内の各画素における戻り光成分Ｓ０およびＳ１を積算して、戻り光成分の積算値ΣＳ０およびΣＳ１を得る。
【００９７】
続くステップＳ３３で、識別部１３０は、次式（５）を用いて、クラスタ化された領域までの代表距離を算出する。そして、算出された代表距離を、マーカ７までの距離ｄｔｂ、およびマーカ８までの距離ｄｔｔとしてそれぞれ出力する。
ｄｔ＝｛ｃ×Ｗａ｝／２｝×（ΣＳ１／ΣＳ０）  …（５）
【００９８】
ステップＳ３３に続くステップＳ３４ないしステップＳ３７の処理内容については、上述のステップＳ２４ないしステップＳ２７の処理内容と同様である。
【００９９】
次に、ステップＳ８で行われる処理の具体例について説明する。図２に示すように、シートベルト６のストラップ部５には、ストラップ部５の長さ方向に複数のマーカ９が並んで配置されている。
【０１００】
識別部１３０は、それぞれのマーカ９に対応する画素のクラスタ化を行う。次に、識別部１３０は、ＴＯＦ方式により、それぞれのマーカ９までの代表距離を導出する。次に、識別部１３０は、それぞれのマーカ９の３次元座標を算出する。
【０１０１】
そして、識別部１３０は、それぞれのマーカ９の３次元座標と、記憶部１４０に予め記憶されているマーカ９の基準座標とを比較して、ドライバー２がシートベルト６を正常に着用しているか否かを判定する。
【０１０２】
例えば、ドライバー２がシートベルト６を捻った状態または緩めた状態で着用している場合、捻れ部分または緩み部分に相当するマーカ９の３次元座標は、基準座標と大きく相違する。このような場合、識別部１３０は、ドライバー２がシートベルト６を正常に着用していないと判定する。
【０１０３】
なお、上述の具体例に代えて、シートベルト６を正常に着用した場合のストラップ部５の模様の位置やマーカ９の配置を予め記憶部１４０に記憶させておき、実際の撮像により得られたストラップ部５の模様やマーカ９の配置と比較することで、シートベルト６の着用状態を識別するようにしてもよい。
【０１０４】
次に、ステップＳ１３で行われる処理の具体例について説明する。識別部１３０は、マーカ９に対応する画素のクラスタ化を行い、ＴＯＦ方式によりマーカ９までの代表距離を導出し、さらに、マーカ９の３次元座標を算出する。
【０１０５】
そして、識別部１３０は、マーカ９の３次元座標と、記憶部１４０に記憶されているマーカ９の３次元座標とを比較して、ドライバー２がシートベルト６を正常に着用しているか否かを判定する。
【０１０６】
なお、マーカ９の３次元座標を算出した後、算出された現在のマーカ９の３次元座標を前回の処理タイミングにおけるマーカ９の３次元座標と比較して、シートベルト６の着用状態を判定するようにしてもよい。換言すると、マーカ９の３次元座標をトラッキングすることで、シートベルト６の着用状態を判定するようにしてもよい。
【０１０７】
次に、ステップＳ２で行われる処理の変形例について、図９のフローチャートを用いて詳細に説明する。以下に説明する変形例は、ドライバー２の骨格推定を行ってドライバー２の姿勢を推定し、ドライバー２によるバックル部３やタングプレート部４のオクルージョンが発生しているか否かを判定するものである。
【０１０８】
ステップＳ４１で、識別部１３０は、画像センサ２２０から受け取った赤外画像または距離画像を用いて、ドライバー２に対応する領域を抽出し、クラスタ化する。ドライバー２に対応する領域の抽出は、例えば、撮像部からの距離が略一定の領域を抽出することで行うことができる。
【０１０９】
続くステップＳ４２で、識別部１３０は、ステップＳ４１でクラスタ化した画像を用いて、ドライバー２の各部位（例えば、頭部、胴体部、腕部、下半身部）の部位検知を行い、各部位ごとに、予め設定されたルールにしたがって、骨格位置等の特徴点を推定する。なお、本ステップでは、部位検知を行うことなく、特徴点を推定することも可能である。
【０１１０】
続くステップＳ４３で、識別部１３０は、ＴＯＦ方式により、各特徴点までの距離を導出する。
【０１１１】
続くステップＳ４４で、識別部１３０は、ステップＳ４３で導出した各特徴点までの距離を用いて、各特徴点の３次元座標を算出する。
【０１１２】
続くステップＳ４５で、識別部１３０は、各特徴点の３次元座標により、ドライバー２の姿勢を識別し、ドライバー２によるバックル部３やタングプレート部４のオクルージョンが発生しているか否かを判定する。
【０１１３】
ステップＳ４５で、ドライバー２によるオクルージョンが発生していないと判定された場合（ステップＳ４５：ＮＯ）、ステップＳ４６へ進む。ステップＳ４６で、識別部１３０は、バックル部３およびタングプレート部４が正常に検出されたと判定する。そして、処理を終了する。
【０１１４】
一方、ステップＳ４５で、ドライバー２によるオクルージョンが発生していると判定された場合（ステップＳ４５：ＹＥＳ）、ステップＳ４７へ進む。ステップＳ４７で、識別部１３０は、バックル部３およびタングプレート部４の少なくとも一方が正常に検出されなかったと判定する。そして、処理を終了する。
【０１１５】
なお、ドライバー２によるオクルージョンにより、バックル部３およびタングプレート部４の少なくとも一方が正常に検出されなかったと判定された場合、上述のステップＳ４で、オクルージョンが発生していることを示す信号を出力するようにしてもよい。
【０１１６】
また、オクルージョンが発生していることを示す信号に基づき、警告装置３００に、ドライバー２に対する姿勢改善の指示を表示させるようにしてもよい。このようにすれば、例えば骨格推定により、バックル部３が左手によって隠されている場合に、ドライバー２に対して、左手を動かすように指示することができる。
【０１１７】
次に、ステップＳ８で行われる処理の変形例について説明する。以下に説明する変形例は、ドライバー２の骨格推定を行ってドライバー２の姿勢を推定し、ドライバー２の姿勢とストラップ部５のマーカ９の３次元座標との関係からシートベルト６の着用状態を識別するものである。
【０１１８】
識別部１３０は、ドライバー２の骨格推定に基づいて、ドライバー２の体の表面の３次元座標を推定する。そして、識別部１３０は、マーカ９の３次元座標と、ドライバー２の体の表面の３次元座標とを比較して、ストラップ部５がドライバー２の胸部の前側を通過しているか否かを判定する。
【０１１９】
ストラップ部５がドライバー２の胸部の前側を通過していないと判定された場合、識別部１３０は、シートベルト６の着用状態が異常であると判定する。一方、ストラップ部５がドライバー２の胸部の前側を通過していると判定された場合、識別部１３０は、シートベルト６の着用状態が正常であると判定する。
【０１２０】
以上説明したように、本実施形態では、エンジン始動後、車両が走行を開始する前に、バックル部３およびタングプレート部４の位置関係に基づいて、シートベルト６の着用状態を識別するようにしている。そのため、シートベルト６の着用状態の識別精度を向上させることができる。
【０１２１】
また、本実施形態では、バックル部３およびタングプレート部４が正常に検出できない場合に、ドライバー２に対してその旨を通知し、必要に応じて、バックル部３およびタングプレート部４が正常に検出できる状態となるように、ドライバー２に指示するようにしている。
【０１２２】
特に、本実施形態では、車両停止中に、バックル部３およびタングプレート部４が正常に検出できるか否かの判定を行っている。そのため、バックル部３およびタングプレート部４が正常に検出できない場合に、車両が停止している状態で、ドライバー２に対して、バックル部３およびタングプレート部４を正常に検出できるようにする行動を指示することができる。そのため、ドライバー２は、安全な状態で、バックル部３およびタングプレート部４を正常に検出するための行動（例えば、バックル部３に掛かっている服をバックル部３に掛からないように移動させる等）を取ることができる。
【０１２３】
また、本実施形態では、バックル部３およびタングプレート部４の位置関係に基づいて、シートベルト６の着用状態が正常でないと識別された場合に、ドライバー２に対してその旨を通知し、シートベルト６を正常に着用するように、ドライバー２に指示するようにしている。
【０１２４】
特に、本実施形態では、車両停止中に、バックル部３およびタングプレート部４の位置関係に基づいたシートベルト６の着用状態の識別を行っている。そのため、シートベルト６の着用状態が正常でないと識別された場合に、車両が停止している状態で、ドライバー２に対して、シートベルト６を正常に着用するように指示することができる。そのため、ドライバー２は、安全な状態で、シートベルト６を正常に着用することができる。
【０１２５】
また、本実施形態では、バックル部３およびタングプレート部４の位置関係に基づいたシートベルト６の着用状態の識別に加え、ストラップ部５の状態に基づいたシートベルト６の着用状態の識別も行うようにしている。そのため、シートベルト６の着用状態の識別精度をさらに向上させることができる。
【０１２６】
また、車両が走行を開始した後は、ドライバー２がカーナビゲーションの操作やエアコンの操作等、様々な動きを行うため、撮像画像において、バックル部３およびタングプレート部４がドライバー２の体の一部によって隠れ、正常に検出できなくなる頻度が高くなることが考えられる。
【０１２７】
これに対して、本実施形態では、バックル部３およびタングプレート部４の位置関係に基づいてシートベルト６の着用状態が正常であると識別された場合、それ以降の所定の識別タイミングでは、ストラップ部５の状態に基づいてシートベルト６の着用状態を識別するようにしている。
【０１２８】
そのため、車両走行中、バックル部３およびタングプレート部４がドライバー２の体の一部によって撮像画像に映らなくなったとしても、シートベルト６の着用状態の識別を行うことができる。
【０１２９】
また、本実施形態では、ストラップ部５の現在の状態と、ストラップ部５の基準状態との比較により、シートベルト６の着用状態を識別するようにしている。
【０１３０】
そのため、ストラップ部５の状態に基づいたシートベルト６の着用状態の識別精度を向上させることができる。
【０１３１】
また、本実施形態では、ストラップ部５の状態に基づいたシートベルト６の着用状態の識別における所定のタイミングで、バックル部３およびタングプレート部４の位置関係に基づいたシートベルト６の着用状態の識別も行うようにしている。
【０１３２】
そのため、シートベルト６の着用状態の識別精度を向上させることができる。
【０１３３】
また、車両走行中にバックル部３およびタングプレート部４の位置関係に基づいたシートベルト６の着用状態の識別を行った場合には、バックル部３およびタングプレート部４を正常に検出できない場合が考えられる。
【０１３４】
これに対して、本実施形態では、記憶部１４０にストラップ部５の３次元座標が記憶されている場合には、バックル部３およびタングプレート部４が正常に検出できなかったとしても、出力部１５０から検出異常を示す信号を出力しないようにしている。
【０１３５】
そのため、バックル部３およびタングプレート部４の検出異常を示す信号が頻繁に出力されることを抑制することができる。
【０１３６】
なお、上述の実施形態、具体例および変形例は、適宜組み合わせて用いることができる。ここで、ストラップ部５の３次元座標と、骨格推定とを組み合わせた変形例について簡単に説明する。
【０１３７】
識別部１３０は、ストラップ部５の３次元座標を推定するとともに、骨格推定を用いて乗員の姿勢を推定する。そして、識別部１３０は、ストラップ部５の３次元座標と、乗員の姿勢とから、乗員の頸部にストラップ部５が掛かっているか否かを判定する。
【０１３８】
そして、ストラップ部５が乗員の頸部に掛かっていると判定された場合、出力部１５０から警告装置３００に対して警告信号を出力するようにしてもよい。
【０１３９】
また、上述の実施形態では、ＴＯＦ方式によりバックル部３、タングプレート部４およびストラップ部５の３次元座標を推定するものを例に説明を行ったが、これに限定されない。具体的には、例えば、距離情報を持たない赤外画像によっても、撮像装置から物標までの距離を推定することは可能であり、赤外画像のみから各部位の３次元座標を推定するようにしてもよい。
【０１４０】
図１０は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
【０１４１】
図１０に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【０１４２】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【０１４３】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【０１４４】
本開示に係る識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体によれば、移動体の乗員のシートベルト着用状態を精度良く識別することができ、車載用途に好適である。
【符号の説明】
【０１４５】
１  ドライバーモニタリングシステム（ＤＭＳ）
２  ドライバー
３  バックル部
４  タングプレート部
５  ストラップ部
６  シートベルト
７  マーカ
８  マーカ
９  マーカ
１００  識別装置
１１０  撮像制御部
１２０  入力部
１３０  識別部
１４０  記憶部
１５０  出力部
２００  撮像装置
２１０  光源
２２０  画像センサ
３００  警告装置
２１００  コンピュータ
２１０１  入力装置
２１０２  出力装置
２１０３  ＣＰＵ
２１０４  ＲＯＭ
２１０５  ＲＡＭ
２１０６  記憶装置
２１０７  読取装置
２１０８  送受信装置
２１０９  バス
【図１】
2020006780.tif 000003
【図２】
2020006780.tif 000004
【図３Ａ】
2020006780.tif 000005
【図３Ｂ】
2020006780.tif 000006
【図４】
2020006780.tif 000007
【図５】
2020006780.tif 000008
【図６】
2020006780.tif 000009
【図７】
2020006780.tif 000010
【図８】
2020006780.tif 000011
【図９】
2020006780.tif 000012
【図１０】
2020006780.tif 000013