(57)【要約】【課題】手に限られない身体部位の検出を通じて車室内の乗員の姿勢や動作を高い精度で判別する。【解決手段】画素データセットＰＤを複数のデータサブセットに分割することにより、各データサブセットが複数の車室空間領域の一つに対応付けられる。各データサブセットに含まれる運転者に対応する画素の数に基づいて、頭部５１が存在する可能性が高い複数の空間領域の少なくとも一つに対応する高尤度データサブセットが特定される。高尤度データサブセットに基づいて、頭部５１の位置Ｐが特定される。特定された頭部５１の位置Ｐと所定の位置関係にある胴体空間領域ＢＳＲに対応する胴体データサブセットＢＳＤが画素データセットＰＤから特定される。胴体データサブセットＢＳＤに含まれる運転者に対応する画素の数に基づいて、胴体空間領域ＢＳＲに運転者の胴体５２が位置するかが判定される。前記位置関係は、特定された頭部５１の位置Ｐに基づいて可変である。【選択図】図９
2020077179.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが三次元位置情報を有する複数の点要素を含むデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて車室内の乗員の第一身体部位を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記第一身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記第一身体部位の位置を特定し、
特定された前記第一身体部位の位置と所定の位置関係にある検証空間領域に対応する検証データサブセットを前記データセットから特定し、
前記検証データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記検証空間領域に前記乗員の第二身体部位が位置するかを判定し、
前記位置関係は、特定された前記第一身体部位の位置に基づいて可変である、
乗員判別装置。
【請求項２】
前記プロセッサは、検出された前記第一身体部位の位置の基準位置からのオフセット方向に基づいて、当該オフセット方向とは逆方向へ前記検証空間領域の位置をオフセットさせる、
請求項１に記載の乗員判別装置。
【請求項３】
前記検証空間領域に前記第二身体部位が位置しないと判定された場合、前記プロセッサは、前記第一身体部位の位置を特定し直す、
請求項１または２に記載の乗員判別装置。
【請求項４】
前記第一身体部位は頭部であり、前記第二身体部位は胴体である、
請求項１から３のいずれか一項に記載の乗員判別装置。
【請求項５】
前記複数の点要素の各々は、ＴＯＦカメラの画素に対応している、
請求項１から４のいずれか一項に記載の乗員判別装置。
【請求項６】
それぞれが三次元位置情報を有する複数の点要素を含むデータセットに基づいて、車室内の乗員の第一身体部位をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記第一身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記第一身体部位の位置を特定し、
特定された前記第一身体部位の位置と所定の位置関係にある検証空間領域に対応する検証データサブセットを前記データセットから特定し、
前記検証データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記検証空間領域に前記乗員の第二身体部位が位置するかを判定し、
前記位置関係は、特定された前記第一身体部位の位置に基づいて可変である、
コンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車室内の乗員の身体部位を判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。
【背景技術】
【０００２】
特許文献１に記載された装置は、乗員の手の画像を光電変換撮像素子で取得する。当該装置は、当該画像に基づいて手の動きを検出することにより、車載機器を操作している乗員を判別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、手に限られない身体部位の検出を通じて車室内の乗員の姿勢や動作を高い精度で判別することである。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための一態様は、乗員判別装置であって、
それぞれが三次元位置情報を有する複数の点要素を含むデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて車室内の乗員の第一身体部位を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記第一身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記第一身体部位の位置を特定し、
特定された前記第一身体部位の位置と所定の位置関係にある検証空間領域に対応する検証データサブセットを前記データセットから特定し、
前記検証データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記検証空間領域に前記乗員の第二身体部位が位置するかを判定し、
前記位置関係は、特定された前記第一身体部位の位置に基づいて可変である。
【０００６】
このような構成によれば、検証データサブセットに含まれる乗員に対応する画素の数に基づいて、第一身体部位が正しく判別されているかを検証できる。さらに、検証データサブセットが対応する検証空間領域と第一身体部位との位置関係が、特定された第一身体部位の位置に応じて可変とされているので、乗員の姿勢に依らず、検証空間領域に第二身体部位が含まれる確率を高めることができる。これにより、第一身体部位の判別結果の検証を精度よく行なうことができる。したがって、手に限られない身体部位の検出を通じて、車室内の乗員の姿勢や動作を高い精度で判別できる。
【０００７】
上記の乗員判別装置は、以下のように構成されうる。
前記プロセッサは、検出された前記第一身体部位の位置の基準位置からのオフセット方向に基づいて、当該オフセット方向とは逆方向へ前記検証空間領域の位置をオフセットさせる。
【０００８】
このような構成によれば、第一身体部位の判別結果を検証するために検証空間領域の位置をオフセットさせる処理を簡略化できる。
【０００９】
上記の乗員判別装置は、以下のように構成されうる。
前記検証空間領域に前記第二身体部位が位置しないと判定された場合、前記プロセッサは、前記第一身体部位の位置を特定し直す。
【００１０】
このような構成によれば、第一身体部位の誤った判別結果が後段の認識処理に影響を及ぼす事態を回避できる。
【００１１】
上記の乗員判別装置は、以下のように構成されうる。
前記第一身体部位は頭部であり、前記第二身体部位は胴体である。
【００１２】
このような構成によれば、頭部の位置が適切であることを、胴体の位置から検出できる。
【００１３】
上記の乗員判別装置は、以下のように構成されうる。
前記複数の点要素の各々は、ＴＯＦカメラの画素に対応している。
【００１４】
このような構成によれば、画像処理を用いる判別処理との統合が比較的容易である。
【００１５】
上記の目的を達成するための一態様は、それぞれが三次元位置情報を有する複数の点要素を含むデータセットに基づいて、車室内の乗員の第一身体部位をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記第一身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記第一身体部位の位置を特定し、
特定された前記第一身体部位の位置と所定の位置関係にある検証空間領域に対応する検証データサブセットを前記データセットから特定し、
前記検証データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記検証空間領域に前記乗員の第二身体部位が位置するかを判定し、
前記位置関係は、特定された前記第一身体部位の位置に基づいて可変である。
【００１６】
上記の目的を達成するための一態様は、上記のコンピュータプログラムを記憶している記憶媒体である。
【発明の効果】
【００１７】
本発明によれば、手に限られない身体部位の検出を通じて車室内の乗員の姿勢や動作を高い精度で判別できる。
【図面の簡単な説明】
【００１８】
【図１】一実施形態に係る乗員判別システムの構成を示している。
【図２】図１の乗員判別システムが搭載される車両の一部を示している。
【図３】図１の乗員判別装置により実行される処理の流れを示している。
【図４】図１の乗員判別装置により実行される処理を説明するための図である。
【図５】図１の乗員判別装置により実行される処理を説明するための図である。
【図６】図１の乗員判別装置により実行される処理を説明するための図である。
【図７】図１の乗員判別装置により実行される処理を説明するための図である。
【図８】図１の乗員判別装置により実行される処理を説明するための図である。
【図９】図１の乗員判別装置により実行される処理を説明するための図である。
【図１０】図１の乗員判別装置により実行される処理を説明するための図である。
【図１１】図１の乗員判別装置により実行される処理を説明するための図である。
【図１２】図１の乗員判別装置により実行される処理を説明するための図である。
【発明を実施するための形態】
【００１９】
添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。
【００２０】
図１は、一実施形態に係る乗員判別システム１の構成を模式的に示している。乗員判別システム１は、ＴＯＦ（Time of Flight）カメラユニット２と乗員判別装置３を含んでいる。図２は、乗員判別システム１が搭載される車両４の一部を示している。
【００２１】
ＴＯＦカメラユニット２は、図２に示される車両４の車室４１内における適宜の位置に配置され、運転者５を含む車室４１の少なくとも一部の画像を取得する。
【００２２】
ＴＯＦカメラユニット２は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。ＴＯＦカメラユニット２により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標（Ｕ，Ｖ）に加えて、当該画素に対応する対象物の一部までの距離（奥行き）を示す距離情報ｄ（Ｕ，Ｖ）を含む。
【００２３】
ＴＯＦカメラユニット２は、取得された画像に対応する画像データセットを出力する。画像データセットは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。複数の画素データセットの各々は、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）を含んでいる。すなわち、複数の画素データセットの各々は、三次元位置情報を有している。画像データセットは、データセットの一例である。複数の画素データセットは、複数の点要素の一例である。
【００２４】
乗員判別装置３は、車両４における適宜の位置に搭載される。乗員判別装置３は、ＴＯＦカメラユニット２から提供される画像データセットに基づいて、車室４１内の運転者５の頭部５１を判別するための装置である。運転者５は、乗員の一例である。頭部５１は、乗員の第一身体部位の一例である。
【００２５】
図１に示されるように、乗員判別装置３は、入力インターフェース３１を備えている。入力インターフェース３１は、ＴＯＦカメラユニット２から出力された画像データセットを受け付ける。
【００２６】
乗員判別装置３は、プロセッサ３２を備えている。プロセッサ３２は、入力インターフェース３１に入力された画像データセットに基づいて、運転者５の頭部５１を判別する処理を実行する。
【００２７】
図３を参照しつつ、プロセッサ３２によって行なわれる処理の流れを説明する。プロセッサ３２は、まず画像データセットに対して予備処理を実行する（ＳＴＥＰ１）。
【００２８】
各画素データサブセットに含まれる位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）は、画像中心座標が（ｃX，ｃY）と定義された場合、次式を用いてカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）に変換されうる。ｆは、ＴＯＦカメラユニット２が備えるレンズの焦点距離を表している。
【００２９】
【数１】
2020077179.tif 000003
【００３０】
プロセッサ３２は、上式に基づいて、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換を行なう。なお、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換は、ＴＯＦカメラユニット２に内蔵されたプロセッサによって行なわれてもよい。この場合、ＴＯＦカメラユニット２から出力される画像データセットに含まれる複数の画素データセットの各々は、位置座標（Ｘ，Ｙ，Ｚ）を含む。位置座標（Ｘ，Ｙ，Ｚ）は、三次元位置情報の一例である。各画素データセットは、点要素の一例である。
【００３１】
カメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）は、運転者５を原点とする車両座標系における位置座標（Ｗ，Ｌ，Ｈ）に変換されうる。Ｗ軸は、車両４の左右方向に延びる座標軸である。例えば、Ｗ軸の座標値は、運転者５から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。Ｌ軸は、車両４の前後方向に延びる座標軸である。例えば、Ｌ軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。Ｈ軸は、車両４の上下方向に延びる座標軸である。例えば、Ｈ軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。
【００３２】
プロセッサ３２は、各画素データセットについてカメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）から車両座標系における位置座標（Ｗ，Ｌ，Ｈ）への変換を行なう。原点は、例えば運転者５の腰骨に対応する位置として選ばれる。車両座標系への座標変換は、周知の座標回転変換、平行移動変換、スケール変換などを用いて行なわれうる。
【００３３】
続いてプロセッサ３２は、処理対象とされる空間領域を限定する処理を行なう。具体的には、ＴＯＦカメラユニット２から取得された画像データセットから、限定された空間領域に対応する複数の画素データセットが抽出される。
【００３４】
図４の（Ａ）は、ＴＯＦカメラユニット２から取得された画像データセットＩＤの一例を示している。図２に示されるように、運転席に着座した運転者５の頭部５１は、車室４１の上部に位置している蓋然性が高い。したがって、処理対象とされる空間領域が当該車室４１の上部に限定される。例えば、限定された空間領域は、Ｗ軸の座標値が−５１０ｍｍ〜３６０ｍｍ、Ｌ軸の座標値が−２８０ｍｍ〜７００ｍｍ、Ｈ軸の座標値が４３０ｍｍ〜７５０ｍｍの範囲である空間領域として定義されうる。図４の（Ｂ）は、限定された空間領域に対応する複数の画素データセットＰＤの一例を示している。抽出された複数の画素データセットＰＤもまた、データセットの一例である。
【００３５】
空間領域を限定する処理が行なわれることにより、後述する頭部５１の判別処理の負荷が軽減されうる。しかしながら、この処理は省略されてもよい。
【００３６】
次に、図３に示されるように、プロセッサ３２は、ＴＯＦカメラユニット２から取得された画像データセットＩＤまたは上記のように抽出された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割する（ＳＴＥＰ２）。
【００３７】
図５の（Ａ）は、Ｌ軸とＨ軸により形成されるＬＨ座標平面に射影された複数の画素データセットＰＤを示している。プロセッサ３２は、ＬＨ座標平面に射影された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割することにより、車室４１の一部を構成する複数の空間領域（車室空間領域）の一つに各データサブセットＤＳを対応付ける。
【００３８】
各データサブセットＤＳに対応する車室空間領域は、Ｌ軸に沿う所定の幅ｄＬを有している。幅ｄＬは、人の頭部に対応する寸法として予め定められうる。「人の頭部に対応する寸法」は、例えば国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて定められうる。
【００３９】
次に、図３に示されるように、プロセッサ３２は、高尤度データサブセットＬＤＳを特定する（ＳＴＥＰ３）。高尤度データサブセットＬＤＳは、運転者５の頭部５１が存在する可能性が高い車室空間領域に対応するデータサブセットＤＳである。
【００４０】
具体的には、プロセッサ３２は、各データサブセットＤＳに含まれる有意な画素データセットの数を計数する。「有意な画素データセット」とは、運転者５によって検出光が反射されたことにより取得された可能性が高い距離情報Ｄ（Ｕ，Ｖ）を有している画素データセットを意味する。そのような距離情報Ｄの数値範囲は、ＴＯＦカメラユニット２と運転者５との位置関係に基づいて適宜に定められうる。
【００４１】
ＬＨ座標平面に射影された複数の画素データセットＰＤの場合、有意な画素データセットを最も多く含むデータサブセットＤＳに対応する車室空間領域には、運転者５の頭部５１と胴体５２が含まれている可能性が高い。
【００４２】
したがって、図５の（Ｂ）に示されるように、プロセッサ３２は、有意な画素データセットを最も多く含むデータサブセットＤＳを、高尤度データサブセットＬＤＳとして特定する。換言すると、プロセッサ３２は、各データサブセットＤＳに含まれる運転者５に対応する画素データセットの数に基づいて、頭部５１が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットＬＤＳを特定する。
【００４３】
次に、図３に示されるように、プロセッサ３２は、特定された高尤度データサブセットＬＤＳに基づいて、頭部の判別を行なう（ＳＴＥＰ４）。
【００４４】
まず、図５の（Ｂ）に示されるように、プロセッサ３２は、運転者５の頭頂部５１ａを特定する。具体的には、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も高い位置にあるものが、頭頂部５１ａであると特定される。換言すると、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も大きなＨ軸座標値を有するものが、頭頂部５１ａであると特定される。
【００４５】
続いて、図６の（Ａ）と（Ｂ）に示されるように、プロセッサ３２は、運転者５の頭部５１が含まれる蓋然性の高い頭部空間領域ＨＳＲを定義する。頭部空間領域ＨＳＲは、特定された頭頂部５１ａの座標に基づいて定められる。具体的には、国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて、頭部空間領域ＨＳＲのＬ軸に沿う方向の寸法ｈｄＬ、Ｈ軸に沿う方向の寸法ｈｄＨ、およびＷ軸に沿う方向の寸法ｈｄＷが定められる。
【００４６】
例えば、寸法ｈｄＬは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。寸法ｈｄＨは、頭頂部５１ａの座標から下方へ１４６ｍｍの値をとるように定められる。寸法ｈｄＷは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。
【００４７】
続いて、図７の（Ａ）に示されるように、プロセッサ３２は、上記のように定められた頭部空間領域ＨＳＲに対応する頭部データサブセットＨＳＤを、複数の画素データセットＰＤから抽出する。
【００４８】
さらに、図７の（Ｂ）に示されるように、プロセッサ３２は、頭部データサブセットＨＳＤのうち、上記のように定められた頭部空間領域ＨＳＲの重心位置Ｇ（Ｗｇ，Ｌｇ，Ｈｇ）に対応する画素データセットを、運転者５の頭部５１の位置を示すデータとして特定する。
【００４９】
次に、図３に示されるように、プロセッサ３２は、頭部５１の判別が正しくなされているかを検証する（ＳＴＥＰ５）。
【００５０】
具体的には、図８の（Ａ）に示されるように、運転者５の胴体５２が含まれる蓋然性の高い胴体空間領域ＢＳＲを定義する。胴体５２は、頭部５１よりも下方に位置している。したがって、胴体空間領域ＢＳＲもまた、頭部５１よりも下方に位置する。胴体５２は、乗員の第二身体部位の一例である。胴体空間領域ＢＳＲは、検証空間領域の一例である。
【００５１】
胴体空間領域ＢＳＲは、特定された頭部５１の位置Ｐの座標（Ｗｇ，Ｌｇ，Ｈｇ）に基づいて定められる。具体的には、国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている胴体の大きさに係る情報に基づいて、胴体空間領域ＢＳＲのＬ軸に沿う方向の寸法ｂｄＬ、Ｈ軸に沿う方向の寸法ｂｄＨ、およびＷ軸に沿う方向の寸法ｂｄＷが定められる。
【００５２】
例えば、寸法ｂｄＬは、頭部５１の位置を示すＬ座標Ｌｇを中心として±３７．５ｍｍの値をとるように定められる。寸法ｂｄＨは、頭部５１の位置を示すＨ座標から下方へ４００ｍｍの値をとるように定められる。寸法ｂｄＷは、頭部５１の位置を示すＷ座標を中心として±１５０ｍｍの値をとるように定められる。
【００５３】
続いて、プロセッサ３２は、上記のように定められた胴体空間領域ＢＳＲに対応する胴体データサブセットＢＳＤを、複数の画素データセットＰＤから抽出する。胴体データサブセットＢＳＤは、検証データサブセットの一例である。
【００５４】
運転者５の頭部５１が正しく判別されていれば、胴体データサブセットＢＳＤには運転者５の胴体５２に対応する有意な画素データが一定数以上含まれるはずである。したがって、プロセッサ３２は、胴体データサブセットＢＤＳに含まれる有意な画素データセットの数を計数する。
【００５５】
胴体データサブセットＢＤＳに含まれる有意な画素データセットの計数値が閾値以上である場合、プロセッサ３２は、運転者５の頭部５１が正しく判別されていると判断する（図３のＳＴＥＰ６においてＹ）。
【００５６】
図１に示されるように、乗員判別装置３は、出力インターフェース３３を備えている。出力インターフェース３３は、特定された運転者５の頭部５１の位置を示すデータを出力する。出力されたデータは、後段の認識処理において利用される。例えば、当該データが示す頭部５１の位置の経時変化がモニタされることにより、運転者５の頭部５１の向き、傾き、動きなどが認識されうる。これにより、運転中における運転者５の脇見、居眠り、発作による異常挙動などが検知されうる。
【００５７】
後段の認識処理は、プロセッサ３２によって行なわれてもよいし、プロセッサ３２とは別のプロセッサによって行なわれてもよい。すなわち、出力インターフェース３３は、物理的なインターフェースであってもよいし、論理的なインターフェースであってもよい。
【００５８】
図８の（Ｂ）は、運転者５の手５３が誤って頭部５１として特定された場合の例を示している。この場合、誤って特定された頭部５１の位置Ｐの座標（Ｗｇ，Ｌｇ，Ｈｇ）に基づいて、手５３よりも下方に胴体空間領域ＢＳＲが定義されるとともに、胴体データサブセットＢＳＤが抽出される。しかしながら、手５３の下方には胴体５２が存在しないので、抽出された胴体データサブセットＢＳＤに含まれる有意な画素データセットの数は、上記の閾値を下回る。したがって、プロセッサ３２は、運転者５の頭部５１が正しく判別されていないと判断できる。
【００５９】
しかしながら、運転者５の頭部５１と胴体５２の相対位置関係は、運転者５の姿勢に応じて変化する。例えば、図９の（Ａ）に示されるように運転者５が前傾姿勢をとると、頭部５１に対する胴体５２の相対位置が、通常の着座姿勢時よりも後方へシフトする。あるいは、図９の（Ｂ）に示されるように運転者５が後傾姿勢をとると、頭部５１に対する胴体５２の相対位置が、通常の着座姿勢時よりも前方へシフトする。
【００６０】
本実施形態においては、頭部５１と胴体空間領域ＢＳＲの位置関係が、特定された頭部５１の位置に基づいて可変とされている。具体的には、プロセッサ３２は、特定された頭部５１の位置Ｐの座標を、予め定められた基準位置ＲＰの座標と比較する。プロセッサ３２は、位置Ｐの座標と基準位置ＲＰの座標との差異に基づいて、位置Ｐと胴体空間領域ＢＳＲの位置関係を変更する。
【００６１】
図９の（Ａ）に示される例においては、特定された頭部５１の位置Ｐは、基準位置ＲＰよりも前方（Ｌ軸における正の方向）に位置している。この場合、プロセッサ３２は、位置Ｐに基づいて定義される胴体空間領域ＢＳＲの位置を、初期位置よりも後方（Ｌ軸における負の方向）へオフセットさせる。
【００６２】
図９の（Ｂ）に示される例においては、特定された頭部５１の位置Ｐは、基準位置ＲＰよりも後方（Ｌ軸における負の方向）に位置している。この場合、プロセッサ３２は、位置Ｐに基づいて定義される胴体空間領域ＢＳＲの位置を、初期位置よりも前方（Ｌ軸における正の方向）へオフセットさせる。
【００６３】
図１０の（Ａ）に示される例においては、特定された頭部５１の位置Ｐは、基準位置ＲＰよりも右方（Ｗ軸における正の方向）に位置している。この場合、プロセッサ３２は、位置Ｐに基づいて定義される胴体空間領域ＢＳＲの位置を、初期位置よりも左方（Ｗ軸における負の方向）へオフセットさせる。
【００６４】
図１０の（Ｂ）に示される例においては、特定された頭部５１の位置Ｐは、基準位置ＲＰよりも右方（Ｗ軸における負の方向）に位置している。この場合、プロセッサ３２は、位置Ｐに基づいて定義される胴体空間領域ＢＳＲの位置を、初期位置よりも左方（Ｗ軸における正の方向）へオフセットさせる。
【００６５】
現実的な位置Ｐの基準位置ＲＰからのオフセットは、Ｌ軸方向成分とＷ軸方向成分の組合せとなる。したがって、胴体空間領域ＢＳＲの初期位置からのオフセットもまた、Ｌ軸方向成分とＷ軸方向成分の組合せとなる。例えば、プロセッサ３２は、位置ＰのＬ軸座標とＷ軸座標に基づいて、図１１の（Ａ）に示される表と図１１の（Ｂ）に示される表を参照し、胴体空間領域ＢＳＲの初期位置からのＬ軸方向に沿うオフセット量とＷ軸方向に沿うオフセット量を決定する。結果として、胴体空間領域ＢＳＲのオフセット方向とオフセット量が定まる。
【００６６】
上記のような構成によれば、胴体データサブセットＢＳＤに含まれる有意な画素データセットの数に基づいて、頭部５１が正しく判別されているかを検証できる。さらに、胴体データサブセットＢＳＤが対応する胴体空間領域ＢＳＲと頭部５１との位置関係が、特定された頭部５１の位置Ｐに応じて可変とされているので、運転者５の姿勢に依らず、胴体空間領域ＢＳＲに胴体５２が含まれる確率を高めることができる。これにより、頭部５１の判別結果の検証を精度よく行なうことができる。したがって、手に限られない身体部位の検出を通じて、車室４１内の運転者５の姿勢や動作を高い精度で判別できる。
【００６７】
図９から図１１を参照して説明した例においては、検出された頭部５１の位置Ｐの基準位置ＲＰからのオフセット方向に基づいて、当該オフセット方向とは逆方向へ胴体空間領域ＢＳＲの位置をオフセットさせている。
【００６８】
このような構成によれば、頭部５１の判別結果を検証するために胴体空間領域ＢＳＲの位置をオフセットさせる処理を簡略化できる。
【００６９】
運転者５の頭部５１が正しく判別されていないと判断された場合（図３のＳＴＥＰ６においてＮ）、プロセッサ３２は、頭部５１の位置Ｐを特定し直す処理を実行しうる。例えば、ＳＴＥＰ１まで処理を戻して予備処理からやり直してもよいし、ＳＴＥＰ３まで処理を戻して高尤度データサブセットＬＤＳの特定からやり直してもよい。あるいは、プロセッサ３２は、位置Ｐの再特定を行なわずに、誤った判別結果を無視または廃棄しうる。
【００７０】
このような構成によれば、頭部５１の誤った判別結果が後段の認識処理に影響を及ぼす事態を回避できる。
【００７１】
頭部５１の位置Ｐの再特定に際しては、誤った判別結果の原因となった頭部５１の位置Ｐが候補から除外されることが好ましい。このとき、当該位置Ｐを示す座標のみが除外されてもよいし、当該位置Ｐを導くために使用された頭部データサブセットＨＳＤまたは高尤度データサブセットＬＤＳが除外されてもよい。
【００７２】
図３に示されるように、複数のデータサブセットＤＳへの分割処理（ＳＴＥＰ２）は、複数の第一座標データサブセットへの分割処理（ＳＴＥＰ２１）と複数の第二座標データサブセットへの分割処理（ＳＴＥＰ２２）を含みうる。第一座標データサブセットは、車室４１内の三次元位置を特定可能な三つの座標軸のうち第一の座標軸に基づくデータサブセットである。第二座標データサブセットは、当該三つの座標軸のうち第二の座標軸に基づくデータサブセットである。
【００７３】
図５の（Ａ）を参照して説明されたデータサブセットＤＳは、第一座標データサブセットの一例である。すなわち、Ｌ軸は、第一の座標軸の一例である。
【００７４】
図１２の（Ａ）は、Ｗ軸とＨ軸により形成されるＷＨ座標平面に射影された複数の画素データセットＰＤを示している。プロセッサ３２は、ＷＨ座標平面に射影された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割することにより、車室４１の一部を構成する複数の空間領域（車室空間領域）の一つに各データサブセットＤＳを対応付ける。このように分割された複数のデータサブセットは、第二座標データサブセットの一例である。Ｗ軸は、第二の座標軸の一例である。
【００７５】
各データサブセットＤＳに対応する車室空間領域は、Ｗ軸に沿う所定の幅ｄＷを有している。幅ｄＷは、人の頭部に対応する寸法として予め定められることが好ましい。
【００７６】
Ｗ軸に基づいて分割された複数のデータサブセットＤＳに対しても、図３に示されるように、プロセッサ３２は、高尤度データサブセットＬＤＳを特定する（ＳＴＥＰ３）。前述のように、高尤度データサブセットＬＤＳは、運転者５の頭部５１が存在する可能性が高い車室空間領域に対応するデータサブセットＤＳである。
【００７７】
ＷＨ座標平面に射影された複数の画素データセットＰＤの場合、有意な画素データセットを最も多く含むデータサブセットＤＳに対応する車室空間領域には、運転者５の頭頂部５１ａが含まれている可能性が高い。
【００７８】
したがって、図１２の（Ｂ）に示されるように、プロセッサ３２は、有意な画素データセットを最も多く含むデータサブセットＤＳを、高尤度データサブセットＬＤＳとして特定する。換言すると、プロセッサ３２は、各データサブセットＤＳに含まれる運転者５に対応する画素データセットの数に基づいて、頭部５１が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットＬＤＳを特定する。
【００７９】
三次元情報を有する複数の画素データセットに対して、当該三次元情報を特定可能な三つの座標軸のうち二つに基づいて複数のデータサブセットＤＳへの分割が行なわれることにより、高尤度データサブセットＬＤＳの特定精度を高めることができる。これにより、例えば頭頂部５１ａの特定に基づく頭部５１の判別に係る後続の処理の精度を高めることができる。
【００８０】
三つの座標軸のうち一つを用いて高尤度データサブセットＬＤＳの特定が行なわれる場合、前述したＬＨ座標平面に射影された複数の画素データセットＰＤに対する分割処理に代えて、ＷＨ座標平面に射影された複数の画素データセットＰＤに対する分割処理のみがおこなわれてもよい。
【００８１】
上述したプロセッサ３２の機能は、図１に示される汎用メモリ３４と協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵやＭＰＵが例示されうる。汎用メモリ３４としては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ３２は、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ３２は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。プロセッサ３２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
【００８２】
図１に示されるように、乗員判別装置３は、ネットワーク６を介して外部サーバ７と通信可能に構成されうる。この場合、上述した処理を実行するプログラムは、外部サーバ７からネットワーク６を介してダウンロードされうる。外部サーバ７は、コンピュータプログラムを記憶している記憶媒体の一例である。
【００８３】
上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【００８４】
上記の実施形態においては、乗員判別装置３は、運転者５の頭部５１を判別するように構成されている。これに加えてあるいは代えて、乗員判別装置３は、運転者以外の乗員の頭部を判別するように構成されうる。これに加えてあるいは代えて、乗員判別装置３は、乗員の頭部以外の身体部位（胴体、腕、脚、手など）を判別するように構成されうる。その場合、分割された各データサブセットＤＳに対応する車室空間領域の幅（例えばＬ軸に沿う方向の幅ｄＬ、Ｗ軸に沿う方向の幅ｄＷ）は、判別対象としての当該身体部位に対応する寸法を有することが好ましい。また、当該身体部位の判別結果を検証するために定義される検証空間領域の大きさと当該身体部位に対する位置関係は、当該身体部位に応じて適宜に定められうる。
【００８５】
上記の実施形態においては、乗員判別装置３は、ＴＯＦカメラユニット２から三次元情報を有する複数の画素データセットを取得している。この場合、画像処理を用いる判別処理との統合が比較的容易である。しかしながら、三次元情報を有する複数の点要素を含むデータセットを乗員判別装置３に提供可能であれば、ＴＯＦカメラユニット２に代えて、ＬｉＤＡＲ（Light Detection and Ranging）センサユニットなどが使用されうる。
【符号の説明】
【００８６】
２：ＴＯＦカメラユニット、３：乗員判別装置、３１：入力インターフェース、３２：プロセッサ、４１：車室、５：運転者、５１：頭部、５２：胴体、Ｐ：頭部の位置、ＩＤ：画像データセット、ＰＤ：画素データセット、ＤＳ：データサブセット、ＬＤＳ：高尤度データサブセット、ＢＤＳ：胴体データサブセット、ＢＳＲ：胴体空間領域
【図１】
2020077179.tif 000004
【図２】
2020077179.tif 000005
【図３】
2020077179.tif 000006
【図４】
2020077179.tif 000007
【図５】
2020077179.tif 000008
【図６】
2020077179.tif 000009
【図７】
2020077179.tif 000010
【図８】
2020077179.tif 000011
【図９】
2020077179.tif 000012
【図１０】
2020077179.tif 000013
【図１１】
2020077179.tif 000014
【図１２】
2020077179.tif 000015