(57)【要約】【課題】撮像環境に依存しない骨格情報を生成することのできる３次元特徴点情報生成装置を提供すること。【解決手段】実施形態に係る３次元特徴点情報生成装置は、取得部と、座標推定部とを備える。取得部は、被写体の２次元画像および距離画像を取得する。座標推定部は、取得部によって取得された２次元画像および距離画像に基づき、２次元画像および距離画像の撮像位置以外の位置を原点とする３次元絶対座標系における被写体の骨格点の３次元座標を推定する。【選択図】図３
2020047273.tif 000002
【特許請求の範囲】
【請求項１】
被写体の２次元画像および距離画像を取得する取得部と、
前記取得部によって取得された前記２次元画像および前記距離画像に基づき、前記２次元画像および前記距離画像の撮像位置以外の位置を原点とする３次元絶対座標系における前記被写体の骨格点の３次元座標を推定する座標推定部と
を備える、３次元特徴点情報生成装置。
【請求項２】
前記座標推定部は、
前記２次元画像に基づき、前記骨格点の２次元座標を推定する２次元座標推定部と、
前記２次元座標推定部によって推定された前記２次元座標を、前記距離画像に基づいて前記３次元絶対座標系における３次元座標に変換する座標変換部と
を備える、請求項１に記載の３次元特徴点情報生成装置。
【請求項３】
前記座標推定部は、
前記２次元画像および前記距離画像に基づき、前記３次元絶対座標系における前記被写体の３次元点群を生成する点群生成部と、
前記点群生成部によって生成された前記３次元点群に基づき、前記３次元絶対座標系における前記骨格点の３次元座標を推定する３次元座標推定部と
を備える、請求項１に記載の３次元特徴点情報生成装置。
【請求項４】
前記座標推定部は、
人体の３次元形状をモデリングした人体形状モデルに基づき、前記点群生成部によって生成された前記３次元点群を補正する点群補正部
を備える、請求項３に記載の３次元特徴点情報生成装置。
【請求項５】
前記座標推定部によって推定された前記骨格点の３次元座標に基づき、前記被写体における部位の長さを含む身体情報を生成する身体情報生成部
を備える、請求項１〜４のいずれか一つに記載の３次元特徴点情報生成装置。
【請求項６】
前記身体情報生成部によって生成された前記身体情報に基づき、前記被写体の姿勢を推定する姿勢推定部
を備える、請求項５に記載の３次元特徴点情報生成装置。
【請求項７】
前記身体情報生成部によって生成された前記身体情報に基づき、前記被写体の体格を推定する体格推定部
を備える、請求項５に記載の３次元特徴点情報生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、３次元特徴点情報生成装置に関する。
【背景技術】
【０００２】
従来、撮像装置によって撮像された２次元画像から人体の骨格点の２次元座標を推定する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１９９３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術において得られる骨格点の２次元座標は、撮像装置によって撮像された２次元画像を基準とするものであり、撮像装置の位置、姿勢、種類といった撮像環境に依存した情報となる。
【０００５】
そこで、本発明の課題の一つは、撮像環境に依存しない骨格情報を生成することのできる３次元特徴点情報生成装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の実施形態に係る３次元特徴点情報生成装置は、一例として、被写体の２次元画像および距離画像を取得する取得部と、前記取得部によって取得された前記２次元画像および前記距離画像に基づき、前記２次元画像および前記距離画像の撮像位置以外の位置を原点とする３次元絶対座標系における前記被写体の骨格点の３次元座標を推定する座標推定部とを備える。よって、一例としては、２次元画像および距離画像の撮像位置以外の位置を原点とする３次元絶対座標系における被写体の骨格点の３次元座標を推定することで、撮像環境に依存しない骨格情報を生成することができる。
【０００７】
上記３次元特徴点情報生成装置において、前記座標推定部は、前記２次元画像に基づき、前記骨格点の２次元座標を推定する２次元座標推定部と、前記２次元座標推定部によって推定された前記２次元座標を、前記距離画像に基づいて前記３次元絶対座標系における３次元座標に変換する座標変換部とを備えていてもよい。これにより、撮像環境に依存する２次元座標系で表された骨格点の２次元座標を、かかる撮像環境に依存しない３次元絶対座標系における３次元座標に変換することができる。
【０００８】
上記３次元特徴点情報生成装置において、前記座標推定部は、前記２次元画像および前記距離画像に基づき、前記３次元絶対座標系における前記被写体の３次元点群を生成する点群生成部と、前記点群生成部によって生成された前記３次元点群に基づき、前記３次元絶対座標系における前記骨格点の３次元座標を推定する３次元座標推定部とを備えていてもよい。これにより、人体内部にある骨格点の位置を直接推定することができることから、たとえば被写体の肉付きや服装等の影響を受けにくい高精度な３次元骨格情報を得ることができる。
【０００９】
上記３次元特徴点情報生成装置において、前記座標推定部は、人体の３次元形状をモデリングした人体形状モデルに基づき、前記点群生成部によって生成された前記３次元点群を補正する点群補正部を備えていてもよい。これにより、３次元点群に含まれるノイズを除去することができる。
【００１０】
上記３次元特徴点情報生成装置は、前記座標推定部によって推定された前記骨格点の３次元座標に基づき、前記被写体における部位の長さを含む身体情報を生成する身体情報生成部を備えていてもよい。これにより、たとえば、２次元画像から得られる骨格点の２次元座標に基づいて被写体の身体情報を認識する場合と異なり、個々の環境に応じた機械学習やパラメータ適合等が不要となるため、汎用性の高い認識ロジックを構築することができる。すなわち、いかなる撮像環境においても、その環境に応じた機械学習を行うことなく、被写体の身体情報を認識することが可能となる。
【００１１】
上記３次元特徴点情報生成装置は、前記身体情報生成部によって生成された前記身体情報に基づき、前記被写体の姿勢を推定する姿勢推定部を備えていてもよい。これにより、たとえば、身体情報だけでなく被写体の姿勢の情報も得ることで、各種機器の制御等をより適切に行うことができる。
【００１２】
上記３次元特徴点情報生成装置は、前記身体情報生成部によって生成された前記身体情報に基づき、前記被写体の体格を推定する体格推定部を備えていてもよい。これにより、たとえば、身体情報だけでなく被写体の体格の情報も得ることで、各種機器の制御等をより適切に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、第１実施形態に係る３次元特徴点情報生成装置が搭載される車両の車室内を上方から見た平面図である。
【図２】図２は、第１実施形態に係る制御システムの構成を示すブロック図である。
【図３】図３は、第１実施形態に係るＥＣＵの機能的構成を示すブロック図である。
【図４】図４は、２次元骨格情報の一例を示す図である。
【図５】図５は、３次元骨格情報の一例を示す図である。
【図６】図６は、人体統計情報の説明図である。
【図７】図７は、第１実施形態に係るＥＣＵが実行する処理の手順を示すフローチャートである。
【図８】図８は、第２実施形態に係るＥＣＵの機能的構成を示すブロック図である。
【図９】図９は、３次元点群の一例を示す図である。
【図１０】図１０は、第２実施形態に係るＥＣＵが実行する処理の手順を示すフローチャートである。
【図１１】図１１は、第３実施形態において、乗員の姿勢の例を模式的に示す図である。
【図１２】図１２は、第３実施形態に係るＥＣＵの機能的構成を示すブロック図である。
【図１３】図１３は、第３実施形態に係るＥＣＵが実行する処理の手順を示すフローチャートである。
【図１４】図１４は、第４実施形態において、３次元骨格情報における各身体寸法を示す図である。
【図１５】図１５は、第４実施形態に係るＥＣＵの機能的構成を示すブロック図である。
【図１６】図１６は、第４実施形態に係るＥＣＵが実行する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本願に係る３次元特徴点情報生成装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る３次元特徴点情報生成装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１５】
（第１実施形態）
〔１．車両１の構成〕
図１は、第１実施形態に係る３次元特徴点情報生成装置が搭載される車両１の車室内を上方から見た平面図である。図１に示すように、車両１の車室内には、複数の座席２が設けられている。たとえば、車室内の前方側には運転席２ａおよび助手席２ｂが設けられ、後方側には複数の後部座席２ｃ〜２ｅが設けられる。複数の後部座席２ｃ〜２ｅのうち、後部座席２ｃは、運転席２ａの後方に設けられ、後部座席２ｄは、助手席２ｂの後方に設けられ、後部座席２ｅは、後部座席２ｃと後部座席２ｄとの間に設けられる。
【００１６】
車室内の前方側には、撮像装置３が設けられる。撮像装置３は、たとえば、ＴＯＦ（Time  Of  Flight）距離画像カメラであり、２次元画像および被写体、ここでは、車室内の乗員を撮像した２次元画像に加え、撮像位置から乗員までの距離情報を画素値とする距離画像を撮像する。
【００１７】
第１実施形態において、撮像装置３は、車室内の全ての座席２を撮像可能なように、すなわち、車室内の全ての座席２に着座した乗員全員を撮像可能なように、向き、画角および設置位置等が決められる。たとえば、撮像装置３は、ダッシュボード、ルームミラー、天井等に設置され得る。なお、これに限らず、撮像装置３は、特定の座席２（たとえば、運転席２ａ）に着座した乗員のみを撮像可能な位置に配置されてもよい。
【００１８】
ここでは、１台の撮像装置３を用いて２次元画像および距離画像の両方を撮像するものとするが、車両１には、たとえば、２次元画像を撮像する撮像装置と距離画像を撮像する撮像装置とが別々に設けられてもよい。距離画像を撮像する撮像装置は、ＴＯＦ距離画像カメラに限定されず、たとえば、ステレオカメラの他、ストラクチャードライト方式による３Ｄスキャナ等であってもよい。
【００１９】
〔２．制御システム１００の構成〕
車両１には、３次元特徴点情報生成装置を含む制御システム１００が設けられる。かかる制御システム１００の構成について図２を参照して説明する。図２は、第１実施形態に係る制御システム１００の構成を示すブロック図である。
【００２０】
図２に示すように、制御システム１００は、撮像装置３と、シート調整装置８と、ＥＣＵ１０と、車内ネットワーク２０とを備える。ＥＣＵ１０は、３次元特徴点情報生成装置の一例である。
【００２１】
撮像装置３は、たとえばＮＴＳＣ（National  Television  System  Committee）ケーブル等の出力線を介してＥＣＵ１０に接続され、撮像した２次元画像および距離画像を出力線を介してＥＣＵ１０に出力する。
【００２２】
シート調整装置８は、座席２の位置を調整する。たとえば、シート調整装置８は、運転席２ａの位置を調整するものとするが、他の座席２の位置を調整するものであってもよい。また、シート調整装置８は、運転席２ａの前後方向における位置を調整するものとするが、これに限らず、たとえば運転席２ａの高さ位置を調整してもよい。
【００２３】
ＥＣＵ１０は、車内ネットワーク２０を介して制御信号を送ることにより、シート調整装置８を制御することができる。その他、ＥＣＵ１０は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。
【００２４】
ＥＣＵ１０は、たとえば、ＣＰＵ（Central  Processing  Unit）１１と、ＳＳＤ（Solid  State  Drive）１２と、ＲＯＭ（Read  Only  Memory）１３と、ＲＡＭ（Random  Access  Memory）１４とを備える。ＣＰＵ１１は、ＲＯＭ１３等の不揮発性の記憶装置にインストールされ記憶されたプログラムを実行することによって、３次元特徴点情報生成装置としての機能を実現する。ＲＡＭ１４は、ＣＰＵ１１での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２は、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ１０の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１１、ＲＯＭ１３、およびＲＡＭ１４等は、同一パッケージ内に集積され得る。ＥＣＵ１０は、ＣＰＵ１１に替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。ＳＳＤ１２に替えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ１２またはＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。
【００２５】
〔３．ＥＣＵ１０の機能的構成〕
次に、ＥＣＵ１０の機能的構成について図３を参照して説明する。図３は、第１実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。
【００２６】
図３に示すように、ＥＣＵ１０は、取得部３１と、２次元座標推定部３２と、座標変換部３３と、身体情報生成部３４と、機器制御部３５と、記憶部５０を備える。取得部３１、２次元座標推定部３２、座標変換部３３、身体情報生成部３４および機器制御部３５は、ＣＰＵ１１が、ＲＯＭ１３に格納されたプログラムを実行することによって実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。記憶部５０は、たとえばＳＳＤ１２により構成される。
【００２７】
取得部３１は、撮像装置３によって撮像された２次元画像および距離画像を撮像装置３から取得する。取得部３１は、取得した２次元画像および距離画像を記憶部５０に記憶する（図３中、２次元画像５１および距離画像５２に相当）。
【００２８】
２次元座標推定部３２は、記憶部５０に記憶された２次元画像５１から、２次元画像５１に写り込んだ乗員の骨格点を抽出する。骨格点とは、被写体の各部位の位置を示す特徴点であり、たとえば、人体上の端点（顔の上下端部）や関節（腕の付け根、足の付け根、肘、手首等）等を含む。
【００２９】
また、２次元座標推定部３２は、抽出した各骨格点の位置を２次元座標で表した２次元骨格情報５３を生成して記憶部５０に記憶する。
【００３０】
ここで、２次元骨格情報５３の一例を図４に示す。図４は、２次元骨格情報５３の一例を示す図である。図４に示すように、２次元骨格情報５３は、たとえば、２次元画像５１の左上の角を原点（０，０）とする２次元座標系で表される。たとえば、図４に示す２次元骨格情報５３において、被写体の左腕の付け根に位置する骨格点Ｐ１の２次元座標は、（４００，２５０）で表される。なお、２次元画像５１の右下の角の座標は、たとえば、（６３９，４７９）である。
【００３１】
座標変換部３３は、２次元座標推定部３２によって推定された２次元座標を３次元座標に変換する。
【００３２】
まず、座標変換部３３は、距離画像５２および２次元骨格情報５３に基づき、撮像装置３の撮像位置から各骨格点までの距離を特定する。具体的には、座標変換部３３は、各骨格点の２次元座標に対応する２次元画像５１上の画素に割り当てられた距離情報を距離画像５２から取得する。これにより、各骨格点の撮像位置からの距離を特定することができる。
【００３３】
つづいて、座標変換部３３は、各骨格点の２次元座標、各骨格点の撮像位置からの距離および撮像環境情報５４に基づいて、各骨格点の２次元座標を３次元座標に変換する。撮像環境情報５４は、後述する３次元絶対座標系における撮像装置３の位置、姿勢の他、レンズの種類、撮像時における各種パラメータの値を含む情報である。撮像環境情報５４を用いることで、各骨格点の位置を、撮像装置３の撮像位置とは異なる位置を原点とする３次元絶対座標系における３次元座標で表すことができる。
【００３４】
座標変換部３３は、各骨格点の位置を上記３次元絶対座標系における３次元座標で表した３次元骨格情報５５を生成して記憶部５０に記憶する。
【００３５】
ここで、３次元骨格情報５５の一例を図５に示す。図５は、３次元骨格情報５５の一例を示す図である。図５に示すように、３次元絶対座標系は、撮像装置３の撮像位置ＰＣと異なる位置を原点ＰＯとする３次元座標系である。たとえば、２次元骨格情報５３における２次元座標が（４００，２５０）であった骨格点Ｐ１の３次元座標は、図５に示す３次元絶対座標系においては（５００，３００，２００）で表される。この３次元座標の値は、３次元絶対座標系の原点ＰＯ（０，０，０）から骨格点Ｐ１までの実際の距離の値である。すなわち、骨格点Ｐ１の３次元座標（５００，３００，２００）は、原点ＰＯ（０，０，０）からＸ軸方向に５００ｍｍ、Ｙ軸方向に３００ｍｍ、Ｚ軸方向に２００ｍｍの場所に骨格点Ｐ１が位置することを示している。
【００３６】
このように、座標変換部３３によれば、撮像装置３の位置、向き、レンズの種類といった撮像環境に依存する２次元座標系で表された２次元骨格情報５３における２次元座標を、かかる撮像環境に依存しない３次元絶対座標系における３次元座標に変換することができる。これにより、たとえば、２次元画像から得られる骨格点の２次元座標に基づいて乗員の身体情報（肩幅など）を認識する場合と異なり、個々の環境に応じた機械学習やパラメータ適合等が不要となるため、汎用性の高い乗員認識ロジックを構築することができる。すなわち、いかなる撮像環境においても、その環境に応じた機械学習を行うことなく、乗員の身体情報を認識することが可能となる。
【００３７】
身体情報生成部３４は、記憶部５０に記憶された３次元骨格情報５５に基づき、乗員の各部位の長さを含む身体情報を算出する。たとえば、身体情報生成部３４は、左腕の付け根に位置する骨格点Ｐ１と、右腕の付け根に位置する骨格点との距離をこれらの３次元座標を用いて算出することで、乗員の肩幅の情報を得ることができる。上述したように、３次元骨格情報５５における各骨格点の３次元座標は、実寸値で表されるため、乗員の各部位の長さを幾何学的演算により容易に算出することが可能である。
【００３８】
身体情報生成部３４は、乗員の各部位のうち、２次元画像５１に実際に写り込んでいる部位の長さを算出する。たとえば、身体情報生成部３４は、乗員の上半身の各部位の長さ（肩幅、上腕の長さ、頭幅など）を算出する。一方、身体情報生成部３４は、２次元画像５１に写り込んでいない乗員の部位についての身体情報を記憶部５０に記憶された人体統計情報５６を用いて推定する。
【００３９】
図６は、人体統計情報５６の説明図である。たとえば、図６に示すように、上腕の長さと座高との間には相関関係があるとする。人体統計情報５６は、このような相関関係を表した相関式を含んでおり、３次元骨格情報５５から算出した上腕の長さと上記相関式とに基づいて、２次元画像５１に写り込まない座高を推定することができる。なお、図６に示す相関関係は、一例であり、人体統計情報５６には、ある部位の長さと他の部位の長さとの相関関係を示す複数の式が含まれる。
【００４０】
このようにして、身体情報生成部３４は、身体情報を生成し、生成した身体情報を記憶部５０に記憶する（身体情報５７に相当）。
【００４１】
機器制御部３５は、記憶部５０に記憶された身体情報５７に基づき、車両１に搭載される各種機器の制御を行う。一例として、機器制御部３５は、身体情報５７に基づき、シート調整装置８を制御することにより、座席２（ここでは、運転席２ａ）の位置等を、乗員の身長等に応じて自動的に調整する。これにより、座席２の位置等を乗員が自ら調整する手間を省くことができる。
【００４２】
上記の例に限らず、機器制御部３５は、たとえば、身体情報５７に含まれる乗員の肩幅が閾値以下である場合、乗員が子供であると判定して、エアバッグ装置の展開モードを、大人用の通常モードよりも弱く展開する弱展開モードに切り替えてもよい。このように、乗員の体格に応じた強度でエアバッグを展開させることで、エアバッグの安全性を高めることができる。
【００４３】
〔４．ＥＣＵ１０の具体的動作〕
次に、ＥＣＵ１０の具体的動作について図７を参照して説明する。図７は、第１実施形態に係るＥＣＵ１０が実行する処理の手順を示すフローチャートである。
【００４４】
図７に示すように、まず、取得部３１が、撮像装置３から２次元画像５１と距離画像５２とを取得し（ステップＳ１０１）、２次元座標推定部３２が、２次元画像５１に基づき、２次元画像５１を基準とする２次元座標系における乗員の各骨格点の２次元座標を示す２次元骨格情報５３を生成する（ステップＳ１０２）。
【００４５】
つづいて、座標変換部３３が、距離画像５２、２次元骨格情報５３および撮像環境情報５４等に基づき、２次元骨格情報５３における２次元座標を、撮像環境に依存しない３次元絶対座標系における３次元座標に変換することにより、３次元骨格情報５５を生成する（ステップＳ１０３）。
【００４６】
つづいて、身体情報生成部３４が、３次元骨格情報５５に基づき身体情報５７を生成し（ステップＳ１０４）、機器制御部３５が、身体情報５７に基づき車載機器、たとえば、シート調整装置８を制御する（ステップＳ１０５）。
【００４７】
（第２実施形態）
次に、第２実施形態に係る３次元特徴点情報生成装置について説明する。図８は、第２実施形態に係るＥＣＵ１０Ａの機能的構成を示すブロック図である。
【００４８】
図８に示すように、第２実施形態に係るＥＣＵ１０Ａは、２次元座標推定部３２および座標変換部３３に代えて、点群生成部３６と、点群補正部３７と、３次元座標推定部３８とを備える。
【００４９】
点群生成部３６は、記憶部５０Ａに記憶された２次元画像５１、距離画像５２および撮像環境情報５４に基づき、幾何学的計算を行うことにより、上記３次元絶対座標系における乗員の３次元点群を生成する。図９は、３次元点群の一例を示す図である。
【００５０】
図９に示すように、点群生成部３６によって生成される３次元点群は、乗員の表面（服の表面を含む）の形状を表す多数の点の集合である。なお、３次元点群には、乗員の内部すなわち骨格の情報は含まれていない。
【００５１】
また、図９に示すように、点群生成部３６は、撮像環境情報５４を用いることで、第１実施形態と同じく、２次元画像５１を基準とする相対的な２次元座標系から、撮像環境に依存しない３次元絶対座標系に座標変換する。
【００５２】
点群生成部３６は、生成した３次元点群を点群補正部３７に出力する。なお、３次元点群の生成手法については、いかなる公知技術を用いても構わない。
【００５３】
点群補正部３７は、点群生成部３６によって生成された３次元点群を記憶部５０Ａに記憶された人体形状モデル５８に基づいて補正する。人体形状モデル５８は、人体の３次元形状をモデリングした情報である。
【００５４】
点群生成部３６によって生成される３次元点群には、たとえば、顔面が大きく窪んだ形状や胸部から突起が飛び出した形状など、人体としてはあり得ない形状がノイズとして含まれるおそれがある。点群補正部３７は、人体形状モデル５８を用いて、上記のような人体としてはあり得ない形状を省略したり修正したりする。これにより、点群生成部３６によって生成された３次元点群に含まれるノイズを除去することができる。点群生成部３６は、ノイズを除去した３次元点群を記憶部５０Ａに記憶する（３次元点群５９に相当）。
【００５５】
３次元座標推定部３８は、記憶部５０Ａに記憶された３次元点群５９および学習情報６０に基づき、３次元絶対座標系における各骨格点の３次元座標を推定する。
【００５６】
学習情報６０は、たとえば、人体の表面形状を示す多数の学習データと、各学習データにおける人体の各骨格点の位置を示す正解データとを学習器に与えて学習させることによって得られる情報である。３次元座標推定部３８は、学習情報６０を用いることにより、３次元点群５９によって示される乗員の外形から、その乗員の各骨格点の位置を推定することができる。
【００５７】
３次元座標推定部３８は、乗員の各骨格点の３次元座標を示す３次元骨格情報５５を生成して記憶部５０Ａに記憶する（３次元骨格情報５５に相当）。
【００５８】
このように、３次元点群５９は、２次元画像５１と異なり、人体の表面形状（腕の丸みや体の形）の情報を持っており、かかる３次元点群５９と、予め記憶された学習情報６０とに基づき、人体内部にある骨格点の位置を直接推定することができる。したがって、たとえば乗員の肉付き（やせ形など）や服装等の影響を受けにくい高精度な３次元骨格情報５５を得ることができる。
【００５９】
次に、第２実施形態に係るＥＣＵ１０Ａの具体的動作について図１０を参照して説明する。図１０は、第２実施形態に係るＥＣＵ１０Ａが実行する処理の手順を示すフローチャートである。
【００６０】
図１０に示すように、まず、取得部３１が、撮像装置３から２次元画像５１と距離画像５２とを取得し（ステップＳ２０１）、点群生成部３６が、２次元画像５１および距離画像５２に基づき、３次元絶対座標系によって位置が定義された乗員の３次元点群５９を生成する（ステップＳ２０２）。また、点群補正部３７が、点群生成部３６によって生成された３次元点群を人体形状モデル５８に基づき補正する（ステップＳ２０３）。
【００６１】
つづいて、３次元座標推定部３８が、点群補正部３７によって補正された３次元点群５９に基づき、２次元画像５１を基準とする相対的な２次元座標を撮像環境に依存しない３次元絶対座標系における３次元座標に変換することによって、３次元骨格情報５５を生成する（ステップＳ２０４）。
【００６２】
つづいて、身体情報生成部３４が、３次元骨格情報５５に基づき身体情報５７を生成し（ステップＳ２０５）、機器制御部３５が、身体情報５７に基づき車載機器、たとえば、シート調整装置８を制御する（ステップＳ２０６）。
【００６３】
上述してきたように、実施形態に係る３次元特徴点情報生成装置（一例として、ＥＣＵ１０，１０Ａ）は、取得部３１と、座標推定部（一例として、２次元座標推定部３２および座標変換部３３、または、点群生成部３６および３次元座標推定部３８）とを備える。取得部３１は、被写体（一例として、車両１の乗員）の２次元画像５１および距離画像５２を取得する。座標推定部は、取得部３１によって取得された２次元画像５１および距離画像５２に基づき、２次元画像５１および距離画像５２の撮像位置以外の位置を原点とする３次元絶対座標系における被写体の骨格点の３次元座標を推定する。
【００６４】
このように、２次元画像５１および距離画像５２の撮像位置以外の位置を原点とする３次元絶対座標系における被写体の骨格点の３次元座標を推定することで、撮像環境に依存しない骨格情報を生成することができる。
【００６５】
また、座標推定部は、２次元座標推定部３２と、座標変換部３３とを備えていてもよい。２次元座標推定部３２は、２次元画像５１に基づき、骨格点の２次元座標を推定する。座標変換部３３は、２次元座標推定部３２によって推定された２次元座標を、距離画像５２に基づいて３次元絶対座標系における３次元座標に変換する。これにより、撮像環境に依存する２次元座標系で表された骨格点の２次元座標を、かかる撮像環境に依存しない３次元絶対座標系における３次元座標に変換することができる。
【００６６】
また、座標推定部は、点群生成部３６と、３次元座標推定部３８とを備えていてもよい。点群生成部３６は、２次元画像５１および距離画像５２に基づき、３次元絶対座標系における被写体の３次元点群を生成する。３次元座標推定部３８は、点群生成部３６によって生成された３次元点群に基づき、３次元絶対座標系における骨格点の３次元座標を推定する。これにより、人体内部にある骨格点の位置を直接推定することができることから、たとえば被写体の肉付きや服装等の影響を受けにくい高精度な３次元骨格情報を得ることができる。
【００６７】
また、座標推定部は、人体の３次元形状をモデリングした人体形状モデルに基づき、点群生成部３６によって生成された３次元点群を補正する点群補正部３７を備えていてもよい。これにより、３次元点群に含まれるノイズを除去することができる。
【００６８】
また、３次元特徴点情報生成装置は、座標推定部によって推定された骨格点の３次元座標に基づき、被写体における部位の長さを含む身体情報５７を生成する身体情報生成部３４を備えていてもよい。これにより、たとえば、２次元画像５１から得られる骨格点の２次元座標から被写体の身体情報を認識する場合と異なり、個々の環境に応じた機械学習やパラメータ適合等が不要となるため、汎用性の高い認識ロジックを構築することができる。すなわち、いかなる撮像環境においても、その環境に応じた機械学習を行うことなく、被写体の身体情報を認識することが可能となる。
【００６９】
（第３実施形態）
次に、第３実施形態に係る３次元特徴点情報生成装置について説明する。図１１は、第３実施形態において、乗員の姿勢の例を模式的に示す図である。また、図１２は、第３実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。図１２に示すＥＣＵ１０は、図３に示すＥＣＵ１０の場合と比べて、姿勢推定部３０１と姿勢情報５０１が追加されている。
【００７０】
姿勢推定部３０１は、身体情報生成部３４によって生成された身体情報５７に基づき、被写体の姿勢を推定し、推定した姿勢情報５０１を記憶部５０に記憶する。たとえば、姿勢推定部３０１は、ＳＶＭ（Support  Vector  Machine）によって実現される。ＳＶＭは、機械学習の一種で、ここでは、ユーザが決めた特徴量について学習データを用いて学習し、その学習結果を用いて被写体の姿勢を推定する。
【００７１】
具体的には、姿勢推定部３０１は、人体の姿勢に関係する骨格点の位置や位置関係について学習、推定する。たとえば、姿勢推定部３０１は、腰の骨格点の位置（座標）によって、被写体（人）が着座しているか否かや、着座しているなら着座位置を推定する。また、たとえば、姿勢推定部３０１は、首の骨格点の位置と腰の骨格点の位置の関係によって、被写体（人）の上体の姿勢を推定する。なお、首や腰の骨格点だけでなく、頭、腕、肩などの他の骨格点を用いてもよい。
【００７２】
たとえば、姿勢推定部３０１は、図１１（ａ）〜（ｅ）に示すように、乗員（被写体）の前後方向、左右方向、上下方向の姿勢および着座位置の変化を推定する。たとえば、姿勢推定部３０１は、図１１（ａ）に示すように、乗員が通常の着座姿勢であることを推定する。また、たとえば、姿勢推定部３０１は、図１１（ｂ）に示すように、乗員が前屈みの姿勢であることを推定する。
【００７３】
また、たとえば、姿勢推定部３０１は、図１１（ｃ）に示すように、乗員がドア側にもたれかかる姿勢であることを推定する。また、たとえば、姿勢推定部３０１は、図１１（ｄ）に示すように、乗員が車両内側にもたれかかる姿勢であることを推定する。また、たとえば、姿勢推定部３０１は、図１１（ｅ）に示すように、乗員が後傾座りの姿勢であることを推定する。
【００７４】
図１２に戻って、機器制御部３５は、記憶部５０に記憶された身体情報５７と姿勢情報５０１に基づき、車両１に搭載される各種機器の制御を行う。
【００７５】
次に、図１３を参照して、第３実施形態に係るＥＣＵ１０が実行する処理について説明する。図１３は、第３実施形態に係るＥＣＵ１０が実行する処理の手順を示すフローチャートである。
【００７６】
ステップＳ１０１〜Ｓ１０４は、図７と同様である。ステップＳ１０４の後、姿勢推定部３０１は、身体情報５７に基づき、被写体の姿勢を推定し、推定した姿勢情報５０１を記憶部５０に記憶する（ステップＳ１１１）。
【００７７】
次に、機器制御部３５は、身体情報５７と姿勢情報５０１に基づき車載機器、たとえば、シート調整装置８を制御する（ステップＳ１１２）。たとえば、機器制御部３５は、姿勢情報５０１に基づいて乗員が所定の着座姿勢であると推定したときにシート調整装置８を作動させる。これにより、乗員が所定の着座姿勢以外の姿勢のときはシート調整装置８を作動させないようにすることができる。
【００７８】
このようにして、第３実施形態に係る３次元特徴点情報生成装置によれば、身体情報だけでなく被写体の姿勢の情報も得ることで、各種機器の制御等をより適切に行うことができる。たとえば、姿勢情報５０１を、上述したシート調整装置８の制御のほかに、エアバッグ装置の展開モードの切り替えに活用することができる。たとえば、被写体の頭がエアバッグ装置に近すぎるとき、エアバッグ装置の展開モードを通常モードから弱展開モード（または中止）に切り替えることできる。そうすれば、乗員への傷害度を低減し、安全性をさらに高めることができる。また、被写体の頭がエアバッグ装置に近すぎることを表示や音声により報知してもよい。
【００７９】
なお、姿勢推定部３０１は、ＳＶＭに限定されず、たとえば、ＤＮＮ（Deep  Neural  Network）によって実現することもできる。ＤＮＮは、機械学習であり、たとえば、３次元骨格点座標と姿勢分類ラベルが一致するように、学習時に自ら特徴量を導き出して学習し、その学習結果を用いて被写体の姿勢を推定する。この手法によれば、ユーザが思いつかないような特徴量を選択できるというメリットがある。
【００８０】
（第４実施形態）
次に、第４実施形態に係る３次元特徴点情報生成装置について説明する。図１４は、第４実施形態において、３次元骨格情報における各身体寸法を示す図である。図１５は、第４実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。図１５に示すＥＣＵ１０は、図３に示すＥＣＵ１０の場合と比べて、体格推定部３０２と体格情報５０２が追加されている。
【００８１】
体格推定部３０２は、身体情報生成部３４によって生成された身体情報５７に基づき、被写体の体格を推定し、推定した体格情報５０２を記憶部５０に記憶する。たとえば、体格推定部３０２は、身体情報５７における身体寸法から体格として身長、体重を推定する。
【００８２】
身体寸法としては、たとえば、図１４に示すように、肩幅Ｌ１、座位頸椎高Ｌ２がある。そして、統計情報から、それらの身体寸法は、身長や体重との相関が高い。
【００８３】
その場合、体格推定部３０２は、肩幅Ｌ１、座位頸椎高Ｌ２などの身体寸法から、機械学習や統計的解析手法により、身長や体重を推定する。
【００８４】
なお、採用する身体寸法としては、体格と相関が高いものであるほかに、撮影画像中で見えやすい（隠れにくい）ものであることが好ましい。また、肩幅Ｌ１、座位頸椎高Ｌ２だけでなく、身長や体重と相関の高い他の身体寸法を用いてもよい。
【００８５】
また、機器制御部３５は、記憶部５０に記憶された身体情報５７と体格情報５０２に基づき、車両１に搭載される各種機器の制御を行う。
【００８６】
次に、図１６を参照して、第４実施形態に係るＥＣＵ１０が実行する処理について説明する。図１６は、第４実施形態に係るＥＣＵ１０が実行する処理の手順を示すフローチャートである。
【００８７】
ステップＳ１０１〜Ｓ１０４は、図７と同様である。ステップＳ１０４の後、体格推定部３０２は、身体情報５７に基づき、被写体の体格を推定し、推定した体格情報５０２を記憶部５０に記憶する（ステップＳ１２１）。
【００８８】
次に、機器制御部３５は、身体情報５７と体格情報５０２に基づき車載機器、たとえば、シート調整装置８を制御する（ステップＳ１２２）。たとえば、機器制御部３５は、体格情報５０２に基づいて乗員の体格が大きいと推定したときは、座席２において前後方向に大きいスペースを確保できるようにシート調整装置８を制御する。これにより、乗員の体格に合わせたシート調整装置８による制御を実現できる。
【００８９】
このようにして、第４実施形態に係る３次元特徴点情報生成装置によれば、身体情報だけでなく被写体の体格の情報も得ることで、各種機器の制御等をより適切に行うことができる。たとえば、体格情報５０２を、上述したシート調整装置８の制御のほかに、第１実施形態で説明したように、エアバッグ装置の展開モードの切り替えに活用することができる。
【００９０】
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
【００９１】
たとえば、第３実施形態における姿勢推定部３０１による姿勢推定処理と第４実施形態における体格推定部３０２による体格推定処理を一連の処理の中で両方とも実行してもよい。
【００９２】
また、第３実施形態において、姿勢推定部３０１を実現する際に、ＳＶＭとＤＮＮの両方を併用して、互いのアルゴリズムの長所を活かすようにしてもよい。
【符号の説明】
【００９３】
１…車両、２…座席、３…撮像装置、８…シート調整装置、１０，１０Ａ…ＥＣＵ、３１…取得部、３２…２次元座標推定部、３３…座標変換部、３４…身体情報生成部、３５…機器制御部、３６…点群生成部、３７…点群補正部、３８…３次元座標推定部、５０，５０Ａ…記憶部、５１…２次元画像、５２…距離画像、５３…２次元骨格情報、５４…撮像環境情報、５５…３次元骨格情報、５６…人体統計情報、５７…身体情報、５８…人体形状モデル、５９…３次元点群、６０…学習情報、３０１…姿勢推定部、３０２…体格推定部、５０１…姿勢情報、５０２…体格情報。
【図１】
2020047273.tif 000003
【図２】
2020047273.tif 000004
【図３】
2020047273.tif 000005
【図４】
2020047273.tif 000006
【図５】
2020047273.tif 000007
【図６】
2020047273.tif 000008
【図７】
2020047273.tif 000009
【図８】
2020047273.tif 000010
【図９】
2020047273.tif 000011
【図１０】
2020047273.tif 000012
【図１１】
2020047273.tif 000013
【図１２】
2020047273.tif 000014
【図１３】
2020047273.tif 000015
【図１４】
2020047273.tif 000016
【図１５】
2020047273.tif 000017
【図１６】
2020047273.tif 000018