(57)【要約】  体格推定装置（１）が、車室内が撮影された画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。
2019180876.tif 000002
【特許請求の範囲】
【請求項１】
車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する顔検出部と、
前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定する体格推定部とを備えたこと
を特徴とする体格推定装置。
【請求項２】
前記体格推定部は、車室内が撮影された画像から検出された前記乗員の顔の位置および顔の大きさに基づいて、前記乗員が着座している座席を判定し、換算値を用いて前記基準位置と顔の位置との差分を前記乗員の座高に換算すること
を特徴とする請求項１記載の体格推定装置。
【請求項３】
車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出するチャイルドシート検出部を備え、
前記体格推定部は、前記チャイルドシート検出部によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している前記乗員を特定し、特定した前記乗員の体格を子供に分類される体格であると推定すること
を特徴とする請求項１または請求項２記載の体格推定装置。
【請求項４】
車室内が撮影された画像を入力し、入力した画像から前記乗員の肩情報を検出する肩検出部を備え、
前記体格推定部は、前記肩検出部によって検出された肩情報に基づいて前記乗員の肩幅を算出し、算出した前記乗員の肩幅および座高に基づいて前記乗員の体格を推定すること
を特徴とする請求項１または請求項２記載の体格推定装置。
【請求項５】
前記体格推定部は、座高および肩幅を含む身体計測データと人の体格との対応データを参照して、前記乗員の肩幅および座高から前記乗員の体格を推定すること
を特徴とする請求項４記載の体格推定装置。
【請求項６】
前記体格推定部は、座席のスライド位置またはリクライニング位置に対応する顔の位置範囲および顔の大きさの範囲を示すデータを参照して、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、スライド位置またはリクライニング位置に対応した前記換算値および前記基準位置を用いて前記乗員の座高を算出すること
を特徴とする請求項２記載の体格推定装置。
【請求項７】
顔検出部が、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出するステップと、
体格推定部が、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定するステップとを備えたこと
を特徴とする体格推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の乗員の体格を推定する体格推定装置および体格推定方法に関する。
【背景技術】
【０００２】
自動車には、事故が発生したときに乗員の負傷を防ぐまたは負傷を軽減するためにエアバッグが搭載されている。エアバッグ制御装置は、自動車の事故が発生したときの乗員の有無に応じてエアバッグの作動可否を変更し、乗員の体格に応じてエアバッグが作動したときの圧力（展開膨張力）を変更する。
自動車の乗員の体格を推定する従来の技術として、例えば、特許文献１には、自動車に搭載されたステレオカメラで撮影された画像に基づいて乗員の体格を推定するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ステレオカメラは、単眼カメラに比べて高価であり、画像処理に必要な計算量も多い。このため、特許文献１に記載されたシステムには、高価でかつ計算能力の高い計算装置が必要になるという課題があった。【０００５】
この発明は上記課題を解決するものであり、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる体格推定装置および体格推定方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る体格推定装置は、顔検出部および体格推定部を備える。顔検出部は、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する。体格推定部は、顔検出部によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
【発明の効果】
【０００７】
この発明によれば、体格推定装置が、車室内が撮影された画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。
画像から検出された乗員の顔情報から顔の位置を特定できればよいので、顔情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る体格推定装置の構成例を示すブロック図である。
【図２】実施の形態１に係る体格推定方法を示すフローチャートである。
【図３】実施の形態１における体格推定処理の詳細を示すフローチャートである。
【図４】車室内が撮影された画像における座席ごとの判定領域を示す図である。
【図５】図５Ａは、実施の形態１に係る体格推定装置の機能を実現するハードウェア構成を示すブロック図である。図５Ｂは、実施の形態１に係る体格推定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
【図６】この発明の実施の形態２に係る体格推定装置の構成例を示すブロック図である。
【図７】実施の形態２における体格推定処理の詳細を示すフローチャートである。
【図８】この発明の実施の形態３に係る体格推定装置の構成例を示すブロック図である。
【図９】実施の形態３における体格推定処理の詳細を示すフローチャートである。
【図１０】肩幅の算出の概要を示す図である。
【図１１】座席のスライド位置に対応した顔の位置および大きさの変化を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る体格推定装置１の構成例を示すブロック図である。体格推定装置１は、カメラ２によって撮影された車室内の画像を入力して、入力した画像から乗員の顔情報を検出し、検出した顔情報に基づいて乗員が着座している座席を判定する。そして、体格推定装置１は、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
【００１０】
実施の形態１では、体格推定装置１が車載装置であることを想定しているが、車両外部に設けてもよい。例えば、車両外部に存在するサーバ装置で体格推定装置１を実現してもよい。この場合、サーバ装置が、車載通信機器から車室内の撮影画像を受信し、受信した撮影画像に基づいて推定された乗員の体格推定結果を車載通信機器に返信する。車載通信機器は、受信した乗員の体格推定結果をエアバッグ制御装置３に出力する。
【００１１】
カメラ２は、車室内を撮影範囲とした単眼カメラである。例えば、カメラ２には、暗所での撮影が可能な赤外線カメラを用いてもよい。また、カメラ２は、ＣＣＤカメラまたはＣＭＯＳカメラといった可視光領域のカメラを用いてもよい。
【００１２】
カメラ２は、車室内の全ての乗員が撮影されるように台数および取り付け位置が調整されている。例えば、車室内のルームミラー付近に取り付けられたカメラ２は、１台で車室内の広い範囲を撮影可能である。なお、カメラ２は、２台以上であってもよい。例えば、座席ごとに設けられて、対応する座席を撮影範囲に含むカメラ２を用いてもよい。
【００１３】
体格推定装置１によって着座位置ごとに得られた乗員の体格推定結果はエアバッグ制御装置３に出力される。エアバッグ制御装置３は、体格推定装置１から入力した乗員の体格推定結果に基づいて、エアバッグの作動を制御する。例えば、エアバッグ制御装置３は、乗員の体格に応じてエアバッグが作動したときの圧力を変更する。
【００１４】
体格推定装置１は、顔検出部１０および体格推定部１１を備えて構成される。
顔検出部１０は、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する。体格推定部１１は、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
【００１５】
次に動作について説明する。
図２は、実施の形態１に係る体格推定方法を示すフローチャートであり、車室内が撮影された画像を入力してから乗員の体格が推定されるまでの一連の処理を示している。
顔検出部１０は、カメラ２から車室内が撮影された画像を入力して、入力した画像から乗員の顔情報を検出する（ステップＳＴ１）。顔情報の検出処理には、例えば、ｈａａｒ−ｌｉｋｅ特徴量を用いた画像認識方法を用いてもよく、これ以外の既知の画像認識方法を用いてもよい。また、顔検出部１０は、画像全体を顔検出対象とするのではなく、顔検出対象を、後述する着座位置の判定領域に絞ってもよい。これにより、顔検出に要する計算量を低減することができる。
【００１６】
顔情報は、画像内の顔の領域を示す情報であり、顔の位置および顔の大きさを示す座標が含まれる。顔の領域は、顔全体の領域であってもよいが、顔の位置および顔の大きさを特定できる範囲であれば、顔の一部の領域であってもよい。
顔の位置および顔の大きさを示す座標としては、例えば、顔の領域が内接する矩形上の対角の２点の座標であってもよい。対角の２点とは、例えば、上記矩形の左上の点と右下の点とである。また、上記矩形上の点のうち、顔の幅方向の２点および高さ方向の２点のいずれか、または両方であってもよい。顔情報には、顔のパーツ（目、鼻、口、耳）の座標が含まれてもよい。顔検出部１０は、これらの顔情報を含む顔検出結果を体格推定部１１に出力する。
【００１７】
次に、体格推定部１１は、乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する（ステップＳＴ２）。
例えば、体格推定部１１は、顔検出部１０によって検出された顔情報から、乗員の顔の位置および顔の大きさを特定して、特定した顔の位置および顔の大きさに基づいて乗員が着座している座席を判定する。体格推定部１１は、判定した座席に応じた換算値を用いて基準位置と顔の位置との差分を乗員の座高に換算する。体格推定部１１は、上記差分を換算して得られた乗員の座高に基づいて、座高を含む身体計測データと人の体格との対応データを参照して、座高値に対応する乗員の体格を推定する。
【００１８】
次に体格推定処理の詳細を説明する。
図３は、実施の形態１における体格推定処理の詳細を示すフローチャートであり、図２のステップＳＴ２の具体的な処理を示している。
ステップＳＴ１ａにおいて、体格推定部１１は、顔検出部１０から入力した顔検出結果から、乗員が着座している座席を判定する。例えば、体格推定部１１は、顔検出結果から特定した顔の位置の座標に基づいて、座席ごとの判定領域に顔の位置が含まれるか否かを判定する。
【００１９】
図４は、車室内が撮影された画像２ａにおける座席ごとの判定領域を示す図である。
画像２ａは、カメラ２によって車室内が撮影された画像である。判定領域２０〜２４は、座席ごとに設定された判定領域であって、乗員が着座したときに顔が位置する画像範囲を示している。判定領域２０〜２４は、事前に実験によって決定される。
なお、判定領域２０〜２４は、対応する座席に着座した乗員が正面を向いている場合に加え、乗員が横を向いたとき、あるいは乗員が下または上を向いたときであっても、乗員の顔が含まれるように調整された画像範囲である。
【００２０】
判定領域２０は、運転席に着座した乗員の顔が位置する画像範囲であり、判定領域２１は、助手席に着座した乗員の顔が位置する画像範囲である。判定領域２２は、運転席の後部座席に着座した乗員の顔が位置する画像範囲であり、判定領域２３は、助手席の後部座席に着座した乗員の顔が位置する画像範囲である。判定領域２４は、中央の後部座席に着座した乗員の顔が位置する画像範囲である。
【００２１】
体格推定部１１は、判定領域２０〜２４のうち、顔の位置が複数の判定領域に重複している場合、顔検出結果から特定した顔の大きさに基づいて、乗員が着座している座席を判定する。例えば、運転席に対応する判定領域２０と運転席の後部座席に対応する判定領域２２とは、図４に示すように領域の一部が重複している。体格推定部１１は、この重複した領域に顔の位置が含まれると判定した場合、顔検出結果から顔の大きさを特定し、特定した顔の大きさが閾値よりも大きければ、乗員が、運転席（カメラ２に近い側の座席）に着座していると判定する。顔の大きさが閾値以下である場合、体格推定部１１は、乗員が後部座席（カメラ２から遠い側にある座席）に着座していると判定する。なお、顔の大きさの判定に用いる閾値は、事前に実験によって決定される。
【００２２】
図３の説明に戻る。
判定領域に顔の位置が含まれると判定した場合（ステップＳＴ１ａ；ＹＥＳ）、体格推定部１１は、この判定領域に対応する座席に乗員が着座していると判定し、判定した座席についての基準位置と顔の位置との差分を算出する（ステップＳＴ２ａ）。上記差分を算出する顔の位置としては、顔の領域の上端位置、下端位置および中央位置のいずれかでもよく、顔のパーツ（目、鼻、口、耳）のいずれかの位置であってもよい。
【００２３】
基準位置は、例えば、座席の座面の高さ位置であり、カメラ２によって撮影された画像の２次元座標系の座標値で表される。画像に座席の座面が写る場合、画像内の座面の高さ位置の座標が基準位置とされる。画像に座席の座面が写らない場合、画像の２次元座標系を画像外まで拡張した２次元座標系において座席の座面が高さ位置と推定される位置座標が基準位置とされる。基準位置は、事前に実験によって決定される。
【００２４】
次に、体格推定部１１は、換算値を用いて、基準位置と顔の位置との差分を乗員の座高に換算する（ステップＳＴ３ａ）。換算値は、画像の２次元座標系の点間の距離を実空間の鉛直方向の距離に換算する値である。換算値は、事前に実験によって決定される。
基準位置および換算値は、座席ごとに異なる値であってもよく、座席によって共通の値であってもよい。例えば、運転席の座面の高さと助手席の座面の高さは一般に同じであるので共通の基準値を使用し、図４に示した３つの後部座席の高さも同じであるので、共通の基準値を使用する。
【００２５】
体格推定部１１は、乗員の座高に基づいて乗員の体格クラスを推定する（ステップＳＴ４ａ）。例えば、体格推定部１１は、ステップＳＴ３ａで算出された乗員の座高を分類用閾値と比較し、比較の結果に応じて乗員の体格クラスを推定する。体格クラスは、乗員の大きさを分類したクラスであり、例えば、エアバッグの圧力を変更する判断基準に応じて決定される。体格クラスの分類用の上記閾値は、事前に実験によって決定される。
体格推定部１１による乗員の体格推定結果（例えば、体格クラス）は、体格推定装置１からエアバッグ制御装置３に出力される。エアバッグ制御装置３は、体格推定装置１から入力した乗員の体格推定結果に基づいて、エアバッグが作動したときの圧力を変更する。
【００２６】
なお、判定領域に顔の位置が含まれないと判定した場合（ステップＳＴ１ａ；ＮＯ）、体格推定部１１は、この判定領域に対応する座席に乗員が着座していないと判定する（ステップＳＴ５ａ）。この後、体格推定部１１は、この座席に関する処理を終了する。
【００２７】
座高は、座面から人の頭頂部までの距離である。ただし、実施の形態１では、前述したように、顔の位置を示す座標として、例えば、顔の下端位置の座標または顔の中央位置の座標が検出される場合がある。この場合、体格推定部１１は、顔の位置の座標として顔の下端位置の座標が検出されると、座面から顔の下端位置までの距離を算出し、算出した値に顔の高さの標準値を加算して座高を算出する。同様に、顔の位置の座標として顔の中央位置の座標が検出されると、体格推定部１１は、座面から顔の中央位置までの距離を算出し、算出した値に対して顔の高さの標準値を１／２倍した値を加算して座高を算出する。
【００２８】
以下、体格推定装置１を実現するハードウェア構成について説明する。
図５Ａは、体格推定装置１の機能を実現するハードウェア構成を示すブロック図である。図５Ｂは、体格推定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図５Ａおよび図５Ｂにおいて、カメラインタフェース１００は、体格推定装置１と図１に示したカメラ２との間のインタフェースであり、カメラ２から体格推定装置１へ出力される画像情報を中継する。エアバッグ制御インタフェース１０１は、体格推定装置１と図１に示したエアバッグ制御装置３との間のインタフェースであり、体格推定装置１からエアバッグ制御装置３へ出力される体格推定結果を中継する。
【００２９】
不揮発性記憶装置１０２は、体格推定装置１による乗員の体格推定処理で得られた情報を記憶する記憶装置である。不揮発性記憶装置１０２には、カメラ２から入力された画像情報、顔検出部１０によって検出された顔情報、各種の判定に使用される閾値情報、基準値、換算値、および体格推定結果が記憶される。不揮発性記憶装置１０２は、体格推定装置１とは独立して設けられた記憶装置であってもよい。例えば、不揮発性記憶装置１０２として、クラウド上に存在する記憶装置を利用してもよい。
【００３０】
体格推定装置１における顔検出部１０および体格推定部１１の機能は処理回路によって実現される。すなわち、体格推定装置１は、図２に示すステップＳＴ１からステップＳＴ２までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。
【００３１】
処理回路が、図５Ａに示す専用のハードウェアの処理回路１０３である場合、処理回路１０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。顔検出部１０および体格推定部１１の機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
【００３２】
処理回路が、図５Ｂに示すプロセッサ１０４である場合、顔検出部１０および体格推定部１１の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０５に記憶される。
【００３３】
プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、顔検出部１０および体格推定部１１の機能を実現する。すなわち、体格推定装置１は、プロセッサ１０４によって実行されるときに、図２に示すステップＳＴ１からステップＳＴ２までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０５を備える。これらのプログラムは、顔検出部１０および体格推定部１１の手順または方法をコンピュータに実行させるものである。メモリ１０５は、コンピュータを、顔検出部１０および体格推定部１１として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
【００３４】
メモリ１０５には、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
【００３５】
また、顔検出部１０および体格推定部１１の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、顔検出部１０は、専用のハードウェアとしての処理回路で機能を実現する。体格推定部１１については、プロセッサ１０４が、メモリ１０５に記憶されたプログラムを読み出して実行することによって機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
【００３６】
以上のように、実施の形態１に係る体格推定装置１は、画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。特に、体格推定部１１が、画像から検出された乗員の顔の位置および顔の大きさに基づいて乗員が着座している座席を判定し、判定した座席に応じた換算値を用いて基準位置と顔の位置との差分を乗員の座高に換算する。画像から検出された乗員の顔情報から顔の位置を特定できればよいので、顔情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置１は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
【００３７】
実施の形態２．
図６は、この発明の実施の形態２に係る体格推定装置１Ａの構成を示すブロック図である。図６において、図１と同一の構成要素には同一の符号を付して説明を省略する。体格推定装置１Ａは、実施の形態１と同様にして乗員の体格を推定するとともに、チャイルドシートが検出されると、チャイルドシートに着座する乗員の体格を、実施の形態１で説明した体格推定処理を行うことなく、子供に分類される体格であると推定する。
【００３８】
体格推定装置１Ａは、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２を備える。体格推定部１１Ａは、実施の形態１と同様に、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。また、体格推定部１１Ａは、チャイルドシート検出部１２から入力したチャイルドシート検出結果に基づいて、チャイルドシートに着座位置している乗員を判定し、判定した乗員の体格を子供に分類される体格であると推定する。
【００３９】
チャイルドシート検出部１２は、カメラ２によって車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出する。チャイルドシート情報の検出処理には、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量を用いた画像認識方法を用いてもよく、これ以外の既知の画像認識方法を用いてもよい。チャイルドシート検出結果は、例えば、画像内のチャイルドシートの位置座標である。また、チャイルドシートの位置座標は、例えば、画像内のチャイルドシートの領域に含まれる点の位置座標であってもよく、この領域が内接する矩形上の点の位置座標であってもよい。
【００４０】
顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能を実現する処理回路は、図５Ａに示した専用のハードウェアである処理回路１０３であってもよい。また、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能を実現する処理回路は、図５Ｂに示した、メモリ１０５に記憶されたプログラムを実行するプロセッサ１０４であってもよい。
さらに、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
【００４１】
次に動作について説明する。
顔検出部１０による動作は実施の形態１と同様であるので説明を省略する。
図７は、実施の形態２における体格推定処理の詳細を示すフローチャートである。図７のステップＳＴ１ｂの処理、ステップＳＴ３ｂからステップＳＴ５ｂまでの処理、およびステップＳＴ７ｂの処理は、図３に示したステップＳＴ１ａからステップＳＴ５ａまでの処理と同じであるので説明を省略する。
【００４２】
判定領域に顔の位置が含まれると判定した場合（ステップＳＴ１ｂ；ＹＥＳ）、体格推定部１１Ａは、この判定領域に対応する座席を乗員の着座位置と判定する。
続いて、体格推定部１１Ａは、チャイルドシート検出部１２から入力されたチャイルドシート検出結果に基づいて、乗員が着座する座席がチャイルドシートであるか否かを判定する（ステップＳＴ２ｂ）。例えば、体格推定部１１Ａは、チャイルドシートの位置座標が、乗員が着座していると判定した座席の画像領域に含まれる場合、乗員が着座していると判定した座席がチャイルドシートであると判定する。
【００４３】
乗員が着座する座席がチャイルドシートではないと判定した場合（ステップＳＴ２ｂ；ＮＯ）、体格推定部１１Ａは、ステップＳＴ３ｂからの一連の処理を実行する。
チャイルドシート検出部１２によって画像からチャイルドシート情報が検出されなかった場合、体格推定部１１Ａは、乗員が着座する全ての座席についてチャイルドシートではないと判定するので、同様に、ステップＳＴ３ｂからの一連の処理を実行する。
【００４４】
乗員が着座する座席がチャイルドシートであると判定した場合（ステップＳＴ２ｂ；ＹＥＳ）、体格推定部１１Ａは、この座席に着座する乗員の体格を子供に分類される体格であると推定する（ステップＳＴ６ｂ）。体格推定部１１Ａによる乗員の体格推定結果は、体格推定装置１Ａからエアバッグ制御装置３に出力される。エアバッグ制御装置３は、チャイルドシートにおけるエアバッグの圧力（展開膨張力）を、子供に対応した圧力に変更する。
【００４５】
以上のように、実施の形態２に係る体格推定装置１Ａは、チャイルドシート検出部１２を備える。体格推定部１１Ａは、チャイルドシート検出部１２によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している乗員を判定し、判定した乗員の体格を子供に分類される体格であると推定する。体格推定部１１Ａは、乗員の座高を算出することなく、チャイルドシートに着座する乗員の体格を子供に分類される体格であると推定する。これにより、体格推定処理に要する計算量を低減することができる。
【００４６】
実施の形態３．
図８は、この発明の実施の形態３に係る体格推定装置１Ｂの構成を示すブロック図である。図８において、図１と同一の構成要素には同一の符号を付して説明を省略する。体格推定装置１Ｂは、車室内の画像から乗員の顔情報および肩情報を検出し、検出した顔情報に基づいて乗員が着座している座席を判定する。体格推定装置１Ｂは、乗員が着座している座席と顔情報から乗員の座高を算出し、肩情報から乗員の肩幅を算出し、乗員の肩幅と座高に基づいて乗員の体格を推定する。
【００４７】
体格推定装置１Ｂは、顔検出部１０、体格推定部１１Ｂおよび肩検出部１３を備える。
体格推定部１１Ｂは、実施の形態１と同様に、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出する。さらに、体格推定部１１Ｂは、肩検出部１３による肩検出結果に基づいて乗員の肩幅を算出し、乗員の肩幅および座高に基づいて乗員の体格を推定する。
【００４８】
肩検出部１３は、車室内が撮影された画像を入力し、入力した画像から乗員の肩情報を検出する。肩情報の検出処理には、例えば、ＨＯＧ特徴量を用いた画像認識方法を用いてもよい。また、肩画像のテンプレートを用いたテンプレートマッチングで画像から肩の領域を検出してもよい。ただし、これ以外の既知の画像認識方法を用いてもよい。
肩検出結果は、例えば画像内の肩部分の位置座標である。肩部分の位置座標は、画像内の肩部分の領域に含まれる点の位置座標であってもよく、肩部分の領域が内接する矩形上の点の位置座標であってもよい。
【００４９】
例えば、右ハンドルの車両において、運転席の後部座席に着座している乗員は、運転席によってカメラ２から見て右肩が隠れてしまう場合がある。この場合、肩検出部１３は、乗員の左肩の肩情報しか検出できない。一方、助手席の後部座席に着座している乗員は、助手席によってカメラ２から見て左肩が隠れることがあり、この場合、肩検出部１３は、乗員の右肩の肩情報しか検出できない。
そこで、肩検出部１３は、座席に応じて、左肩用の画像特徴量と右肩用の画像特徴量とを使い分けて肩の領域を検出してもよい。また、肩検出部１３は、座席に応じて、左肩用と右肩用のテンプレートとを使い分けて肩の領域を検出してもよい。
【００５０】
顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能を実現する処理回路は、図５Ａに示した専用のハードウェアである処理回路１０３であってもよい。また、顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能を実現する処理回路は、図５Ｂに示した、メモリ１０５に記憶されたプログラムを実行するプロセッサ１０４であってもよい。顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
【００５１】
次に動作について説明する。
顔検出部１０による動作は実施の形態１と同様であるので説明を省略する。
図９は、実施の形態３における体格推定処理の詳細を示すフローチャートである。図９のステップＳＴ１ｃからステップＳＴ３ｃまでの処理およびステップＳＴ６ｃの処理は、図３に示したステップＳＴ１ａからステップＳＴ３ａまでの処理およびステップＳＴ５ａの処理と同じであるので説明を省略する。
【００５２】
体格推定部１１Ｂは、肩検出結果に含まれる肩部分の位置に基づいて乗員の肩幅を算出する（ステップＳＴ４ｃ）。例えば、体格推定部１１Ｂは、左右両方の肩部分の位置座標が得られた場合、左右の肩部分の位置座標の差分を算出し、換算値を用いて差分を肩幅に換算する。換算値は、画像の２次元座標系の点間の距離を実空間の水平方向の距離に換算する値である。換算値は、事前に実験によって決定される。
【００５３】
図１０は、肩幅の算出の概要を示す図である。図１０に示すように、体格推定部１１Ｂは、顔検出結果から乗員Ａの顔の中心位置の座標Ｐ１を算出し、肩検出結果から乗員Ａの肩の端位置の座標Ｐ２を算出する。肩検出部１３によって乗員Ａの片方の肩しか検出されなかった場合、体格推定部１１Ｂは、顔の中心位置の座標Ｐ１と肩の端位置の座標Ｐ２との差分ΔＰを算出し、この差分ΔＰを２倍した値を肩幅に換算する。
【００５４】
次に、体格推定部１１Ｂは、乗員の座高および肩幅を用いて混合ガウス分布モデルから乗員の体格クラスを推定する（ステップＳＴ５ｃ）。
例えば、体格推定部１１Ｂは、混合数を４（成人男性、成人女性、未成年男性、未成年女性）とした混合ガウス分布パラメータを、身体計測統計データに含まれる人の体重、座高および肩幅に基づいて取得する。続いて、体格推定部１１Ｂは、画像から得られた座高および肩幅を用いて、上記混合ガウス分布パラメータで規定される混合ガウス分布モデルから乗員の体格クラスを推定する。上記混合ガウス分布モデルが、座高および肩幅を含む身体計測データと人の体格との対応データである。
【００５５】
体格の推定に混合ガウス分布を用いたが、体格推定部１１Ｂは、データクラスタリング手法であるＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を、体格の推定に用いてもよい。さらに、体格クラスの分類では体重以外を基準としてもよく、混合ガウス分布パラメータの混合数を変えてもよい。
【００５６】
以上のように、実施の形態３に係る体格推定装置１Ｂは、肩検出部１３を備える。体格推定部１１Ｂは、肩検出部１３によって検出された肩情報に基づいて乗員の肩幅を算出し、算出した乗員の肩幅および座高に基づいて乗員の体格を推定する。
特に、体格推定部１１Ｂは、座高および肩幅を含む身体計測データと人の体格との対応データを参照して、乗員の肩幅および座高から乗員の体格を推定する。
このように、画像から検出された乗員の顔情報から顔の位置を特定でき、肩情報から肩の位置を特定できればよいので、顔情報および肩情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置１Ｂは、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
【００５７】
実施の形態４．
車両の座席は、一般にスライドまたはリクライニングさせることが可能である。
カメラ２が車両前方から後方に向いている場合、座席をスライドまたはリクライニングさせると、この座席に着座している乗員は、カメラ２から見て離れたり近づいたりする。座席のスライドまたはリクライニングによって、カメラ２から見て離れた状態の乗員の顔の位置は、カメラ２によって撮影された画像内で上側に移動する。座席のスライドまたはリクライニングによって、カメラ２から見て近づいた状態の乗員の顔の位置は、画像内で下側に移動する。このため、座席のスライドまたはリクライニングによって判定領域から顔の位置が外れてしまうことがある。
【００５８】
一方、座席のスライドまたはリクライニングによって、カメラ２から見て離れた状態の乗員の顔の大きさは、カメラ２によって撮影された画像内で小さくなる。
また、座席のスライドまたはリクライニングによって、カメラ２から見て近づいた状態の乗員の顔の大きさは、上記画像内で大きくなる。
そこで、実施の形態１〜３のいずれかに係る体格推定部は、座席のスライド位置またはリクライニング位置に対応する顔の位置範囲および顔の大きさの範囲を示すデータを参照して、乗員が着座している座席を判定してもよい。
【００５９】
図１１は、座席のスライド位置に対応する乗員の顔の位置の変化を示す図であり、車両前方から後方に向いたカメラ２によって車室内が撮影された画像２ａを示している。
運転席が前にスライドされた場合、運転席に着座している乗員の顔の位置は、画像２ａ内の外側でかつ下側に移動し、かつ、顔の大きさが大きくなる。運転席が後ろにスライドされた場合は、運転席に着座している乗員の顔の位置は、画像２ａ内の中央でかつ上側に移動し、かつ、顔の大きさが小さくなる。
【００６０】
座席のスライドに伴う画像２ａ内の顔の位置および顔の大きさの変化を反映させるために、図１１に示すように、座席のスライド位置に対応した判定領域Ｐａ，Ｐｂ，Ｐｃを、体格推定部に設定しておく。判定領域Ｐａは、最も前にスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。判定領域Ｐｂは、通常位置にスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。判定領域Ｐｃは、最も後ろにスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。
【００６１】
前にスライドされた運転席に着座している乗員の顔の大きさは、画像２ａ内で大きくなるので、体格推定部には、最も広い画像範囲である判定領域Ｐａが設定される。
後ろにスライドされた運転席に着座している乗員の顔の大きさは、画像２ａ内で小さくなるので、体格推定部には、最も狭い画像範囲である判定領域Ｐｃが設定される。
運転席の通常のスライド位置に対応する中間の広さの画像範囲が判定領域Ｐｂである。
なお、判定領域Ｐａ，Ｐｂ，Ｐｃは事前に実験によって決定される。体格推定部は、顔検出結果から特定された顔の位置が判定領域Ｐａ，Ｐｂ，Ｐｃのいずれに含まれる場合であっても、乗員が運転席に着座していると判定する。
図１１では、座席をスライドさせる場合を例に挙げたが、座席をリクライニングさせる場合も同様に、リクライニング位置に対応した判定領域が座席の判定に用いられる。
【００６２】
また、乗員の座高を算出するために使用される基準位置および換算値についても、座席のスライド位置またはリクライニング位置に応じて異なる値となる。
そこで、体格推定部には、スライド位置またはリクライニング位置に対応した基準位置および換算値が設定される。体格推定部は、乗員が着座している座席を判定すると、スライド位置またはリクライニング位置に対応した換算値および基準位置を用いて乗員の座高を算出する。これにより、体格推定部は、座席がスライドまたはリクライニングされた場合であっても、乗員が着座している座席を正確に判定することができ、正確な座高を算出することが可能となる。
【００６３】
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６４】
この発明に係る体格推定装置は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができるので、例えば、エアバッグの制御に利用可能である。
【符号の説明】
【００６５】
１，１Ａ，１Ｂ  体格推定装置、２  カメラ、２ａ  画像、３  エアバッグ制御装置、１０  顔検出部、１１，１１Ａ，１１Ｂ  体格推定部、１２  チャイルドシート検出部、１３  肩検出部、２０〜２４  判定領域、１００  カメラインタフェース、１０１  エアバッグ制御インタフェース、１０２  不揮発性記憶装置、１０３  処理回路、１０４  プロセッサ、１０５  メモリ。
【図１】
2019180876.tif 000003
【図２】
2019180876.tif 000004
【図３】
2019180876.tif 000005
【図４】
2019180876.tif 000006
【図５】
2019180876.tif 000007
【図６】
2019180876.tif 000008
【図７】
2019180876.tif 000009
【図８】
2019180876.tif 000010
【図９】
2019180876.tif 000011
【図１０】
2019180876.tif 000012
【図１１】
2019180876.tif 000013
【手続補正書】
【提出日】令和1年12月13日(2019.12.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る体格推定装置は、顔検出部および体格推定部を備える。顔検出部は、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する。体格推定部は、顔検出部によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。体格推定部は、車室内が撮影された画像から検出された乗員の顔の位置および顔の大きさに基づいて、乗員が着座している座席を判定し、換算値を用いて基準位置と顔の位置との差分を乗員の座高に換算する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する顔検出部と、
前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定する体格推定部とを備え、
前記体格推定部は、車室内が撮影された画像から検出された前記乗員の顔の位置および顔の大きさに基づいて、前記乗員が着座している座席を判定し、換算値を用いて前記基準位置と顔の位置との差分を前記乗員の座高に換算すること
を特徴とする体格推定装置。
【請求項２】
車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する顔検出部と、
前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定する体格推定部と、
車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出するチャイルドシート検出部を備え、
前記体格推定部は、前記チャイルドシート検出部によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している前記乗員を特定し、特定した前記乗員の体格を子供に分類される体格であると推定すること
を特徴とする体格推定装置。
【請求項３】
車室内が撮影された画像を入力し、入力した画像から前記乗員の肩情報を検出する肩検出部を備え、
前記体格推定部は、前記肩検出部によって検出された肩情報に基づいて前記乗員の肩幅を算出し、算出した前記乗員の肩幅および座高に基づいて前記乗員の体格を推定すること
を特徴とする請求項１記載の体格推定装置。
【請求項４】
前記体格推定部は、座高および肩幅を含む身体計測データと人の体格との対応データを参照して、前記乗員の肩幅および座高から前記乗員の体格を推定すること
を特徴とする請求項３記載の体格推定装置。
【請求項５】
前記体格推定部は、座席のスライド位置またはリクライニング位置に対応する顔の位置範囲および顔の大きさの範囲を示すデータを参照して、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、スライド位置またはリクライニング位置に対応した前記換算値および前記基準位置を用いて前記乗員の座高を算出すること
を特徴とする請求項１記載の体格推定装置。
【請求項６】
顔検出部が、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出するステップと、
体格推定部が、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を、換算値を用いて前記乗員の座高に換算し、算出した前記乗員の座高に基づいて前記乗員の体格を推定するステップとを備えたこと
を特徴とする体格推定方法。
【請求項７】
顔検出部が、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出するステップと、
体格推定部が、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定するステップと、
チャイルドシート検出部が、車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出するステップとを備え、
前記体格推定部が、前記チャイルドシート検出部によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している前記乗員を特定し、特定した前記乗員の体格を子供に分類される体格であると推定すること
を特徴とする体格推定方法。
【国際調査報告】
2019180876.tif 000014
2019180876.tif 000015
2019180876.tif 000016
2019180876.tif 000017