(57)【要約】  機器制御装置１００は、被撮影物に対応する熱画像が入力され、熱画像において人が占める領域である人領域を検出する人領域検出部３と、熱画像における人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部４と、人特徴検出部４により検出された人の基礎代謝に基づいて機器を制御する機器制御部５と、を備える。
2017209089.tif 000002
【特許請求の範囲】
【請求項１】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出部と、
前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部と、
前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、
を備える機器制御装置。
【請求項２】
前記被撮影物を撮影して、前記被撮影物に対応する前記熱画像を生成する熱画像カメラと、
前記被撮影物を撮影して、前記被撮影物に対応する可視光画像を生成する可視光カメラと、
をさらに備え、
前記人領域検出部は、前記可視光画像から検出された人の体における所定部位の領域と前記熱画像とに基づき前記人領域を検出する
ことを特徴とする請求項１に記載の機器制御装置。
【請求項３】
前記人領域検出部は、
前記熱画像における温度分布から人の領域の候補である人候補領域と人の体における所定部位の領域の候補である所定部位候補領域とを検出する体温領域検出部と、
前記可視光画像における前記所定部位の領域の位置を示す座標を検出する所定部位検出部と、
前記座標を、前記熱画像における前記所定部位の領域の位置を示す所定部位座標に変換する所定部位座標変換部と、
前記人候補領域と前記所定部位候補領域と前記所定部位座標とに基づき、前記人領域を抽出する人領域抽出部と、
を有することを特徴とする請求項２に記載の機器制御装置。
【請求項４】
前記所定部位は、顔であることを特徴とする請求項２又は３に記載の機器制御装置。
【請求項５】
前記人特徴検出部は、
前記人領域におけるアスペクト比から前記人領域を占める人の姿勢を推定する姿勢推定部を有すること
を特徴とする請求項３に記載の機器制御装置。
【請求項６】
前記人特徴検出部は、
前記可視光画像から、前記人領域を占める人の性別及び年齢を推定する性別年齢推定部と、
前記人領域と、前記所定部位座標と、前記姿勢推定部が推定した前記姿勢と、前記性別年齢推定部から入力された前記性別及び年齢から、前記人領域を占める人の身長及び体重を推定する身長体重推定部と、を更に備え、
前記性別年齢推定部が推定した前記性別及び年齢と、前記身長体重推定部が推定した前記身長及び体重とから、前記人領域を占める前記人の基礎代謝を算出すること
を特徴とする請求項５に記載の機器制御装置。
【請求項７】
前記人特徴検出部は、
前記人領域及び前記所定部位座標から、前記人領域を占める人の着衣量を推定する着衣量推定部と、
前記身長体重推定部が推定した前記身長及び体重から、前記人領域を占める人の体脂肪率を推定する体脂肪率推定部とを更に有すること
を特徴とする請求項６に記載の機器制御装置。
【請求項８】
前記人特徴検出部は、
前記人領域及び前記所定部位座標から、前記人領域を占める人の体温を推定する体温推定部を更に有すること
を特徴とする請求項５又は６に記載の機器制御装置。
【請求項９】
前記人特徴検出部は、
人の性別及び年齢と、人の身長及び体重とから、前記人の基礎代謝を算出すること
を特徴とする請求項１から５のいずれか１項に記載の機器制御装置。
【請求項１０】
前記第１の機器制御部は、過去に行った制御及び制御時の人の特徴を制御履歴として蓄積して記録する蓄積部を更に備え、
前記第１の機器制御部は、機器の制御方法を決定する際に前記制御履歴を用いること
を特徴とする請求項１から９のいずれか１項に記載の機器制御装置。
【請求項１１】
前記人の特徴を、ネットワークを介してクラウドサーバに送信し、前記クラウドサーバが算出した機器制御方法を受信し、受信した前記機器制御方法を前記第１の機器制御部に出力する第１の通信部を更に備え、
前記第１の機器制御部は、前記第１の通信部から入力された前記機器制御方法に従って機器を制御すること
を特徴とする請求項１から１０のいずれか１項に記載の機器制御装置。
【請求項１２】
前記第１の通信部は、前記ネットワークを介して、前記ネットワークに接続された他の機器の第２の通信部に、前記第１の機器制御部が算出した前記機器制御方法を送信し、
前記他の機器の第２の機器制御部は、前記第２の通信部が受信した前記機器制御方法に基づき、機器を制御すること
を特徴とする請求項１１に記載の機器制御装置。
【請求項１３】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、
前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出ステップと、
前記人特徴検出ステップにより検出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと、
を備えた機器制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の特徴を検出し、検出された特徴に合わせて機器を制御する機器制御装置及び機器制御方法に関する。
【背景技術】
【０００２】
機器を使用する使用者を検知し、使用者の特徴を検出して、使用者にとって快適な状態を提供するように各種の機器を制御する機器制御装置が知られている。特許文献１は、使用者の体重と空気調和時の日付とに基づいて、空気調和時における使用者の基礎代謝量を算出し、算出した基礎代謝量と、空調空間の状態を検知する検知手段からの検知結果とに基づいて、快適指標を算出し、算出した快適指標に基づいて制御を行う制御手段を含む空気調和機を記載している。【０００３】
また、特許文献２は、カメラと、サーモグラフィと、温度センサと、時計とを備えた自動販売機であって、カメラで撮影した顔画像を基に購入者の性別と年齢層を求め、サーモグラフィで測定した購入者の顔温度と温度センサで測定した周囲の環境温度とを基に体温を求め、時計から取得した時刻を基に季節と時間帯を求め、購入者の性別と年齢層と体温及び季節と時間帯に基づいて表示装置に画像を表示する商品を割り出し、外的環境と購入者個々の状態に応じてアピールしたい商品を優先的に表示する自動販売機を記載している。【０００４】
また、特許文献３は、エレベータ内の初期画像と現時点の画像とを比較することによって画像中の動体を抽出し、動体の塊の大きさ及び数から、人の数及びその場所の混みぐあいを識別し、その情報に基づいてエレベータを効率的に運転制御するエレベータの運転制御装置を記載している。【０００５】
また、特許文献４は、赤外線カメラで人体を撮影し、画像処理装置によって熱画像をしきい値処理して得られた人物領域に距離変換を施して身体重心を求め、求めた身体重心よりも上部分の上半身主軸により上半身の傾き角を得た後、人体の頭頂，手先，足先の特徴部位を求め、遺伝的アルゴリズムを用いて肘と膝の位置を学習的に推定する人体姿勢の推定方法を記載している。【０００６】
また、特許文献５は、複数のカラーカメラでそれぞれ異なった方向から撮像した複数のカラー画像から２値画像を作成し、その２値画像に基づいて特徴点を検出する人物の３次元姿勢推定方法を記載している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−１０３５４４号公報（例えば、段落０００６）
【特許文献２】特開２０１１−２０３９５２号公報（例えば、段落０００７−００１２）
【特許文献３】特開平５−１５５５３９号公報（例えば、段落０００５−０００６）
【特許文献４】特開平１０−２５８０４４号公報（例えば、段落０００６−０００８）
【特許文献５】特開２００１−５９７３号公報（例えば、段落０００６）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の空気調和機は、体重を入力して体重のみから基礎代謝量を算出するため、基礎代謝量を正確に算出できず、使用者に最適な機器制御ができないという課題があった。また、特許文献２に記載の自動販売機は、サーモグラフィから体温を求める場合、使用者の顔が特定のサイズ以上の大きさに映る位置に使用者が立つ必要がある、という課題があった。【０００９】
また、特許文献３に記載のエレベータの運転制御装置は、初期画像と制御を行う時点の画像とを比較するため、多くの演算量及びメモリを要するという課題があった。特許文献４に記載の人体姿勢の推定方法は、人領域を抽出するために、体の部位を順に推定することから多くの演算量及びメモリを要するという課題があった。特許文献５に記載の人物の３次元姿勢推定方法は、複数のカラーカメラでそれぞれ異なった方向から撮影するためカメラが複数台必要であり、また、複数のカラー画像を使用するため多くの演算量及びメモリを要するという課題があった。【００１０】
本発明は、上述のような課題を解決するためになされたものであり、演算量を削減し、メモリに要求される記憶容量を低減しつつ、検出精度を向上することのできる機器制御装置及び機器制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る機器制御装置は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出部と、前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部と、前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、を備える。【００１２】
本発明に係る機器制御方法は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出ステップと、前記人特徴検出ステップにより検出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと、を備える。
【発明の効果】
【００１３】
本発明に係る機器制御装置及び機器制御方法によれば、演算量を削減し、メモリに要求される記憶容量を低減しつつ、検出精度を向上するという効果を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る機器制御装置の構成を示すブロック図である。
【図２】（ａ）は、熱画像カメラにより生成された熱画像において、体温領域検出部が検出した顔候補領域を示す図であり、（ｂ）は、熱画像カメラにより生成された熱画像において、体温領域検出部が検出した人候補領域を示す図であり、（ｃ）は、熱画像カメラにより生成された熱画像において、顔領域情報によって示された顔領域及び人領域抽出部が抽出した人領域を示す図であり、（ｄ）は、熱画像カメラにより生成された熱画像において、人領域抽出部が人特徴検出部へ出力する情報を示す図である。
【図３】実施の形態１における人領域検出部の動作を示すフローチャートである。
【図４】本発明の実施の形態２に係る機器制御装置の構成を示すブロック図である。
【図５】実施の形態２における人特徴検出部の動作を示すフローチャートである。
【図６】実施の形態２における姿勢推定部の動作を示すための図である。
【図７】実施の形態２における身長体重推定部の動作を示すフローチャートである。
【図８】実施の形態２における着衣量推定部の動作を示すための図である。
【図９】実施の形態２に係る機器制御装置の構成を示すブロック図の他の例である。
【図１０】本発明の実施の形態３に係る機器制御装置の構成を示すブロック図である。
【図１１】実施の形態１から３に係る機器制御装置の変形例の構成を示すハードウェア構成図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態に係る機器制御装置について説明する。なお、以下に記載する実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。また、以下に記載する各実施の形態の内容は適宜組み合わせることが可能である。さらに、以下で説明する本発明の実施の形態は、機器制御方法の実施の形態として捉えることも可能である。
【００１６】
さらに、本発明の実施の形態に係る機器制御装置は、可視光カメラが取得した可視光画像から人の体の所定部位の領域を検出する。以下に記載する各実施の形態では、その所定部位を「顔」として説明するが、これに限らず、頭、すなわち、首から上の部位であり、かつ、髪の毛など肌が露出していない部分を含む人の体の部位であってもいいし、手であってもいい。また、ペットなど人ではない動物であってもよい。ただし、ペットの場合は、後に説明する基礎代謝の算出は、可視光画像からペットである動物の種類を特定し、その動物の基礎代謝算出式を用いる必要がある。
【００１７】
《１》実施の形態１
《１−１》構成
まず、構成について説明する。図１は、本発明の実施の形態１に係る機器制御装置１００の構成を示すブロック図である。図１に示されるように、実施の形態１に係る機器制御装置１００は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４と、第１の機器制御部としての機器制御部５とを備える。人領域検出部３は、体温領域検出部３１と、所定部位検出部としての顔検出部３２と、所定部位座標変換部としての顔座標変換部３３と、人領域抽出部３４とを備える。
【００１８】
図１に示されるように、熱画像カメラ１は、被撮影物を撮影して、この被撮影物に対応する熱画像（熱画像データ）Ｄ１を生成して人領域検出部３へ出力する。可視光カメラ２は、被撮影物を撮影して、この被撮影物に対応する可視光画像（可視光画像データ）Ｄ２を生成して人領域検出部３へ出力する。人領域検出部３は、熱画像カメラ１から入力された熱画像Ｄ１と可視光カメラ２から入力された可視光画像Ｄ２とから人を検出し、人が存在する領域である人領域の熱画像Ｄ３４と、熱画像Ｄ１における所定部位座標としての顔座標Ｃ３４と、可視光画像Ｄ２の顔画像（顔画像データ）Ｄ３２とを人特徴検出部４へ出力する。
【００１９】
熱画像カメラ１で生成された熱画像Ｄ１は、人領域検出部３の体温領域検出部３１に入力され、可視光カメラ２で生成された可視光画像Ｄ２は、人領域検出部３の顔検出部３２に入力される。
【００２０】
体温領域検出部３１は、熱画像カメラ１から入力された熱画像Ｄ１における温度分布から、所定部位候補領域としての顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂとを検出して人領域抽出部３４へ出力する。顔候補領域Ｄ３１ａとは、熱画像Ｄ１において人の顔が占める領域の候補となる領域である。人候補領域Ｄ３１ｂとは、熱画像Ｄ１において人が占める領域の候補となる領域である。顔検出部３２は、可視光カメラ２から入力された可視光画像Ｄ２から顔を検出し、検出した顔の位置を示す顔座標Ｃ３２を顔座標変換部３３へ出力するとともに、可視光画像Ｄ２から検出した顔の領域のみを切り出した顔画像Ｄ３２を人特徴検出部４へ出力する。
【００２１】
顔座標変換部３３は、予め記憶している座標変換用の演算式又は変換テーブルなどを利用して、顔検出部３２から入力された可視光画像Ｄ２における顔座標Ｃ３２を、熱画像カメラ１が取得した熱画像Ｄ１における顔座標Ｃ３４に変換し、顔領域情報として人領域抽出部３４へ出力する。人領域抽出部３４は、体温領域検出部３１から入力された人候補領域Ｄ３１ｂ及び顔候補領域Ｄ３１ａと、顔座標変換部３３から入力された顔座標Ｃ３４とから、熱画像Ｄ１における人領域を抽出し、人領域の熱画像Ｄ３４を切り出して人特徴検出部４へ出力するとともに、熱画像Ｄ１における顔座標Ｃ３４を人特徴検出部４へ出力する。
【００２２】
人特徴検出部４は、人領域検出部３から入力された可視光画像Ｄ２の顔画像Ｄ３２と、人領域の熱画像Ｄ３４と、熱画像Ｄ１における顔座標Ｃ３４とから人の特徴を検出し、人の特徴の値Ｄ４を機器制御部５へ出力する。機器制御部５は、人特徴検出部４から入力された人の特徴の値Ｄ４に基づき、制御対象となる機器の制御方法を決定し、この機器を制御するための制御信号を出力する。
【００２３】
《１−２》動作
次に、動作について説明する。熱画像カメラ１と可視光カメラ２は、例えば、部屋に備えられている機器に設置され、この機器の使用者がいる部屋などの空間を、同じ向きから撮影できる位置に配置されている。熱画像カメラ１は、赤外線センサなどのような熱を感知するセンサを具備し、撮影した空間の温度分布を示す熱画像Ｄ１を生成する。一方、可視光カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサなどのような可視光を感知するセンサを具備し、熱画像カメラ１が撮影する空間と同じ空間を撮影して可視光画像Ｄ２を生成する。熱画像カメラ１で生成された熱画像Ｄ１と可視光カメラ２で生成された可視光画像Ｄ２は、人領域検出部３に入力される。
【００２４】
ここで、熱画像カメラ１と可視光カメラ２が撮影するタイミングは、同じであることが望ましい。しかし、被撮影物である人の向き及び位置が大きく変化しない程度の時間（例えば、１秒程度）の撮影タイミングの誤差は許容される。
【００２５】
熱画像Ｄ１と可視光画像Ｄ２から人領域を検出する人領域検出部３の動作を図２（ａ）から（ｄ）及び図３を用いて説明する。図２（ａ）は、熱画像カメラ１により生成された熱画像Ｄ１において、体温領域検出部３１が検出した顔候補領域Ｄ３１ａを示す図である。図２（ｂ）は、熱画像カメラ１により生成された熱画像Ｄ１において、体温領域検出部３１が検出した人候補領域Ｄ３１ｂを示す図である。なお、図中のハッチングは被撮影物の温度を表し、温度が高いほどハッチングが薄い領域（白に近い領域）として、温度が低いほどハッチングが濃い領域（黒に近い領域）として表現されている。
【００２６】
図２（ａ）の領域ａ１，ａ２，ａ３，ａ４は、体温領域検出部３１が熱画像Ｄ１から検出した顔候補領域Ｄ３１ａを示している。顔候補領域Ｄ３１ａとは、熱画像Ｄ１において人の顔が占める領域の候補となる領域である。図２（ａ）に示されるように、領域ａ１は、天井に備えられた照明（照明機器）の占める領域であり、領域ａ２，ａ３，ａ４は、人の顔が占める領域である。つまり、図２（ａ）で示す例において、体温領域検出部３１により顔候補領域Ｄ３１ａとして正しく検出されている領域は、領域ａ２，ａ３，ａ４である。
【００２７】
図２（ｂ）の領域ｂ１，ｂ２，ｂ３，ｂ４，ｂ５は、体温領域検出部３１が検出した人候補領域Ｄ３１ｂを示している。人候補領域Ｄ３１ｂとは、熱画像Ｄ１において人が占める領域の候補となる領域である。図２（ｂ）に示されるように、領域ｂ１は、天井に備えられた照明の占める領域であり、領域ｂ２，ｂ４，ｂ５は、人の占める領域であり、領域ｂ３は、窓の占める領域である。つまり、図２（ｂ）において体温領域検出部３１により人候補領域Ｄ３１ｂとして正しく検出されている領域は、領域ｂ２，ｂ４，ｂ５である。
【００２８】
図２（ｃ）は、熱画像カメラ１により生成された熱画像Ｄ１において、顔領域情報によって示された顔領域及び人領域抽出部３４が抽出した人領域を示す図である。図２（ｃ）の破線で示された領域ｃ１，ｃ２，ｃ３は、顔座標変換部３３から入力された顔領域情報（顔座標Ｃ３４）によって示された顔領域である。図２（ｃ）の実線で示された領域ｄ１，ｄ２，ｄ３は、人領域抽出部３４が抽出した人領域の熱画像Ｄ３４である。人領域抽出部３４は、入力された顔領域（領域ｃ１，ｃ２，ｃ３）と顔候補領域Ｄ３１ａ（領域ａ１，ａ２，ａ３，ａ４）と人候補領域Ｄ３１ｂ（領域ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）とに基づき、図２（ｃ）の領域ｄ１，ｄ２，ｄ３に示される人領域を抽出する。図２（ｃ）に示されるように、図２（ａ）及び（ｂ）で検出された顔候補領域Ｄ３１ａ及び人候補領域Ｄ３１ｂであって、正しく検出されなかった領域（上記ａ１，ｂ１，ｂ３）は、人領域としては検出されていない。
【００２９】
図２（ｄ）は、熱画像カメラ１により生成された熱画像Ｄ１において、人領域抽出部３４が人特徴検出部４へ出力する情報を示す図である。図２（ｄ）の領域ｄ１，ｄ２，ｄ３は、図２（ｃ）の領域ｄ１，ｄ２，ｄ３と同一であり、人領域抽出部３４が抽出した人領域を示している。図２（ｄ）のｅ１，ｅ２，ｅ３は人領域抽出部３４により特定された顔領域を示している。人領域抽出部３４は、人領域を抽出した後、顔候補領域Ｄ３１ａを用いて人領域内の顔領域を特定する。人領域抽出部３４は、特定した人領域及び顔領域の熱画像と、顔領域の位置を示す情報（顔座標Ｃ３４）、例えば、顔領域の右上と左下の角部座標とを人特徴検出部４へ出力する。
【００３０】
図３は、実施の形態１における人領域検出部３の動作を示すフローチャートである。図３を用いて人領域検出部３の動作について説明する。人領域検出部３の動作が開始されると、顔検出部３２に可視光カメラ２により生成された可視光画像Ｄ２が入力され、顔検出部３２は、可視光画像Ｄ２から人の顔領域を検出する。可視光画像Ｄ２から人の顔を検出するアルゴリズムは、公知の方法を用いることができる。そして、顔検出部３２は、顔を包含する外接四角形（図２（ｃ）における破線四角形）を可視光画像Ｄ２から検出した顔領域の位置を示す顔座標Ｃ３２（例えば、顔領域の左上の角部と右下の角部の座標）を顔座標変換部３３へ出力する（ステップＳ１）。ステップＳ１において、顔の領域を検出しなかった場合は、顔検出部３２は、顔座標Ｃ３２がないことを示す情報を顔座標変換部３３へ出力する、もしくは、何も出力しない。
【００３１】
次に、顔座標変換部３３は、可視光画像Ｄ２の顔座標Ｃ３２の入力があるか否かを確認する（ステップＳ２）。可視光画像Ｄ２の顔座標Ｃ３２の入力が確認された場合（ステップＳ２においてＹＥＳ）は、処理はステップＳ３に進み、可視光画像Ｄ２の顔座標Ｃ３２の入力が確認されない場合（ステップＳ２においてＮＯ）は、処理はステップＳ４に進む。ステップＳ３では、顔座標変換部３３は、可視光画像Ｄ２の顔座標Ｃ３２を、熱画像Ｄ１の顔座標Ｃ３４に変換し、処理をステップＳ４に進める。顔座標変換部３３は、予め熱画像カメラ１の撮影範囲及び可視光カメラ２の撮影範囲の情報を保持しており、可視光画像Ｄ２が撮影された可視光画像Ｄ２の各画素が、熱画像カメラ１で撮影された熱画像Ｄ１のいずれの画素に対応しているかを計算できる。
【００３２】
続いて、ステップＳ４で体温領域検出部３１が、熱画像カメラ１から入力された熱画像Ｄ１から、顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂとを検出する。人の体表温度は室温によって多少変化するが、ある一定の範囲内である。体の中心部は、３７度でほぼ一定であり、体の表面（体表）は体の中心部よりも少し温度が下がり、顔の表面は３０℃から３７℃である。体表温度が最も低い手足の末端の温度は約２８℃である。室温が高いと、体表温度と体の中心部の温度との温度差が小さく、室温が低いと、この温度差が大きくなる。また、これらの体表温度は、衣類をまとっていない場合の温度であって、熱画像カメラ１が取得できる熱画像Ｄ１は衣類を着た状態の人の表面温度である。衣類を身にまとうと、衣類の量が多い程、衣類で覆われている場所の体表温度（衣類の表面の温度）は下がる傾向にある。これは、衣類の量が多い程、体温が衣類の表面まで伝わり難いためである。体温領域検出部３１は、３０℃から３７℃を顔温度として、この温度の領域を顔候補領域Ｄ３１ａとして検出する。また、体温領域検出部３１は、２８℃から３７℃を体表温度として、衣類によって下がった表面温度を考慮した温度（例えば、２０℃から３７℃）の領域を人候補領域Ｄ３１ｂとして検出する。
【００３３】
次に、体温領域検出部３１は、検出した顔候補領域Ｄ３１ａについて、膨張処理、収縮処理の順に処理を施す（ステップＳ５）。これにより、メガネなど顔に装置した物又は顔表面の温度むらなどの影響により、顔領域の検出精度が低下することを防ぐ。さらに、体温領域検出部３１は、ステップＳ６で顔候補領域Ｄ３１ａから明らかに顔ではない形状のものを排除する。顔の形状は、両目が見える程度、正面を向いて熱画像Ｄ１に映っている場合、その形状は丸い。このことを利用し、体温領域検出部３１は、丸くない顔候補領域Ｄ３１ａは顔ではないと判断する。熱画像Ｄ１から検出した顔候補領域Ｄ３１ａに示された顔の形状が丸いか否かは、例えば、以下に記載する方法で判断する。すなわち、顔候補領域Ｄ３１ａを含む外接四角形の面積に対する顔温度（３０℃から３７℃）を示す領域の割合が７５％以上であり、かつ、外接四角形のアスペクト比が１：２から２：１の範囲内である場合に、丸いと判断し、これ以外の場合は丸くないとする。なお、丸いか否かを判断するために用いた数値は一例に過ぎず、これらの値から大きく外れなければ、これに限らない。
【００３４】
なお、顔の形状が丸いことを判断するため、外接四角形のアスペクト比と外接四角形に対する顔候補領域Ｄ３１ａの面積比を用いた場合を説明したが、判断方法はこれに限らず、丸いか否かを判断できれば他の基準を用いてもよい。例えば、顔の形状が丸いことの判断は、顔の輪郭形状の凹凸から判断してもよい。
【００３５】
続いて、体温領域検出部３１は、人候補領域Ｄ３１ｂについても顔候補領域Ｄ３１ａと同様に、膨張処理と収縮処理を、膨張処理、収縮処理の順に施す（ステップＳ７）。ただし、このときに処理対象とする人候補領域Ｄ３１ｂは、ステップＳ６の処理後の顔候補領域Ｄ３１ａを含む人候補領域Ｄ３１ｂに限る。
【００３６】
人領域抽出部３４は、体温領域検出部３１から入力された人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａと、顔座標変換部３３から入力された顔座標Ｃ３４とから、熱画像Ｄ１における人領域を抽出し、熱画像Ｄ１から切り出した人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４とを人特徴検出部４へ出力する（ステップＳ８からステップＳ１１）。ステップＳ８からステップＳ１１までの処理は体温領域検出部３１から入力された全ての人候補領域に対し、１つずつ行う。
【００３７】
まず、人領域抽出部３４は、ステップＳ８で人候補領域Ｄ３１ｂかつ顔領域情報（顔座標Ｃ３４）を示す領域があるか否かを判断する。人候補領域Ｄ３１ｂかつ顔領域情報を示す領域がある場合（ステップＳ８においてＹＥＳ）は、人領域抽出部３４は、人候補領域Ｄ３１ｂは顔が映っている人である可能性があると判断して、処理をステップＳ９に進める。人候補領域Ｄ３１ｂかつ顔領域情報を示す領域がない場合（ステップＳ８においてＮＯ）は、人領域抽出部３４は、可視光画像Ｄ２から顔を検出できなかったが、人候補領域Ｄ３１ｂは人の可能性があると判断して、処理をステップＳ１１に進める。ここで、顔領域情報とは、可視光画像Ｄ２から検出した顔領域の位置に関する情報を熱画像Ｄ１における顔領域の位置に関する情報に変換したものであり、例えば、顔を含む外接四角形の右上の角部と左下の角部の顔座標である。顔領域の位置に関する情報は、顔を含む外接四角形の１つの角部の座標と、縦及び横の長さであってもいい。
【００３８】
ステップＳ９では、人領域抽出部３４は、人候補領域Ｄ３１ｂ内の顔候補領域Ｄ３１ａが可視光画像Ｄ２から検出した顔の位置と一致するか否かを判断するため、顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在するか否かを判断する。人領域抽出部３４は、顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在する場合（ステップＳ９においてＹＥＳ）、人候補領域Ｄ３１ｂは顔が映っている人であると判断し、処理をステップＳ１０に進める。
【００３９】
顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在しない場合（ステップＳ９においてＮＯ）、人領域抽出部３４は、人の顔の形状をした物体は存在するが、体温が人の顔の温度ではないため、人ではないと判断し、処理をステップＳ１２に進める。可視光画像Ｄ２から顔が検出され、熱画像Ｄ１から顔候補領域Ｄ３１ａが検出されないケースは、人形である場合、形状が顔に似ていて顔検出を誤った場合、顔の大部分が覆われている場合、例えば、帽子とゴーグルとマスクをしていて熱画像Ｄ１から顔候補領域Ｄ３１ａが検出されない場合などがある。
【００４０】
一方、ステップＳ８において人候補領域Ｄ３１ｂかつ顔領域情報が示す領域がなく、処理がステップＳ１１に進んだ場合、人領域抽出部３４は、ステップＳ１１で、熱画像Ｄ１から検出した顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂから人であるか否かを判定する。そのために、人領域抽出部３４は、人候補領域Ｄ３１ｂにおける顔候補領域Ｄ３１ａの面積比を用いる。顔を含む人の体の大きさに対する顔の大きさの割合は、ある範囲に含まれる。例えば、人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比が４：１から１６：１の場合（ステップＳ１１においてＹＥＳ）、人領域抽出部３４は、人候補領域Ｄ３１ｂは人が存在する領域であると判断し、処理をステップＳ１０に進める。検出された人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比が４：１から１６：１の範囲外である場合（ステップＳ１１においてＮＯ）、人領域抽出部３４は、人候補領域Ｄ３１ｂは人が存在する領域ではないと判断し、処理をステップＳ１２に進める。なお、人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比として挙げた数値は一例に過ぎず、顔を含む人の体の大きさに対する顔の大きさの割合として、他の数値範囲を採用してもよい。
【００４１】
ステップＳ１０では、人領域抽出部３４は、ステップＳ９及びステップＳ１１で人が存在する領域であると判断された人候補領域Ｄ３１ｂを人領域とし、熱画像Ｄ１から人領域を切り出し、切り出した人領域の熱画像Ｄ３４を人特徴検出部４へ出力するとともに、顔候補領域Ｄ３１ａを顔領域とし、顔領域を示す情報を人特徴検出部４へ出力する。顔領域を示す情報は、顔領域を包含する外接四角形の位置を示す情報とする。例えば、外接四角形の右上の角部と左下の角部の顔座標とする。また、外接四角形の１つの角部の座標及び外接四角形の縦及び横の長さであってもいい。
【００４２】
ステップＳ１２では、人領域抽出部３４は、ステップＳ８からステップＳ１１の処理がまだ終わっていない人候補領域Ｄ３１ｂがあるか否かを判断し、未処理の人候補領域Ｄ３１ｂが存在すれば（ステップＳ１２においてＹＥＳ）、処理をステップＳ８に戻す。未処理の人候補領域Ｄ３１ｂが存在しなければ（ステップＳ１２においてＮＯ）、人領域検出部３の動作は全て終了し、人領域検出部３は、次の熱画像Ｄ１と可視光画像Ｄ２とが入力されるのを待つ。
【００４３】
人領域検出部３から出力された人領域の熱画像Ｄ３４と顔領域を示す情報と可視光画像Ｄ２の顔画像Ｄ３２を用いて、人特徴検出部４は人の特徴を検出する。人の特徴は、例えば、性別、年齢、基礎代謝、体脂肪率、姿勢、体温、着衣量である。これらの特徴の値は、機器制御部５へ入力される。機器制御部５は、人特徴検出部４から入力された人の特徴に基づき、機器の制御方法を決定し、その制御方法に従って機器を制御する。
【００４４】
なお、本実施の形態１においては、可視カメラと熱画像カメラとは、それぞれから取得される画像の縦方向が地面に垂直な向き、横方向が地面に水平な向きとなる画像、例えば、図２に示すような画像が得られる位置と向きに設置された場合で説明したが、可視カメラと熱画像カメラの設置位置や向きはこれに限らない。可視カメラと熱画像カメラを空調機器などの家電機器の横の位置で、部屋内を俯瞰する向きに設置してもよい。また、可視カメラと熱画像カメラを天井の位置で、床を見下ろす向きに設置してもよい。
【００４５】
また、可視カメラと熱画像カメラの台数を削減するため、広角を撮影可能なレンズ、たとえば魚眼レンズを付けて画像を取得してもよい。これらの場合、顔の映り方が、実施の形態１で説明した場合と異なる。顔の領域を検出する際、可視カメラと熱画像カメラの設置位置と、設置向きによる顔領域の形状の変化を予め算出し、顔領域の検出の際に、変化量を加味する必要がある。例えば、天井から撮影した場合、熱画像に顔が丸い形状で映ることは少なく、半円もしくは楕円になる。顔、髪の毛、手足の露出部分、着衣領域、人以外の周辺領域の順に温度が下がることに変わりはない。
【００４６】
《１−３》効果
実施の形態１に係る機器制御装置１００及び機器制御方法によれば、１枚の熱画像と１枚の可視光画像Ｄ２とを用いて人を検出するため、熱画像Ｄ１と可視光画像Ｄ２のいずれか一方のみから人を検出する場合と比較して、検出に要する演算量を削減でき、また、熱画像データ及び可視光画像データを記憶するためのメモリとして記憶容量の小さなものを使用することができるという効果が得られる。
【００４７】
実施の形態１に係る機器制御装置１００及び機器制御方法によれば、熱画像Ｄ１から顔の温度の特性を用いて検出した顔候補領域Ｄ３１ａと可視光画像Ｄ２から検出した顔の領域とを用いて人領域を検出するため、熱画像Ｄ１において人の占める領域を正確に検出できるという効果が得られる。
【００４８】
《２》実施の形態２
《２−１》構成
図４は、本発明の実施の形態２に係る機器制御装置２００の構成を示すブロック図である。図４において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る機器制御装置２００は、人特徴検出部４ａの構成において実施の形態１に係る機器制御装置１００と異なる。
【００４９】
まず、構成について説明する。図４に示されるように、実施の形態２に係る機器制御装置２００は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４ａと、機器制御部５とを備える。人特徴検出部４ａは、姿勢推定部４１と、身長体重推定部４２と、性別年齢推定部４３と、基礎代謝算出部４４と、体脂肪率推定部４５と、着衣量推定部４６と、体温推定部４７と、人特徴管理部４８とを備える。
【００５０】
熱画像カメラ１は、被撮影物を撮影し、被撮影物に対応する熱画像Ｄ１を生成して人領域検出部３へ出力する。可視光カメラ２は、被撮影物を撮影し、被撮影物に対応する可視光画像Ｄ２を生成して人領域検出部３へ出力する。人領域検出部３は、熱画像カメラ１から入力された熱画像Ｄ１と可視光カメラ２から入力された可視光画像Ｄ２とに基づき、熱画像Ｄ１における人が占める領域である人領域を検出し、人領域の熱画像Ｄ３４と顔領域の位置を示す情報（顔座標Ｃ３４）と可視光画像Ｄ２の顔画像Ｄ３２とを人特徴検出部４ａへ入力する。
【００５１】
人領域検出部３から出力された人領域の熱画像Ｄ３４と顔座標Ｃ３４は、人特徴検出部４ａの姿勢推定部４１、身長体重推定部４２、基礎代謝算出部４４、体脂肪率推定部４５、着衣量推定部４６、及び体温推定部４７に入力される。また、人領域検出部３から出力された可視光画像Ｄ２の顔画像Ｄ３２は、人特徴検出部４ａの性別年齢推定部４３に入力される。
【００５２】
姿勢推定部４１は、人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４に基づいて姿勢を推定し、推定結果である姿勢Ｄ４１を身長体重推定部４２と着衣量推定部４６と体温推定部４７と人特徴管理部４８とへ出力する。身長体重推定部４２は、人領域検出部３から入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１と、性別年齢推定部４３から入力された性別及び年齢Ｄ４３とに基づき、身長と体重とを推定し、身長及び体重Ｄ４２を体脂肪率推定部４５と基礎代謝算出部４４とに出力する。
【００５３】
性別年齢推定部４３は、可視光画像Ｄ２の顔画像Ｄ３２から性別と年齢を推定し、推定した性別及び年齢Ｄ４３を身長体重推定部４２と基礎代謝算出部４４と人特徴管理部４８とへ出力する。基礎代謝算出部４４は、性別年齢推定部４３から入力された性別及び年齢Ｄ４３と身長体重推定部４２から入力された身長及び体重Ｄ４２とを用いて基礎代謝量Ｄ４４を算出し、算出した基礎代謝量Ｄ４４を人特徴管理部４８へ出力する。
【００５４】
体脂肪率推定部４５は、身長体重推定部４２から入力された身長及び体重Ｄ４２から体脂肪率Ｄ４５を算出し、体脂肪率Ｄ４５を人特徴管理部４８へ出力する。着衣量推定部４６は、入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１とに基づき、着衣量Ｄ４６を推定し、着衣量Ｄ４６を人特徴管理部４８へ出力する。体温推定部４７は、入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１とに基づき、体温Ｄ４７を推定し、体温Ｄ４７を人特徴管理部４８へ出力する。
【００５５】
人特徴管理部４８は、姿勢推定部４１から入力された姿勢Ｄ４１と、性別年齢推定部４３から入力された性別及び年齢Ｄ４３と、基礎代謝算出部４４から入力された基礎代謝量Ｄ４４と、体脂肪率推定部４５から入力された体脂肪率Ｄ４５と、着衣量推定部４６から入力された着衣量Ｄ４６と、体温推定部４７から入力された体温Ｄ４７とを人の特徴Ｄ５として、機器制御部５に入力する。機器制御部５は、人特徴検出部４ａから入力された人の特徴Ｄ５に基づき、機器の制御方法を決定し、機器を制御する。
【００５６】
《２−２》動作
次に、動作について説明する。図５は、実施の形態２における人特徴検出部４ａの動作を示すフローチャートである。以下、人特徴検出部４ａの動作を図５のフローチャートを用いて説明する。なお、実施の形態１の人特徴検出部４と同じ動作については、実施の形態２では説明を省略する。
【００５７】
人領域の熱画像Ｄ３４と顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２が、人領域検出部３から人特徴検出部４ａの性別年齢推定部４３に入力されると、性別年齢推定部４３は、入力された可視光画像Ｄ２の顔画像Ｄ３２から公知の方法を用いて性別と年齢を推定する（ステップＳ２１）。次に、姿勢推定部４１が人領域の熱画像Ｄ３４と顔座標Ｃ３４とから人の姿勢を推定する（ステップＳ２２）。姿勢推定方法については、後で図６を用いて詳細を説明する。
【００５８】
そして、身長体重推定部４２が、人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１と性別年齢推定部４３が推定した年齢とを用いて、身長と体重を推定する（ステップＳ２３）。身長及び体重の推定方法の詳細については、後で図７のフローチャートを用いて詳細を説明する。
【００５９】
続いて、基礎代謝算出部４４が、ステップＳ２１で推定した性別及び年齢Ｄ４３とステップＳ２３で推定した身長及び体重Ｄ４２とを用いて、基礎代謝量Ｄ４４を算出する（ステップＳ２４）。基礎代謝の算出には一般に知られている基礎代謝算出式を用いる。例えば、ハリスベネディクト方程式を用いる。体重（ｋｇ）をＷ、身長（ｃｍ）をＨ、年齢（歳）をＡ、男性の基礎代謝量（ｋｃａｌ）をＭ１、女性の基礎代謝量（ｋｃａｌ）をＭ２とし、基礎代謝量Ｍ１、Ｍ２は、
Ｍ１＝  １３．３９７×Ｗ＋４．７９９９×Ｈ−５．６７７×Ａ＋８８．３６２
Ｍ２＝  ９．２４７×Ｗ＋３．０９８  ×Ｈ−４．３３  ×Ａ＋４４７．５９３
で求められる。
【００６０】
基礎代謝量は体重だけでなく、身長と年齢と性別にも依存する。先行文献１のように体重しか用いない場合は基礎代謝量を正確に算出できない。例えば、体重が同じ６０ｋｇでも、身長１７５ｃｍ、年齢２０歳、男性の基礎代謝量は１６１８ｋｃａｌであり、身長１５５ｃｍ、年齢６０歳、女性の基礎代謝量は１２２２ｋｃａｌである。この約４００ｋｃａｌの差は、身長と年齢と性別が同じ男性であれば体重が３０ｋｇ異なる人の基礎代謝量の差と同じである。したがって、基礎代謝量の算出には、体重のみならず、身長と年齢と性別も用いる必要がある。
【００６１】
次に、体脂肪率推定部４５がステップＳ２３で推定した身長及び体重Ｄ４２を用いて、体脂肪率Ｄ４５を算出する（ステップＳ２５）。体脂肪率Ｄ４５の算出にも一般に知られている算出式を用いる。例えば、ＢＭＩの算出式を用いる。次に、着衣量推定部４６が、人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１から着衣量Ｄ４６を推定する（ステップＳ２６）。着衣量推定方法については、後に図８を用いて詳細を説明する。次に、体温推定部４７が人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１から体温Ｄ４７を推定する（ステップＳ２７）。
【００６２】
体温推定部４７は、人領域の熱画像Ｄ３４における顔座標Ｃ３４が示す領域のうち、最も高い温度を人の体温と推定する。ただし、体温の推定はこれに限らず、人領域の熱画像Ｄ３４における顔座標Ｃ３４が示す領域の平均温度としてもいい。また、人領域の熱画像と姿勢推定部４１が推定した姿勢Ｄ４１から、人領域のうち人の胴体にあたる領域のうち最も高い温度としてもよい。また、ステップＳ２４からステップＳ２７の処理はいずれの順であっても構わない。最後に、ステップＳ２８において、推定された姿勢Ｄ４１、体温Ｄ４７、着衣量Ｄ４６を動的特徴として、また、体脂肪率Ｄ４５、基礎代謝量Ｄ４４、性別及び年齢Ｄ４３、身長及び体重Ｄ４２を静的特徴として機器制御部５に出力する。
【００６３】
図６は、姿勢推定部４１の動作を示すための図である。図６を用いて、姿勢推定部４１の動作を説明する。図６は、人領域検出部３から人特徴検出部４ａに入力される人領域の熱画像Ｄ３４の一例を示している。符号ｆ１で示されるのは、人領域を包含する外接四角形であり、符号ｆ２で示される点は外接四角形ｆ１の左上の角部であり、符号ｆ３で示される点は外接四角形ｆ１の右下の角部である。また、符号ｆ４で示されるのは、顔領域を包含する外接四角形であり、符号ｆ５で示される点は外接四角形ｆ４の左上の角部であり、符号ｆ６で示される点は外接四角形ｆ４の右下の角部である。人領域検出部３から、人領域の熱画像Ｄ３４として外接四角形ｆ１の熱画像が、顔座標Ｃ３４として点ｆ５の座標と点ｆ６の座標が、人特徴検出部４ａに入力され、姿勢推定部４１に入力される。
【００６４】
姿勢推定部４１は、外接四角形ｆ１のアスペクト比を算出する。外接四角形ｆ１のアスペクト比（高さ／幅）が１／２未満であれば、寝姿勢とする。外接四角形ｆ１のアスペクト比が１／２以上、かつ、２未満であれば、座り姿勢とする。外接四角形ｆ１のアスペクト比が２以上であれば、立ち姿勢とする。
【００６５】
なお、姿勢の判定に用いたアスペクト比の閾値は一例に過ぎず、寝姿勢と座り姿勢の閾値をＬ１とし、座り姿勢と寝姿勢の閾値をＬ２として、Ｌ１＜１＜Ｌ２であれば、Ｌ１とＬ２は他の値でもよい。
【００６６】
なお、外接四角形ｆ１のアスペクト比から姿勢を求めたあと、点ｆ２の座標と点ｆ３の座標と、点ｆ５の座標と点ｆ６の座標を用いると、人領域における顔の位置が分かり、人の向きを求めることができる。
【００６７】
図７は、実施の形態２における身長体重推定部４２の動作を示すフローチャートである。以下、図７のフローチャートを用いて、身長体重推定部４２の動作を説明する。身長体重推定部４２には、姿勢推定部４１と同様に、人領域検出部３から人領域の熱画像Ｄ３４と顔座標Ｃ３４が入力される。身長体重推定部４２は、人領域の下端の位置、すなわち、図６の点ｆ３のｙ座標（ただし、画像の横方向をｘ方向とし、画像の縦方向をｙ方向とする）から、入力された人領域の熱画像Ｄ３４の１画素あたりの長さを算出する（ステップＳ３１）。
【００６８】
身長体重推定部４２は、予め熱画像カメラ１の取得画像における位置と実際の長さとの関係を算出できる式を保持しているものとする。人領域の下端の位置は、人が地面と接地している位置にあたり、熱画像カメラ１の画角と設置位置及び熱画像カメラ１の向きにより、取得画像における縦方向の位置が決まれば、その位置に映る物体までの距離が求まり、その位置での１画素あたり実際の長さが決まる。
【００６９】
次に、人領域の熱画像Ｄ３４から人の体表温度の画素数を計数する（ステップＳ３２）。そして、ステップＳ３１で求めた１画素あたりの長さに基づき、ステップＳ３２で算出した面積を人の占める面積に換算する（ステップＳ３３）。続いて、姿勢が立ち姿勢又は寝姿勢、もしくは、座り姿勢であるかを判定する（ステップＳ３４）。立ち姿勢又は寝姿勢であれば（ステップＳ３４においてＹＥＳ）、ステップＳ３５に進み、座り姿勢であれば（ステップＳ３４においてＮＯ）、ステップＳ３６に進む。
【００７０】
ステップＳ３５では、人領域の長辺の長さを算出し、ステップＳ３１で算出した１画素あたりの長さを算出した長辺の長さに乗じた値を身長とする。ステップＳ３６では、人領域の長辺と短辺の長さの和を算出し、ステップＳ３１で算出した１画素あたりの長さを算出した長辺の長さに乗じた値を身長とする。ステップＳ３５及びステップＳ３６で身長を推定したら、ステップＳ３７に進む。
【００７１】
なお、ステップＳ３６では人領域の長辺と短辺の長さの和から身長を求めているが、これは、人が座った状態で地面と垂直方向に背中を伸ばし、かつ、足を地面と水平方向に伸ばした場合の身長である。より正確に身長を算出するために、人領域に対する人の体表温度の領域の割合を算出し、その割合に応じて身長の推定方法を変更してもよい。人領域に対する人の体表温度の領域の割合が大きい程、膝を曲げたり、背中を丸めたりしている状態である。例えば、人領域の長辺の長さ（画素）をＬ、短辺の長さ（画素）をＳ、人領域に対する人の体表温度の領域の割合をＲ、身長をＨ（ｃｍ）、１画素あたりの長さ（ｃｍ）をｐとして、
０＜Ｒ＜０．４のとき、        Ｈ＝（Ｌ＋Ｓ）×ｐ
０．４≦Ｒ＜０．７のとき、    Ｈ＝（Ｌ＋Ｓ×√２）×ｐ
０．７≦Ｒ＜１のとき、        Ｈ＝（Ｌ＋Ｓ×２）×ｐ
としてもよい。
【００７２】
なお、身長の推定方法はこれらに限らず、次の方法を用いても良い。まず人領域の重心を算出する。人領域のうち、重心から画像の上下左右の４方向について、それぞれ最も遠い点を求め、そのうち重心からの距離が遠い２点と重心との各距離の和を身長とする。
【００７３】
ステップＳ３７では、ステップＳ３３で求めた面積とステップＳ３５及びステップＳ３６で推定した身長から体重を推定する。まず人の体積を算出する。例えば、断面積がステップＳ３３で求めた面積であり、かつ、長軸が推定身長である楕円体として体積を算出する。人の比重が１であることを利用して、体積から体重を求める。
【００７４】
なお、１方向から撮影された可視光画像１枚ではなく、異なる２方向から撮影された可視光画像２枚を用いると、楕円体ではなくより正確に人の形状を求めることが可能になり、体重をより正しく推定することができる。
【００７５】
そして、性別年齢推定部４３が推定した年齢を用いて、ステップＳ３７までに推定した身長及び体重が妥当かどうかを確認する（ステップＳ３８）。この確認には、年齢における標準身長と標準体重を用いる。推定された身長が標準身長よりもＮ１割、すなわち、（Ｎ１×１００）％以上高い、もしくは、Ｎ１割以上低いか否かを判定するとともに、推定された体重が標準体重よりもＮ２割以上重い、もしくは、Ｎ２割以上軽いか否かを判定する。Ｎ１とＮ２の値は、例えば、Ｎ１＝２、Ｎ２＝５とする。ただし、これに限らない。Ｎ１及びＮ２の値を年齢によって変更してもよい。
【００７６】
推定された身長が標準身長よりもＮ１割以上高い、もしくは、Ｎ１割以上低い、かつ、推定された体重が標準体重よりもＮ２割以上重い、もしくは、Ｎ２割以上軽い場合（ステップＳ３８においてＹＥＳ）、推定された身長及び体重は妥当ではないと判断し、身長体重推定部４２の推定結果は、身長を年齢の標準身長とし、体重を年齢の標準体重とする（ステップＳ３９）。体の一部が物体に隠れて熱画像Ｄ１に映っていない場合などが、推定身長ならびに推定体重が年齢の標準身長ならびに標準体重と大きくずれが生じる。
【００７７】
ステップＳ３８の判定で条件に該当しない場合（ステップＳ３８においてＮＯ）、ステップＳ４０に進む。またステップＳ３９のあと、ステップＳ４０に進む。ステップＳ４０では、身長体重推定部４２は、推定した身長及び体重を、基礎代謝算出部４４及び体脂肪率推定部４５へ出力する。
【００７８】
なお、可視光画像Ｄ２から顔が検出されなかったが、熱画像Ｄ１から人であると判断された人領域については、性別年齢推定部４３から身長体重推定部４２に年齢が入力されないため、ステップＳ３８及びステップＳ３９の処理ができない。この場合は熱画像Ｄ１から推定した身長及び体重Ｄ４２を推定結果とする。
【００７９】
図８（ａ）から（ｃ）を用いて、着衣量推定部４６の動作を説明する。図８（ａ）は立ち姿勢の人領域の熱画像Ｄ３４の一例を示し、図８（ｂ）は座り姿勢の人領域の熱画像Ｄ３４の一例を示し、図８（ｃ）は寝姿勢の人領域の熱画像Ｄ３４の一例を示している。図中の領域ｇ１は頭の領域を示し、領域ｇ２は胴体の領域を示し、領域ｇ３は足の領域を示し、領域ｇ４は胴体及び足の領域を示す。各姿勢における領域ｇ１，ｇ２，ｇ３，ｇ４は、人領域における顔領域の位置より決定する。なお、図中のハッチングは被撮影物の温度を表し、温度が高いほどハッチングが薄く、温度が低いほどハッチングが濃く表現している。
【００８０】
立ち姿勢及び座り姿勢の場合、頭の領域の下端を、頭と胴体との境界とする。寝姿勢の場合、頭の領域の右端ないし左端のうち、人領域がある側を体と胴体との境界とする。胴体と足との境界は、座り姿勢の場合、明確ではないため、人領域は頭の領域ｇ１と胴体及び足の領域ｇ４に分割する。立ち姿勢及び寝姿勢の場合、頭と胴体との境界から人領域の終端までを２等分する位置を胴体と足との境界とし、このようにして人領域を頭の領域ｇ１と胴体の領域ｇ２と足の領域ｇ３とに分割する。
【００８１】
着衣量推定部４６は、分割した人領域の領域（領域ｇ１，ｇ２，ｇ３，ｇ４）毎に着衣量を推定する。一般的に、身にまとう衣類の量が多い程、熱画像Ｄ１で取得される温度は下がる。人の体表温度は２８℃から３７℃である。半袖及び短パンなど、肌が露出している場合、熱画像Ｄ１の温度は人の体表温度そのものである。薄着の場合は体温が衣類の表面まで伝わり、体表温度より少し下がる。厚着をしている場合、体温は衣類の表面まで伝わりにくく、体表温度との差は大きい。ただし、周辺気温と同じになる程ではない。
【００８２】
着衣量は、胴体の領域ｇ２と足の領域ｇ３と胴体及び足の領域ｇ４のそれぞれについて、熱画像Ｄ１の分布によって推定する。各領域において何度の領域が何パーセントを占めるかにより、衣類の厚さと形状を推定する。例えば、衣類の形状は、胴体の領域の場合は半袖もしくは長袖とし、足の領域の場合は短パンもしくは長ズボンとする。３０度に近い温度の領域の割合が大きいほど、肌が露出していると判断して、胴体の領域の場合は半袖とし、足の領域の場合は短パンとする。割合は例えば２０％とする。また、衣類の厚さは、温度が低い程分厚いとする。例えば、２８度のときは薄手、２５度のときは少し厚め、２２度のときは非常に厚手であるとする。
【００８３】
最後に人特徴管理部４８は、各人領域の熱画像Ｄ３４ごとに姿勢推定部４１、身長体重推定部４２、性別年齢推定部４３、基礎代謝算出部４４、体脂肪率推定部４５、着衣量推定部４６、体温推定部４７で推定した人の特徴に関する数値Ｄ５を、機器制御部５へ出力する。
【００８４】
本実施の形態では、可視光カメラ２から入力された可視光画像Ｄ２を用いて、熱画像Ｄ１における人が占める領域である人領域を検出していたが、可視光画像Ｄ２を用いずに人領域を検出することもできる。図９は、実施の形態２に係る機器制御装置２００の構成を示すブロック図の他の例である。人認識情報Ｃ３１を外部から人領域検出部３ａへ入力する。人認識情報Ｃ３１は、熱画像カメラ１の撮影対象エリアにおいて人が存在できる場所、人が存在しそうな場所等の情報である。人認識情報Ｃ３１を人領域検出部３ａに予め登録しておいてもよい。人領域検出部３ａでは、図１に示した人領域検出部３の機能のうち、顔検出部３２と顔座標変換部３３が無く、人認識情報Ｃ３１が人領域抽出部３４に入力される。また、人領域抽出部３４において、人の顔座標Ｃ３４が算出される。
【００８５】
人領域検出部３ａの人領域抽出部３４において、体温領域検出部３１で検出された顔候補領域Ｄ３１ａおよび人候補領域Ｄ３１ｂと人認識情報Ｃ３１とを照らし合わせて、人候補領域Ｄ３１ｂに存在する物体が人であるかどうかを判断する。人領域抽出部３４は、人であると判断した候補を対象として顔候補領域Ｄ３１ａおよび人候補領域Ｄ３１ｂから顔座標Ｃ３４、人領域の熱画像Ｄ３４を算出し、人特徴検出部４へ出力する。
【００８６】
また、本実施の形態では、可視光画像Ｄ２の顔画像Ｄ３２から性別と年齢を推定しているが、可視光画像Ｄ２を用いずに外部から性別及び年齢Ｄ４３を人特徴検出部４ａに入力してもよい。性別及び年齢Ｄ４３を予め人特徴検出部４ａに登録しておいても良い。また、制御対象となる機器のリモコンから入力しても良い。入力された性別及び年齢Ｄ４３を身長体重推定部４２と基礎代謝算出部４４と人特徴管理部４８とへ入力する。
【００８７】
身長体重推定部４２は、人領域検出部３ａから入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１と、性別及び年齢Ｄ４３とに基づき、身長と体重とを推定し、身長及び体重Ｄ４２を体脂肪率推定部４５と基礎代謝算出部４４とに出力する。基礎代謝算出部４４は、性別及び年齢Ｄ４３と身長体重推定部４２から入力された身長及び体重Ｄ４２とを用いて基礎代謝量Ｄ４４を算出し、算出した基礎代謝量Ｄ４４を人特徴管理部４８へ出力する。
【００８８】
人特徴管理部４８は、姿勢推定部４１から入力された姿勢Ｄ４１と、性別及び年齢Ｄ４３と、基礎代謝算出部４４から入力された基礎代謝量Ｄ４４と、体脂肪率推定部４５から入力された体脂肪率Ｄ４５と、着衣量推定部４６から入力された着衣量Ｄ４６と、体温推定部４７から入力された体温Ｄ４７とを人の特徴Ｄ５として、機器制御部５に入力する。機器制御部５は、人特徴検出部４ａから入力された人の特徴Ｄ５に基づき、機器の制御方法を決定し、機器を制御する。
【００８９】
《２−３》効果
実施の形態２に係る機器制御装置２００によれば、実施の形態１に係る機器制御装置１００により得られる効果に加えて以下の効果が得られる。すなわち、立ち姿勢か座り姿勢か寝姿勢かといった姿勢Ｄ４１を推定するため、人の姿勢に合わせた機器制御ができるという効果が得られる。
【００９０】
実施の形態２に係る機器制御装置２００によれば、性別及び年齢Ｄ４３と基礎代謝量Ｄ４４を算出するため、基礎代謝量Ｄ４４からその人の暑がり及び寒がりの傾向、暑さ及び寒さへの耐性といった体質が分かり、性別と年齢と体質に合わせた機器制御ができるという効果が得られる。
【００９１】
実施の形態２に係る機器制御装置２００によれば、着衣量Ｄ４６と体脂肪率Ｄ４５を推定するため、人の保温耐性が分かり、特に空調制御において使用者に快適な機器制御ができるという効果が得られる。
【００９２】
実施の形態２に係る機器制御装置２００によれば、体温Ｄ４７を推定するため、人の体調が推測でき、体調に合わせた機器制御ができるという効果が得られる。
【００９３】
実施の形態２に係る機器制御装置２００によれば、人の特徴Ｄ５に基づき機器制御方法を決定するため、使用者に快適な機器制御ができるという効果が得られる。
【００９４】
《３》実施の形態３
《３−１》構成
図１０は、本発明の実施の形態３に係る機器制御装置３００の構成を示すブロック図である。図１０において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態３に係る機器制御装置３００は、機器制御部５ａが過去の制御履歴を参照する点、及び、人の特徴から機器制御方法を決定する処理を機器内部で行わず、クラウド８（クラウドサーバ）で実行する点において実施の形態１に係る機器制御装置１００と異なる。
【００９５】
まず、構成について説明する。図１０に示されるように、実施の形態３に係る機器制御装置３００は、第１の機器１０と、他の機器としての第２の機器１１と、ネットワーク７と、クラウド８とを備える。第１の機器１０は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４と、第１の機器制御部としての機器制御部５ａと、第１の通信部としての通信部６を備える。第２の機器１１は、第２の機器制御部としての機器制御部１２と、第２の通信部としての通信部１３とを備える。
【００９６】
第１の機器１０の熱画像カメラ１は、熱画像Ｄ１を生成して第１の機器１０の人領域検出部３へ出力する。第１の機器１０の可視光カメラ２は、可視光画像Ｄ２を生成して第１の機器１０の人領域検出部３へ出力する。第１の機器１０の人領域検出部３は、第１の機器１０の熱画像カメラ１から入力された熱画像Ｄ１と第１の機器１０の可視光カメラ２から入力された可視光画像Ｄ２とに基づき、人を検出し、人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２とを第１の機器１０の人特徴検出部４へ出力する。
【００９７】
第１の機器１０の人特徴検出部４は、第１の機器１０の人領域検出部３から入力された人領域の熱画像Ｄ３４と顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２とから人の特徴を検出し、人の特徴の値を第１の機器１０の機器制御部５ａへ出力する。第１の機器１０の機器制御部５ａは、第１の機器１０の人特徴検出部４から入力された人の特徴と通信部６から入力される人の特徴に対する機器制御方法と第１の機器１０の機器制御部５ａの内部に蓄積した過去の制御履歴のいずれか１つないし複数に基づき、第１の機器１０の制御方法と他の機器の制御方法とを決定し、人の特徴と他の機器の制御方法を第１の機器１０の通信部６へ出力する。
【００９８】
第１の機器１０の通信部６は、第１の機器１０の機器制御部５ａから入力された人の特徴を、ネットワーク７を介してクラウド８へ送信し、クラウド８からクラウド８が算出した機器制御方法を受信し、機器制御方法を第１の機器１０の機器制御部５ａへ出力する。また、第１の機器１０の通信部６は、第１の機器１０の機器制御部５ａから入力された他の機器の制御方法のうち第２の機器１１の制御方法と第１の機器１０の機器制御部５ａから入力された人の特徴とを、ネットワーク７を介して第２の機器１１の通信部１３へ送信し、第２の機器１１の通信部１３から第２の機器１１が実際に行った機器制御方法を受信して、機器制御方法を第１の機器１０の機器制御部５ａへ出力する。
【００９９】
クラウド８は第１の機器１０の通信部６から受信した人の特徴に基づき、その特徴の値に最適な機器制御方法を算出し、ネットワーク７を介して最適な機器制御方法を第１の機器１０の通信部６へ送信する。第２の機器１１の通信部１３は、第１の機器１０の通信部６から受信した人の特徴と第２の機器１１の制御方法とを第２の機器１１の機器制御部１２へ出力し、第２の機器１１の機器制御部１２から第２の機器１１が実際に行った機器制御方法が入力され、第２の機器１１が実際に行った機器制御方法をネットワーク７を介して第１の機器１０の通信部６に送信する。第２の機器１１の機器制御部１２は、第２の機器１１の通信部１３から人の特徴と第２の機器１１の機器制御方法が入力され、第２の機器１１の機器制御方法を用いて、機器制御方法を決定し、実際に行った機器制御方法を第２の機器１１の通信部１３へ出力する。
【０１００】
《３−２》動作
次に、動作について説明する。本実施の形態における構成要素のうち、第１の機器１０の熱画像カメラ１と、第１の機器１０の可視光カメラ２と、第１の機器１０の人領域検出部３と、第１の機器１０の人特徴検出部４とは、実施の形態１における構成要素である熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４とそれぞれ同様の動作をするため、実施の形態３では説明を省略する。
【０１０１】
第１の機器１０の機器制御部５ａは、第１の機器１０の人特徴検出部４から入力された人の特徴に合わせた機器制御方法を決定する。その際、人の特徴（１つ、もしくは、複数の組合せ）に対する機器の最適とされる制御方法を計算する。例えば、基礎代謝量という特徴に対して、基礎代謝が所定の値以上の人は暑がりであるとし、基礎代謝が所定の値未満の人は寒がりであるとして、空調機器を暑がりの人には冷房時に冷風が直接あたるように風向を制御し、寒がりの人には暖房時に温風が直接あたるように風向を制御する。例えば、被撮影物である人が、１０歳未満の子供であるという特徴に対して、テレビの音量を所定値以下及び表示輝度を所定値に下げる。また、例えば、６０歳以上の男性という特徴に対して、テレビの音量を所定値以上にする。また、例えば、室内に乳幼児だけがいる場合、洗濯機の扉、ドア、及び窓をロックする。なお、計算する制御方法は特徴に関連する制御ができる機器に限定する。
【０１０２】
また、第１の機器１０の機器制御部５ａは、クラウド８で計算され、通信部６から入力された機器制御方法を採用してもよい。また、第１の機器１０の機器制御部５ａは、第１の機器１０の機器制御部５ａの内部（蓄積部）に蓄積した過去の制御履歴（人の特徴と機器制御方法の履歴）を参照し、人の特徴が同じである機器制御方法のうち最も頻度の高い機器制御方法を採用してもよい。
【０１０３】
また、第１の機器１０の機器制御部５ａが決定した機器制御方法は、第１の機器１０の制御方法に限らず、他の機器（例えば、第２の機器１１）の制御方法を決定してもよい。第１の機器１０の機器制御部５ａが他の機器、例えば第２の機器１１の制御方法も決定する場合は、第１の機器１０の通信部６から第２の機器１１の通信部１３にその制御方法ならびに制御方法の基準となった人の特徴を送信し、第２の機器１１の機器制御部１２は第２の機器１１の通信部１３から人の特徴と第２の機器１１の制御方法を受け取り、その制御方法で第２の機器１１の制御を行う。
【０１０４】
《３−３》効果
実施の形態３に係る機器制御装置３００によれば、実施の形態１に係る機器制御装置１００により得られる効果に加えて以下の効果が得られる。すなわち、人の特徴から機器制御方法を決定する処理を、機器内部で行わず、クラウド８で実行するため、最新の知見を用いた人の特徴に基づく機器制御方法を決定でき、より快適な機器制御が可能となる効果が得られる。
【０１０５】
実施の形態３に係る機器制御装置３００によれば、人の特徴から機器制御方法を決定する際に、過去の制御履歴を参照するため、より使用者の嗜好に合わせた機器制御が可能となる効果が得られる。
【０１０６】
実施の形態３に係る機器制御装置３００によれば、熱画像カメラと可視光カメラを備えない機器であっても、他の機器に備えられた熱画像カメラと可視光カメラから得られた人の特徴に基づいた機器制御方法を受信することで制御が可能となる効果が得られる。
【０１０７】
《４》変形例
図１１は、上記実施の形態１から３に係る機器制御装置の変形例の構成を示すハードウェア構成図である。図１に示される機器制御装置の人領域検出部３、人特徴検出部４、及び機器制御部５は、半導体集積回路によって構成することが可能であるが、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現してもよい。なお、図１に示される機器制御装置の人領域検出部３、人特徴検出部４、及び機器制御部５の一部を、図１１に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。
【０１０８】
また、上記実施の形態１から３においては、機器制御装置が熱画像カメラ１と可視光カメラ２とを含む場合を説明したが、既存の熱画像カメラと既存の可視光カメラとから熱画像データと可視光画像データとを取得可能な場合には、機器制御装置は、熱画像カメラ１と可視光カメラ２とを含まないことができる。既存の設備を利用する場合には、コスト削減が可能になる。
【０１０９】
また、上記実施の形態１から３においては、機器制御装置が１台の熱画像カメラと１台の可視光カメラ２とから熱画像データと可視光画像データとを取得する場合を説明したが、熱画像カメラの台数は２台以上であってもよく、また、可視光カメラ２の台数は２台以上であってもよい。複数台のカメラを使用することで、検知精度が向上する。
【符号の説明】
【０１１０】
１  熱画像カメラ、  ２  可視光カメラ、  ３  人領域検出部、  ４  人特徴検出部、  ５  機器制御部、  ５ａ  第１の機器の機器制御部、  ６  第１の機器の通信部、  ７  ネットワーク、  ８  クラウド、  １０  第１の機器、  １１  第２の機器、  １２  第２の機器の機器制御部、  １３  第２の機器の通信部、  ３１  体温領域検出部、  ３２  顔検出部、  ３３  顔座標変換部、  ３４  人領域抽出部、  ４１  姿勢推定部、  ４２  身長体重推定部、  ４３  性別年齢推定部、  ４４  基礎代謝算出部、  ４５  体脂肪率推定部、  ４６  着衣量推定部、  ４７  体温推定部、  ４８  人特徴管理部、  １００，２００，３００  機器制御装置。
【図１】
2017209089.tif 000003
【図２】
2017209089.tif 000004
【図３】
2017209089.tif 000005
【図４】
2017209089.tif 000006
【図５】
2017209089.tif 000007
【図６】
2017209089.tif 000008
【図７】
2017209089.tif 000009
【図８】
2017209089.tif 000010
【図９】
2017209089.tif 000011
【図１０】
2017209089.tif 000012
【図１１】
2017209089.tif 000013
【手続補正書】
【提出日】平成29年10月12日(2017.10.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域と、人の体における所定部位の領域の位置を示す所定部位座標とを検出する人領域検出部と、
前記人領域を占める人の姿勢を推定し、前記人領域を占める人の性別及び年齢を推定又は入力し、前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定し、前記性別及び年齢と前記身長及び体重とに基づき、前記人領域を占める人の基礎代謝を算出する人特徴検出部と、
前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、
を備える機器制御装置。
【請求項２】
前記所定部位は、顔又は頭部であること
を特徴とする請求項１に記載の機器制御装置。
【請求項３】
前記人特徴検出部は、
前記人領域及び前記所定部位座標から、前記人領域を占める人の着衣量を推定する着衣量推定部と、
前記身長及び体重から、前記人領域を占める人の体脂肪率を推定する体脂肪率推定部とを更に有すること
を特徴とする請求項１又は２に記載の機器制御装置。
【請求項４】
前記人特徴検出部は、
前記人領域及び前記所定部位座標から、前記人領域を占める人の体温を推定する体温推定部を更に有すること
を特徴とする請求項１から３のいずれか１項に記載の機器制御装置。
【請求項５】
前記被撮影物を撮影して、前記被撮影物に対応する前記熱画像を生成する熱画像カメラと、
前記被撮影物を撮影して、前記被撮影物に対応する可視光画像を生成する可視光カメラと、
をさらに備え、
前記人領域検出部は、前記可視光画像から検出された人の体における前記所定部位の領域と前記熱画像とに基づき前記人領域を検出する
ことを特徴とする請求項１から４のいずれか１項に記載の機器制御装置。
【請求項６】
前記人領域検出部は、
前記熱画像における温度分布から人の領域の候補である人候補領域と人の体における前記所定部位の領域の候補である所定部位候補領域とを検出する体温領域検出部と、
前記可視光画像における前記所定部位の領域の位置を示す座標を検出する所定部位検出部と、
前記座標を、前記熱画像における前記所定部位の領域の位置を示す所定部位座標に変換する所定部位座標変換部と、
前記人候補領域と前記所定部位候補領域と前記所定部位座標とに基づき、前記人領域を抽出する人領域抽出部と、
を有することを特徴とする請求項５に記載の機器制御装置。
【請求項７】
前記人特徴検出部は、
前記人領域におけるアスペクト比から前記姿勢を推定する姿勢推定部と、
前記可視光画像から、前記性別及び年齢を推定する性別年齢推定部と、
前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記身長及び体重を推定する身長体重推定部とを備えることを
を特徴とする請求項６に記載の機器制御装置。
【請求項８】
前記第１の機器制御部は、過去に行った制御及び制御時の人の特徴を制御履歴として蓄積して記録する蓄積部を更に備え、
前記第１の機器制御部は、機器の制御方法を決定する際に前記制御履歴を用いること
を特徴とする請求項１から７のいずれか１項に記載の機器制御装置。
【請求項９】
前記人の特徴を、ネットワークを介してクラウドサーバに送信し、前記クラウドサーバが算出した機器制御方法を受信し、受信した前記機器制御方法を前記第１の機器制御部に出力する第１の通信部を更に備え、
前記第１の機器制御部は、前記第１の通信部から入力された前記機器制御方法に従って機器を制御すること
を特徴とする請求項１から８のいずれか１項に記載の機器制御装置。
【請求項１０】
前記第１の通信部は、前記ネットワークを介して、前記ネットワークに接続された他の機器の第２の通信部に、前記第１の機器制御部が算出した前記機器制御方法を送信し、
前記他の機器の第２の機器制御部は、前記第２の通信部が受信した前記機器制御方法に基づき、機器を制御すること
を特徴とする請求項９に記載の機器制御装置。
【請求項１１】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、
前記人の体における所定部位の領域の位置を示す所定部位座標を検出する所定部位座標ステップと、
前記人領域を占める人の姿勢を推定する姿勢推定ステップと、
前記人領域を占める人の性別及び年齢を推定する性別年齢推定ステップと、
前記人領域と、前記所定部位座標と、前記姿勢推定ステップで推定した前記姿勢と、前記性別年齢推定ステップで入力された前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定する身長体重推定ステップと、
前記性別年齢推定ステップで推定した前記性別及び年齢と、前記身長体重推定ステップで推定した前記身長及び体重とに基づき、前記人領域を占める前記人の基礎代謝を算出する基礎代謝算出ステップと、
前記基礎代謝算出ステップにより算出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと
を備えた機器制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る機器制御装置は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域と、人の体における所定部位の領域の位置を示す所定部位座標とを検出する人領域検出部と、前記人領域を占める人の姿勢を推定し、前記人領域を占める人の性別及び年齢を推定又は入力し、前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定し、前記性別及び年齢と前記身長及び体重とに基づき、前記人領域を占める人の基礎代謝を算出する人特徴検出部と、前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明に係る機器制御方法は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、前記人の体における所定部位の領域の位置を示す所定部位座標を検出する所定部位座標ステップと、前記人領域を占める人の姿勢を推定する姿勢推定ステップと、前記人領域を占める人の性別及び年齢を推定する性別年齢推定ステップと、前記人領域と、前記所定部位座標と、前記姿勢推定ステップで推定した前記姿勢と、前記性別年齢推定ステップで入力された前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定する身長体重推定ステップと、前記性別年齢推定ステップで推定した前記性別及び年齢と、前記身長体重推定ステップで推定した前記身長及び体重とに基づき、前記人領域を占める前記人の基礎代謝を算出する基礎代謝算出ステップと、前記基礎代謝算出ステップにより算出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップとを備える。
【手続補正書】
【提出日】平成30年1月26日(2018.1.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域と、人の体における所定部位の領域の位置を示す所定部位座標とを検出する人領域検出部と、
前記人領域を占める人の姿勢を推定し、前記人領域を占める人の性別及び年齢を、外部装置、又は予め記憶している前記性別及び年齢を示す情報から取得し、前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定し、前記性別及び年齢と前記身長及び体重とに基づき、前記人領域を占める人の基礎代謝を算出する人特徴検出部と、
前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、
を備える機器制御装置。
【請求項２】
前記被撮影物を撮影して、前記被撮影物に対応する前記熱画像を生成する熱画像カメラと、
前記被撮影物を撮影して、前記被撮影物に対応する可視光画像を生成する可視光カメラと、
をさらに備え、
前記人領域検出部は、前記可視光画像から検出された人の体における前記所定部位の領域と前記熱画像とに基づき前記人領域を検出する
ことを特徴とする請求項１に記載の機器制御装置。
【請求項３】
被撮影物を撮影して、前記被撮影物に対応する可視光画像を生成する可視光カメラと、
前記被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域と、人の体における所定部位の領域の位置を示す所定部位座標とを検出する人領域検出部と、
前記人領域を占める人の姿勢を推定し、前記可視光画像に基づき、前記人領域を占める人の性別及び年齢を推定し、前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定し、前記性別及び年齢と前記身長及び体重とに基づき、前記人領域を占める人の基礎代謝を算出する人特徴検出部と、
前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、
を備える機器制御装置。
【請求項４】
前記被撮影物を撮影して、前記被撮影物に対応する前記熱画像を生成する熱画像カメラ
をさらに備え、
前記人領域検出部は、前記可視光画像から検出された人の体における前記所定部位の領域と前記熱画像とに基づき前記人領域を検出する
ことを特徴とする請求項３に記載の機器制御装置。
【請求項５】
前記人領域検出部は、
前記熱画像における温度分布に基づき人の領域の候補である人候補領域と人の体における前記所定部位の領域の候補である所定部位候補領域とを検出する体温領域検出部と、
前記可視光画像における前記所定部位の領域の位置を示す座標を検出する所定部位検出部と、
前記座標を、前記熱画像における前記所定部位の領域の位置を示す前記所定部位座標に変換する所定部位座標変換部と、
前記人候補領域と前記所定部位候補領域と前記所定部位座標とに基づき、前記人領域を抽出する人領域抽出部と、
を有することを特徴とする請求項２又は請求項４に記載の機器制御装置。
【請求項６】
前記人特徴検出部は、
前記人領域におけるアスペクト比に基づき前記姿勢を推定する姿勢推定部と、
前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記身長及び体重を推定する身長体重推定部とを備えることを
を特徴とする請求項５に記載の機器制御装置。
【請求項７】
前記所定部位は、顔又は頭部であること
を特徴とする請求項１から６のいずれか１項に記載の機器制御装置。
【請求項８】
前記人特徴検出部は、
前記人領域及び前記所定部位座標に基づき、前記人領域を占める人の着衣量を推定する着衣量推定部と、
前記身長及び体重に基づき、前記人領域を占める人の体脂肪率を推定する体脂肪率推定部とを更に有すること
を特徴とする請求項１から７のいずれか１項に記載の機器制御装置。
【請求項９】
前記人特徴検出部は、
前記人領域及び前記所定部位座標に基づき、前記人領域を占める人の体温を推定する体温推定部を更に有すること
を特徴とする請求項１から８のいずれか１項に記載の機器制御装置。
【請求項１０】
前記第１の機器制御部は、過去に行った制御及び制御時の人の特徴を制御履歴として蓄積して記録する蓄積部を更に備え、
前記第１の機器制御部は、機器の制御方法を決定する際に前記制御履歴を用いること
を特徴とする請求項１から９のいずれか１項に記載の機器制御装置。
【請求項１１】
前記人の特徴を、ネットワークを介してクラウドサーバに送信し、前記クラウドサーバが算出した機器制御方法を受信し、受信した前記機器制御方法を前記第１の機器制御部に出力する第１の通信部を更に備え、
前記第１の機器制御部は、前記第１の通信部から入力された前記機器制御方法に従って機器を制御すること
を特徴とする請求項１から１０のいずれか１項に記載の機器制御装置。
【請求項１２】
前記第１の通信部は、前記ネットワークを介して、前記ネットワークに接続された他の機器の第２の通信部に、前記第１の機器制御部が算出した前記機器制御方法を送信し、
前記他の機器の第２の機器制御部は、前記第２の通信部が受信した前記機器制御方法に基づき、機器を制御すること
を特徴とする請求項１１に記載の機器制御装置。
【請求項１３】
被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、
前記人の体における所定部位の領域の位置を示す所定部位座標を検出する所定部位座標ステップと、
前記人領域を占める人の姿勢を推定する姿勢推定ステップと、
前記人領域を占める人の性別及び年齢を、外部装置、又は予め記憶している前記性別及び年齢を示す情報から取得する性別年齢取得ステップと、
前記人領域と、前記所定部位座標と、前記姿勢推定ステップで推定した前記姿勢と、前記性別年齢取得ステップで取得した前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定する身長体重推定ステップと、
前記性別年齢取得ステップで取得した前記性別及び年齢と、前記身長体重推定ステップで推定した前記身長及び体重とに基づき、前記人領域を占める前記人の基礎代謝を算出する基礎代謝算出ステップと、
前記基礎代謝算出ステップにより算出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと
を備えた機器制御方法。
【請求項１４】
被撮影物に対応する熱画像及び可視光画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、
前記人の体における所定部位の領域の位置を示す所定部位座標を検出する所定部位座標ステップと、
前記人領域を占める人の姿勢を推定する姿勢推定ステップと、
前記可視光画像に基づき前記人領域を占める人の性別及び年齢を推定する性別年齢推定ステップと、
前記人領域と、前記所定部位座標と、前記姿勢推定ステップで推定した前記姿勢と、前記性別年齢推定ステップで入力された前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定する身長体重推定ステップと、
前記性別年齢推定ステップで推定した前記性別及び年齢と、前記身長体重推定ステップで推定した前記身長及び体重とに基づき、前記人領域を占める前記人の基礎代謝を算出する基礎代謝算出ステップと、
前記基礎代謝算出ステップにより算出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと
を備えた機器制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る機器制御装置は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域と、人の体における所定部位の領域の位置を示す所定部位座標とを検出する人領域検出部と、前記人領域を占める人の姿勢を推定し、前記人領域を占める人の性別及び年齢を、外部装置、又は予め記憶している前記性別及び年齢を示す情報から取得し、前記人領域と、前記所定部位座標と、前記姿勢と、前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定し、前記性別及び年齢と前記身長及び体重とに基づき、前記人領域を占める人の基礎代謝を算出する人特徴検出部と、前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明に係る機器制御方法は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、前記人の体における所定部位の領域の位置を示す所定部位座標を検出する所定部位座標ステップと、前記人領域を占める人の姿勢を推定する姿勢推定ステップと、前記人領域を占める人の性別及び年齢を、外部装置、又は予め記憶している前記性別及び年齢を示す情報から取得する性別年齢取得ステップと、前記人領域と、前記所定部位座標と、前記姿勢推定ステップで推定した前記姿勢と、前記性別年齢取得ステップで取得した前記性別及び年齢とに基づき、前記人領域を占める人の身長及び体重を推定する身長体重推定ステップと、前記性別年齢取得ステップで取得した前記性別及び年齢と、前記身長体重推定ステップで推定した前記身長及び体重とに基づき、前記人領域を占める前記人の基礎代謝を算出する基礎代謝算出ステップと、前記基礎代謝算出ステップにより算出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップとを備える。
【国際調査報告】
2017209089.tif 000014
2017209089.tif 000015
2017209089.tif 000016
2017209089.tif 000017