(57)【要約】【課題】本発明の目的は、人の体感温度や感情を精度よく推定することができる人の状態推定システムを提供することにある。【解決手段】上記課題を解決するために、本発明のある態様の状態推定システムは、人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、人の画像を取得し、当該取得した画像から当該人の体の動きを抽出して当該人の行動を認識する行動認識部と、当該認識された行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、を備える。【選択図】図１
2019125061.tif 000002
【特許請求の範囲】
【請求項１】
人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、
人の画像を取得し、当該取得した画像から当該人の体の動きを抽出して当該人の行動を認識する行動認識部と、
当該認識された行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、
を備える人の状態推定システム。
【請求項２】
人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、
人の画像を取得し、当該取得した画像から当該人の体の動き、体型、移動速度、および服装の少なくとも一つ以上を抽出して当該人の行動を認識する行動認識部と、
当該認識された行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、
を備える人の状態推定システム。
【請求項３】
一群の人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、
一群の人の画像を取得し、当該取得した画像から当該一群の人の動きを抽出して当該一群の人の行動を認識する行動認識部と、
当該認識された行動に基づき当該一群の人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、
を備える人の状態推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の状態推定システムに関する。
【背景技術】
【０００２】
人の状態に応じて空調設備の動作を制御する空調装置が知られている。例えば、特許文献１には、乗員の顔面温度に応じて車両用空調装置の動作を制御する車両用空調装置が記載されている。また、特許文献２には、外出先の環境に応じてファッションコーディネートをする技術が記載されている。また、特許文献３には、画像解析装置で人員密度と照度とを測定し、温度センサにてレタン温度を検出してその検出結果に基づいて動作を調整する室内環境制御装置が記載されている。また、特許文献４には、広告に関しユーザの顔画像から得られた感情応答データを分析する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１３７３６４号公報
【特許文献２】特開２０１４−０１３５６０号公報
【特許文献３】特開平０８−１９３７２７号公報
【特許文献４】特公表２０１７−５０７４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
快適な空調環境を提供するためには、空調装置の温度、風速、風向などを人の体感温度およびその感じ方に応じて調整することが望ましい。特許文献１に記載の空調装置は、ＩＲカメラで撮像した熱画像のデータから乗員の顔面温度に応じて送風風量を増減するように構成されている。しかしながら、顔面温度だけからでは人の体感温度およびその感じ方を精度よく推定することは難しく、快適な空調環境を提供できないという問題があった。
【０００５】
本発明は、こうした課題に鑑みてなされたものであり、その目的は、人の体感温度や感情を精度よく推定することができる人の状態推定システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の人の状態推定システムは、人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、人の画像を取得し、当該取得した画像から当該人の体の動きを抽出して当該人の行動を認識する行動認識部と、当該認識された行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、を備える。
【０００７】
この態様によると、体の動きに応じて認識した人の行動に基づき当該人の体感温度と感情の少なくとも一方を推定することができる。これらの推定結果に基づいて対象機器を制御することによりその機器を適切な設定に制御することができる。この推定結果は、空調機器の設定や様々な種類の機器やシステムの制御基準として利用することができる。
【０００８】
本発明の別の態様もまた、人の状態推定システムである。この状態推定システムは、人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、人の画像を取得し、当該取得した画像から当該人の体の動き、体型、移動速度、および服装の少なくとも一つ以上を抽出して当該人の行動を認識する行動認識部と、当該認識された行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、を備える。
【０００９】
この態様によると、人の体の動きに加えて、当該人の体型、移動速度、および服装の少なくとも一つ以上の抽出情報に応じて認識した人の行動に基づき当該人の体感温度と感情の少なくとも一方の状態を推定するので、より精度よく人の体感温度と感情の少なくとも一方の状態を推定することができる。
【００１０】
本発明のさらに別の態様もまた、人の状態推定システムである。この状態推定システムは、一群の人の体感温度と感情の少なくとも一方の状態を推定するシステムであって、一群の人の画像を取得し、当該取得した画像から当該一群の人の動きを抽出して当該一群の人の行動を認識する行動認識部と、当該認識された行動に基づき当該一群の人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、を備える。
【００１１】
この態様によると、一群の人の行動に基づいて当該一群の人の体感温度と感情の少なくとも一方を推定することができる。例えば、建物全体に収容される一群の人の体感温度と感情の少なくとも一方を推定し、その推定結果に応じて空調機器を適切な設定に制御することができる。
【００１２】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、人の体感温度を精度よく推定することができる状態推定システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る体感温度推定システムの一例を示すブロック図である。
【図２】第２実施形態に係る体感温度推定システムの一例を示すブロック図である。
【図３】応用例に係る消費電力予測システムの一例を示すブロック図である。
【図４】図３の消費電力予測システムを建物に応用した例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態および変形例では、同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１６】
［第１実施形態］
本発明の第１実施形態は人の体感温度を推定するシステムである。図１は、第１実施形態に係る体感温度推定システム１００の一例を示すブロック図である。第１実施形態では、人の状態推定システムとして、体感温度推定システム１００を例示している。この例では、体感温度推定システム１００は、体感温度の推定結果を、空調機器の設定を制御する基準として利用することができる。体感温度推定システム１００の推定結果（以下、単に「推定結果」という）は、空調機器だけでなく、様々な機器の制御に利用することができる。また、体感温度推定システム１００によれば、人の体感温度の変化に基づきその人の緊張感、穏やかな感じなどの感情も推定することができる。また、人の体の動きに応じて認識した人の行動に基づき人の感情を直接推定することもできる。この体感温度の変化に基づいて推定した感情および人の行動に基づいて直接推定した感情（以下、「推定感情」という）は、各種の機器の制御に利用することができる。
【００１７】
例えば、推定感情をプロジェクションマッピング装置の制御に利用することにより、そのプロジェクションマッピング装置は、それを視ている人に色彩による穏やかな感じを付与する映像を提供することができる。また、例えば、推定感情をＢＧＭ装置の制御に利用することにより、そのＢＧＭ装置は、聴いている人にとって心地よいと感じる音楽を提供することができる。また、例えば、推定感情を香り発生装置の制御に利用することにより、その香り発生装置は、その香りに触れている人にとって心地よいと感じる香りを提供することができる。また、例えば、推定感情を振動発生装置の制御に利用することにより、その振動発生装置は、その振動を受けている人にとって心地よいと感じる振動を提供することができる。振動発生装置の制御は、振動の１／ｆゆらぎを制御するものであってもよい。
【００１８】
つまり、本発明によれば、人に各種の作用を及ぼすための機器の制御に推定感情を利用することにより、その機器はその作用を受けている人にとって快適であると感じる作用を出力することができる。この思想は、推定感情を機器の動作にフィードバックして、機器の出力作用をより快適なものにする制御を含んでいる。
【００１９】
体感温度推定システム１００は、外観・行動認識部１０と、体感温度推定部１２と、推定結果出力部１４と、行動ＤＢ１６と、画像センサ２０と、を主に含む。なお、本明細書では、「ＤＢ」は「データベース」の意味で用いられている。体感温度推定システム１００は、推定の対象である人（以下、「対象者」という）の体の動きに応じて対象機器３０を制御する。画像センサ２０は、対象者の外観や行動を検知し、その検知結果を外観・行動認識部１０に出力する。この例では、画像センサ２０は、ズーム機構（不図示）を備えており、必要に応じて対象者の様子を詳細に検知することができる。ズーム機構は、外観・行動認識部１０によって制御されてもよい。
【００２０】
（外観・行動認識部）
外観・行動認識部１０について説明する。この例では、行動認識部として外観・行動認識部１０を例示している。外観・行動認識部１０は、画像センサ２０で取得した画像から対象者の外観および行動（以下、「認識行動」という）を認識する。認識行動は、対象者の画像に基づき、対象者の動きを抽出してその対象者の外観および行動を認識可能な人工知能により認識することができる。対象者が複数人いる場合は、それぞれの人の動きを抽出し、認識行動を認識するようにしてもよい。
【００２１】
（体感温度推定部）
体感温度推定部１２について説明する。この例では、状態推定部として体感温度推定部１２を例示している。体感温度推定部１２は、外観・行動認識部１０で認識された認識行動に基づき、行動ＤＢ１６に記憶された行動パターン情報を基準に対象者の体感温度を推定する。
【００２２】
（行動ＤＢ）
行動ＤＢ１６は、多数のサンプルについて、人が気温に不快と感じたときに行う行動の画像・動画データと、体感温度との相関関係を行動パターン情報として蓄積している。人が気温に不快と感じたときの行動には、うちわを仰ぐ、コートを脱ぐ、飲み物を飲む、アイスを食べる、帽子をかぶる、手に息を吹きかける、猫背になる、ポケットに手を入れるなどの行動が含まれる。行動パターン情報は、多数のサンプルについて、人の行動と体感温度との間の相関関係を収集して分析することによって構築することができる。行動ＤＢ１６は、このように構築された行動パターン情報を複数層のニューラルネットワークとして備えている。
【００２３】
推定結果出力部１４は、体感温度推定部１２で推定された推定結果を出力する。対象機器３０は、推定結果出力部１４からの推定結果に基づき設定が変更される。対象機器３０は、前述したように、温度調整された温風や冷風を出力する空調機器、色彩による穏やかな感じを演出するプロジェクションマッピング装置、香り発生装置、１／ｆゆらぎモードを備え、心地よい振動を発生する振動発生装置などであってもよい。対象機器３０は、対象者のイライラした感情を推定したときなどに、楽しい絵など心地よい映像を出力する装置、色を見て心が落ち着くカラーセラピー装置、アロマの香り発生装置、ＢＧＭ装置、ＶＲ（仮想現実）によりミストが当たる装置などであってもよい。対象機器３０は、推定結果に基づいて制御されることにより、対象者に快適な感覚を付与することができる。
【００２４】
このように構成された第１実施形態の体感温度推定システム１００によれば、人の行動に基づいて、人の体感温度を推定することにより、空調機器を適切な設定に制御することができる。行動ＤＢ１６は、人が不快に感じたときに行う行動を蓄積してもよい。人が不快に感じたときに行う行動は、いらいらしているときに行う行動などを含んでもよい。
【００２５】
［第２実施形態］
次に、図２を参照して本発明に係る第２実施形態に係る体感温度推定システムを説明する。図２は、第２実施形態に係る体感温度推定システム２００の構成の一例を示すブロック図である。第２実施形態では、人の状態推定システムとして、体感温度推定システム２００を例示している。体感温度推定システム２００は、外観・行動認識部１０と、体感温度推定部１２と、推定結果出力部１４と、行動ＤＢ１６と、服装・所持品ＤＢ１８と、画像センサ２０と、を主に含む。体感温度推定システム２００は、対象者の体の動き、体型、移動速度、服装に応じて対象機器３０を制御する。ここでは、重複する説明を省き、第１実施形態と相違する点について重点的に説明する。
【００２６】
（服装・所持品ＤＢ）
服装・所持品ＤＢ１８について説明する。服装・所持品ＤＢ１８は、多数のサンプルについて、人が気温に不快と感じたときの服装や所持品の画像・動画データと、体感温度との相関関係を服装情報として蓄積している。特に、服装・所持品ＤＢ１８は行動と服装とセットで蓄積しており、薄着でも寒く感じない人も認識可能にしている。特に、服装・所持品ＤＢ１８は、季節、気温、湿度、天候、体型に応じて利用される可能性のある服装と所持品の画像を蓄積している。服装・所持品ＤＢ１８は、メーカ、ファッション雑誌、ＥＣサイトの情報からデータをインターネットなどの通信回線を利用して自動的にアップデートされるように構成されてもよい。服装情報は、多数のサンプルについての相関関係を収集して分析することによって構築することができる。服装・所持品ＤＢ１８は、このように構築された服装情報を複数層のニューラルネットワークとして備えている。
【００２７】
外観・行動認識部１０は、第１実施形態の抽出対象に加えて、対象者の体型、移動速度、服装、所持品などを抽出して、これらを人工知能を利用して認識する。
【００２８】
体感温度推定部１２は、第１実施形態の動作に加えて、外観・行動認識部１０で認識された対象者の体の動き、体型、服装、所持品などをもとに当該対象者の体感温度を推定する。
【００２９】
推定結果出力部１４は、第１実施形態の動作に加えて、外部に推定結果を提示してもよい。一例として、推定結果出力部１４は、推定結果を特定地域の外出時参考情報として、インターネットを介しその特定地域に提示してもよい。この外出時参考情報は、服装のレコメンド情報を含んでもよい。
【００３０】
［第３実施形態］
次に、本発明に係る第３実施形態に係る体感温度推定システムを説明する。第１、第２実施形態では、一人、または複数の人それぞれを対象にその行動等を識別し、それらの体感温度を推定する例について説明したが、本発明はこれに限定されるものではない。第３実施形態の人の状態推定システムは、一群の人の体感温度と感情の少なくとも一方の状態を推定するシステムである。このシステムは、一群の人の画像を取得し、当該取得した画像から当該一群の人の動きを抽出して当該一群の人の行動を認識する行動認識部と、当該認識された行動に基づき当該一群の人の体感温度と感情の少なくとも一方の状態を推定する状態推定部と、を備える。第３実施形態によれば、例えば、建物全体に収容される一群の人の体感温度と感情の少なくとも一方を推定し、その推定結果に応じて空調機器を適切な設定に制御することができる。
【００３１】
第３実施形態において、一群の人は、例えば建物に収容されている群衆であってもよい。群衆の行動に基づいて建物全体の空調状態を推定することにより、空調機器を適切な設定に制御することができる。一群の人の行動としては、クーラーの効いた店舗の前に人が集まっているなどの行動があげられる。一群の人が買い物せずに店舗の前に集まっている場合は、その一群の人は涼しいと感じており、建物全体の空調が適切であると推定できる。また、日陰に一群の人が集まっている場合も、その一群の人の体感温度は高く、涼を求める感情状態にあると推定できる。逆に、日向に一群の人が集まっている場合は、その一群の人の体感温度は低く、温もりを求める感情状態にあると推定できる。
【００３２】
（変形例１）
状態推定部は、行動認識部によって認識された人の表情や行動に基づいて当該人の理解度・好感度を推定するようにしてもよい。この場合、人の表情や行動に基づいて広告等の理解度・好感度を推定し、その推定結果をフィードバックすることにより、広告等を適切に変更することができる。
【００３３】
（変形例２）
状態推定部は、行動認識部によって認識された人の行動に基づいて迷っている人を抽出または推定するようにしてもよい。このような行動としては同じ場所を行ったり来たりしている行動や、スマートホンを見ながらうろうろしている行動があげられる。この場合、当該人に必要な情報を提示することにより、当該人を目的地に導くための情報を提示できる。足音でもその人特有の歩き方があるから、どこにきているかがわかる。
【００３４】
（第１応用例）
図３、図４を参照して第１応用例について説明する。図３は、第１応用例に係る消費電力予測システム３００の一例を示すブロック図である。図４は、消費電力予測システム３００を建物に応用した例を示すブロック図である。消費電力予測システム３００は、照度センサ６２と、推定部５２と、データベース５４と、を主に含み、例えば建物７０の消費電力を電力計を用いずに、一定の精度をもって推定するシステムである。第１応用例は、電力計を使用できない状況において消費電力を予測できる利点がある。
【００３５】
照度センサ６２は、例えば、建物７０の各開口に設けられた自動ドア６０に設置されてもよい。この例では、照度センサ６２は、自動ドア６０の無目の室内側と室外側とにそれぞれ設置されている。照度センサ６２は、自動ドアセンサの近傍または自動ドアセンサと一体に設けられてもよい。照度センサ６２は、建物７０の屋内外の夜間の照度を取得し、推定部５２に送信する。図４に示すように、照度センサ６２は、建物の各出入口に設けられた自動ドア６０それぞれに設けられており、建物７０全体の室外、室内の照度を検知することができる。
【００３６】
データベース５４は、建物の属性、屋内外の温湿度および夜間の照度を含む情報（以下、「建物の属性等」という）と、建物全体の消費電力との間の相関関係の情報（以下、「建物パターン情報」という）を蓄積（記憶）している。建物パターン情報は、多数のサンプルについて、建物の属性等と建物全体の消費電力との間の相関関係を収集して分析することによって構築することができる。データベース５４は、このように構築された建物パターン情報を複数層のニューラルネットワークとして備えている。建物全体の消費電力は、電力計によって計測した実データであってもよいし、計算によって求められたものであってもよい。建物の属性には、戸建、マンション、コンビニなどの小規模商店、大規模商業施設、工場、オフィスビルなどの建物種別、床面積、地域、高度、建物の密集度などが含まれる。
【００３７】
推定部５２は、建物の属性等と、照度センサ６２から取得した情報とに基づいて、データベース５４の建物パターン情報を基準に、人工知能により建物の消費電力を推定する。
【００３８】
このように構成された消費電力予測システム３００は、データベース５４から、対象の建物７０の属性、屋内外の温湿度および夜間の照度に類似するデータと関連する消費電力を抽出することによって、建物７０の消費電力を電力計を用いずに、一定の精度をもって推定することができる。
【００３９】
消費電力予測システム３００は、一棟の建物だけでなく複数の建物についても一定の精度をもって消費電力を推定することができる。また、このシステムは一定の地域に含まれる一群の建物についても一定の精度をもって消費電力を推定することができる。さらに、複数の消費電力予測システム３００を、ネットワークを介してサーバと接続し、広域全体の建物についても一定の精度をもって消費電力を推定することができる。
【００４０】
（第２応用例）
次に、第２応用例について説明する。第２応用例は、建物の通信速度予測システムである。この通信速度予測システムは、建物の通信速度を通信トラフィック計を用いずに、一定の精度をもって実際の通信速度を推定することができる。第２応用例は、通信トラフィック計を使用できない状況において通信速度を予測できる利点がある。第２応用例は、通信速度推定部と、通信速度データベースと、を主に含む。
【００４１】
通信速度データベースは、建物の属性、通信方式、天候、曜日・休日、時刻に関する情報（以下、「建物特性情報」という）と、通信速度との間の相関関係の情報（以下、「建物通信速度情報」という）を蓄積（記憶）している。建物通信速度情報は、多数のサンプルについて、建物特性情報と建物全体の通信速度との間の相関関係を収集して分析することによって構築することができる。通信速度データベースは、このように構築された建物通信速度情報を複数層のニューラルネットワークとして備えている。建物全体の通信速度は、通信トラフィック計によって計測した実データであってもよいし、計算によって求められたものであってもよい。建物の属性には、戸建、マンション、コンビニなどの小規模商店、大規模商業施設、工場、オフィスビルなどの建物種別、床面積、地域、高度、建物の密集度などが含まれる。通信方式には、有線、無線、公衆回線その他の方式が含まれる。
【００４２】
通信速度推定部は、対象の建物の属性、天候、曜日・休日、時刻に類似するデータに基づいて、通信速度データベースの建物通信速度情報を基準に、人工知能により建物の通信速度を推定する。
【００４３】
このように構成された通信速度予測システムは、通信速度データベースから、対象の建物の属性、天候、曜日・休日、時刻に類似するデータと関連する通信速度を抽出することによって、建物の通信速度を通信トラフィック計を用いずに、一定の精度をもって推定することができる。
【００４４】
この通信速度予測システムは、一棟の建物だけでなく複数の建物についても一定の精度をもって通信速度を推定することができる。また、このシステムは一定の地域に含まれる一群の建物についても一定の精度をもって通信速度を推定することができる。さらに、複数の通信速度予測システムを、ネットワークを介してサーバと接続し、広域全体の建物についても一定の精度をもって通信速度を推定することができる。
【００４５】
このシステムは、今から住もうとする建物の通信速度を推定することができるので、建物を探す人や不動産業者などが好適に利用できる。ネットワークにトラフィックが集中していてつながらないなどの情報を新しく家に住む人などに提供することができる。建物の属性を認識するために、機械学習やディープラーニングなどの人工知能技術を利用することができる。
【００４６】
以上、本発明について、各実施形態をもとに説明した。各実施形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。各実施形態の内容は、本発明の技術的範囲を限定するものではなく、請求の範囲に規定された発明の思想を逸脱しない範囲において、構成要素の変更、追加、削除等の多くの設計変更が可能である。
【符号の説明】
【００４７】
１０・・外観・行動認識部、  １２・・体感温度推定部、  １４・・推定結果出力部、  １６・・行動ＤＢ、  １８・・服装・所持品ＤＢ、  ２０・・画像センサ、  ３０・・対象機器、  ５２・・推定部、  ５４・・データベース、  ６０・・自動ドア、  ６２・・照度センサ、  ７０・・建物、  １００・・体感温度推定システム、  ２００・・体感温度推定システム、  ３００・・消費電力予測システム。
【図１】
2019125061.tif 000003
【図２】
2019125061.tif 000004
【図３】
2019125061.tif 000005
【図４】
2019125061.tif 000006