(57)【要約】【課題】ユーザの眠気状態を精度良く把握する。【解決手段】カメラ（26）は、ユーザ（U1,U2,U3）を撮像する。室内環境情報センサ（13）は、ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する。推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）が検知した室内環境情報とに基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。【選択図】図４
2019082282.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ（U1,U2,U3）を撮像する撮像部（26）と、
上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、
上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、
を備えることを特徴とする眠気推定装置。
【請求項２】
請求項１において、
上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、
上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項３】
請求項１または請求項２において、
上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項４】
請求項１から請求項３のいずれか１項において、
上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、
を更に備え、
上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項５】
請求項１から請求項４のいずれか１項において、
空気調和装置（10）が、上記室内（r1）の天井に設置されており、
上記撮像部（26）は、上記空気調和装置（10）に設けられている
ことを特徴とする眠気推定装置。
【請求項６】
請求項１から請求項５のいずれか１項において、
上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項７】
請求項６において、
複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、
を更に備え、
上記推定部（66）は、
各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、
抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項８】
請求項１から請求項７のいずれか１項において、
上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）、
を更に備える
ことを特徴とする眠気推定装置。
【請求項９】
請求項８において、
上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、
上記撮像部（26）が撮像した上記画像及び／または上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、
を更に備える
ことを特徴とする眠気推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眠気推定装置に関するものである。
【背景技術】
【０００２】
特許文献１に示すように、運転者の疲れ状態をカメラ及びハンドルの動きから検出する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０４２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者等のユーザの眠気の要因には、ユーザの疲れのみならず他の要因も作用することがある。特許文献１の技術では、ユーザがどの程度の眠気を感じているかを把握することは困難である。
【０００５】
本発明の目的は、ユーザの眠気状態を精度良く把握することである。
【課題を解決するための手段】
【０００６】
本開示の第１の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、を備えることを特徴とする眠気推定装置である。
【０００７】
室内環境情報としては、室内のCO2濃度、温度等が挙げられる。このような室内環境情報は、ユーザの眠気状態に影響を及ぼす要因となり得る。ここでは、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。
【０００８】
第２の態様は、第１の態様において、上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定することを特徴とする眠気推定装置である。
【０００９】
これにより、ユーザがどの程度眠いのかの眠気状態が、より精度良く推定される。
【００１０】
第３の態様は、第１の態様または第２の態様において、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１１】
これにより、ユーザの眠気状態の推定精度はより向上する。
【００１２】
第４の態様は、第１の態様から第３の態様のいずれか１つにおいて、上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、を更に備え、上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１３】
これにより、ユーザの眠気状態の推定精度はより向上する。
【００１４】
第５の態様は、第１の態様から第４の態様のいずれか１つにおいて、空気調和装置（10）が、上記室内（r1）の天井に設置されており、上記撮像部（26）は、上記空気調和装置（10）に設けられていることを特徴とする眠気推定装置である。
【００１５】
これにより、撮像部（26）は、障害物により遮られる可能性が低い状態で、室内に居るユーザを撮像することができる。
【００１６】
第６の態様は、第１の態様から第５の態様のいずれか１つにおいて、上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１７】
第７の態様は、第６の態様において、複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、を更に備え、上記推定部（66）は、各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１８】
これにより、個々のユーザの眠気状態の推定精度はより向上する。
【００１９】
第８の態様は、第１の態様から第７の態様のいずれか１つにおいて、上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）、を更に備えることを特徴とする眠気推定装置である。
【００２０】
これにより、室内に居るユーザの眠気状態は改善されるため、ユーザは覚醒し易くなる。
【００２１】
第９の態様は、第８の態様において、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、上記撮像部（26）が撮像した上記画像及び／または上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を更に備えることを特徴とする眠気推定装置である。
【００２２】
これにより、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
【発明の効果】
【００２３】
本発明によれば、ユーザの眠気を、精度良く把握することができる。
【図面の簡単な説明】
【００２４】
【図１】図１は、眠気推定装置を備えた空調システムの外観図である。
【図２】図２は、眠気推定装置を備えた空調システムの構成を模式的に示すブロック図である。
【図３】図３は、ユーザ情報の概念図である。
【図４】図４は、第１実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
【図５】図５は、年齢と眠気との関係、性別と眠気との関係の一例を示す図である。
【図６】図６は、第１実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
【図７】図７は、ユーザの眠気状態の推定動作及び推定したユーザの眠気状態に伴う空調動作の流れを示す図である。
【図８】図８は、第２実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
【図９】図９は、第２実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【００２６】
≪第１実施形態≫
＜概要＞
図１は、本実施形態に係る空調制御装置（50）（眠気推定装置に相当）を備えた空調システム（100）の外観図である。図１及び図２に示すように、空調制御装置（50）は、空気調和装置（10）の構成要素の一部と、リモートコントローラ（30）（受け付け部に相当）と、演算装置（60）とを有する。
【００２７】
図１に示すように、空気調和装置（10）は、空調対象である室内（r1）に設けられ、室内（r1）に対し空調を行う。リモートコントローラ（30）は、空気調和装置（10）の目標温度及び目標湿度の設定の他、空気調和装置（10）の運転モード、運転のオン及びオフを、ユーザ（U1,U2,U3）がリモートコントローラ（30）を操作して直接的に空気調和装置（10）に指示を与える際に、用いられる。
【００２８】
空調制御装置（50）は、空気調和装置（10）の空調動作を制御する。特に、本実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザ（U1,U2,U3）が写し出された画像を用いて、当該ユーザ（U1,U2,U3）の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置（10）の空調動作を制御することにより、ユーザ（U1,U2,U3）の眠気状態が改善するような環境を提供する。
【００２９】
＜空気調和装置の構成＞
空気調和装置（10）は、天井設置タイプの空調機であって、本体部（11）が室内（r1）の天井に埋め込まれて設置されている。本体部（11）の下面（21）は室内（r1）に露出しており、下面（21）には本体部（11）内への空気の吸い込み口（23）と、本体部（11）から室内（r1）への空気の吹き出し口（24）とが形成されている。
【００３０】
本体部（11）の下面（21）には、カメラ（26）（撮像部に相当）が設けられている。
【００３１】
カメラ（26）は、レンズ（図示せず）が空気調和装置（10）の下方を向いており、室内（r1）に居るユーザ（U1,U2,U3）を撮像する。画像は、ユーザ（U1,U2,U3）を撮像した動画像であってもよいし、ユーザ（U1,U2,U3）の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。カメラ（26）が撮像した画像には、各ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態（表情を含む）が写し出されている。ユーザ（U1,U2,U3）は、眠いと感じる場合、体が左右のどちらかに傾斜する、体の動きが鈍い、片方の手で頬杖を付く、背伸びをする、目を閉じている等といった動作及び状態をとる。逆に、ユーザ（U1,U2,U3）は、眠気を感じていない場合、体の動きが活発である、目を開けている、手は何らかの作業をしている等といった動作及び状態をとる。カメラ（26）は、ユーザ（U1,U2,U3）のこれらの動作等を、各ユーザ（U1,U2,U3）の眠気状態を示唆する画像として撮像する。
【００３２】
空気調和装置（10）の本体部（11）の内部には、吸い込み口（23）から本体部（11）内部に吸い込まれた空気を冷媒と熱交換させる熱交換器（図示せず）、及び、冷媒と熱交換した後の空気を吹き出し口（24）を介して室内（r1）に供給する室内ファン（12）等が含まれている（図２参照）。
【００３３】
更に、本体部（11）の内部には、室内環境情報センサ（13）（検知部に相当）、及び制御部（14）が含まれている。
【００３４】
室内環境情報センサ（13）は、室内（r1）の環境に関する室内環境情報を検知するセンサであって、吸い込み口（23）付近に設けられた吸い込みセンサである。室内環境情報としては、吸い込み口（23）から吸い込まれた室内（r1）の空気の温度、湿度、CO2の濃度等が挙げられる。
【００３５】
制御部（14）は、ＣＰＵ及びメモリからなるマイクロコンピュータで構成されている。制御部（14）は、室内ファン（12）、室内環境情報センサ（13）、カメラ（26）等と電気的に接続されている。また、制御部（14）は、リモートコントローラ（30）及び演算装置（60）とも、通信可能に接続されている。
【００３６】
制御部（14）は、室内環境情報センサ（13）の検知結果に基づく室内ファン（12）等の駆動制御により、空気調和装置（10）の空調動作を制御する。
【００３７】
特に、本実施形態に係る制御部（14）は、演算装置（60）によって推定されたユーザ（U1,U2,U3）の眠気状態に基づいて、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、室内（r1）の空気調和装置（10）の空調動作を制御する。眠気状態の推定結果に基づく空調動作の詳細については後述する。
【００３８】
なお、制御部（14）は、以下に述べる演算装置（60）の推定部（66）と同様、予めニューラルネットワークが構築されたものであることが好ましい。空調動作をよりきめ細かく調整するためである。
【００３９】
＜リモートコントローラ＞
リモートコントローラ（30）は、室内（r1）の壁面に取り付けられている。リモートコントローラ（30）は、図示してはいないが、各種画面を表示するディスプレイと、ユーザ（U1,U2,U3）の操作を受け付ける複数の操作ボタンとを有する。ユーザ（U1,U2,U3）が操作ボタンを操作することにより、ディスプレイには、ユーザ（U1,U2,U3）の操作に応じた各種画面が表示される。ディスプレイには、室内（r1）の設定温度、設定湿度等が通常画面として表示される。
【００４０】
本実施形態に係るリモートコントローラ（30）は、ユーザ（U1,U2,U3）の実際の眠気状態、即ちユーザ（U1,U2,U3）が実際に眠いと感じているか否か及び眠気のレベルがどの程度かを表す眠気情報の、ユーザ（U1,U2,U3）による入力を受け付けることが可能となっている。入力された眠気情報から、ユーザ（U1,U2,U3）の眠気状態の推定結果がユーザ（U1,U2,U3）の実際の眠気状態に合致したものであるか否かを、演算装置（60）は判定することができる。ユーザ（U1,U2,U3）の眠気状態の推定結果に基づいて空気調和装置（10）の空調動作が行われることに鑑みると、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に伴って空気調和装置（10）が空調動作を行っている間になされることが好ましいが、必ずしもこれに限定されることはない。また、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に応じて実行される空気調和装置（10）の空調制御の内容を補正するために（例えば、室内ファン（12）の回転速度を実際の眠気状態に応じて調整するために）、用いられても良い。
【００４１】
＜空調制御装置の構成＞
空調制御装置（50）は、図２に示すように、空気調和装置（10）の構成要素の一部である室内環境情報センサ（13）、制御部（14）及びカメラ（26）に加えて、受け付け部に相当するリモートコントローラ（30）と、演算装置（60）とを有する。
【００４２】
室内環境情報センサ（13）、制御部（14）、カメラ（26）、及びリモートコントローラ（30）は、上記にて説明したため、以下では演算装置（60）について説明する。
【００４３】
＜演算装置＞
演算装置（60）は、ユーザ（U1,U2,U3）の眠気状態の推定動作を主に行うものであって、記憶部（62）及びＣＰＵ（65）を備えたコンピュータである。演算装置（60）は、クラウドサーバ、ローカルサーバ等であることができる。
【００４４】
演算装置（60）は、空気調和装置（10）及びリモートコントローラ（30）と有線または無線で通信可能に接続されている。これにより、演算装置（60）は、室内（r1）の温度等である室内環境情報センサ（13）の検知結果及びカメラ（26）の撮像した画像を空気調和装置（10）から取得することができ、リモートコントローラ（30）がユーザ（U1,U2,U3）から実際の眠気状態を表す眠気情報の入力を受け付けた場合、これを取得することができる。また、演算装置（60）は、自身が推定した推定結果である眠気状態を、空気調和装置（10）の制御部（14）に出力することができる。
【００４５】
なお、本実施形態では、演算装置（60）が空気調和装置（10）とは別の装置である場合を例示しているが、演算装置（60）は、制御部（14）と同様、ＣＰＵ及びメモリからなるマイクロコンピュータで構成され、空気調和装置（10）内に組み込まれていてもよい。
【００４６】
記憶部（62）は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部（62）には、主に、ユーザ情報（63）が格納されている。
【００４７】
図３に示すように、ユーザ情報（63）は、個々のユーザ（U1,U2,U3）についての、ユーザ（U1,U2,U3）の動作及び状態（表情を含む）と、その動作及び状態を採っている時のユーザ（U1,U2,U3）の眠気状態とが対応づけられた情報である。眠い時または眠くない時に自ずと行う行動や表情等は、ユーザ（U1,U2,U3）毎に異なる場合がある。即ち、眠気の感覚に対する行動や表情等には、ユーザ（U1,U2,U3）毎に癖があると考えられる。それ故、その癖を、いわばユーザ（U1,U2,U3）の眠気状態を指し示す基準として定義したものが、ユーザ情報（63）である。
【００４８】
ＣＰＵ（65）は、記憶部（62）や当該記憶部（62）以外の他のメモリに記憶された各種プログラムを読み出して実行することにより、推定部（66）及びモデル更新部（68）として機能する。
【００４９】
−ユーザの眠気状態の推定−
推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）の検知結果である室内環境情報とを必須パラメータとして用いて、ユーザ（U1,U2,U3）の眠気状態を推定する。このような推定部（66）は、推定モデル（67）を有する。
【００５０】
推定モデル（67）は、撮像された画像等からユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態の推定モデル（67）は、図４の破線に示すように、主として、カメラ（26）が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク（67a）、及び、画像処理の結果と室内環境情報センサ（13）の検知結果に関する情報とからユーザ（U1,U2,U3）の眠気状態を推定する眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
【００５１】
推定部（66）は、先ず、カメラ（26）が撮像した画像のデータを画像処理ニューラルネットワーク（67a）に入力する。画像処理ニューラルネットワーク（67a）では、画像データ（ここでは動画データ）の同時化処理等の他、エッジ検出やコントラスト処理等を駆使して、背伸びをしている等のユーザ（U1,U2,U3）の動作の抽出、目を閉じている等のユーザ（U1,U2,U3）の状態の抽出、ユーザ（U1,U2,U3）の性別の算出、ユーザ（U1,U2,U3）の年齢の算出が行われる。即ち、画像処理ニューラルネットワーク（67a）では、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び、状態が抽出され、眠気レベルを左右する一要因となる性別及び年齢が演算される。
【００５２】
図５（ａ）では、年齢の高低と眠気レベルとの関係の一例を概念的に表し、図５（ｂ）では、性別と眠気レベルとの関係の一例を概念的に表している。室内（r1）がとある温度で均一とした場合、図５（ａ）では、年齢が低い程、さほど眠気を感じないユーザ（U1,U2,U3）が多い傾向にあり、年齢が高い程、眠いと感じるユーザ（U1,U2,U3）は多い傾向にあることを表している。室内（r1）がとある温度で均一とした場合、図５（ｂ）では、同年齢にて比較すると、女性は、男性に比べて眠気を感じることが多い場合があることを表している。このように、求めた性別及び年齢は、眠気レベルを左右する指標の１つとなる。
【００５３】
図４に示すように、画像処理ニューラルネットワーク（67a）から出力された上記抽出結果及び上記演算結果と、例えば室内（r1）の温度、湿度、CO2の濃度である室内環境情報センサ（13）の検知結果（室内環境情報）に関する情報とが、眠気推定ニューラルネットワーク（67b）に入力される。本実施形態では、室内環境情報センサ（13）の検知結果は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、室内環境情報センサ（13）の検知結果に関する情報として眠気推定ニューラルネットワーク（67b）に入力される場合を例示しているが、演算ニューラルネットワーク（67c）を介さずに、直接眠気推定ニューラルネットワーク（67b）に入力されてもよい。
【００５４】
眠気推定ニューラルネットワーク（67b）では、入力された各種情報のうち、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び状態である抽出結果と室内環境情報センサ（13）の検知結果に関する情報とから、図３に係るユーザ情報（63）を基準として、個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、入力された演算結果、即ちユーザ（U1,U2,U3）の性別及び年齢が、個々のユーザ（U1,U2,U3）の眠気状態の算出において加味される。
【００５５】
例えば室内（r1）の温度が高かったりCO2の濃度が高かったりする程、ユーザ（U1,U2,U3）の眠気は誘発される。そこで、ユーザ（U1,U2,U3）の特定の動作及び状態と共に、室内環境情報センサ（13）の検知結果に関する情報が、個々のユーザ（U1,U2,U3）の眠気レベルの推定に利用される。また、図５（ａ）（ｂ）で示した性別や年齢と眠気レベルとの関係性を考慮することで、ユーザ（U1,U2,U3）各個人の眠気情報がよりきめ細かく推定される。
【００５６】
推定部（66）は、このようにして求めたユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、眠気状態の推定結果として、空気調和装置（10）の制御部（14）に送信する。
【００５７】
−推定モデルの更新−
図６に示すように、モデル更新部（68）は、カメラ（26）が撮像した画像のデータ及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の実際の眠気状態を表す眠気情報に基づいて上記推定モデル（67）を学習させる。
【００５８】
眠気状態の推定後にカメラ（26）が新たに撮像した画像に、例えばそれまで頬杖を付いていたユーザ（U1,U2,U3）が頬杖をしなくなった等の、ユーザ（U1,U2,U3）の動作及び状態に所望の変化が現れる可能性がある。この場合は、眠気状態の推定動作が比較的良好であって、その推定結果に基づく空調動作がユーザ（U1,U2,U3）の眠気状態を解消させる方向へと向かわせていると判断することができる。しかし、このような所望の変化が見られない場合は、眠気状態の推定動作が実際の眠気状態と乖離している可能性がある。そこで、モデル更新部（68）は、カメラ（26）が新たに撮像した画像を用いて推定モデル（67）を更新する。
【００５９】
また、リモートコントローラ（30）を介してユーザ（U1,U2,U3）が入力した眠気情報には、ユーザ（U1,U2,U3）の実際の眠気レベルが表れている。それ故、モデル更新部（68）は、リモートコントローラ（30）が受け付けた眠気情報も用いて推定モデル（67）を更新する。
【００６０】
このような更新動作により、推定モデル（67）（具体的には、眠気推定ニューラルネットワーク（67b））は、より実際の眠気状態に近い推定結果を算出できるようなモデルに更新されていく。
【００６１】
なお、モデル更新部（68）は、前回撮影した画像におけるユーザ（U1,U2,U3）の動作及び状態と、新たに撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態とを比較した結果、所望の変化がある場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が、眠気レベルが前回よりも所定レベル以上低下したことを表す内容である場合は、推定モデル（67）の更新動作は不要と判定し、推定モデル（67）の更新動作を行わずともよい。つまり、推定モデル（67）の更新動作は、前回撮像した画像と新たに撮像した画像との間でユーザ（U1,U2,U3）の動作及び状態に所望の変化がなかった場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が所望する眠気レベルよりも高い場合に行われると良い。ＣＰＵ（65）が不必要な処理を行うことで高負荷となることを和らげるためである。
【００６２】
なお、本実施形態では、推定モデル（67）のうち更新対象となるものは、眠気推定ニューラルネットワーク（67b）であるが、画像処理ニューラルネットワーク（67a）や演算ニューラルネットワーク（67c）が更に更新対象であってもよい。
【００６３】
なお、図６に示すように、推定モデル（67）を更新する際には、更に室内環境情報センサ（13）の検知結果も利用されてもよいが、利用されずともよい。
【００６４】
＜推定したユーザの眠気状態に伴う空調動作＞
図７は、ユーザ（U1,U2,U3）の眠気状態の推定動作、及び、推定した眠気状態（眠気レベル）に伴う空調動作の流れを示す図である。
【００６５】
カメラ（26）は、ユーザ（U1,U2,U3）の画像を撮像する（St11）。カメラ（26）が撮像した画像は、演算装置（60）に送信される。
【００６６】
演算装置（60）では、推定部（66）は、推定モデル（67）における画像処理ニューラルネットワーク（67a）を用いて、ユーザ（U1,U2,U3）の動作及び状態の抽出、性別及び年齢の演算を行う（St12）。推定部（66）は、推定モデル（67）における眠気推定ニューラルネットワーク（67b）に、ステップSt12における抽出結果及び演算結果と、室内環境情報センサ（13）の検知結果である室内環境情報（ここでは、検知結果に関する情報）とを入力して、各ユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を推定する（St13）。眠気状態の推定結果は、空気調和装置（10）の制御部（14）に送信される。
【００６７】
上記推定結果は、図示していないが、演算装置（60）が有するデータベースに格納される（St14）。この際、推定結果と共に、室内（r1）の温度を含む室内環境情報、現在の空気調和装置（10）の風向及び風量が、データベースに対応づけて格納される。データベースは、眠気状態の推定動作の精度向上のため、推定モデル（67）の更新時に用いられても良い。また、データベースは、以下の“閾値”を最適な値に補正するために用いられると更に好ましい。
【００６８】
空気調和装置（10）の制御部（14）は、推定された眠気レベルが閾値以下となるように、個々のユーザ（U1,U2,U3）に適した空調制御内容を算出し（St15）、算出した空調制御を実行させる（St16）。例えば、制御部（14）は、眠気レベルと閾値との差が大きい程、当該眠気レベルであるユーザ（U1,U2,U3）に対して冷却または加熱された空気を風量を上げた状態で供給する空調制御内容を実行する。制御部（14）は、眠気レベルと閾値との差が小さい程、当該眠気レベルであるユーザ（U1,U2,U3）に対しては現在の空気の供給量を維持する空調制御内容を実行する。このように、個々のユーザ（U1,U2,U3）の眠気レベルと閾値との差の大きさに応じて、そのユーザ（U1,U2,U3）への風向及び風量を変化させる空調制御内容が算出されて実行される。このような空調制御内容は、眠気レベルが高いユーザ（U1,U2,U3）に対しては眠気を解消させて覚醒を促し、眠気レベルが低いユーザ（U1,U2,U3）に対しては引き続き現在の状態を維持するように作用させるための内容と言える。これにより、各個人の眠気レベルは、空調制御によって改善または維持される。そのため、室内（r1）内のユーザ（U1,U2,U3）全体の眠気レベルの平均は改善され、ユーザ（U1,U2,U3）の作業性は向上する。
【００６９】
＜効果＞
室内の環境は、ユーザ（U1,U2,U3）の眠気状態に影響を及ぼす。そこで、演算装置（60）の推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と共に、室内環境情報センサ（13）の検知結果である室内環境情報（室内（r1）の温度やCO2濃度等）に基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気を精度良く把握することができる。
【００７０】
上記画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されている。そこで、推定部（66）は、ユーザ（U1,U2,U3）の動作及び状態を画像から抽出してユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度は向上する。
【００７１】
また、年齢及び性別の違いは、人が「眠い」と感じる感覚に影響を及ぼすことがある。そこで、推定部（66）は、画像からユーザ（U1,U2,U3）の年齢及び性別を演算し、その演算結果を更に用いてユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００７２】
また、カメラ（26）は、天井に設置されている空気調和装置（10）に設けられている。そのため、カメラ（26）は、室内（r1）に居るユーザ（U1,U2,U3）を、障害物により遮られる可能性が軽減された状態で、撮像することができる。
【００７３】
また、推定部（66）は、室内（r1）に居る複数のユーザ（U1,U2,U3）それぞれの眠気状態を推定する。即ち、本実施形態では、個々のユーザ（U1,U2,U3）の眠気状態を推定することができる。
【００７４】
ところで、ユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じている際にユーザ（U1,U2,U3）が採る動作及び状態は、ユーザ（U1,U2,U3）毎に異なることがある。そこで、推定部（66）は、個々のユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じた際に採る動作及び状態を表すユーザ情報（63）を、実際に撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態との照合に用いる。これにより、個々のユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００７５】
空気調和装置（10）の制御部（14）は、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、演算装置（60）の推定部（66）が推定した眠気状態に基づいて空調動作を制御する。これにより、ユーザ（U1,U2,U3）がリモートコントローラ（30）等を操作して眠気が解消するような空調動作の実行指示を空気調和装置（10）に与えずとも、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気が改善し覚醒を促すのに適した空調動作を自動的に行う。従って、ユーザ(U1,U2,U3）の利便性は向上し、ユーザ（U1,U2,U3）は、眠気状態が解消して覚醒し易くなる。
【００７６】
特に、ユーザ（U1,U2,U3）の眠気状態の推定精度が向上しているため、推定された眠気状態に応じた空調動作がなされることにより、ユーザ（U1,U2,U3）の眠気状態はより解消し易くなる。
【００７７】
特に、個々のユーザ（U1,U2,U3）の眠気状態を推定し、個々のユーザ（U1,U2,U3）の眠気状態に適した空調動作がなされることにより、室内（r1）に居るユーザ（U1,U2,U3）全体の眠気レベルを改善することができる。
【００７８】
また、ユーザ（U1,U2,U3）の画像及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の眠気情報に基づいて、推定モデル（67）が学習される。従って、推定部（66）が学習後の推定モデル（67）を用いて眠気状態の推定動作を行うことにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００７９】
≪第２実施形態≫
本実施形態では、上記第１実施形態において、空調制御装置（50）が更にサーモグラフィセンサ（128）（表面温度測定部に相当）を備え、推定部（66）は、ユーザ（U1,U2,U3）の眠気状態の推定動作に更にサーモグラフィセンサ（128）の検知結果を用いる場合について説明する。
【００８０】
図８は、第１実施形態の図４に対応する図であって、本実施形態に係る眠気状態の推定時の推定モデル（67）の入力及び出力を表す概念図である。図８の破線に示すように、推定部（66）における推定モデル（67）は、上記第１実施形態と同様、撮像された画像のデータと室内環境情報とからユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を演算によって求める専用のニューラルネットワークとして予め構築されている。具体的には、推定モデル（67）は、主として、画像処理ニューラルネットワーク（67a）と眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
【００８１】
上記第１実施形態と同様、室内環境情報センサ（13）の検出結果である室内環境情報は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、眠気推定ニューラルネットワーク（67b）に入力される場合を例示している。
【００８２】
画像処理ニューラルネットワーク（67a）の入力と出力は、上記第１実施形態と同様である。
【００８３】
眠気推定ニューラルネットワーク（67b）には、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加え、サーモグラフィセンサ（128）の検知結果が入力される。
【００８４】
サーモグラフィセンサ（128）は、室内（r1）に居る各ユーザ（U1,U2,U3）の表面温度を測定する。サーモグラフィセンサ（128）の室内（r1）での取り付け位置は、特に限定されることはなく、例えばリモートコントローラ（30）に組み込まれても良いし、空気調和装置（10）の下面（21）に取り付けられてもよい。
【００８５】
なお、図８に示すように、サーモグラフィセンサ（128）の検知結果は、室内環境情報センサ（13）の検知結果が演算ニューラルネットワーク（67c）にて演算処理されるのと同様、別途演算ニューラルネットワーク（67d）にて所定の演算が施された後に、眠気推定ニューラルネットワーク（67b）に入力されても良い。
【００８６】
眠気推定ニューラルネットワーク（67b）では、上記第１実施形態と同様、画像処理ニューラルネットワーク（67a）の抽出結果及び室内環境情報に基づいて個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、上記第１実施形態と同様、ユーザ情報（63）は基準として用いられる。画像処理ニューラルネットワーク（67a）の演算結果（年齢及び性別）に加えて、サーモグラフィセンサ（128）の検知結果（表面温度）が、ユーザ（U1,U2,U3）の眠気状態の算出において加味される。
【００８７】
サーモグラフィセンサ（128）の検知結果は、図９に示すように、推定モデル（67）の更新動作においても、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加えて用いられてもよい。
【００８８】
図８及び図９を用いて説明した以外、具体的には、空調制御装置（50）を用いた空調システム（100）の構成、ユーザ情報（63）、推定結果を用いた空調動作の詳細は、上記第１実施形態と同様であるため、説明を省略する。
【００８９】
このように、本実施形態では、ユーザ（U1,U2,U3）の眠気状態の推定に、ユーザ（U1,U2,U3）の実際の表面温度が更に用いられる。従って、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。また、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気がより改善し覚醒を促すのに適した空調動作を行うことができる。
【００９０】
なお、サーモグラフィセンサ（128）の検知結果は、更に、空気調和装置（10）からユーザ（U1,U2,U3）に供給される空気がユーザ（U1,U2,U3）にとって適切な温度及び風量であるのかを制御部（14）が判断するために利用されてもよい。例えば、ユーザ（U1,U2,U3）の眠気状態の改善のためと云えども、冷却された空気がユーザ（U1,U2,U3）に多量に供給されると、ユーザ（U1,U2,U3）の表面温度が過度に低下してしまい、かえってユーザ（U1,U2,U3）に対し刺激の与えすぎとなってしまう。そのため、サーモグラフィセンサ（128）の検知結果から、空気調和装置（10）がユーザ（U1,U2,U3）に供給する空気がユーザ（U1,U2,U3）にとって適切な温度及び風量ではないと判断した時は、制御部（14）は、サーモグラフィセンサ（128）の検知結果に基づいて供給する空気の温度及び風量を和らげるように空調制御内容を調整することが好ましい。
【００９１】
≪その他の実施形態≫
上記第１実施形態及び第２実施形態において、画像と室内環境情報におけるCO2濃度とを用いて、時間帯に即して眠気を解消するような空調制御が更に行われても良い。例えば、昼食後、人は眠くなる傾向にある。CO2濃度が高い程眠気は強くなる。そこで、空気調和装置（10）の制御部（14）は、午後は室内（r1）の目標温度を午前中よりも一時的に下げると共に、CO2の濃度に応じて目標温度の下げ幅を調整すると好ましい。その際、推定部（66）が、眠気レベルが高い人の数が所定数以上であると画像を用いて推定した場合、制御部（14）は、CO2濃度を下げるために、換気動作を空調動作として決定することが好ましい。
【００９２】
上記第１実施形態及び第２実施形態において、推定部（66）は、更に各ユーザ（U1,U2,U3）の心拍数の検知結果を各ユーザ（U1,U2,U3）の眠気状態の推定に用いても良い。これにより、各ユーザ（U1,U2,U3）の眠気レベルはより細かく把握されるようになる。各ユーザ（U1,U2,U3）の心拍数は、カメラ（26）が撮像した画像から、各ユーザ（U1,U2,U3）の状態を表す情報として算出されてもよいし、カメラ（26）とは別の心拍数を検知するセンサによって検知されても良い。各ユーザ（U1,U2,U3）の心拍数は、推定モデル（67）の学習の際に用いられても良い。
【００９３】
制御部（14）は、画像から演算されたユーザ（U1,U2,U3）の年齢及び性別を用いて、より個人が覚醒し易くなるような効果的な個別の空調動作が行われるように、空調動作を制御してもよい。
【００９４】
上記第１実施形態及び第２実施形態において、吸い込みセンサとは別のセンサが室内環境情報センサ（13）として設けられても良い。室内環境情報センサ（13）が検知する室内に関する情報は、室内（r1）の温度、湿度、CO2の濃度に限定されることはなく、室内（r1）の環境に関する様々な情報が含まれる。また、室内環境情報センサ（13）の検知結果は、室内（r1）の温度のみ、CO2の濃度のみであってもよい。
【００９５】
カメラ（26）が新たに撮像した画像は、リモートコントローラ（30）を介して入力されたユーザ（U1,U2,U3）の眠気情報と同様、推定モデル（67）の更新のみならず、空調動作の制御の微調整に利用されてもよい。
【００９６】
上記第１実施形態及び第２実施形態において、画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されていると説明したが、画像に写し出されているものは、ユーザ（U1,U2,U3）の動作及び状態のうち少なくとも１つであってもよい。この場合、画像処理ニューラルネットワーク（67a）の抽出結果は、ユーザ（U1,U2,U3）の動作及び状態のうち、少なくとも１つとなる。
【００９７】
ユーザ（U1,U2,U3）の性別及び年齢の演算結果は、眠気状態の推定に利用されずとも良い。
【００９８】
ユーザ（U1,U2,U3）の性別及び年齢を眠気状態の推定に用いる場合、ユーザ（U1,U2,U3）の性別及び年齢のいずれか一方が眠気状態の推定に用いられもよい。
【００９９】
空気調和装置（10）は、室内（r1）の天井に設置されるタイプに限定されず、壁面設置タイプ、床置きタイプ等であることができる。
【０１００】
カメラ（26）は、室内（r1）のユーザ（U1,U2,U3）を撮像できる位置にあればよく、空気調和装置（10）に設けられずともよい。例えば、カメラ（26）は、ユーザ（U1,U2,U3）のパーソナルコンピュータが有するウェブカメラであってもよい。
【０１０１】
上記第１実施形態及び第２実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザの人数が一人である場合にも適用することができる。
【０１０２】
また、空調制御装置（50）は、室内（r1）に居るユーザの人数が複数の場合、眠気状態の推定対象者は、全員ではなく、任意であってもよい。
【０１０３】
推定部（66）は、眠気状態の推定時に、ユーザ情報（63）を利用せずともよい。
【０１０４】
眠気状態の推定結果に基づいて空気調和装置（10）の空調動作を制御することは、必ずしも必須ではない。従って、眠気状態の推定動作のみを行う眠気推定装置であってもよい。
【０１０５】
推定モデル（67）の更新動作は行われなくても良い。
【０１０６】
推定モデル（67）の更新動作を行う場合、眠気状態の推定時と推定モデル（67）の更新動作時とで、使用するパラメータが同じであってもよいし、異なっていても良い。例えば、眠気状態の推定時のパラメータは、画像、室内の温度及び湿度、吹き出し口（24）から吹き出される空気の吹き出し温度及び湿度、風量、風向、空調能力のうち少なくとも１つであることができる。推定モデル（67）の更新動作時のパラメータは、画像、室内の温度及び湿度、風速、輻射温度、CO2の濃度のうち少なくとも１つであることができる。
【０１０７】
上記第１実施形態及び第２実施形態では、ニューラルネットワークで構築された推定モデル（67）を利用して眠気状態の推定が行われる場合を説明したが、眠気状態の推定動作は、上記推定モデル（67）を利用することなく、例えばプログラムを実行することによってなされてもよい。
【０１０８】
空調動作の制御は、制御部（14）に代えて演算装置（60）が行っても良い。
【産業上の利用可能性】
【０１０９】
以上説明したように、本発明は、ユーザの眠気状態を推定する眠気推定装置について有用である。
【符号の説明】
【０１１０】
10  空気調和装置
13  室内環境情報センサ（検知部）
14  制御部
26  カメラ（撮像部）
30  リモートコントローラ（受け付け部）
50  空調制御装置（睡眠推定装置）
62  記憶部
63  ユーザ情報
66  推定部
67  推定モデル
68  モデル更新部
U1,U2,U3  ユーザ
128  サーモグラフィセンサ（表面温度測定部）
【図１】
2019082282.tif 000003
【図２】
2019082282.tif 000004
【図３】
2019082282.tif 000005
【図４】
2019082282.tif 000006
【図５】
2019082282.tif 000007
【図６】
2019082282.tif 000008
【図７】
2019082282.tif 000009
【図８】
2019082282.tif 000010
【図９】
2019082282.tif 000011
【手続補正書】
【提出日】平成30年5月25日(2018.5.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眠気推定装置に関するものである。
【背景技術】
【０００２】
特許文献１に示すように、運転者の疲れ状態をカメラ及びハンドルの動きから検出する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０４２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者等のユーザの眠気の要因には、ユーザの疲れのみならず他の要因も作用することがある。特許文献１の技術では、ユーザがどの程度の眠気を感じているかを把握することは困難である。
【０００５】
本発明の目的は、ユーザの眠気状態を精度良く把握することである。
【課題を解決するための手段】
【０００６】
本開示の第１の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）と、上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像から上記ユーザ（U1,U2,U3）の実際の上記眠気状態を把握し、その把握結果に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を備えることを特徴とする眠気推定装置である。
【０００７】
室内環境情報としては、室内のCO2濃度、温度等が挙げられる。このような室内環境情報は、ユーザの眠気状態に影響を及ぼす要因となり得る。ここでは、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。また、室内に居るユーザの眠気状態は改善されるため、ユーザは覚醒し易くなる。また、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
【０００８】
第２の態様は、第１の態様において、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）、を更に備え、上記モデル更新部（68）は、更に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記推定モデル（67）を学習させることを特徴とする眠気推定装置である。
【０００９】
第３の態様は、第１の態様または第２の態様において、上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習することを特徴とする眠気推定装置である。
【００１０】
第４の態様は、第３の態様において、上記空調動作の制御の内容には、上記空気調和装置に含まれる室内ファンの回転速度を調整することが含まれることを特徴とする眠気推定装置である。
【００１１】
第５の態様は、第１の態様から第４の態様のいずれか１つにおいて、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）を更に備え、上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習することを特徴とする眠気推定装置である。
【００１２】
第６の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、上記撮像部（26）が撮像した上記画像及び上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を備えることを特徴とする眠気推定装置である。
【００１３】
第６の態様によれば、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。また、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
【００１４】
第７の態様は、第１の態様から第６の態様のいずれか１つにおいて、上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定することを特徴とする眠気推定装置である。
【００１５】
これにより、ユーザがどの程度眠いのかの眠気状態が、より精度良く推定される。
【００１６】
第８の態様は、第１の態様から第７の態様のいずれか１つにおいて、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１７】
これにより、ユーザの眠気状態の推定精度はより向上する。
【００１８】
第９の態様は、第１の態様から第８の態様のいずれか１つにおいて、上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、を更に備え、上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
【００１９】
これにより、ユーザの眠気状態の推定精度はより向上する。
【００２０】
第１０の態様は、第１の態様から第９の態様のいずれか１つにおいて、空気調和装置（10）が、上記室内（r1）の天井に設置されており、上記撮像部（26）は、上記空気調和装置（10）に設けられていることを特徴とする眠気推定装置である。
【００２１】
これにより、撮像部（26）は、障害物により遮られる可能性が低い状態で、室内に居るユーザを撮像することができる。
【００２２】
第１１の態様は、第１の態様から第１０の態様のいずれか１つにおいて、上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
【００２３】
第１２の態様は、第１１の態様において、複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、を更に備え、上記推定部（66）は、各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
【００２４】
これにより、個々のユーザの眠気状態の推定精度はより向上する。
【発明の効果】
【００２５】
本発明によれば、ユーザの眠気を、精度良く把握することができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、眠気推定装置を備えた空調システムの外観図である。
【図２】図２は、眠気推定装置を備えた空調システムの構成を模式的に示すブロック図である。
【図３】図３は、ユーザ情報の概念図である。
【図４】図４は、第１実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
【図５】図５は、年齢と眠気との関係、性別と眠気との関係の一例を示す図である。
【図６】図６は、第１実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
【図７】図７は、ユーザの眠気状態の推定動作及び推定したユーザの眠気状態に伴う空調動作の流れを示す図である。
【図８】図８は、第２実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
【図９】図９は、第２実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【００２８】
≪第１実施形態≫
＜概要＞
図１は、本実施形態に係る空調制御装置（50）（眠気推定装置に相当）を備えた空調システム（100）の外観図である。図１及び図２に示すように、空調制御装置（50）は、空気調和装置（10）の構成要素の一部と、リモートコントローラ（30）（受け付け部に相当）と、演算装置（60）とを有する。
【００２９】
図１に示すように、空気調和装置（10）は、空調対象である室内（r1）に設けられ、室内（r1）に対し空調を行う。リモートコントローラ（30）は、空気調和装置（10）の目標温度及び目標湿度の設定の他、空気調和装置（10）の運転モード、運転のオン及びオフを、ユーザ（U1,U2,U3）がリモートコントローラ（30）を操作して直接的に空気調和装置（10）に指示を与える際に、用いられる。
【００３０】
空調制御装置（50）は、空気調和装置（10）の空調動作を制御する。特に、本実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザ（U1,U2,U3）が写し出された画像を用いて、当該ユーザ（U1,U2,U3）の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置（10）の空調動作を制御することにより、ユーザ（U1,U2,U3）の眠気状態が改善するような環境を提供する。
【００３１】
＜空気調和装置の構成＞
空気調和装置（10）は、天井設置タイプの空調機であって、本体部（11）が室内（r1）の天井に埋め込まれて設置されている。本体部（11）の下面（21）は室内（r1）に露出しており、下面（21）には本体部（11）内への空気の吸い込み口（23）と、本体部（11）から室内（r1）への空気の吹き出し口（24）とが形成されている。
【００３２】
本体部（11）の下面（21）には、カメラ（26）（撮像部に相当）が設けられている。
【００３３】
カメラ（26）は、レンズ（図示せず）が空気調和装置（10）の下方を向いており、室内（r1）に居るユーザ（U1,U2,U3）を撮像する。画像は、ユーザ（U1,U2,U3）を撮像した動画像であってもよいし、ユーザ（U1,U2,U3）の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。カメラ（26）が撮像した画像には、各ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態（表情を含む）が写し出されている。ユーザ（U1,U2,U3）は、眠いと感じる場合、体が左右のどちらかに傾斜する、体の動きが鈍い、片方の手で頬杖を付く、背伸びをする、目を閉じている等といった動作及び状態をとる。逆に、ユーザ（U1,U2,U3）は、眠気を感じていない場合、体の動きが活発である、目を開けている、手は何らかの作業をしている等といった動作及び状態をとる。カメラ（26）は、ユーザ（U1,U2,U3）のこれらの動作等を、各ユーザ（U1,U2,U3）の眠気状態を示唆する画像として撮像する。
【００３４】
空気調和装置（10）の本体部（11）の内部には、吸い込み口（23）から本体部（11）内部に吸い込まれた空気を冷媒と熱交換させる熱交換器（図示せず）、及び、冷媒と熱交換した後の空気を吹き出し口（24）を介して室内（r1）に供給する室内ファン（12）等が含まれている（図２参照）。
【００３５】
更に、本体部（11）の内部には、室内環境情報センサ（13）（検知部に相当）、及び制御部（14）が含まれている。
【００３６】
室内環境情報センサ（13）は、室内（r1）の環境に関する室内環境情報を検知するセンサであって、吸い込み口（23）付近に設けられた吸い込みセンサである。室内環境情報としては、吸い込み口（23）から吸い込まれた室内（r1）の空気の温度、湿度、CO2の濃度等が挙げられる。
【００３７】
制御部（14）は、ＣＰＵ及びメモリからなるマイクロコンピュータで構成されている。制御部（14）は、室内ファン（12）、室内環境情報センサ（13）、カメラ（26）等と電気的に接続されている。また、制御部（14）は、リモートコントローラ（30）及び演算装置（60）とも、通信可能に接続されている。
【００３８】
制御部（14）は、室内環境情報センサ（13）の検知結果に基づく室内ファン（12）等の駆動制御により、空気調和装置（10）の空調動作を制御する。
【００３９】
特に、本実施形態に係る制御部（14）は、演算装置（60）によって推定されたユーザ（U1,U2,U3）の眠気状態に基づいて、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、室内（r1）の空気調和装置（10）の空調動作を制御する。眠気状態の推定結果に基づく空調動作の詳細については後述する。
【００４０】
なお、制御部（14）は、以下に述べる演算装置（60）の推定部（66）と同様、予めニューラルネットワークが構築されたものであることが好ましい。空調動作をよりきめ細かく調整するためである。
【００４１】
＜リモートコントローラ＞
リモートコントローラ（30）は、室内（r1）の壁面に取り付けられている。リモートコントローラ（30）は、図示してはいないが、各種画面を表示するディスプレイと、ユーザ（U1,U2,U3）の操作を受け付ける複数の操作ボタンとを有する。ユーザ（U1,U2,U3）が操作ボタンを操作することにより、ディスプレイには、ユーザ（U1,U2,U3）の操作に応じた各種画面が表示される。ディスプレイには、室内（r1）の設定温度、設定湿度等が通常画面として表示される。
【００４２】
本実施形態に係るリモートコントローラ（30）は、ユーザ（U1,U2,U3）の実際の眠気状態、即ちユーザ（U1,U2,U3）が実際に眠いと感じているか否か及び眠気のレベルがどの程度かを表す眠気情報の、ユーザ（U1,U2,U3）による入力を受け付けることが可能となっている。入力された眠気情報から、ユーザ（U1,U2,U3）の眠気状態の推定結果がユーザ（U1,U2,U3）の実際の眠気状態に合致したものであるか否かを、演算装置（60）は判定することができる。ユーザ（U1,U2,U3）の眠気状態の推定結果に基づいて空気調和装置（10）の空調動作が行われることに鑑みると、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に伴って空気調和装置（10）が空調動作を行っている間になされることが好ましいが、必ずしもこれに限定されることはない。また、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に応じて実行される空気調和装置（10）の空調制御の内容を補正するために（例えば、室内ファン（12）の回転速度を実際の眠気状態に応じて調整するために）、用いられても良い。
【００４３】
＜空調制御装置の構成＞
空調制御装置（50）は、図２に示すように、空気調和装置（10）の構成要素の一部である室内環境情報センサ（13）、制御部（14）及びカメラ（26）に加えて、受け付け部に相当するリモートコントローラ（30）と、演算装置（60）とを有する。
【００４４】
室内環境情報センサ（13）、制御部（14）、カメラ（26）、及びリモートコントローラ（30）は、上記にて説明したため、以下では演算装置（60）について説明する。
【００４５】
＜演算装置＞
演算装置（60）は、ユーザ（U1,U2,U3）の眠気状態の推定動作を主に行うものであって、記憶部（62）及びＣＰＵ（65）を備えたコンピュータである。演算装置（60）は、クラウドサーバ、ローカルサーバ等であることができる。
【００４６】
演算装置（60）は、空気調和装置（10）及びリモートコントローラ（30）と有線または無線で通信可能に接続されている。これにより、演算装置（60）は、室内（r1）の温度等である室内環境情報センサ（13）の検知結果及びカメラ（26）の撮像した画像を空気調和装置（10）から取得することができ、リモートコントローラ（30）がユーザ（U1,U2,U3）から実際の眠気状態を表す眠気情報の入力を受け付けた場合、これを取得することができる。また、演算装置（60）は、自身が推定した推定結果である眠気状態を、空気調和装置（10）の制御部（14）に出力することができる。
【００４７】
なお、本実施形態では、演算装置（60）が空気調和装置（10）とは別の装置である場合を例示しているが、演算装置（60）は、制御部（14）と同様、ＣＰＵ及びメモリからなるマイクロコンピュータで構成され、空気調和装置（10）内に組み込まれていてもよい。
【００４８】
記憶部（62）は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部（62）には、主に、ユーザ情報（63）が格納されている。
【００４９】
図３に示すように、ユーザ情報（63）は、個々のユーザ（U1,U2,U3）についての、ユーザ（U1,U2,U3）の動作及び状態（表情を含む）と、その動作及び状態を採っている時のユーザ（U1,U2,U3）の眠気状態とが対応づけられた情報である。眠い時または眠くない時に自ずと行う行動や表情等は、ユーザ（U1,U2,U3）毎に異なる場合がある。即ち、眠気の感覚に対する行動や表情等には、ユーザ（U1,U2,U3）毎に癖があると考えられる。それ故、その癖を、いわばユーザ（U1,U2,U3）の眠気状態を指し示す基準として定義したものが、ユーザ情報（63）である。
【００５０】
ＣＰＵ（65）は、記憶部（62）や当該記憶部（62）以外の他のメモリに記憶された各種プログラムを読み出して実行することにより、推定部（66）及びモデル更新部（68）として機能する。
【００５１】
−ユーザの眠気状態の推定−
推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）の検知結果である室内環境情報とを必須パラメータとして用いて、ユーザ（U1,U2,U3）の眠気状態を推定する。このような推定部（66）は、推定モデル（67）を有する。
【００５２】
推定モデル（67）は、撮像された画像等からユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態の推定モデル（67）は、図４の破線に示すように、主として、カメラ（26）が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク（67a）、及び、画像処理の結果と室内環境情報センサ（13）の検知結果に関する情報とからユーザ（U1,U2,U3）の眠気状態を推定する眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
【００５３】
推定部（66）は、先ず、カメラ（26）が撮像した画像のデータを画像処理ニューラルネットワーク（67a）に入力する。画像処理ニューラルネットワーク（67a）では、画像データ（ここでは動画データ）の同時化処理等の他、エッジ検出やコントラスト処理等を駆使して、背伸びをしている等のユーザ（U1,U2,U3）の動作の抽出、目を閉じている等のユーザ（U1,U2,U3）の状態の抽出、ユーザ（U1,U2,U3）の性別の算出、ユーザ（U1,U2,U3）の年齢の算出が行われる。即ち、画像処理ニューラルネットワーク（67a）では、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び、状態が抽出され、眠気レベルを左右する一要因となる性別及び年齢が演算される。
【００５４】
図５（ａ）では、年齢の高低と眠気レベルとの関係の一例を概念的に表し、図５（ｂ）では、性別と眠気レベルとの関係の一例を概念的に表している。室内（r1）がとある温度で均一とした場合、図５（ａ）では、年齢が低い程、さほど眠気を感じないユーザ（U1,U2,U3）が多い傾向にあり、年齢が高い程、眠いと感じるユーザ（U1,U2,U3）は多い傾向にあることを表している。室内（r1）がとある温度で均一とした場合、図５（ｂ）では、同年齢にて比較すると、女性は、男性に比べて眠気を感じることが多い場合があることを表している。このように、求めた性別及び年齢は、眠気レベルを左右する指標の１つとなる。
【００５５】
図４に示すように、画像処理ニューラルネットワーク（67a）から出力された上記抽出結果及び上記演算結果と、例えば室内（r1）の温度、湿度、CO2の濃度である室内環境情報センサ（13）の検知結果（室内環境情報）に関する情報とが、眠気推定ニューラルネットワーク（67b）に入力される。本実施形態では、室内環境情報センサ（13）の検知結果は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、室内環境情報センサ（13）の検知結果に関する情報として眠気推定ニューラルネットワーク（67b）に入力される場合を例示しているが、演算ニューラルネットワーク（67c）を介さずに、直接眠気推定ニューラルネットワーク（67b）に入力されてもよい。
【００５６】
眠気推定ニューラルネットワーク（67b）では、入力された各種情報のうち、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び状態である抽出結果と室内環境情報センサ（13）の検知結果に関する情報とから、図３に係るユーザ情報（63）を基準として、個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、入力された演算結果、即ちユーザ（U1,U2,U3）の性別及び年齢が、個々のユーザ（U1,U2,U3）の眠気状態の算出において加味される。
【００５７】
例えば室内（r1）の温度が高かったりCO2の濃度が高かったりする程、ユーザ（U1,U2,U3）の眠気は誘発される。そこで、ユーザ（U1,U2,U3）の特定の動作及び状態と共に、室内環境情報センサ（13）の検知結果に関する情報が、個々のユーザ（U1,U2,U3）の眠気レベルの推定に利用される。また、図５（ａ）（ｂ）で示した性別や年齢と眠気レベルとの関係性を考慮することで、ユーザ（U1,U2,U3）各個人の眠気情報がよりきめ細かく推定される。
【００５８】
推定部（66）は、このようにして求めたユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、眠気状態の推定結果として、空気調和装置（10）の制御部（14）に送信する。
【００５９】
−推定モデルの更新−
図６に示すように、モデル更新部（68）は、カメラ（26）が撮像した画像のデータ及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の実際の眠気状態を表す眠気情報に基づいて上記推定モデル（67）を学習させる。
【００６０】
眠気状態の推定後にカメラ（26）が新たに撮像した画像に、例えばそれまで頬杖を付いていたユーザ（U1,U2,U3）が頬杖をしなくなった等の、ユーザ（U1,U2,U3）の動作及び状態に所望の変化が現れる可能性がある。この場合は、眠気状態の推定動作が比較的良好であって、その推定結果に基づく空調動作がユーザ（U1,U2,U3）の眠気状態を解消させる方向へと向かわせていると判断することができる。しかし、このような所望の変化が見られない場合は、眠気状態の推定動作が実際の眠気状態と乖離している可能性がある。そこで、モデル更新部（68）は、カメラ（26）が新たに撮像した画像を用いて推定モデル（67）を更新する。
【００６１】
また、リモートコントローラ（30）を介してユーザ（U1,U2,U3）が入力した眠気情報には、ユーザ（U1,U2,U3）の実際の眠気レベルが表れている。それ故、モデル更新部（68）は、リモートコントローラ（30）が受け付けた眠気情報も用いて推定モデル（67）を更新する。
【００６２】
このような更新動作により、推定モデル（67）（具体的には、眠気推定ニューラルネットワーク（67b））は、より実際の眠気状態に近い推定結果を算出できるようなモデルに更新されていく。
【００６３】
なお、モデル更新部（68）は、前回撮影した画像におけるユーザ（U1,U2,U3）の動作及び状態と、新たに撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態とを比較した結果、所望の変化がある場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が、眠気レベルが前回よりも所定レベル以上低下したことを表す内容である場合は、推定モデル（67）の更新動作は不要と判定し、推定モデル（67）の更新動作を行わずともよい。つまり、推定モデル（67）の更新動作は、前回撮像した画像と新たに撮像した画像との間でユーザ（U1,U2,U3）の動作及び状態に所望の変化がなかった場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が所望する眠気レベルよりも高い場合に行われると良い。ＣＰＵ（65）が不必要な処理を行うことで高負荷となることを和らげるためである。
【００６４】
なお、本実施形態では、推定モデル（67）のうち更新対象となるものは、眠気推定ニューラルネットワーク（67b）であるが、画像処理ニューラルネットワーク（67a）や演算ニューラルネットワーク（67c）が更に更新対象であってもよい。
【００６５】
なお、図６に示すように、推定モデル（67）を更新する際には、更に室内環境情報センサ（13）の検知結果も利用されてもよいが、利用されずともよい。
【００６６】
＜推定したユーザの眠気状態に伴う空調動作＞
図７は、ユーザ（U1,U2,U3）の眠気状態の推定動作、及び、推定した眠気状態（眠気レベル）に伴う空調動作の流れを示す図である。
【００６７】
カメラ（26）は、ユーザ（U1,U2,U3）の画像を撮像する（St11）。カメラ（26）が撮像した画像は、演算装置（60）に送信される。
【００６８】
演算装置（60）では、推定部（66）は、推定モデル（67）における画像処理ニューラルネットワーク（67a）を用いて、ユーザ（U1,U2,U3）の動作及び状態の抽出、性別及び年齢の演算を行う（St12）。推定部（66）は、推定モデル（67）における眠気推定ニューラルネットワーク（67b）に、ステップSt12における抽出結果及び演算結果と、室内環境情報センサ（13）の検知結果である室内環境情報（ここでは、検知結果に関する情報）とを入力して、各ユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を推定する（St13）。眠気状態の推定結果は、空気調和装置（10）の制御部（14）に送信される。
【００６９】
上記推定結果は、図示していないが、演算装置（60）が有するデータベースに格納される（St14）。この際、推定結果と共に、室内（r1）の温度を含む室内環境情報、現在の空気調和装置（10）の風向及び風量が、データベースに対応づけて格納される。データベースは、眠気状態の推定動作の精度向上のため、推定モデル（67）の更新時に用いられても良い。また、データベースは、以下の“閾値”を最適な値に補正するために用いられると更に好ましい。
【００７０】
空気調和装置（10）の制御部（14）は、推定された眠気レベルが閾値以下となるように、個々のユーザ（U1,U2,U3）に適した空調制御内容を算出し（St15）、算出した空調制御を実行させる（St16）。例えば、制御部（14）は、眠気レベルと閾値との差が大きい程、当該眠気レベルであるユーザ（U1,U2,U3）に対して冷却または加熱された空気を風量を上げた状態で供給する空調制御内容を実行する。制御部（14）は、眠気レベルと閾値との差が小さい程、当該眠気レベルであるユーザ（U1,U2,U3）に対しては現在の空気の供給量を維持する空調制御内容を実行する。このように、個々のユーザ（U1,U2,U3）の眠気レベルと閾値との差の大きさに応じて、そのユーザ（U1,U2,U3）への風向及び風量を変化させる空調制御内容が算出されて実行される。このような空調制御内容は、眠気レベルが高いユーザ（U1,U2,U3）に対しては眠気を解消させて覚醒を促し、眠気レベルが低いユーザ（U1,U2,U3）に対しては引き続き現在の状態を維持するように作用させるための内容と言える。これにより、各個人の眠気レベルは、空調制御によって改善または維持される。そのため、室内（r1）内のユーザ（U1,U2,U3）全体の眠気レベルの平均は改善され、ユーザ（U1,U2,U3）の作業性は向上する。
【００７１】
＜効果＞
室内の環境は、ユーザ（U1,U2,U3）の眠気状態に影響を及ぼす。そこで、演算装置（60）の推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と共に、室内環境情報センサ（13）の検知結果である室内環境情報（室内（r1）の温度やCO2濃度等）に基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気を精度良く把握することができる。
【００７２】
上記画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されている。そこで、推定部（66）は、ユーザ（U1,U2,U3）の動作及び状態を画像から抽出してユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度は向上する。
【００７３】
また、年齢及び性別の違いは、人が「眠い」と感じる感覚に影響を及ぼすことがある。そこで、推定部（66）は、画像からユーザ（U1,U2,U3）の年齢及び性別を演算し、その演算結果を更に用いてユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００７４】
また、カメラ（26）は、天井に設置されている空気調和装置（10）に設けられている。そのため、カメラ（26）は、室内（r1）に居るユーザ（U1,U2,U3）を、障害物により遮られる可能性が軽減された状態で、撮像することができる。
【００７５】
また、推定部（66）は、室内（r1）に居る複数のユーザ（U1,U2,U3）それぞれの眠気状態を推定する。即ち、本実施形態では、個々のユーザ（U1,U2,U3）の眠気状態を推定することができる。
【００７６】
ところで、ユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じている際にユーザ（U1,U2,U3）が採る動作及び状態は、ユーザ（U1,U2,U3）毎に異なることがある。そこで、推定部（66）は、個々のユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じた際に採る動作及び状態を表すユーザ情報（63）を、実際に撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態との照合に用いる。これにより、個々のユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００７７】
空気調和装置（10）の制御部（14）は、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、演算装置（60）の推定部（66）が推定した眠気状態に基づいて空調動作を制御する。これにより、ユーザ（U1,U2,U3）がリモートコントローラ（30）等を操作して眠気が解消するような空調動作の実行指示を空気調和装置（10）に与えずとも、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気が改善し覚醒を促すのに適した空調動作を自動的に行う。従って、ユーザ(U1,U2,U3）の利便性は向上し、ユーザ（U1,U2,U3）は、眠気状態が解消して覚醒し易くなる。
【００７８】
特に、ユーザ（U1,U2,U3）の眠気状態の推定精度が向上しているため、推定された眠気状態に応じた空調動作がなされることにより、ユーザ（U1,U2,U3）の眠気状態はより解消し易くなる。
【００７９】
特に、個々のユーザ（U1,U2,U3）の眠気状態を推定し、個々のユーザ（U1,U2,U3）の眠気状態に適した空調動作がなされることにより、室内（r1）に居るユーザ（U1,U2,U3）全体の眠気レベルを改善することができる。
【００８０】
また、ユーザ（U1,U2,U3）の画像及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の眠気情報に基づいて、推定モデル（67）が学習される。従って、推定部（66）が学習後の推定モデル（67）を用いて眠気状態の推定動作を行うことにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
【００８１】
≪第２実施形態≫
本実施形態では、上記第１実施形態において、空調制御装置（50）が更にサーモグラフィセンサ（128）（表面温度測定部に相当）を備え、推定部（66）は、ユーザ（U1,U2,U3）の眠気状態の推定動作に更にサーモグラフィセンサ（128）の検知結果を用いる場合について説明する。
【００８２】
図８は、第１実施形態の図４に対応する図であって、本実施形態に係る眠気状態の推定時の推定モデル（67）の入力及び出力を表す概念図である。図８の破線に示すように、推定部（66）における推定モデル（67）は、上記第１実施形態と同様、撮像された画像のデータと室内環境情報とからユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を演算によって求める専用のニューラルネットワークとして予め構築されている。具体的には、推定モデル（67）は、主として、画像処理ニューラルネットワーク（67a）と眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
【００８３】
上記第１実施形態と同様、室内環境情報センサ（13）の検出結果である室内環境情報は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、眠気推定ニューラルネットワーク（67b）に入力される場合を例示している。
【００８４】
画像処理ニューラルネットワーク（67a）の入力と出力は、上記第１実施形態と同様である。
【００８５】
眠気推定ニューラルネットワーク（67b）には、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加え、サーモグラフィセンサ（128）の検知結果が入力される。
【００８６】
サーモグラフィセンサ（128）は、室内（r1）に居る各ユーザ（U1,U2,U3）の表面温度を測定する。サーモグラフィセンサ（128）の室内（r1）での取り付け位置は、特に限定されることはなく、例えばリモートコントローラ（30）に組み込まれても良いし、空気調和装置（10）の下面（21）に取り付けられてもよい。
【００８７】
なお、図８に示すように、サーモグラフィセンサ（128）の検知結果は、室内環境情報センサ（13）の検知結果が演算ニューラルネットワーク（67c）にて演算処理されるのと同様、別途演算ニューラルネットワーク（67d）にて所定の演算が施された後に、眠気推定ニューラルネットワーク（67b）に入力されても良い。
【００８８】
眠気推定ニューラルネットワーク（67b）では、上記第１実施形態と同様、画像処理ニューラルネットワーク（67a）の抽出結果及び室内環境情報に基づいて個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、上記第１実施形態と同様、ユーザ情報（63）は基準として用いられる。画像処理ニューラルネットワーク（67a）の演算結果（年齢及び性別）に加えて、サーモグラフィセンサ（128）の検知結果（表面温度）が、ユーザ（U1,U2,U3）の眠気状態の算出において加味される。
【００８９】
サーモグラフィセンサ（128）の検知結果は、図９に示すように、推定モデル（67）の更新動作においても、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加えて用いられてもよい。
【００９０】
図８及び図９を用いて説明した以外、具体的には、空調制御装置（50）を用いた空調システム（100）の構成、ユーザ情報（63）、推定結果を用いた空調動作の詳細は、上記第１実施形態と同様であるため、説明を省略する。
【００９１】
このように、本実施形態では、ユーザ（U1,U2,U3）の眠気状態の推定に、ユーザ（U1,U2,U3）の実際の表面温度が更に用いられる。従って、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。また、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気がより改善し覚醒を促すのに適した空調動作を行うことができる。
【００９２】
なお、サーモグラフィセンサ（128）の検知結果は、更に、空気調和装置（10）からユーザ（U1,U2,U3）に供給される空気がユーザ（U1,U2,U3）にとって適切な温度及び風量であるのかを制御部（14）が判断するために利用されてもよい。例えば、ユーザ（U1,U2,U3）の眠気状態の改善のためと云えども、冷却された空気がユーザ（U1,U2,U3）に多量に供給されると、ユーザ（U1,U2,U3）の表面温度が過度に低下してしまい、かえってユーザ（U1,U2,U3）に対し刺激の与えすぎとなってしまう。そのため、サーモグラフィセンサ（128）の検知結果から、空気調和装置（10）がユーザ（U1,U2,U3）に供給する空気がユーザ（U1,U2,U3）にとって適切な温度及び風量ではないと判断した時は、制御部（14）は、サーモグラフィセンサ（128）の検知結果に基づいて供給する空気の温度及び風量を和らげるように空調制御内容を調整することが好ましい。
【００９３】
≪その他の実施形態≫
上記第１実施形態及び第２実施形態において、画像と室内環境情報におけるCO2濃度とを用いて、時間帯に即して眠気を解消するような空調制御が更に行われても良い。例えば、昼食後、人は眠くなる傾向にある。CO2濃度が高い程眠気は強くなる。そこで、空気調和装置（10）の制御部（14）は、午後は室内（r1）の目標温度を午前中よりも一時的に下げると共に、CO2の濃度に応じて目標温度の下げ幅を調整すると好ましい。その際、推定部（66）が、眠気レベルが高い人の数が所定数以上であると画像を用いて推定した場合、制御部（14）は、CO2濃度を下げるために、換気動作を空調動作として決定することが好ましい。
【００９４】
上記第１実施形態及び第２実施形態において、推定部（66）は、更に各ユーザ（U1,U2,U3）の心拍数の検知結果を各ユーザ（U1,U2,U3）の眠気状態の推定に用いても良い。これにより、各ユーザ（U1,U2,U3）の眠気レベルはより細かく把握されるようになる。各ユーザ（U1,U2,U3）の心拍数は、カメラ（26）が撮像した画像から、各ユーザ（U1,U2,U3）の状態を表す情報として算出されてもよいし、カメラ（26）とは別の心拍数を検知するセンサによって検知されても良い。各ユーザ（U1,U2,U3）の心拍数は、推定モデル（67）の学習の際に用いられても良い。
【００９５】
制御部（14）は、画像から演算されたユーザ（U1,U2,U3）の年齢及び性別を用いて、より個人が覚醒し易くなるような効果的な個別の空調動作が行われるように、空調動作を制御してもよい。
【００９６】
上記第１実施形態及び第２実施形態において、吸い込みセンサとは別のセンサが室内環境情報センサ（13）として設けられても良い。室内環境情報センサ（13）が検知する室内に関する情報は、室内（r1）の温度、湿度、CO2の濃度に限定されることはなく、室内（r1）の環境に関する様々な情報が含まれる。また、室内環境情報センサ（13）の検知結果は、室内（r1）の温度のみ、CO2の濃度のみであってもよい。
【００９７】
カメラ（26）が新たに撮像した画像は、リモートコントローラ（30）を介して入力されたユーザ（U1,U2,U3）の眠気情報と同様、推定モデル（67）の更新のみならず、空調動作の制御の微調整に利用されてもよい。
【００９８】
上記第１実施形態及び第２実施形態において、画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されていると説明したが、画像に写し出されているものは、ユーザ（U1,U2,U3）の動作及び状態のうち少なくとも１つであってもよい。この場合、画像処理ニューラルネットワーク（67a）の抽出結果は、ユーザ（U1,U2,U3）の動作及び状態のうち、少なくとも１つとなる。
【００９９】
ユーザ（U1,U2,U3）の性別及び年齢の演算結果は、眠気状態の推定に利用されずとも良い。
【０１００】
ユーザ（U1,U2,U3）の性別及び年齢を眠気状態の推定に用いる場合、ユーザ（U1,U2,U3）の性別及び年齢のいずれか一方が眠気状態の推定に用いられもよい。
【０１０１】
空気調和装置（10）は、室内（r1）の天井に設置されるタイプに限定されず、壁面設置タイプ、床置きタイプ等であることができる。
【０１０２】
カメラ（26）は、室内（r1）のユーザ（U1,U2,U3）を撮像できる位置にあればよく、空気調和装置（10）に設けられずともよい。例えば、カメラ（26）は、ユーザ（U1,U2,U3）のパーソナルコンピュータが有するウェブカメラであってもよい。
【０１０３】
上記第１実施形態及び第２実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザの人数が一人である場合にも適用することができる。
【０１０４】
また、空調制御装置（50）は、室内（r1）に居るユーザの人数が複数の場合、眠気状態の推定対象者は、全員ではなく、任意であってもよい。
【０１０５】
推定部（66）は、眠気状態の推定時に、ユーザ情報（63）を利用せずともよい。
【０１０６】
眠気状態の推定結果に基づいて空気調和装置（10）の空調動作を制御することは、必ずしも必須ではない。従って、眠気状態の推定動作のみを行う眠気推定装置であってもよい。
【０１０７】
推定モデル（67）の更新動作は行われなくても良い。
【０１０８】
推定モデル（67）の更新動作を行う場合、眠気状態の推定時と推定モデル（67）の更新動作時とで、使用するパラメータが同じであってもよいし、異なっていても良い。例えば、眠気状態の推定時のパラメータは、画像、室内の温度及び湿度、吹き出し口（24）から吹き出される空気の吹き出し温度及び湿度、風量、風向、空調能力のうち少なくとも１つであることができる。推定モデル（67）の更新動作時のパラメータは、画像、室内の温度及び湿度、風速、輻射温度、CO2の濃度のうち少なくとも１つであることができる。
【０１０９】
上記第１実施形態及び第２実施形態では、ニューラルネットワークで構築された推定モデル（67）を利用して眠気状態の推定が行われる場合を説明したが、眠気状態の推定動作は、上記推定モデル（67）を利用することなく、例えばプログラムを実行することによってなされてもよい。
【０１１０】
空調動作の制御は、制御部（14）に代えて演算装置（60）が行っても良い。
【産業上の利用可能性】
【０１１１】
以上説明したように、本発明は、ユーザの眠気状態を推定する眠気推定装置について有用である。
【符号の説明】
【０１１２】
10  空気調和装置
13  室内環境情報センサ（検知部）
14  制御部
26  カメラ（撮像部）
30  リモートコントローラ（受け付け部）
50  空調制御装置（睡眠推定装置）
62  記憶部
63  ユーザ情報
66  推定部
67  推定モデル
68  モデル更新部
U1,U2,U3  ユーザ
128  サーモグラフィセンサ（表面温度測定部）
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザ（U1,U2,U3）を撮像する撮像部（26）と、
上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、
上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、
上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）と、
上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像から上記ユーザ（U1,U2,U3）の実際の上記眠気状態を把握し、その把握結果に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、
を備えることを特徴とする眠気推定装置。
【請求項２】
請求項１において、
上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）、を更に備え、
上記モデル更新部（68）は、更に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記推定モデル（67）を学習させることを特徴とする眠気推定装置。
【請求項３】
請求項１または請求項２において、
上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習する
ことを特徴とする眠気推定装置。
【請求項４】
請求項３において、
上記空調動作の制御の内容には、上記空気調和装置に含まれる室内ファンの回転速度を調整することが含まれる
ことを特徴とする眠気推定装置。
【請求項５】
請求項１から請求項４のいずれか１項において、
上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）を更に備え、
上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習する
ことを特徴とする眠気推定装置。
【請求項６】
ユーザ（U1,U2,U3）を撮像する撮像部（26）と、
上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、
上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、
上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、
上記撮像部（26）が撮像した上記画像及び上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、
を備えることを特徴とする眠気推定装置。
【請求項７】
請求項１から請求項６のいずれか１項において、
上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、
上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項８】
請求項１から請求項７のいずれか１項において、
上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項９】
請求項１から請求項８のいずれか１項において、
上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、
を更に備え、
上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項１０】
請求項１から請求項９のいずれか１項において、
空気調和装置（10）が、上記室内（r1）の天井に設置されており、
上記撮像部（26）は、上記空気調和装置（10）に設けられている
ことを特徴とする眠気推定装置。
【請求項１１】
請求項１から請求項１０のいずれか１項において、
上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
ことを特徴とする眠気推定装置。
【請求項１２】
請求項１１において、
複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、
を更に備え、
上記推定部（66）は、
各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、
抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
ことを特徴とする眠気推定装置。