(57)【特許請求の範囲】
【請求項１】
可視光帯域及び赤外光の一部帯域を含んだ帯域で室内を撮像する撮像部と、
前記撮像部が撮像した画像情報に基づき室内環境を認識する画像認識部と、
前記画像認識部が認識した室内環境に基づき、空調設定を変更する空調制御部と、
を備え、
前記画像認識部が認識する室内環境は、少なくとも人の顔の特徴又は人の動きの特徴であり、
前記撮像部は、可視光帯域及び近赤外光帯域を透過する赤外線カットフィルターを介して撮像することを特徴とする空気調和機。
【請求項２】
前記撮像部は、
光を集めるレンズと、
集められた光を電気信号に変換するセンサーと、
を備え、
前記赤外線カットフィルターは、前記レンズと前記センサーとの間に設けられたことを特徴とする請求項１に記載の空気調和機。
【請求項３】
赤外光を発する発光部を少なくとも一つ備え、
前記発光部は、前記撮像部が撮像するタイミングに応じて発光することを特徴とする請求項１又は請求項２に記載の空気調和機。
【請求項４】
前記発光部の少なくとも１つが、天井方向に発光して間接的に撮像範囲を照射することを特徴とする請求項３に記載の空気調和機。
【請求項５】
前記発光部が発する赤外光の、発光出力および発光方向のうち少なくとも一方を、前記撮像部が撮像する環境に応じて調整することを特徴とする請求項３又は請求項４に記載の空気調和機。
【請求項６】
空調設定の内容を赤外光として送信する通信部を有する操作部と、
前記通信部が送信した赤外光を受信する受光部と、
室内環境と、該室内環境に関連付けられた空調設定とを記録する記録部と、
を備え、
前記撮像部は、前記通信部が送信した赤外光を撮像し、
前記画像認識部は、前記撮像部が撮像した画像情報に基づき、前記操作部の位置と操作者を特定し、
前記空調制御部は、特定された操作者と前記受光部で受信した空調設定の内容とを関連付けて前記記録部に記録することを特徴とする請求項１又は請求項２に記載の空気調和機。
【請求項７】
可視光帯域及び赤外光の一部帯域を含んだ帯域で室内を撮像する撮像部と、
前記撮像部が撮像した画像情報に基づき室内環境を認識する画像認識部と、
前記画像認識部が認識した室内環境に基づき、空調設定を変更する空調制御部と、
空調設定の内容を赤外光として送信する通信部を有する操作部と、
前記通信部が送信した赤外光を受信する受光部と、
室内環境と、該室内環境に関連付けられた空調設定とを記録する記録部と、
を備え、
前記撮像部は、前記通信部が送信した赤外光を撮像し、
前記画像認識部は、前記撮像部が撮像した画像情報に基づき、前記操作部の位置と操作者を特定し、
前記空調制御部は、特定された操作者と前記受光部で受信した空調設定の内容とを関連付けて前記記録部に記録することを特徴とする空気調和機。
【請求項８】
前記通信部は、空調設定の内容の送信とは別に、位置特定に用いる赤外光を発することを特徴とする請求項６又は請求項７に記載の空気調和機。
【請求項９】
赤外光を発する発光部を少なくとも一つ備え、
撮像環境が所定の光量より少ない場合、
前記発光部は、前記撮像部が撮像をするときに、前記操作者の位置を含む範囲に赤外光を照射することを特徴とする請求項６〜請求項８のいずれか一項に記載の空気調和機。
【請求項１０】
室内環境と、該室内環境に関連付けられた空調設定とを記録する記録部を備え、
前記空調制御部は、
室内環境と該室内環境に関連付けられた空調設定とを前記記録部に記録し、
認識した室内環境と記録されている室内環境が類似する場合、
該室内環境に関連付けて記録されている空調設定に変更することを特徴とする請求項１〜請求項５のいずれか一項に記載の空気調和機。
【請求項１１】
前記空調制御部は、
室内環境と該室内環境に関連付けられた空調設定とを前記記録部に記録し、
認識した室内環境と記録されている室内環境が類似する場合、
該室内環境に関連付けて記録されている空調設定に変更することを特徴とする請求項６〜請求項９のいずれか一項に記載の空気調和機。
【請求項１２】
前記画像認識部は、
前記撮像部の撮像環境が明環境であるか暗環境であるかを判定する明暗判定部と、
前記画像認識部が前記撮像部の画像情報に基づいて認識した室内環境と、前記記録部に記録されている室内環境との類似度を判定する類似判定部と、
を備え、
前記撮像部が暗環境で撮像した場合、
前記類似判定部は、前記画像認識部が前記撮像部の画像情報に基づいて認識した室内環境と、前記記録部に記録されている室内環境と、の類似度を判定し、
両者の類似度が所定値以上の場合、
前記空調制御部は、
前記記録部に記録されている、当該室内環境に関連付けられた空調設定に変更することを特徴とする請求項１０又は請求項１１に記載の空気調和機。
【請求項１３】
可視光帯域及び赤外光の一部帯域を含んだ帯域で室内を撮像する撮像部と、
前記撮像部が撮像した画像情報に基づき室内環境を認識する画像認識部と、
前記画像認識部が認識した室内環境に基づき、空調設定を変更する空調制御部と、
室内環境と、該室内環境に関連付けられた空調設定とを記録する記録部と、
を備え、
前記空調制御部は、
室内環境と該室内環境に関連付けられた空調設定とを前記記録部に記録し、
前記画像認識部は、
前記撮像部の撮像環境が明環境であるか暗環境であるかを判定する明暗判定部と、
前記画像認識部が前記撮像部の画像情報に基づいて認識した室内環境と、前記記録部に記録されている室内環境との類似度を判定する類似判定部と、
を備え、
前記撮像部が暗環境で撮像した場合、
前記類似判定部は、前記画像認識部が前記撮像部の画像情報に基づいて認識した室内環境と、前記記録部に記録されている室内環境と、の類似度を判定し、
両者の類似度が所定値以上の場合、
前記空調制御部は、
前記記録部に記録されている、当該室内環境に関連付けられた空調設定に変更することを特徴とする空気調和機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像情報に基づき室内環境を認識し、その室内環境に応じて最適な空調制御をする空気調和機に関する。
【背景技術】
【０００２】
撮像した画像情報に基づき室内環境を認識し、その室内環境に応じて最適な空調制御をする、従来の空気調和機として、例えば、「空気調和を施すべき部屋の内部を撮影する赤外画像センサー１と、該画像センサー１による撮影画像に基づいて、人の数、位置、動作、活動量、或いは着衣量等の状況を判定する状況判定回路４と、該判定結果に基づいてエアコン本体６を制御するエアコン制御回路５とを具えている。状況判定回路４は、夜間運転において、赤外画像センサー１からの温度画像に基づいて、人体の皮膚露出部、着衣部、布団に覆われた部分の面積割合を算出し、該算出結果に基づいて等価着衣量を導出する。」というものがある（特許文献１参照）。
【０００３】
また、従来の空気調和機の別の例として、「ワイヤレス式リモコンにて制御される空気調和機の制御装置において、ワイヤレスリモコンに、送信ＬＥＤ及びキー入力変換手段、位置検出用信号出力用の計時手段を有した送信制御部を設け、また空気調和機制御装置に、ワイヤレス信号受信部、複数の受光素子を有した送信方向を検出する位置検出部および信号解読手段、位置検出信号検出用の計時手段、位置判定手段を有した受信制御部を設けた」というものも提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２５９９４２号公報（要約、図１）
【特許文献２】特開昭６３−３８８４９号公報（２頁）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の空気調和機は、ＣＣＤカメラに加え赤外光カメラを使用する必要がある。そのため、空気調和機のカメラ組込みスペースが大きくなったり、コストが大きくなってしまうという問題点があった。
【０００６】
また、特許文献２に記載の空気調和機は、リモコンから送信される位置検出用信号を受信するための位置検出部に専用の受光素子が複数必要であるため、コストが大きくなってしまうという問題点があった。また、特許文献２に記載の空気調和機は、リモコンの位置を検出できたとしても操作者が誰であるのかを検出できず、個人に応じて最適な空調設定となるように空調制御することはできないという問題点があった。
【０００７】
本発明は、上記のような課題を解決するためになされたもので、第１の目的は、複数のカメラを用いなくても、暗い環境でも室内環境に応じて最適な空調制御をすることができる空気調和機を提供することである。
【０００８】
また、第２の目的は、暗い環境でもリモコンによって送信された信号により、操作者の位置情報だけでなく個人を特定し、その個人と空調設定を関連して記録し、記録した空調設定に基づいて、操作を行わない時でも最適な空調制御を行う空気調和機を提供することである。
【課題を解決するための手段】
【０００９】
本発明の空気調和機は、可視光帯域及び赤外光の一部帯域を含んだ帯域で撮像することができる撮像部と、撮像部が撮像した画像情報に基づき室内環境を認識する画像認識部と、画像認識部が認識した室内環境に基づき、空調設定を変更する空調制御部と、を備え、画像認識部が認識する室内環境は、少なくとも人の顔の特徴又は人の動きの特徴であり、撮像部は、可視光帯域及び近赤外光帯域を透過する赤外線カットフィルターを介して撮像するものである。
【発明の効果】
【００１０】
本発明に係る空気調和機は、可視光帯域及び近赤外光帯域を透過する赤外線カットフィルターを介して撮像された撮像部の画像情報を認識し、その認識結果に基づいて空調制御を行う。したがって、安価な構成で、暗い環境においても室内環境に基づいて最適な空調制御（例えば、省エネルギーな空調制御や健康を損なわない空調制御）をすることができるという効果を有する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１における空気調和機を示す概略図である。
【図２】本発明の実施の形態１における撮像部を示す断面図である。
【図３】本発明の実施の形態１における撮像部を構成する赤外線カットフィルターの波長に対する透過率と、センサーの波長に対する感度の特性図である。
【図４】本発明の実施の形態１における空気調和機の構成を示すブロック図である。
【図５】本発明の実施の形態１における画像認識部の制御動作を示すフローチャートである。
【図６】本発明の実施の形態１における画像認識部を構成する顔検出処理用の識別関数である。
【図７】本発明の実施の形態１における画像の輝度情報をパターン化する二値矩形フィルターのイメージ図である。
【図８】本発明の実施の形態１における画像認識部を構成する顔認識部の制御動作を示すフローチャートである。
【図９】本発明の実施の形態２における空気調和機を示す概略図である。
【図１０】本発明の実施の形態２における発光部を複数備えた空気調和機の概略図である。
【図１１】本発明の実施の形態２における発光部の照射範囲と撮像部の撮像範囲を示す図である。
【図１２】本発明の実施の形態３における空気調和機の操作部を含む概略図である。
【図１３】本発明の実施の形態３における発光部を含む空気調和機と操作部の概略図である。
【図１４】本発明の実施の形態３における画像認識部と空調制御部の制御動作を示すフローチャートある。
【図１５】本発明の実施の形態４における画像認識部の制御動作を示すフローチャートである。
【図１６】本発明の実施の形態４における類似判定部の制御動作を示すフローチャートである。
【図１７】本発明の実施の形態４における人の大きさによる個人認識を説明する図である。
【図１８】本発明の実施の形態４における人の体勢認識を説明する図である。
【図１９】本発明の実施の形態４における人の向き認識を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の空気調和機について、図面を用いて詳細に説明する。
【００１３】
実施の形態１．
図１は本実施の形態１における空気調和機を示す概略図である。
図１において、空気調和機１には空調制御をする対象の室内を撮像する撮像部２（特許文献１におけるカメラに相当）が搭載されている。空調制御をする対象の室内を撮像できれば、撮像部２の搭載位置は限定されることはない。したがって、撮像部２の搭載位置は、空気調和機１の前面右側であっても左側であっても中央であってもよく、その撮像方向を調整できるように可動式にしてもよい。また、撮像部２の撮像範囲は室内広域を撮像できるように広角であることが多い。そのため、空気調和機１の前面でなく下面に搭載されていたとしても室内全体を撮像できる方向に配置されていればよい。
【００１４】
図２は、本発明の実施の形態１における撮像部２の構成を示す概略図である。
撮像部２は、レンズ２ａとセンサー２ｂと赤外線カットフィルター２ｃで構成されている。レンズ２ａは、光を集めてセンサー２ｂに届けるものであり、その材質はプラスチックでもガラスでもよい。また、レンズ２ａは、プラスチックであれば材料価格は安いが、性能品質を確保するために生産性が劣化する場合がある。また、レンズ２ａは傷や温湿度に対する信頼性を確保するためプラスチック材料を調整するなど、用途や環境に応じて適切な材質を選定する。
センサー２ｂは、レンズ２ａで集められた光を電気信号に変換するものである。センサー２ｂには、ＣＣＤとＣＭＯＳがあり、ＣＣＤは消費電力が大きく価格も高いが感度が良いことから従来多く使用されていた。一方、ＣＭＯＳは低消費電力でＣＣＤに比べて低価格だが感度が低かった。しかし、ＣＭＯＳは、近年の技術進化によりＣＣＤ同等の感度を得ることができており、センサーに入力される各画素の情報を抽出できる特徴もあり、多くの製品に導入されている。
【００１５】
赤外線カットフィルター２ｃは、レンズ２ａとセンサー２ｂの間に配置され、レンズ２ａで集められた光成分から赤外光の一部帯域をカットする機能を持つ。赤外光の入力により画像の鮮明さが弱くなることから、鮮明な画像を撮像するために可視光のみを入力できるよう赤外線カットフィルター２ｃが使用される。センサー２ｂが入力できる波長は、可視光帯域よりも広く、センサー２ｂに使用する材料特性にも依存するが一般に赤外光帯域までの感度を持つ。本実施の形態１のセンサー２ｂも、赤外光帯域までの感度を持つ。
ここで、赤外光とは近赤外光と中赤外光と遠赤外光とを含む光であり、近赤外光は波長が７５０ｎｍ〜２５００ｎｍ近傍の光であり、中赤外光は波長が２５００ｎｍ〜４０００ｎｍ近傍の光であり、遠赤外光は波長が４０００ｎｍ〜１ｍｍ近傍の光であるものとする。
【００１６】
図３は、本発明の実施の形態１における赤外線カットフィルター２ｃの透過率と、センサー２ｂの感度特性とを示したグラフである。
センサー２ｂの感度特性Ａは、可視光帯域では感度は高く、それより波長の大きい赤外光帯域では感度は下がるもののゼロになることはなく入射されれば受光できる。そこで、本実施の形態１における撮像部２では、Ｂのような特性を持つ赤外線カットフィルター２ｃを使用することで可視光より大きい波長帯域を透過しないようにカットしている。本実施の形態１では、赤外光の一部帯域を透過できる赤外線カットフィルター２ｃを使用しており、例えばＣのように近赤外帯域を透過できる特性を持つ赤外線カットフィルター２ｃを使用している。そのため、撮像部２は、可視光と近赤外光の両方を撮像することができる。また、本実施の形態１では、撮像する光の帯域は、可視光帯域に限定する必要はないため撮像部２から赤外線カットフィルター２ｃを取り除いてもよい。また、赤外線カットフィルター２ｃが透過できる帯域も特に制限はない。
【００１７】
図４は、本発明の実施の形態１における空気調和機１（より詳しくは、空気調和機１の制御装置）の構成を示している。
本発明の実施の形態１における空気調和機１は、撮像部２と画像認識部３Ａと空調制御部４とを備えている。また、空気調和機１は、本発明における記録部として例えば、後述する顔画像登録ＤＢ１２を備えている。撮像部２は、撮像した画像情報を画像認識部３Ａに出力する。そして、画像認識部３Ａは、室内環境の認識結果を空調制御部４に出力する。そして、空調制御部４は、画像認識部３Ａの認識結果に基づいて風向や風量や設定温度などの空調設定を制御する。
【００１８】
図５は、本発明の実施の形態１の画像認識部３Ａの制御動作を示すフローチャートである。
画像認識部３Ａの認識について、顔認識を例として説明する。なお、認識する室内環境は、顔情報に限らず、例えば動き認識でもよい。その場合、画像認識部３Ａは、撮像部２が撮像する室内空間に発生する動きを認識する。そして、空調制御部４は、その動きの位置、大きさ又は数などの状況に応じて、空調設定をする。この動き認識について簡単に紹介する。例えば、事前に撮像した背景画像と現在の画像との各画素の輝度値の差を計算し、その差が予め設定した閾値以上である領域を動きのある領域として認識する方法がある。また、１フレーム前の画像と現フレームの画像との各画素の輝度値の差を計算し、その差が閾値以上ある領域を動きのある領域として認識する方法がある。また、非特許文献”Shadow Detection by Integrating Multiple Features”, Kuo-Hua Lo and   Mau-Tsuen Yang, Proceedings of 18th International Conference on Pattern Recognition  2006, Vol.1, pp 743-746 に示されるように背景の変化領域中の影を除去した領域を人体の動きのある領域として認識する方法がある。
【００１９】
ここで、顔認識を例とした画像認識部３Ａの説明に戻る。
ステップＳ１において、撮像部２が空気調和機１を設置した室内空間を撮像した撮像情報を取得する。この撮像情報を表現するためにＲＧＢ(Ｒｅｄ赤、Ｇｒｅｅｎ緑、Ｂｌｕｅ青の頭文字)やＹＵＶ（Ｙ：輝度信号、Ｕ：青色成分の差分信号、Ｖ：赤色成分の差分信号の３要素により色を表現する方式）などの表現がある。ＹＵＶの特徴は、人間が輝度Ｙの変化を色相ＵＶの変化よりも気づきやすい性質であるため、輝度情報に多くの情報量を割り当てることにより少ないデータ量でも効率的に色を表現できる。そのため、本実施の形態１では、ＹＵＶ情報の輝度Ｙを利用する方法を例として説明する。一般に誰の顔なのか認識する前に、撮像画像の中のどこに顔があるのか顔を検出する必要がある。
【００２０】
ステップＳ２において、撮影情報ＹＵＶから輝度Ｙを抽出し、ステップＳ３の顔検出処理により顔か否かを判定して撮像画像の中から顔を検出する。そして、その顔を顔認識部５にて誰の顔なのか認識する。ステップＳ３の顔検出処理では、大量の顔画像学習で得られる図６のような識別関数を利用して、入力画像の任意の部分領域を走査することで、入力画像に顔が含まれているか否かを判定する。図６のような識別関数を利用して、入力画像の任意の部分領域を走査することで、入力画像に顔が含まれているか否かを判定する。図６の例では顔画像は識別関数の顔画像空間にマッピングされ、サッカーボールは非顔画像空間にマッピングされておりサッカーボールが顔でないと判定される。なお、入力画像を識別関数に適用するために、画像の輝度情報をパターン化する二値矩形フィルターを使用する。図６の３０ａ〜３０ｄは二値矩形フィルターであり、図７は、二値矩形フィルターのイメージ図である。この顔検出処理は撮像画像の全域にわたりサイズ未知の顔に適用するため、例えば、想定されるサイズの数に比例してフィルターを展開するとそのデータサイズが大きくなりプログラム実行の演算処理の負荷も大きい特徴をもつ。
【００２１】
図８は、本発明の実施の形態１における顔認識部５の制御動作を示すフローチャートである。
ステップＳ４において顔検出処理の結果を取得し、ステップＳ５において顔の特徴点を抽出して数値化する。次にステップＳ６においてその数値を正規化し、ステップＳ７においてその正規化された顔情報１１と顔画像登録ＤＢ１２（ＤＢ：データベース）の登録顔情報１３とを比較してどの顔であるのかを照合する。照合した結果より、ステップＳ８において類似度を算出し、ステップＳ９においてその算出値によりどの顔であるか、例えば居住者本人であるかを判定する。そして、顔画像登録ＤＢ１２に例えば、氏名、年齢、性別、体質、好みなどの特徴情報を顔情報と関連付けて予め登録しておくことで、顔検出処理により検出された個人の特徴情報を得ることができる。なお、顔認識部５における顔認識は、顔検出処理により検出された顔が誰なのか特徴点を比較する処理であるため、処理の負荷は顔検出処理に比べて小さい。
【００２２】
一方、近年製品化されている入退室管理向けなどセキュリティ用の顔認識においては、通行者は顔を認識させないと通過できないため、非撮像者である該通行者は意識的に撮像部に近づき正面を向く。そのため、認識部が認識処理には有利な大きい画素から成る画像情報を取得することができる。また、非撮像者が目をつぶってしまい認識されない場合でも、認識されるまで何度か撮影できる。
【００２３】
これに対して本実施の形態１における撮像部２は、空気調和機１に設置されているため、通常、空気調和機１が位置する高い位置であり頭上から撮像することになる。そのため、撮像部２は、顔を認識しづらく、室内のどこに被撮像者が存在するか特定しづらい。また、撮像部２は、広域を撮影するため被撮像者が小さく写ることもあるなど、顔認識が困難である。また、従来の空気調和機は、特に室内が暗い場合には認識に必要な輝度情報をまったく入手できないという問題点もあった。そのため、本実施の形態１における空気調和機１では、前述のように赤外線カットフィルター２ｃを外したり、図３のＣのような一部赤外光帯域を透過させる特性を持つ赤外線カットフィルター２ｃを使用した。これにより、センサー２ｂに入射される情報を増し、つまり感度を上げることで、空気調和機１を設置した室内においても必要な輝度情報を取得することができる。赤外光を透過させることでセンサー２ｂは可視光帯域以外の情報も入力する。なお、赤外光帯域が入射されると色精度の劣化はあるが、形状や位置などの情報は正しく取得する。
【００２４】
これまで個人の顔認識を例に説明したが、室内環境として認識する対象は顔だけでなく手足など体のパーツであったり、ソファーやＴＶなど物体でもよい。例えば、手の動きを認識することでジェスチャー操作によって空調制御をすることもでき、壁やＴＶの位置がわかれば空調を必要としない無駄な方向への空調を無くすこともできる。
【００２５】
以上のように、本実施の形態１における空気調和機１は、撮像部２の近赤外帯域における撮像を可能にしている。そのため、安価な構成で、暗い環境でも撮像対象の形状や位置などの情報を正しく取得し、室内環境を認識することができる。そして、その認識結果を用いて、空調制御部４は、室内環境に応じた最適な空調制御をすることができる。例えば空調制御部４は、個人の空調設定の好みと存在位置の情報を得れば、その位置への到達風速やその位置の周囲温度が好みの空調設定になっているかが分かる。例えば、風が当たることが嫌いで好みの温度が２５度である人が室内にいる場合に、その人に風が当たり周囲温度が２７度になっていたとする。その場合、空調制御部４はその人の位置に風が当たらないように吹き分けをし、設定温度を低くして２５度になるように調整することで快適な環境をつくることができる。
【００２６】
また、本実施の形態１における空気調和機１は、必要な空間に必要な空調をすることができるため、無駄な空調も無くなり省エネルギーで運転することもできる。また、空調制御部４は、人の位置や体勢の情報を得ることで、例えば、人が横になっているときに冷房運転している場合は、体に直接冷風があたることは避けるよう吹き分けたり風量を抑えることができる。そのような場合、人の活動量も少ないため、空調制御部４は、設定温度を上げたりすることで寝冷え防止など健康を損なうことも防止できる。さらに、前述のように動き認識を用いることで、ジェスチャー操作により空調制御をすることもできるので空気調和機１に操作部（先行文献２におけるリモコンに相当）を搭載しないことも可能である。
【００２７】
実施の形態２．
本実施の形態２では、実施の形態１の空気調和機１に、発光部６を加えたものについて説明する。なお、本実施の形態２において、特に記述しない項目については実施の形態１と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。
【００２８】
図９は、本発明の実施の形態２における空気調和機１の一例を示す概略図であり、図１の空気調和機１に、発光部６を加えた空気調和機１を示す概略図である。図１０は、発光部６を複数備えた空気調和機１の概略図であり、図１１は、発光部６の照射範囲と撮影部の撮影範囲を示す図である。
【００２９】
本実施の形態２における空気調和機１の制御についての構成は実施の形態１で説明した図４と同じであり、撮像部２の構成も実施の形態１で説明した図２と同様である。また、本実施の形態２の空気調和機１は、実施の形態１における図１の空気調和機１に発光部６を加えたものである。空気調和機１に付いている発光部６は赤外線カットフィルター２ｃにより透過できる赤外光帯域の光を発し、その発光タイミングや発光強度は調整可能としてもよい。赤外線カットフィルター２ｃの特性が図３のように赤外光を透過する特性であれば、発光部６は空気調和機１の操作部に使用されているものと同じ発光素子でもよく、操作部と双方向通信できる空気調和機１で通信用に近赤外発光素子が搭載されていればそれを使用してもよい。
【００３０】
また、発光部６は１つである必要は無く、図１０のように複数であってもよい。例えば複数ある場合は、そのいくつかが天井を向いていてもよい。そして、発光部６の配置は空気調和機１の前面あるいは下部が望ましく、発光方向は撮像部２の撮像方向に合わせておくことが望ましい。
【００３１】
また、図１１のように撮像範囲と発光範囲が重なれば必ずしも撮像部２と横並びにしておく必要は無い。仮に撮像範囲が移動するような撮像部２を備えていれば発光部６もその移動に合わせて発光範囲を変えるよう可動式にしてもよい。
【００３２】
次に空気調和機１の動作について説明する。
発光部６が赤外光を発するのは通常、撮像部２が暗いと判断したときに撮像するタイミングだけである。例えば、室内の照度が１０Ｌｘ以下の場合、撮像部２のセンサー２ｂの撮像のタイミングに応じて、発光部６は赤外光を発光する。なお、センサー２ｂの感度が大きければ、発光部６が発光する閾値は１０Ｌｘである必要はない。その閾値は、センサー感度に適応して、例えば０．１Ｌｘでもよい。ここで、赤外光を照射したときに撮像部２が撮像した画像が白ボケするようであれば、赤外光の出力が強いと判断できるため、次回撮像時はその発光出力を抑えるなどの調整をしてもよい。また、発光部６は、複数の発光素子を搭載している場合は発光する素子の数を少なくしてもよい。発光部６は、撮像部２の撮像方向とは異なる方向、例えば天井方向に向けて間接的に撮像範囲を照射するなど、発光方向を調整してもよい。
【００３３】
また、一般に暗い環境において人が室内を移動することは少ないため、空気調和機１を設置した室内の全域を画像認識する必要はない。また、撮像部２のレンズ２ａやセンサー２ｂが安価な構成である場合に撮像した画像が歪んだり、画素数が少ないため撮像範囲全域において画像認識できない場合もある。そのため、発光部６は、撮像部２の撮像範囲のうち例えば顔認識できる範囲のみ照射してもよい。
このようにして、発光部６の光を撮像対象に照射させることで、暗い環境でも撮像した画像情報に基づいて実施の形態１に記載した画像認識処理を実施する。
【００３４】
以上のように、本実施の形態２では、実施の形態１と同様の効果もあるが、それに加えて次のような効果がある。画像認識部３Ａは、発光部６を搭載することで、暗い環境でも画像情報を取得できるため、実施の形態１よりもさらに、暗い環境での室内環境の認識が容易となる。また、例えば感度が低いセンサー２ｂを使用した場合でも、暗い環境で室内環境を認識できる。そのため、空気調和機１は、安価な構成で環境によらず空調対象の室内の状態を判断でき、最適な空調制御をすることができる。また、撮像部２は、赤外光を使用すれば、人に気づかれず撮像できるのでカメラのフラッシュのような不快感を与えることなく室内環境を認識できる。そして、発光部６の発光は通常、暗いとき、かつ撮像部２が撮像するタイミングのみであるので不必要な発光はなく省エネルギーで運転できる。なお、実施の形態１よりもさらに、暗い環境での撮像を可能にしたので、見晴らしの良い位置に設置される空気調和機１を、安否確認やセキュリティ用途として使用することもできる。
【００３５】
実施の形態３．
本実施の形態３では、空調設定を変更したり運転状態を表示する操作部７を備える空気調和機１について説明する。なお、図１２は、本発明の実施の形態３の空気調和機１の概略図であり、図１３は、発光部６を含む空気調和機１と操作部７の概略図であり、図１４は、本発明の実施の形態３における画像認識部３Ｂと空調制御部４の制御フローである。なお、本実施の形態３において、特に記述しない項目については実施の形態１又は実施の形態２と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。
【００３６】
操作部７は空調設定の内容を赤外光として送信する通信部９を備えており、通信部９は、空気調和機１の空調設定を変更するために操作部７に従来から搭載されている近赤外線発光素子であってもよい。また、本実施の形態３では、空気調和機１には受光部８が搭載されており、受光部８は通信部９が発する光を受信して、空調制御部４はその受信した内容に基づき操作部７で操作された空調設定情報を認識する。そして、通信部９が発する光は、撮像部２の赤外線カットフィルター２ｃが透過できる赤外光であり、発光タイミングや発光強度は調整可能としてもよい。通信部９が発する光又はその反射光が撮像部２に搭載されたセンサー２ｂに入射すると、撮像部２は通信部９が発した赤外光を撮像する。
【００３７】
また、空気調和機１には図１３のように発光部６があってもよく、発光部６は通信部９と互いに通信するために従来から搭載されている近赤外発光素子でもよい。また、通信部９も空気調和機１の発光部６と同様にその数は１つである必要は無く、複数であってもよい。複数ある場合はその発光方向が異なるように配置することが望ましい。なお、図１２は、実施の形態１に操作部７を備えた図である。また、図１３は、実施の形態２に操作部７を備えた図である。
【００３８】
次に、空気調和機１の動作について説明する。
操作部７を操作すると、空調設定が通信部９より近赤外光信号として送信される。そして、空気調和機１に搭載される受光部８は、その近赤外光信号を受信する。そして、空調制御部４は、その受信した信号の内容に基づき空調設定を変更する。また、撮像部２は、室内全体を撮像するとともに、この操作部７の操作時に通信部９から送信される近赤外光も同時に撮像する。画像認識部３Ｂは、この操作部７の位置特定を行うとともに、操作部７を操作した操作者を認識する。
【００３９】
図１４は、本発明の実施の形態３における画像認識部３Ｂと空調制御部４の制御フローである。
図１４の画像認識部３Ｂは、実施の形態１で説明した図４の空気調和機１に含まれる画像認識部３Ａの替わりに備えるものである。ステップＳ１およびＳ２は、実施の形態１の図５における処理と同じである。そして、ステップＳ１１において受光部８が受信した近赤外光の入射による輝度変化を検出する。輝度変化の検出については、実施の形態１で動きの認識を説明したが、その認識方法と同様に輝度変化を検出すればよい。例えば、その方法は背景画像と現在の画像との差分で認識する方法であってもよいし、１フレーム前の画像と現フレームの画像との差分で認識する方法でもよい。次にステップＳ１２において撮像範囲のどの位置で通信部９が発光したか検出する。ステップＳ１２において検出した光が、通信部９が発光した光であると確認するために、例えば次のような方法がある。通信部９が送信する近赤外光信号の大きさと発光範囲、すなわち、撮像部２が撮像する通信部９の送信時の輝度値と輝度変化範囲などの特性を、予め記録部が情報として持っておく。そして、ステップＳ１１において、輝度変化があった領域のうち、その特性に類似している特性の光を認識したら、操作部７および通信部９が存在していると判定できる。
【００４０】
撮像部２の撮像タイミングと通信部９の送信タイミングが合わずに、通信部９の発光を撮像部２が撮り逃してしまう場合がある。これを防ぐため、撮像部２の撮像間隔（一般にフレームレートと呼ぶ）に応じて通信部９の発光時間を長くしてもよい。発光時間を長くするために、操作部７の空調設定の内容は従来通りに通信部９から送信し、それとは別に通信部９は、操作部７の位置特定に用いる赤外光を発する。その発光は、空調設定の通信とは関係がないため、少なくとも撮像部２の撮像間隔の時間中、発光を続けていれば撮り逃すことは無くなる。また、操作部７の空調設定の内容を受光部８が受信したら、撮像部２は他の処理よりも優先して撮像間隔を一定時間上げることで撮り逃しを無くしてもよい。
【００４１】
また、図１３のように空気調和機１に発光部６が備えられている場合には、通信部９が送信した近赤外光信号を受光部８が受信したタイミングに応じて、発光部６を発光させ撮像部２が撮像をする。そうすることで操作部７が操作されたときのみ、すなわち室内に確実に人が存在するときに、撮像部２は暗い環境でも室内を撮像することができる。さらに、空気調和機１に発光部６と受光部８を備え、操作部７に通信部９および受光部を備えて、双方向通信が実現できる場合もある。その場合、通信部９は操作部７の位置を検出できるまで何回か繰り返して発光するように、空気調和機１の発光部６は操作部７に対して発光要求をしてもよい。
【００４２】
また、画像認識部３Ｂにおいて、ステップＳ１とステップＳ２の処理の後、撮像した情報について、ステップＳ３における顔検出処理を行う。この顔検出処理は、実施の形態１の図５のステップＳ３と同じである。顔認識部５は、この検出した結果を用いて、顔認識処理を行う。そして、空調制御部４のステップＳ１０において、実施の形態１および２に記載の顔認識において使用する、顔画像登録ＤＢ１２に、操作部７の空調設定の内容と操作者の画像情報を関連付けて記録する。実施の形態１および実施の形態２で説明したように、例えば夜間に、操作者が操作を行わなくても、画像認識部３Ｂが上記の記録された情報を用いることで、空調制御部４がその操作者の好みの空調設定に自動で変更することができる。
【００４３】
以上のように、本実施の形態３では、実施の形態１と同様の効果もあるが、それに加えて次のような効果がある。画像認識部３Ｂは、操作部７の位置を暗い環境でも精度良く確実に検出することで空調設定をした操作者の位置を認識できる。そのため、空調空間に複数人が存在するときでも操作部７の位置に基づき個人を特定し、その個人の空調設定の好みを記録できる。そして、空調制御部４は、記録された情報を用いることで、操作を必要とすることなくその個人の好みの空調設定に変更することができる。さらに、個人の存在する空間に限定して空調を行うことができる。以上のように、本実施の形態３の空気調和機１は、室内環境に対して最適な空調制御をすることができ、省エネルギーで運転をすることができる。
【００４４】
実施の形態４．
実施の形態１〜実施の形態３では、空気調和機１が設置された環境に存在する人物を認識する方法について説明をした。しかし撮像部２から人物までの距離が離れていたり、発光部６の発光が不足して、暗い環境にて室内環境を認識できない場合がある。そこで、本実施の形態４では、撮像部２の撮像画像をもとに顔認識部５で顔を認識できない場合でも個人を認識する方法を説明する。
【００４５】
図１５は、本実施の形態４における画像認識部３Ｃであり、図４の空気調和機の画像認識部３Ａの代わりに用いる。図１６は、図１５の画像認識部３Ｃの一部である、類似判定部１０である。図１６の類似判定部１０は、図８の顔認識部５の構成に類似しているが、認識する対象が顔だけでなく身体であることを特徴とする。個人特徴登録ＤＢ１７にも、顔画像だけでなく認識した顔、身体画像、行動パターンおよび空調設定の好み等の個人特徴を格納する。また、個人特徴登録ＤＢ１７は、図４の空気調和機の構成において顔画像登録ＤＢ１２の代わりに用いる。なお、本実施の形態４において、特に記述しない項目については実施の形態１〜３と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。また、図１７は本実施の形態４における人の大きさ認識を説明する図であり、図１８は本実施の形態４における体勢認識を説明する図であり、図１９は本実施の形態４における向き認識を説明する図である。
【００４６】
次に動作について説明する。
類似判定部１０では、顔や位置などを認識するとともに、その顔をもつ人の大きさや体勢や向きなど身体特徴も認識する。身体特徴の認識方法として、例えば大きさの認識について説明する。動きを認識つまり輝度変化がある範囲を認識できれば、その範囲に人が存在する可能性が高いことが分かる。したがって、その範囲の位置に人が存在し、範囲の大きさがその人の大きさであると推測できる。そして、図１７に示すように、輝度変化がある範囲が大きさが大きければ、大人（男）２１または大人（女）２０、小さければ子供１９であると判断できる。なお、動きの認識については実施の形態１で説明した方法がある。
【００４７】
類似判定部１０における判定処理は、動きだけでの判断ではテーブルに隠れていたり、体の一部分しか動かしていない場合など、誤認識する場合もある。そのため、ステップＳ３の顔検出処理によりはじめに顔を抽出して、動きのある範囲のうち顔が存在する範囲が人の範囲であると認識することで、認識精度を改善することもできる。さらに、動きの範囲をある時刻だけでなく任意の間隔だけ認識し続けることで、例えばソファーに隠れていた足など、物体に隠れていた体の一部の動きも時間経過により認識することができ、これにより認識精度を改善してもよい。
【００４８】
また、体勢の認識については、大きさと同様に動きの認識により動きの範囲が横長であれば横になっていると判断することができる。また、体勢についても顔を認識することで認識精度を改善することができる。例えば、図１８のように目と口が水平に配置されていると認識すればそれは寝ている人２３と認識することができる。また顔の高さにより、座っている人２２、または立っている人２４と認識することができる。向きについても、図１９のように両目を認識できれば正面向きの人２６、鼻に対して右側の目だけを認識する場合は左向きの人２５、左側の目だけを認識する場合は右向きの人２７であると認識できる。
【００４９】
また、髪型や服装の情報により男女、年齢などの特徴を認識してもよい。実施の形態１では、撮像画像のＹＵＶのうち輝度Ｙを使用する方法を説明したが、Ｙ以外に色情報ＵとＶを使用してもよい。例えば、服装の色の登録情報から好みの服装で個人を判別することができる。特に一般家庭であれば、空気調和機１が設置された室内環境に存在する人は、大人男性と大人女性と子供である場合が多い。そのため、体の大きさにより大人か子供を判別でき、髪型や体型や服装により男女をおおよそ判別することができる。
【００５０】
このように、顔以外に大きさや体勢や向きなどの身体の特徴、その顔をもつ人の空調設定の好み、操作履歴および存在位置等の特徴情報を、図１６の個人特徴登録ＤＢ１７に記憶しておく。また、特徴に更新があれば、個人特徴登録ＤＢ１７の情報を更新する。前述の通り、撮像部２から撮像対象までの距離が離れていたり、顔認識範囲外であったり、発光部６の発光が不足して暗い環境では、撮像画像が粗くなることで顔を認識できない場合がある。また、空気調和機１の設置位置が頭上であることから、室内を上方から撮像するため、顔認識部５が顔を認識できない場合もある。しかし、顔を認識できなくても前述の通り、動き認識により身体の大きさや体勢など認識可能な身体の特徴情報もある。
【００５１】
そこで、図１５で示すように、ステップＳ１３の明暗判定部において暗環境と判定した場合、図１６のような類似判定を行う。
まず、ステップＳ１４にて撮像情報の取得を行う。次のステップＳ１５とステップＳ１６の処理は、図８のステップＳ５とステップＳ６の処理と同様であり、認識する対象が異なるだけである。ステップＳ１７では、認識された身体情報１６と個人特徴登録ＤＢ１７の登録身体情報１８を身体認証処理にて照合する。ステップＳ１８において、その照合結果を用いて類似度を算出し、ステップＳ１９において、その類似度が所定値以上であればある個人であると特定する。また、個人特徴登録ＤＢ１７に記憶する情報は、人だけでなくテーブルや椅子やソファーなど物体であってもよい。その場合、暗い環境になってもその一部認識できる情報をもとに比較して、その物体であるか判定してもよい。そして、その認識した室内環境に基づき、空調設定をどのような設定にすれば室内にいる人や、その人が存在する空調空間を最適に空調制御できるかを判断できる。
【００５２】
以上のように、本実施の形態４では、実施の形態１と同様の効果もあるが、それに加えて次のような効果がある。人の大きさや体勢など、顔よりも大きい画像情報から認識できる情報と事前に記録した身体情報を類似判定することで、暗い環境や撮像部２から離れた場所の個人も特定できる。そのため、空調制御部４は、個人特徴登録ＤＢ１７に登録されている個人に関連付けられた空調設定を用いて、空調設定を調整することができる。そして、空気調和機１の設置された室内にいる人は、空調設定の操作をすることなく、空気調和機１が設置された室内環境において、最適な空調環境を得ることができる。
【符号の説明】
【００５３】
１  空気調和機、２  撮像部、２a  レンズ、２b  センサー、２c  赤外線カットフィルター、３Ａ  画像認識部、４  空調制御部、５  顔認識部、６  発光部、７  操作部、８  受光部、９  通信部、１０  類似判定部、１１  顔情報、１２  顔画像登録ＤＢ、１３  登録顔情報、１６  身体情報、１７  個人特徴登録ＤＢ、１８  登録身体情報、１９  子供、２０  大人（女）、２１  大人（男）、２２  座っている人、２３  寝ている人、２４  立っている人、２５  左向きの人、２６  正面向きの人、２７  右向きの人、３０ａ〜３０ｄ  ２値矩形フィルター。
【図１】
0005511477.tif 000002
【図２】
0005511477.tif 000003
【図３】
0005511477.tif 000004
【図４】
0005511477.tif 000005
【図５】
0005511477.tif 000006
【図６】
0005511477.tif 000007
【図７】
0005511477.tif 000008
【図８】
0005511477.tif 000009
【図９】
0005511477.tif 000010
【図１０】
0005511477.tif 000011
【図１１】
0005511477.tif 000012
【図１２】
0005511477.tif 000013
【図１３】
0005511477.tif 000014
【図１４】
0005511477.tif 000015
【図１５】
0005511477.tif 000016
【図１６】
0005511477.tif 000017
【図１７】
0005511477.tif 000018
【図１８】
0005511477.tif 000019
【図１９】
0005511477.tif 000020