(57)【特許請求の範囲】
【請求項１】
対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、
前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する窓領域判定部と
を備えた室内レイアウト推定装置。
【請求項２】
前記赤外線カメラから出力された複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の複数の画素を含む複数の画素群のそれぞれの評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する標準偏差算出部と、
前記複数の画素群の中で、前記標準偏差算出部により算出された評価値が第２の閾値よりも大きい画素群を特定し、それぞれの画像に含まれている複数の画素のうち、特定した画素群に含まれている画素を含む領域が、それぞれの画像の中の前景領域であると判定する前景領域判定部と
を備えたことを特徴とする請求項１記載の室内レイアウト推定装置。
【請求項３】
前記標準偏差算出部は、
前記赤外線カメラから撮像時刻が互いに異なる複数の画像が出力されると、前記複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定する画素群特定部と、
前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する偏差算出処理部とを備えていることを特徴とする請求項２記載の室内レイアウト推定装置。
【請求項４】
前記画素群特定部は、前記赤外線カメラから、前記複数の画像と撮像時刻が異なる新たな画像が出力される毎に、前記複数の画像の中の一部の画像と前記新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、
前記偏差算出処理部は、前記画素群特定部によりそれぞれの画素群が特定される毎に、前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出することを特徴とする請求項３記載の室内レイアウト推定装置。
【請求項５】
前記前景領域判定部により判定されたそれぞれの前景領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの前景領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
【請求項６】
前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項５記載の室内レイアウト推定装置。
【請求項７】
前記前景領域判定部により判定されたそれぞれの前景領域の中で、人間が存在している領域として人間領域を判定する人間領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
【請求項８】
前記人間領域判定部により判定されたそれぞれの人間領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの人間領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項７記載の室内レイアウト推定装置。
【請求項９】
前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項８記載の室内レイアウト推定装置。
【請求項１０】
類似度算出部が、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出し、
窓領域判定部が、前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する
室内レイアウト推定方法。
【請求項１１】
請求項１から請求項９のうちのいずれか１項記載の室内レイアウト推定装置と、
前記室内レイアウト推定装置における領域の判定結果に基づいて、前記対象領域内の空気を調整する制御部と
を備えた空気調和機。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に関するものである。
【背景技術】
【０００２】
以下の特許文献１には、画像情報に含まれている複数の画素におけるそれぞれの輝度と輝度閾値とを比較し、輝度閾値よりも大きな輝度を有する画素を含む領域を、窓領域として検出する窓検出方法が開示されている。
特許文献１に開示されている窓検出方法では、例えば、太陽光によって空調室の全体が明るく照らされているときには、空調室の壁面と窓との区別ができるように輝度閾値が高めに設定される。また、例えば、窓にカーテンがかけられて、空調室の全体が暗いときには、輝度閾値が低めに設定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−４４３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像情報に含まれている複数の画素における輝度は、外気温に応じても変動する。しかし、特許文献１に開示されている窓検出方法では、外気温とは無関係に輝度閾値が設定されるため、窓領域も外気温と無関係に検出される。したがって、当該窓検出方法では、外気温が変化すると、窓領域の誤検出を生じることがあるという課題があった。【０００５】
この発明は上記のような課題を解決するためになされたもので、外気温が変化しても、窓領域の誤検出を防ぐことができる室内レイアウト推定装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る室内レイアウト推定装置は、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、画像に含まれている複数の画素のうち、類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部とを備えるようにしたものである。
【発明の効果】
【０００７】
この発明によれば、外気温が変化しても、窓領域の誤検出を防ぐことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。
【図２】実施の形態１に係る室内レイアウト推定装置２を示す構成図である。
【図３】実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
【図４】実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。
【図５】室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
【図６】室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。
【図７】過去１２時間分の画像Ｇｍのそれぞれに含まれている複数の画素ｐ１〜ｐＮのうち、窓領域Ｗｍに含まれている或る１つの画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移の一例を示す説明図である。
【図８】類似度算出部１２による評価値Ｓ１〜ＳＮの算出結果の一例を示す説明図である。
【図９】窓領域判定部１３による窓領域Ｗｍの判定結果の一例を示す説明図である。
【図１０】Ｍ個の撮像画像Ｇ１〜ＧＭのうち、ある１つの画像Ｇｍの一例を示す説明図である。
【図１１】Ｍ個の撮像画像Ｇ１〜ＧＭのうち、ある１つの画像Ｇｍにおける背景領域Ｂｍと前景領域Ｆｍとを示す説明図である。
【図１２】Ｍ個の画像Ｇ１〜ＧＭにおける前景領域Ｆ１〜ＦＭ内の下端の画素を示す説明図である。
【図１３】床領域判定部１６による床領域Ｙｍの判定結果の一例を示す説明図である。
【図１４】床面と壁面との境界線、床領域Ｙｍ、及び窓領域Ｗｍを示す説明図である。
【図１５】実施の形態３に係る室内レイアウト推定装置２を示す構成図である。
【図１６】実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【００１０】
実施の形態１．
図１は、実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。
図１において、赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域を撮像した画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭを室内レイアウト推定装置２に出力する。Ｍは、２以上の整数である。
一定の時間間隔Δｔは、例えば、１秒間に１０フレーム〜１秒間に６０フレームのうちの、いずれかのフレームレートでの撮像を可能とする時間間隔である。
【００１１】
対象領域は、後述するエアコン４により空気が調整される部屋の一部又は全体であり、対象領域には、窓、床、壁及び人間のほか、机、パソコン等が存在している。
対象領域は、固定されているため、Ｍ個の画像Ｇ１〜ＧＭは、同一の対象領域が撮像されている画像である。
画像Ｇｍ（ｍ＝１，・・・，Ｍ）は、ｘ軸と平行な方向（以下、「ｘ方向」と称する）と、ｙ軸と平行な方向（以下、「ｙ方向」と称する）とで表される２次元平面の画像である。例えば、画像Ｇｍのｘ方向は、対象領域が存在している空間の任意の水平方向に相当し、画像Ｇｍのｙ方向は、対象領域が存在している空間の鉛直方向に相当する。なお、本明細書において、「平行」は、厳密な意味での平行に限らず、略平行を含んでいる。
画像Ｇｍは、Ｎ個の画素ｐ１，ｍ〜ｐＮ，ｍを含んでおり、画素ｐ１，ｍ〜ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ〜ｐｄＮ，ｍは、温度を示すものである。Ｎは、２以上の整数である。
例えば、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐ１，Ｍは、画素位置が互いに同一の画素であり、画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ２，１〜ｐ２，Ｍは、画素位置が互いに同一の画素である。同様に、例えば、画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐＮ，１〜ｐＮ，Ｍは、画素位置が互いに同一の画素である。
【００１２】
室内レイアウト推定装置２は、赤外線カメラ１から出力されたＭ個の画像Ｇ１〜ＧＭに基づいて、対象領域の中で、窓が在る領域（以下、「窓領域」と称する）、床が在る領域（以下、「床領域」と称する）及び壁が在る領域（以下、「壁領域」と称する）のそれぞれを判定する。
室内レイアウト推定装置２は、窓領域の判定結果、床領域の判定結果及び壁領域の判定結果のそれぞれを制御部３に出力する。
【００１３】
制御部３は、室内レイアウト推定装置２から出力された判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
エアコン４は、対象領域内の空気を調整する機器である。
図１に示す空気調和機では、制御部３が、エアコン４を制御することで、対象領域内の空気を調整している。しかし、これは一例に過ぎず、制御部３が、扇風機、床暖房機又はパネルヒータ等の機器を制御することで、対象領域内の空気を調整するようにしてもよい。
【００１４】
図２は、実施の形態１に係る室内レイアウト推定装置２を示す構成図である。
図３は、実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７を備えている。
【００１５】
画像記憶部１０は、例えば、図３に示す画像記憶回路２０によって実現される。
画像記憶部１０は、赤外線カメラ１から出力されたＭ個の画像Ｇ１〜ＧＭを記憶する。
外気温記憶部１１は、例えば、図３に示す外気温記憶回路２１によって実現される。
外気温記憶部１１は、例えば、温度計によって、一定の時間間隔Δｔ’で測定された、測定時刻ｔが互いに異なるＭ個の外気温Ｔ１〜ＴＭを記憶する。
外気温Ｔｍ（ｍ＝１，・・・，Ｍ）は、対象領域を含む建物の外部の気温であり、対象領域と、建物の外部との間には、窓が存在している。
図２に示す室内レイアウト推定装置２では、外気温記憶部１１が、温度計によって測定された外気温Ｔ１〜ＴＭを記憶している。しかし、これは一例に過ぎず、室内レイアウト推定装置２の図示せぬ通信部が、例えば、気象データを配信しているインターネット上のサイトから、対象領域を含む建物付近の気温のデータをダウンロードし、外気温記憶部１１が、当該気温のデータを外気温Ｔ１〜ＴＭとして記憶するようにしてもよい。
【００１６】
Ｍ個の外気温Ｔ１〜ＴＭにおける測定の時間間隔Δｔ’と、Ｍ個の画像Ｇ１〜ＧＭにおける撮像の時間間隔Δｔとは、同一である。したがって、ｍ番目の外気温Ｔｍの測定時刻ｔ’と、ｍ番目の画像Ｇｍの撮像時刻ｔとは、同一時刻である。
ただし、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとが互いに異なっていてもよい。また、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとが互いに異なっていてもよい。
【００１７】
類似度算出部１２は、例えば、図３に示す類似度算出回路２２によって実現される。
類似度算出部１２は、画像記憶部１０に記憶されているＭ個の画像Ｇ１〜ＧＭを取得する。
類似度算出部１２は、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍのそれぞれの評価値Ｓ１〜ＳＮとして、Ｎ個の画素ｐ１，ｍ〜ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ〜ｐｄＮ，ｍの時間的な推移と、外気温記憶部１１に記憶されている外気温Ｔｍの時間的な推移との類似度を算出する。
類似度算出部１２は、算出したそれぞれの評価値Ｓ１〜ＳＮを窓領域判定部１３に出力する。
【００１８】
窓領域判定部１３は、例えば、図３に示す窓領域判定回路２３によって実現される。
窓領域判定部１３は、画像記憶部１０に記憶されているＭ個の画像Ｇ１〜ＧＭのうち、いずれか１つの画像Ｇｍを取得する。
窓領域判定部１３は、取得した画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍのうち、類似度算出部１２により算出された評価値Ｓｎ（ｎ＝１，・・・，Ｎ）が第１の閾値Ｔｈ１よりも大きい画素を含む領域が、画像Ｇｍの中の窓領域Ｗｍであると判定する。外気温Ｔｍの時間的な推移との類似度が高いほど、窓領域Ｗｍの可能性が高いため、評価値Ｓｎが第１の閾値Ｔｈ１よりも大きい画素を含む領域は、画像Ｇｍの中の窓領域Ｗｍであると判定される。第１の閾値Ｔｈ１は、例えば、窓領域判定部１３の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
窓領域判定部１３は、窓領域Ｗｍの判定結果として、例えば、窓領域Ｗｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
【００１９】
標準偏差算出部１４は、図４に示すように、画素群特定部１４ａ及び偏差算出処理部１４ｂを備えている。
標準偏差算出部１４は、例えば、図３に示す標準偏差算出回路２４によって実現される。
標準偏差算出部１４は、画像記憶部１０に記憶されているＭ個の画像Ｇ１〜ＧＭを取得する。
標準偏差算出部１４は、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍの中で、画素位置が同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ１〜ｖＮを算出する。
画素群（１）は、画素ｐ１，１、ｐ１，２、・・・、ｐ１，Ｍを含んでおり、画素群（２）は、画素ｐ２，１、ｐ２，２、・・・、ｐ２，Ｍを含んでいる。また、画素群（Ｎ）は、画素ｐＮ，１、ｐＮ，２、・・・、ｐＮ，Ｍを含んでいる。
標準偏差算出部１４は、画素群（ｎ）（ｎ＝１，・・・，Ｎ）の評価値ｖｎとして、例えば、画素群（ｎ）に含まれているＭ個の画素ｐｎ，１〜ｐｎ，Ｍにおける画素値ｐｄｎ，１〜ｐｄｎ，Ｍの標準偏差を算出する。
標準偏差算出部１４は、算出したそれぞれの評価値ｖ１〜ｖＮを前景領域判定部１５に出力する。
【００２０】
図４は、実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。
画素群特定部１４ａは、画像記憶部１０に記憶されているＭ個の画像Ｇ１〜ＧＭを取得する。
画素群特定部１４ａは、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
偏差算出処理部１４ｂは、画素群特定部１４ａにより特定されたそれぞれの画素群（１）〜（Ｎ）の評価値ｖ１〜ｖＮとして、それぞれの画素群（１）〜（Ｎ）に含まれているＭ個の画素ｐｎ，１〜ｐｎ，Ｍにおける画素値ｐｄｎ，１〜ｐｄｎ，Ｍの標準偏差を算出する。
偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１〜ｖＮを前景領域判定部１５に出力する。
【００２１】
前景領域判定部１５は、例えば、図３に示す前景領域判定回路２５によって実現される。
前景領域判定部１５は、Ｎ個の画素群（１）〜（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きい画素群（ｎ）を特定する。
第２の閾値Ｔｈ２は、例えば、前景領域判定部１５の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
前景領域判定部１５は、それぞれの画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐｎ，ｍを含む領域が、それぞれの画像Ｇｍの中の前景領域Ｆｍであると判定する。
前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
前景領域は、人間又は動物等の移動体が在る領域である。
【００２２】
前景領域Ｆｍは、画像Ｇｍの中で、背景領域Ｂｍ以外の領域である。したがって、前景領域判定部１５は、先に背景領域Ｂｍを判定し、その後、前景領域Ｆｍを判定するようにしてもよい。この場合、前景領域判定部１５は、まず、Ｎ個の画素群（１）〜（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖｎが第２の閾値Ｔｈ２以下の画素群（ｎ）を特定する。そして、前景領域判定部１５は、それぞれの撮像画像Ｇｍに含まれている画素ｐ１，ｍ〜ｐＮ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐｎ，ｍを含む領域が、それぞれの撮像画像Ｇｍの中の背景領域Ｂｍであると判定する。そして、前景領域判定部１５は、撮像画像Ｇｍの中で、背景領域Ｂｍ以外の領域が、前景領域Ｆｍであると判定するようにしてもよい。
【００２３】
床領域判定部１６は、例えば、図３に示す床領域判定回路２６によって実現される。
床領域判定部１６は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍの中で、画像Ｇｍのｙ方向で下端の位置に存在している画素を床領域画素として特定する。前景領域Ｆｍが、例えば、人間が在る領域であれば、前景領域Ｆｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。
床領域判定部１６は、それぞれの前景領域Ｆｍに含まれている床領域画素の全てを含む領域が、それぞれの画像Ｇｍの中の床領域Ｙｍであると判定する。
前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍのうち、画像Ｇｍのｙ方向で下端の位置に存在している画素は、前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も小さい画素である。
床領域判定部１６は、床領域Ｙｍの判定結果として、例えば、床領域Ｙｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
【００２４】
壁領域判定部１７は、例えば、図３に示す壁領域判定回路２７によって実現される。
壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗｍと、床領域判定部１６により判定された床領域Ｙｍとに基づいて、対象領域の中の壁領域Ｋｍを判定する。壁領域Ｋｍの判定方法は、後述する。
壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
【００２５】
図２では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７のそれぞれが、図３に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。
【００２６】
ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒy）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）が該当する。
また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
【００２７】
室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が該当する。
図５は、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれがコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
【００２８】
また、図３では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【００２９】
次に、図１に示す空気調和機の動作について説明する。
赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域の画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭを室内レイアウト推定装置２に出力する。
赤外線カメラ１から出力されたＭ個の画像Ｇ１〜ＧＭは、室内レイアウト推定装置２の画像記憶部１０に記憶される。画像記憶部１０には、例えば、過去２４時間分の画像Ｇｍが記憶される。
【００３０】
図６は、室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。
類似度算出部１２は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭを取得する。
現在の時刻が例えば１９時００分であれば、類似度算出部１２は、画像記憶部１０から、１９時００分を起点として、例えば過去１２時間分の画像Ｇｍを取得する。
図７は、過去１２時間分の画像Ｇｍのそれぞれに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍのうち、窓領域Ｗｍに含まれている或る１つの画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移の一例を示す説明図である。
【００３１】
また、類似度算出部１２は、外気温記憶部１１から、測定時刻ｔ’が互いに異なるＭ個の外気温Ｔ１〜ＴＭを取得する。
現在の時刻が１９時００分であれば、類似度算出部１２は、外気温記憶部１１から、１９時００分を起点として、過去１２時間分の外気温Ｔｍを取得する。
ここでは、類似度算出部１２が、過去１２時間分の画像Ｇｍを取得し、過去１２時間分の外気温Ｔｍを取得している。しかし、これは一例に過ぎず、類似度算出部１２が、例えば、過去２４時間分の画像Ｇｍを取得し、過去２４時間分の外気温Ｔｍを取得するようにしてもよい。
【００３２】
類似度算出部１２は、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍのそれぞれの評価値Ｓ１〜ＳＮとして、Ｎ個の画素ｐ１，ｍ〜ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ〜ｐｄＮ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度を算出する（図６のステップＳＴ１）。
例えば、画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度である評価値Ｓｎは、例えば、以下の式（１）のように表される。
0006987314.tif 000002
【００３３】
図２に示す室内レイアウト推定装置２では、類似度算出部１２が、画素ｐｎ，ｍの評価値Ｓｎとして、式（１）で表される類似度を算出している。しかし、画素ｐｎ，ｍの評価値Ｓｎとして、画素値ｐｄｎ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度を算出することができればよく、式（１）で表される類似度に限るものではない。
図８は、類似度算出部１２による評価値Ｓ１〜ＳＮの算出結果の一例を示す説明図である。図８において、黒色に近い領域ほど、類似度である評価値Ｓｎが高い領域であることを示している。
類似度算出部１２は、算出したそれぞれの評価値Ｓ１〜ＳＮを窓領域判定部１３に出力する。
【００３４】
窓領域判定部１３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭのうち、いずれか１つの画像Ｇｍを取得する。窓領域判定部１３が取得する１つの画像Ｇｍは、Ｍ個の画像Ｇ１〜ＧＭのうちのいずれの画像であってもよい。窓領域判定部１３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ−１を取得してもよい。
窓領域判定部１３は、類似度算出部１２により算出されたそれぞれの評価値Ｓ１〜ＳＮと、第１の閾値Ｔｈ１とを比較する。
窓領域判定部１３は、取得した画像Ｇｍに含まれている画素ｐｎ，ｍの評価値Ｓｎが第１の閾値Ｔｈ１よりも大きければ（図６のステップＳＴ２：ＹＥＳの場合）、画素ｐｎ，ｍが、窓領域Ｗｍ内の画素であると判定する（図６のステップＳＴ３）。
画素ｐｎ，ｍの評価値Ｓｎが第１の閾値Ｔｈ１以下であれば（図６のステップＳＴ２：ＮＯの場合）、画素ｐｎ，ｍは、窓領域Ｗｍ外の画素である。
【００３５】
窓領域判定部１３は、取得した画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍの中で、窓領域Ｗｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、画像Ｇｍの中の窓領域Ｗｍであると判定する（図６のステップＳＴ４）。
図９は、窓領域判定部１３による窓領域Ｗｍの判定結果の一例を示す説明図である。図９において、斜線が施されている領域は、窓領域Ｗｍである。なお、図９では、白色に近い領域ほど、温度が高い領域である。
窓領域判定部１３は、窓領域Ｗｍの判定結果として、例えば、窓領域Ｗｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
【００３６】
標準偏差算出部１４の画素群特定部１４ａは、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭを取得する。
画素群特定部１４ａは、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍの中で、例えば、Ｍ個の画素ｐｎ，１〜ｐｎ，Ｍは、画素位置が互いに同一の画素であり、画素群（ｎ）に含まれている。
【００３７】
標準偏差算出部１４の偏差算出処理部１４ｂは、以下の式（２）に示すように、画素群特定部１４ａにより特定された画素群（ｎ）の評価値ｖｎとして、画素群（ｎ）に含まれているＭ個の画素ｐｎ，１〜ｐｎ，Ｍにおける画素値ｐｄｎ，１〜ｐｄｎ，Ｍの標準偏差を算出する（図６のステップＳＴ５）。
0006987314.tif 000003
偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１〜ｖＮを前景領域判定部１５に出力する。
【００３８】
前景領域判定部１５は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭを取得する。
前景領域判定部１５は、標準偏差算出部１４により算出されたそれぞれの評価値ｖ１〜ｖＮと第２の閾値Ｔｈ２とを比較する。
前景領域判定部１５は、Ｎ個の画素群（１）〜（Ｎ）の中で、評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きければ（図６のステップＳＴ６：ＹＥＳの場合）、画素群（ｎ）に含まれている画素ｐｎ，ｍが、前景領域Ｆｍ内の画素であると判定する（図６のステップＳＴ７）。
複数の画素群（１）〜（Ｎ）の中で、評価値ｖｎが第２の閾値Ｔｈ２以下であれば（図６のステップＳＴ６：ＮＯの場合）、画素群（ｎ）に含まれている画素ｐｎ，ｍは、背景領域Ｂｍ内の画素である。
背景領域Ｂｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍは、時間が経過しても、ほとんど変化しないため、背景領域Ｂｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２以下となる可能性が高い。
一方、前景領域Ｆｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍは、時間の経過に伴って変化するため、前景領域Ｆｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２よりも大きくなる可能性が高い。
なお、窓領域Ｗｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍについても、時間の経過に伴って変化する。しかし、窓領域Ｗｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍの変化は、人間等の移動に伴う画素値ｐｄｎ，ｍの変化と比べると、極めて小さい。したがって、窓領域Ｗｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２以下となる可能性が高い。
【００３９】
前景領域判定部１５は、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍのうち、前景領域Ｆｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、それぞれの画像Ｇｍの中の前景領域Ｆｍであると判定する（図６のステップＳＴ８）。
前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
【００４０】
図１０は、Ｍ個の撮像画像Ｇ１〜ＧＭのうち、ある１つの画像Ｇｍの一例を示す説明図である。
図１１は、Ｍ個の撮像画像Ｇ１〜ＧＭのうち、ある１つの画像Ｇｍにおける背景領域Ｂｍと前景領域Ｆｍとを示す説明図である。図１１において、黒色の領域は、背景領域Ｂｍと判定された領域であり、白色の領域は、前景領域Ｆｍと判定された領域である。
図１１の例では、前景領域Ｆｍが、人間が存在している領域（以下、「人間領域Ｈｍ」と称する）と概ね一致している。なお、図１１では、人間領域Ｈｍの表記は省略されている。
図２に示す室内レイアウト推定装置２では、前景領域Ｆｍが人間領域Ｈｍと一致しているとして、後述する床領域判定部１６が、前景領域Ｆｍに基づいて、床領域Ｙｍを判定する。
【００４１】
床領域判定部１６は、前景領域判定部１５から、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを取得する。
床領域判定部１６は、取得した座標を示すデータに基づいて、Ｍ個の画像Ｇ１〜ＧＭにおけるそれぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍを特定する。
床領域判定部１６は、それぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍの中で、画像Ｇｍのｙ方向で、下端の位置に存在している画素を床領域画素として特定する。
前景領域Ｆｍが人間領域Ｈｍと一致していれば、前景領域Ｆｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。通常、人間は、時間とともに移動する。これは、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ１〜ＧＭのそれぞれにおける人間の位置、つまり、前景領域Ｆ１〜ＦＭの位置は互いに異なるものとなり、床の位置に対応する前景領域Ｆ１〜ＦＭ内の下端の位置も互いに異なるものとなることを意味する。したがって、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ１〜ＧＭにおける前景領域Ｆ１〜ＦＭ内の下端の位置を総合することにより、床領域Ｙｍを推定することができる。
【００４２】
床領域判定部１６は、前景領域Ｆ１〜ＦＭのそれぞれに含まれている床領域画素の全てを含む領域が、床領域Ｙｍであると判定する（図６のステップＳＴ９）。
床領域判定部１６は、床領域Ｙｍの判定結果として、例えば、床領域Ｙｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
ここでは、床領域判定部１６が、鉛直方向で下端の位置に存在している画素を床領域画素として特定している。しかし、これは一例に過ぎず、床領域判定部１６が、鉛直方向で下端の位置に存在している画素のほかに、下端の画素の周囲に存在している複数の画素を床領域画素として特定するようにしてもよい。
【００４３】
図１２は、Ｍ個の画像Ｇ１〜ＧＭにおける前景領域Ｆ１〜ＦＭ内の下端の画素を示す説明図である。図１２において、白色の領域は、それぞれの前景領域Ｆｍ内の下端の画素を含む領域である。
図１２が示している画像は、Ｍ個の画像Ｇ１〜ＧＭにおけるそれぞれの前景領域Ｆｍ内の下端の画素が集められている画像である。
図１２では、前景領域Ｆ１内の下端の画素、前景領域Ｆ２内の下端の画素、前景領域Ｆ３内の下端の画素、前景領域Ｆ４内の下端の画素、前景領域Ｆ５内の下端の画素、前景領域ＦＭ−１内の下端の画素、及び、前景領域ＦＭ内の下端の画素を例示している。
図１３は、床領域判定部１６による床領域Ｙｍの判定結果の一例を示す説明図である。図１３において、横線が施されている領域は、床領域Ｙｍである。
図１２が示す白色の領域と、図１３が示す床領域Ｙｍとは、記載の都合上、若干のずれがあるが、概ね一致している。
【００４４】
壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗｍと、床領域判定部１６により判定された床領域Ｙｍとに基づいて、対象領域の中の壁領域Ｋｍを判定する（図６のステップＳＴ１０）。
壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
【００４５】
以下、壁領域判定部１７による壁領域Ｋｍの判定処理を具体的に説明する。
壁領域判定部１７は、画像記憶部１０から、撮像時刻ｔが異なるＭ個の画像Ｇ１〜ＧＭのうち、いずれか１つの画像Ｇｍを取得する。壁領域判定部１７が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１〜ＧＭのうちのいずれの撮像画像であってもよい。壁領域判定部１７は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ−１を取得してもよい。
また、壁領域判定部１７は、床領域判定部１６から、床領域Ｙｍが存在している座標を示すデータを取得する。
【００４６】
壁領域判定部１７は、床領域Ｙｍが存在している座標を示すデータに基づいて、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍを特定する。
壁領域判定部１７は、図１３に示すように、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍのうち、画像Ｇｍのｙ方向で上端の画素をそれぞれ特定する。床領域Ｙｍ内の上端の画素は、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も大きい画素である。図１３では、床領域Ｙｍ内の上端の画素を９つ例示している。
壁領域判定部１７は、図１４に示すように、床領域Ｙｍ内の上端のそれぞれの画素を結ぶ線を含む線を、床面と壁面との境界線に決定する。
図１４は、床面と壁面との境界線、床領域Ｙｍ、及び窓領域Ｗｍを示す説明図である。
図１４において、横線が施されている領域は、床領域Ｙｍであり、斜線が施されている領域は、窓領域Ｗｍである。
【００４７】
壁領域判定部１７は、窓領域判定部１３から、窓領域Ｗｍが存在している座標を示すデータを取得する。
壁領域判定部１７は、窓領域Ｗｍが存在している座標を示すデータに基づいて、窓領域Ｗｍを特定する。
壁領域判定部１７は、画像Ｇｍの中で、床面と壁面との境界線よりも、画像Ｇｍのｙ方向でｙ座標が大きい領域のうち、窓領域Ｗｍ以外の領域が、壁領域Ｋｍであると判定する。床面と壁面との境界線よりも、画像Ｇｍのｙ方向でｙ座標が大きい領域は、図中、床面と壁面との境界線よりも上側の領域である。
壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
【００４８】
制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭのうち、いずれか１つの画像Ｇｍを取得する。制御部３が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１〜ＧＭのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ−１を取得してもよい。
制御部３は、窓領域判定部１３から窓領域Ｗｍの判定結果を取得し、床領域判定部１６から床領域Ｙｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋｍの判定結果を取得する。
制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
【００４９】
以下、制御部３による空気の調整例を具体的に説明する。
例えば、窓領域Ｗｍの設定温度がＴｅｍｐ１、床領域Ｙｍの設定温度がＴｅｍｐ２、及び、壁領域Ｋｍの設定温度がＴｅｍｐ３であるとする。設定温度Ｔｅｍｐ１、設定温度Ｔｅｍｐ２、及び、設定温度Ｔｅｍｐ３のそれぞれは、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
制御部３は、窓領域Ｗｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍの中から、窓領域Ｗｍに含まれている複数の画素ｐｎ，ｍを特定する。
制御部３は、窓領域Ｗｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、窓領域Ｗｍの平均温度を算出する。
制御部３は、窓領域Ｗｍの平均温度が、窓領域Ｗｍの設定温度Ｔｅｍｐ１と一致するように、エアコン４を制御する。
【００５０】
制御部３は、床領域Ｙｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍの中から、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍを特定する。
制御部３は、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、床領域Ｙｍの平均温度を算出する。
制御部３は、床領域Ｙｍの平均温度が、床領域Ｙｍの設定温度Ｔｅｍｐ２と一致するように、エアコン４を制御する。
【００５１】
制御部３は、壁領域Ｋｍの判定結果に基づいて、画像Ｇｍに含まれている複数の画素ｐ１，ｍ〜ｐＮ，ｍの中から、壁領域Ｋｍに含まれている複数の画素ｐｎ，ｍを特定する。
制御部３は、壁領域Ｋｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、壁領域Ｋｍの平均温度を算出する。
制御部３は、壁領域Ｋｍの平均温度が、壁領域Ｋｍの設定温度Ｔｅｍｐ３と一致するように、エアコン４を制御する。
【００５２】
ここでは、制御部３が、窓領域Ｗｍ、床領域Ｙｍ及び壁領域Ｋｍにおけるそれぞれの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、窓領域Ｗｍ、床領域Ｙｍ及び壁領域Ｋｍにおけるそれぞれの中間温度を算出するようにしてもよい。この場合、制御部３は、窓領域Ｗｍ等の中間温度が、窓領域Ｗｍ等の設定温度と一致するように、エアコン４を制御する。
【００５３】
以上の実施の形態１では、対象領域を撮像している赤外線カメラ１から出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部１２と、画像に含まれている複数の画素のうち、類似度算出部１２により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部１３とを備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができる。
【００５４】
実施の形態２．
図２に示す室内レイアウト推定装置２では、標準偏差算出部１４が、Ｍ個の画像Ｇ１〜ＧＭのそれぞれに含まれている画素ｐ１，１〜ｐＮ，１、ｐ１，２〜ｐＮ，２、・・・、ｐ１，Ｍ〜ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含む複数の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ１〜ｖＮを算出している。
実施の形態２では、Ｍ個の画像Ｇ１〜ＧＭと撮像時刻ｔが異なる新たな画像が画像記憶部１０に記憶される毎に、複数の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ１〜ｖＮを算出する室内レイアウト推定装置２について説明する。ここでは、説明の便宜上、新たな画像がＧＭ＋１であるとする。
【００５５】
以下、実施の形態２に係る室内レイアウト推定装置２について説明する。
実施の形態２に係る室内レイアウト推定装置２の構成は、実施の形態１に係る室内レイアウト推定装置２の構成と同様であり、実施の形態２に係る室内レイアウト推定装置２を示す構成図は、図２である。
【００５６】
赤外線カメラ１は、Ｍ個の画像Ｇ１〜ＧＭと撮像時刻ｔが異なる新たな画像ＧＭ＋１を室内レイアウト推定装置２に出力する。
室内レイアウト推定装置２の画像記憶部１０は、新たな画像ＧＭ＋１を記憶する。
標準偏差算出部１４の画素群特定部１４ａは、新たな画像ＧＭ＋１が画像記憶部１０に記憶されると、画像記憶部１０から、新たな画像ＧＭ＋１を取得する。
画素群特定部１４ａは、先に取得したＭ個の画像Ｇ１〜ＧＭのうち、例えば、最も撮像時刻ｔが古い画像Ｇ１を破棄する。
画素群特定部１４ａは、Ｍ個の画像Ｇ１〜ＧＭの一部である画像、即ち、破棄していない（Ｍ−１）個の画像Ｇ２〜ＧＭと新たな画像ＧＭ＋１とを含むＭ個の画像Ｇ２〜ＧＭ＋１のそれぞれに含まれている画素ｐ１，２〜ｐＮ，２、ｐ１，３〜ｐＮ，３、・・・、ｐ１，Ｍ＋１〜ｐＮ，Ｍ＋１のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
【００５７】
ここでは、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ１〜ＧＭのうち、最も撮像時刻ｔが古い画像Ｇ１を破棄している。しかし、これは一例に過ぎず、画素群特定部１４ａが、最も撮像時刻ｔが古い画像Ｇ１以外の画像を破棄するようにしてもよい。
また、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ１〜ＧＭのうち、２つ以上の画像を破棄するようにしてもよい。画素群特定部１４ａは、２つの画像を破棄した場合、破棄していない（Ｍ−２）個の画像と新たな画像ＧＭ＋１とを含む（Ｍ−１）個の画像として、画像Ｇ３〜ＧＭ＋１のそれぞれに含まれているＮ個の画素ｐ１，３〜ｐＮ，３、ｐ１，４〜ｐＮ，４、・・・、ｐ１，Ｍ＋１〜ｐＮ，Ｍ＋１のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
【００５８】
標準偏差算出部１４の偏差算出処理部１４ｂは、画素群特定部１４ａがＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する毎に、実施の形態１と同様に、それぞれの画素群（１）〜（Ｎ）の評価値ｖ１〜ｖＮとして、それぞれの画素群（１）〜（Ｎ）に含まれているＭ個の画素ｐｎ，１〜ｐｎ，Ｍにおける画素値ｐｄｎ，１〜ｐｄｎ，Ｍの標準偏差を算出する。
偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１〜ｖＮを前景領域判定部１５に出力する。
したがって、実施の形態２に係る室内レイアウト推定装置２では、Ｍ個の画像Ｇ１〜ＧＭと撮像時刻ｔが異なる新たな画像ＧＭ＋１が画像記憶部１０に記憶される毎に、Ｎ個の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ１〜ｖＮが更新される。
【００５９】
前景領域判定部１５は、標準偏差算出部１４によりそれぞれの評価値ｖ１〜ｖＮが更新される毎に、それぞれの評価値ｖ１〜ｖＮと第２の閾値Ｔｈ２とを比較する。
前景領域判定部１５は、実施の形態１と同様に、評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きければ、画素群（ｎ）に含まれている画素ｐｎ，ｍが、前景領域Ｆｍ内の画素であると判定する
前景領域判定部１５は、Ｍ個の画像Ｇ２〜ＧＭ＋１のそれぞれに含まれているＮ個の画素ｐ１，２〜ｐＮ，２、ｐ１，３〜ｐＮ，３、・・・、ｐ１，Ｍ＋１〜ｐＮ，Ｍ＋１のうち、前景領域Ｆｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、画像Ｇｍの中の前景領域Ｆｍであると判定する。
前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
【００６０】
以上の実施の形態２では、画素群特定部１４ａが、赤外線カメラ１から、複数の画像と撮像時刻が異なる新たな画像が出力される毎に、複数の画像の中の一部の画像と新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、偏差算出処理部１４ｂが、画素群特定部１４ａによりそれぞれの画素群が特定される毎に、画素群特定部１４ａにより特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出するように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、新たな画像に基づいて、前景領域を判定することができる。
【００６１】
実施の形態３．
実施の形態３では、前景領域判定部１５により判定された前景領域Ｆｍの中で、人間が存在している領域を判定する人間領域判定部１８を備えている室内レイアウト推定装置２について説明する。
【００６２】
図１５は、実施の形態３に係る室内レイアウト推定装置２を示す構成図である。
図１６は、実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
図１５及び図１６において、図２及び図３と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７を備えている。
【００６３】
図１６に示す室内レイアウト推定装置２では、前景領域判定部１５が、前景領域の判定結果として、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを人間領域判定部１８に出力する。
人間領域判定部１８は、例えば、図１６に示す人間領域判定回路２８によって実現される。
人間領域判定部１８は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆｍの中で、人間が存在している領域である人間領域Ｈｍを判定する。
人間領域判定部１８は、人間領域Ｈｍの判定結果として、例えば、人間領域Ｈｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。
【００６４】
図１５では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７のそれぞれが、図１６に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。
【００６５】
ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤが該当する。
また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【００６６】
室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれが、図５に示すコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、図５に示すコンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
【００６７】
また、図１６では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【００６８】
次に、図１５に示す室内レイアウト推定装置２の動作について説明する。ただし、人間領域判定部１８以外は、図２に示す室内レイアウト推定装置２と同様であるため、ここでは、主に、人間領域判定部１８の動作について説明する。
前景領域判定部１５は、実施の形態１と同様に、前景領域Ｆｍを判定すると、前景領域Ｆｍの判定結果として、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを人間領域判定部１８に出力する。
【００６９】
図２に示す室内レイアウト推定装置２では、床領域判定部１６が、前景領域Ｆｍが人間領域Ｈｍと一致しているとして、前景領域Ｆｍに基づいて、床領域Ｙｍを判定している。しかし、前景領域Ｆｍと人間領域Ｈｍとが厳密に一致しているとは限らないため、前景領域Ｆｍに基づく床領域Ｙｍの判定では、床領域Ｙｍを誤検出する可能性がある。
人間領域判定部１８は、前景領域判定部１５から前景領域Ｆｍの判定結果を受けると、公知の人体検出方法を用いて、前景領域Ｆｍの中で、人間が存在している領域である人間領域Ｈｍを判定する。
公知の人体検出方法として、例えば、ＨＯＧとＳＶＭとを用いる方法が考えられる。ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）は、局所領域の輝度の勾配方向をヒストグラム化している特徴量である。ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）は、教師あり学習を用いるパターン識別モデルである。
人間領域判定部１８は、人間領域Ｈｍの判定結果として、例えば、人間領域Ｈｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。
【００７０】
制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１〜ＧＭのうち、いずれか１つの画像Ｇｍを取得する。制御部３が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１〜ＧＭのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ−１を取得してもよい。
制御部３は、窓領域判定部１３から窓領域Ｗｍの判定結果を取得し、床領域判定部１６から床領域Ｙｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋｍの判定結果を取得し、人間領域判定部１８から人間領域Ｈｍの判定結果を取得する。
【００７１】
制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
例えば、人間領域Ｈｍの設定温度がＴｅｍｐ４であるとする。設定温度Ｔｅｍｐ４は、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
制御部３は、人間領域Ｈｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ〜ｐＮ，ｍの中から、人間領域Ｈｍに含まれている複数の画素ｐｎ，ｍを特定する。
制御部３は、人間領域Ｈｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、人間領域Ｈｍの平均温度を算出する。
制御部３は、人間領域Ｈｍの平均温度が、人間領域Ｈｍの設定温度Ｔｅｍｐ４と一致するように、エアコン４を制御する。
【００７２】
ここでは、制御部３が、人間領域Ｈｍの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、人間領域Ｈｍの中間温度を算出するようにしてもよい。この場合、制御部３は、人間領域Ｈｍの中間温度が、人間領域Ｈｍの設定温度Ｔｅｍｐ４と一致するように、エアコン４を制御する。
【００７３】
以上の実施の形態３では、前景領域判定部１５により判定された前景領域の中で、人間が存在している領域を判定する人間領域判定部１８を備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、人間が存在している領域内の空気を調整することが可能になる。
【００７４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００７５】
この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に適している。
【符号の説明】
【００７６】
１  赤外線カメラ、２  室内レイアウト推定装置、３  制御部、４  エアコン、１０  画像記憶部、１１  外気温記憶部、１２  類似度算出部、１３  窓領域判定部、１４  標準偏差算出部、１４ａ  画素群特定部、１４ｂ  偏差算出処理部、１５  前景領域判定部、１６  床領域判定部、１７  壁領域判定部、１８  人間領域判定部、２０  画像記憶回路、２１  外気温記憶回路、２２  類似度算出回路、２３  窓領域判定回路、２４  標準偏差算出回路、２５  前景領域判定回路、２６  床領域判定回路、２７  壁領域判定回路、２８  人間領域判定回路、３１  メモリ、３２  プロセッサ。
【図１】
0006987314.tif 000004
【図２】
0006987314.tif 000005
【図３】
0006987314.tif 000006
【図４】
0006987314.tif 000007
【図５】
0006987314.tif 000008
【図６】
0006987314.tif 000009
【図７】
0006987314.tif 000010
【図８】
0006987314.tif 000011
【図９】
0006987314.tif 000012
【図１０】
0006987314.tif 000013
【図１１】
0006987314.tif 000014
【図１２】
0006987314.tif 000015
【図１３】
0006987314.tif 000016
【図１４】
0006987314.tif 000017
【図１５】
0006987314.tif 000018
【図１６】
0006987314.tif 000019