(57)【要約】  設備機器制御装置（１００）は、第１の空間（１０ａ）の画像を撮影する第１撮影部（１）と、第２の空間（１０ｂ）の画像を撮影する第２撮影部（４）と、第１撮影部が撮影した第１画像を解析して第１の空間に存在する人（１１ａ）の位置情報を生成するとともに、第１の空間に存在する人を含む一定範囲の画像を第１画像から抽出する学習用データ生成部（２）と、位置情報および学習用データ生成部が抽出した第１の抽出画像を用いて、第１の空間に存在する人の特徴および第１の空間に存在する人の滞在位置を学習する学習部（３）と、第２撮影部が撮影した第２画像を解析して第２の空間に存在する人（１１ｂ）を検出し、検出した人を含む一定範囲の画像を第２画像から抽出する人検出部（５）と、人検出部が抽出した第２の抽出画像と学習部による学習結果とを用いて、第１の空間に設置された設備機器（８）を制御する機器制御部（６）と、を備える。
2020115791.tif 000002
【特許請求の範囲】
【請求項１】
第１の空間の画像を撮影する第１撮影部と、
第２の空間の画像を撮影する第２撮影部と、
前記第１撮影部が撮影した画像である第１画像を解析して前記第１の空間に存在する人の位置情報を生成するとともに、前記第１の空間に存在する人を含む一定範囲の画像を前記第１画像から抽出する学習用データ生成部と、
前記学習用データ生成部が生成した位置情報および前記学習用データ生成部が抽出した画像である第１の抽出画像を用いて、前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の滞在位置を学習する学習部と、
前記第２撮影部が撮影した画像である第２画像を解析して前記第２の空間に存在する人を検出し、検出した人を含む一定範囲の画像を前記第２画像から抽出する人検出部と、
前記人検出部が抽出した画像である第２の抽出画像と前記学習部による学習結果とを用いて、前記第１の空間に設置された設備機器を制御する機器制御部と、
を備える設備機器制御装置。
【請求項２】
前記機器制御部は、前記第２の抽出画像および前記学習結果を用いて、前記第２の空間に存在する人の特徴が前記学習部で学習済みの人の特徴と一致するか否かを判断し、特徴が一致する場合に前記第１の空間に設置された設備機器を制御する、
請求項１に記載の設備機器制御装置。
【請求項３】
前記機器制御部は、前記第１の空間に設置された複数の設備機器のうち、前記第２の空間に存在する人が前記第１の空間に滞在する場合の滞在位置と対応付けられている設備機器を制御する、
請求項２に記載の設備機器制御装置。
【請求項４】
前記学習結果を表示する表示部、
を備える請求項１から３のいずれか一つに記載の設備機器制御装置。
【請求項５】
前記第１画像および前記第２画像を熱画像とする、
請求項１から４のいずれか一つに記載の設備機器制御装置。
【請求項６】
前記設備機器を空調装置とする、
請求項１から５のいずれか一つに記載の設備機器制御装置。
【請求項７】
前記学習部は、外部の計算機システムを利用して前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の前記第１の空間における滞在位置を学習する、
請求項１から６のいずれか一つに記載の設備機器制御装置。
【請求項８】
設備機器制御装置が、第１の空間の画像を撮影する第１の撮影ステップと、
前記設備機器制御装置が、前記第１の撮影ステップで撮影した画像である第１画像を解析して前記第１の空間に存在する人の位置情報を生成するとともに、前記第１の空間に存在する人を含む一定範囲の画像を前記第１画像から抽出する学習用データ生成ステップと、
前記設備機器制御装置が、前記学習用データ生成ステップで生成した位置情報および前記学習用データ生成ステップで抽出した画像である第１の抽出画像を用いて、前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の滞在位置を学習する学習ステップと、
前記設備機器制御装置が、第２の空間の画像を撮影する第２の撮影ステップと、
前記設備機器制御装置が、前記第２の撮影ステップで撮影した画像である第２画像を解析して前記第２の空間に存在する人を検出し、検出した人を含む一定範囲の画像を前記第２画像から抽出する人検出ステップと、
前記設備機器制御装置が、前記人検出ステップで抽出した画像である第２の抽出画像と前記学習ステップにおける学習結果とを用いて、前記第１の空間に設置された設備機器を制御する機器制御ステップと、
を含む設備機器制御方法。
【請求項９】
第１の空間の画像である第１画像および第２の空間の画像である第２画像を用いて前記第１の空間に設置された設備機器を制御する設備機器制御装置が前記第１の空間に滞在する人の特徴を学習する学習方法であって、
前記第１画像を解析して前記第１の空間に存在する人の位置情報を生成する位置情報生成ステップと、
前記第１の空間に存在する人を含む一定範囲の画像を前記第１画像から抽出する画像抽出ステップと、
前記位置情報および前記画像抽出ステップで抽出した画像である第１の抽出画像を用いて、前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の滞在位置を学習する学習ステップと、
を含む学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設備機器の制御を行う設備機器制御装置、設備機器制御方法および学習方法に関する。
【背景技術】
【０００２】
近年、ユーザの行動を予測して動作を行い、ユーザの快適性を高める設備機器が提案されている。特許文献１に記載の空気調和機では、室内を撮像して得られる画像情報に基づいて人体の位置を検出し、検出した位置を示す人体位置情報を、人体位置情報を取得した時刻を示す時刻情報と関連付けて記憶する。そして、記憶している人体位置情報および時刻情報に基づいて、現在時刻にユーザが存在するエリアと、今後にユーザが存在するエリアとを推定し、推定したエリアを対象として空調を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１７３２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明は、ユーザが複数存在する場合に各ユーザを識別して各ユーザに合わせた空調を行うことができない、という問題があった。【０００５】
本発明は、上記に鑑みてなされたものであって、設備機器が設置された空間に滞在するユーザが複数存在する場合でも設備機器の制御をユーザに合わせて行うことが可能な設備機器制御装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる設備機器制御装置は、第１の空間の画像を撮影する第１撮影部と、第２の空間の画像を撮影する第２撮影部と、第１撮影部が撮影した画像である第１画像を解析して第１の空間に存在する人の位置情報を生成するとともに、第１の空間に存在する人を含む一定範囲の画像を第１画像から抽出する学習用データ生成部と、を備える。設備機器制御装置は、また、学習用データ生成部が生成した位置情報および学習用データ生成部が抽出した画像である第１の抽出画像を用いて、第１の空間に存在する人の特徴および第１の空間に存在する人の滞在位置を学習する学習部と、第２撮影部が撮影した画像である第２画像を解析して第２の空間に存在する人を検出し、検出した人を含む一定範囲の画像を第２画像から抽出する人検出部と、人検出部が抽出した画像である第２の抽出画像と学習部による学習結果とを用いて、第１の空間に設置された設備機器を制御する機器制御部と、を備える。
【発明の効果】
【０００７】
本発明にかかる設備機器制御装置は、設備機器が設置された空間に滞在するユーザが複数存在する場合でも設備機器の制御をユーザに合わせて行うことができる、という効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１にかかる設備機器制御装置の構成例を示す図
【図２】実施の形態１にかかる設備機器制御装置の学習動作の一例を示すフローチャート
【図３】実施の形態１にかかる設備機器制御装置が設備機器を制御する動作の一例を示すフローチャート
【図４】実施の形態１にかかる設備機器制御装置を実現するハードウェアの一例を示す図
【図５】実施の形態２にかかる設備機器制御装置の構成例を示す図
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態にかかる設備機器制御装置、設備機器制御方法および学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１０】
実施の形態１．
図１は、本発明の実施の形態１にかかる設備機器制御装置の構成例を示す図である。実施の形態１にかかる設備機器制御装置１００は、第１撮影部１、学習用データ生成部２、学習部３、第２撮影部４、人検出部５、機器制御部６および表示部７を備える。
【００１１】
設備機器制御装置１００の動作を簡単に説明すると、設備機器制御装置１００は、第１の空間１０ａを第１撮影部１が撮影して得られる画像を用いて人１１ａの特徴を学習し、第２の空間１０ｂで検出した人１１ｂが人１１ａと同様の特徴を有する場合、すなわち、学習済みの人１１ａが第２の空間１０ｂに存在すると判断した場合、第１の空間１０ａに設置された設備機器８の運転を開始させるといった制御を行う。設備機器８の例は、空調装置、照明機器、パーソナルコンピュータなどである。設備機器制御装置１００は、学習済みの人１１ａが第２の空間１０ｂに存在するか否かを、第２撮影部４が第２の空間１０ｂを撮影して得られる画像と、学習結果を示す学習済みモデルとを用いて判断する。なお、図１では第２の空間１０ｂを１つとしているが２つ以上であってもよい。また、第２の空間１０ｂは第１の空間１０ａと一部重複していてもよい。第２の空間１０ｂが２つ以上の場合、その中の１つの第２の空間１０ｂは第１の空間１０ａと同じであってもよい。また、図１では、便宜上、第１の空間１０ａに設置されている設備機器８を１台だけ記載しているが、実際には２台以上の設備機器８が設置されているものとする。
【００１２】
設備機器制御装置１００において、第１撮影部１は、可視光カメラまたは赤外線カメラである。赤外線カメラを使用して第１撮影部１を構成する場合、可視光カメラを使用する場合と比較して、コストを低く抑えることができる。第１撮影部１は、第１の空間１０ａを撮影し、撮影で得られた画像である撮影画像を学習用データ生成部２へ出力する。第１撮影部１が学習用データ生成部２へ出力する撮影画像は第１画像である。ここで、第１の空間１０ａは、オフィスなどであり、人１１ａが第１の空間１０ａに滞在する場合の滞在位置が固定されているものとする。第１撮影部１は予め定められた周期で撮影を繰り返し行うものとし、また、撮影する範囲は固定とする。
【００１３】
学習用データ生成部２は、第１撮影部１から撮影画像が入力されると、撮影画像を解析して人１１ａが写っているかを確認し、人１１ａが写っている場合は学習用データを生成して学習部３へ出力する。具体的には、学習用データ生成部２は、撮影画像に人１１ａが写っている場合、人１１ａを含む一定範囲の画像を撮影画像から抽出し、抽出した画像および位置情報を学習用データとして学習部３へ出力する。学習用データ生成部２が学習部３へ出力する位置情報は、学習用データ生成部２が抽出した画像に含まれる人１１ａの第１の空間１０ａ内の位置を示す。なお、これ以降の説明では、学習用データ生成部２が撮影画像から抽出した画像を第１の抽出画像と称する。ここで、第１撮影部１から学習用データ生成部２へ入力される１つの撮影画像に複数の人が写っている場合もある。１つの撮影画像に複数の人が写っている場合、学習用データ生成部２は、写っている複数の人それぞれについて、学習用データを生成する。すなわち、学習用データ生成部２は、撮影画像に写っている人のそれぞれについて、第１の抽出画像を生成し、生成した第１の抽出画像に写っている人の位置情報と合わせて学習用データを生成する。この場合、学習部３には、撮影画像に写っている人の数と同じ数の学習用データが入力されることになる。
【００１４】
撮影画像が可視光カメラで撮影された画像の場合、学習用データ生成部２は、例えば、第１の空間１０ａに人がいない状態のときに第１撮影部１が予め撮影して生成された比較用の画像と、第１撮影部１から入力された撮影画像とを比較することにより、撮影画像に人が写っているか否かを判別する。また、撮影画像が赤外線カメラで撮影された熱画像の場合、学習用データ生成部２は、例えば、撮影画像内に人の体温に近く、かつ人の形に近い熱分布が存在すれば人が写っていると判断する。
【００１５】
学習用データ生成部２は、例えば、第１画像内の人１１ａが写っている位置と、第１撮影部１の設置位置と、第１撮影部１が向けられている方向（角度）とを用いて、第１画像に写っている人１１ａの位置情報を算出する。なお、学習用データ生成部２が出力する位置情報は、第１の空間１０ａの何処に人１１ａが存在するのかが分かる情報であればどのような情報でもよい。例えば、撮影画像を格子状に分割して複数のエリアに区切って管理し、複数のエリアのいずれかを一意に示す識別情報を位置情報としてもよい。
【００１６】
学習部３は、学習用データ生成部２から学習用データが入力されると、学習用データに含まれる第１の抽出画像および位置情報を用いて、第１の抽出画像に含まれる人１１ａの特徴および第１の抽出画像に含まれる人１１ａの第１の空間１０ａにおける滞在位置を学習する。具体的には、学習部３は、位置情報をラベルとして使用し、第１の抽出画像に含まれる人１１ａの特徴をディープラーニングにて学習する。すなわち、学習部３は、学習用データ生成部２から受け取った第１の抽出画像を解析して特徴ベクトルを生成し、生成した特徴ベクトルを、学習用データ生成部２から受け取った位置情報と対応付けて記憶することで、学習用データ生成部２から受け取った位置情報が示す位置に滞在する人の特徴を示す学習済みモデルを生成する。
【００１７】
第２撮影部４は、第１撮影部１と同様のカメラで構成される。第２撮影部４は、第２の空間１０ｂを撮影し、撮影で得られた画像である撮影画像を人検出部５へ出力する。第２撮影部４が人検出部５へ出力する撮影画像は第２画像である。ここで、第２の空間１０ｂは、第１の空間１０ａが存在するビルの入り口、第１の空間１０ａへの入り口、第１の空間１０ａが存在するフロアのエレベータホール、などであり、第１の空間１０ａに出入りする人の動線上に存在する。
【００１８】
人検出部５は、第２撮影部４から撮影画像が入力されると、撮影画像を解析して人１１ｂが写っているかを確認する。人検出部５は、撮影画像に人１１ｂが写っている場合、人１１ｂを含む一定範囲の画像を撮影画像から抽出し、第２の抽出画像として機器制御部６へ出力する。なお、人検出部５は、第２撮影部４から受け取った撮影画像に複数の人が写っている場合、写っている複数の人それぞれについて、人を含む一定範囲の画像を抽出する。すなわち、撮影画像に複数の人が写っている場合、人検出部５は、撮影画像に写っている人の数と同じ数の第２の抽出画像を機器制御部６へ出力する。
【００１９】
機器制御部６は、人検出部５から第２の抽出画像が入力されると、入力された第２の抽出画像と、学習部３での学習結果である学習済みモデルとを用いて、設備機器８を制御する。具体的には、機器制御部６は、第２の抽出画像に含まれる人の特徴が、学習済みモデルが示す特徴と一致するか否かを確認し、一致する場合、予め定められた制御を設備機器８に対して行う。このとき、機器制御部６は、学習済みモデルを用いて、第２の抽出画像に含まれる人１１ｂが第１の空間１０ａに滞在する場合の滞在位置を特定し、特定した滞在位置と対応付けられている設備機器８を制御する。例えば、設備機器８が空調装置の場合、機器制御部６は、特定した滞在位置の近くに設置された空調装置の運転を開始させる、特定した滞在位置の温度が予め定められた温度となるよう温度設定を変更する、といった制御を行う。例えば、設備機器８が照明機器の場合、機器制御部６は、特定した滞在位置の近くに設置された照明機器を点灯させる、特定した滞在位置の近くに設置された照明機器の発光量を変更する、といった制御を行う。また、例えば、設備機器８がパーソナルコンピュータの場合、機器制御部６は、特定した滞在位置に設置されたパーソナルコンピュータを起動させるといった制御を行う。機器制御部６は、各設備機器８の設置位置の情報を保持しているものとする。
【００２０】
表示部７は、学習部３の動作および機器制御部６の動作の確認用画面を表示する。表示部７は、例えば、学習部３が保持する学習済みモデルに基づいて、学習部３による学習結果をユーザに確認させるための画面を表示する。また、表示部７は、例えば、設備機器８に対する制御内容をユーザに確認させるための画面を表示する。
【００２１】
つづいて、設備機器制御装置１００が第１の空間１０ａに滞在する人１１ａの特徴を、人１１ａが滞在する位置と対応付けて学習する動作について説明する。図２は、実施の形態１にかかる設備機器制御装置１００の学習動作の一例を示すフローチャートである。設備機器制御装置１００は図２に示したフローチャートに従った動作を定期的に実行することにより、第１の空間１０ａに滞在する人１１ａの特徴を、人１１ａが滞在する位置と対応付けて学習する。
【００２２】
設備機器制御装置１００が人の特徴を学習する動作では、まず、第１撮影部１が第１の空間１０ａを撮影し、第１画像である撮影画像を生成する（ステップＳ１１）。次に、学習用データ生成部２が、第１撮影部１から出力される第１画像を解析し（ステップＳ１２）、第１の空間１０ａにおいて人を検知したか否か、すなわち、第１画像に人１１ａが写っているか否かを確認する（ステップＳ１３）。
【００２３】
学習用データ生成部２が第１の空間１０ａにおいて人１１ａを検知しない場合（ステップＳ１３：Ｎｏ）、動作は終了となる。
【００２４】
学習用データ生成部２は、第１の空間１０ａにおいて人１１ａを検知した場合（ステップＳ１３：Ｙｅｓ）、検知した人１１ａの位置情報を生成し、さらに、検知した人１１ａを含む一定範囲の画像を第１画像から抽出する（ステップＳ１４）。以下の説明では、このステップＳ１４で学習用データ生成部２が第１画像から抽出する画像を第１の抽出画像と称する。ステップＳ１４において、学習用データ生成部２は、例えば、検知した人１１ａの頭の位置を基準として、予め定められたサイズの画像を第１画像から抽出し、第１の抽出画像とする。学習用データ生成部２は、位置情報および第１の抽出画像を学習用データとして学習部３へ出力する。
【００２５】
次に、学習部３が、学習用データ生成部２から出力される位置情報および第１の抽出画像を受け取り、位置情報をラベルとして使用し、第１の抽出画像に含まれる人の特徴を学習する（ステップＳ１５）。このステップＳ１５において、学習部３は、位置情報が示す位置に滞在する人の特徴を学習する。
【００２６】
以上のステップＳ１１〜Ｓ１５の処理を繰り返し実行することにより、設備機器制御装置１００は、第１の空間１０ａに滞在する人１１ａの特徴を、人１１ａの滞在位置ごとに学習する。すなわち、設備機器制御装置１００は、第１の空間１０ａの何処にどのような特徴を有する人が滞在するのかを学習する。
【００２７】
つづいて、設備機器制御装置１００が設備機器８を制御する動作、すなわち、第２の空間１０ｂに存在する人の検知および判別を行って設備機器８を制御する動作について説明する。図３は、実施の形態１にかかる設備機器制御装置１００が設備機器８を制御する動作の一例を示すフローチャートである。
【００２８】
設備機器制御装置１００は図２に示したフローチャートに従った動作を定期的に実行して設備機器８を制御する。
【００２９】
設備機器制御装置１００が設備機器８を制御する動作では、まず、第２撮影部４が第２の空間１０ｂを撮影し、第２画像である撮影画像を生成する（ステップＳ２１）。次に、人検出部５が、第２撮影部４から出力される第２画像を解析し（ステップＳ２２）、第２の空間１０ｂにおいて人１１ｂを検知したか否か、すなわち、第２画像に人１１ｂが写っているか否かを確認する（ステップＳ２３）。
【００３０】
人検出部５が第２の空間１０ｂにおいて人１１ｂを検知しない場合（ステップＳ２３：Ｎｏ）、動作は終了となる。
【００３１】
人検出部５は、第２の空間１０ｂにおいて人１１ｂを検知した場合（ステップＳ２３：Ｙｅｓ）、検知した人１１ｂを含む一定範囲の画像を第２画像から抽出する（ステップＳ２４）。このステップＳ２４の処理、すなわち、人検出部５が第２画像から一定範囲の画像を抽出する処理は、上述したステップＳ１４において、学習用データ生成部２が第１画像から一定範囲の画像を抽出して第１の抽出画像を生成する処理と同様の処理である。以下の説明では、このステップＳ２４で人検出部５が第２画像から抽出する画像を第２の抽出画像と称する。人検出部５は、第２の抽出画像を機器制御部６へ出力する。
【００３２】
次に、機器制御部６が、第２の抽出画像に含まれる人１１ｂの特徴が学習済みモデルと一致するか否か、すなわち、第２の空間１０ｂにおいて検出した人１１ｂが学習済みの人に該当するか否かを確認する（ステップＳ２５）。このステップＳ２５において、機器制御部６は、第２の抽出画像を解析して特徴ベクトルを生成し、生成した特徴ベクトルを学習部３での学習結果である学習済みモデルに含まれる特徴ベクトルと比較することで、第２の空間１０ｂにおいて検出した人１１ｂが学習済みの人に該当するか否かを判定する。なお、第１の空間１０ａに滞在する人１１ａは１名以上であり、学習済みモデルには、第１の空間１０ａに滞在する人の特徴を表す特徴ベクトルが位置情報と対応付けられた状態で１つ以上含まれる。学習済みモデルが特徴ベクトルを複数含む場合、機器制御部６は、第２の抽出画像から求めた特徴ベクトルを、学習済みモデルに含まれる複数の特徴ベクトルのそれぞれと比較し、一致するものが存在するかを確認する。ここでの一致とは完全な一致を意味するのではなく、機器制御部６は、比較する２つの特徴ベクトルの間にある程度の誤差が存在していても一致と判断する。どの程度の誤差までを一致と判断するかを示す誤差の許容値は、予め定められているものとする。誤差の許容値を複数設けておき、どの許容値を用いるかを施工者が選択できるようにするなどしてもよい。
【００３３】
機器制御部６は、第２の抽出画像に含まれる人１１ｂの特徴が学習済みモデルと一致する場合（ステップＳ２５：Ｙｅｓ）、第１の空間１０ａに設置された設備機器８を制御する（ステップＳ２６）。このステップＳ２６において、機器制御部６は、学習済みモデルおよび第２の抽出画像を解析して生成した特徴ベクトルを用いて設備機器８を制御する。具体的には、機器制御部６は、学習済みモデルを確認し、第２の抽出画像を解析して生成した特徴ベクトルと一致すると判断した特徴ベクトルと対応付けられている位置情報が示す位置である学習位置に存在する設備機器８、または、学習位置の近辺に存在する設備機器８を対象として動作を制御する。機器制御部６は、学習位置の近辺に存在する設備機器８を制御する場合、学習位置に最も近い設備機器８を制御対象としてもよいし、学習位置に最も近いものから順番にＮ台（Ｎは２以上の整数）の設備機器８を制御対象としてもよいし、学習位置からの距離が予め定められたしきい値以下の１台以上の設備機器８を制御してもよい。
【００３４】
第２の抽出画像に含まれる人１１ｂの特徴が学習済みモデルと一致しない場合（ステップＳ２５：Ｎｏ）、機器制御部６は設備機器８の制御を行わずに動作を終了する。
【００３５】
設備機器制御装置１００は、図２に示した学習動作を先に実行して人１１ａの特徴および滞在位置を学習した後、図３に示した設備機器８の制御動作を開始することとするが、設備機器８の制御動作を開始した後も学習動作を継続してもよい。
【００３６】
また、設備機器制御装置１００は、第２の空間１０ｂで検出した人１１ｂの特徴が学習済みの人１１ａの特徴と一致すると判断して設備機器８の動作を開始させるなどの制御を行った後、第２の空間１０ｂで検出した人１１ｂに対応する人を第１の空間１０ａで検出することなく一定時間が経過した場合、対応する設備機器８に対する制御を取り消してもよい。すなわち、設備機器制御装置１００は、第２の空間１０ｂで検出した人１１ｂが、第１の空間１０ａへ移動せずに他の場所へ移動するなどの理由で、第１の空間１０ａに滞在していない状態であることを検知した場合、第２の空間１０ｂで人１１ｂを検知する前の状態に設備機器８を戻すといった制御を行ってもよい。このような動作とする場合、例えば、学習用データ生成部２が、学習部３および機器制御部６へ第１の抽出画像を出力し、機器制御部６は、第１の抽出画像を解析することで、第２の空間１０ｂで検出した人１１ｂが、第１の空間１０ａへ移動したか否かを判別する。
【００３７】
なお、第２の空間１０ｂを複数とする場合、第２撮影部４も複数（第２の空間１０ｂと同じ数）となり、複数の第２撮影部４のそれぞれは、設置位置に対応する第２の空間１０ｂを撮影して第２画像を人検出部５へ出力する。このとき、各第２撮影部４は、撮影対象の第２の空間１０ｂを示す情報を第２画像に付与して出力する。人検出部５も同様に、第２の抽出画像を機器制御部６へ出力する際、第２の空間１０ｂを示す情報、すなわち、どの第２の空間１０ｂを撮影した第２画像から抽出されたものかを示す情報を第２の抽出画像に付与して出力する。この場合、機器制御部６は、第２の抽出画像に含まれる人１１ｂの特徴が学習済みモデルと一致し、かつ、人１１ｂが第１の空間１０ａに向かって移動していることを検出した場合に設備機器８を制御するようにしてもよい。また、機器制御部６は、第２の抽出画像に含まれる人１１ｂの特徴が学習済みモデルと一致し、かつ、人１１ｂが第１の空間とは逆方向へ移動していることを検出した場合、設備機器８の動作を停止させるなどの制御を行ってもよい。
【００３８】
以上のように、本実施の形態にかかる設備機器制御装置１００は、人１１ａが存在する場合の滞在位置が固定されている第１の空間１０ａを周期的に撮影し、得られた第１画像を解析して人１１ａの特徴および滞在位置を学習する。また、設備機器制御装置１００は、第２の空間１０ｂを撮影し、得られた第２画像に含まれる人１１ｂが第１の空間１０ａに滞在する人１１ａと一致するか否かを学習結果である学習済みモデルを用いて判断する。そして、設備機器制御装置１００は、第２画像に含まれる人１１ｂと人１１ａが一致すると判断した場合、人１１ｂの第１の空間１０ａにおける滞在位置と対応付けられている設備機器８の動作を制御する。これにより、第１の空間１０ａに滞在する可能性がある人が複数の場合でも、設備機器８の制御を、第１の空間１０ａに滞在する人に合わせて行うことが可能となる。この結果、第１の空間１０ａに滞在する人の快適性が向上する。
【００３９】
次に、設備機器制御装置１００のハードウェア構成について説明する。図４は、実施の形態１にかかる設備機器制御装置１００を実現するハードウェアの一例を示す図である。設備機器制御装置１００は、例えば、図４に示したプロセッサ２０１、メモリ２０２、第１の撮像装置２０３、第２の撮像装置２０４および表示装置２０５で実現される。
【００４０】
プロセッサ２０１は、ＣＰＵ（Central  Processing  Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）、システムＬＳＩ（Large  Scale  Integration）などである。メモリ２０２は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read-Only  Memory）等の、不揮発性または揮発性の半導体メモリである。第１の撮像装置２０３および第２の撮像装置２０４は、可視光カメラ、赤外線カメラ等である。表示装置２０５は、液晶モニタ、ディスプレイ等である。
【００４１】
設備機器制御装置１００の学習用データ生成部２、学習部３、人検出部５および機器制御部６は、プロセッサ２０１およびメモリ２０２により実現される。具体的には、学習用データ生成部２、学習部３、人検出部５および機器制御部６として動作するためのプログラムをメモリ２０２に格納しておき、メモリ２０２に格納されているプログラムをプロセッサ２０１が読み出して実行することにより、上記の各部が実現される。
【００４２】
設備機器制御装置１００の第１撮影部１および第２撮影部４は、第１の撮像装置２０３および第２の撮像装置２０４で実現される。設備機器制御装置１００の表示部７は表示装置２０５で実現される。
【００４３】
実施の形態２．
図５は、本発明の実施の形態２にかかる設備機器制御装置の構成例を示す図である。実施の形態２にかかる設備機器制御装置１０１は、第１撮影部１、学習用データ生成部２、学習部３１、第２撮影部４、人検出部５、機器制御部６および表示部７を備える。図５においては、実施の形態１にかかる設備機器制御装置１００と同一の構成要素に同じ符号を付している。すなわち、設備機器制御装置１０１は、実施の形態１にかかる設備機器制御装置１００の学習部３を学習部３１に置き換えたものである。設備機器制御装置１０１の学習部３１以外の構成要素は設備機器制御装置１００と同じであるため、学習部３１以外の構成要素については説明を省略する。
【００４４】
学習部３１は、外部の計算機システムである外部サーバ９と通信する機能を有する。学習部３１は、学習用データ生成部２から第１の抽出画像および位置情報を受け取ると、第１の抽出画像および位置情報を外部サーバ９へ送信し、第１の抽出画像に含まれる人の特徴および第１の空間１０ａにおける滞在場所を学習するように依頼する。そして、学習部３１は、外部サーバ９による学習結果を外部サーバ９から受け取る。外部サーバ９による学習動作は、実施の形態１にかかる設備機器制御装置１００の学習部３が行う学習動作と同じである。
【００４５】
設備機器制御装置１０１は、図４に示したプロセッサ２０１、メモリ２０２、第１の撮像装置２０３、第２の撮像装置２０４および表示装置２０５に加えて、外部サーバ９との通信で使用する通信回路で実現される。
【００４６】
このように、本実施の形態にかかる設備機器制御装置１０１は、実施の形態１にかかる設備機器制御装置１００の学習部３が行う学習動作、具体的には、第１の空間１０ａに滞在する人１１ａの特徴および滞在位置を学習する動作を外部サーバ９で行うようにしたものである。処理負荷が高い学習動作を外部サーバ９で行う構成とすることにより、設備機器制御装置１０１を性能の低い安価なプロセッサで実現できるようになる。
【００４７】
なお、実施の形態１，２では、設備機器制御装置１００，１０１が、第２の空間１０ｂにおいて検出した人が学習済みの人である場合に設備機器８の運転を開始させるといった制御を行うこととしたが、第２の空間１０ｂにおいて検出した人が学習済みの人である場合に設備機器８の運転を終了させるなどの制御を行ってもよい。すなわち、設備機器制御装置１００，１０１は、学習済みの人を第２の空間１０ｂにおいて検出すると、検出した人が第１の空間１０ａに滞在していない状態になったと判断し、設備機器８の動作を停止させてもよい。このような制御とする場合、設備機器制御装置１００，１０１は、第１撮影部１で撮影した第１画像を解析して第１の空間１０ａに滞在している人を確認する動作を周期的に行い、第１の空間１０ａに滞在していた人が第１の空間１０ａから居なくなり、その後、この人を第２の空間１０ｂにおいて検出すると、設備機器８の動作を停止させるといった制御を行う。
【００４８】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【００４９】
１  第１撮影部、２  学習用データ生成部、３，３１  学習部、４  第２撮影部、５  人検出部、６  機器制御部、７  表示部、８  設備機器、１０ａ  第１の空間、１０ｂ  第２の空間、１１ａ，１１ｂ  人、１００，１０１  設備機器制御装置。
【図１】
2020115791.tif 000003
【図２】
2020115791.tif 000004
【図３】
2020115791.tif 000005
【図４】
2020115791.tif 000006
【図５】
2020115791.tif 000007
【手続補正書】
【提出日】令和3年2月5日(2021.2.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の空間の画像を撮影する第１撮影部と、
第２の空間の画像を撮影する第２撮影部と、
前記第１撮影部が撮影した画像である第１画像を解析して前記第１の空間に存在する人の位置情報を生成するとともに、前記第１の空間に存在する人を含む一定範囲の画像を前記第１画像から抽出する学習用データ生成部と、
前記学習用データ生成部が生成した位置情報および前記学習用データ生成部が抽出した画像である第１の抽出画像を用いて、前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の滞在位置を学習する学習部と、
前記第２撮影部が撮影した画像である第２画像を解析して前記第２の空間に存在する人を検出し、検出した人を含む一定範囲の画像を前記第２画像から抽出する人検出部と、
前記人検出部が抽出した画像である第２の抽出画像と前記学習部による学習結果とを用いて、前記第１の空間に設置された設備機器を制御する機器制御部と、
を備える設備機器制御装置。
【請求項２】
前記機器制御部は、前記第２の抽出画像および前記学習結果を用いて、前記第２の空間に存在する人の特徴が前記学習部で学習済みの人の特徴と一致するか否かを判断し、特徴が一致する場合に前記第１の空間に設置された設備機器を制御する、
請求項１に記載の設備機器制御装置。
【請求項３】
前記機器制御部は、前記第１の空間に設置された複数の設備機器のうち、前記第２の空間に存在する人が前記第１の空間に滞在する場合の滞在位置と対応付けられている設備機器を制御する、
請求項２に記載の設備機器制御装置。
【請求項４】
前記学習結果を表示する表示部、
を備える請求項１から３のいずれか一つに記載の設備機器制御装置。
【請求項５】
前記第１画像および前記第２画像を熱画像とする、
請求項１から４のいずれか一つに記載の設備機器制御装置。
【請求項６】
前記設備機器を空調装置とする、
請求項１から５のいずれか一つに記載の設備機器制御装置。
【請求項７】
前記学習部は、外部の計算機システムを利用して前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の前記第１の空間における滞在位置を学習する、
請求項１から６のいずれか一つに記載の設備機器制御装置。
【請求項８】
設備機器制御装置が、第１の空間の画像を撮影する第１の撮影ステップと、
前記設備機器制御装置が、前記第１の撮影ステップで撮影した画像である第１画像を解析して前記第１の空間に存在する人の位置情報を生成するとともに、前記第１の空間に存在する人を含む一定範囲の画像を前記第１画像から抽出する学習用データ生成ステップと、
前記設備機器制御装置が、前記学習用データ生成ステップで生成した位置情報および前記学習用データ生成ステップで抽出した画像である第１の抽出画像を用いて、前記第１の空間に存在する人の特徴および前記第１の空間に存在する人の滞在位置を学習する学習ステップと、
前記設備機器制御装置が、第２の空間の画像を撮影する第２の撮影ステップと、
前記設備機器制御装置が、前記第２の撮影ステップで撮影した画像である第２画像を解析して前記第２の空間に存在する人を検出し、検出した人を含む一定範囲の画像を前記第２画像から抽出する人検出ステップと、
前記設備機器制御装置が、前記人検出ステップで抽出した画像である第２の抽出画像と前記学習ステップにおける学習結果とを用いて、前記第１の空間に設置された設備機器を制御する機器制御ステップと、
を含む設備機器制御方法。
【国際調査報告】
2020115791.tif 000008
2020115791.tif 000009