(57)【要約】      （修正有）【課題】精度の高い深度情報を生成することができる情報処理装置、空気調和機コントローラ、携帯装置及び生成制御方法を提供する。【解決手段】情報処理装置（サーバ１００）は、空気調和機が送信した、撮像装置が対象空間を撮像することで得られた第１の画像と、携帯装置が送信した、深度情報が付加されている第２の画像及び深度情報が付加されている第３の画像を含む複数の深度情報付画像とを受信する通信部１２０と、複数の深度情報付画像を用いて、対象空間における物の特徴量を検出する特徴量検出部１３０と、特徴量を用いて、対象空間における３次元空間情報を生成する３次元空間情報生成部１４０と、３次元空間情報と第１の画像とを用いて、第１の画像内の情報に対応する深度情報である第１の画像に対応する深度情報を生成する深度情報生成部１５０と、を有する。通信部１２０は、第１の画像に対応する深度情報を送信する。【選択図】図４
2020135405.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置を有する空気調和機が送信した、前記第１の撮像装置が対象空間を撮像することで得られた画像である第１の画像と、第２の撮像装置を有する携帯装置が送信した、前記第１の撮像装置が撮像する方向と異なる方向である第１の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている前記第２の画像及び前記第１の方向と異なる第２の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている前記第３の画像を含む複数の深度情報付画像とを受信する通信部と、
前記複数の深度情報付画像を用いて、前記対象空間における物の特徴量を検出する特徴量検出部と、
前記特徴量を用いて、前記対象空間における３次元空間情報を生成する３次元空間情報生成部と、
前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像内の情報に対応する深度情報である前記第１の画像に対応する深度情報を生成する深度情報生成部と、
を有し、
前記通信部は、前記第１の画像に対応する深度情報を送信する、
情報処理装置。
【請求項２】
前記複数の深度情報付画像は、さらに、深度情報が付加されている少なくとも１以上の画像を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記深度情報生成部は、
前記３次元空間情報と、前記空気調和機を特定するための情報である特定情報とを用いて、前記３次元空間情報に含まれる前記空気調和機を特定し、
前記３次元空間情報に含まれる前記空気調和機の位置を示す位置情報を用いて、前記３次元空間情報の向きを調整し、
向きが調整された前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像に対応する深度情報を生成する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記特定情報は、前記空気調和機の型名を含み、
前記通信部は、前記携帯装置又は前記空気調和機が送信した前記空気調和機の型名を受信し、
前記深度情報生成部は、前記空気調和機を特定した後、前記特定情報を用いて、前記空気調和機の型名を特定し、特定された前記空気調和機の型名と前記通信部が受信した前記空気調和機の型名を比較する、
請求項３に記載の情報処理装置。
【請求項５】
第１の撮像装置を有する空気調和機を制御する空気調和機コントローラであって、
前記空気調和機が送信した、前記第１の撮像装置が対象空間を撮像することで得られた画像である第１の画像と、第２の撮像装置を有する携帯装置が送信した、前記第１の撮像装置が撮像する方向と異なる方向である第１の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている前記第２の画像及び前記第１の方向と異なる第２の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている前記第３の画像を含む複数の深度情報付画像とを受信する通信部と、
前記複数の深度情報付画像を用いて、前記対象空間における物の特徴量を検出する特徴量検出部と、
前記特徴量を用いて、前記対象空間における３次元空間情報を生成する３次元空間情報生成部と、
前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像内の情報に対応する深度情報である前記第１の画像に対応する深度情報を生成する深度情報生成部と、
を有し、
前記通信部は、前記第１の画像に対応する深度情報を送信する、
空気調和機コントローラ。
【請求項６】
撮像部と、
第１の撮像装置を有する空気調和機が送信した、前記第１の撮像装置が対象空間を撮像することで得られた画像である第１の画像を受信する通信部と、
前記第１の撮像装置が撮像する方向と異なる方向である第１の方向から前記撮像部が前記対象空間を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている前記第２の画像及び前記第１の方向と異なる第２の方向から前記撮像部が前記対象空間を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている前記第３の画像を含む複数の深度情報付画像を生成する画像生成部と、
前記複数の深度情報付画像を用いて、前記対象空間における物の特徴量を検出する特徴量検出部と、
前記特徴量を用いて、前記対象空間における３次元空間情報を生成する３次元空間情報生成部と、
前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像内の情報に対応する深度情報である前記第１の画像に対応する深度情報を生成する深度情報生成部と、
を有し、
前記通信部は、前記第１の画像に対応する深度情報を送信する、
携帯装置。
【請求項７】
情報処理装置が、
第１の撮像装置を有する空気調和機が送信した、前記第１の撮像装置が対象空間を撮像することで得られた画像である第１の画像と、第２の撮像装置を有する携帯装置が送信した、前記第１の撮像装置が撮像する方向と異なる方向である第１の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている前記第２の画像及び前記第１の方向と異なる第２の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている前記第３の画像を含む複数の深度情報付画像とを受信し、
前記複数の深度情報付画像を用いて、前記対象空間における物の特徴量を検出し、
前記特徴量を用いて、前記対象空間における３次元空間情報を生成し、
前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像内の情報に対応する深度情報である前記第１の画像に対応する深度情報を生成し、
前記第１の画像に対応する深度情報を送信する、
生成制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、空気調和機コントローラ、携帯装置、及び生成制御方法に関する。
【背景技術】
【０００２】
３次元情報を生成する技術が知られている。例えば、撮像装置は、撮像画像に基づいて立体形状を生成する（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２０６２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、空気調和機が精度の高い３次元空間情報を用いて空調を制御することが、望ましい。精度の高い３次元空間情報を生成するには、精度の高い深度情報が必要である。しかし、どのように精度の高い深度情報を生成するかが問題であった。
【０００５】
本発明の目的は、精度の高い深度情報を生成することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る情報処理装置が提供される。情報処理装置は、第１の撮像装置を有する空気調和機が送信した、前記第１の撮像装置が対象空間を撮像することで得られた画像である第１の画像と、第２の撮像装置を有する携帯装置が送信した、前記第１の撮像装置が撮像する方向と異なる方向である第１の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている前記第２の画像及び前記第１の方向と異なる第２の方向から前記第２の撮像装置が前記対象空間を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている前記第３の画像を含む複数の深度情報付画像とを受信する通信部と、前記複数の深度情報付画像を用いて、前記対象空間における物の特徴量を検出する特徴量検出部と、前記特徴量を用いて、前記対象空間における３次元空間情報を生成する３次元空間情報生成部と、前記３次元空間情報と前記第１の画像とを用いて、前記第１の画像内の情報に対応する深度情報である前記第１の画像に対応する深度情報を生成する深度情報生成部と、を有する。前記通信部は、前記第１の画像に対応する深度情報を送信する。
【発明の効果】
【０００７】
本発明によれば、精度の高い深度情報を生成できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の通信システムを示す図である。
【図２】実施の形態１の処理概要を示すシーケンス図である。
【図３】実施の形態１のサーバが有するハードウェアの構成を示す図である。
【図４】実施の形態１のサーバの構成を示す機能ブロック図である。
【図５】実施の形態１の生成処理を示すフローチャートである。
【図６】実施の形態１の３次元空間情報と平面画像との比較処理の具体例を示す図である。
【図７】実施の形態２の通信システムを示す図である。
【図８】実施の形態２の携帯装置の構成を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
【００１０】
実施の形態１．
図１は、実施の形態１の通信システムを示す図である。通信システムは、サーバ１００、携帯装置２００、及び空気調和機３００を含む。例えば、携帯装置２００及び空気調和機３００は、部屋２０の中に存在する。
【００１１】
サーバ１００と携帯装置２００は、ネットワーク１０を介して無線通信する。携帯装置２００と空気調和機３００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）などを用いて、互いに通信する。また、空気調和機３００は、携帯装置２００とネットワーク１０を介して、サーバ１００に接続する。これにより、通信システムでは、空気調和機３００がネットワーク１０に接続するための回線が、構築されなくて済む。
【００１２】
サーバ１００は、情報処理装置とも言う。サーバ１００は、生成制御方法を実行する装置である。また、サーバ１００が、空気調和機コントローラに変更されてもよい。なお、サーバ１００が空気調和機コントローラに変更された場合、空気調和機コントローラは、ネットワークを介して空気調和機３００に接続する。そして、空気調和機コントローラは、空気調和機３００を制御する。
例えば、携帯装置２００は、スマートフォン又はタブレット装置である。携帯装置２００は、撮像装置２０１を有する。撮像装置２０１は、第２の撮像装置とも言う。
【００１３】
携帯装置２００は、撮像装置２０１が対象空間を撮像することで得られた画像内の情報に対応する深度情報が付加されている当該画像を生成する。当該画像は、深度情報付画像と表現する。なお、撮像装置２０１が撮像することで得られた画像は、２次元画像である。例えば、２次元画像とは、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像である。また、例えば、対象空間は、部屋２０内である。
ここで、深度情報付画像は、撮像装置２０１が対象空間を撮像することで得られた画像が示す情報の深度情報が付加されている当該画像と表現してもよい。
【００１４】
空気調和機３００は、撮像装置３０１を有する。撮像装置３０１は、第１の撮像装置とも言う。空気調和機３００は、撮像装置３０１が対象空間を撮像することで得られた画像を取得する。当該画像は、第１の画像とも言う。また、当該画像は、２次元画像である。以下、当該画像は、平面画像と表現する。また、以下、対象空間は、部屋２０内とする。すなわち、対象空間は、室内とする。
【００１５】
次に、実施の形態１の処理概要を説明する。
図２は、実施の形態１の処理概要を示すシーケンス図である。
（ステップＳ１０１）ユーザが携帯装置２００を用いて室内を撮像することで、携帯装置２００は、複数の深度情報付画像を生成する。携帯装置２００は、複数の深度情報付画像をサーバ１００に送信する。
【００１６】
（ステップＳ１０２）空気調和機３００は、撮像装置３０１が室内を撮像することにより得られた平面画像を取得する。空気調和機３００は、携帯装置２００を介して、平面画像をサーバ１００に送信する。
なお、ステップＳ１０１は、ステップＳ１０２の後でもよい。
【００１７】
（ステップＳ１０３）サーバ１００は、生成処理を実行する。生成処理については、後で説明する。サーバ１００は、生成処理により、平面画像に対応する深度情報を生成する。平面画像に対応する深度情報については、後で説明する。なお、平面画像に対応する深度情報は、平面画像内の深度情報と表現してもよい。
【００１８】
（ステップＳ１０４）サーバ１００は、平面画像に対応する深度情報を携帯装置２００に送信する。
（ステップＳ１０５）携帯装置２００は、平面画像に対応する深度情報を空気調和機３００に送信する。
【００１９】
次に，サーバ１００が有するハードウェアについて説明する。
図３は、実施の形態１のサーバが有するハードウェアの構成を示す図である。サーバ１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
【００２０】
プロセッサ１０１は、サーバ１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。サーバ１００は、処理回路によって実現されてもよく、又は、ソフトウェア、ファームウェア若しくはそれらの組み合わせによって実現されてもよい。なお、処理回路は、単一回路又は複合回路でもよい。
【００２１】
揮発性記憶装置１０２は、サーバ１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、サーバ１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）である。
また、携帯装置２００は、サーバ１００と同様に、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。
【００２２】
図４は、実施の形態１のサーバの構成を示す機能ブロック図である。
サーバ１００は、記憶部１１０、通信部１２０、特徴量検出部１３０、３次元空間情報生成部１４０、及び深度情報生成部１５０を有する。
【００２３】
記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
通信部１２０、特徴量検出部１３０、３次元空間情報生成部１４０、及び深度情報生成部１５０の一部又は全部は、プロセッサ１０１によって実現してもよい。
通信部１２０、特徴量検出部１３０、３次元空間情報生成部１４０、及び深度情報生成部１５０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。
【００２４】
記憶部１１０は、特定情報を記憶する。特定情報は、空気調和機３００を特定するための情報である。サーバ１００は、機械学習を実行することで、特定情報を取得することができる。例えば、サーバ１００は、空気調和機３００を識別するための学習を行う。これにより、サーバ１００は、特定情報を取得することができる。なお、特定情報には、空気調和機３００の型名が含まれてもよい。
【００２５】
通信部１２０は、携帯装置２００と通信する。通信部１２０は、携帯装置２００が送信した複数の深度情報付画像を受信する。また、通信部１２０は、他の装置を介して、携帯装置２００が送信した複数の深度情報付画像を受信してもよい。なお、他の装置の図示は、省略している。
【００２６】
ここで、複数の深度情報付画像は、第２の画像と第３の画像を含む。第２の画像は、撮像装置３０１が撮像する方向と異なる方向である第１の方向から撮像装置２０１が室内を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている。第３の画像は、第１の方向と異なる第２の方向から撮像装置２０１が室内を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている。なお、第２の方向は、撮像装置３０１が撮像する方向と同じでもよい。また、第２の方向は、撮像装置３０１が撮像する方向と異なってもよい。
【００２７】
複数の深度情報付画像は、さらに、深度情報が付加されている少なくとも１以上の画像を含んでもよい。少なくとも１以上の画像は、撮像装置２０１が室内を撮像することで得られた画像であり、当該画像内の情報に対応する深度情報が付加されている。すなわち、複数の深度情報付画像は、３つ以上の深度情報付画像でもよい。
【００２８】
通信部１２０は、空気調和機３００が送信した平面画像を受信する。また、通信部１２０は、他の装置を介して、空気調和機３００が送信した平面画像を受信してもよい。なお、他の装置の図示は、省略している。
【００２９】
通信部１２０は、空気調和機３００が送信した平面画像に対応する深度情報を送信する。平面画像に対応する深度情報は、平面画像内の情報に対応する深度情報である。平面画像に対応する深度情報は、平面画像が示す情報に対応する深度情報と表現してもよい。
特徴量検出部１３０は、複数の深度情報付画像を用いて、室内における物の特徴量を検出する。ここで、例えば、室内における物とは、家具、壁、人、及び動物である。
【００３０】
３次元空間情報生成部１４０は、特徴量検出部１３０が検出した特徴量を用いて、室内における３次元空間情報を生成する。ここで、３次元空間情報は、点と線と平面を立体的に組み合わせた立体図形である。３次元空間情報は、コンピュータ上で表現することができる。
深度情報生成部１５０は、空気調和機３００が送信した平面画像と３次元空間情報とを用いて、平面画像に対応する深度情報を生成する。
【００３１】
次に、サーバ１００が実行する生成処理について説明する。
図５は、実施の形態１の生成処理を示すフローチャートである。
（ステップＳ１１）通信部１２０は、複数の深度情報付画像を携帯装置２００から受信する。通信部１２０は、携帯装置２００を介して、平面画像を空気調和機３００から受信する。
（ステップＳ１２）特徴量検出部１３０は、複数の深度情報付画像を用いて、室内における物の特徴量を検出する。例えば、物の特徴量は、机の端及び机の角である。また、例えば、特徴量は、ＳＨＯＴ（Ｓｉｇｎａｔｕｒｅ  ｏｆ  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ＯｒｉｅｎＴａｔｉｏｎｓ）特徴量と考えてもよい。
【００３２】
また、特徴量検出部１３０は、深度情報付画像の２次元画像から特徴量を検出する際、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）などを用いて、特徴量を検出してもよい。
【００３３】
（ステップＳ１３）３次元空間情報生成部１４０は、検出された特徴量を用いて、室内における３次元空間情報を生成する。また、例えば、３次元空間情報生成部１４０は、特徴量から３次元空間情報を生成するための情報と、検出された特徴量とを用いて、室内の３次元空間情報を生成してもよい。特徴量から３次元空間情報を生成するための情報は、３次元空間内の人及び家具などの物のサンプルに対してサーバ１００が機械学習することで、取得できる。
【００３４】
このように、３次元空間情報生成部１４０は、検出された特徴量を用いて、室内の３次元空間情報を生成する。なお、特徴量を用いて室内の３次元空間情報を生成する方法は、様々ある。３次元空間情報生成部１４０は、どの方法を用いて室内の３次元空間情報を生成してもよい。
【００３５】
（ステップＳ１４）深度情報生成部１５０は、３次元空間情報と記憶部１１０に格納されている特定情報とを用いて、３次元空間情報に含まれる空気調和機３００を特定する。
例えば、空気調和機３００が壁掛け型の空気調和機の場合、深度情報生成部１５０は、３次元空間情報が示す壁内で周囲よりも突起している部分と特定情報とを用いて、空気調和機３００を特定する。
また、例えば、空気調和機３００が天井埋め込み型の空気調和機の場合、深度情報生成部１５０は、３次元空間情報が示す天井内で周囲よりも凸凹している部分と特定情報とを用いて、空気調和機３００を特定する。
【００３６】
このように、深度情報生成部１５０は、特定情報を用いて、３次元空間情報に含まれる空気調和機３００を特定する。これにより、深度情報生成部１５０は、３次元空間情報に含まれる空気調和機３００の位置を特定できる。また、深度情報生成部１５０は、３次元空間情報に含まれる撮像装置３０１及び空気調和機３００の吹き出し口の位置も特定することができる。
【００３７】
（ステップＳ１５）深度情報生成部１５０は、３次元空間情報に含まれる空気調和機３００の位置を示す位置情報を用いて、撮像装置３０１が撮像する方向に、３次元空間情報の向きを調整する。これにより、３次元空間情報に含まれる空気調和機３００の向きは、撮像装置３０１が撮像する方向と同じになる。
【００３８】
（ステップＳ１６）深度情報生成部１５０は、向きを調整した３次元空間情報と、ステップＳ１１で取得された平面画像とを比較する。これにより、深度情報生成部１５０は、平面画像の各領域の深度を特定することができる。例えば、深度情報生成部１５０は、平面画像内に存在する家具に対応する深度を特定することができる。
このように、深度情報生成部１５０は、３次元空間情報と平面画像とを比較し、平面画像に対応する深度情報を生成する。
【００３９】
（ステップＳ１７）通信部１２０は、平面画像に対応する深度情報を携帯装置２００に送信する。
なお、ステップＳ１７の後、携帯装置２００は、平面画像に対応する深度情報を空気調和機３００に送信する。
【００４０】
次に、３次元空間情報と平面画像との比較処理の具体例を説明する。
図６は、実施の形態１の３次元空間情報と平面画像との比較処理の具体例を示す図である。図６は、３次元空間情報４００と平面画像５００を示している。また、矢印４０１は、撮像装置３０１が撮像する方向を示している。
【００４１】
深度情報生成部１５０は、３次元空間情報４００に含まれる空気調和機３００の位置を示す位置情報を用いて、矢印４０１が示す方向に、３次元空間情報４００の向きを調整する。これにより、３次元空間情報４００に含まれる空気調和機３００の向きは、矢印４０１が示す方向と同じになる。すなわち、平面画像５００を生成したときの撮像装置３０１が向いている方向と３次元空間情報４００の向きとが同じになる。
【００４２】
深度情報生成部１５０は、３次元空間情報４００と平面画像５００とを比較する。深度情報生成部１５０は、３次元空間情報４００と平面画像５００とを比較することで、平面画像５００に対応する深度情報を生成する。
【００４３】
ここで、ユーザは、携帯装置２００を持ちながら、部屋２０内を自由に動き回ることができる。そのため、ユーザは、携帯装置２００を用いて、部屋２０内に存在する物を様々な角度から撮像することができる。例えば、ユーザは、携帯装置２００を用いて、空気調和機３００が存在する方向を撮像する。このように、携帯装置２００は、撮像装置３０１が撮像することができない部分を撮像することができる。ここで、空気調和機３００は、さらに、深度センサを有しているものとする。空気調和機３００は、撮像装置３０１が撮像することで得られた画像と深度センサが生成した深度情報とを用いて、室内の３次元空間情報を生成することができる。当該３次元空間情報は、第１の３次元空間情報と表現する。第１の３次元空間情報は、撮像装置３０１が撮像することができない部分の情報が欠落している。一方、サーバ１００が生成する３次元空間情報には、撮像装置３０１が撮像することができない部分の情報が含まれている。そのため、サーバ１００が生成する３次元空間情報は、第１の３次元空間情報よりも精度の高い情報である。
【００４４】
平面画像に対応する深度情報は、精度の高い情報である３次元空間情報を用いて、生成される。そのため、平面画像に対応する深度情報は、精度の高い深度情報と言える。よって、サーバ１００は、精度の高い深度情報を生成できる。
【００４５】
ここで、例えば、空気調和機３００がさらに深度センサを有する場合、空気調和機３００は、撮像装置３０１が撮像した平面画像と、深度センサが取得する深度画像とを用いて、３次元空間情報を生成することができる。しかし、空気調和機３００が深度センサを有することは、空気調和機３００のコストを高める。実施の形態１によれば、空気調和機３００は、深度センサを有していなくてよい。よって、実施の形態１は、空気調和機３００のコストを抑制できる。
【００４６】
空気調和機３００が有するプロセッサは、プロセッサ１０１よりも性能が悪い場合が多い。実施の形態１は、サーバ１００が平面画像に対応する深度情報を生成することで、迅速に平面画像に対応する深度情報を生成することができる。
【００４７】
また、サーバ１００は、ステップＳ１３で３次元空間情報を生成した後、３次元空間情報を携帯装置２００に送信してもよい。そして、ユーザは、携帯装置２００を用いて、３次元空間情報を確認する。ユーザは、３次元空間情報に欠落部分が存在していると判断した場合、さらに、携帯装置２００を用いて、室内を撮像する。携帯装置２００は、深度情報付画像をサーバ１００に送信する。サーバ１００は、当該深度情報付画像をさらに用いて、３次元空間情報を生成する。これにより、サーバ１００は、３次元空間情報の欠落部分を補償することができる。
【００４８】
サーバ１００の深度情報生成部１５０は、ステップＳ１４で空気調和機を特定した後、特定情報を用いて、型名を特定してもよい。そして、サーバ１００の通信部１２０は、携帯装置２００又は空気調和機３００から空気調和機３００の型名を受信してもよい。サーバ１００の深度情報生成部１５０は、特定情報に基づいて特定した型名と、通信部１２０が受信した型名とを比較することで、空気調和機３００を特定する精度を高めることができる。
【００４９】
また、空気調和機３００は、サーモグラフィ（登録商標）を有してもよい。空気調和機３００は、サーモグラフィから室内の温度分布を示す画像を取得できる。空気調和機３００は、当該画像と平面画像に対応する深度情報とを比較することで、平面画像に対応する深度情報に、温度情報を対応付けることができる。これにより、空気調和機３００は、室内に存在する物の温度を検出することができる。例えば、空気調和機３００は、平面画像に対応する深度情報に、対応付けた温度情報を用いて、机の上の温度及び床面の温度を検出することができる。空気調和機３００は、検出結果に基づいて、空調制御を実行してもよい。なお、撮像装置３０１が撮像する際の画角とサーモグラフィが室内の温度分布を測定する際の画角とは、同じになるようにする。
【００５０】
上記では、空気調和機３００が室内に存在する物の温度の検出を行う場合を説明した。しかし、サーバ１００が、室内に存在する物の温度の検出を行ってもよい。詳細には、空気調和機３００は、携帯装置２００を介して、室内の温度分布を示す画像をサーバ１００に送信する。サーバ１００の深度情報生成部１５０は、当該画像と平面画像に対応する深度情報とを比較することで、平面画像に対応する深度情報に、温度情報を対応付ける。サーバ１００の通信部１２０は、携帯装置２００を介して、平面画像に対応する深度情報に、対応付けた温度情報を空気調和機３００に送信する。これにより、空気調和機３００は、室内に存在する物の温度の検出できる。
【００５１】
サーバ１００は、定期的に、室内の温度分布を示す画像を空気調和機３００から受信してもよい。サーバ１００は、定期的に、室内の温度分布を示す画像を受信することで、室内の温度分布の変化を学習できる。そして、サーバ１００は、学習した内容に基づく動作指示を、携帯装置２００を介して空気調和機３００に送信してもよい。
【００５２】
また、サーバ１００は、３次元空間情報を用いて、気流シミュレーションを行ってもよい。３次元空間情報の精度が高いため、サーバ１００は、精度の高い気流シミュレーションを実行することができる。
【００５３】
実施の形態２．
次に、実施の形態２を説明する。実施の形態２は、実施の形態１と相違する事項を主に説明し、実施の形態１と共通する事項の説明を省略する。実施の形態２は、図３〜６を参照する。
【００５４】
実施の形態１では、空気調和機３００が携帯装置２００とネットワーク１０を介して、平面画像をサーバ１００に送信する場合を説明した。平面画像には、室内の情報が含まれている。室内の情報は、個人情報とも言える。空気調和機３００がネットワーク１０を介して平面画像をサーバ１００に送信することは、個人情報が流出する可能性がある。そこで、実施の形態２では、実施の形態１でサーバ１００が実行した処理を携帯装置２００が実行する場合を説明する。
【００５５】
図７は、実施の形態２の通信システムを示す図である。通信システムは、携帯装置２００及び空気調和機３００を含む。
図８は、実施の形態２の携帯装置の構成を示す機能ブロック図である。携帯装置２００は、記憶部２１０、画像生成部２２０、通信部２３０、特徴量検出部２４０、３次元空間情報生成部２５０、深度情報生成部２６０、及び撮像部２７０を有する。
【００５６】
記憶部２１０は、携帯装置２００が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
画像生成部２２０、通信部２３０、特徴量検出部２４０、３次元空間情報生成部２５０、及び深度情報生成部２６０の一部又は全部は、携帯装置２００が有するプロセッサによって実現してもよい。
【００５７】
画像生成部２２０、通信部２３０、特徴量検出部２４０、３次元空間情報生成部２５０、及び深度情報生成部２６０の一部又は全部は、携帯装置２００が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。
撮像部２７０は、撮像装置２０１で実現できる。
【００５８】
記憶部２１０は、特定情報を記憶する。
画像生成部２２０は、複数の深度情報付画像を生成する。すなわち、画像生成部２２０は、第２の画像及び第３の画像を含む複数の深度情報付画像を生成する。なお、第２の画像は、撮像装置３０１が撮像する方向と異なる方向である第１の方向から撮像部２７０が室内を撮像することで得られた第２の画像内の情報に対応する深度情報が付加されている。第３の画像は、第１の方向と異なる第２の方向から撮像部２７０が室内を撮像することで得られた第３の画像内の情報に対応する深度情報が付加されている。
【００５９】
また、複数の深度情報付画像は、さらに、深度情報が付加されている少なくとも１以上の画像を含んでもよい。少なくとも１以上の画像は、撮像部２７０が室内を撮像することで得られた画像であり、当該画像内の情報に対応する深度情報が付加されている。すなわち、複数の深度情報付画像は、３つ以上の深度情報付画像でもよい。
【００６０】
通信部２３０は、空気調和機３００と通信する。通信部２３０は、空気調和機３００から平面画像を受信する。通信部２３０は、平面画像に対応する深度情報を空気調和機３００に送信する。
特徴量検出部２４０が実行する処理は、特徴量検出部１３０が実行する処理と同じである。そのため、特徴量検出部２４０が実行する処理については、説明を省略する。
【００６１】
３次元空間情報生成部２５０が実行する処理は、３次元空間情報生成部１４０が実行する処理と同じである。そのため、３次元空間情報生成部２５０が実行する処理については、説明を省略する。
深度情報生成部２６０が実行する処理は、深度情報生成部１５０が実行する処理と同じである。そのため、深度情報生成部２６０が実行する処理については、説明を省略する。
【００６２】
実施の形態２によれば、平面画像に対応する深度情報は、精度の高い情報である３次元空間情報を用いて、生成される。そのため、平面画像に対応する深度情報は、精度の高い深度情報と言える。よって、携帯装置２００は、精度の高い深度情報を生成できる。
また、実施の形態２では、平面画像がネットワーク１０に送信されない。そのため、実施の形態２は、個人情報の流出を防止できる。
【００６３】
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
【符号の説明】
【００６４】
１０  ネットワーク、  ２０  部屋、  １００  サーバ、  １０１  プロセッサ、  １０２  揮発性記憶装置、  １０３  不揮発性記憶装置、  １１０  記憶部、  １２０  通信部、  １３０  特徴量検出部、  １４０  ３次元空間情報生成部、  １５０  深度情報生成部、  ２００  携帯装置、  ２０１  撮像装置、  ２１０  記憶部、  ２２０  画像生成部、  ２３０  通信部、  ２４０  特徴量検出部、  ２５０  ３次元空間情報生成部、  ２６０  深度情報生成部、  ２７０  撮像部、  ３００  空気調和機、  ３０１  撮像装置、  ４００  次元空間情報、  ４０１  矢印、  ５００  平面画像。
【図１】
2020135405.tif 000003
【図２】
2020135405.tif 000004
【図３】
2020135405.tif 000005
【図４】
2020135405.tif 000006
【図５】
2020135405.tif 000007
【図６】
2020135405.tif 000008
【図７】
2020135405.tif 000009
【図８】
2020135405.tif 000010