(57)【要約】【課題】エアロゾルの正確な位置を精度良く提示する。【解決手段】本開示の一態様に係る表示装置の一例であるタブレット端末８０は、表示画面８２と、カメラ２０で空間を撮像することにより得られた第１画像と、空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を表示画面８２に表示させる制御部８４と、を備え、第２画像には、少なくとも１種類のエアロゾルの、第１画像における奥行き方向の位置が反映されている。【選択図】図２
2020017265.tif 000002
【特許請求の範囲】
【請求項１】
表示画面と、
カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、
前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている、
表示装置。
【請求項２】
前記第１画像は二次元空間を表しており、
前記制御部は、さらに、
前記二次元空間に、前記少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを投影することで前記第２画像を生成し、
前記第１画像と前記第２画像とを合成することで前記合成画像を生成する、
請求項１に記載の表示装置。
【請求項３】
前記制御部は、さらに、
前記少なくとも１種類のエアロゾルの前記空間内の位置を取得するセンサから前記三次元座標データを取得し、
前記第１画像を擬似的に三次元画像に拡張し、
前記三次元画像と前記三次元座標データとを対応付けて、前記二次元空間に前記三次元座標データを投影することで前記第２画像を生成する、
請求項２に記載の表示装置。
【請求項４】
前記第２画像は、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と、基準位置から前記輪郭内の代表位置までの距離を表す距離情報とを含む、
請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
前記代表位置は、前記輪郭内における前記少なくとも１種類のエアロゾルの濃度分布の重心である、
請求項４に記載の表示装置。
【請求項６】
前記距離情報は、前記距離を示す数値である、
請求項４又は５に記載の表示装置。
【請求項７】
前記距離情報は、前記距離に応じて予め定められた、前記輪郭内に付された色である、
請求項４又は５に記載の表示装置。
【請求項８】
前記合成画像は、前記空間と、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭とを含む三次元モデルを示す、
請求項１から３のいずれか１項に記載の表示装置。
【請求項９】
前記第２画像は、複数の画像が時間的に切り替わる動画像であり、
前記複数の画像の各々は、
基準位置からの距離に対応し、
前記対応する距離における前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭を含む、
請求項１から３のいずれか１項に記載の表示装置。
【請求項１０】
前記第２画像に、さらに、前記少なくとも１種類のエアロゾルの濃度が反映されている、
請求項１から９のいずれか１項に記載の表示装置。
【請求項１１】
前記第２画像は、前記少なくとも１種類のエアロゾルの濃度のレベルを表すレベル情報を含む、
請求項１０に記載の表示装置。
【請求項１２】
前記少なくとも１種類のエアロゾルは、複数種類のエアロゾルを含み、
前記第２画像は、前記複数種類のエアロゾルをそれぞれ異なる表示態様で表す、
請求項１から１１のいずれか１項に記載の表示装置。
【請求項１３】
前記制御部は、さらに、前記少なくとも１種類のエアロゾルの濃度が閾値を上回った場合に、ユーザの注意を喚起するための画像を前記表示画面に表示する、
請求項１から１２のいずれか１項に記載の表示装置。
【請求項１４】
空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、
プロセッサと、を備え、
前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、
前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている、
画像処理装置。
【請求項１５】
空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、
表示装置と、
を備えるシステムの制御方法であって、
前記センサから前記データを取得すること、
前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、
前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び
前記表示装置に、前記合成画像を表示させること、を含む、
制御方法。
【請求項１６】
前記戻り光は、前記照射光によって前記少なくとも１種類の対象物が励起されて発する蛍光であり、
前記合成画像の生成では、さらに、前記蛍光を分析することで、前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させる、
請求項１５に記載の制御方法。
【請求項１７】
前記照射光は、所定の偏光成分を含み、
前記合成画像の生成では、さらに、前記戻り光に含まれる前記偏光成分の偏光解消度に基づいて前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させる、
請求項１６に記載の制御方法。
【請求項１８】
前記三次元座標データは、前記照射光が出射される時間と前記戻り光が検出される時間との差に基づいて算出された、前記センサと前記少なくとも１種類の対象物との相対位置関係と、前記センサの前記空間中での座標とを用いて生成される、
請求項１５から１７のいずれか１項に記載の制御方法。
【請求項１９】
前記少なくとも１種類の対象物は、前記空間中に存在する物体に付着した有機物である、
請求項１５から１８のいずれか１項に記載の制御方法。
【請求項２０】
前記少なくとも１種類の対象物は、前記空間中に存在するエアロゾルである、
請求項１５から１８のいずれか１項に記載の制御方法。
【請求項２１】
前記戻り光は、前記照射光が前記少なくとも１種類の対象物によって散乱されて発生する後方散乱光である、
請求項２０に記載の制御方法。
【請求項２２】
空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、
表示装置と、
を備えるシステムを制御するためのコンピュータ実行可能なプログラムであって、
前記センサから前記データを取得すること、
前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、
前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び
前記表示装置に、前記合成画像を表示させること、をコンピュータに実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示装置、画像処理装置及び制御方法に関する。
【背景技術】
【０００２】
従来、花粉又は埃などの空気中を浮遊する物質、すなわち、エアロゾルを可視化して表示する端末装置が知られている（例えば、特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０６２９１号公報
【特許文献２】国際公開第２０１６／１８１８５４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、エアロゾルの位置を精度良く提示することができないという問題がある。
【０００５】
そこで、本開示は、エアロゾルの位置を精度良く提示することができる表示装置、画像処理装置及び制御方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る表示装置は、表示画面と、カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
【０００７】
また、本開示の一態様に係る画像処理装置は、空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、プロセッサと、を備え、前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
【０００８】
また、本開示の一態様に係る制御方法は、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムの制御方法であって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、を含む。
【０００９】
また、本開示の一態様は、上記制御方法をコンピュータに実行させるプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な非一時的な記録媒体として実現することもできる。
【発明の効果】
【００１０】
本開示によれば、エアロゾルの位置を精度良く提示することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る非接触センシングシステムが適用される空間を示す上面図である。
【図２】図２は、実施の形態に係る非接触センシングシステムの構成を示すブロック図である。
【図３】図３は、実施の形態に係るセンサ装置の一例を示す図である。
【図４】図４は、実施の形態に係るセンサ装置から出力されるセンサデータの例を示す図である。
【図５】図５は、実施の形態に係る非接触センシングシステムにおいて、管理レベルを決定するための条件式を示すブロック図である。
【図６】図６は、物質毎の基準値を示す基準値データベースの一例を示す図である。
【図７】図７は、実施の形態に係る非接触センシングシステムによるエアロゾルの輪郭の決定方法を説明するための図である。
【図８】図８は、実施の形態に係る非接触センシングシステムによって得られた空間内の対象物毎の管理レベルの代表値を示す図である。
【図９】図９は、実施の形態に係る表示装置の表示画面への表示例を示す図である。
【図１０】図１０は、実施の形態に係る非接触センシングシステムの動作を示すシーケンス図である。
【図１１】図１１は、実施の形態に係る非接触センシングシステムの動作のうち、撮影画像データの３Ｄデータベース化の処理を示すフローチャートである。
【図１２】図１２は、実施の形態に係る非接触センシングシステムの動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。
【図１３】図１３は、実施の形態に係る非接触センシングシステムで生成された３Ｄデータベースの一例を示す図である。
【図１４】図１４は、実施の形態に係る非接触センシングシステムの動作のうち、レベル分布の生成処理を示すフローチャートである。
【図１５】図１５は、実施の形態に係る非接触センシングシステムの動作のうち、補助情報の生成処理を示すフローチャートである。
【図１６】図１６は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図１７】図１７は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図１８】図１８は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図１９】図１９は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図２０】図２０は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図２１】図２１は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。
【図２２】図２２は、実施の形態に係る非接触センシングシステムを一体的に備える表示装置を示す図である。
【発明を実施するための形態】
【００１２】
（本開示の概要）
本開示の一態様に係る表示装置は、表示画面と、カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
【００１３】
このように、エアロゾルを表す第２画像には、奥行き方向のエアロゾルの位置が反映されている。このため、表示画面には、第１画像によって表される上下左右方向のエアロゾルの位置だけでなく、第１画像に対する奥行き方向のエアロゾルの位置も表示される。これにより、エアロゾルの位置を精度良く提示することができる。
【００１４】
また、例えば、前記第１画像は二次元空間を表しており、前記制御部は、さらに、前記二次元空間に、前記少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを投影することで前記第２画像を生成し、前記第１画像と前記第２画像とを合成することで前記合成画像を生成してもよい。
【００１５】
これにより、二次元空間内でのエアロゾルの位置を精度良く提示することができる。
【００１６】
また、例えば、前記制御部は、さらに、前記少なくとも１種類のエアロゾルの前記空間内の位置を取得するセンサから前記三次元座標データを取得し、前記第１画像を擬似的に三次元画像に拡張し、前記三次元画像と前記三次元座標データとを対応付けて、前記二次元空間に前記三次元座標データを投影することで前記第２画像を生成してもよい。
【００１７】
これにより、擬似的な三次元空間内でのエアロゾルの位置を精度良く提示することができる。
【００１８】
また、例えば、前記第２画像は、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と、基準位置から前記輪郭内の代表位置までの距離を表す距離情報とを含んでもよい。
【００１９】
これにより、エアロゾルが存在する範囲を表示画面に表示することができ、かつ、エアロゾルの奥行き方向の位置を代表位置で代表させて表示させることができる。このため、エアロゾルの位置を簡潔に、すなわち、表示画面を見るユーザにとって分かりやすい表示態様で表示することができる。
【００２０】
また、例えば、前記代表位置は、前記輪郭内における前記少なくとも１種類のエアロゾルの濃度分布の重心であってもよい。
【００２１】
これにより、濃度分布に基づく演算により、容易に代表位置を決定することができる。また、エアロゾルの中心程、濃度が高いことが多いので、濃度分布の重心を代表位置とすることで、エアロゾルの位置を精度良く提示することができる。
【００２２】
また、例えば、前記距離情報は、前記距離を示す数値であってもよい。
【００２３】
これにより、距離を数値で表示することができるので、エアロゾルの位置をユーザにとって分かりやすい表示態様で表示することができる。
【００２４】
また、例えば、前記距離情報は、前記距離に応じて予め定められた、前記輪郭内に付された色であってもよい。
【００２５】
これにより、距離を色によって区別することができるので、エアロゾルの位置をユーザにとって分かりやすい表示態様で表示することができる。
【００２６】
また、例えば、前記合成画像は、前記空間と、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と含む三次元モデルを示していてもよい。
【００２７】
これにより、合成画像が三次元モデル化されるので、例えば複数の視点からの画像を表示画面に表示することができる。このため、エアロゾルの位置をユーザにとってより分かりやすい表示態様で表示することができる。
【００２８】
また、例えば、前記第２画像は、複数の画像が時間的に切り替わる動画像であり、前記複数の画像の各々は、基準位置からの距離に対応し、前記対応する距離における前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭を含んでもよい。
【００２９】
これにより、距離毎のエアロゾルを表す画像が順次表示されるので、エアロゾルの位置を精度良く提示することができる。
【００３０】
また、例えば、前記第２画像には、さらに、前記少なくとも１種類のエアロゾルの濃度が反映されていてもよい。
【００３１】
これにより、エアロゾルの位置だけでなく、濃度も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気を行うなどのエアロゾルに対する対策をするか否かの判断を支援することができる。
【００３２】
また、例えば、前記第２画像は、前記少なくとも１種類のエアロゾルの濃度のレベルを表すレベル情報を含んでもよい。
【００３３】
これにより、エアロゾルの濃度をレベル別に分類することで、エアロゾルの濃度を簡潔に、すなわち、表示画面を見るユーザにとって分かりやすい表示態様で表示することができる。
【００３４】
また、例えば、前記少なくとも１種類のエアロゾルは、複数種類のエアロゾルを含み、前記第２画像は、前記複数種類のエアロゾルをそれぞれ異なる表示態様で表してもよい。
【００３５】
これにより、複数の種類のエアロゾルが存在する場合であっても、種類毎に異なる表示態様で表示することができる。
【００３６】
また、例えば、前記制御部は、さらに、前記少なくとも１種類のエアロゾルの濃度が閾値を上回った場合に、ユーザの注意を喚起するための画像を前記表示画面に表示してもよい。
【００３７】
これにより、エアロゾルに対する対策などをユーザに促すことができる。
【００３８】
また、例えば、本開示の一態様に係る画像処理装置は、空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、プロセッサと、を備え、前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
【００３９】
このように、エアロゾルを表す第２画像には、奥行き方向のエアロゾルの位置が反映されている。このため、表示画面に表示される合成画像には、第１画像によって表される上下左右方向のエアロゾルの位置だけでなく、第１画像に対する奥行き方向のエアロゾルの位置も表れる。これにより、本態様に係る画像処理装置が生成した合成画像を表示画面に表示させた場合に、エアロゾルの位置を精度良く提示することができる。
【００４０】
また、例えば、本開示の一態様に係る制御方法は、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムの制御方法であって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、を含む。
【００４１】
このように、対象物を表す第２画像には、奥行き方向の対象物の位置が反映されている。このため、表示装置には、第１画像によって表される上下左右方向の対象物の位置だけでなく、第１画像に対する奥行き方向の対象物の位置も表示される。これにより、対象物の位置を精度良く提示することができる。
【００４２】
また、例えば、前記戻り光は、前記照射光によって前記少なくとも１種類の対象物が励起されて発する蛍光であり、前記合成画像の生成では、さらに、前記蛍光を分析することで、前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させてもよい。
【００４３】
これにより、対象物の位置だけでなく、種類も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気を行うなどの対象物に対する対策をするか否かの判断を支援することができる。
【００４４】
また、例えば、前記照射光は、所定の偏光成分を含み、前記合成画像の生成では、さらに、前記戻り光に含まれる前記偏光成分の偏光解消度に基づいて前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させてもよい。
【００４５】
これにより、対象物の位置だけでなく、種類も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気又は除菌を行うなどの対象物に対する対策をするか否かの判断を支援することができる。
【００４６】
また、例えば、前記三次元座標データは、前記照射光が出射される時間と前記戻り光が検出される時間との差に基づいて算出された、前記センサと前記少なくとも１種類の対象物との相対位置関係と、前記センサの前記空間中での座標とを用いて生成されてもよい。
【００４７】
これにより、対象物の検知と検知した対象物までの距離とを、同じ光源及び光検出器によって実行することができる。これにより、センサ装置の構成を簡潔にすることができる。
【００４８】
また、例えば、前記少なくとも１種類の対象物は、前記空間中に存在する物体に付着した有機物であってもよい。
【００４９】
これにより、例えば、嘔吐物又は花粉などの有機物を含む物質を検出し、その位置を精度良く提示することができる。
【００５０】
また、例えば、前記少なくとも１種類の対象物は、前記空間中に存在するエアロゾルであってもよい。
【００５１】
これにより、例えば、花粉又は埃などの空気中を浮遊する物質を検出し、その位置を精度良く提示することができる。
【００５２】
また、例えば、前記戻り光は、前記照射光が前記少なくとも１種類の対象物によって散乱されて発生する後方散乱光であってもよい。
【００５３】
これにより、エアロゾルを精度良く検出することができる。
【００５４】
また、例えば、本開示の一態様に係るプログラムは、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムを制御するためのコンピュータ実行可能なプログラムであって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、をコンピュータに実行させる。
【００５５】
以下では、実施の形態について、図面を参照しながら具体的に説明する。
【００５６】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５７】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
【００５８】
（実施の形態）
［１．概要］
本実施の形態に係る非接触センシングシステムは、空間を撮像し、かつ、当該空間内に存在する対象物を非接触で検出する。非接触センシングシステムは、撮像された空間を示す第１画像と、検出した対象物を表す第２画像とが合成された合成画像を表示画面に表示する。このとき、第２画像には、検出された対象物の、第１画像における奥行き方向の位置が反映されている。
【００５９】
まず、本実施の形態に係る非接触センシングシステムが適用される空間について、図１を用いて説明する。図１は、本実施の形態に係る非接触センシングシステムが適用される空間９５を示す上面図である。
【００６０】
空間９５は、例えば、住居、オフィス、介護施設又は病院などの建物の一部屋である。空間９５は、例えば、壁、窓、ドア、床及び天井などで仕切られた空間であり、閉じられた空間であるが、これに限らない。空間９５は、屋外の開放された空間であってもよい。また、空間９５は、バス又は飛行機などの移動体の内部空間であってもよい。
【００６１】
図１に示されるように、非接触センシングシステムによる検出の対象となる第１対象物９０は、空間９５内に存在している。第１対象物９０は、具体的には、空間９５内を浮遊しているエアロゾルである。エアロゾルには、塵若しくは埃などの粉塵、ＰＭ２．５などの浮遊粒子状物質、花粉などの生物系粒子、又は、微小水滴が含まれる。生物系粒子には、空中に浮遊するカビ又はダニなども含まれる。また、エアロゾルには、咳又はくしゃみなどの人体から動的に発生する物質が含まれてもよい。また、エアロゾルには、二酸化炭素（ＣＯ２）などの空気質の対象となる物質が含まれてもよい。
【００６２】
なお、検出の対象物は、エアロゾルに限定されない。具体的には、対象物は、有機物汚れであってもよい。有機物汚れは、例えば空間９５を構成する壁、床又は家具などの物体に付着した食品又は嘔吐物であり、空気中に浮遊したものでなくてよい。
【００６３】
［２．構成］
図２は、本実施の形態に係る非接触センシングシステム１０の構成を示すブロック図である。図２に示されるように、非接触センシングシステム１０は、カメラ２０と、第１センサ３０と、第２センサ４０と、第３センサ５０と、コンピュータ６０と、サーバ装置７０と、タブレット端末８０とを備える。
【００６４】
なお、非接触センシングシステム１０の構成は、図２に示される例には限らない。例えば、非接触センシングシステム１０は、第１センサ３０、第２センサ４０及び第３センサ５０のいずれか１つのみを備えてもよい。つまり、非接触センシングシステム１０が備えるセンサ装置の個数は、１個のみでもよく、あるいは、複数でもよい。また、非接触センシングシステム１０は、コンピュータ６０及びサーバ装置７０を備えていなくてもよい。また、例えば、非接触センシングシステム１０は、タブレット端末８０の代わりにコンピュータ６０に接続されたディスプレイを備えてもよい。
【００６５】
なお、図２には示されていないが、カメラ２０、第１センサ３０、第２センサ４０、第３センサ、サーバ装置７０及びタブレット端末８０はそれぞれ、通信インタフェースを備える。通信インタフェースを介して各種データ及び情報の送受信を行う。
【００６６】
以下では、非接触センシングシステム１０の構成要素の詳細について、図２を適宜参照しながら説明する。
【００６７】
［２−１．カメラ］
カメラ２０は、空間９５を撮像することで、撮影画像を生成する。撮影画像は、カメラ２０が空間９５を撮像することで生成される第１画像の一例である。カメラ２０は、例えば空間９５を撮像可能な位置に固定された定点カメラであるが、これに限らない。例えば、カメラ２０は、撮影方向及び撮影位置の少なくとも一方が可変である可動式のカメラであってもよい。カメラ２０は、複数の視点から空間９５を撮像することで、複数の撮影画像を生成してもよい。カメラ２０は、撮像によって得られた撮影画像データをコンピュータ６０に送信する。カメラ２０は、特に人間が視認できる空間を撮影する可視光カメラが好ましい。
【００６８】
［２−２．センサ装置］
第１センサ３０、第２センサ４０及び第３センサ５０は、各々が検出対象とする対象物を非接触で検出するセンサ装置の一例である。つまり、本実施の形態に係る非接触センシングシステム１０は、検出対象となる対象物の種類に応じて、３つのセンサ装置を備えている。例えば、図２に示される第１対象物９０は、第１センサ３０によって検出される花粉である。第２対象物９２は、第２センサ４０によって検出される埃である。第３対象物９４は、第３センサ５０によって検出される有機物汚れである。第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）を利用した非接触のセンサ装置である。
【００６９】
図３は、本実施の形態に係るセンサ装置の一例である第１センサ３０を示す図である。本実施の形態では、第１センサ３０は、自律移動式のセンサ装置である。なお、第２センサ４０及び第３センサ５０は、第１センサ３０と同様の構成を備える。
【００７０】
図３に示されるように、第１センサ３０は、空間９５の床面９６上を走行することができる。第１センサ３０は、床面９６上の所定の位置で照射光Ｌ１を出射した後、第１対象物９０から戻ってくる戻り光Ｌ２を受光する。第１センサ３０は、照射光Ｌ１の出射と戻り光Ｌ２の受光との時間差に基づいて第１対象物９０までの距離を計測する。また、第１センサ３０は、戻り光Ｌ２の強度に基づいて第１対象物９０の濃度を計測する。
【００７１】
具体的には、第１センサ３０は、図２に示されるように、光源３２と、光検出器３４と、信号処理回路３６とを備える。
【００７２】
光源３２は、空間９５中の第１対象物９０に向けて照射光Ｌ１を出射する光源である。光源３２は、例えばＬＥＤ（Light Emitting Diode）又はレーザ素子である。光源３２が出射する照射光Ｌ１は、第１対象物９０を励起させるための波長成分を含んでいる。具体的には、照射光Ｌ１は、２２０ｎｍ以上５５０ｎｍ以下の範囲においてピーク波長を有する光である。照射光Ｌ１は、例えばパルス光である。
【００７３】
光検出器３４は、第１対象物９０からの戻り光Ｌ２を検出する光検出器である。光検出器３４が検出する戻り光Ｌ２は、光源３２が出射した照射光Ｌ１によって第１対象物９０が励起されて発する蛍光である。蛍光は、照射光Ｌ１よりも長波長成分を多く含む光である。光検出器３４は、例えば、蛍光の波長成分に受光感度を有するフォトダイオードである。光検出器３４は、受光した蛍光の強度に応じた出力信号を信号処理回路３６に出力する。出力信号は、例えば、受光した蛍光の強度が大きい程、信号強度が大きくなる電気信号である。
【００７４】
信号処理回路３６は、光検出器３４から出力された出力信号を処理することにより、第１対象物９０までの距離、及び、第１対象物９０の濃度を決定する。図２に示されるように、信号処理回路３６は、位置情報取得部３７と、濃度情報取得部３８とを備える。
【００７５】
位置情報取得部３７は、第１対象物９０の空間９５内の三次元位置を示す位置情報を取得する。位置情報には、第１対象物９０までの距離と方向とが含まれる。例えば、位置情報取得部３７は、ＴＯＦ（Time Of Flight）方式で距離を算出する。具体的には、位置情報取得部３７は、光源３２による照射光Ｌ１の出射と光検出器３４による蛍光の検出との時間差に基づいて距離情報を取得する。距離情報には、第１対象物９０までの距離ｒｉ、並びに、第１対象物９０を検出した方向を示す水平角φｉ及び鉛直角θｉが含まれる。なお、第１対象物９０を検出した方向は、光源３２が照射光Ｌ１を出射した方向である。
【００７６】
濃度情報取得部３８は、第１対象物９０の濃度を示す濃度情報を取得する。具体的には、濃度情報取得部３８は、出力信号の信号強度に応じて第１対象物９０の濃度を決定する。例えば、信号強度をＳｉとした場合に、濃度Ｄｉは、以下の式（１）に基づいて算出される。
【００７７】
（１）  Ｄｉ＝α×Ｓｉ
【００７８】
ここで、αは、定数である。また、Ｄｉ及びＳｉ、並びに、上述したｒｉ、φｉ及びθｉの添字“ｉ”は、センサデータのデータ番号を示している。なお、濃度情報取得部３８が用いる濃度Ｄｉの算出方法は、これに限らない。例えば、濃度情報取得部３８は、出力信号そのものの代わりに、出力信号からノイズ成分を除去した後の信号を用いてもよい。
【００７９】
また、信号処理回路３６は、蛍光を分析することで、第１対象物９０の種類を判別してもよい。具体的には、信号処理回路３６は、照射光の波長と蛍光の波長との組み合わせに基づいて第１対象物９０の種類を判別する。例えば、第１センサ３０では、光源３２が、複数の励起波長に対応する複数の照射光を照射し、光検出器３４が、複数の受光波長に対応する複数の蛍光を受光してもよい。信号処理回路３６は、励起波長と受光波長と受光強度との三次元マトリクス、いわゆる蛍光指紋を生成することで、蛍光を発生させた第１対象物９０の種類を精度良く判別することができる。
【００８０】
信号処理回路３６は、決定した濃度Ｄｉを示す濃度情報、及び、位置情報をセンサデータとしてコンピュータ６０に出力する。
【００８１】
なお、第１センサ３０とコンピュータ６０とは、例えば、データの送受信が可能なように無線で接続されている。第１センサ３０は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの無線通信規格に基づく無線通信を行う。なお、第１センサ３０とコンピュータ６０とは、有線で接続されていてもよい。
【００８２】
第２センサ４０は、第２対象物９２に向けて照射光を出射し、第２対象物９２からの戻り光を受光することで、第２対象物９２を検出する。本実施の形態では、第２対象物９２は、蛍光を発しない物質であり、例えば埃である。
【００８３】
第２センサ４０は、光源４２と、光検出器４４と、信号処理回路４６とを備える。光源４２、光検出器４４及び信号処理回路４６はそれぞれ、第１センサ３０の光源３２、光検出器３４及び信号処理回路３６に相当する。
【００８４】
光源４２は、第２対象物９２に向けて照射光を出射する光源である。光源４２は、例えばＬＥＤ又はレーザ素子である。光源４２が出射する照射光は、第２対象物９２を励起させる必要がない。このため、照射光の波長成分としては、広い波長帯域から選択された波長成分を利用することができる。具体的には、光源４２が出射する照射光は、３００ｎｍ以上１３００ｎｍ以下の範囲においてピーク波長を有する光である。つまり、照射光は、紫外光でもよく、可視光でもよく、近赤外光でもよい。照射光は、例えばパルス光である。
【００８５】
光検出器４４は、第２対象物９２からの戻り光を検出する光検出器である。光検出器４４が検出する戻り光は、光源４２が出射した照射光が第２対象物９２によって散乱されて発生する後方散乱光である。後方散乱光は、例えばミー散乱による散乱光である。後方散乱光は、照射光と同じ波長成分を有する。光検出器４４は、照射光の波長成分に受光感度を有するフォトダイオードである。光検出器４４は、受光した後方散乱光の強度に応じた出力信号を信号処理回路４６に出力する。出力信号は、例えば、受光した後方散乱光の強度が大きい程、信号強度が大きくなる電気信号である。
【００８６】
なお、本実施の形態では、光源４２が出射する照射光は、所定の偏光成分を含んでいてもよい。信号処理回路４６は、戻り光に含まれる偏光成分の偏光解消度に基づいて第２対象物９２の種類を判別してもよい。偏光成分は、例えば直線偏光であるが、円偏光又は楕円偏光であってもよい。偏光成分が含まれる照射光が第２対象物９２に照射された場合、第２対象物９２からの戻り光である後方散乱光は、第２対象物９２の形状に応じて、その偏光解消度が異なる。
【００８７】
具体的には、第２対象物９２が球形の粒子である場合、その後方散乱光の偏光状態は保持される。つまり、後方散乱光の偏光状態は、照射光の偏光状態と同じになる。第２対象物９２が非球形の粒子である場合、粒子の形状に応じて偏光面が変化する。このため、信号処理回路４６は、後方散乱光の偏光解消度に基づいて、第２対象物９２の種類を判別することができる。例えば、黄砂の偏光解消度は１０％程度であり、花粉の偏光解消度は約１以上約４％以下である。
【００８８】
信号処理回路４６は、光検出器４４から出力された出力信号を処理することにより、第２対象物９２までの距離、及び、第２対象物９２の濃度を決定する。信号処理回路４６は、図２に示されるように、位置情報取得部４７と、濃度情報取得部４８とを備える。距離及び濃度の具体的な決定の動作は、第１センサ３０の信号処理回路３６と同じである。
【００８９】
第３センサ５０は、第３対象物９４に向けて照射光を出射し、第３対象物９４からの戻り光を受光することで、第３対象物９４を検出する。本実施の形態では、第３対象物９４は、励起光が照射された場合に蛍光を発する有機物汚れである。
【００９０】
第３センサ５０は、光源５２と、光検出器５４と、信号処理回路５６とを備える。信号処理回路５６は、位置情報取得部５７と、濃度情報取得部５８とを備える。
【００９１】
光源５２、光検出器５４及び信号処理回路５６はそれぞれ、第１センサ３０の光源３２、光検出器３４及び信号処理回路３６に相当する。第１センサ３０と第３センサ５０とでは、各々の光源が照射光を出射する方向が異なっている。例えば、光源３２が空間９５の空中に向けて照射光を出射するのに対して、光源５２は、空間９５の床面又は壁面に向けて照射光を出射する。光源５２、光検出器５４及び信号処理回路５６の各々の動作は、光源３２、光検出器３４及び信号処理回路３６の各々と同じである。
【００９２】
第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、照射光を出射した方向に位置する対象物を検出する。このとき、照射光の出射方向に複数の対象物が存在する場合、対象物の位置に応じて異なる時刻で戻り光が返ってくる。したがって、戻り光を受光した時刻に基づいて、照射光の出射方向に位置する複数の対象物を一度に検出することができる。なお、照射光の出射方向に対象物が存在しない場合、戻り光が返ってこない。このため、戻り光が返ってこない場合、照射光の経路上には対象物が存在しないことが検出される。第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、検出結果をセンサデータとしてコンピュータ６０に送信する。
【００９３】
図４は、本実施の形態に係るセンサ装置から出力されるセンサデータを含むデータベースの一例を示す図である。図４に示されるデータベースは、コンピュータ６０のプロセッサ６４によって管理されてメモリ６６に記憶される。
【００９４】
図４に示されるように、データベースでは、データ番号Ｎｏ．ｉ毎に物質名Ｍｉと、センサデータと、センサ基準位置とが対応付けられている。センサデータには、濃度Ｄｉ、距離ｒｉ、水平角φｉ及び鉛直角θｉが含まれる。
【００９５】
データ番号Ｎｏ．ｉは、コンピュータ６０が受信したセンサデータ毎に付されている。プロセッサ６４は、例えば、通信インタフェース６２がセンサデータを受信した順に、昇順でデータ番号を割り当てる。
【００９６】
物質名Ｍｉは、検出対象物の種類を示す情報である。本実施の形態では、センサ装置毎に対象物の種類が対応している。このため、プロセッサ６４は、通信インタフェース６２が受信したセンサデータの送信先を判別することで、当該センサデータに対応する物質名Ｍｉを判定することができる。例えば、図４に示される例では、データ番号１のセンサデータは、花粉を検出する第１センサ３０から送信されたことを表している。
【００９７】
濃度Ｄｉは、上述した式（１）に基づいて算出された値である。各センサ装置の信号処理回路３６、４６及び５６がそれぞれ、信号強度Ｓｉに基づいて算出する。
【００９８】
距離ｒｉ、水平角φｉ及び鉛直角θｉは、ＬＩＤＡＲを利用して得られる対象物の三次元位置を示すデータである。ＬＩＤＡＲで得られた位置データは、極座標系で示されているので、本実施の形態では、コンピュータ６０は、当該位置データを三次元直交座標系に座標変換する。座標変換の詳細については、後で説明する。
【００９９】
センサ基準位置は、例えば、第１センサ３０、第２センサ４０及び第３センサ５０のうち、センサデータを送信したセンサ装置の設置位置である。センサ装置が固定されている場合、センサ基準位置は変化しない。センサ装置が可動式である場合、センサ基準位置は、検出処理を行った時点、具体的には、照射光を出力した時点又は戻り光を受光した時点でのセンサ装置の位置である。なお、各センサが送信する水平角φｉ及び鉛直角θｉの基準方向、すなわちφｉ＝０かつθｉ＝０となる方向は、予めセンサ間で統一された方向に定められている。
【０１００】
［２−３．コンピュータ］
コンピュータ６０は、画像処理装置の一例であり、図２に示されるように、通信インタフェース６２と、プロセッサ６４と、メモリ６６とを備える。
【０１０１】
通信インタフェース６２は、非接触センシングシステム１０を構成する各機器と通信を行うことで、データの送受信を行う。各機器との通信は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの無線通信規格に基づいた無線通信であるが、有線通信であってもよい。
【０１０２】
通信インタフェース６２は、三次元座標データを取得する取得部の一例である。通信インタフェース６２は、第１センサ３０、第２センサ４０及び第３センサ５０の各々と通信することで、第１センサ３０、第２センサ４０及び第３センサ５０の各々からセンサデータを取得する。センサデータは、少なくとも１種類の対象物の空間９５内の位置を表す三次元座標データの一例である位置情報を含んでいる。さらに、センサデータは、濃度情報を含んでいる。
【０１０３】
三次元座標データは、照射光の出射と戻り光の検出との時間差に基づいて算出された、センサ装置と対象物との相対位置関係と、センサ装置の空間９５中での座標とを用いて生成される。相対位置関係は、図４に示される距離ｒｉに相当する。センサ装置の空間９５中での座標は、図４に示される基準位置を示す座標（ｘ０，ｙ０，ｚ０）に相当する。
【０１０４】
また、通信インタフェース６２は、例えば、カメラ２０と通信することで、カメラ２０から撮影画像データを取得する。通信インタフェース６２は、カメラ２０、第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つに、撮影指示又はセンシングの指示を含む制御信号を送信してもよい。通信インタフェース６２は、さらに、サーバ装置７０と通信することで、対象物の濃度分布に相当するレベル分布情報をサーバ装置７０に送信する。通信インタフェース６２は、タブレット端末８０と通信することで、合成画像データをタブレット端末８０に送信する。
【０１０５】
プロセッサ６４は、通信インタフェース６２が取得したセンサデータに基づいて合成画像を生成する。合成画像は、カメラ２０で撮像された空間９５を表す撮影画像と対象物画像とが合成された合成画像である。対象物画像は、空間９５に存在する少なくとも１種類の対象物を表す第２画像の一例である。
【０１０６】
本実施の形態では、プロセッサ６４は、センサデータに基づいて空間９５内の対象物の濃度分布を生成する。具体的には、プロセッサ６４は、空間９５を三次元直交座標系の座標で表し、座標毎に濃度を対応付けることで、濃度の三次元分布を生成する。図１に示されるｘ軸、ｙ軸及びｚ軸は、三次元直交座標系の三軸を示している。ｘ軸及びｙ軸が空間９５の床面に平行な二軸であり、ｚ軸が当該床面に垂直な一軸である。なお、三軸の設定例は、これに限らない。
【０１０７】
具体的には、プロセッサ６４は、対象物の濃度分布の一例であるレベル分布を生成する。レベル分布は、濃度情報に基づいて決定された管理レベルＣｉの分布である。本実施の形態では、濃度Ｄｉは、その大きさに応じて複数のレベル値に分類される。管理レベルＣｉは、濃度情報が示す濃度Ｄｉが分類されたレベル値である。例えば、プロセッサ６４は、図５で示される条件式に基づいて管理レベルＣｉを決定する。図５は、本実施の形態に係る非接触センシングシステム１０において、管理レベルＣｉを決定するための条件式を示す図である。条件式は、例えばメモリ６６に記憶されている。
【０１０８】
図５に示されるように、管理レベルＣｉは、“１”から“５”の５段階で表される。濃度Ｄｉと基準値Ｌｍとの関係に基づいて、プロセッサ６４は、管理レベルＣｉを決定する。基準値Ｌｍは、図６に示されるように、対象物の種類毎に予め定められた値である。図６は、物質毎の基準値を示す基準値データベースの一例を示す図である。基準値データベースは、例えばメモリ６６に記憶されている。管理レベルＣｉの段階は、５段階に限らず、２段階、３段階又は４段階などでもよく、６段階以上であってもよい。図５に示される条件式において、基準値Ｌｍに乗ずる係数（例えば“０．４”など）の値も一例に過ぎない。
【０１０９】
本実施の形態では、プロセッサ６４は、さらに、生成した三次元分布に基づいて対象物の輪郭を決定する。また、プロセッサ６４は、決定した輪郭内の所定の位置を代表位置として決定する。対象物画像は、決定された輪郭と代表位置とを含んでいる。
【０１１０】
例えば、プロセッサ６４は、座標毎の濃度Ｄｉに基づいて対象物の輪郭を決定する。具体的には、プロセッサ６４は、座標毎の濃度Ｄｉに基づいて算出された管理レベルＣｉに基づいて、空間９５に存在するエアロゾルの輪郭を決定する。
【０１１１】
図７は、本実施の形態に係る非接触センシングシステム１０によるエアロゾルの輪郭の決定方法を説明するための図である。図７では、簡単のため、ｘ軸とｙ軸とで定義される二次元のレベル分布内での輪郭の決定方法について説明するが、三次元の場合も同様に行うことができる。
【０１１２】
図７に示されるように、ｘ座標とｙ座標とで表される座標毎に、管理レベルＣｉが算出されている。プロセッサ６４は、例えば、管理レベルＣｉが設定値以上である領域を決定し、当該領域の輪郭をエアロゾルの輪郭として決定する。例えば、設定値が“２”である場合、プロセッサ６４は、管理レベルＣｉが“２”以上の領域の輪郭９０ａを、エアロゾルの輪郭として決定する。なお、図７では、管理レベルＣｉが“２”以上の領域にドットの網掛けを付している。図７に示される例では、空間内の２ヶ所にエアロゾルが検出されたことを示している。
【０１１３】
輪郭を決定するための設定値は、変更可能であってもよい。例えば、設定値を大きくした場合、エアロゾルの濃度が十分に高い部分のみをエアロゾルの存在範囲として決定することができる。あるいは、設定値を小さくした場合は、エアロゾルの濃度が低い部分も含めてエアロゾルの存在範囲として決定することができる。
【０１１４】
また、プロセッサ６４は、複数の設定値を用いて、設定値毎に輪郭を決定してもよい。例えば、図７に示される例では、設定値“２”に対応する輪郭９０ａと、設定値“３”に対応する輪郭９０ｂとが決定される。輪郭９０ａは、決定された複数の輪郭のうちの最も外側の輪郭であり、エアロゾルの存在範囲を示す輪郭に相当する。輪郭９０ｂは、エアロゾルの存在範囲内において、エアロゾルの濃度がより濃い領域を示す輪郭に相当する。このように、エアロゾルの存在範囲内において、エアロゾルの濃度差を輪郭によって表すことができる。
【０１１５】
輪郭内の代表位置は、輪郭内におけるエアロゾルの濃度分布の重心である。具体的には、プロセッサ６４は、輪郭内に存在する座標毎の管理レベルＣｉに基づいて重心を決定する。例えば、重心の座標を（Ｘｃ，Ｙｃ，Ｚｃ）とした場合、プロセッサ６４は、以下の式（２）に基づいて重心の座標を決定する。
【０１１６】
（２）  Ｘｃ＝Σ（Ｄｉ×Ｘｉ）／Σ（Ｄｉ）
Ｙｃ＝Σ（Ｄｉ×Ｙｉ）／Σ（Ｄｉ）
Ｚｃ＝Σ（Ｄｉ×Ｚｉ）／Σ（Ｄｉ）
【０１１７】
式（２）において、Σ（）は、（）内の和を表す算術記号である。ｉは、決定された輪郭内に位置する座標に対応している。
【０１１８】
なお、代表位置は、決定された輪郭を外周とする立体図形の重心であってもよい。
【０１１９】
メモリ６６は、撮影画像データ及びセンサデータを格納するための記憶装置である。メモリ６６は、プロセッサ６４が実行するプログラム及び当該プログラムの実行に必要なパラメータなどを記憶している。また、メモリ６６は、プロセッサ６４によるプログラムの実行領域としても機能する。メモリ６６は、例えば、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの不揮発性メモリ、及び、ＲＡＭ（Random Access Memory）などの揮発性メモリを有する。
【０１２０】
［２−４．サーバ装置］
サーバ装置７０は、コンピュータ６０から送信されたレベル分布情報を受信し、受信したレベル分布情報を用いて所定の処理を行う。具体的には、サーバ装置７０は、レベル分布情報に基づいて、空間９５を使用する人に対する注意喚起を行う。例えば、サーバ装置７０は、注意喚起用の画像である注意画像を生成し、生成した注意画像をタブレット端末８０に送信する。
【０１２１】
例えば、サーバ装置７０は、検出された少なくとも１種類の対象物の濃度が閾値を上回るか否かを判定する。具体的には、サーバ装置７０は、空間９５内の代表管理レベルＣが閾値を上回るか否かを判定する。サーバ装置７０は、代表管理レベルＣが閾値を上回っていると判定した場合、注意画像を生成する。閾値は、予め定められた固定値であるが、これに限らない。例えば、閾値は、機械学習によって適宜更新されてもよい。
【０１２２】
代表管理レベルＣは、例えば、対象物毎の管理レベルの代表値Ｃｍに基づいて算出される。代表値Ｃｍは、対応する対象物の管理レベルを代表する値であり、例えば、対応する対象物のレベル分布において、管理レベルの最大値である。サーバ装置７０は、レベル分布に基づいて、対象物毎に代表値Ｃｍを算出する。
【０１２３】
図８は、本実施の形態に係る非接触センシングシステム１０によって得られた空間９５内の対象物毎の管理レベルの代表値Ｃｍを示す図である。サーバ装置７０は、対象物毎の代表値を平均することで、代表管理レベルＣを算出する。例えば、図８に示される例では、代表管理レベルＣは“３．８”になる。
【０１２４】
なお、代表管理レベルＣは、複数の代表値Ｃｍの平均値でなくてもよい。例えば、代表管理レベルＣは、複数の代表値Ｃｍの重み付け加算値であってもよい。例えば、花粉及び埃の重みを１とした場合に、ＣＯ２、水分、表面有機物汚れの重みをそれぞれ、０．３、０．１、０．１としてもよい。重みの値はこれらに限らず、ユーザなどの指示に基づいて変更可能であってもよい。
【０１２５】
また、サーバ装置７０は、空間９５に設置された空調機器を制御してもよい。あるいは、サーバ装置７０は、例えば花粉又は埃などの濃度の上昇を抑制するための予防アドバイスを行ってもよい。予防アドバイスは、例えば、ユーザに空間９５の換気を促す指示、又は、空間９５内に配置された空気清浄機などの機器の駆動を促す指示などである。サーバ装置７０は、予防アドバイスを含む画像データ又は音声データなどをタブレット端末８０に出力する。例えば、サーバ装置７０は、気象観測データなどを参照することにより、注意喚起又は予防アドバイスに関する情報を取得する。また、サーバ装置７０は、濃度又は管理レベルの経時変化などに基づいた機械学習を行うことで、注意喚起又は予防アドバイスに関する情報を生成してもよい。
【０１２６】
［２−５．タブレット端末］
タブレット端末８０は、携帯可能な情報処理端末である。タブレット端末８０は、例えば、タブレットＰＣ又はスマートフォンなどの多機能の情報端末であってもよく、非接触センシングシステム１０に専用の情報端末であってもよい。図２に示されるように、タブレット端末８０は、表示画面８２及び制御部８４を備える表示装置の一例である。
【０１２７】
表示画面８２は、合成画像を表示する。表示画面８２は、例えば液晶表示パネルであるが、これに限らない。例えば、表示画面８２は、有機ＥＬ（Electroluminescence）素子を用いた自発光型の表示パネルであってもよい。表示画面８２は、例えばタッチパネルディスプレイであり、ユーザからの入力を受け付けることができてもよい。
【０１２８】
制御部８４は、合成画像を表示画面８２に表示させる。制御部８４は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを備える。
【０１２９】
本実施の形態では、制御部８４は、コンピュータ６０から送信された合成画像データを取得し、取得した合成画像データに基づいて合成画像を表示画面８２に表示させる。例えば、制御部８４は、図９に示される合成画像１００を表示画面８２に表示させる。
【０１３０】
図９は、本実施の形態に係る表示装置の一例であるタブレット端末８０の表示画面８２への表示例を示す図である。図９に示されるように、表示画面８２には、合成画像１００が表示されている。
【０１３１】
合成画像１００は、撮影画像１０１と、エアロゾル画像１０２とが合成された画像である。合成画像１００は、例えば静止画である。
【０１３２】
撮影画像１０１は、カメラ２０で撮像された空間９５を表している。撮影画像１０１は、空間９５を水平方向から撮像することで得られた画像であるが、これに限らない。撮影画像１０１は、例えば、空間９５を上方から撮像することで得られた画像であってもよい。この場合、撮影画像１０１は、図１に示される上面図に相当する。
【０１３３】
エアロゾル画像１０２は、空間９５に存在する少なくとも１種類の対象物を表す対象物画像の一例である。例えば、エアロゾル画像１０２は、エアロゾルの一例である花粉を表している。エアロゾル画像１０２は、少なくとも１種類の対象物の、撮影画像１０１における奥行き方向の位置が反映されている。
【０１３４】
図９に示されるように、エアロゾル画像１０２は、輪郭１０２ａと、距離情報１０２ｂとを含んでいる。輪郭１０２ａは、例えば、第１センサ３０によって検出された第１対象物９０が存在する範囲を表している。距離情報１０２ｂは、基準位置から輪郭１０２ａ内の代表位置までの距離を示す数値である。
【０１３５】
基準位置は、空間９５内に存在する位置である。例えば、基準位置は、カメラ２０の設置位置である。あるいは、基準位置は、空間９５内に存在する人又は空気清浄機などの機器の位置であってもよい。
【０１３６】
詳細については、図１６から図１９に示される別の表示例を用いて後述するが、エアロゾル画像１０２は、エアロゾルの濃度が反映されていてもよい。具体的には、エアロゾル画像１０２は、エアロゾルの濃度の管理レベルＣｉを表すレベル情報が含まれてもよい。また、２種類以上のエアロゾルが検出された場合には、エアロゾル画像は、２種類以上のエアロゾルを異なる表示態様で表してもよい。また、エアロゾルの濃度が閾値を上回った場合に、表示画面８２には注意画像が表示されてもよい。
【０１３７】
［３．動作］
続いて、本実施の形態に係る非接触センシングシステム１０の動作について図１０から図１５を用いて説明する。
【０１３８】
図１０は、本実施の形態に係る非接触センシングシステム１０の動作を示すシーケンス図である。
【０１３９】
図１０に示されるように、まず、カメラ２０が空間９５を撮像する（Ｓ１０）。カメラ２０は、撮像によって得られた撮影画像データをコンピュータ６０に送信する（Ｓ１２）。
【０１４０】
また、第１センサ３０は、第１対象物９０の検出処理を行う（Ｓ１４）。具体的には、第１センサ３０では、光源３２が第１対象物９０に向けて照射光を出射し、光検出器３４が第１対象物９０からの戻り光を受光する。信号処理回路３６は、戻り光の信号強度に基づいて第１対象物９０の距離及び濃度を含むセンサデータを生成する。第１センサ３０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ１６）。
【０１４１】
第２センサ４０は、第２対象物９２の検出処理を行う（Ｓ１８）。具体的には、第２センサ４０では、光源４２が第２対象物９２に向けて照射光を出射し、光検出器４４が第２対象物９２からの戻り光を受光する。信号処理回路４６は、戻り光の信号強度に基づいて第２対象物９２の距離及び濃度を含むセンサデータを生成する。第２センサ４０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ２０）。
【０１４２】
第３センサ５０は、第３対象物９４の検出処理を行う（Ｓ２２）。具体的には、第３センサ５０では、光源５２が第３対象物９４に向けて照射光を出射し、光検出器５４が第３対象物９４からの戻り光を受光する。信号処理回路５６は、戻り光の信号強度に基づいて第３対象物９４の距離及び濃度を含むセンサデータを生成する。第３センサ５０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ２４）。
【０１４３】
なお、カメラ２０による撮像（Ｓ１０）、第１センサ３０による検出処理（Ｓ１４）、第２センサ４０による検出処理（Ｓ１８）及び第３センサ５０による検出処理（Ｓ２２）のいずれが先に行われてもよく、これらが同時に行われてもよい。撮像（Ｓ１０）及び検出処理（Ｓ１４、Ｓ１８及びＳ２２）が行われるタイミングは、コンピュータ６０又はサーバ装置７０などからの指示に基づいて行われてもよい。各機器は、撮影画像データ又はセンサデータが得られた場合に、撮影画像データ又はセンサデータを送信する。あるいは、各機器は、コンピュータ６０からの要求を受け付けた場合に、撮影画像データ又はセンサデータを送信してもよい。
【０１４４】
次に、コンピュータ６０は、撮影画像データ及び各センサデータを受信し、受信した撮影画像データ及び各センサデータに基づいて３Ｄデータベース化の処理を行う（Ｓ２６）。具体的には、コンピュータ６０のプロセッサ６４は、二次元の撮影画像を擬似的な三次元画像に変換する。また、プロセッサ６４は、極座標系で得られたセンサデータを三次元直交座標系に座標変換する。
【０１４５】
図１１は、本実施の形態に係る非接触センシングシステム１０の動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。図１１は、図１０のステップＳ２６の詳細な動作の一例である。
【０１４６】
図１１に示されるように、プロセッサ６４は、通信インタフェース６２を介して撮影画像データを取得する（Ｓ１０２）。撮影画像データに含まれる撮影画像は、二次元画像である。プロセッサ６４は、二次元画像を擬似的に三次元画像に変換する一般的に知られた手法を用いて、二次元の撮影画像を擬似的な三次元画像に変換する（Ｓ１０４）。
【０１４７】
なお、撮影画像データには、空間９５を構成する壁、床及び天井、並びに、空間９５内に位置する人及び家具などまでの距離を示す距離画像が含まれてもよい。あるいは、撮影画像データには、互いに異なる複数の視点から撮影された複数の撮影画像が含まれていてもよい。例えば、プロセッサ６４は、撮影画像と距離画像とを用いて、又は、複数の撮影画像を用いて三次元画像を生成してもよい。これにより、三次元画像の確からしさを高めることができる。
【０１４８】
図１２は、本実施の形態に係る非接触センシングシステム１０の動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。図１２は、図１０のステップＳ２６の詳細な動作の一例である。
【０１４９】
図１２に示されるように、プロセッサ６４は、メモリ６６に記憶されたデータベースからセンサデータを取得する（Ｓ１１２）。具体的には、プロセッサ６４は、距離ｒｉと、水平角φｉと、鉛直角θｉと、物質名Ｍｉとを取得する。プロセッサ６４は、以下の式（３）に基づいて、取得したセンサデータを三次元直交座標系に変換する（Ｓ１１４）。
【０１５０】
（３）  Ｘｉ＝ｘ０＋ｒｉ×ｃｏｓθｉ・ｓｉｎφｉ
Ｙｉ＝ｙ０＋ｒｉ×ｃｏｓθｉ・ｃｏｓφｉ
Ｚｉ＝ｚ０＋ｒｉ×ｓｉｎθｉ
【０１５１】
図１１に示される撮影画像の擬似三次元化と、図１２に示されるセンサデータの三次元化とは、いずれが先に行われてもよく、同時に行われてもよい。センサデータの三次元化が行われることで、図１３に示されるように、三次元直交座標系で表された空間座標（Ｘｉ，Ｙｉ，Ｚｉ）がデータ番号Ｎｏ．ｉに対応付けられる。
【０１５２】
ここで、図１３は、本実施の形態に係る非接触センシングシステム１０で生成された３Ｄデータベースの一例を示す図である。図１３に示されるように、データ番号Ｎｏ．ｉ毎に物質名Ｍｉ、濃度Ｄｉ、管理レベルＣｉ及び空間座標（Ｘｉ，Ｙｉ，Ｚｉ）が対応付けられている。
【０１５３】
３Ｄデータベースが生成された後、図１０に示されるように、コンピュータ６０は、生成された３Ｄデータベースに基づいて、レベル分布を生成する（Ｓ２８）。コンピュータ６０は、生成したレベル分布を示すレベル分布情報をサーバ装置７０に送信する（Ｓ３０）。
【０１５４】
ここで、レベル分布の生成処理の詳細について、図１４を用いて説明する。図１４は、本実施の形態に係る非接触センシングシステム１０の動作のうち、レベル分布の生成処理を示すフローチャートである。図１４は、図１０のステップＳ２８の詳細な動作の一例を示している。
【０１５５】
図１４に示されるように、まず、プロセッサ６４は、メモリ６６から読み出すことで、濃度情報Ｄｉと空間座標（Ｘｉ，Ｙｉ，Ｚｉ）とを取得する（Ｓ１２２）。次に、プロセッサ６４は、物質毎の基準値Ｌｍとの比較に基づいて管理レベルＣｉを決定し、レベル分布を生成する（Ｓ１２４）。次に、プロセッサ６４は、生成したレベル分布に基づいて、輪郭及び輪郭内の代表位置を決定する（Ｓ１２６）。輪郭及び代表位置の決定処理は、例えば、図７を用いて上述した通りである。
【０１５６】
レベル分布が生成された後、図１０に示されるように、コンピュータ６０は、合成画像を生成する（Ｓ３２）。具体的には、コンピュータ６０は、撮影画像に対してレベル分布をマッピングすることで、輪郭及び距離情報と撮影画像とを合成する。コンピュータ６０は、合成画像データをタブレット端末８０に送信する（Ｓ３４）。
【０１５７】
なお、輪郭及び距離情報を含む画像が、撮影画像が表す二次元空間に、少なくとも１種類のエアロゾルの空間内の位置を表す三次元座標データを投影することで生成される第２画像の一例である。輪郭及び距離情報を含む画像は、例えば、図９に示されるエアロゾル画像１０２である。
【０１５８】
具体的には、コンピュータ６０は、撮影画像が表す二次元空間に、少なくとも１種類のエアロゾルの空間内の位置を表す三次元座標データを投影することで、輪郭及び距離情報を含む画像を生成する。例えば、コンピュータ６０は、撮影画像を擬似的に三次元画像に拡張し、拡張した三次元画像と三次元座標データとを対応付けて投影を行うことで、輪郭及び距離情報を含む画像を生成する。三次元画像と三次元座標データとを対応付けとは、三次元画像の三次元座標の原点及び三軸と、三次元座標データの三次元座標の原点及び三軸とを空間内の同一の位置に合わせることである。コンピュータ６０は、輪郭及び距離情報を含む画像と撮影画像とを合成することで合成画像を生成する。
【０１５９】
また、サーバ装置７０は、コンピュータ６０から送信されたレベル分布情報に基づいて補助情報を取得する（Ｓ３６）。補助情報は、例えば注意喚起又は予防アドバイスを含む情報である。サーバ装置７０は、取得した補助情報をタブレット端末８０に送信する（Ｓ３８）。
【０１６０】
ここで、補助情報の生成処理の詳細について、図１５を用いて説明する。図１５は、本実施の形態に係る非接触センシングシステム１０の動作のうち、補助情報の生成処理を示すフローチャートである。図１５は、図１０のステップＳ３６の詳細な動作の一例を示している。
【０１６１】
図１５に示されるように、まず、サーバ装置７０は、空間９５内の対象物毎の管理レベルの代表値Ｃｍを決定する（Ｓ１３２）。次に、サーバ装置７０は、空間９５内の代表管理レベルＣを決定する（Ｓ１３４）。代表管理レベルＣの具体的な決定方法は、図８を用いて上述した通りである。
【０１６２】
次に、サーバ装置７０は、代表管理レベルＣと閾値とを比較する（Ｓ１３６）。代表管理レベルＣが閾値より大きい場合（Ｓ１３６でＹｅｓ）、サーバ装置７０は、注意画像を生成する（Ｓ１３８）。注意画像の代わりに予防アドバイスを生成してもよい。代表管理レベルＣが閾値以下である場合（Ｓ１３６でＮｏ）、補助情報の生成処理は終了する。
【０１６３】
なお、サーバ装置７０は、代表管理レベルＣと閾値とを比較したが、対象物毎の管理レベルの代表値Ｃｍと閾値とを比較してもよい。つまり、サーバ装置７０は、代表管理レベルＣを決定しなくてもよい。例えば、花粉及び埃などの複数の対象物の各々の管理レベルの代表値Ｃｍのうち少なくとも１つの代表値Ｃｍが閾値より大きい場合に、サーバ装置７０は、注意画像を生成してもよい。
【０１６４】
最後に、図１０に示されるように、タブレット端末８０は、コンピュータ６０から送信された合成画像データと、サーバ装置７０から送信された補助情報とを取得し、合成画像を表示画面８２に表示する（Ｓ４０）。表示画面８２に表示される合成画像には、補助情報が含まれなくてもよい。これにより、例えば、図９に示されるような合成画像１００が表示画面８２に表示される。なお、図９は、補助情報が含まれていない表示例を示している。補助情報が含まれている表示例については、図１９を用いて後で説明する。
【０１６５】
［４．別の表示例］
以下では、本実施の形態に係るタブレット端末８０の表示画面８２に表示される合成画像の具体例について、図１６から図２１を用いて説明する。なお、以下では、図９に示される合成画像１００との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
【０１６６】
［４−１．静止画（対象物が１種類の場合）］
図１６は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１６に示されるように、表示画面８２には、合成画像１１０が表示されている。
【０１６７】
合成画像１１０は、撮影画像１０１と、エアロゾル画像１１２及び１１４とが合成された画像である。エアロゾル画像１１２及び１１４はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表す第２画像の一例である。図１６に示される例では、エアロゾル画像１１２及び１１４はそれぞれ、花粉を表している。
【０１６８】
図１６に示されるように、エアロゾル画像１１２は、輪郭１１２ａと、距離情報１１２ｂとを含んでいる。同様に、エアロゾル画像１１４は、輪郭１１４ａと、距離情報１１４ｂとを含んでいる。
【０１６９】
図１６に示される例では、距離情報１１２ｂは、距離に応じて予め定められた、輪郭１１２ａ内に付された色である。距離情報１１４ｂも同様である。例えば、距離に応じて色の種類又は濃淡が予め定められている。なお、図１６では、輪郭１１２ａ内に付されたドットの網掛けの密度によって色を表している。例えば、距離情報１１４ｂとして輪郭１１４ａ内に付された色は、距離情報１１２ｂとして輪郭１１２ａ内に付された色よりも濃い色である。このため、合成画像１１０では、エアロゾル画像１１４が表す花粉は、エアロゾル画像１１２が表す花粉よりも距離が短いことが表れている。
【０１７０】
なお、距離情報１１２ｂ及び１１４ｂは、色ではなく、網掛けの濃淡で表されてもよい。例えば、輪郭１１２ａ又は１１４ａ内に付されたドットの粗密によって距離の遠近が表されてもよい。
【０１７１】
また、エアロゾル画像１１２は、さらにレベル情報１１２ｃを含んでいる。エアロゾル画像１１４は、さらにレベル情報１１４ｃを含んでいる。レベル情報１１２ｃは、エアロゾル画像１１２が表すエアロゾルの種類及び濃度を示している。レベル情報１１２ｃが表す濃度は、例えば、輪郭１１２ａ内の各座標の管理レベルＣｉを代表する値である。例えば、レベル情報１１２ｃは、輪郭１１２ａ内の各座標の管理レベルＣｉの最大値又は平均値を示している。例えば、図１６に示される例では、レベル情報１１２ｃは、エアロゾルの種類である花粉を表す文字と、管理レベルＣｉを示す数値とを含んでいる。レベル情報１１４ｃも同様である。
【０１７２】
このように、合成画像１１０では、エアロゾルまでの距離が、数値以外の表示態様で表示されるので、画像内に数値を含む文字が多くなり、複雑化することを抑制することができる。また、距離が数値以外の表示態様で表示されることで、数値及び文字を利用してエアロゾルの濃度を表すことができる。これにより、画像内の複雑化を抑制しつつ、ユーザに提示できる情報量を増やすことができる。
【０１７３】
［４−２．静止画（対象物が複数種類の場合）］
次に、空間９５内に複数種類のエアロゾルが存在する場合の表示例について説明する。
【０１７４】
図１７は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１７に示されるように、表示画面８２には、合成画像１２０が表示されている。
【０１７５】
合成画像１２０は、撮影画像１０１と、エアロゾル画像１２２、１２４、１２６及び１２８とが合成された画像である。エアロゾル画像１２２、１２４、１２６及び１２８はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表している。図１７に示される例では、エアロゾル画像１２２及び１２８は、花粉を表している。エアロゾル画像１２４及び１２６は、埃を表している。
【０１７６】
図１７に示されるように、エアロゾル画像１２２は、輪郭１２２ａと、距離情報１２２ｂとを含んでいる。エアロゾル画像１２４は、輪郭１２４ａと、距離情報１２４ｂとを含んでいる。エアロゾル画像１２６は、輪郭１２６ａと、距離情報１２６ｂとを含んでいる。エアロゾル画像１２８は、輪郭１２８ａと、距離情報１２８ｂとを含んでいる。距離情報１２２ｂ、１２４ｂ、１２６ｂ及び１２８ｂはそれぞれ、図９で示される合成画像１００と同様に、距離を表す数値である。
【０１７７】
図１７に示される合成画像１２０では、エアロゾル画像１２２は、さらにレベル情報１２２ｃを含んでいる。エアロゾル画像１２４は、さらにレベル情報１２４ｃを含んでいる。エアロゾル画像１２６は、さらにレベル情報１２６ｃを含んでいる。エアロゾル画像１２８は、さらにレベル情報１２８ｃを含んでいる。
【０１７８】
レベル情報１２２ｃは、輪郭１２２ａ内に付された色又は網掛けである。具体的には、レベル情報１２２ｃは、色の濃淡又は網掛けの粗密によって管理レベルＣｉの大小を表している。例えば、レベル情報１２２ｃは、色が濃い程、又は、網掛けが密である程、管理レベルＣｉが大きいことを表している。レベル情報１２２ｃは、色が薄い程、又は、網掛けが疎である程、管理レベルが小さいことを表している。レベル情報１２４ｃ、１２６ｃ及び１２８ｃも同様である。
【０１７９】
さらに、レベル情報１２２ｃは、色又は網掛けの種類によって、エアロゾルの種類を表している。つまり、同一の種類の色又は網掛けは、同一のエアロゾルであることを意味する。例えば、図１７に示される例では、ドットの網掛けが花粉を表し、格子状の網掛けが埃を表している。レベル情報１２４ｃ、１２６ｃ及び１２８ｃも同様である。
【０１８０】
以上のことから、エアロゾル画像１２２は、エアロゾル画像１２８が表すエアロゾルと同じ種類であり、かつ、エアロゾル画像１２８が表すエアロゾルと比較して、その濃度は低く、距離が離れていることを表している。同様に、エアロゾル画像１２４は、エアロゾル画像１２６が表すエアロゾルと同じ種類であり、かつ、エアロゾル画像１２６が表すエアロゾルと比較して、その濃度は高く、距離が近いことを表している。
【０１８１】
図１８は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１８に示されるように、表示画面８２には、合成画像１３０が表示されている。
【０１８２】
合成画像１３０は、撮影画像１０１と、エアロゾル画像１３２、１３４、１３６及び１３８とが合成された画像である。エアロゾル画像１３２、１３４、１３６及び１３８はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表している。図１８に示される例では、エアロゾル画像１３２及び１３８は、花粉を表している。エアロゾル画像１３４及び１３６は、埃を表している。
【０１８３】
図１８に示されるように、エアロゾル画像１３２は、輪郭１３２ａと、距離情報１３２ｂと、レベル情報１３２ｃとを含んでいる。エアロゾル画像１３４は、輪郭１３４ａと、距離情報１３４ｂと、レベル情報１３４ｃとを含んでいる。エアロゾル画像１３６は、輪郭１３６ａと、距離情報１３６ｂと、レベル情報１３６ｃとを含んでいる。エアロゾル画像１３８は、輪郭１３８ａと、距離情報１３８ｂと、レベル情報１３８ｃとを含んでいる。
【０１８４】
距離情報１３２ｂ、１３４ｂ、１３６ｂ及び１３８ｂはそれぞれ、図１６で示される合成画像１１０と同様に、距離に応じて予め定められた、輪郭内に付された色である。また、図１８に示される例では、距離情報１３２ｂ、１３４ｂ、１３６ｂ及び１３８ｂは、色又は網掛けの種類によって、エアロゾルの種類を表している。つまり、同一の種類の色又は網掛けは、同一のエアロゾルであることを意味する。例えば、図１８に示される例では、ドットの網掛けが花粉を表し、格子状の網掛けが埃を表している。
【０１８５】
レベル情報１３２ｃ、１３４ｃ、１３６ｃ及び１３８ｃはそれぞれ、図１６で示される合成画像１１０と同様に、エアロゾルの種類である花粉を表す文字と、管理レベルＣｉを示す数値とを含んでいる。
【０１８６】
このように、複数種類のエアロゾルが異なる表示態様で表示されるので、ユーザにエアロゾルの位置だけでなく、種類を提示することができる。これにより、画像内の複雑化を抑制しつつ、ユーザに提示できる情報量を増やすことができる。
【０１８７】
［４−３．静止画（注意画像を含む場合）］
次に、エアロゾルの濃度が閾値を超えた場合の表示例について説明する。
【０１８８】
図１９は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１９に示されるように、表示画面８２には、合成画像１４０が表示されている。
【０１８９】
合成画像１４０は、図１８に示される合成画像１３０と比較して、エアロゾル画像１３８の代わりにエアロゾル画像１４８が合成されている。エアロゾル画像１４８は、輪郭１４８ａと、距離情報１４８ｂと、レベル情報１４８ｃとを含んでいる。輪郭１４８ａと、距離情報１４８ｂと、レベル情報１４８ｃとはそれぞれ、図１８に示される輪郭１３８ａと、距離情報１３８ｂと、レベル情報１３８ｃと同様である。
【０１９０】
エアロゾル画像１４８のレベル情報１４８ｃは、管理レベルＣｉが“３”である。管理レベルＣｉが閾値を超えているので、表示画面８２には、注意喚起を促すための注意画像１４１が表示されている。
【０１９１】
注意画像１４１は、例えば、注意を促す文字であるが、これに限らない。注意画像１４１は、例えば、所定の図形などであってもよい。あるいは、ユーザの注意を惹くことができれば、表示態様は特に限定されない。例えば、表示画面８２に表示される合成画像１４０の全体を点滅表示させてもよく、色調を変化させてもよい。
【０１９２】
また、注意画像１４１に加えて、又は、注意画像１４１の代わりに、予防アドバイスが表示画面８２に表示されてもよい。予防アドバイスは、例えば、文字情報として表示される。あるいは、予防アドバイスを表す文字情報の代わりに、予防アドバイスの詳細を記載したウェブページなどに接続するためのＵＲＬ（Uniform Resource Locator）又はＱＲコード（登録商標）などが表示されてもよい。
【０１９３】
［４−４．擬似三次元画像］
次に、合成画像が擬似三次元画像である場合について説明する。
【０１９４】
図２０は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図２０に示されるように、表示画面８２には、合成画像２００が表示されている。
【０１９５】
合成画像２００は、空間９５と、少なくとも１種類のエアロゾルが存在する範囲を表す輪郭とを三次元モデル化した画像である。具体的には、合成画像２００は、視点変更が可能な擬似的な三次元画像である。
【０１９６】
図２０に示されるように、合成画像２００は、撮影画像２０１と、エアロゾル画像２０２とが合成された画像である。エアロゾル画像２０２は、輪郭２０２ａと、レベル情報２０２ｃとを含んでいる。
【０１９７】
図２０の（ａ）では、図９と同様に、空間９５を水平方向に見たときの合成画像２００が表示画面８２に表示されている。ユーザの指示又は時間の経過によって、表示画面８２には、図２０の（ｂ）に示されるように、空間９５を斜め上方から見たときの合成画像２００が表示画面８２に表示される。例えば、ユーザが表示画面８２をスワイプすることで、視点が自由に変更可能である。また、合成画像２００は、拡大及び縮小が自在に表示されてもよい。
【０１９８】
視点が変更されることにより、エアロゾル画像２０２の輪郭２０２ａの表示位置及び形状が変化する。これにより、エアロゾルの空間９５内の位置が精度良く提示される。
【０１９９】
［４−３．動画像］
次に、エアロゾルを表す画像が動画像である場合について説明する。
【０２００】
図２１は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図２１の（ａ）から（ｅ）はそれぞれ、表示画面８２の表示の時間変化を示している。表示画面８２に表示される合成画像３００は、例えば１秒間隔から数秒間隔で順に切り替わる。
【０２０１】
合成画像３００は、撮影画像３０１と、複数のエアロゾル画像３１２、３２２、３３２及び３３４とが合成された画像である。複数のエアロゾル画像３１２、３２２、３３２及び３３４はそれぞれ、基準位置からの距離に対応している。
【０２０２】
図２１に示されるように、表示画面８２には、距離情報３０２が表示される。距離情報３０２は、奥行き方向における距離を数値で表している。複数のエアロゾル画像３１２、３２２、３３２及び３３４は、距離が０．８ｍ、１．１ｍ、１．４ｍ、１．７ｍの位置におけるエアロゾルを表している。
【０２０３】
なお、図２１の（ａ）に示されるように、距離が０．５ｍの場合には、エアロゾル画像が含まれていない。つまり、距離が０．５ｍの位置には、エアロゾルが存在していないことを表している。
【０２０４】
エアロゾル画像３１２は、輪郭３１２ａと、レベル情報３１２ｃとを含んでいる。エアロゾル画像３２２は、輪郭３２２ａと、レベル情報３２２ｃとを含んでいる。エアロゾル画像３３２は、輪郭３３２ａと、レベル情報３３２ｃとを含んでいる。エアロゾル画像３４２は、輪郭３４２ａと、レベル情報３４２ｃとを含んでいる。
【０２０５】
輪郭３１２ａ、３２２ａ、３３２ａ及び３４２ａはそれぞれ、対応する距離におけるエアロゾルの存在範囲を表している。同様に、レベル情報３１２ｃ、３２２ｃ、３３２ｃ及び３４２ｃは、対応する距離におけるエアロゾルの濃度を表している。例えば、レベル情報３１２ｃ、３２２ｃ、３３２ｃ及び３４２ｃは、対応する距離におけるエアロゾルの輪郭内の各座標の濃度の最大値を表している。図２１の（ｄ）に示されるように、距離が１．４ｍの場合に、エアロゾルの管理レベルＣｉ、すなわち、濃度が最も高いことが表れている。
【０２０６】
なお、合成画像３００において、撮影画像３０１は静止画であるが、時間とともに変化してもよい。つまり、撮影画像３０１は、動画像であってもよい。
【０２０７】
（他の実施の形態）
以上、１つ又は複数の態様に係る表示装置、画像処理装置及び制御方法について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【０２０８】
例えば、上記の実施の形態では、第１センサ３０、第２センサ４０及び第３センサ５０がそれぞれ、自律移動式のセンサである例を示したが、これに限らない。第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つは、空間９５内の所定の位置に固定された据え置き型のセンサ装置であってもよい。所定の位置は、例えば、空間９５を構成する天井、床又は壁などである。
【０２０９】
また、例えば、エアロゾル又はその他の対象物を表す画像に濃度を反映させる場合に、管理レベルではなく、濃度そのものの値を数値で表示させてもよい。また、複数種類のエアロゾルを異なる表示態様で表す場合に、輪郭の線種を異ならせてもよい。例えば、花粉を実線の輪郭で表し、埃を破線の輪郭で表してもよい。
【０２１０】
また、例えば、非接触センシングシステム１０は、カメラ２０を備えなくてもよい。予め空間９５を撮影した撮影画像が、コンピュータ６０のメモリ６６に記憶されていてもよい。
【０２１１】
また、例えば、第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つは、接触式のセンサであってもよい。
【０２１２】
また、上記実施の形態で説明した装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式（通信規格）は、例えば、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、無線ＬＡＮ（Local Area Network）などの近距離無線通信である。あるいは、無線通信の方式（通信規格）は、インターネットなどの広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信（ＰＬＣ：Power Line Communication）又は有線ＬＡＮを用いた通信などである。
【０２１３】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよく、あるいは、複数の処理が並行して実行されてもよい。また、非接触センシングシステム１０が備える構成要素の複数の装置への振り分けは、一例である。例えば、一の装置が備える構成要素を他の装置が備えてもよい。また、非接触センシングシステム１０は、単一の装置として実現されてもよい。
【０２１４】
図２２は、実施の形態に係る非接触センシングシステム１０を一体的に備えるタブレット端末４８０を示す図である。タブレット端末４８０は、板状のデバイスである。図２２の（ａ）及び（ｂ）はそれぞれ、タブレット端末４８０の一方の面及び他方の面を示す平面図である。
【０２１５】
図２２の（ａ）に示されるように、タブレット端末４８０の一方の面には、表示画面４８２が設けられている。図２２の（ｂ）に示されるように、タブレット端末４８０の他方の面には、カメラ２０、光源３２及び光検出器３４が設けられている。また、図２２には示されていないが、タブレット端末４８０は、実施の形態におけるコンピュータ６０のプロセッサ６４及びメモリ６６を備える。このように、タブレット端末４８０は、表示画面４８２と、カメラ２０、センサ装置及びコンピュータ６０とが一体化されていてもよい。
【０２１６】
また、例えば、サーバ装置７０が行う処理は、コンピュータ６０又はタブレット端末８０によって行われてもよい。あるいは、コンピュータ６０が行う処理は、サーバ装置７０又はタブレット端末８０によって行われてもよい。
【０２１７】
例えば、上記の実施の形態では、コンピュータ６０が合成画像を生成する例を示したが、タブレット端末８０の制御部８４が合成画像を生成してもよい。具体的には、制御部８４は、図１１に示される撮影画像データの３Ｄデータベース化の処理、及び、センサデータの３Ｄデータベース化の処理を行ってもよい。制御部８４は、図１０に示される３Ｄデータベース化（Ｓ２６）、レベル分布の生成（Ｓ２８）及び合成画像の生成（Ｓ３２）を行ってもよい。
【０２１８】
例えば、上記実施の形態において説明した処理は、単一の装置又はシステムを用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
【０２１９】
また、上記実施の形態において、制御部などの構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）又はプロセッサなどのプログラム実行部が、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２２０】
また、制御部などの構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【０２２１】
１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）などが含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又は、ＵＬＳＩ（Ultra Large Scale Integration）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Field Programmable Gate Array）も同じ目的で使うことができる。
【０２２２】
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリなどのコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０２２３】
また、上記の各実施の形態は、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０２２４】
本開示は、エアロゾルの正確な位置を精度良く提示することができる表示装置などとして利用でき、例えば、空調制御又は空間の浄化処理の制御などに利用することができる。
【符号の説明】
【０２２５】
１０  非接触センシングシステム
２０  カメラ
３０  第１センサ
３２、４２、５２  光源
３４、４４、５４  光検出器
３６、４６、５６  信号処理回路
３７、４７、５７  位置情報取得部
３８、４８、５８  濃度情報取得部
４０  第２センサ
５０  第３センサ
６０  コンピュータ
６２  通信インタフェース
６４  プロセッサ
６６  メモリ
７０  サーバ装置
８０、４８０  タブレット端末
８２、４８２  表示画面
８４  制御部
９０  第１対象物
９０ａ、９０ｂ  輪郭
９２  第２対象物
９４  第３対象物
９５  空間
９６  床面
１００、１１０、１２０、１３０、１４０、２００、３００  合成画像
１０１、２０１、３０１  撮影画像
１０２、１１２、１１４、１２２、１２４、１２６、１２８、１３２、１３４、１３６、１３８、１４８、２０２、３１２、３２２、３３２、３４２  エアロゾル画像
１０２ａ、１１２ａ、１１４ａ、１２２ａ、１２４ａ、１２６ａ、１２８ａ、１３２ａ、１３４ａ、１３６ａ、１３８ａ、１４８ａ、２０２ａ、３１２ａ、３２２ａ、３３２ａ、３４２ａ  輪郭
１０２ｂ、１１２ｂ、１１４ｂ、１２２ｂ、１２４ｂ、１２６ｂ、１２８ｂ、１３２ｂ、１３４ｂ、１３６ｂ、１３８ｂ、１４８ｂ、３０２  距離情報
１１２ｃ、１１４ｃ、１２２ｃ、１２４ｃ、１２６ｃ、１２８ｃ、１３２ｃ、１３４ｃ、１３６ｃ、１３８ｃ、１４８ｃ、２０２ｃ、３１２ｃ、３２２ｃ、３３２ｃ、３４２ｃ  レベル情報
１４１  注意画像
【図１】
2020017265.tif 000003
【図２】
2020017265.tif 000004
【図３】
2020017265.tif 000005
【図４】
2020017265.tif 000006
【図５】
2020017265.tif 000007
【図６】
2020017265.tif 000008
【図７】
2020017265.tif 000009
【図８】
2020017265.tif 000010
【図９】
2020017265.tif 000011
【図１０】
2020017265.tif 000012
【図１１】
2020017265.tif 000013
【図１２】
2020017265.tif 000014
【図１３】
2020017265.tif 000015
【図１４】
2020017265.tif 000016
【図１５】
2020017265.tif 000017
【図１６】
2020017265.tif 000018
【図１７】
2020017265.tif 000019
【図１８】
2020017265.tif 000020
【図１９】
2020017265.tif 000021
【図２０】
2020017265.tif 000022
【図２１】
2020017265.tif 000023
【図２２】
2020017265.tif 000024