(57)【要約】【課題】電子機器の通知部をシンプルな構成としながらも、電子機器で問題が発生している場合に、ユーザが問題を容易に把握することができる通知システムを提供する。【解決手段】通知システム（１）において、サーバ（２０）は、空気清浄機（３０）に問題が発生している状態であることを取得し、ユーザ端末（１０）より受信する空気清浄機（３０）を含む撮影画像に基づいて、当該画像における問題のある箇所に合成されて問題のある箇所を示す付加情報を生成し、ユーザ端末（１０）に送信する。ユーザ端末（１０）は、サーバ（２０）より受信した付加情報を撮影画像に合成した合成画像を表示部（１５）に表示する。【選択図】図１
2018194207.tif 000002
【特許請求の範囲】
【請求項１】
電子機器と、該電子機器とネットワークを介して接続される端末装置とを備える通知システムであって、
前記端末装置は、撮影部と該撮影部に撮影された画像を表示する表示部と、該表示部による表示を制御する表示制御部とを備え、
前記通知システムは、
前記撮影部にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部を備え、
該付加情報決定部は、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定し、
前記表示制御部は、前記撮影部にて撮影された画像として前記電子機器を含む前記画像に前記付加情報が合成された合成画像を前記表示部に表示することを特徴とする通知システム。
【請求項２】
前記付加情報決定部は、さらに、問題のある箇所を示す前記付加情報に関連付けて合成される、問題の内容又は問題への対処方法あるいはその両方を示す付加情報を決定することを特徴とする請求項１に記載の通知システム。
【請求項３】
前記付加情報決定部は、さらに、ユーザがアクセスすべき前記電子機器における箇所に関連付けて合成され、発生している問題への対処の指示を、処理の進み具合に応じて段階的に示す付加情報を決定することを特徴とする請求項１又は２に記載の通知システム。
【請求項４】
前記付加情報決定部は、前記端末装置より前記電子機器の操作方法についての付加情報を要求されると、前記操作を実行するためにユーザがアクセスすべき前記電子機器における箇所に関連付けて合成され、前記操作を実行するための指示を示す付加情報を決定することを特徴とする請求項１から３の何れか１項に記載の通知システム。
【請求項５】
前記電子機器が空気清浄機であり、
前記付加情報決定部は、前記端末装置より前記空気清浄機から吹出す気流を示す付加情報を要求されると、前記撮影部にて撮影される前記空気清浄機の画像と、前記空気清浄機より取得する風量の情報とに基づいて、気流を示す付加情報を決定することを特徴とする請求項１から４の何れか１項に記載の通知システム。
【請求項６】
電子機器と、該電子機器とネットワークを介して接続される端末装置との間、に介在するサーバであって、
前記端末装置より該端末装置にて撮影された前記電子機器を含む画像を受信する受信部と、
前記電子機器より前記電子機器にて発生している問題の情報を取得する取得部と、
前記端末装置にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部と、
前記付加情報決定部にて決定された付加情報を前記端末装置に送信する送信部とを備え、
前記付加情報決定部は、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定することを特徴とするサーバ。
【請求項７】
電子機器と、該電子機器とネットワークを介して接続される端末装置であって、
撮影部と該撮影部に撮影された画像を表示する表示部と、前記表示部による表示を制御する表示制御部と、を備え、
前記電子機器との間に介在するサーバに、前記撮影部にて撮影される前記電子機器を含む画像を送信する送信部と、
前記サーバより、前記撮影部にて撮影される前記電子機器の画像に合成される付加情報であり、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を受信する受信部とを備え、
前記表示制御部は、前記撮影部にて撮影された画像として前記付加情報が合成された合成画像を前記表示部に表示することを特徴とする端末装置。
【請求項８】
電子機器とネットワークを介して接続される端末装置であって、
撮影部と、
該撮影部に撮影された画像を表示する表示部と、
該表示部による表示を制御する表示制御部と、
前記撮影部にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部とを備え、
該付加情報決定部は、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定し、
前記表示制御部は、前記撮影部にて撮影された画像として前記付加情報が合成された合成画像を前記表示部に表示することを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器からユーザへ情報を通知する通知システム、端末装置、サーバに関する。
【背景技術】
【０００２】
従来、空気清浄機においては、フィルタの清掃が必要な状態になったり、イオン発生器の交換が必要になったり、何らの問題が発生した場合、ＬＥＤランプなどを用いて表示するのが一般的である。ＬＥＤランプは、空気清浄機の操作表示部に配置されている。
【０００３】
また、特許文献１には、空気清浄機にて空調空間に含まれる水分や埃、臭い、花粉などを検出した結果を、ＡＲ（Augmented Reality）技術を利用して、端末装置で撮影された空気清浄機の画像上に仮想画像として表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０６２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
空気清浄機からユーザへの情報の通知をＬＥＤランプなどで表示する構成では、情報の数が増えると、ＬＥＤランプの数が増えたり、ＬＥＤランプの点灯パターンが複雑化したりしてわかり難くなる。また、ＬＥＤランプの数が増えると、操作表示部が雑多な感じになり、商品のデザイン性も低下する。
【０００６】
なお、特許文献１の技術を用いても、空気清浄機で発生している問題を知らせるＬＥＤランプを削減できるものではない。
【０００７】
本発明は、上記の課題に鑑みなされたものであり、電子機器における操作表示部をシンプルな構成としながらも、電子機器で問題が発生している場合に、ユーザがその問題を容易に把握することができる通知システム、端末装置、サーバを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る通知システムは、電子機器と、該電子機器とネットワークを介して接続される端末装置とを備える通知システムであって、前記端末装置は、撮影部と該撮影部に撮影された画像を表示する表示部と、該表示部による表示を制御する表示制御部とを備え、前記通知システムは、前記撮影部にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部を備え、該付加情報決定部は、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定し、前記表示制御部は、前記撮影部にて撮影された画像として前記付加情報が合成された合成画像を前記表示部に表示する。
【発明の効果】
【０００９】
本発明の一態様によれば、電子機器における操作表示部をシンプルな構成としながらも、電子機器で問題が発生している場合に、ユーザがその問題を容易に把握することができる通知システムを提供できるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態の通知システムの全体構成を示すブロック図である。
【図２】図１に示す通知システムに含まれるユーザ端末のハードウェア構成を示すブロック図である。
【図３】図１に示す通知システムに含まれるサーバのハードウェア構成を示すブロック図である。
【図４】図１に示す通知システムに含まれる空気清浄機のハードウェア構成を示すブロック図である。
【図５】上記ユーザ端末の要部の機能構成を示すブロック図である。
【図６】上記サーバの要部の機能構成を示すブロック図である。
【図７】上記空気清浄機の要部の機能構成を示すブロック図である。
【図８Ａ】タンクの残水量が少なく、水を補給する必要がある状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｂ】加湿フィルタが汚れており、加湿フィルタの洗浄が必要な状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｃ】イオン発生器の交換時期であり、イオン発生器の交換が必要な状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｄ】矢印などの画像を付加情報として付して、問題のある箇所が含まれるように撮影部位を誘導するＡＲ画像を示す図である。
【図８Ｅ】ファンモータが故障しており、修理が必要な状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｆ】吸込み口のフィルタに埃が付着し、外部フィルタの清掃が必要な状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｇ】差込プラグがコンセントから抜けている状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図８Ｈ】運転ボタンが押されておらず、使われていない状態の空気清浄機を、ユーザ端末で撮影した場合に表示部に表示されるＡＲ画像を示す図である。
【図９】（ａ）〜（ｃ）は、加湿フィルタを洗浄するための手順を示すメッセージの画像を付加情報として付しているＡＲ画像を示す図である。
【図１０】（ａ）〜（ｃ）は、図９の続きのＡＲ画像を示す図である。
【図１１】（ａ）〜（ｃ）は、図１０の続きのＡＲ画像を示す図である。
【図１２】（ａ）〜（ｃ）は、図１１の続きのＡＲ画像を示す図である。
【図１３】（ａ）（ｂ）は、図１２の続きのＡＲ画像を示す図である。
【図１４】他の実施の形態の通知システムにおけるサーバの要部の機能構成を示すブロック図である。
【図１５】運転モードの指示方法を問いかけた場合に表示部に表示されるＡＲ画像を示す図である。
【図１６】他の実施の形態の通知システムにおけるサーバの要部の機能構成を示すブロック図である。
【図１７Ａ】吹出し口からの気流の見える化を要求した場合に表示部に表示されるＡＲ画像を示す図である。
【図１７Ｂ】設置空間における気流の見える化を要求した場合に表示部に表示されるＡＲ画像を示す図である。
【図１７Ｃ】設置空間における気流の見える化を要求した場合に表示部に表示されるＡＲ画像を示す図である。
【図１８】他の実施の形態の通知システムの全体構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
〔実施の形態１〕
本発明の実施の形態を図面に基づいて以下に説明する。図１は、本実施の形態の通知システム１の全体構成を示すブロック図である。通知システム１は、ユーザ端末１０と、サーバ２０と、空気清浄機（電気機器）３０と、ネットワーク４０とを備える。ユーザ端末１０は、空気清浄機３０とユーザの端末装置として登録済のものである。
【００１２】
ユーザ端末１０は、空気清浄機３０のユーザのスマートフォンやタブレットなどの通信端末である。ユーザ端末１０は、空気清浄機３０を被写体として含む画像を撮影部１４（図２参照）にて撮影して画像データをサーバ２０に送信する処理と、サーバ２０より受信したＡＲ画像データに基づいて画像を表示部１５（図２参照）に表示する処理を行うために必要なプログラムを有している。
【００１３】
空気清浄機３０は、例えば、空気を吸込んで空気に含まれる塵埃などの異物を除去する空気清浄機能と、吸込んだ空気を加湿する加湿機能を備えた装置である。なお、図示してはいないが、空気清浄機３０の内部には、ファンモータ、加湿フォルタ、タンク、捕集フィルタ、イオン発生器などを備える。ファンモータは、気流を発生させるためのもので、加湿フィルタは空気を加湿するためのものである。タンクは加湿フィルタに供給する水を貯留するもので、捕集フィルタは空気から微細な粉塵を捕集するものである。イオン発生器は、気流に載せて拡散させることで、空気を浄化する作用のある活性種や、あるいは該活性種を生成するイオンを発生するものである。また、吸込み口には、空気から比較的大きな塵埃を除去するための外部フィルタが設置されている。
【００１４】
空気清浄機３０は、運転状況を含む自身の状態を示す状態情報をサーバ２０に送信する。状態情報には、空気清浄機３０における問題のある箇所の情報が含まれる。例えば、故障している場合は、サーバ２０が故障箇所を特定し得る情報が含まれる。また、空気清浄機３０に対するメンテナンスが必要な場合は、サーバ２０にて必要なメンテナンスの箇所を特定し得る情報が含まれる。メンテナンスには、清掃や洗浄、部品交換や修理などが含まれる。そして、本実施の形態では、より好ましい構成として、問題のある箇所の情報に加えて、問題の内容をサーバ２０が特定し得る情報が含まれる。
【００１５】
サーバ２０は、ユーザ端末１０から受信する空気清浄機３０を撮影した画像データと空気清浄機３０から受信する状態情報とに基づいて、受信した画像データの画像に付加すべき付加情報を生成するものである。本実施の形態では、サーバ２０は、生成した付加情報を、受信した画像データの画像に重畳させたＡＲ画像データを生成し、ユーザ端末１０に送信するものである。
【００１６】
サーバ２０は、空気清浄機３０より受信した状態情報を記憶し、該状態情報より空気清浄機３０の状態を特定する。サーバ２０は、空気清浄機３０が故障している場合は故障箇所や、メンテナンスを必要としている場合は、必要なメンテナンスを特定する。また、空気清浄機３０の運転ボタンが押されていない状態である場合はその状態を特定し、状態情報を受信できない場合は、差込プラグが抜かれている状態、あるいは電源が入らないような故障であることを特定する。
【００１７】
ネットワーク４０は、音声や動画などのデータを送受信するための通信ネットワークである。空気清浄機３０とネットワーク４０とは、ＷｉＦｉ（登録商標）ルータやＷｉＦｉ（登録商標）アクセスポイントなどを介して接続される。ユーザ端末１０とネットワーク４０とは、４Ｇ（4th Generation）、ＬＴＥ（Long Term Evolution）、宅外あるいは宅内のＷｉＦｉ（登録商標）ＡＰなどを利用して接続される。
【００１８】
図２は、ユーザ端末１０のハードウェア構成を示すブロック図である。ユーザ端末１０は、制御部１１と、記憶部１２と、通信部１３と、撮影部１４と、表示部１５と、音声入出力部１６と、操作部１７とを備える。
【００１９】
制御部１１は、ユーザ端末１０の動作を制御するものである。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算処理装置やメモリを備え、所定のプログラムを実行することによって動画の撮影やデータ通信などを制御する。記憶部１２は、データを記憶するものである。
【００２０】
通信部１３は、ネットワーク４０を介してデータを送受信するものである。撮影部１４は、被写体を撮影して動画データや静止画データなどの画像データを出力するものである。撮影部１４は、空気清浄機３０を被写体として含む画像を撮影するために用いられる。
【００２１】
表示部１５は、画像を表示するもので、撮影部１４にて撮影された画像データに基づく画像を表示する。また、表示部１５は、サーバ２０より受信した後述するＡＲ画像データに基づく画像を表示する。
【００２２】
音声入出力部１６は、音声を入力及び出力するものであり、スピーカやマイクロホンを備える。操作部１７は、ユーザの操作を受け付けるものであり、操作ボタンの他、表示部１５のディスプレイに重ねて設けられるタッチスクリーンを備える。
【００２３】
図３は、サーバ２０のハードウェア構成を示すブロック図である。サーバ２０は、制御部２１と、記憶部２２と、通信部２３とを備える。制御部２１は、ＣＰＵなどの演算処理装置やメモリを備え、所定のプログラムを実行することによってサーバ２０の動作を制御するものである。記憶部２２は、データを記憶するものであり、通信部２３は、データを送受信するものである。
【００２４】
図４は、空気清浄機３０のハードウェア構成を示すブロック図である。空気清浄機３０は、制御部３１と、記憶部３２と、通信部３３と、機器本体部３４と、操作表示部３５とを備える。制御部３１は、ＣＰＵなどの演算処理装置やメモリを備え、所定のプログラムを実行することによって空気清浄機３０の動作を制御するものである。記憶部３２は、データを記憶するものであり、通信部３３は、データを送受信するものである。
【００２５】
機器本体部３４は、空気清浄動作および加湿動作を行うものである。操作表示部３５は、空気清浄機３０に対するユーザの操作を受け付け、また、空気清浄機３０からユーザへ通知する情報をＬＥＤランプなどで表示するものである。
【００２６】
図５は、ユーザ端末１０の要部の機能構成を示すブロック図である。ユーザ端末１０は、所定のプログラムを実行することにより、図５に示す機能を実現させる。ユーザ端末１０の制御部１１は、撮影制御部１１ａと、送信部１１ｂと、受信部１１ｃと、表示制御部１１ｄとを備える。
【００２７】
撮影制御部１１ａは、撮影部１４の動作を制御するものである。送信部１１ｂは、撮影部１４で撮影された、空気清浄機３０を被写体として含む画像の画像データを、通信部１３を用いてサーバ２０へ送信するものである。本実施の形態では、表示モードで撮影した動画データをサーバ２０に送信する。表示モードとは、撮影部１４にてビデオモードや写真モードにて録画や静止画の撮影を実行する前のモードであり、撮影した画像を単に表示部１５に表示しているモードである。
【００２８】
受信部１１ｃは、サーバ２０よりＡＲ画像データを受信するものである。ＡＲ画像データは、送信部１１ｂより送信した画像データに付加情報が付加されたものである。表示制御部１１ｄは、サーバ２０より受信したＡＲ画像データに基づいて、表示部１５に、被写体に空気清浄機３０を含み、かつ付加情報が付加（重畳）されたＡＲ画像を表示するものである。
【００２９】
ユーザ端末１０は、表示モードで撮影した画像データを送信しつつ、サーバ２０よりＡＲ画像データを受信して、ＡＲ画像データに基づいて表示部１５にＡＲ画像を表示する。サーバ２０による処理は、比較的短時間で行われるため、ＡＲ画像はリアルタイムで表示される。
【００３０】
図６は、サーバ２０の要部の機能構成を示すブロック図である。サーバ２０は、所定のプログラムを実行することにより、図６に示す機能を実現させる。サーバ２０の制御部２１は、受信部２１ａと、状態情報取得部２１ｂと、画像解析部２１ｃ、状態解析部２１ｄと、付加情報決定部２１ｅと、ＡＲ画像生成部２１ｆと、送信部２１ｇとを備える。
【００３１】
受信部２１ａは、ユーザ端末１０より、ユーザ端末１０にて撮影された画像データを受信するものである。状態情報取得部２１ｂは、空気清浄機３０より状態情報を取得するものである。
【００３２】
画像解析部２１ｃは、受信部２１ａが受信した画像データを解析して、画像に含まれている空気清浄機３０の画像より、撮影されている空気清浄機３０の向きや部分などを特定するものである。
【００３３】
状態解析部２１ｄは、状態情報取得部２１ｂが取得した状態情報を解析して、空気清浄機３０の状態を特定するものである。例えば、加湿フィルタの洗浄が必要な状態、イオン発生器の交換が必要な状態、ファンモータが故障している状態、外部フィルタの清掃が必要な状態などを特定する。
【００３４】
付加情報決定部２１ｅは、画像解析部２１ｃにて特定された空気清浄機３０の向きや含まれている部分などの情報と、状態解析部２１ｄにて特定された空気清浄機３０の状態とに基づいて、ユーザに通知すべき情報であり、ＡＲ画像として合成される付加情報を決定するものである。付加情報は、問題のある箇所に付されて問題のある箇所を示す○印や矢印などの画像である。本実施の形態では、付加情報として、問題の内容や、問題を解決するための対処方法を示すメッセージの画像も含まれる。
【００３５】
なお、ユーザに通知すべき情報が無い場合は、付加情報無しとするか、「通知すべき情報はありません」を付加情報とする。
【００３６】
ＡＲ画像生成部２１ｆは、ＡＲ（Augmented Reality）技術を用いて、受信部２１ａが受信した画像データに付加情報決定部２１ｅが決定した付加情報を合成したＡＲ画像データを作成するものである。なお、付加情報無しの場合は、受信した画像データをそのまま送信部２１ｇに送る。
【００３７】
送信部２１ｇは、ＡＲ画像生成部２１ｆより受信したＡＲ画像データを、通信部２３を用いてユーザ端末１０へ送信するものである。
【００３８】
図７は、空気清浄機３０の要部の機能構成を示すブロック図である。空気清浄機３０は、所定のプログラムを実行することにより、図７に示す機能を実現させる。空気清浄機３０は、本体制御部３１ａと、状態情報生成部３１ｂと、送信部３１ｃと備える。
【００３９】
本体制御部３１ａは、機器本体部３４の動作を制御するものである。状態情報生成部３１ｂは、本体制御部３１ａから送信される情報に基づいて、機器本体部３４の状態を示す状態情報を生成するものである。送信部３１ｃは、状態情報生成部３１ｂにて作成された状態情報を、通信部３３を用いてサーバ２０へ送信するものである。なお、図６、図７では図示していないが、サーバ２０と空気清浄機３０とは相互に通信している。
【００４０】
次に、空気清浄機３０を含む撮影画像に付加される付加情報について、具体例を挙げて説明する。
【００４１】
図８Ａは、タンクの残水量が少なく、水を補給する必要がある状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。なお、本実施の形態では、ＡＲ画像データは動画データであるため、図８Ａは、ＡＲ画像の１フレームの画像に相当する。
【００４２】
図８Ａの例では、タンクに水を補給する際にユーザがアクセスする箇所に○印が付加情報として付されると共に、「タンクに水を入れてください」といった水の補給を促すメッセージも併せて表示されている。○印とメッセージの画像とは、○印から延びる引出線の画像にて結ばれている。なお、本発明において、付加情報としてメッセージは必須ではなく、少なくとも○印や矢印などを付して、問題のある箇所をユーザが認識できるものであればよい。
【００４３】
図８ＡのＡＲ画像が表示されるまでの情報やデータの流れを、図６を用いて説明する。空気清浄機３０は、タンクの残水量が少なくなると、サーバ２０にタンクの残水量が少ないことを示す状態情報を送信する。サーバ２０は、状態情報取得部２１ｂにて該状態情報を取得し、取得した状態情報を状態解析部２１ｄに送る。状態解析部２１ｄは、状態情報を解析してタンクの残水量が少ない状態であること特定し、特定した情報を付加情報決定部２１ｅに送る。
【００４４】
付加情報決定部２１ｅが、タンクの残水量が少ない状態である情報を保持した状態で、ユーザがユーザ端末１０の所定のプログラムを起動し、表示モードにて空気清浄機３０を撮影すると、撮影した画像データがユーザ端末１０よりサーバ２０に送信される。サーバ２０は、受信部２１ａを用いて画像データを受信し、受信した画像データを画像解析部２１ｃとＡＲ画像生成部２１ｆに送る。
【００４５】
画像解析部２１ｃは、画像データを解析し、画像に含まれている空気清浄機３０より、画像の中の空気清浄機３０の向きや部分などを特定し、特定した情報を付加情報決定部２１ｅに送る。
【００４６】
付加情報決定部２１ｅは、状態解析部２１ｄより受け取ったタンクの残水量が少なくなっているといった情報と、画像解析部２１ｃより受け取った空気清浄機３０の空気清浄機３０の向きや含まれている部分などの情報とに基づいて、空気清浄機３０より受信した動画データに合成する付加情報を決定する。付加情報の画像は例えば○印で、付加する位置は、例えば、タンクのある箇所や、タンクに水を補給する際にユーザがアクセスする箇所である。決定された付加情報は、ＡＲ画像生成部２１ｆに送られる。
【００４７】
ＡＲ画像生成部２１ｆは、ＡＲ技術を用いて、ユーザ端末１０より受信した画像データに、付加情報決定部２１ｅが決定した付加情報の画像を合成したＡＲ画像データを作成する。作成されたＡＲ画像データは、送信部２１ｇに送られ、送信部２１ｇが通信部２３を用いてユーザ端末１０に送信する。ユーザ端末１０は、サーバ２０より受信したＡＲ画像データに基づいてＡＲ画像を表示部１５に表示する。
【００４８】
図８Ｂは、加湿フィルタが汚れており、加湿フィルタの洗浄が必要な状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｂの例では、加湿フィルタを引き出す際にユーザがアクセスする箇所に○印が付加情報として付されると共に、「加湿フィルタを洗浄してください」といったメッセージも併せて表示されている。
【００４９】
なお、付加情報として、問題のある箇所に○印や矢印などを付すだけの場合、タンクへの給水と加湿フィルタの洗浄とは同じ位置となり、問題となる内容の違いが分からない。そのため、○印や矢印の代わりに、タンクへの給水の場合は、たとえば、喉が渇いているような表情をした顔型のアイコンを付し、加湿フィルタの洗浄の場合は、汚れが付着しているような顔型のアイコンを付すなどして、問題となる内容の違いを区別して示すことが好ましい。
【００５０】
図８Ｃは、イオン発生器の交換時期であり、イオン発生器の交換が必要な状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｃの例では、イオン交換器を交換する際にユーザがアクセスする箇所に○印が付加情報として付されると共に、「イオン交換器を交換してください」といったメッセージも併せて表示されている。
【００５１】
図８Ｃは、空気清浄機３０の背面側を斜め上から撮影した画像であるため、画像にイオン交換器を交換する際にユーザがアクセスする箇所が含まれている。しかしながら、例えば、図８Ａや図８Ｂのように、空気清浄機を正面側から撮影した場合には、アクセスする箇所が含まれない。そのため、ユーザが撮影した画像に、空気清浄機３０の問題のある箇所が含まれていない場合は、例えば、図８Ｄに示すように、空気清浄機３０の背面側を撮影するように促す矢印などの画像を付加情報として付して、問題のある箇所が含まれるように撮影部位を誘導してもよい。
【００５２】
図８Ｅは、ファンモータが故障しており、修理が必要な状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｅの例では、ファンモータが位置する箇所に○印が付加情報として付されると共に、「ファンモータの故障です、修理を要請してください」といったメッセージも併せて表示されている。
【００５３】
図８Ｆは、吸込み口のフィルタに埃が付着し、フィルタの清掃が必要な状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｆの例では、空気清浄機３０の背面側の外部フィルタの箇所に○印が付加情報として付されると共に、「外部フィルタを清掃してください」といったメッセージも併せて表示されている。
【００５４】
図８Ｇは、差込プラグがコンセントから抜けている状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｇの例では、空気清浄機３０の背面側から引きサレタコードの箇所に○印が付加情報として付されると共に、「差込プラグが抜けています。コンセントに差し込んでください」といった接続（対処方法）を促すメッセージも併せて表示されている。
【００５５】
図８Ｈは、運転ボタンが押されておらず、使われていない状態の空気清浄機３０を、ユーザ端末１０で撮影した場合に表示部１５に表示されるＡＲ画像を示す図である。図８Ｈの例では、空気清浄機３０の上面にある操作表示部３５の運転ボタンの箇所に○印が付加情報として付されると共に、「運転ボタンを押して使用してください」といったメッセージも併せて表示されている。
【００５６】
以上のように、本実施の形態の通知システム１によれば、空気清浄機３０に問題がある場合に、ユーザがユーザ端末１０を用いて空気清浄機３０を撮影すると、表示部１５に問題のある箇所が空気清浄機３０の画像に重畳して（合成して）表示される。
【００５７】
これにより、ユーザは、空気清浄機３０に問題が発生していることを、ユーザ端末１０を用いて空気清浄機３０を撮影するだけで知ることができ、同時に問題のある箇所を特定することができる。問題のある箇所は、撮影した画像に合成されてダイレクトに示されるので、空気清浄機３０の操作表示部３５のＬＥＤランプなどを点灯して通知する従来構成よりも直観的に把握することができ、点灯と通知内容との関係を知っておく必要もない。
【００５８】
また、操作表示部３５のＬＥＤランプなどの数を減らすことができるので、空気清浄機３０のデザイン性を向上させることができる。
【００５９】
さらに、本実施の形態では、問題となる箇所や、問題の内容、それに対する対処方法も付加情報としてＡＲ画像に表示されるので、ユーザは、問題の内容、それに対する対処方法まで同時にしることができ、迅速に対応できる。
【００６０】
しかも、空気清浄機３０の近くに居る状態で通知を受けるので、その場で直ぐに問題解決への対応に取り組むことができる。
【００６１】
ユーザがユーザ端末１０を用いて空気清浄機３０を撮影するきっかけは、例えばサーバ２０からの通知が考えられる。サーバ２０より、「空気清浄機からお願いがあります。〔空気清浄機を診断する〕を選択して、空気清浄機を撮影してみてください。」といったメッセージをユーザ端末１０に通知する。また、空気清浄機３０の操作表示部３５にある所定のＬＥＤランプを点滅させる等してもよい。あるいは、空気清浄機３０の吹出し口に設けられたルーバーを、通常とは異なる動きで動かすなどして通知してもよい。また、差０および空気清浄機３０から通知することなく、ユーザが、空気清浄機３０の動き（調子）が良くないと感じた場合に、撮影する仕組みであってもよい。
【００６２】
なお、本実施の形態では、ＡＲ画像生成部２１ｆをサーバ２０側に配置したが、ユーザ端末１０に配置してもよい。この場合、サーバ２０は、付加情報決定部２１ｅが決定した付加情報を、ユーザ端末１０に送る。ユーザ端末１０は、撮影部１４が撮影した画像データにサーバ２０より受信した付加情報を合成してＡＲ画像データを作成し、表示部１５に表示する。
【００６３】
また、本実施の形態では、表示モードで撮影した画像を送信するため動画データとしていた。しかしながら、空気清浄機３０における問題の箇所と対処方法をメッセージにて表示する場合、必ずしも動画データである必要はない。すなわち、ユーザ端末１０にて空気清浄機３０を被写体として含む静止画を撮影してサーバ２０に送信し、サーバ２０側の付加情報決定部２１ｅが、受信した静止画に基づいて付加情報を決定する構成であってもよい。
【００６４】
〔実施の形態２〕
本発明のその他の実施の一形態について説明する。なお、説明の便宜上、前述の実施の形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００６５】
本実施の形態の通知システム１は、問題のある箇所を示す付加情報に代えて、あるいはそれに加えて、ユーザがアクセスすべき箇所に関連付けて合成され、発生している問題への対処の指示を、処理の進み具合に応じて段階的に示す付加情報を決定する構成である。
【００６６】
付加情報決定部２１ｅ（図６参照）は、ユーザに通知すべき情報として、ユーザがアクセスすべき箇所に関連付けて合成され、発生している問題への対処の指示を、処理の進み具合に応じて段階的に示す付加情報を決定する。付加情報決定部２１ｅは、問題のある箇所に○印が付されている状態で、ユーザが○印の付された箇所が表示部１５の画面内に入るように撮影すると、対処の手順を示す付加情報を決定する。付加情報決定部２１ｅは、ユーザ端末１０より受信する画像データに基づいてユーザによる処理の進み具合を判断し、処理の進み具合に基づいて手順を示すメッセージの内容を段階的に変化させる。
【００６７】
図９〜図１３を用いて具体的に説明する。図９〜図１３は、対処の手順を示すＡＲ画像である。図９〜図１３は、動画であるＡＲ画像の１フレームの画像に相当する。
【００６８】
図９の（ａ）に示す、加湿フィルタの洗浄を促すメッセージ（付加情報）が付加されたＡＲ画像が表示されている状態で、表示に従い○印のある空気清浄機３０の側面側を撮影すると、図９の（ｂ）に示すように、ユーザがタンクを引き出す際にアクセスすべき箇所に○印が付されたＡＲ画像が表示される。該画像においては、○印から延びる引出線にて、「押してタンクを引き出してください」といったタンクの引き出し方を説明するメッセージも表示される。また、どの部分がタンクか分かるように、「タンク」の文字とタンクの位置とを結ぶ引出線も表示される。
【００６９】
付加情報決定部２１ｅは、状態解析部２１ｄが加湿フィルタの洗浄が必要な状態であると特定し、かつ、受信した画像データの画像が、加湿フィルタを洗浄する際にアクセスする空気清浄機３０の側面を撮影した画像である場合に、加湿フィルタの洗浄する際の手順を示すメッセージを付加情報とする。
【００７０】
ユーザは、図９の（ｂ）に示すＡＲ画像を確認することで、操作の内容を容易に把握することができる。しかも、このとき、ユーザが手元を撮影しながら操作することで、図９の（ｃ）に示すように、自身の手を含むＡＲ画像（動画）を確認しながら操作でき、迷うことなくスムーズに対処できる。
【００７１】
タンクの取り出しが完了すると、図１０の（ａ）に示すように、「トレイを引き出してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、タンクが取り外された状態を撮影した画像である場合に、タンクの引き出しは完了したと判断し、次のトレイの引き出しを指示するメッセージに切り換える。ＡＲ画像には、どの部分がトレイか分かるように、「トレイ」の文字とトレイの位置とを結ぶ引出線も表示される。
【００７２】
ユーザは、図１０の（ａ）に示すＡＲ画像を確認して次のトレイの引き出し操作を実施する。タンクを引き出す際と同様に、手元を撮影しながら操作することで、図１０の（ｂ）（ｃ）に示すように、自身の手を含むＡＲ画像（動画）を確認しながら操作でき、迷うことなくスムーズに対処できる。
【００７３】
トレイの引き出しが完了すると、図１１の（ａ）に示すように、「加湿フィルタを取り外してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、本体より引き出された状態のトレイを撮影した画像である場合に、トレイの引き出しが完了したと判断し、次の加湿フィルタの取り外しを指示するメッセージに切り換える。ＡＲ画像には、どの部分が加湿フィルタか分かるように、「加湿フィルタ」の文字と加湿フィルタの位置とを結ぶ引出線も表示される。
【００７４】
ユーザは、図１１の（ａ）に示すＡＲ画像を確認して、次の加湿フィルタの取り外し操作を実施する。ここでも、手元を撮影しながら操作することで、図１１の（ｂ）（ｃ）に示すように、自身の手を含むＡＲ画像（動画）を確認しながら操作でき、迷うことなくスムーズに対処できる。
【００７５】
加湿フィルタの取り外しが完了すると、図１１の（ｃ）に示すように、「加湿フィルタを水で洗浄してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、トレイより取り外された状態の加湿フィルタを撮影した画像である場合に、加湿フィルタの取り出しが完了したと判断し、加湿フィルタの洗浄を指示するメッセージに切り換える。
【００７６】
加湿フィルタの洗浄が終了し、ユーザが、洗浄した加湿フィルタを撮影すると、図１２の（ａ）に示すように、「加湿フィルタをトレイに取り付けてください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、洗浄された加湿フィルタを撮影した画像である場合に、加湿フィルタの洗浄が完了したと判断し、加湿フィルタの取り付けを指示するメッセージに切り換える。
【００７７】
ユーザは、図１２の（ａ）に示すＡＲ画像を確認して、次の加湿フィルタの取り付け操作を実施する。加湿フィルタの取り付けが完了すると、図１２の（ｂ）に示すように、「トレイを本体に挿入してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、加湿フィルタがトレイに取り付けられた状態を撮影した画像である場合に、加湿フィルタの取り付けが完了したと判断し、トレイの本体への挿入を指示するメッセージに切り換える。
【００７８】
ユーザは、図１２の（ｂ）に示すＡＲ画像を確認して、次のトレイを本体に挿入する操作を実施する。ここでも、ユーザ端末１０にて手元を撮影しながら操作することで、図１２の（ｂ）（ｃ）に示すように、自身の手を含むＡＲ画像（動画）を確認しながら操作でき、迷うことなくスムーズに対処できる。
【００７９】
トレイの挿入が完了すると、図１３の（ａ）に示すように、「タンクを本体に装着してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、トレイが本体に挿入された状態を撮影した画像である場合に、トレイの挿入が完了したと判断し、タンクの本体への装着を指示するメッセージに切り換える。
【００８０】
ユーザは、図１３の（ａ）に示すＡＲ画像を確認して、次のタンクを本体に装着する操作を実施する。タンクの装着が完了すると、図１３の（ｂ）に示すように、「運転の再開を図る場合は運転ボタンを押してください」といったメッセージが付加されたＡＲ画像が表示される。付加情報決定部２１ｅは、受信した画像データの画像が、タンクが本体に装着された状態を撮影した画像である場合に、タンクの装着が完了したと判断し、運転の再開を指示するメッセージに切り換える。ＡＲ画像には、運転ボタンの位置に○印が付されている。
【００８１】
以上のように、本実施の形態の通知システム１によれば、空気清浄機３０に問題がある場合に、問題のある箇所を、ユーザ端末１０にて撮影することで、対処方法が表示され、かつ、その指示の内容が撮影された画像（動画）に合わせて段階的に切り換わる。
【００８２】
これにより、空気清浄機と同梱された取扱説明書を確認したりすることなく、ＡＲ画像にて指示される内容に従って操作することで、簡単に問題に対処できる。
【００８３】
しかも、ユーザが手元を撮影しながら操作することで、自身の手を含むＡＲ画像（動画）を確認しながら操作でき、迷うことなくスムーズに対処できる。特に、ユーザ自身が撮影した画像上に指示が重畳されるので、方向が固定されている取扱説明書の説明図や写真に比べて格段に理解しやすいものとなる。
【００８４】
なお、本実施の形態では、加湿フィルタの洗浄を必要としている状態で、加湿フィルタを洗浄する際にアクセスする空気清浄機３０の側面を撮影すると、加湿フィルタを洗浄する際の手順を示すメッセージの付加情報を表示される構成とした。しかしながら、次に記載する実施の形態３で説明するように、ユーザの要求を解析する要求解析部を備え、ユーザから要求された場合に、対処の手順を示すメッセージの付加情報を表示する構成としてもよい。
【００８５】
〔実施の形態３〕
本発明のその他の実施の一形態について説明する。なお、説明の便宜上、前述の実施の形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００８６】
本実施の形態の通知システム１は、前記構成に代えて、あるいは加えて、ユーザ端末１０から送信されるユーザの要求を示す要求情報をサーバ２０が解析し、要求された情報を付加情報として、撮影された画像（動画でも静止画でもよい）に適合させて表示する構成である。本実施の形態では、ユーザ端末１０より空気清浄機３０の操作方法についての付加情報を要求されると、操作を実行するためにユーザがアクセスすべき箇所に関連付けて合成され、操作を実行するための指示を示す付加情報を決定する。
【００８７】
図１４は、本実施の形態の通知システム１におけるサーバ２０の要部の機能構成を示すブロック図である。図１４に示すように、サーバ２０においては、要求解析部２１ｈが追加されている。受信部２１ａは、ユーザ端末１０より、ユーザ端末１０にて撮影された画像データの他に、付加情報として表示させたい内容を示す要求情報を受信する。要求情報は、ユーザ端末１０の操作部１７あるいは音声入出力部１６より入力される（図２参照）。
【００８８】
要求解析部２１ｈは、受信部２１ａが受信した要求情報を解析して、付加情報として表示させたい内容を特定する。例えば、要求情報が音声入力された「早急に空気を浄化したいけど、どうすればいいの？」などの問いかけである場合、音声解析を実施してユーザが付加情報として表示を希望している内容が「早急清浄モードの指示の仕方」であると特定する。要求解析部２１ｈの解析結果は、付加情報決定部２１ｅに送られる。
【００８９】
付加情報決定部２１ｅは、画像解析部２１ｃにて特定された空気清浄機３０の向きや含まれている部分などの情報と、要求解析部２１ｈにて特定された要求内容とに基づいて、ユーザに通知すべき情報である付加情報を決定する。要求内容が「早急清浄モードの指示の仕方」である場合は、空気清浄機３０における操作表示部３５の例えば「イオンシャワー」などのボタンの位置に○印を付し、「このボタンを押してください」などのメッセージを付加情報とする。
【００９０】
図１５は、ユーザ端末１０で空気清浄機３０を撮影しながら、「早急に空気を浄化したいけど、どうすればいいの？」などの問いかけを行った場合に表示部１５に表示されるＡＲ画像を示す図である。図１５に示すＡＲ画像では、早急清浄モードによる運転を指示できるイオンシャワーボタンの位置に○印を付し、「このボタンを押してください」などのメッセージが表示されている。
【００９１】
なお、ここでは操作方法の一例として運転モードを例示したが、同梱の取扱説明書に記載されている各種運転モード等の操作方法を実施するための要求に対して付加情報を表示し得るように、サーバ２０の記憶部２２（図３参照）にはデータが格納されている。
【００９２】
これによれば、空気清浄機３０の各種の運転モードを熟知していなくても、希望する運転モードを実施させるための操作方法をサーバ２０に要求し、ユーザ端末１０にて操作表示部３５が表示部１５の画面内に入るように撮影するだけで、付加情報として操作方法を知ることができる。
【００９３】
ここでも、ユーザ自身が撮影した画像上に指示が重畳されるので、方向が固定されている取扱説明書の説明図や写真に比べて格段に理解しやすいものとなる。
【００９４】
また、本実施の形態では、各種運転モードの指示の仕方を要求し、指示の仕方を付加情報として付加するものであるが、運転モードの指示の仕方に限るものではない。例えば、運転ボタンや吹出し口、外部フィルタなどの空気清浄機３０の部分ごとに、同梱の取扱説明書に記載されているような説明を付加情報として記憶部２２に格納しておき、ユーザが空気清浄機３０における機能や説明を知りたいと思った部分を撮影すると、その部位に対応する付加情報が付加される構成としてもよい。
【００９５】
〔実施の形態４〕
本発明のその他の実施の一形態について説明する。なお、説明の便宜上、前述の実施の形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００９６】
本実施の形態の通知システム１は、付加情報決定部２１ｅは、ユーザ端末１０より空気清浄機３０から吹出す気流を示す付加情報の表示を要求されると、受信した空気清浄機３０の画像と、空気清浄機３０より取得する風量の情報とに基づいて、気流を示す付加情報を決定する構成である。ユーザは、ユーザ端末１０にて空気清浄機３０が設置されている空間を撮影してサーバ２０に送信し、付加情報決定部２１ｅが、当該空間における気流の流れに対応した画像を付加情報として決定する。なお、気流の動き示す場合、気流の画像については流れに沿って動くものであることが好ましい。
【００９７】
図１６は、本実施の形態の通知システム１におけるサーバ２０の要部の機能構成を示すブロック図である。図１６に示すように、サーバ２０においては、流体解析部２１ｉが追加されている。画像解析部２１ｃは、画像データを解析して、撮影されている空気清浄機３０の向きや吹出し口の位置、吹出し口に設けられたルーバーの向きなどを特定して流体解析部２１ｉに送る。また、画像解析部２１ｃは、空気清浄機３０が設置されている空間が撮影されている場合、設置空間における空気清浄機３０の位置や、設置空間に配置されている家具などの位置を特定して流体解析部２１ｉに送る。
【００９８】
流体解析部２１ｉには、状態解析部２１ｄより空気清浄機３０の状態に関する情報が入力される。流体解析部２１ｉに入力される情報は、例えば、空気清浄機３０のファンモータの回転数を示す情報、実行中の運転モードを示す情報などである。流体解析部２１ｉは、画像解析部２１ｃから入力される情報と、状態解析部２１ｄより入力される情報とに基づいて、空気清浄機３０の吹出し口から吹出される気流（風）の流れを特定する。設置空間における空気清浄機３０の位置や、設置空間に配置されている家具などの位置より、設置空間の間取りを考慮して流れを特定する。なお、スマートフォンで写真を撮るだけで部屋を測定し、間取り図を描くことができるアプリケーションは既に公知であるため、これ以上の説明は行わない。流体解析部２１ｉの解析結果は、付加情報決定部２１ｅに送られる。
【００９９】
付加情報決定部２１ｅは、画像解析部２１ｃにて特定された空気清浄機３０の向きや含まれている部分などの情報と、要求解析部２１ｈにて特定された要求内容と、流体解析部２１ｉの解析結果とに基づいて、ユーザに通知すべき情報である付加情報を決定する。
【０１００】
例えば、要求内容が「空気清浄機３０から吹出される気流の見える化」であり、ユーザが空気清浄機３０を斜め情報から撮影している場合、ユーザ端末１０の表示部１５には、図１７Ａに示すような、吹出し口から吹出される気流（風）の画像が付加されたＡＲ画像が表示される。図１７Ａでは、気流に加えて、気流に含まれるイオンの画像も○の中に「−（マイナス）」「＋（プラス）」を記載した画像にて表示されている。
【０１０１】
また、要求内容が「空気清浄機３０から吹出される気流の見える化」であり、ユーザが空気清浄機３０の設置空間を撮影している場合、ユーザ端末１０の表示部１５には、図１７Ｂあるいは図１７Ｃに示すような、吹出し口から吹出され、設置空間を循環する気流（風）の画像が付加されたＡＲ画像が表示される。図１７Ｂは、家具が設置されていない状態を撮影した場合のＡＲ画像であり、図１７Ｃは、家具が設置されている場合のＡＲ画像である。図１７Ｂ、図１７Ｃでは、気流は白抜きの矢印の画像で示され、気流に含まれるイオンの画像が、○の中に「−（マイナス）」「＋（プラス）」を記載した画像にて表示されている。気流の画像や、イオンの画像より、空気の淀んでいる場所を特定することができる。
【０１０２】
これによれば、空気清浄機３０から吹出す気流が表示されるようにサーバ２０に要求し、ユーザ端末１０にて空気清浄機３０が表示部１５の画面内に入るように撮影するだけで、付加情報として気流の画像を視認することができる。
【０１０３】
ユーザ自身が撮影した画像上に気流の画像が重畳されるので、家具等の設置にて空気が淀んでいる箇所等を容易に特定して、家具の配置を工夫するなどの対処が図れる。
【０１０４】
〔実施の形態５〕
本発明のその他の実施の一形態について説明する。なお、説明の便宜上、前述の実施の形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１０５】
上述した実施の形態１〜４の通知システム１においては、サーバ２０を含む構成であった。これに対し、本実施の形態の通知システム１においては、図１８に示すように、サーバ２０の機能をユーザ端末１０に備えさせ、空気清浄機３０とユーザ端末１０とを、ＷｉＦｉ（登録商標）ルータやＷｉＦｉ（登録商標）アクセスポイントや、Bluetooth（登録商標）機能で接続する構成としてもよい。図１８は、本実施の形態の通知システム１の全体構成を示すブロック図である。
【０１０６】
なお、上述した実施の形態１〜４の通知システム１においては、電子機器として空気清浄機３０を例示した。しかしながら、電子機器としては、洗濯機や調理装置、ロボット掃除機、エアコンなど、ネットワーク４０、ＷｉＦｉ（登録商標）アクセスポイントなどを介して、ユーザ端末１０、サーバ２０に接続可能であれば、どのような電子機器であってもよい。
【０１０７】
〔実施の形態６〕
第１〜第５の実施の形態にて説明した、ユーザ端末１０の制御部１１、サーバ２０の制御部２１、空気清浄機３０の制御部３１は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０１０８】
後者の場合、ユーザ端末１０、サーバ２０、空気清浄機３０は、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１０９】
〔まとめ〕
本発明の態様１に係る通知システム１は、電子機器（空気清浄機３０）と、該電子機器とネットワーク４０を介して接続される端末装置（ユーザ端末１０）とを備える通知システムであって、前記端末装置は、撮影部１４と該撮影部１４に撮影された画像を表示する表示部１５と、該表示部１５による表示を制御する表示制御部１１ｄとを備え、前記通知システム１は、前記撮影部１４にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部２１ｅを備え、該付加情報決定部２１ｅは、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定し、前記表示制御部１１ｄは、前記撮影部１４にて撮影された画像として前記電子機器を含む前記画像に前記付加情報が合成された合成画像を前記表示部１５に表示することを特徴としている。
【０１１０】
上記構成によれば、付加情報決定部２１ｅは、電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定する。表示制御部１１ｄは、撮影部にて撮影された画像として付加情報が合成された合成画像を表示部に表示する。
【０１１１】
これにより、ユーザは、電子機器に問題が発生していることを、端末装置を用いて電子機器を撮影するだけで知ることができ、同時に問題のある箇所を特定することができる。問題のある箇所は、撮影した画像に合成されてダイレクトに示されるので、電子機器の操作表示部のＬＥＤランプなどを点灯して通知する従来構成よりも直観的に把握することができ、点灯と通知内容との関係を知っておく必要もない。
【０１１２】
また、操作表示部のＬＥＤランプなどの数を減らすことができるので、電子機器のデザイン性を向上させることができる。
【０１１３】
本発明の態様２に係る通知システム１は、前記付加情報決定部２１ｅは、さらに、問題のある箇所を示す前記付加情報に関連付けて合成される、問題の内容又は問題への対処方法あるいはその両方を示す付加情報を決定する構成である。
【０１１４】
上記構成によれば、付加情報決定部２１ｅは、問題のある箇所を示す前記付加情報に関連付けて合成される、問題の内容又はその対処方法あるいはその両方を示す付加情報を決定し、これらの付加情報も端末装置に表示される。
【０１１５】
これにより、ユーザは、端末装置に表示された電子機器を含む撮影画像の合成画像より、電子機器に発生している問題の内容やその対処方法も容易に知ることができるので、迅速な対処が可能となる。
【０１１６】
本発明の態様３に係る通知システム１は、前記付加情報決定部２１ｅは、さらに、ユーザがアクセスすべき前記電子機器における箇所に関連付けて合成され、発生している問題への対処の指示を、処理の進み具合に応じて段階的に示す付加情報を決定する構成である。
【０１１７】
上記構成によれば、付加情報決定部２１ｅは、ユーザがアクセスすべき前記電子機器における箇所に関連付けて合成され、発生している問題への対処の指示を、処理の進み具合に応じて段階的に示す付加情報を決定し、該付加情報が端末装置に表示される。
【０１１８】
これにより、電子機器と同梱された取扱説明書を確認したりすることなく、端末装置に表示された電子機器を含む撮影画像の合成画像に従って処理を進めていくことで、簡単に問題に対処することができる。
【０１１９】
しかも、指示内容を示す付加情報は、ユーザ自身が撮影している撮影画像に重畳されているので、方向が固定されている取扱説明書の説明図や写真に比べて格段に理解しやすいものであり作業性が向上する。
【０１２０】
本発明の態様４に係る通知システム１は、前記付加情報決定部２１ｅは、前記端末装置より前記電子機器の操作方法についての付加情報が要求されると、前記操作を実行するためにユーザがアクセスすべき箇所に関連付けて合成され、前記操作を実行するための指示を示す付加情報を決定する構成である。
【０１２１】
上記構成によれば、端末装置より電子機器の操作方法についての付加情報が要求されると、付加情報決定部は、前記操作を実行するためにユーザがアクセスすべき箇所に関連付けて合成され、前記操作を実行するための指示を示す付加情報を決定し、該付加情報が端末装置に表示される。
【０１２２】
これにより、電子機器の操作方法が分からない場合でも、電子機器と同梱された取扱説明書を確認したりすることなく、端末装置を用いて電子機器を撮影して付加情報として操作方法を要求することで、端末装置に表示された電子機器を含む撮影画像の合成画像より、操作方法を知ることができる。
【０１２３】
本発明の態様５に係る通知システム１は、前記電子機器が空気清浄機３０であり、前記付加情報決定部２１ｅは、前記端末装置より前記空気清浄機から吹出す気流を示す付加情報を要求されると、前記撮影部にて撮影される前記空気清浄機の画像と、前記空気清浄機より取得する風量の情報とに基づいて、気流を示す付加情報を決定する構成である。
【０１２４】
これによれば、端末装置を用いて空気清浄機を撮影して付加情報として気流の画像を要求することで、付加情報として気流の画像を視認することができる。
【０１２５】
本発明の態様６に係るサーバ２０は、電子機器と、該電子機器とネットワークを介して接続される端末装置との間、に介在するサーバ２０であって、前記端末装置より該端末装置にて撮影された前記電子機器を含む画像を受信する受信部２１ａと、前記電子機器より前記電子機器にて発生している問題の情報を取得する取得部（情報取得部２１ｂ）と、前記端末装置にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部２１ｅと、前記付加情報決定部２１ｅにて決定された付加情報を前記端末装置に送信する送信部２１ｇとを備え、前記付加情報決定部２１ｅは、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定する。
【０１２６】
本発明の態様７に係る端末装置（ユーザ端末１０）は、電子機器（空気清浄機３０）と、該電子機器とネットワーク４０を介して接続される端末装置であって、撮影部１４と該撮影部１４に撮影された画像を表示する表示部１５と、前記表示部による表示を制御する表示制御部１１ｄとを備え、前記電子機器との間に介在するサーバ２０に、前記撮影部１４にて撮影される前記電子機器を含む画像を送信する送信部１１ｂと、前記サーバ２０より、前記撮影部にて撮影される前記電子機器の画像に合成される付加情報であり、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を受信する受信部１１ｃとを備え、前記表示制御部１１ｄは、前記撮影部１４にて撮影された画像として前記付加情報が合成された合成画像を前記表示部１５に表示する構成である。
【０１２７】
本発明の態様６に係るサーバ２０と、本発明の態様７に係る端末装置とを用いることで、前記した本発明の態様１に係る通知システムと同様の効果を奏する。
【０１２８】
本発明の態様８に係る端末装置（ユーザ端末１０）は、電子機器（空気清浄機３０）とネットワークを介して接続される端末装置であって、撮影部１４と、該撮影部１４に撮影された画像を表示する表示部１５と、該表示部１５による表示を制御する表示制御部１１ｄと、前記撮影部１４にて撮影される前記電子機器を含む画像に基づいて、該画像に合成される付加情報を決定する付加情報決定部２１ｅとを備え、該付加情報決定部２１ｅは、前記電子機器の画像部分における該電子機器にて問題が発生している箇所に合成されて問題のある箇所を示す付加情報を決定し、前記表示制御部１１ｄは、前記撮影部１４にて撮影された画像として前記付加情報が合成された合成画像を前記表示部１５に表示する構成である。
【０１２９】
本発明の態様８に係る端末装置を用いることで、前記した本発明の態様１に係る通知システムと同様の効果を奏する。
【０１３０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０１３１】
１  通知システム
１０  ユーザ端末（端末装置）
１１、２１、３１  制御部
１１ａ  撮影制御部
１１ｂ、２１ｇ、３１ｃ  送信部
１１ｃ、２１ａ  受信部
１１ｄ  表示制御部
１２、２２、３２  記憶部
１３、２３、３３  通信部
１４  撮影部
１５  表示部
１６  音声入出力部
１７  操作部
２０  サーバ
２１ｂ  状態情報取得部（取得部）
２１ｃ  画像解析部
２１ｄ  状態解析部
２１ｅ  付加情報決定部
２１ｆ  ＡＲ画像生成部
２１ｈ  要求解析部
２１ｉ  流体解析部
３０  空気清浄機（電子機器）
４０  ネットワーク
【図１】
2018194207.tif 000003
【図２】
2018194207.tif 000004
【図３】
2018194207.tif 000005
【図４】
2018194207.tif 000006
【図５】
2018194207.tif 000007
【図６】
2018194207.tif 000008
【図７】
2018194207.tif 000009
【図８Ａ】
2018194207.tif 000010
【図８Ｂ】
2018194207.tif 000011
【図８Ｃ】
2018194207.tif 000012
【図８Ｄ】
2018194207.tif 000013
【図８Ｅ】
2018194207.tif 000014
【図８Ｆ】
2018194207.tif 000015
【図８Ｇ】
2018194207.tif 000016
【図８Ｈ】
2018194207.tif 000017
【図９】
2018194207.tif 000018
【図１０】
2018194207.tif 000019
【図１１】
2018194207.tif 000020
【図１２】
2018194207.tif 000021
【図１３】
2018194207.tif 000022
【図１４】
2018194207.tif 000023
【図１５】
2018194207.tif 000024
【図１６】
2018194207.tif 000025
【図１７Ａ】
2018194207.tif 000026
【図１７Ｂ】
2018194207.tif 000027
【図１７Ｃ】
2018194207.tif 000028
【図１８】
2018194207.tif 000029