(57)【要約】【課題】詳細なエラーへの対処方法や個人ごとにカスタマイズされた表示方法として提供すること。【解決手段】情報処理装置は、操作部３０１、表示部３０２、記憶部３０３、制御部３０４、可視光送信部３０５を有する。また、情報処理端末は、撮像部３５１、可視光受信部３５２、情報処理部３５３、処理表示部３５４を有する。情報処理装置は、使用者が操作部３０１により操作した操作情報又は制御部３０４にて制御を行った制御情報に関連する情報を、記憶部３０３より取り出し、可視光情報として可視光送信部３０５にて可視光へ変換・送信を行う。一方、情報処理端末３５０側では、撮像部３５１で撮影した画像から可視光受信部３５２にて可視光を読み取り、関連する情報を情報処理部３５３にて解析処理し、関連する情報を処理表示部３５４にて表示を行う。【選択図】図３
2020135572.tif 000002
【特許請求の範囲】
【請求項１】
使用者により設定入力可能な操作部と、
使用者の設定に応じて出力内容が表示される表示部と、
使用者が設定した情報や制御情報を記憶する記憶部と、
使用者が前記操作部で設定した情報に応じた機器の制御を行う制御部と、
前記制御部で制御する制御情報を可視光情報に変換し、可視光として送信する可視光送信部と、
を備える情報処理装置と、
前記情報処理装置から送信された可視光を検知する撮像部と、
前記撮像部により検知した可視光を可視光情報として受信する可視光受信部と、
前記可視光受信部で受信した可視光情報を解析する情報として処理する情報処理部と、
前記情報処理部で処理された情報に基づき出力を行う処理表示部と、
を備える情報処理端末と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記情報処理装置は、前記制御部において制御処理を行った結果、制御エラーとなった場合に、制御エラー情報を可視光情報に変換し、可視光として情報処理端末に送信することを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記情報処理装置は、前記情報処理装置内での相対位置を識別する四角枠を有し、前記情報処理端末の撮像部が前記情報処理装置を撮影した際に、前記四角枠の位置を認識することが可能な枠位置認識部を備えることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記情報処理部は、前記枠位置認識部が認識した四角枠の位置から相対的な位置情報を計算し、前記撮像部で撮影した画像の相対位置に処理情報を合成して表示することが可能な画像合成部を備えることを特徴とする請求項３記載の情報処理システム。
【請求項５】
前記情報処理端末は、使用者の個人情報や嗜好情報が蓄積されている情報記憶部を有し、前記情報記憶部は、該個人情報や嗜好情報と前記可視光受信部で受信した可視光情報から解析された情報に基づき、個人へのおすすめ内容を前記処理表示部に表示することを特徴とする請求項４記載の情報処理システム。
【請求項６】
前記情報処理装置は加熱調理機能を有する請求項１〜５のいずれか１項に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、可視光フォーマットに対応した可視光信号（光ＩＤ等）を発信する情報処理装置から、情報処理端末に設けられたカメラにより撮影された映像を通して可視光信号を読み取り、読み取った可視光信号の送信位置や情報処理装置の認識位置に応じて、情報処理装置の操作又は制御に関連する情報を情報処理端末上のディスプレイに表示することが可能な、情報処理端末の制御方法及び情報表示システムに関する。
【背景技術】
【０００２】
白物家電機器の一例として、電子レンジや冷蔵庫、洗濯機などがあげられる。これら一般的に普及している家電機器においては、使用者が操作パネルボタンやタッチパネルキー等を使って設定操作や機器制御を行い、操作パネル上の表示画面にて情報の確認を行う。このような操作を行う中で、各々の家電機器において、エラーが発生したり、メンテナンス作業を促す情報通知がなされたりする場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４０９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような一般的に普及している家電機器では、エラー（不具合）が発生しても、家電機器の表示エリアが小さいために、エラー番号しか表示されないことが多い。また、エラー番号だけではどんなエラーが発生しているのかの把握も難しく、いちいち操作マニュアルで調べて対処する必要がある。また、不具合やメンテナンス作業においても、家電機器の表示エリアが限られているため、何度もボタン押下操作をして対応処理しなければならず、操作者やサービスマンに対しても負担を強いることとなる。
【０００５】
本発明は、上記のような課題に鑑みてなされたものであり、エラー発生時やメンテナンス作業等を行う場合において、操作者自身が所有する情報端末にあるカメラを利用して、家電機器へかざすだけで、家電機器本体から発信される可視光情報を取得し、その可視光情報を解析するだけで、簡単に家電機器で発生しているエラー情報の詳細やメンテナンス情報を取得することができ、さらに、操作者であるお客様へも有用な情報を通知することも可能な情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記従来の課題を解決するために、本発明の情報処理システムは以下の構成としている。すなわち、使用者により設定入力可能な操作部と、使用者の設定に応じて出力内容が表示される表示部と、使用者が設定した情報や制御情報を記憶する記憶部と、使用者が前記操作部で設定した情報に応じた機器の制御を行う制御部と、前記制御部で制御する制御情報を可視光情報に変換し、可視光として送信する可視光送信部と、を備える情報処理装置と、前記情報処理装置から送信された可視光を検知する撮像部と、前記撮像部により検知した可視光を可視光情報として受信する可視光受信部と、前記可視光受信部で受信した可視光情報を解析する情報として処理する情報処理部と、前記情報処理部で処理された情報に基づき出力を行う処理表示部と、を備える情報処理端末と、を備えることを特徴とする。
【発明の効果】
【０００７】
このような構成によれば、使用者が情報処理装置を操作した際に、エラー対処やメンテナンス等、何かしらの対処が必要となった場合においても、家電機器から使用者の情報端末へ必要な情報を可視光通信情報として送受信するだけで、より詳細なエラーへの対処方法や個人ごとにカスタマイズされた表示方法として提供することが可能な情報処理システムを得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施の形態１における情報処理装置及び情報処理端末の外観を示す図である。
【図２】図２は、本実施の形態１の情報処理装置の操作パネルの一例を示す図である。
【図３】図３は、本実施の形態１における情報処理装置及び情報処理端末の機能構成を示すブロック図である。
【図４】図４は、本実施の形態１の情報処理装置の操作パネルにおける操作後の表示の一例を示す図である。
【図５】図５は、本実施の形態１の情報処理装置における操作後の処理内容に関するテーブルの一例を示す図である。
【図６】図６は、本実施の形態１の情報処理装置における処理内容と、情報処理端末における表示内容との関連付けに関するテーブルの一例を示す図である。
【図７】図７は、本実施の形態１の情報処理端末における表示の一例を示す図である。
【図８】図８は、本実施の形態２における情報処理装置及び情報処理端末の外観を示す図である。
【図９】図９は、本実施の形態２における情報処理装置及び情報処理端末の機能構成を示すブロック図である。
【図１０】図１０は、本実施の形態２の情報処理装置の操作パネルの一例を示す図である。
【図１１】図１１は、本実施の形態２の情報処理端末における表示の一例を示す図である。
【図１２】図１２は、本実施の形態２の情報処理端末における表示の一例を示す図である。
【図１３】図１３は、本実施の形態２の情報処理端末における表示の一例を示す図である。
【発明を実施するための形態】
【０００９】
本開示の実施の形態の一例による情報処理システムは、使用者により設定入力可能な操作部と、使用者の設定に応じて出力内容が表示される表示部と、使用者が設定した情報や制御情報を記憶する記憶部と、使用者が前記操作部で設定した情報に応じた機器の制御を行う制御部と、前記制御部で制御する制御情報を可視光情報に変換し、可視光として送信する可視光送信部と、を備える情報処理装置と、前記情報処理装置から送信された可視光を検知する撮像部と、前記撮像部により検知した可視光を可視光情報として受信する可視光受信部と、前記可視光受信部で受信した可視光情報を解析する情報として処理する情報処理部と、前記情報処理部で処理された情報に基づき出力を行う処理表示部と、を備える情報処理端末と、を備えることを特徴とする。
【００１０】
このような構成により、使用者が情報処理装置を操作した際に、例えばエラー対処やメンテナンス等、所定の対応が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光情報として送信するだけで、使用者の情報処理端末において、より詳細な対処方法や個人ごとにカスタマイズされた表示方法として提供することが可能な情報処理システムを得ることができる。
【００１１】
本開示の実施の形態の一例による情報処理システムは、前記情報処理装置は、前記制御部において制御処理を行った結果、制御エラーとなった場合に、制御エラー情報を可視光情報に変換し、可視光として情報処理端末に送信することを特徴とするように構成されていてもよい。
【００１２】
このような構成により、使用者が情報処理装置を操作した際に、エラー対処が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光情報として送信するだけで、使用者の情報処理端末において、より詳細なエラー対処方法を個人ごとにカスタマイズされた表示方法にて提供することが可能な情報処理システムを得ることができる。
【００１３】
本開示の実施の形態の一例による情報処理システムは、前記情報処理装置は、前記情報処理装置内での相対位置を識別する四角枠を有し、前記情報処理端末の撮像部が前記情報処理装置を撮影した際に、前記四角枠の位置を認識することが可能な枠位置認識部を備えることを特徴とするように構成されていてもよい。
【００１４】
このような構成により、使用者が情報処理装置を操作した際に、エラー対処やメンテナンス等、所定の対応が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光通信情報として送信するだけで、使用者の情報処理端末のカメラを通して撮像されている情報処理装置内の四角枠内あるいはその周辺へ、より詳細な情報を表示する表示方法を提供することが可能な情報処理システムを得ることができる。
【００１５】
本開示の実施の形態の一例による情報処理システムは、前記情報処理部は、前記枠位置認識部が認識した四角枠の位置から相対的な位置情報を計算し、前記撮像部で撮影した画像の相対位置に処理情報を合成して表示することが可能な画像合成部を備えることを特徴とするように構成されていてもよい。
【００１６】
このような構成により、使用者が情報処理装置を操作した際に、エラー対処やメンテナンス等、所定の対応が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光通信情報として送信するだけで、使用者の情報処理端末のカメラを通して撮像されている情報処理装置内の四角枠内あるいはその周辺へ、より詳細な情報を表示する表示方法を提供することが可能な情報処理システムを得ることができる。
【００１７】
本開示の実施の形態の一例による情報処理端末は、前記情報処理端末は、使用者の個人情報や嗜好情報が蓄積されている情報記憶部を有し、前記情報記憶部は、該個人情報や嗜好情報と前記可視光受信部で受信した可視光情報から解析された情報に基づき、個人へのおすすめ内容を前記処理表示部に表示することを特徴とするように構成されていてもよい。
【００１８】
このような構成により、使用者が情報処理装置を操作した際に、エラー対処やメンテナンス等、所定の対応が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光情報として送信するだけで、使用者の情報処理端末のカメラを通して撮像されている情報処理装置内の四角枠内あるいはその周辺へ、より詳細な対処方法や個人ごとにカスタマイズされた表示方法として提供することが可能な情報処理システムを得ることができる。
【００１９】
また、本開示の実施の形態の一例による情報送信システムは、前記情報処理装置は加熱
調理機能を有するよう構成されていてもよい。
【００２０】
このような構成により、使用者が加熱調理器を操作した際に、エラー対処やメンテナンス等、所定の対応が必要となった場合においても、操作者が操作した操作情報や制御情報に基づいて、必要な情報を可視光情報として送信するだけで、使用者の情報処理端末において、より詳細な対処方法や個人ごとにカスタマイズされた表示方法として提供することが可能な加熱調理器を得ることができる。
【００２１】
以下、本開示の実施の形態の例を、図面を参照しながら説明する。なお、以下の実施の形態によって本開示が限定されるものではない。
【００２２】
（実施の形態１）
図１は、本開示の実施の形態１における情報処理装置及び情報処理端末の外観を示す図である。
【００２３】
図１に示すように、情報処理装置１００は、使用者が操作したりや表示を行ったりするための操作パネル２００を備えており、使用者は、情報処理装置１００内の操作パネル２００で操作した内容やそれに関連する内容に関し、情報処理端末１０１を用いて離れた場所から表示・確認を行うことができる。
【００２４】
図２は、本開示の実施の形態１の情報処理装置１００の一例として、操作パネル２００を示す図である。操作パネル２００には、各種メニュー設定や特殊操作を行うための操作部２０１、制御情報や操作情報を表示するＬＥＤによる操作表示部２０２等から構成されている。
【００２５】
図３は、本開示の実施の形態１における情報処理装置及び情報処理端末の機能構成を示すブロック図である。
【００２６】
図３に示すように、情報処理装置３００は、操作部３０１と、表示部３０２と、記憶部３０３と、制御部３０４と、可視光送信部３０５とを有しており、さらに情報処理端末３５０は、撮像部３５１と、可視光受信部３５２、情報処理部３５３、処理表示部３５４とを有している。
【００２７】
情報処理装置３００は、例えば冷蔵庫、電子レンジを含む加熱料理機能を有する加熱調理器、洗濯機、掃除機といった特定の家電機器における制御機能を有し、使用者が各々の機器の操作パネルから操作した内容に基づいて、所定の制御を行う。なお、情報処理装置３００は、家庭にある家電機器を例として説明しているが、これに限定する必要はなく、ＬＥＤ表示部又はＬＥＤ照明を備えており、かつ可視光通信をできる機器であれば、どんな機器であってもよいものとする。
【００２８】
操作部３０１は、例えばタッチパネルおよび複数のキー等を有しており、使用者が各種設定操作および操作開始等を行う際に入力可能となっている。
【００２９】
表示部３０２は、例えばＬＥＤ等を有しており、使用者が設定操作を行った操作情報や制御を行った際の制御情報等の出力内容が表示される。
【００３０】
記憶部３０３は、例えばフラッシュメモリのような不揮発性メモリからなり、使用者が設定操作を行った設定操作情報や制御を行った際の制御情報、又はそれらに関連する上方等を蓄積している。また、設定操作情報や制御情報に関連付けされたエラー情報や機器の状態情報等も蓄積されている。
【００３１】
制御部３０４は、操作部３０１で設定操作された情報に基づき、機器の加熱制御、冷凍制御や清掃等の制御を行ったり、記憶部３０３に蓄積されている情報に基づき、制御を行った際の状態を通知したりする。
【００３２】
可視光送信部３０５は、制御部３０４にて制御を行った情報やそれに関連する情報を、可視光情報として変換し、可視光として送信する。なお、可視光の送信方法に関しては、操作パネル２００に設置されている表示部３０２のＬＥＤを利用してもよいし、庫内に設置されている庫内照明のＬＥＤ等を利用してもよい。次に、この可視光を受信して表示を行う情報処理端末３５０について説明する。
【００３３】
情報処理端末３５０は、例えばスマートフォンやタブレットなどカメラが付随した使用者が持ち運び可能な端末である。可視光を受信するためのカメラ機能と表示機能があればどんなものでもよく、ノート型のＰＣであってもよい。
【００３４】
撮像部３５１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、または、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ等からなり、情報処理装置３００の可視光送信部３０５にて送信された可視光は、情報処理端末３５０の撮像部３５１において検知され、撮像画像として捉えることができる。
【００３５】
可視光受信部３５２は、撮像部３５１にて撮像した画像から可視光を受信し、可視光情報として解析する。可視光情報は、光ＩＤ等のフォーマットが決められた情報として認識を行う。
【００３６】
情報処理部３５３は、可視光受信部３５２で解析された可視光情報に基づき、情報処理装置３００における操作や制御に関連する情報の処理を行う。より具体的には、情報処理装置３００で発生した制御エラー情報やその処理方法等を情報処理部にて処理・解析を行う。
【００３７】
処理表示部３５４は、情報処理部３５３において処理した情報に基づき、処理内容を情報処理端末３５０において、操作者に対して、表示を行う。
【００３８】
図４に示す例では、情報処理装置３００において、加熱制御や操作設定等を行った結果、制御エラーが発生した場合に、操作パネル４００の表示部４０２にエラー番号が表示されている。表示部４０２には、庫内の汚れを検知した場合の「Ｕ３３」のエラー番号が表示されている。
【００３９】
図５は、本開示の実施の形態１の情報処理装置における操作後の処理内容に関するテーブルの一例を示す図である。
【００４０】
エラーコードが「Ｕ０１」の場合は、「初期化エラー」を意味しており、情報処理装置の電源の再リセット等の処理を促す必要がある。また、エラーコードが「Ｕ３３」の場合は、「庫内汚れ検知エラー」を意味しており、情報処理装置の庫内の汚れをふき取る必要がある。さらに、エラーコードが「Ｕ５０」の場合は、「庫内高温度エラー」を意味しており、情報処理装置の庫内が空焚きされていないかどうかの確認をする必要がある。
【００４１】
次に、情報処理端末３５０において、情報処理装置３００においてエラーが発生した場合における表示方法について、説明する。
【００４２】
図６は、本開示の実施の形態１の情報処理装置において使用者が操作又は制御を行った際にエラーが発生した場合の、エラーコード及びそのエラー内容との関連付けに関するテーブルの一例である。
【００４３】
図６において、情報処理装置の機器を識別するＩＤとして品番情報があり、「ＮＥ−１０００」の品番を例として記載されている。本テーブルにおいて、「ＮＥ−１０００」の製品においてエラーが発生した場合の、エラーコードとその対処方法に関する情報の関連付けがされている。
【００４４】
例えば、「ＮＥ−１０００」のエラーコード「Ｕ０１」については、エラーの処理内容に関する情報がインターネット（Ｗｅｂ）上に記載されており、日本語でのエラー処理内容については、”ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏｍ／ＮＥ１０００／Ｅｒｒｏｒ／Ｕ０１＿ｊｐ．ｈｔｍｌ”に詳細内容が記載されており、英語でのエラー処理内容については、”ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏｍ／ＮＥ１０００／Ｅｒｒｏｒ／Ｕ０１＿ｅｎｇ．ｈｔｍｌ”に詳細内容が記載されている。
【００４５】
同様に、「ＮＥ−１０００」のエラーコード「Ｕ３３」についても、日本語でのエラー処理内容については、”ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏｍ／ＮＥ１０００／Ｅｒｒｏｒ／Ｕ３３＿ｊｐ．ｈｔｍｌ”に詳細内容が記載されており、英語でのエラー処理内容については、”ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏｍ／ＮＥ１０００／Ｅｒｒｏｒ／Ｕ３３＿ｅｎｇ．ｈｔｍｌ”に詳細内容が記載されている。
【００４６】
「ＮＥ−１０００」のエラーコード「Ｕ５０」やその他のエラーコードについても同様なので、ここでは省略する。
【００４７】
また、例として日本語と英語の例で示しているが、対応している言語があれば、中国語やフランス語等、他の言語の例であっても同様である。また言語だけでなく、年齢や性別等、使用者のプライベートな情報・状態によってエラー処理内容が変化してもよいし、情報処理装置の状態や環境情報によってもエラー処理内容が変化していてもよい。
【００４８】
図７は、本開示の実施の形態１の情報処理端末３５０における表示の一例を示す図である。具体的には、図７は、情報処理装置３００である品番「ＮＥ−１０００」の製品において、「Ｕ３３」のエラーが発生した際に、図５及び図６に記載されているテーブル情報に基づき、情報処理装置３００より送信された可視光情報を受信して、情報処理端末３５０の処理表示部３５４に「Ｕ３３」のエラー詳細内容を表示する例を示す図である。
【００４９】
図７（Ａ）は、情報処理端末７００の処理表示部７０１に、「Ｕ３３」のエラーに対する処理方法の詳細内容が具体的に表示されている例である。「Ｕ３３」エラーに対する処理の詳細内容として、図６のテーブルにおける「Ｕ３３」の「日本語」のエラー情報（ＵＲＬサイト）が表示される。より具体的には、「庫内の底面が汚れています。庫内の汚れを、布巾等で取り除いて下さい。」と日本語で処理方法を説明するだけでなく、情報処理装置の図も含めてわかりやすく、説明がなされている。
【００５０】
使用者には、操作パネル４００の表示部４０２に表示されていた「Ｕ３３」のエラーでは何のエラーでどのように対処すればわからなかった内容を、情報処理端末７００を用いることで、簡単にその内容と対処方法をわかりやすく享受することができる。ここでは、エラー処理の対応方法の表示の例で示しているが、特に表示内容はどんな内容でもどんなフォーマットでもよく、庫内に入れられた食品に関連する情報やおすすめ情報でもよいし、また画像だけでなく音声での誘導や動画、インターネット上のサイトへの誘導であってもよい。
【００５１】
また、図７（Ｂ）においても、図７（Ａ）と同様に、情報処理端末７５０の処理表示部７５１に、「Ｕ３３」のエラーに対する処理方法の詳細内容が具体的に表示されている例である。「Ｕ３３」エラーに対する処理の詳細内容として、図６のテーブルにおける「Ｕ３３」の「英語」のエラー情報（ＵＲＬサイト）が表示される。より具体的には、”Ｔｈｅ  ｂｏｔｔｏｍ  ｏｆ  ｃａｂｉｎｅｔ  ｉｓ  ｄｉｒｔｙ．  Ｐｌｅａｓｅ  ｒｅｍｏｖｅ  ｄｉｒｔ  ｉｎ  ｔｈｅ  ｃａｂｉｎｅｔ  ｗｉｔｈ  ａ  ｃｌｏｔｈ  ｅｔｃ．”と英語で処理方法を説明するだけでなく、情報処理装置の図も含めてわかりやすく、説明がなされている。図７（Ａ）の場合と異なる点は、エラー処理の記載内容が日本語ではなく、英語となっている点であり、使用者のプライベートな情報や状態に応じても、適切に表示を行うことができる。
【００５２】
（実施の形態２）
図８は、本開示の実施の形態２における情報処理装置及び情報処理端末の外観を示す図である。
【００５３】
図８に示すように、情報処理装置８００は、使用者が操作したりや表示を行ったりするための操作パネル２００と情報処理装置８００の相対位置を識別するための四角枠８０２又は四角枠８０３を備えており、使用者は、情報処理装置８００内の操作パネル２００で操作した内容やそれに関連する内容に関し、情報処理端末８０１のカメラ（撮像部９５１）でリアルタイムに撮像されている情報処理装置８００の撮像画像からより詳細な処理方法や操作情報・制御情報等に関する内容に関し、簡単に表示・確認を行うことができる。
【００５４】
本開示の実施の形態２では、実施の形態１と同様の構造、機能構成または制御方法については、その説明を省略する。
【００５５】
図９は、本開示の実施の形態２における情報処理装置及び情報処理端末の機能構成を示すブロック図である。
【００５６】
本開示の実施の形態２の情報処理端末９５０が、実施の形態１の情報処理端末３５０と異なる点は、撮像部９５１で撮像した画像から、四角枠の位置を認識する枠位置認識部９５２を設けている点と、情報処理部９５４にて処理を行う際に、情報記憶部９５５にて記憶されている使用者の使用言語情報などの個人情報や嗜好情報、端末設定情報、あるいはその他環境情報に基づいて情報処理を行う点と、情報処理部９５４にて処理を行った後に、枠位置認識部９５２にて認識した枠位置内又は枠位置からの相対位置に必要な情報を付加し、画像合成部９５６にて必要な情報を撮像画像に合成して、処理表示部９５７において表示処理を行う点である。よって、本実施の形態では、主にこの点について説明する。
【００５７】
図９に示すように、情報処理装置９００は、操作部９０１と、表示部９０２と、記憶部９０３と、制御部９０４と、可視光送信部９０５とを有しており、さらに情報処理端末９５０は、撮像部９５１と、枠位置認識部９５２、可視光受信部９５３、情報処理部９５４、情報記憶部９５５、画像合成部９５６、処理表示部９５７とを有している。
【００５８】
枠位置認識部９５２は、撮像部９５１により撮影された画像から、情報処理装置９００の四角枠（図８の例で、四角枠８０２又四角枠８０３）の認識を行う。四角枠に関しては、画像内で認識しやすいように白字の紙又はプラスチック製の四角枠でもよいし、情報処理装置のデザインに合わせた色・素材の四角枠でもよく、画像内で区別がつくものであれば何でもよい。また、四角枠の位置や大きさ、形状に関しても特に制限はなく、正方形であってもひし形であってもよく、また途切れた枠囲みや別のマーク形状でもよく、情報処理装置内の特定のエリアが認識できる形状・素材であれば何でもよい。
【００５９】
また、可視光受信部９５３にて受信した可視光情報から、情報処理部９５４にて必要な処理情報として処理を行った後、枠位置認識部９５２にて認識した四角枠８０２又は８０３内、又は四角枠８０２又は８０３の位置からの相対位置に必要な処理情報を撮像画像上に付加させ、画像合成部９５６にて必要な処理情報を撮像画像へ合成して、処理表示部９５７において表示処理を行う。次に、画像を合成する処理事例を、図を用いて説明する。
【００６０】
図１０に示す例では、情報処理装置８００において、加熱制御や操作設定等を行う場合に、操作者が日本語では理解できないため、英語表記での表示が必要な場合に対する事例である。この事例では、操作パネル１０００の操作部１００１や表示部１００２には、数字又は日本語表記ではなく、数字又は英語表記にて表示されている。
【００６１】
図１１は、本開示の実施の形態２の情報処理端末における表示の一例を示す図である。図１１において、操作者が英語表記しか理解できない外国人である場合、説明なしで情報処理装置８００の操作方法を理解するのは難しい。本実施の形態において、個人ごとに所有する情報処理端末８０１によって、各々が所有する情報処理端末８０１を情報処理装置８００にかざすだけで、四角枠８０２で囲まれた表示パネルの情報を情報処理装置８００から可視光情報として送信することで、情報処理端末８０１において、操作パネル部分のみを英語表記の操作パネル１０００に変更することが可能となる。
【００６２】
より具体的に処理内容を説明する。情報処理装置９００内の記憶部９０３には、情報処理装置９００の操作パネルの文字情報に関する情報又はそれぞれの言語に対応した操作パネル画像を蓄積している。制御部９０４は操作パネル情報を処理し、可視光情報として可視光送信部９０５にて送信を行う。情報処理装置９００から可視光として発信された情報を、操作者の情報処理端末９５０の可視光受信部９５３にて受信を行う。また、情報処理端末９５０の撮像部９５１にて可視光を受信するとともに、撮像画像内から四角枠８０２の枠を枠位置認識部９５２にて認識処理を行う。
【００６３】
可視光は可視光受信部９５３にて解析し、可視光情報として情報処理部９５４にて処理を行うが、その際に、情報処理端末９５０において情報記憶部９５５に蓄積されている表示言語情報を解析し、可視光情報として取り出された操作パネル情報を英語表記として処理を行うように、処理が実施される。英語表記の操作パネル情報は、枠位置認識部９５２において認識した位置に表示を行うように、画像合成部９５６にて処理を行い、処理表示部９５７にて表示処理が行われることとなる。
【００６４】
このように、操作者が多様化するにつれ、個別の文字表記だけでは対応が難しくなってきているが、情報処理装置自体のコストをなるべくかけずに操作者や個人ごとにカスタマイズした表示方法が求められている。なお、今回は操作者が英語表記しか読めない事例に対して説明を行ったがこれに制限されることなく、どんな言語表記でもよいし、特定の言語だけの表記でなく、図や記号・複数の文字で表現されていてもよい。
【００６５】
図１２は、本開示の実施の形態２の情報処理端末における表示の一例を示す図である。本開示の実施の形態１において、情報処理装置９００において、「Ｕ３３」エラー（庫内の汚れ検知）が表示された場合の、エラーの処理方法に関して、エラー情報の記載されたサイトへ移動し、処理方法を手順ごとに示す例を示した。本事例では、エラー発生場所が対応事例によってはわかりにくく、情報処理装置９００と情報処理端末９５０の両方を交互に見ながら操作をしなければならず、操作者に負担をかけることとなる。
【００６６】
本実施の形態において、個人ごとに所有する情報処理端末８０１によって、各々が所有する情報処理端末８０１を情報処理装置８００にかざすだけで、四角枠８０３で囲まれた
表示パネルの情報を情報処理装置８００から可視光情報として送信することで、情報処理端末８０１において、エラーの発生している箇所に対して、撮像されている情報処理装置８００内の操作が必要な箇所に直接操作誘導及び表示をすることが可能となる。
【００６７】
より具体的に処理内容を説明する。なお、情報処理装置側については、図７（Ａ）、図７（Ｂ）及び図１１の事例と同様であるので省略する。情報処理装置９００から可視光として発信された情報を、操作者の情報処理端末９５０にて受信を行う。情報処理端末９５０の撮像部９５１にて可視光を受信するとともに、撮像画像内から四角枠８０３の枠を枠位置認識部９５２にて認識処理を行う。可視光は可視光受信部９５３にて解析し、可視光情報として情報処理部９５４にて処理を行うが、その際に、情報処理端末９５０において「Ｕ３３」エラーの処理情報を解析し、可視光情報として取り出された「Ｕ３３」エラーの処理手順の表示方法に関する処理が実施される。
【００６８】
「Ｕ３３」のエラー処理手順情報は、枠位置認識部９５２において認識した位置の枠位置内又は相対位置に表示を行うように、画像合成部９５６にて処理を行い、処理表示部９５７にて表示処理が行われることとなる。本事例においては、枠位置の外側に処理手順として、「１．ドアを開けて下さい」「２．庫内の汚れを取り除いて下さい」の表記が画面上に合成されて表示されることになる。
【００６９】
図１３は、本開示の実施の形態２の情報処理端末における表示の一例を示す図である。本事例では、情報処理装置９００で制御処理を行っている又は行った情報に関連した情報を、リアルアイムに表示を行う事例を示している。
【００７０】
本実施の形態において、個人ごとに所有する情報処理端末８０１を情報処理装置８００にかざすだけで、四角枠８０３で囲まれた表示パネルの情報を情報処理装置８００から可視光情報として情報処理端末８０１に送信する。情報処理端末８０１において、例えば電子レンジなどの庫内で弁当や麺類などの加熱制御を行っている場合、これらの情報が嗜好情報として情報記憶部９５５に記憶されており、弁当や麺類などの食品に付随するおすすめ内容の商品を、撮像されている情報処理装置８００内の四角枠８０３内に表示をすることが可能となる。具体的に処理内容については、図７（Ａ）、図７（Ｂ）、図１１及び図１２の事例と同様であるので省略するが、情報処理端末９５０内の四角枠８０３で囲まれた部分に、情報記憶部９５５の中で蓄積されている関連情報として、おすすめ内容としての商品である「おにぎり」の情報（おにぎり  各種１００円〜３／３１まで）や操作者にとって、価値のある情報を提供することができる。
【産業上の利用可能性】
【００７１】
以上述べたとおり、本開示は、使用者が対象とする機器を操作したりや特定の制御を行ったりした際に、何か特別な処理が必要な場合やその時の機器の状態を知りたい場合に、その対象機器に対して、情報端末をかざすだけで、即座にその機器の状態や処理方法等を、情報端末上で、簡単にかつ分かりやすく表示・提示することが可能な情報処理装置、情報処理端末による制御方法及び情報表示システムを提供する。よって、本開示における情報処理装置については、冷蔵庫、洗濯機、電子レンジ等の白物家電機器のみならず、ＤＶＤレコーダー、ビデオ、プリンター等、大きな表示デバイスをもたない黒物家電機器、更には、業務向けの機器に対しても広く適用可能である。
【符号の説明】
【００７２】
１００，３００，８００，９００  情報処理装置
１０１，３５０，７００，７５０，８０１，９５０  情報処理端末
２００，４００，１０００  操作パネル
２０１，３０１，４０１，９０１，１００１  操作部
２０２，３０２，４０２，９０２，１００２  表示部
３０３，９０３  記憶部
３０４，９０４  制御部
３０５，９０５  可視光送信部
３５１，９５１  撮像部
３５２，９５３  可視光受信部
３５３，９５４  情報処理部
３５４，７０１，７５１，９５７  処理表示部
８０２，８０３  四角枠
９５２  枠位置認識部
９５５  情報記憶部
９５６  画像合成部
【図１】
2020135572.tif 000003
【図２】
2020135572.tif 000004
【図３】
2020135572.tif 000005
【図４】
2020135572.tif 000006
【図５】
2020135572.tif 000007
【図６】
2020135572.tif 000008
【図７】
2020135572.tif 000009
【図８】
2020135572.tif 000010
【図９】
2020135572.tif 000011
【図１０】
2020135572.tif 000012
【図１１】
2020135572.tif 000013
【図１２】
2020135572.tif 000014
【図１３】
2020135572.tif 000015