(57)【要約】【課題】外部機器の操作に係るユーザの利便性を向上する。【解決手段】電子機器（１０）は、物体を撮影する撮影部（１０１）と、外部機器を撮影により認識する認識部（１０１、１０９）と、前記認識部が認識した外部機器の操作に関する情報をユーザに提示する提示部（１０２）と、前記撮影部に撮影された前記物体の位置情報と前記提示部に提示された前記外部機器の操作に関する情報とにより前記外部機器を操作する操作部（１０８、１０９）と、を備える。【選択図】図１
2015228097.tif 000002
【特許請求の範囲】
【請求項１】
物体を撮影する撮影部と、
外部機器を撮影により認識する認識部と、
前記認識部が認識した外部機器の操作に関する情報をユーザに提示する提示部と、
前記撮影部が撮影した前記物体の位置情報と前記提示部が提示した前記外部機器の操作に関する情報とにより前記外部機器を操作する操作部と、
を備えることを特徴とする電子機器。
【請求項２】
外部機器を撮影により認識する認識部と、
前記認識部が認識した外部機器の操作に関する情報をユーザに所定の順序で提示する提示部と、
前記提示部で提示された前記外部機器の操作に関する情報に対する指示動作を検出する検出部と、
前記検出部で検出された指示動作により前記外部機器を操作する操作部と、
を備えることを特徴とする電子機器。
【請求項３】
前記操作部は、操作情報を生成する情報生成部と、
前記情報生成部が生成した前記操作情報を前記外部機器に送信する送信部と、
を備える請求項１又は２に記載の電子機器。
【請求項４】
前記提示部は、前記外部機器との通信が成立した場合に、前記外部機器に関する情報を提示する請求項１から３のいずれか一項記載の電子機器。
【請求項５】
音声を認識する音声認識部を備え、
前記提示部は、前記音声認識部により前記外部機器に関する音声が認識された場合に、前記外部機器に関する情報を提示する請求項１から４のいずれか一項記載の電子機器。
【請求項６】
ユーザを認識するユーザ認識部を備え、
前記提示部は、前記ユーザ認識部の認識結果に応じて、提示する情報の内容と、提示方法との少なくとも一方を変更する請求項１から５のいずれか一項記載の電子機器。
【請求項７】
前記提示部は、前記外部機器の動作状態を提示する請求項１から６のいずれか一項記載の電子機器。
【請求項８】
前記外部機器から前記外部機器に関する情報を受信する受信部を備える請求項１から７のいずれか一項記載の電子機器。
【請求項９】
請求項１から８のいずれか一項記載の電子機器と、
前記電子機器の前記操作部による操作を受け付ける受付部と、前記受付部が受け付けた操作に基づいて、動作部を制御する制御部とを備える第２の電子機器と、
を備える電子機器システム。
【請求項１０】
コンピュータに、
物体を撮影するステップと、
外部機器を撮影により認識するステップと、
前記認識するステップで認識した外部機器の操作に関する情報をユーザに提示するステップと、
前記撮影するステップで撮影した前記物体の位置情報と前記提示するステップで提示した前記外部機器の操作に関する情報とにより前記外部機器を操作するステップと、
を実行させるプログラム。
【請求項１１】
コンピュータに、
外部機器を撮影により認識するステップと、
前記認識するステップで認識した外部機器の操作に関する情報をユーザに所定の順序で提示するステップと、
前記提示するステップで提示した前記外部機器の操作に関する情報に対する指示動作を検出するステップと、
前記検出するステップで検出した指示動作により前記外部機器を操作するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、電子機器システム及びプログラムに関する。
【背景技術】
【０００２】
従来より、ヘッドマウントディスプレイ（ＨＭＤ）等を利用したウェアラブルコンピュータにおいて、従来のキー入力やタッチパネルなどの入力手段に代わって、手の動きを検出することよるキー操作や、音声入力などが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０６１８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、操作の入力方法に焦点が当てられており、ユーザの利便性を十分に向上できているとは言えなかった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、外部機器の操作に係るユーザの利便性を向上する電子機器、電子機器システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の電子機器は、物体を撮影する撮影部（１０１）と、外部機器を撮影により認識する認識部（１０１、１０９）と、前記認識部が認識した外部機器の操作に関する情報をユーザに提示する提示部（１０２）と、前記撮影部に撮影された前記物体の位置情報と前記提示部に提示された前記外部機器の操作に関する情報とにより前記外部機器を操作する操作部（１０８、１０９）と、を備えている。
【０００７】
また、本発明の電子機器は、外部機器を撮影により認識する認識部（１０１，１０９）と、前記認識部が認識した外部機器の操作に関する情報をユーザに所定の順序で提示する提示部（１０２）と、前記提示部が提示した前記外部機器の操作に関する情報に対する指示動作を検出する検出部（１０１，１０９）と、前記検出部が検出した指示動作により前記外部機器を操作する操作部（１０８，１０９）と、を備えている。
【０００８】
この場合において、前記操作部は、操作情報を生成する情報生成部（１０９）と、前記情報生成部が生成した前記操作情報を前記外部機器に送信する送信部（１０８）と、を備えていてもよい。また、前記提示部は、前記撮影部により前記外部機器が撮影された場合に、前記外部機器に関する情報を提示することとしてもよい。また、前記提示部は、前記外部機器との通信が成立した場合に、前記外部機器に関する情報を提示することとしてもよい。
【０００９】
また、本発明の電子機器は、音声を認識する音声認識部（１０５，１０９）を備え、前記提示部は、前記音声認識部により前記外部機器に関する音声が認識された場合に、前記外部機器に関する情報を提示することとしてもよい。また、本発明の電子機器は、ユーザを認識するユーザ認識部（１０６，１０９）を備え、前記提示部は、前記ユーザ認識部の認識結果に応じて、提示する情報の内容と、提示方法との少なくとも一方を変更することとしてもよい。また、前記提示部は、前記外部機器の動作状態を提示することとしてもよい。また、本発明の電子機器は、前記外部機器から前記外部機器に関する情報を受信する受信部（１０８）を備えていてもよい。
【００１０】
本発明の電子機器システムは、上記の電子機器と、前記電子機器の前記操作部による操作を受け付ける受付部（２０４、３０４、又は４０５）と、前記受付部が受け付けた操作に基づいて、動作部を制御する制御部（２０６、３０６、又は４０９）とを備える第２の電子機器（２０、３０、又は４０）と、を備える。
【００１１】
本発明のプログラムは、コンピュータに、物体を撮影するステップと、外部機器を撮影により認識するステップと、前記認識するステップで認識した外部機器の操作に関する情報をユーザに提示するステップと、前記撮影するステップで撮影した前記物体の位置情報と前記提示するステップで提示した前記外部機器の操作に関する情報とにより前記外部機器を操作するステップと、を実行させるプログラムである。
【００１２】
また、本発明のプログラムは、コンピュータに、外部機器を撮影により認識するステップと、前記認識するステップで認識した外部機器の操作に関する情報をユーザに所定の順序で提示するステップと、前記提示するステップで提示した前記外部機器の操作に関する情報に対する指示動作を検出するステップと、前記検出するステップで検出した指示動作により前記外部機器を操作するステップと、を実行させるプログラムである。
【００１３】
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【００１４】
本発明の電子機器、電子機器システム及びプログラムは、外部機器の操作に係るユーザの利便性を向上することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、第１の実施形態に係る電子機器システムの構成を示すブロック図である。
【図２】図２は、装着装置の一例を示す斜視図である。
【図３】図３は、加熱調理装置の一例を示す正面図である。
【図４】図４（ａ）は加熱調理装置の記憶部が記憶する使用履歴テーブルの一例を示す図であり、図４（ｂ）は仮想操作部作成テーブルの一例を示す図である。
【図５】図５（ａ）及び図５（ｂ）は、操作用画像の一例を示す図である。
【図６】図６（ａ）は、第１の実施形態に係る装着装置が実行する処理の一例を示すフローチャートであり、図６（ｂ）は、加熱調理装置が実行する処理の一例を示すフローチャートである。
【図７】図７（ａ）は、表示部に表示される仮想操作部の一例を示す図であり、図７（ｂ）は、仮想操作部の操作について説明する図である。
【図８】図８（ａ）は、操作用画像の別例を示す図であり、図８（ｂ）は、仮想操作部の操作の一例について説明する図である。
【図９】図９（ａ）及び図９（ｂ）は、操作用画像の別例を示す図である。
【図１０】図１０は、第２の実施形態に係る電子機器システムの構成を示すブロック図である。
【図１１】図１１は、第２の実施形態に係る装着装置が実行する処理の一例を示す図である。
【図１２】図１２は、表示部に表示される仮想操作部の一例を示す図である。
【図１３】図１３は、テレビが実行する処理の一例を示すフローチャートである。
【図１４】図１４は、第３の実施形態に係る電子機器システムの構成を示すブロック図である。
【図１５】図１５（ａ）は、撮像装置の一例を示す正面斜視図であり、図１５（ｂ）は、撮像装置の一例を示す背面斜視図である。
【図１６】図１６（ａ）は、第３の実施形態に係る装着装置が実行する処理の一例を示すフローチャートであり、図１６（ｂ）は、撮像装置が実行する処理の一例を示すフローチャートである。
【図１７】図１７（ａ）及び図１７（ｂ）は、表示部に表示される仮想操作部の一例を示す図である。
【発明を実施するための形態】
【００１６】
《第１の実施形態》
以下、第１の実施形態について、図１〜図７に基づいて、詳細に説明する。図１には、第１の実施形態に係る電子機器システム５００Ａの構成がブロック図にて示されている。
【００１７】
図１に示すように、電子機器システム５００Ａは、装着装置１０と、加熱調理装置２０と、を備える（利用する）ものであり、加熱調理装置２０の操作に関するメニューを装着装置１０によりユーザの視認しやすい位置に投影し、ユーザの選択行為により選択されたメニューに基づいて、加熱調理装置２０を操作するものである。
【００１８】
（装着装置１０）
装着装置１０は、ユーザが身体（顔）に装着する眼鏡型の端末である。装着装置１０は、図１に示すように、撮像部１０１と、表示部１０２と、操作部１０３と、マイク１０４と、スピーカ１０５と、網膜検出部１０６と、記憶部１０７と、通信部１０８と、制御部１０９と、を備える。なお、図２には、装着装置１０が斜視図にて示されている。図２に示すように、装着装置１０は、眼鏡型のフレーム１２０を備えている。なお、図１において図示され、図２において図示されていない装着装置１０の構成は、フレーム１２０の内部や、フレーム１２０の一部に設けられているものとする。
【００１９】
撮像部１０１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１０１は、図２に示すようにフレーム１２０の端部近傍（ユーザの右目近傍）に設けられている。このため、ユーザが装着装置１０を装着した状態では、ユーザが向いている（見ている）方向の画像を撮像することができる。
【００２０】
表示部１０２は、フレーム１２０内部又はフレーム１２０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１０２は、ユーザが装着装置１０を装着した状態において、ユーザの目の前に位置するようになっており、制御部１０９の制御の下、各種情報をユーザが視認できるように表示（提示）する。
【００２１】
操作部１０３は、フレーム１２０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１０９に送信する。なお、撮像部１０１、表示部１０２、操作部１０３などについては、例えば米国特許出願公開第２０１３／００４４０４２号明細書にもその詳細が開示されている。
【００２２】
マイク１０４は、フレーム１２０に設けられ、ユーザが発した音声を収集する。マイク１０４が収集した音声は、制御部１０９に入力される。制御部１０９は、マイク１０４が収集した音声を音声認識し、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、装着装置１０は、マイク１０４が収集した音声を音声認識する音声認識部を備えていてもよい。
【００２３】
スピーカ１０５は、例えば、フレーム１２０に設けられ、制御部１０９の制御の下、音声を出力する音声出力装置である。なお、スピーカ１０５としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置１０を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
【００２４】
網膜検出部１０６は、赤外線照射部と、赤外線受光部と、を有する。網膜検出部１０６は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光することで、網膜上の血管の経路を検出（スキャン）する。網膜検出部１０６は、検出結果を制御部１０９に出力する。なお、網膜検出部１０６は、一例として図２における撮像部１０１の裏側（顔側）に設けられているものとする。なお、制御部１０９では、網膜検出部１０６の検出結果を利用して、装着装置１０を使用しているユーザを特定する。なお、各ユーザの網膜情報は、記憶部１０７に記憶されているものとする。
【００２５】
また、上述の赤外線照射部からの光を角膜で反射させてユーザの視線方向を検出する視線検出部を設けてもよい。視線検出には、この角膜反射法に加え、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を本実施形態では用いることが可能である。視線検出部がユーザの視線を検出し、ユーザの視線をユーザからの操作として受け付け、受け付けた操作情報を制御部１０９に送信する。
【００２６】
記憶部１０７は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１０１が撮像した画像データや、表示部１０２に表示する表示データなどを記憶する。また、記憶部１０７は、制御部１０９が装着装置１０を使用しているユーザを特定する際に利用する、各ユーザの網膜情報を記憶する。これに加え、記憶部１０７は、加熱調理装置２０などの電子機器の形状データ（画像データ）を記憶している。これは、後述の制御部１０９により、撮像部１０１が撮像した画像もしくは画像データと、電子機器の形状データ（画像データ）とを比較して、ユーザが電子機器を視認しているかどうかを判断するために用いられる。
【００２７】
通信部１０８は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）、近接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））、または、ユーザ（人体）を介して通信する人体通信を行う。本第１の実施形態では、通信部１０８は、加熱調理装置２０との間で通信を行うものとする。なお、通信部１０８が、人体通信により加熱調理装置２０と通信を行う場合、フレーム１２０のユーザと接触する部分に人体通信用の電極を配置すればよい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがあり、いずれの方式を用いることも可能である。
【００２８】
制御部１０９は、装着装置１０全体を統括的に制御する。制御部１０９は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。制御部１０９が実行する処理の詳細については後述する。なお、制御部１０９の制御の一部（例えば、網膜認証、画像データの比較、視線検出処理などの解析処理）を外部のサーバを用いて処理するようにしてもよい。この場合、制御部１０９は、通信部１０８を用いて各種データを外部のサーバに送信し、外部サーバによる処理結果を受信するようにすればよい。また、装着装置１０に位置データを取得する位置検出部（例えばＧＰＳモジュール）や、方位を検出する方位検出部のようなセンサを設け、ユーザの位置やユーザが向いている方位を検出するようにしてもよい。
【００２９】
（加熱調理装置２０）
加熱調理装置２０は、例えば、電子レンジ、オーブンレンジ、トースターなどである。本実施形態では、加熱調理装置２０は、オーブンレンジであるものとして説明を行う。なお、図３には、加熱調理装置２０の正面図が示されている。
【００３０】
加熱調理装置２０は、図１、図３に示すように、操作部２０１、表示部２０２、加熱部２０３、通信部２０４、記憶部２０５、及び制御部２０６を備える。
【００３１】
操作部２０１は、加熱調理装置２０に対する操作をユーザから受け付ける。本実施形態において、操作部２０１は、図３に示すように、加熱調理装置２０の動作モード（電子レンジ、オーブン、グリル）を選択するためのボタン２０１Ａ〜２０１Ｃ、調理時間を設定するためのボタン２０１Ｄ〜２０１Ｆ、オーブンまたはグリルを使用する場合に温度設定を行うためのボタン２０１Ｇ、加熱調理装置２０が備える調理メニューを選択するためのボタン２０１Ｈ、調理を開始するためのボタン２０１Ｊ、及び、設定の取り消しや調理の中止を行うためのボタン２０１Ｋを備えている。なお、操作部２０１として、タッチパネルを採用してもよい。
【００３２】
表示部２０２は、例えば、液晶ディスプレイであって、加熱調理装置２０の動作モード、温度設定、調理時間等の各種情報を表示する。
【００３３】
加熱部２０３は、制御部２０６の制御の下、加熱調理装置２０の本体内に設けられた加熱室に置かれた被加熱物（食品）を、給電またはヒータにより加熱する。
【００３４】
通信部２０４は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）、近接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））、または、ユーザ（人体）を介して通信する人体通信を行う。本第１の実施形態では、通信部２０４は、装着装置１０との間で通信を行うものとする。なお、通信部２０４が、人体通信により装着装置１０と通信を行う場合、加熱調理装置２０の筐体２１０の外側や、取手部分２１２（図３参照）に人体通信用の電極を配置すればよい。
【００３５】
記憶部２０５は、例えば、不揮発性の半導体メモリやハードディスクドライブであって、ユーザ毎の加熱調理装置２０の使用履歴を格納する使用履歴テーブル（図４（ａ））や、仮想操作部作成テーブル（図４（ｂ））や、仮想操作部を作成するのに用いられる操作用画像（図５（ａ）及び図５（ｂ））を記憶する。なお、本実施形態において、仮想操作とは、表示部１０２のプロジェクタにより加熱調理装置２０の操作メニューをユーザの目の近傍に投影し、ユーザの指の位置を撮像部１０１により撮像して操作メニューの選択を検出し、この検出結果に基づいて加熱調理装置２０の操作を行うことである。なお、前述した視線検出により操作メニューを選択するようにしてもよい。
【００３６】
使用履歴テーブルは、図４（ａ）に示すように、ユーザ情報、使用日、及び使用内容の項目を備える。ユーザ情報の項目には、加熱調理装置２０を使用したユーザの情報が格納される。なお、本実施形態において、加熱調理装置２０は、加熱調理装置２０を使用したユーザの情報を装着装置１０から取得する。使用日の項目には、加熱調理装置２０を使用した日付が格納される。使用内容の項目には、ユーザが加熱調理装置２０をどのように使用したのか（動作モード、調理時間、及び調理温度、又は調理メニュー等）が格納される。図４（ａ）の例では、ユーザＢが、２０１４年４月８日に、「ごはんあたため」の機能を使用し、２０１４年４月９日に、「ごはんあたため」と「おかずあたため」の機能を使用し、２０１４年４月１０日に、２分間、電子レンジを使用している。また、ユーザＡが、２０１４年４月８日に、予熱あり、及び、１７０度の温度設定で１５分間、オーブンを使用しており、２０１４年４月１５日に、予熱なし、及び２００度の温度設定で２０分間、オーブンを使用している。使用履歴テーブルは、ユーザがよく使用する加熱調理装置２０の機能をリスト化した仮想操作部のデータを作成するのに使用される（詳細は後述する）。
【００３７】
仮想操作部作成テーブルは、図４（ｂ）に示すように、ユーザ情報、操作用画像、フォントサイズ、及び言語の項目を備える。ユーザ情報の項目には、加熱調理装置２０を使用する可能性があるユーザの情報が格納される。操作用画像の項目には、装着装置１０を用いて加熱調理装置２０を操作するための仮想操作部の作成に使用される画像が格納される。本実施形態において、操作用画像は、例えば、図５（ａ）に示すように、図３に示した操作部２０１の態様を示す画像であってもよいし、図５（ｂ）に示すように、図４（ａ）に示す使用履歴テーブルに基づいてユーザがよく使用する機能や調理メニューをリスト化した画像であってもよい。操作用画像は、予め記憶部２０５に記憶されていてもよいし、ユーザがパーソナルコンピュータやスマートフォン等において所定のアプリケーションを用いて作成した操作用画像を、通信部２０４を介して記憶部２０５に記憶させるようにしてもよい。また、各ユーザに対して、予め定められた操作用画像（デフォルト画像）を設定するようにしてもよいし、各ユーザが自身の使用したい操作用画像を設定するようにしてもよい。フォントサイズの項目には、仮想操作部に含まれる文字のフォントサイズが格納される。言語の項目には、仮想操作部に含まれる文字を表示する際に使用される言語が格納される。制御部２０６は、ユーザの年齢や国籍等の情報を、装着装置１０から受信し、当該年齢や国籍に基づいて、フォントサイズ及び言語を自動で設定してもよい。例えば、制御部２０６は、装着装置１０から受信したユーザの年齢が所定の年齢以上（例えば、６０歳以上）であれば、フォントサイズを大きく（例えば、２０ポイント）設定し、所定の年齢未満であれば、フォントサイズを小さく（例えば、１２ポイント）設定する。なお、フォントサイズ及び言語は、ユーザがマニュアルで設定するようにしてもよい。
【００３８】
制御部２０６は、加熱調理装置２０全体を統括的に制御する。制御部２０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。なお、加熱調理装置２０に撮像部を設け、この撮像部が撮像したユーザの画像データ（顔画像データ）に基づいて制御部２０６が顔認識し、上述の使用履歴テーブルを作成するようにしてもよい。
【００３９】
（電子機器システム５００Ａの処理）
次に、図６（ａ）及び図６（ｂ）を参照して、電子機器システム５００Ａが実行する処理について説明する。図６（ａ）は、装着装置１０が実行する処理の一例を示すフローチャートであり、図６（ｂ）は、加熱調理装置２０が実行する処理の一例を示すフローチャートである。
【００４０】
なお、本実施形態において、図６（ａ）及び図６（ｂ）の処理の前提として、加熱調理装置２０と通信する装着装置１０は、例えば装着装置１０と加熱調理装置２０とを接触させたり、近接させたりして予めペアリングされており、ペアリング情報は、加熱調理装置２０と装着装置１０とが保持しているものとする。なお、前述の近接通信や人体通信の成立により加熱調理装置２０と装着装置１０とがペアリングを行うようにしてもよい。本実施形態においてペアリングとは、複数の装置間の協働処理を実行され得る状態にすることである。
【００４１】
図６（ａ）の処理では、まず、装着装置１０の制御部１０９は、ステップＳ１１において、外部機器をリモート操作する指示をユーザから受け付けるまで待機する。例えば、制御部１０９は、ユーザが外部機器をリモート操作するためのアプリケーションソフトを起動したり、マイク１０４に向かって「リモート操作開始」と発音したりした場合に、外部機器をリモート操作する指示をユーザから受け付けたと判断し、ステップＳ１３に移行する。これに代えて、ユーザが外部機器（例えば加熱調理装置２０）を数秒間以上視認した場合、すなわち、制御部１０９が、撮像部１０１が撮像した画像と記憶部１０７に記憶されている形状データ（画像データ）とを比較して画像認識した結果、加熱調理装置２０を数秒間以上撮像していると判断した場合に、リモート操作開始指示を受け付けたと判断してもよい。この場合、ステップＳ１３を省略することができる。
【００４２】
ステップＳ１３に移行すると、制御部１０９は、リモート操作の対象を認識するまで待機する。制御部１０９は、例えば、装着装置１０と加熱調理装置２０との間で人体通信が成立した場合に、加熱調理装置２０をリモート操作の対象と認識してもよいし、撮像部１０１が加熱調理装置２０全体を所定時間（例えば、５秒）以上撮像した場合に、加熱調理装置２０をリモート操作の対象と認識してもよい。また、制御部１０９は、ユーザがマイク１０４に向かって「レンジ」と発音した場合に、加熱調理装置２０をリモート操作の対象と認識してもよい。
【００４３】
続くステップＳ１５において、制御部１０９は、ユーザ情報を取得する。具体的には、制御部１０９は、網膜検出部１０６の検出結果を利用して、装着装置１０を使用しているユーザを特定する。
【００４４】
続くステップＳ１７において、制御部１０９は、加熱調理装置２０にステップＳ１５で取得したユーザ情報を送信するとともに、加熱調理装置２０をリモート操作するための仮想操作部のデータを送信するよう加熱調理装置２０に要求する。
【００４５】
続くステップＳ１９において、制御部１０９は、仮想操作部のデータを加熱調理装置２０から受信するまで待機する。なお、ステップＳ１５〜ステップＳ１９に代えて、ステップＳ１３で認識した操作対象に基づき、記憶部１０７または外部サーバに記憶されている仮想表示部のデータを認識するようにしてもよい。
【００４６】
一方、加熱調理装置２０の制御部２０６は、図６（ｂ）のステップＳ５１において、装着装置１０から仮想操作部のデータ送信要求を受信するまで待機する。そして、装着装置１０の制御部１０９が、図６（ａ）のステップＳ１７の処理を実行した段階で、ステップＳ５１の判断が肯定され、ステップＳ５３に移行する。
【００４７】
ステップＳ５３に移行すると、制御部２０６は、ユーザ情報を装着装置１０から受信する。
【００４８】
続くステップＳ５５において、制御部２０６は、ユーザ情報に基づいて、装着装置１０に送信する仮想操作部のデータを作成し、装着装置１０に送信する。具体的には、制御部２０６は、図４（ｂ）に示した仮想操作部作成テーブルから、装着装置１０を使用するユーザに対して設定されている操作用画像、フォントサイズ、及び言語を取得し、仮想操作部のデータを作成する。例えば、装着装置１０を使用しているユーザが、ユーザＡである場合、操作用画像のＵＩＦ１．ｂｍｐ（例えば、図５（ａ））で使用されている文字のフォントサイズを１２ポイントにし、日本語表示した仮想操作部のデータを作成し、装着装置１０に送信する。また、例えば、装着装置１０を使用しているユーザが、ユーザＢである場合、操作用画像のＵＩＦ１．ｂｍｐ（例えば、図５（ａ））で使用されている文字のフォントサイズを２０ポイントにし、日本語表示した仮想操作部のデータを作成し、装着装置１０に送信する。また、例えば、装着装置１０を使用しているユーザがユーザＣである場合、操作用画像のＵＩＦ２．ｂｍｐ（例えば、図５（ｂ））で使用されている文字のフォントサイズを１２ポイントにし、日本語表示した仮想操作部のデータを作成し、装着装置１０に送信する。これに代えて、制御部１０９が、ユーザの指の位置を認識するための分解能や、ユーザの視線検出を行うための分解能に基づいてフォントサイズを設定するようにしてもよい。
【００４９】
一方、装着装置１０の制御部１０９は、図６（ａ）のステップＳ１９において、加熱調理装置２０から仮想操作部のデータを受信するまで待機しているので、加熱調理装置２０が図６（ｂ）のステップＳ５５の処理を実行した段階で、ステップＳ２１に移行する。
【００５０】
ステップＳ２１に移行すると、制御部１０９は、加熱調理装置２０から受信した仮想操作部のデータに基づいて、表示部１０２に、仮想操作部を表示する。例えば、制御部１０９は、図７（ａ）に示すように、表示部１０２に仮想操作部を表示する。これにより、仮想操作部がユーザの視界に重畳して表示される。制御部１０９は、仮想操作部を加熱調理装置２０に重畳させるとともに、操作部２０１とは重畳しない位置に表示させることにより、どの電子機器の仮想操作を行わせるかをユーザに認識させやすくできるとともに、視認性の向上を図ることができる。
【００５１】
続くステップＳ２３において、制御部１０９は、ユーザから操作を受け付けたか否かを判断する。例えば、図７（ｂ）に示すように、制御部１０９は、撮像部１０１が撮像する画像に基づいて、ユーザが指（指先）の位置と仮想操作部とを対応づけられた場合に、ユーザから操作を受け付けたと判断し、ステップＳ２５に移行する。これに代えて、制御部１０９は、前述の視線検出結果と仮想操作部とを対応づけられた場合にユーザの操作を受け付けたと判断してもよい。一方、ステップＳ２３の判断が否定された場合には、ステップＳ２７に移行する。なお、制御部１０９は、ユーザの指や視線を検出して、指や視線の周辺にある仮想表示部の一部を拡大表示するようにしてもよい。例えば、制御部１０９は、図７（ｂ）に示すようにユーザの指が表示部１０２の左側にあると判断した場合や、ユーザの視線が表示部１０２の左側にあると判断した場合に、仮想操作部を全体的表示するのに代え、左側の仮想操作部の一部（レンジ、オーブン、１０分、１分のメニュ）を拡大して表示するようにしてもよい。また、制御部１０９は、加熱調理装置２０の操作手順に基づき、仮想操作部を時系列（操作される手順）に表示（拡大表示）するようにしてもよい。また、制御部１０９は、ユーザの使用履歴に基づいて、操作手順を省略して仮想操作部を表示してもよい。これにより、制御部１０９は、前述したユーザの指もしくは視線と、仮想操作部とを容易に対応づけすることが可能となる。ユーザは、操作ミスや操作手順の誤りを防ぐことができる。なお、制御部１０９は、ユーザから仮想操作部に対して操作があったと判断した場合、操作された仮想操作部の色を変えるようにしてもよい。また、制御部１０９は、音や振動を発してもよい。これにより、ユーザは操作が受け付けられたことを認識することができる。
【００５２】
ステップＳ２５に移行すると、制御部１０９は、ユーザが操作した仮想操作部のボタンを特定し、当該ボタンに応じた指示を作成して加熱調理装置２０に送信する。例えば、制御部１０９は、撮像部１０１に撮像された画像において周知の画像解析技術を用いてユーザの指先を認識し、当該画像内におけるユーザの指先の座標を取得する。そして、制御部１０９は、取得したユーザの指先の座標と、表示部１０２に表示されている仮想操作部の画像における各ボタンの座標とに基づいて、ユーザの指先が重なっている仮想操作部のボタンを特定する。制御部１０９は、特定したボタンに応じた指示（ユーザの操作に応じた指示）を生成し、加熱調理装置２０に送信する。例えば、図７（ｂ）に示すように、ユーザの指の先が「レンジ」のボタンに重なっていた場合、制御部１０９は、加熱調理装置２０の動作モードを電子レンジに変更する指示を作成し、加熱調理装置２０に送信する。
【００５３】
ステップＳ２５の処理後、制御部１０９は、ステップＳ２７において、加熱調理装置２０のリモート操作を終了する指示をユーザから受け付けたか否かを判断する。例えば、制御部１０９は、ユーザが、外部機器をリモート操作するためのアプリケーションソフトを終了したり、マイク１０４に向かって「リモート操作終了」と発音したり、視線入力による終了指示を受け付けた場合に、加熱調理装置２０のリモート操作を終了する指示をユーザから受け付けたと判断し、ステップＳ２９に移行する。一方、加熱調理装置２０のリモート操作を終了する指示をユーザから受け付けていない場合、制御部１０９は、ステップＳ２３に戻る。
【００５４】
ステップＳ２９に移行すると、制御部１０９は、加熱調理装置２０にリモート操作の終了を通知する。ステップＳ２９の処理後、制御部１０９は、ステップＳ１１に戻る。図６（ａ）の処理は、装着装置１０の電源がオンされている間繰り返される。
【００５５】
ところで、加熱調理装置２０の制御部２０６は、図６（ａ）のステップＳ５５において仮想操作部のデータを送信した後、ステップＳ５７において、装着装置１０から操作指示を受信したか否かを判断する。ここでの判断が否定された場合、ステップＳ６３に移行するが、肯定された場合、ステップＳ６１に移行する。
【００５６】
ステップＳ６１に移行すると、制御部２０６は、装着装置１０から受信した指示に基づき、加熱調理装置２０を制御する。例えば、装着装置１０から、加熱調理装置２０の動作モードを電子レンジに変更する指示を受信した場合、制御部２０６は、加熱調理装置２０の動作モードを電子レンジに変更する。また、装着装置１０から、調理時間を２分に設定する指示を受信した場合、制御部２０６は、調理時間を２分に設定する。また、装着装置１０から、調理開始の指示を受信した場合、制御部２０６は、調理（加熱）を開始する。なお、制御部２０６は、調理開始の指示を受信した場合に、ステップＳ５３で取得したユーザ情報と、調理開始の指示を受信するまでに装着装置１０から受信した操作指示とに基づいて、使用履歴テーブル（図４（ａ））を更新すればよい。
【００５７】
続くステップＳ６３において、制御部２０６は、装着装置１０からリモート操作終了通知を受信したか否かを判断する。ここでの判断が否定された場合、制御部２０６はステップＳ５７に戻るが、肯定された場合、図６（ｂ）の全処理を終了する。
【００５８】
上記図６（ａ）及び図６（ｂ）の処理により、ユーザは、ユーザに適した（ユーザ用にカスタマイズされた）仮想操作部を用いて、加熱調理装置２０の操作を行うことができる。また、ユーザは、加熱調理装置２０の操作部２０１に触れることなく、装着装置１０の表示部１０２に表示された仮想操作部を用いて、加熱調理装置２０の操作を行うことができる。加熱調理装置２０に扉を自動開閉する機能が設けられている場合には、図５の仮想操作部にオープン、クローズといったメニューを追加することにより、ユーザは扉の開閉も指もしくは視線などで指示することができる。
【００５９】
以上、詳細に説明したように、本第１の実施形態によれば、制御部１０９は、外部機器（加熱調理装置２０）を撮像部１０１を用いて撮像することにより認識し、表示部１０２上に認識した外部機器（加熱調理装置２０）の操作に関する情報（仮想操作部）を表示する。そして、制御部１０９は、撮像部１０１により撮像されたユーザの指の位置情報と表示部１０２上に表示された操作に関する情報（仮想操作部）とにより外部機器（加熱調理装置２０）を操作する。このため、ユーザは、操作対象となる外部機器（加熱調理装置２０など）や装着装置１０に触れることなく、外部機器（加熱調理装置２０など）を操作することができる。これにより、ユーザの手が汚れていたりしても、加熱調理装置２０を汚さずに加熱調理装置２０を操作することができる。したがって、加熱調理装置２０の操作に係るユーザの利便性が向上する。また、加熱調理装置２０の操作を全て装着装置１０から実施するようにすれば、加熱調理装置２０から操作部２０１を省略することができ、加熱調理装置２０のデザインの自由度が向上し、部品点数を減少することができる。また、装着装置１０を装着したユーザ以外の加熱調理装置２０（電子機器）の操作を禁止することができる。特に、プラントなどで使用される電子機器の場合に、特定のユーザ以外の操作を禁止することは有効である。
【００６０】
また、本第１の実施形態では、制御部１０９は、外部機器（加熱調理装置２０）を撮像部１０１を用いて撮像することにより認識し、表示部１０２上に認識した外部機器（加熱調理装置２０）の操作に関する情報(仮想操作部)を所定の順序で（例えば、操作される手順に沿った順序で）表示する。そして、制御部１０９は、表示した外部機器の操作に関する情報に対する指示動作を検出し、指示動作により前記外部機器を操作する。これにより、ユーザは所定の順序で表示される操作に関する情報に対して指示動作を行うことで、簡易に外部機器（加熱調理装置２０）を操作することができる。また、ユーザは、外部機器（加熱調理装置２０）から離れた位置から操作を行うことができる。
【００６１】
また、本第１の実施形態において、装着装置１０の制御部１０９は、網膜検出部１０６の検出結果から装着装置１０を装着するユーザを特定し、当該ユーザに応じた仮想操作部を表示部１０２に表示する。具体的には、ユーザ毎に設定された操作用画像、フォントサイズ、及び言語に基づいて作成された仮想操作部が、表示部１０２に表示される。このため、複数のユーザにそれぞれ適した操作部（ユーザインタフェース）を提供することができる。また、操作部のボタン配置等を自由に変えられるため、操作部のデザインの自由度が向上する。さらに、ユーザが自分で操作部をデザインすることも可能となる。
【００６２】
なお、上記第１の実施形態において、表示部１０２に仮想操作部とともにポインタを表示し、制御部１０９は、撮像部１０１により撮像されたユーザの指の動きに基づいて、当該ポインタを仮想操作部上で移動させるようにしてもよい。また、例えば、制御部１０９は、撮像部１０１により撮像されたユーザの指を表示部１０２に表示し、仮想操作部を操作できるようにしてもよい。
【００６３】
なお、上記第１の実施形態において、加熱調理装置２０は、加熱調理装置２０の設定状態に関する情報（動作モード、設定調理時間、設定温度等）や動作状態に関する情報（調理温度、調理残時間、調理の終了等）を装着装置１０に送信してもよい。この場合、装着装置１０の制御部１０９は、加熱調理装置２０から受信した当該情報を、表示部１０２に表示したり、スピーカ１０５から音声を出力したりすることによって、ユーザに報知することができる。これにより、ユーザは、例えば、加熱調理装置２０による調理を開始した後も、加熱調理装置２０の状態をモニタリングすることができる。
【００６４】
また、上記第１の実施形態において、仮想操作部作成テーブルのユーザ情報の項目には、個々のユーザを格納するのではなく、例えば、年齢等の情報を格納してもよい。この場合、装着装置１０に電極（不図示）を設け、制御部１０９は、当該電極を用いて装着装置１０を装着するユーザの生体インピーダンスからユーザの年齢を推定してもよいし、撮像部１０１が撮像した画像の視点の高さ等から、ユーザの年齢（子供か大人か）を推定してもよい。
【００６５】
また、上記第１の実施形態において、装着装置１０のユーザが子供である場合には、加熱調理装置２０を操作できないようにしてもよい（チャイルドロック）。例えば、加熱調理装置２０の制御部２０６は、ユーザ情報に基づいて、装着装置１０のユーザが子供であると判断した場合には、仮想操作部のデータを装着装置１０に送信しないようにしてもよい。
【００６６】
なお、上記第１の実施形態では、加熱調理装置２０の記憶部２０５に、仮想操作部作成テーブル、操作用画像等が記憶され、制御部２０６が仮想操作部のデータを作成していたが、これに限られるものではない。装着装置１０の記憶部１０７に、仮想操作部作成テーブル、操作用画像等を記憶し、制御部１０９が仮想操作部のデータを作成するようにしてもよい。
【００６７】
なお、上記第１の実施形態において、操作用画像は図５（ａ）及び図５（ｂ）に限られるものではない。例えば、図８（ａ）に示すように、横軸が時間、縦軸が温度を表すグラフを操作用画像としてもよい。この場合、図８（ｂ）に示すように、ユーザは、当該グラフにおいて指で線を書く動作を行うことで温度設定を行うことができる。これにより、時間とともに調理温度が変化するような複雑な設定を、簡易に行うことができる。
【００６８】
また、上記第１の実施形態において、例えば、図９（ａ）に示すように、加熱調理装置２０の動作モードに対応したレイヤーＬ１〜Ｌ４を備える仮想操作部を表示部１０２に表示してもよい。また、図９（ｂ）に示すように、加熱調理装置２０の動作モードに対応したタブＴ１〜Ｔ４を備える仮想操作部を表示部１０２に表示してもよい。この場合、ユーザが選択した動作モード（例えば、電子レンジ）で加熱調理装置２０を使用するのに必要なボタンを各レイヤーやタブに表示することで、操作性が向上する。
【００６９】
また、上記第１の実施形態において、装着装置１０の制御部１０９は、網膜検出部１０６の検出結果に基づいて、ユーザを特定したが、これに限られるものではない。制御部１０９は、ユーザの他の生体情報（指紋、静脈等）によりユーザを特定してもよい。この場合、生体情報を取得するためのセンサを、装着装置１０に設ければよい。また、制御部１０９は、マイク１０４からユーザの声紋情報を取得し、当該声紋情報に基づいてユーザを特定してもよい。また、制御部１０９は、ユーザＩＤとパスワードの入力によって、ユーザを特定するようにしてもよい。
【００７０】
《第２の実施形態》
次に、第２の実施形態について、図１０〜図１３を用いて、詳細に説明する。図１０には、第２の実施形態に係る電子機器システム５００Ｂの構成がブロック図にて示されている。
【００７１】
図１０に示すように、電子機器システム５００Ｂは、装着装置１０−１と、装着装置１０−２と、テレビ３０と、を備える。電子機器システム５００Ｂでは、装着装置１０−１及び装着装置１０−２から、テレビ３０を操作可能となっている。なお、以降の説明では、装着装置１０−１をユーザＡが装着し、装着装置１０−２をユーザＢが装着しているものとする。なお、装着装置１０−１と装着装置１０−２とは同様の構成を備えるため、特に区別する必要の無い限り、装着装置１０と記載して以後説明を行う。また、装着装置１０の構成は、第１の実施形態に係る装着装置１０と同一または同等であるため、詳細な説明を省略する。
【００７２】
（テレビ３０）
テレビ３０は、図１０に示すように、コンテンツ受信部３０１、表示部３０２、スピーカ３０３、通信部３０４、記憶部３０５、及び制御部３０６を備える。
【００７３】
コンテンツ受信部３０１は、放送局からテレビジョン番組の映像コンテンツ、電子番組ガイドのデータ、及びデータ放送のデータを受信する。
【００７４】
表示部３０２は、例えば、液晶ディスプレイであり、コンテンツ受信部３０１が受信した、テレビジョン番組の映像コンテンツを表示する。
【００７５】
スピーカ３０３は、テレビジョン番組の映像コンテンツに含まれる音声を出力する音声出力装置である。
【００７６】
通信部３０４は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）、近接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））、または、ユーザ（人体）を介して通信する人体通信を行う。本第２の実施形態では、通信部２０４は、装着装置１０との間で通信を行うものとする。
【００７７】
記憶部３０５は、不揮発性の半導体メモリやハードディスクドライブであり、データ放送のデータを記憶する。また、記憶部３０５は、仮想操作部作成テーブル（図４（ｂ）参照）、及び操作用画像を記憶する。
【００７８】
制御部３０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、テレビ３０を統括的に制御する。また、制御部３０６は、複数の装着装置１０がテレビ３０と通信を行っている場合に、制御権の調停処理を行う。ここで、本実施形態において、制御権とは、例えば、チャンネルの変更や、音量の変更、電源のオン／オフ等、テレビ３０を共に使用する他のユーザに影響を与える操作を行うための権利である。なお、本実施形態においては、複数の装着装置１０はそれぞれ、制御権を有しているか否かの情報を記憶部１０７に記憶しているものとする。
【００７９】
制御部３０６は、例えば、ユーザＡが装着する装着装置１０−１が制御権を持っている場合に、ユーザＢが装着する装着装置１０−２から制御権の委譲要求を受信した場合、装着装置１０−１に対して、制御権の委譲が要求されている旨を通知する。この場合、装着装置１０−１の制御部１０９は、例えば、「制御権の委譲が要求されています」等のメッセージを表示部１０２に表示する。ここで、ユーザＡが制御権の委譲に同意し、所定の操作（例えば、２回タップ等）を行った場合、装着装置１０−１からテレビ３０に制御権の委譲を許可する信号が送信される。当該信号を受信したテレビ３０の制御部３０６は、装着装置１０−１に制御停止信号を送信して装着装置１０−１の制御権を無効にするとともに、装着装置１０−２に制御開始信号を送信して装着装置１０−２の制御権を有効にする。なお、制御権の調停処理は、これに限られるものではなく、テレビ３０を介さずに、装着装置１０−１と装着装置１０−２との間で制御権の委譲処理を行ってもよい。
【００８０】
（電子機器システム５００Ｂの処理）
次に、図１１及び図１３のフローチャートを参照して、電子機器システム５００Ｂの処理について説明する。図１１は、装着装置１０が実行する処理の一例を示すフローチャートであり、図１３は、テレビ３０が実行する処理の一例を示すフローチャートである。
【００８１】
なお、図１１及び図１３の処理の前提として、テレビ３０と通信する装着装置１０は、例えば装着装置１０とテレビ３０とを接触させたり、近接させたりして予めペアリングされており、ペアリング情報は、テレビ３０と装着装置１０とが保持しているものとする。なお、前述の近接通信や人体通信の成立によりテレビ３０と装着装置１０とがペアリングを行うようにしてもよい。
【００８２】
図１１の処理では、まず、装着装置１０の制御部１０９は、図６（ａ）のステップＳ１１〜ステップＳ２１と同様に、ステップＳ１０１〜ステップＳ１１１の処理を実行する。このとき、第１の実施形態と同様、ステップＳ１１１において、制御部１０９は、テレビ３０においてユーザ情報に基づいて作成された仮想操作部のデータに基づいて、仮想操作部を表示部１０２に表示する。例えば、制御部１０９は、図１２に示す仮想操作部を表示部１０２に表示する。このとき、例えば、装着装置１０を使用しているユーザがユーザＡである場合、制御部１０９は、図１２に示す仮想操作部の文字をフォントサイズ１２ポイントで表示し、ユーザＢである場合、フォントサイズ２０ポイントで表示する。これにより、複数のユーザにそれぞれ適した仮想操作部が表示部１０２に表示されることとなる。
【００８３】
続くステップＳ１１３において、制御部１０９は、図６（ａ）のステップＳ２３と同様に、ユーザから操作を受け付けたか否かを判断する。ここでの判断が肯定された場合、ステップＳ１１５へ移行する。一方、ステップＳ１１３の判断が否定された場合には、ステップＳ１２３に移行する。
【００８４】
ステップＳ１１５へ移行すると、制御部１０９は、ユーザから受け付けた操作が、電子番組ガイドまたはデータ放送のデータを表示するための操作であったか否かを判断する。例えば、制御部１０９は、図１２の仮想操作部において、一点鎖線で囲まれた部分Ｐ０２に含まれるボタンをユーザが操作したか否かを判断する。本ステップでは、ユーザの操作が、制御権が必要ない操作であるか否かを判断している。ここでの判断が肯定された場合、ステップＳ１１７に移行する。
【００８５】
ステップＳ１１７に移行すると、制御部１０９は、電子番組ガイドのデータまたはデータ放送のデータを送信するよう、テレビ３０に要求する。
【００８６】
そして、続くステップＳ１１９において、テレビ３０からデータを受信するまで待機する。そして、テレビ３０からデータを受信した段階で、ステップＳ１２１に移行し、受信したデータを表示部１０２に表示する。これにより、ユーザは、テレビ３０を視聴する他のユーザを邪魔することなく、電子番組ガイドあるいはデータ放送を表示部１０２で閲覧することができる。
【００８７】
一方、ユーザから受け付けた操作が、電子番組ガイドまたはデータ放送のデータを表示するための操作ではなかった場合（ステップＳ１１５／ＮＯ）、すなわち、制御権が必要な操作であった場合、制御部１０９は、ステップＳ１２５に移行する。例えば、制御部１０９は、図１２の仮想操作部において、点線で囲まれた部分Ｐ０１に含まれるボタンをユーザが操作した場合、ステップＳ１２５に移行する。
【００８８】
ステップＳ１２５に移行すると、制御部１０９は、ユーザが制御権を有するか否かを判断する。ユーザが制御権を有していない場合、制御部１０９は、ステップＳ１２３に移行する。なお、このとき、制御部１０９は、ユーザが制御権を有していない旨を表示部１０２に表示したり、スピーカ１０５から音声を出力したりするなどして、ユーザに報知してもよい。
【００８９】
一方、ユーザが制御権を有している場合（ステップＳ１２５／ＹＥＳ）、制御部１０９は、ステップＳ１２７に移行し、ユーザの操作に応じた指示を生成し、テレビ３０に送信する。その後、制御部１０９は、ステップＳ１２３に移行する。
【００９０】
ステップＳ１２３に移行すると、制御部１０９は、図６（ａ）のステップＳ２７と同様に、リモート操作終了指示をユーザから受け付けたか否かを判断する。ここでの判断が否定された場合、ステップＳ１１３に戻るが、肯定された場合、ステップＳ１２９に移行する。
【００９１】
ステップＳ１２９に移行すると、制御部１０９は、テレビ３０にリモート操作の終了を通知する。ステップＳ１２９の処理後、制御部１０９は、ステップＳ１０１に戻る。このようにして、図１１の処理は、装着装置１０の電源がオンされている間繰り返される。
【００９２】
一方、テレビ３０の制御部３０６は、図６（ｂ）のステップＳ５１〜Ｓ５５と同様に、図１３のステップＳ１５１〜Ｓ１５５の処理を実行する。
【００９３】
続くステップＳ１５７において、制御部３０６は、電子番組ガイドのデータまたはデータ放送のデータの送信要求を装着装置１０から受信したか否かを判断する。ここでの判断が肯定された場合、制御部３０６は、ステップＳ１６３に移行する。
【００９４】
ステップＳ１６３に移行すると、制御部３０６は、要求された電子番組ガイドのデータ又はデータ放送のデータを装着装置１０に送信し、ステップＳ１６５へ移行する。
【００９５】
一方、ステップＳ１５７の判断が否定された場合、制御部３０６は、ステップＳ１５９に移行し、装着装置１０から指示を受信したか否かを判断する。ここでの判断が肯定された場合、制御部３０６は、ステップＳ１６１において、装着装置１０から受信した指示に基づき、テレビ３０を制御する。例えば、制御部３０６は、テレビ３０の音量を変更したり、チャンネルを変更したりする。
【００９６】
一方、ステップＳ１５９の判断が否定された場合、ステップＳ１６５に移行し、制御部３０６は、装着装置１０からリモート操作終了通知を受信したか否かを判断する。ここでの判断が否定された場合、制御部３０６はステップＳ１５７に戻るが、肯定された場合、図１３の全処理を終了する。
【００９７】
上述した図１１及び図１３の処理により、ユーザは、装着装置１０の表示部１０２に表示された仮想操作部を用いて、テレビ３０の操作を行うことができる。また、データ放送のデータ又は電子番組ガイドのデータが、各ユーザが使用する装着装置１０の表示部１０２に表示されるため、他のユーザが映像コンテンツを視聴している邪魔をせずに、電子番組ガイドのデータやデータ放送のデータを確認することができる。したがって、従来のテレビにおいて、データ放送のデータを表示すると、表示部１０２に表示されているテレビジョン番組の映像コンテンツが小さく表示されてしまったり、電子番組ガイドを表示すると、テレビジョン番組の映像コンテンツを視聴できなくなってしまったりして他のユーザの視聴を妨げてしまうという問題を解決することができる。また、同一のタイミングで、ユーザごとに、別々のデータを確認することも可能となる。例えば、同一のタイミングで、ユーザＡは、電子番組ガイドのデータを確認し、ユーザＢは、データ放送のデータを確認することが可能である。
【００９８】
以上、詳細に説明したように、本第２の実施形態によれば、制御部１０９は、外部機器（テレビ３０）を撮像部１０１を用いて撮像することにより認識し、表示部１０２上に認識した外部機器（テレビ３０）の操作に関する情報（仮想操作部）を表示する。そして、制御部１０９は、撮像部１０１により撮像されたユーザの指の位置情報と表示部１０２上に表示された操作に関する情報（仮想操作部）とにより外部機器（テレビ３０）を操作する。これにより、装着装置１０からテレビ３０を操作することが可能となる。従来のテレビでは、ユーザの手が汚れていると、テレビを操作する場合にリモートコントローラを汚してしまうため、ユーザはテレビの操作をあきらめるか、手を洗う等の動作を行わなければならなかった。本実施形態によれば、ユーザの手が汚れていたりしても、テレビの操作をあきらめたり、手を洗う等の動作をしなくとも、テレビ３０を操作することができる。
【００９９】
また、本第２の実施形態においても、第１の実施形態と同様に、複数のユーザにそれぞれ適した操作部（ユーザインタフェース）を提供することができる。
【０１００】
なお、上記第２の実施形態において、テレビ３０の制御部３０６は、ユーザ情報とともに装着装置１０が制御権を有するか否かの情報を受信し、装着装置１０が制御権を有さない場合には、制御権が必要な操作に関連するボタンを仮想操作部から省略したデータを装着装置１０に送信するようにしてもよい。例えば、制御部３０６は、図１２において、点線で囲まれた部分Ｐ０１を省略した仮想操作部のデータを装着装置１０に送信してもよい。これにより、ユーザは、直感的に、自分が制御権を有していないことを認識することができるとともに、番組表やデータ放送のデータの表示については、装着装置１０からテレビ３０に指示することができる。
【０１０１】
また、上記第２の実施形態において、各装着装置１０が制御権を有するか否かをテレビ３０が管理してもよい。この場合、テレビ３０の制御部３０６は、制御権を有さない装着装置１０から制御権が必要な操作指示を受信した場合、当該操作指示を無視し、装着装置１０が制御権を有さない旨を装着装置１０に通知してもよい。
【０１０２】
《第３の実施形態》
次に、第３の実施形態について、図１４〜図１７に基づいて詳細に説明する。図１４には、第３の実施形態に係る電子機器システム５００Ｃの構成がブロック図にて示されている。図１４に示すように、電子機器システム５００Ｃは、装着装置１０と、撮像装置４０と、を備える。なお、装着装置１０の構成は、第１の実施形態に係る装着装置１０と同一または同等であるため、詳細な説明を省略する。
【０１０３】
（撮像装置４０）
撮像装置４０は、図１４に示すように、撮像部４０１と、スイッチ４０３と、操作環４０４と、通信部４０５と、記憶部４０６と、制御部４０９と、を備えるレンズ型撮像装置である。なお、図１５（ａ）には撮像装置４０の正面斜視図が、図１５（ｂ）には撮像装置４０の背面斜視図が示されている。
【０１０４】
撮像部４０１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。また、撮像部４０１は、例えばモータやアクチュエータなどのレンズ駆動部を備え、レンズ駆動部は、後述する操作環４０４の操作に基づいてレンズを駆動し、ズーム位置を変更する。
【０１０５】
スイッチ４０３は、例えば、撮像装置４０のメイン電源を入れるためのスライド式の電源スイッチである。
【０１０６】
操作環４０４は、撮像装置４０のズーム操作に使用される。操作環４０４は、撮像部４０１が備えるレンズの光軸（Ｘ軸）周り（操作環４０４の円周方向Ｒ）に回転可能に設けられている。例えば、図１５（ａ）において、ユーザが、操作環４０４をＤ１方向に回転させると、制御部４０９は、撮影倍率が高くなるように、撮像部４０１が備えるレンズ駆動部を介してレンズを駆動し、ズーム位置を変更する。また、ユーザが操作環４０４をＤ２方向に回転させると、制御部４０９は、撮影倍率が低くなるようにレンズ駆動部を介してレンズを駆動し、ズーム位置を変更する。なお、装着装置１０から撮像装置４０のズーム操作が可能な場合には、操作環４０４を省略してもよい。
【０１０７】
通信部４０５は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）、近接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））、または、ユーザ（人体）を介して通信する人体通信を行う。本第３の実施形態では、通信部４０５は、装着装置１０との間で通信を行うものとする。なお、通信部４０５が、人体通信により装着装置１０と通信を行う場合、撮像装置４０の筐体外側のユーザと接触する位置に人体通信用の電極を配置すればよい。
【０１０８】
記憶部４０６は、例えば、撮像装置４０に内蔵された不揮発性の半導体メモリやハードディスクであり、静止画のデータや動画のデータを記憶する。なお、静止画のデータや動画のデータについては、不図示のスロットルに挿入されるＳＤカード等に記憶してもよい。また、記憶部４０６は、第１の実施形態と同様に、ユーザ毎の撮像装置４０の使用履歴を格納する使用履歴テーブル、仮想操作部作成テーブル、及び操作画像を記憶する。
【０１０９】
制御部４０９は、撮像装置４０全体を統括的に制御する。制御部４０９は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部４０９は、撮像部４０１が撮像するライブビュー画像を、通信部４０５を介して、装着装置１０に送信する。
【０１１０】
（電子機器システム５００Ｃの処理）
次に、図１６（ａ）及び図１６（ｂ）を参照して、電子機器システム５００Ｃの処理について説明する。図１６（ａ）は、装着装置１０が実行する処理の一例を示すフローチャートであり、図１６（ｂ）は、撮像装置４０が実行する処理の一例である。
【０１１１】
なお、図１６（ａ）及び図１６（ｂ）の処理の前提として、撮像装置４０と通信する装着装置１０は、例えば装着装置１０と撮像装置４０とを接触させたり、近接させたりして予めペアリングされており、ペアリング情報は、撮像装置４０と装着装置１０とが保持しているものとする。なお、前述の近接通信や人体通信の成立により撮像装置４０と装着装置１０とがペアリングを行うようにしてもよい。
【０１１２】
図１６（ａ）の処理では、まず、装着装置１０の制御部１０９は、図６（ａ）のステップＳ１１〜ステップＳ２１と同様に、ステップＳ２０１〜ステップＳ２１１の処理を実行する。このとき、第１の実施形態と同様、ステップＳ２１１において、制御部１０９は、撮像装置４０においてユーザ情報に基づいて作成された仮想操作部のデータに基づいて、仮想操作部を表示部１０２に表示する。例えば、制御部１０９は、装着装置１０のユーザがユーザＡの場合、図１７（ａ）に示すように、撮像装置４０から送信されてくるライブビュー画像を表示する表示部Ｄ１と、各種設定操作及び撮像操作を行うためのボタン群が配置された操作部Ｂ１とを含む仮想操作部を表示部１０２に表示する。また、制御部１０９は、装着装置１０のユーザがユーザＢの場合、図１７（ｂ）に示すように、撮像装置４０から送信されてくるライブビュー画像を表示する表示部Ｄ１と、ユーザがよく使用する機能（再生、動画撮影等）、撮影モード（図１７（ｂ）ではスポーツモード）、及び撮影条件等をリスト化したボタン群（使用履歴テーブルに基づいて作成）が配置された操作部Ｂ２とを含む仮想操作部を表示部１０２に表示する。これにより、複数のユーザにそれぞれ適した仮想操作部が表示部１０２に表示されることとなる。
【０１１３】
その後、制御部１０９は、図６（ａ）のステップＳ２３〜Ｓ２９と同様に、ステップＳ２１３〜ステップＳ２１９の処理を実行する。
【０１１４】
一方、撮像装置４０の制御部４０９は、図１６（ｂ）のステップＳ２５１〜ステップＳ２５５の処理を、図６（ｂ）のステップＳ５１〜Ｓ５５と同様に実行する。
【０１１５】
続くステップＳ２５７において、制御部４０９は、操作指示を受信したか否かを判断する。ここでの判断が肯定された場合、制御部４０９は、ステップＳ２５９において操作情報に基づき、撮像装置４０を制御する。例えば、制御部４０９は、撮像装置４０の撮影モードを変更したり、撮像装置４０の撮像条件を変更したり、あるいは、撮像を実行したりする。なお、制御部４０９は、撮像を実行した場合に、ステップＳ２５３で受信したユーザ情報と、撮像を実行したときの撮像装置４０の設定とに基づいて、使用履歴テーブルを更新するものとする。一方、ステップＳ２５７での判断が否定された場合、制御部４０９は、ステップＳ２６１に移行する。
【０１１６】
ステップＳ２６１に移行すると、制御部４０９は、図６（ｂ）のステップＳ６３と同様に、リモート操作終了通知を受信したか否かを判断する。ここでの判断が否定された場合、ステップＳ２５７に戻り、肯定された場合、制御部４０９は、図１６（ｂ）の全処理を終了する。
【０１１７】
上述した図１６（ａ）及び図１６（ｂ）の処理により、ユーザは、装着装置１０の表示部１０２に表示された仮想操作部を用いて、撮像装置４０の操作を行うことができる。また、ユーザは、撮像装置４０により撮像されたライブビュー画像を装着装置１０で確認することができる。これにより、本実施形態に係る撮像装置４０のように、物理的に操作部や表示部を設けることが難しい機器であっても、装着装置１０から操作することができるため、撮像装置４０の小型化等、設計の自由度が向上する。
【０１１８】
以上、詳細に説明したように、本第３の実施形態によれば、制御部１０９は、外部機器（撮像装置４０）を撮像部１０１を用いて撮像することにより認識し、表示部１０２上に認識した外部機器（撮像装置４０）の操作に関する情報（仮想操作部）を表示する。そして、制御部１０９は、撮像部１０１により撮像されたユーザの指の位置情報と表示部１０２上に表示された操作に関する情報（仮想操作部）とにより外部機器（撮像装置４０）を操作する。このため、撮像装置４０が操作部や表示部を有していない場合にも、装着装置１０を用いて撮像装置４０を操作したり、撮像装置４０が撮像するライブビュー画像を確認することができる。
【０１１９】
また、本第３の実施形態においても、第１の実施形態と同様に、複数のユーザにそれぞれ適した操作部（ユーザインタフェース）を提供することができる。
【０１２０】
なお、上記第３の実施形態において、撮像装置４０は円柱型の撮像装置に限られるものではない。
【０１２１】
なお、上記第１〜第３の実施形態は、例えば、ハードディスクレコーダ、冷蔵庫、洗濯機、エアーコンディショナー、暖房器具、炊飯器、コーヒーメーカ、空気清浄機等の種々の電子機器に適用可能である。また、上記第１〜第３の実施形態は、自動販売機、自動券売機、電子楽器などにも適用可能である。自動販売機や、自動券売機に上記第１〜第３の実施形態を適用する場合、装着装置１０においてユーザ認証が行えるため、ユーザ認証結果に応じて、電子マネー決済やクレジット決済を行えるようにしてもよい。
【０１２２】
なお、上記第１〜第３の実施形態において、ユーザが指輪を装着し、指輪と装着装置１０とを連携させて、加熱調理装置２０やテレビ３０、撮像装置４０を操作してもよい。この場合、例えば、装着装置１０が指輪の位置や動きを検出することで、ユーザの操作として認識することとすればよい。
【０１２３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置（ＣＰＵ）が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【０１２４】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１２５】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１２６】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【０１２７】
１０    装着装置
２０    加熱調理装置
３０    テレビ
４０    撮像装置
１０１  撮像部
１０２  表示部
１０５  マイク
１０６  網膜検出部
１０８  通信部
１０９  制御部
２０４  通信部
２０６  制御部
３０４  通信部
３０６  制御部
４０５  通信部
４０９  制御部
【図１】
2015228097.tif 000003
【図２】
2015228097.tif 000004
【図３】
2015228097.tif 000005
【図４】
2015228097.tif 000006
【図５】
2015228097.tif 000007
【図６】
2015228097.tif 000008
【図７】
2015228097.tif 000009
【図８】
2015228097.tif 000010
【図９】
2015228097.tif 000011
【図１０】
2015228097.tif 000012
【図１１】
2015228097.tif 000013
【図１２】
2015228097.tif 000014
【図１３】
2015228097.tif 000015
【図１４】
2015228097.tif 000016
【図１５】
2015228097.tif 000017
【図１６】
2015228097.tif 000018
【図１７】
2015228097.tif 000019