(57)【要約】【課題】情報表示装置を電子時計と組み合わせることによって、電子時計において指示されている情報をユーザーが正しく読み取ることを促進する。【解決手段】情報表示方法は、画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識するステップと、前記電子時計が指示する情報に関するデータを前記電子時計から受信するステップと、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付けるステップと、前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するステップとを含む。【選択図】図６
2018159678.tif 000002
【特許請求の範囲】
【請求項１】
画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識するステップと、
前記電子時計が指示する情報に関するデータを前記電子時計から受信するステップと、
前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付けるステップと、
前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するステップと
を含むことを特徴とする情報表示方法。
【請求項２】
請求項１に記載の情報表示方法において、
前記指示要素は、ダイヤルおよび前記ダイヤルを指示する指針を含み、
前記表示するステップでは、前記アノテーション画像が前記指針に関連付けて表示されることを特徴とする情報表示方法。
【請求項３】
請求項１または２に記載の情報表示方法において、
前記電子時計が指示する情報は、前記電子時計に含まれるセンサーの計測値に基づく情報、または外部装置から受信された前記外部装置のセンサーの計測値に基づく情報を含むことを特徴とする情報表示方法。
【請求項４】
請求項１〜３のいずれか１項に記載の情報表示方法において、
前記指示要素は、第１の指示要素および第２の指示要素を含み、
前記電子時計が指示する情報は、前記第１の指示要素によって指示される第１の値と、前記第２の指示要素によって指示される第２の値とを含み、
前記表示するステップでは、前記第１の値に関する第１のアノテーション画像が前記第１の指示要素に関連付けて表示され、前記第２の値に関する第２のアノテーション画像が前記第２の指示要素に関連付けて表示されることを特徴とする情報表示方法。
【請求項５】
請求項４に記載の情報表示方法において、
前記表示するステップでは、前記第１のアノテーション画像および前記第２のアノテーション画像とともに、前記第１の値および前記第２の値が統合された第３の値に関する第３のアノテーション画像が表示されることを特徴とする情報表示方法。
【請求項６】
請求項１〜５のいずれか１項に記載の情報表示方法において、
前記電子時計は、設定可能な複数の指示モードのいずれかに従って前記値を指示し、
前記電子時計が指示する情報は、前記電子時計において設定されている指示モードを含み、
前記表示するステップでは、前記指示モードに関するアノテーション画像が前記指示モードを指示する前記指示要素に関連付けて表示されることを特徴とする情報表示方法。
【請求項７】
請求項１〜６のいずれか１項に記載の情報表示方法において、
前記認識するステップにおいて前記電子時計が認識された場合に前記電子時計にデータ要求を送信するステップをさらに含むことを特徴とする情報表示方法。
【請求項８】
電子時計、および情報表示装置を含むシステムであって、
前記電子時計は、情報を指示する指示要素と、前記指示要素の駆動を制御する駆動制御部と、前記情報に関するデータを前記情報表示装置に送信する通信部とを備え、
前記情報表示装置は、画像を取得する撮像部と、前記画像に被写体として含まれる前記電子時計および前記指示要素を認識する画像認識部と、前記データを前記電子時計から受信する通信部と、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部と、前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するディスプレイとを備える
ことを特徴とするシステム。
【請求項９】
画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識する画像認識部、
前記電子時計が指示する情報に関するデータを前記電子時計から受信する通信制御部、
前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部、および
前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示させる表示制御部
としてコンピューターのプロセッサーを機能させることを特徴とするプログラム。
【請求項１０】
画像を取得する撮像部、
前記画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識する画像認識部、
前記電子時計が指示する情報に関するデータを前記電子時計から受信する通信部、
前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部、および
前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するディスプレイ
を備えることを特徴とする情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示方法、システム、プログラム、および情報表示装置に関する。
【背景技術】
【０００２】
電子時計において、温度、高度、気圧などの物理量を計測し、時刻を指示する指針とは別の情報指針を用いて表示するものが知られている。例えば、特許文献１には、温度などの物理量を計測する物理量計測手段と、物理量計測値を指示する専用の情報指針と、指針が前記計測値を指し示すための専用の目盛が表示された目盛部と、目盛部の目盛を指し示して表せる物理量計測値の上下範囲を数値表示により指定する表示部とを備えた電子時計が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−５７５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されたような電子時計では、物理量計測値を指示するための情報指針および専用の目盛部が、時刻を表示するための指針および目盛部とは別に設けられるため、電子時計のダイヤル上の目盛や指針のレイアウトが複雑になる。また、１組の情報指針および目盛部を、複数の種類の情報を指し示すために使い分ける場合もある。結果として、情報指針および目盛部によって指示される値をユーザーが正しく読み取ることが容易でない場合があった。
【０００５】
その一方で、近年、スマートフォンやタブレットなどの携帯端末装置が普及し、ユーザーが電子時計とともに携帯端末装置を所持していることも一般的になってきている。携帯端末装置の多くはカメラとディスプレイとを備え、これらを利用してユーザーに様々な情報を提供することができる。
【０００６】
そこで、本発明は、例えば携帯端末装置のような情報表示装置を電子時計と組み合わせることによって、電子時計において指示されている情報をユーザーが正しく読み取ることを促進することが可能な、新規かつ改良された情報表示方法、システム、プログラム、および情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報表示方法は、画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識するステップと、前記電子時計が指示する情報に関するデータを前記電子時計から受信するステップと、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付けるステップと、前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するステップとを含む。
このような構成によれば、ユーザーは、例えば携帯端末装置のような情報表示装置を電子時計にかざすことによって、電子時計において指示されている情報に関するアノテーション画像を参照することができる。アノテーション画像が電子時計の指針などの指示要素に関連付けて表示されることで、電子時計において指示されている情報をユーザーが正しく読み取ることを促進できる。
【０００８】
上記の情報表示方法において、前記指示要素は、ダイヤルおよび前記ダイヤルを指示する指針を含み、前記表示するステップでは、前記アノテーション画像が前記指針に関連付けて表示されてもよい。
このような構成によれば、電子時計に特有の指示要素であるダイヤルと指針とを用いて様々な種類の情報が指示される場合に、ユーザーがそれらの情報を正しく読み取ることを促進できる。
【０００９】
上記の情報表示方法において、前記電子時計が指示する情報は、前記電子時計に含まれるセンサーの計測値に基づく情報、または外部装置から受信された前記外部装置のセンサーの計測値に基づく情報を含んでもよい。
このような構成によれば、読み取り方が時刻とは異なり、また種類によって読み取り方が異なるセンサーの計測値に基づく情報が電子時計において指示される場合に、ユーザーが情報を正しく読み取ることを促進できる。
【００１０】
上記の情報表示方法において、前記指示要素は、第１の指示要素および第２の指示要素を含み、前記電子時計が指示する情報は、前記第１の指示要素によって指示される第１の値と、前記第２の指示要素によって指示される第２の値とを含み、前記表示するステップでは、前記第１の値に関する第１のアノテーション画像が前記第１の指示要素に関連付けて表示され、前記第２の値に関する第２のアノテーション画像が前記第２の指示要素に関連付けて表示されてもよい。
このような構成によれば、複数の値が電子時計の複数の指示要素によってそれぞれ指示される場合に、ユーザーがそれぞれの値を正しく読み取ることを促進できる。
【００１１】
上記の情報表示方法において、前記表示するステップでは、前記第１のアノテーション画像および前記第２のアノテーション画像とともに、前記第１の値および前記第２の値が統合された第３の値に関する第３のアノテーション画像が表示されてもよい。
このような構成によれば、電子時計の複数の指示要素によってそれぞれ指示される複数の値がある単一の値を分解したものである場合に、ユーザーがそれらの値が統合された値を正しく読み取ることを促進できる。
【００１２】
上記の情報表示方法において、前記電子時計は、設定可能な複数の指示モードのいずれかに従って前記値を指示し、前記電子時計が指示する情報は、前記電子時計において設定されている指示モードを含み、前記表示するステップでは、前記指示モードに関するアノテーション画像が前記指示モードを指示する前記指示要素に関連付けて表示されてもよい。
このような構成によれば、ユーザーが電子時計において設定されている指示モードを正しく読み取ることを促進できる。
【００１３】
上記の情報表示方法は、前記認識するステップにおいて前記電子時計が認識された場合に前記電子時計にデータ要求を送信するステップをさらに含んでもよい。
このような構成によれば、例えば携帯端末装置のような情報表示装置と電子時計との間の通信を必要なときに実行することで、消費電力を節減することができる。
【００１４】
本発明のシステムは、電子時計、および情報表示装置を含む。前記電子時計は、情報を指示する指示要素と、前記指示要素の駆動を制御する駆動制御部と、前記情報に関するデータを前記情報表示装置に送信する通信部とを備え、前記情報表示装置は、画像を取得する撮像部と、前記画像に被写体として含まれる前記電子時計および前記指示要素を認識する画像認識部と、前記データを前記電子時計から受信する通信部と、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部と、前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するディスプレイとを備える。
【００１５】
本発明のプログラムは、画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識する画像認識部、前記電子時計が指示する情報に関するデータを前記電子時計から受信する通信制御部、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部、および前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示させる表示制御部としてコンピューターのプロセッサーを機能させる。
【００１６】
本発明の情報表示装置は、画像を取得する撮像部、前記画像に被写体として含まれる電子時計、および前記電子時計において情報を指示する指示要素を認識する画像認識部、前記電子時計が指示する情報に関するデータを前記電子時計から受信する通信部、前記データから抽出された情報を前記電子時計の仕様情報に基づいて前記指示要素に対応付ける解析部、および前記データから抽出された情報に関するアノテーション画像を前記指示要素に関連付けて前記画像とともに表示するディスプレイを備える。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る電子時計の正面図である。
【図２】図１に示された電子時計の回路構成を示す概略的なブロック図である。
【図３】本発明の一実施形態における電子時計での処理の例を示すフローチャートである。
【図４】本発明の一実施形態に係る電子時計を含むシステムの構成を示す図である。
【図５】本発明の一実施形態に係るスマートフォンの構成を示す概略的なブロック図である。
【図６】本発明の一実施形態においる情報表示方法の例を示すフローチャートである。
【図７】本発明の一実施形態における第１の画面表示例を示す図である。
【図８】本発明の一実施形態における第２の画面表示例を示す図である。
【図９】本発明の一実施形態における第３の画面表示例を示す図である。
【図１０】本発明の一実施形態における第４の画面表示例を示す図である。
【図１１】本発明の一実施形態における第５の画面表示例を示す図である。
【図１２】本発明の一実施形態における第６の画面表示例を示す図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
［電子時計の構成］
図１は、本発明の一実施形態に係る電子時計の正面図である。図１を参照すると、電子時計１は、ユーザーの手首に装着される腕時計である。電子時計１は、外装ケース２と、円板状のダイヤル３と、ダイヤル３を指示する指針４と、操作部材であるリューズ５、Ａボタン６、Ｂボタン７、およびＣボタン８とを含む。ダイヤル３は、メインダイヤル３０と、メインダイヤル３０の一部の領域に配置された第１サブダイヤル３１、第２サブダイヤル３２、および第３サブダイヤル３３とを含む。指針４は、メインダイヤル３０を指示するセンター針４０（時針４０１、分針４０２、およびクロノグラフ秒針４０３）と、第１サブダイヤル３１を指示する第１サブ指針４１（短針４１１および長針４１２）と、第２サブダイヤル３２を指示する第２サブ指針４２（短針４２１および長針４２２）と、第３サブダイヤル３３を指示する小秒針４３とを含む。また、電子時計１は、第２サブダイヤル３２内に配置される日表示部４４を含む。日表示部４４は、小窓４４１と表示板４４２とを含む。指針４に含まれるそれぞれの針、および日表示部４４の表示板４４２は、電子時計１のムーブメント（図示せず）内に設けられたモーターによって駆動される。
【００２０】
メインダイヤル３０は、外周に設けられる第１目盛３０１（６０分割）と、第２目盛３０２（１００分割）とを含む。第１目盛３０１は、時針４０１および分針４０２で時刻を指示する際に使用される他、センサー計測値を指示する際にも使用される。第２目盛３０２は、センサー計測値を指示する際に使用される。第１サブダイヤル３１は、メインダイヤル３０の平面中心から見て２時方向に配置される。第１サブダイヤル３１は、外周に設けられる目盛３１１（１０分割）を含む。第２サブダイヤル３２は、メインダイヤル３０の平面中心から見て６時方向に配置される。第２サブダイヤル３２は、外周に「ＭＥＡＳ」、「ＴＩＭＥ」、「ＡＬＴ」、「ＢＡＲ」、および「ＯＰ」という文字が表記された部分と、電池残量を示す目盛３２１が表記された部分とを含む。第３サブダイヤル３３は、メインダイヤル３０の平面中心から見て１０時方向に配置される。第３サブダイヤル３３は、外周に設けられる目盛３３１（１２分割）を含む。
【００２１】
図２は、図１に示された電子時計の回路構成を示す概略的なブロック図である。図２を参照すると、電子時計１は、電源部５１、計時部５２、記憶部５３、駆動部５４、操作検出部５５、センサー部５６、通信部５７、および制御部６０を含む。
【００２２】
電源部５１は、リチウムイオン電池によって構成される二次電池５１１と、充電回路５１２と、ソーラーセル５１３とを含む。二次電池５１１は、充電回路５１２を介して、ソーラーセル５１３が発電した電力によって充電され、電子時計１の各部に電力を供給する。二次電池５１１に接続された電圧検出回路（図示せず）は、電池残量を示す信号を制御部６０に出力する。
【００２３】
計時部５２は、水晶振動子の発振信号を分周して生成される基準信号を用いて時刻データを更新する。計時部５２は、時刻データを制御部６０に出力する。なお、計時部５２および記憶部５３は、制御部６０を構成するマイクロコントローラーにおいて一体的に実装されてもよい。
【００２４】
記憶部５３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）によって構成され、制御部６０によって実行されるプログラム、および当該プログラムの実行に用いられるデータなどを記憶する。また、記憶部５３には、後述するセンサー部５６に含まれる各種のセンサーの計測値が、時刻に関連付けて記憶されてもよい。
【００２５】
駆動部５４は、電子時計１において情報を指示する指示要素、すなわち指針４を構成するセンター針４０、第１サブ指針４１、第２サブ指針４２、および小秒針４３、ならびに日表示部４４の表示板４４２をそれぞれ駆動するための駆動機構を含む。例えば、駆動機構はステップモーターおよび輪列によって構成され、制御部６０から入力される駆動パルスに従ってステップモーターを駆動することによってそれぞれの指針を回転駆動する。
【００２６】
操作検出部５５は、リューズ操作検出部５５１、Ａボタンスイッチ５５２、Ｂボタンスイッチ５５３、およびＣボタンスイッチ５５４を含む。リューズ操作検出部５５１は、リューズ５の引き出し段数と回転量とを検出する。Ａボタンスイッチ５５２、Ｂボタンスイッチ５５３、およびＣボタンスイッチ５５４は、ユーザーによってＡボタン６、Ｂボタン７、およびＣボタン８がそれぞれ押下または解放されたことを検出する。それぞれの検出部は、検出信号を制御部６０に出力する。
【００２７】
センサー部５６は、加速度センサー５６１、地磁気センサー５６２、および気圧センサー５６３を含む。センサー部５６は、この他にも、温度センサーまたは紫外線センサーなど、後述する具体的な例で説明されないものも含め、様々な計測値を提供するセンサーを含んでもよい。センサー部５６は、各種のセンサーの計測値を制御部６０に出力する。センサー計測値は、制御部６０においてリアルタイムで利用されてもよいし、時刻に関連付けて記憶部５３に記憶されてもよい。
【００２８】
通信部５７は、電子時計１と外部装置との間の通信を実行するための通信回路やアンテナなどの装置を含む。例えば、通信部５７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信手順に従って外部装置との間で装置間通信を実行する。より具体的には、例えば、通信部５７は、後述するスマートフォン１００（図４参照）との間で装置間通信を実行する。また、他の例において、通信部５７は、電子時計１とは別体のセンサー装置からセンサーの計測値を受信してもよい。通信部がセンサー装置から受信したリアルタイムの計測値、またはセンサー装置において時刻に関連付けて記憶された計測値は、上記でセンサー部５６が出力するセンサー計測値と同様に利用される。
【００２９】
制御部６０は、マイクロコントローラーによって構成され、記憶部５３に記憶されたプログラムを実行することによって電子時計１の各部を制御する。例えば、制御部６０は、操作検出部５５において検出されたユーザーの操作に応じて電子時計１の指示モードを設定し、設定された指示モードと当該指示モードに応じたセンサー計測値などに応じて駆動部５４による指針４の駆動を制御する。本実施形態において、制御部６０は、以下で説明する指示モード設定部６１、値設定部６２、駆動制御部６３、および通信制御部６４として機能する。
【００３０】
指示モード設定部６１は、例えばユーザーによってＡボタン６、Ｂボタン７、またはＣボタン８が押下および解放されたときに操作検出部５５から出力される検出信号に基づいて、電子時計１の指示モードを設定する。本実施形態において、指示モード設定部６１は、時刻モード、クロノグラフモード、標高モード、方位モード、気圧モード、および歩数モードを電子時計１において設定することが可能である。なお、それぞれの指示モードの詳細については後述する。
【００３１】
値設定部６２は、電子時計１が指示する値を設定する。値設定部６２は、指示モード設定部６１が設定した指示モードに応じて値を設定する。具体的には、値設定部６２は、クロノグラフモードでは時間の計測値を、標高モードでは気圧センサー５６３の計測値に基づく標高を、方位モードでは地磁気センサー５６２の計測値に基づく方位角を、気圧モードでは気圧センサー５６３の計測値に基づく気圧を、歩数モードでは加速度センサー５６１の計測値に基づいて計数された歩数を、それぞれ指示する値として設定する。また、値設定部６２は、指示モードに関わらず共通の値を設定してもよい。具体的には、値設定部６２は、上記の１または複数の指示モードにおいて、二次電池５１１から出力される信号に基づく電池残量を指示する値として設定してもよい。
【００３２】
駆動制御部６３は、値設定部６２によって設定された値が指針４によって指示されるように、駆動部５４による電子時計１の指示要素、具体的には指針４などの駆動を制御する。また、駆動制御部６３は、指示モード設定部６１が設定した指示モードが指示されるように、駆動部５４による指針４などの駆動を制御する。例えば、駆動制御部６３は、指針４（センター針４０のクロノグラフ秒針４０３、第１サブ指針４１、および第２サブ指針４２）が、ダイヤル３（メインダイヤル３０、第１サブダイヤル３１、および第２サブダイヤル３２）との位置関係によって値または指示モードを指示するように、駆動部５４に駆動パルスを出力する。
【００３３】
通信制御部６４は、通信部５７を介して、値設定部６２によって設定された値に関するデータをスマートフォン１００（図４参照）に送信する。このとき、通信制御部６４は、例えば、指示モード設定部６１によって設定された指示モード、および値設定部６２によって設定された値を示すデータをスマートフォン１００に送信する。また、通信制御部６４は、通信部５７を介して、スマートフォン１００からデータ要求を受信する。
【００３４】
図３は、本発明の一実施形態における電子時計での処理の例を示すフローチャートである。図示された処理は、電子時計１の制御部６０（指示モード設定部６１、値設定部６２、駆動制御部６３、および通信制御部６４）によって実行される。
【００３５】
まず、指示モード設定部６１が、操作検出部５５からユーザー操作の検出信号を受信する（ステップＳ１０１）。ここで、受信される検出信号は、Ａボタン６、Ｂボタン７、またはＣボタン８のいずれかが押下および解放されたときにそれぞれ出力される。
【００３６】
次に、指示モード設定部６１は、受信された検出信号に応じて電子時計１の指示モードを設定する（ステップＳ１０３）。ここで、設定される指示モードは、ステップＳ１０１で受信された検出信号と、ステップＳ１０１の時点で既に設定されていた指示モードとに応じて、設定可能な指示モードの中から選択される。本実施形態では、ユーザーがＡボタン６の押下および解放を繰り返すことによって、時刻モード、標高モード、方位モード、気圧モード、および歩数モードが順次切り替えられる。また、ユーザーがＣボタン８を押下することによってクロノグラフモードが設定される。
【００３７】
次に、値設定部６２が、ステップＳ１０３で設定された指示モードに応じて、電子時計１が指示する値を設定する（ステップＳ１０５）。上述の通り、設定される値は、例えば、センサー部５６に含まれるセンサーの計測値に基づいて設定される。また、値設定部６２は、電池残量のような値を指示モードに関わらず設定してもよい。
【００３８】
次に、駆動制御部６３が、ステップＳ１０５で設定された値を指示するように駆動部５４に制御パルスを出力し、それによって指針４の駆動を制御する（ステップＳ１０７）。このとき、駆動制御部６３は、値を指示するときに、または値を指示する前に、ステップＳ１０３で設定された指示モードを指示するように駆動部５４に制御パルスを出力し、それによって指針４の駆動を制御する。
【００３９】
ここで、通信制御部６４がスマートフォン１００（図４参照）からデータ要求を受信している場合（ステップＳ１０９のＹＥＳ）、通信制御部６４は、ステップＳ１０３で設定された指示モード、およびステップＳ１０５で設定された値を示すデータを、通信部５７を介してスマートフォン１００に送信する（ステップＳ１１１）。一方、データ要求が受信されていない場合（ステップＳ１０９のＮＯ）、通信制御部６４は情報を送信せず、処理は終了する。
【００４０】
以上のような処理によって、電子時計１では、センサー計測値などの値や指示モードを指示するように指針４などの駆動が制御される。また、指針４などによって指示されている値や指示モードに関するデータが、要求されている場合には電子時計１からスマートフォン１００に送信される。
【００４１】
［電子時計を含むシステムの構成］
図４は、本発明の一実施形態に係る電子時計を含むシステムの構成を示す図である。システム１０は、電子時計１と、スマートフォン１００とを含む。図示された状態では、スマートフォン１００のカメラ１１０が起動され、カメラ１１０が、電子時計１を被写体として含む画像を取得している。このとき、表示部であるディスプレイ１２０には、いわゆるライブビュー画像である電子時計１を含む画像１２１とともに、アノテーション画像１２２が表示される。
【００４２】
本実施形態において、アノテーション画像１２２は、電子時計１の通信部５７からスマートフォン１００の通信部１５０に送信されるデータに基づいて生成される。具体的には、例えば、電子時計１において指示されている値を示すアノテーション画像が表示される。また電子時計１において設定されている指示モードを示すアノテーション画像が表示されてもよい。ここで、本実施形態において、アノテーション画像１２２は、値または指示モードを指示する電子時計１の指示要素、具体的にはダイヤル３、指針４、または日表示部４４に関連付けて表示される。
【００４３】
アノテーション画像１２２が表示されることによって、ユーザーは、電子時計１において指示されている情報を正確かつ容易に認識することができる。さらに、アノテーション画像１２２が電子時計１の指示要素に関連付けられていることによって、電子時計１において指示されている情報をユーザーが正しく読み取ることを促進できる。
【００４４】
なお、図４以降の各図では、電子時計１のダイヤル３上に表記される文字については、小さくなりすぎるために図示を省略している。以下の説明における文字への言及は、ダイヤル３上に表記される文字が図示された図１と各図とを対照することによって理解される。
【００４５】
［スマートフォンの構成］
図５は、本発明の一実施形態に係るスマートフォンの構成を示す概略的なブロック図である。図５を参照すると、スマートフォン１００は、カメラ１１０、ディスプレイ１２０、タッチセンサー１３１、ボタン１３２、マイクロフォン１３３、スピーカー１３４、記憶部１４０、通信部１５０、および制御部１６０を備える。
【００４６】
カメラ１１０は、レンズ、イメージセンサー、および画像処理回路などを含み、レンズに入射した光学的な像をデジタル画像データに変換して出力する。カメラ１１０は、起動中には所定のフレームレートで連続的に画像データの出力を実行しており、このようにして出力される連続的な画像データをディスプレイ１２０に表示されることによっていわゆるライブビュー画像が提供される。本実施形態において、カメラ１１０は、電子時計１を被写体として含む画像を取得する撮像部である。
【００４７】
ディスプレイ１２０は、例えばＬＣＤ（Liquid Crystal Display）、または有機ＥＬ（Electro Luminescence）ディスプレイであり、制御部１６０から入力される画像データに従って様々な情報を画像として表示する。ディスプレイ１２０上にはタッチセンサー１３１が配置され、ディスプレイ１２０とタッチセンサー１３１とによってタッチスクリーンが構成される。本実施形態において、ディスプレイ１２０は、カメラ１１０によって取得された電子時計１を被写体として含むライブビュー画像とともにアノテーション画像１２２を表示する表示部である。
【００４８】
タッチセンサー１３１、およびボタン１３２は、ユーザーの操作に応じて操作信号を生成する。生成された操作信号は制御部１６０に入力される。操作信号に代えて、または操作信号とともに、マイクロフォン１３３が生成する音声信号が、ユーザーの操作入力を示す情報として制御部１６０に入力されてもよい。スピーカー１３４は、制御部１６０から出力された音声信号に従って様々な情報を音声として出力する。
【００４９】
記憶部１４０は、ＲＡＭやＲＯＭによって構成される。記憶部１４０は、制御部１６０によって実行されるプログラム、および当該プログラムの実行に用いられるデータなどを記憶する。本実施形態において、記憶部１４０は、電子時計１、および電子時計１のダイヤル３および指針４を認識するための画像辞書を記憶する。また、記憶部１４０は、電子時計１において指示されている値を、電子時計１の指示要素（ダイヤル３、指針４または日表示部４４）に関連付けるために用いられる電子時計１の仕様情報を記憶する。
【００５０】
通信部１５０は、スマートフォン１００と外部装置との間の通信を実行するための通信回路やアンテナなどの装置を含む。例えば、通信部１５０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信手順に従って外部装置との間で装置間通信を実行する。より具体的には、例えば、通信部１５０は、電子時計１との間で装置間通信を実行する。さらに、通信部１５０は、移動体通信網や無線ＬＡＮ（Local Area Network）などのネットワーク通信を実行して、インターネットなどのネットワークにスマートフォン１００を接続する。
【００５１】
制御部１６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサーによって構成される。制御部１６０は、記憶部１４０に記憶されたプログラムを実行することによって、スマートフォン１００の各部を制御する。本実施形態に係るプログラムが実行された場合、制御部１６０は、以下で説明する画像認識部１６１、通信制御部１６２、解析部１６３、画像生成部１６４、および表示制御部１６５として機能する。
【００５２】
画像認識部１６１は、カメラ１１０が取得した画像１２１に対する画像認識処理を実行する。画像認識部１６１は、画像１２１に被写体として含まれる電子時計１を認識する。さらに、画像認識部１６１は、電子時計１の指示要素、具体的にはダイヤル３、指針４または日表示部４４を認識してもよい。このとき、画像認識部１６１は、記憶部１４０に記憶された、電子時計１などの画像辞書を用いて認識を実行する。例えば、画像辞書は、様々な機種の電子時計１の画像を含む第１の画像辞書と、電子時計１の機種ごとに用意される第２の画像辞書とを含んでもよい。この場合、画像認識部１６１は、第１の画像辞書を用いて画像から電子時計１の機種を認識し、認識された機種に応じた第２の画像辞書を用いて画像から電子時計１の指示要素を認識する。なお、他の例では、ユーザーが予め選択した電子時計１の機種に応じた第２の画像辞書が用いられてもよい。この場合、第１の画像辞書は画像１２１に電子時計１が被写体として含まれるか否かの判定に用いられる。
【００５３】
通信制御部１６２は、通信部１５０を介して、電子時計１との間で情報の送受信を実行する。具体的には、通信制御部１６２は、画像認識部１６１によって電子時計１が認識された場合に、電子時計１にデータ要求を送信する。また、通信制御部１６２は、電子時計１がデータ要求に応じて送信したデータを受信する。受信されるデータは、電子時計１が指示する情報に関するデータであり、具体的には、電子時計１において設定されている指示モードと、設定されている指示モードに従って指示されている値とを示すデータを含む。本実施形態において、電子時計１において設定可能な指示モードは、時刻モード、クロノグラフモード、標高モード、方位モード、気圧モード、および歩数モードを含む。また、上記の指示モードにおいて指示される値は、時刻、時間の計測値、標高、方位角、気圧、および歩数を含む。他の例として、通信制御部１６２は、後述するような本実施形態に係るプログラムの実行が開始された時（例えば、スマートフォン１００でアプリケーションが起動された時）に、画像認識部１６１によって電子時計１が認識されているか否かに関わらず、電子時計１にデータ要求を送信してもよい。
【００５４】
解析部１６３は、通信制御部１６２が受信したデータから情報を抽出し、記憶部１４０に格納された電子時計１の仕様情報に基づいて、抽出された情報を電子時計１の指示要素に対応付ける。仕様情報は、上記のようにスマートフォン１００において記憶部１４０に格納されてもよいし、電子時計１が指示する情報に関するデータとともに電子時計１からスマートフォン１００に送信されてもよい。なお、仕様情報の具体的な例については後述する。
【００５５】
画像生成部１６４は、通信制御部１６２が受信したデータから抽出された情報に関するアノテーション画像１２２を生成する。具体的には、画像生成部１６４は、電子時計１において指示されている値に関するアノテーション画像１２２を生成してもよく、また電子時計１において設定されている指示モードに関するアノテーション画像１２２を生成してもよい。アノテーション画像１２２は、値または指示モードを直接的に示してもよいし、値または指示モードが電子時計１においてどのように（例えば、どの指示要素によって）指示されているかを示してもよい。
【００５６】
表示制御部１６５は、画像生成部１６４によって生成されたアノテーション画像１２２を、画像１２１とともにディスプレイ１２０において表示させる。具体的には、表示制御部１６５は、アノテーション画像１２２を電子時計１の指示要素に関連付けて表示させる。電子時計１の指示要素は、例えば、ダイヤル３（メインダイヤル３０、第１サブダイヤル３１、もしくは第２サブダイヤル３２）、指針４（センター針４０のクロノグラフ秒針４０３、第１サブ指針４１、もしくは第２サブ指針４２）、または日表示部４４を含む。アノテーション画像１２２は、画像１２１に透過的に重畳して表示されてもよい。また、ユーザーの動きなどによって画像１２１内で電子時計１の位置が変化した場合、表示制御部１６５は、画像認識部１６１による電子時計１の指示要素の認識結果を利用して、アノテーション画像１２２を画像１２１内の電子時計１の動きに追従して移動させてもよい。なお、アノテーション画像１２２の表示の具体的な例については後述する。
【００５７】
［処理フローの例］
図６は、本発明の一実施形態における情報表示方法の例を示すフローチャートである。図示された処理は、本実施形態に係るプログラムの実行中において、スマートフォン１００の制御部１６０（画像認識部１６１、通信制御部１６２、画像生成部１６４、および表示制御部１６５）によって所定の間隔で繰り返し実行される（ステップＳ２０１）。
【００５８】
各回の処理において、まず、画像認識部１６１が、カメラ１１０が取得した画像１２１に含まれる電子時計１を認識する（ステップＳ２０３）。このとき、画像認識部１６１は、記憶部１４０に記憶された第１の画像辞書を用いて認識を実行する。第１の画像辞書は、スマートフォン１００と通信可能な電子時計１の所定の機種について用意される。従って、画像１２１に時計が含まれない場合に加えて、画像１２１に含まれる時計が上記所定の機種ではない場合にも、ステップＳ２０３では電子時計１が認識されない。
【００５９】
さらに、ステップＳ２０３において、画像認識部１６１は、電子時計１の指示要素、具体的にはダイヤル３、指針４、または日表示部４４を認識する。このとき、画像認識部１６１は、記憶部１４０に記憶された第２の画像辞書を用いて認識を実行する。第２の画像辞書は、ステップＳ２０３で使用される第１の画像辞書が用意される電子時計１の機種ごとに用意される。なお、第２の画像辞書と電子時計１の機種とは必ずしも１対１でなくてもよく、電子時計１の複数の機種に共通する第２の画像辞書が用意されてもよい。なお、電子時計１の指示要素を認識する処理は、後述するステップＳ２１３までの間に実行されればよく、ステップＳ２０５，Ｓ２０９〜Ｓ２１１との前後関係は任意である。
【００６０】
ここで、電子時計１の指示要素の認識では、電子時計１の機種の認識結果を利用して選択された第２の画像辞書が使用されるため、電子時計１の指示要素を高い精度で認識することが可能である。例えば、指針４に含まれる複数の針が互いに重なっている場合も、それぞれの針の先端、中間、根元のいずれかが現れていれば、個々の針を認識可能でありうる。また、針が隠れている場合（例えば、第１サブダイヤル３１上の短針４１１や長針４１２が、メインダイヤル３０上の時針４０１や分針４０２に隠れている場合）も、隠された領域に針が位置することを特定できる。
【００６１】
他の例として、画像認識部１６１は、後述するステップＳ２０９で電子時計１から受信されたデータ（指示モードおよび値を示す）と、画像１２１において認識された電子時計１の位置および姿勢とに基づいて、電子時計１の指示要素の画像１２１内での位置を特定してもよい。具体的には、例えば、画像認識部１６１は、クロノグラフ秒針４０３によって指示されている値と、電子時計１の位置および姿勢に基づいて特定されるメインダイヤル３０の平面中心、および第１目盛３０１の「０」（１２時方向）の位置とに基づいて、画像１２１内でクロノグラフ秒針４０３が指示している第１目盛３０１上の位置を特定してもよい。
【００６２】
ここで、ステップＳ２０３において電子時計１が認識されなかった場合（ステップＳ２０５のＮＯ）、表示制御部１６５がディスプレイ１２０におけるアノテーション画像１２２の表示を（表示がある場合には）終了させ（ステップＳ２０７）、この回の処理は終了する。一方、ステップＳ２０３において電子時計１が認識された場合（ステップＳ２０５のＹＥＳ）、処理はステップＳ２０９に進む。
【００６３】
次に、通信制御部１６２が、通信部１５０を介して、電子時計１へのデータ要求の送信、および電子時計１からのデータの受信を実行する（ステップＳ２０９）。ここで、例えば、通信部１５０が実行するＢｌｕｅｔｏｏｔｈ（登録商標）などの通信手順において必要とされる電子時計１とのペアリングがされていない場合、表示制御部１６５がディスプレイ１２０に電子時計１とのペアリングを促すメッセージを表示してもよい。この場合、ユーザーによって電子時計１とのペアリングが実施された後に、ステップＳ２０９の処理が再開される。
【００６４】
ここで、ステップＳ２０９において、電子時計１とのペアリングがされなかったなどの理由で電子時計１にデータ要求が送信されなかった場合、およびデータ要求を送信したが電子時計１からのデータが受信されなかった場合（ステップＳ２１１のＮＯ）、この回の処理は終了する。一方、ステップＳ２０９で送信されたデータ要求に応じて電子時計１からデータが受信された場合（ステップＳ２１１のＹＥＳ）、処理はステップＳ２１３に進む。
【００６５】
次に、解析部１６３が、ステップＳ２０９で受信されたデータから抽出された情報を、電子時計１の仕様情報に基づいて電子時計１の指示要素に対応付ける（ステップＳ２１３）。具体的には、解析部１６３は、電子時計１において設定されている指示モードを示す情報を、指示モードを指示する指針４などの指示要素に対応付ける。また、解析部１６３は、電子時計１において指示されている値を示す情報を、値を指示する指針４などの指示要素に対応付ける。
【００６６】
次に、画像生成部１６４が、ステップＳ２０９で受信されたデータから抽出された情報に関するアノテーション画像１２２を生成する（ステップＳ２１５）。例えば、ステップＳ２０３で新たに電子時計１が認識された場合、画像生成部１６４は、ステップＳ２０９で受信されたデータに基づいてアノテーション画像１２２を新たに生成する。また、前回の処理で既に認識されている電子時計１が、ステップＳ２０３で引き続き認識された場合、画像生成部１６４は、ステップＳ２０９で受信されたデータによって示される指示モードおよび値が前回の処理と異なっている場合にアノテーション画像１２２を更新する。
【００６７】
次に、表示制御部１６５が、画像生成部１６４によって生成されたアノテーション画像１２２を、電子時計１を被写体として含む画像１２１とともにディスプレイ１２０において表示させる（ステップＳ２１７）。具体的には、表示制御部１６５は、カメラ１１０が取得した画像１２１（ステップＳ２０３で画像認識処理に用いられる画像１２１とは異なるフレームの画像であってもよい）に、アノテーション画像１２２を透過的に重畳させた画像データをディスプレイ１２０に出力する。このとき、表示制御部１６５は、解析部１６３による関連付けの結果に基づいて、アノテーション画像１２２を電子時計１の指針４などの指示要素に関連付けて表示させる。
【００６８】
以上の処理は、本実施形態に係るプログラムの実行中において、制御部１６０によって所定の間隔で繰り返し実行される。従って、上記のステップＳ２１７において新たに表示されたアノテーション画像１２２は、次回に実行されるステップＳ２１７において更新されるか、または継続して表示される。あるいは、ステップＳ２０３において電子時計１が認識されなくなった場合には、ステップＳ２０７が実行されてアノテーション画像１２２の表示が終了する。
【００６９】
［表示の例］
図７は、本発明の一実施形態における第１の画面表示例を示す図である。図示された例では、電子時計１において時刻モードが設定されている。電子時計１では、時刻モードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＴＩＭＥ」という文字が表記された部分を指し、長針４２２が電池残量を示す目盛３２１が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（時刻モード）を示すデータと、時刻モードにおいて指示されている時刻および電池残量の値を示すデータとをスマートフォン１００に送信する。
【００７０】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（時刻モード）を示すアノテーション画像１２２−１を生成し、表示制御部１６５はアノテーション画像１２２−１を画像１２１とともにディスプレイ１２０において表示させる。ここで、アノテーション画像１２２−１は、時刻モードを指示する指針４（第２サブダイヤル３２上の短針４２１および長針４２２）とは関係なく、ディスプレイ１２０の左上の領域に配置される。
【００７１】
また、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている時刻を示すアノテーション画像１２２−２ａを生成し、表示制御部１６５はアノテーション画像１２２−２ａを画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−２ａも、アノテーション画像１２２−１と同様に、時刻を指示する指針４（時針４０１、分針４０２および小秒針４３）とは関係なく、ディスプレイ１２０の右下の領域に配置される。
【００７２】
一方、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている日付を示すアノテーション画像１２２−２ｂを生成する。表示制御部１６５は、アノテーション画像１２２−２ｂを画像１２１に被写体として含まれる日表示部４４に関連付けて表示させる。
【００７３】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている電池残量を示すアノテーション画像１２２−３を生成し、表示制御部１６５はアノテーション画像１２２−３を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−３も、アノテーション画像１２２−１，１２２−２ａと同様に、電池残量を指示する指針４（第２サブダイヤル３２上の長針４２２）とは関係なく、ディスプレイ１２０の左下の領域に配置される。
【００７４】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（時刻モード）に関する別のアノテーション画像１２２−４，１２２−５を生成する。アノテーション画像１２２−４は、時刻モードでは第２サブダイヤル３２上の短針４２１が「ＴＩＭＥ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１に関連付けて表示される。また、アノテーション画像１２２−５は、時刻モードでは第２サブダイヤル３２上の長針４２２が電池残量を示す目盛３２１が表記された部分を指すことを示し、画像１２１に被写体として含まれる長針４２２に関連付けて表示される。
【００７５】
上記のアノテーション画像１２２−２ｂ，１２２−４，１２２−５を生成するために、解析部１６３は、通信制御部１６２が受信したデータから抽出された情報を、電子時計１の仕様情報に基づいて電子時計１の指示要素に対応付ける。上記の例において、解析部１６３は、時刻モードと第２サブダイヤル３２上の短針４２１および長針４２２とを対応付け、また日付と日表示部４４とを対応付ける。
【００７６】
上記のような第１の画面表示例では、電子時計１において時刻モードを指示する指示要素（第２サブダイヤル３２上の短針４２１および長針４２２）に関連付けてアノテーション画像１２２−４，１２２−５が表示される。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、時刻モードが設定されていることを容易に認識することができるようになる。また、上記の例では、電子時計１において日付を表示する指示要素（日表示部４４）に関連付けてアノテーション画像１２２−２ｂが表示される。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、日表示部４４によって日付が表示されていることを容易に認識することができるようになる。
【００７７】
図８は、本発明の一実施形態における第２の画面表示例を示す図である。図示された例では、電子時計１においてクロノグラフモードが設定されている。電子時計１では、例えば時刻モードが設定されている間にＣボタン８が押下された場合にクロノグラフモードが設定される。電子時計１では、クロノグラフモードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＴＩＭＥ」という文字が表記された部分を指し、長針４２２が「ＭＥＡＳ」という文字が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（クロノグラフモード）を示すデータと、クロノグラフモードにおいて指示されている時間の計測値を示すデータとをスマートフォン１００に送信する。
【００７８】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（クロノグラフモード）を示すアノテーション画像１２２−６を生成し、表示制御部１６５はアノテーション画像１２２−６を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−６は、図７に示した例におけるアノテーション画像１２２−１と同様に、ディスプレイ１２０の左上の領域に配置される。
【００７９】
また、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている時間の計測値（１分３８秒）を示すアノテーション画像１２２−７を生成し、表示制御部１６５はアノテーション画像１２２−７を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−７は、図７に示した例におけるアノテーション画像１２２−２ａと同様に、ディスプレイ１２０の右下の領域に配置される。
【００８０】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（クロノグラフモード）に関する別のアノテーション画像１２２−８を生成する。アノテーション画像１２２−８は、クロノグラフモードでは第２サブダイヤル３２上の短針４２１が「ＴＩＭＥ」という文字が表記された部分を指し、長針４２２が「ＭＥＡＳ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１および長針４２２にそれぞれ関連付けて表示される。
【００８１】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている時間の計測値に関する他のアノテーション画像１２２−９〜１２２−１１を生成する。アノテーション画像１２２−９は、第１サブダイヤル３１上の短針４１１が指す目盛３１１の値（この時点で０）が１０分の単位の時間の計測値であることを示し、画像１２１に被写体として含まれる短針４１１に関連付けて表示される。同様に、アノテーション画像１２２−１０は、第１サブダイヤル３１上の長針４１２が指す目盛３１１の値（この時点で１）が１分の単位の時間の計測値であることを示し、画像１２１に被写体として含まれる長針４１２に関連付けて表示される。また、アノテーション画像１２２−１１は、メインダイヤル３０上のクロノグラフ秒針４０３が指す第１目盛３０１の値（この時点で３８）が１秒の単位の時間の計測値であることを示し、画像１２１に被写体として含まれるクロノグラフ秒針４０３に関連付けて表示される。
【００８２】
上記のアノテーション画像１２２−８〜１２２−１１を表示するために、解析部１６３は、図７に示した例と同様に電子時計１の仕様情報を参照する。上記の例において、解析部１６３は、クロノグラフモードと第２サブダイヤル３２上の短針４２１および長針４２２を対応付け、また時間の計測値の複数の要素（１０分、１分、および秒の単位の計測値）を第１サブダイヤル３１上の短針４１１および長針４１２、ならびにメインダイヤル３０上のクロノグラフ秒針４０３にそれぞれ対応付ける。
【００８３】
上記の例では、電子時計１の指示要素が、第１の指示要素（第１サブダイヤル３１上の短針４１１および長針４１２）と第２の指示要素（メインダイヤル３０上のクロノグラフ秒針４０３）とを含む。電子時計１は、第１の指示要素によって第１の値（１０分および１分の単位の時間の計測値）を指示するとともに、第２の指示要素によって第１の値とは異なる第２の値（秒の単位の時間の計測値）を指示する。スマートフォン１００では、表示制御部１６５が、第１の値に関する第１のアノテーション画像１２２−９，１２２−１０を第１の指示要素（短針４１１および長針４１２）に関連付けて表示させ、第２の値に関する第２のアノテーション画像１２２−１１を第２の指示要素（クロノグラフ秒針４０３）に関連付けてディスプレイ１２０において表示させる。ここで、電子時計１において指示されている時間の計測値は、上記の第１の値（１０分および１分の単位の計測値）および第２の値（秒の単位の計測値）が統合された第３の値であり、表示制御部１６５はこの第３の値に関する第３のアノテーション画像１２２−７をディスプレイ１２０において表示させる。
【００８４】
上記のような第２の画面表示例では、電子時計１においてクロノグラフモードを指示する指針（第２サブダイヤル３２上の短針４２１および長針４２２）に関連付けてアノテーション画像１２２−８が表示されるため、それらの指針がクロノグラフモードを指示することをユーザーが認識することが容易になる。また、上記の例では、電子時計１において時間の計測値を複数の要素に分解して指示する指針（第１サブダイヤル３１上の短針４１１および長針４１２、ならびにクロノグラフ秒針４０３）のそれぞれに関連付けてアノテーション画像１２２−９〜１２２−１１が表示されるため、それらの指針が時間の計測値のどの要素を指示しているかをユーザーが認識することが容易になる。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、クロノグラフモードが設定されていること、およびクロノグラフモードにおいて指示されている時間の計測値を容易に認識することができるようになる。
【００８５】
図９は、本発明の一実施形態における第３の画面表示例を示す図である。図示された例では、電子時計１において標高モードが設定されている。電子時計１では、例えば時刻モードが設定されている間にＡボタン６が押下および解放された場合に標高モードが設定される。電子時計１では、標高モードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＡＬＴ」という文字が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（標高モード）を示すデータと、標高モードにおいて指示されている標高の計測値を示すデータとをスマートフォン１００に送信する。
【００８６】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（標高モード）を示すアノテーション画像１２２−１２を生成し、表示制御部１６５はアノテーション画像１２２−１２を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−１２は、図７に示した例におけるアノテーション画像１２２−１と同様に、ディスプレイ１２０の左上の領域に配置される。
【００８７】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（標高モード）に関する別のアノテーション画像１２２−１３を生成する。アノテーション画像１２２−１３は、標高モードでは第２サブダイヤル３２上の短針４２１が「ＡＬＴ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１に関連付けて表示される。
【００８８】
一方、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている標高の計測値（図示された例では７０８ｍ）を示すアノテーション画像１２２−１４を生成し、表示制御部１６５はアノテーション画像１２２−１４を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−１４は、図７に示した例におけるアノテーション画像１２２−２ａと同様に、ディスプレイ１２０の右下の領域に配置される。
【００８９】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている標高の計測値に関する他のアノテーション画像１２２−１５〜１２２−１７を生成する。アノテーション画像１２２−１５は、第１サブダイヤル３１上の短針４１１が指す目盛３１１の値（この時点で１よりも小さい、すなわち０）が１０００ｍの単位の標高の計測値であることを示す。表示制御部１６５は、アノテーション画像１２２−１５を、画像１２１に被写体として含まれる短針４１１に関連付けて表示させる。同様に、アノテーション画像１２２−１６は、第１サブダイヤル３１上の長針４１２が示す目盛３１１の値（この時点で７）が１００ｍの単位の標高の計測値であることを示し、画像１２１に被写体として含まれる長針４１２に関連付けて表示される。また、アノテーション画像１２２−１７は、メインダイヤル３０上のクロノグラフ秒針４０３が指す第２目盛３０２の値（この時点で８）が１ｍの単位の標高の計測値であることを示し、画像１２１に被写体として含まれるクロノグラフ秒針４０３に関連付けて表示される。
【００９０】
上記のアノテーション画像１２２−１３、１２２−１５〜１２２−１７を表示するために、解析部１６３は、図７に示した例と同様に電子時計１の仕様情報を参照する。上記の例において、解析部１６３は、標高モードと第２サブダイヤル３２上の短針４２１とを対応付け、また標高の計測値の複数の要素（１０００ｍ、１００ｍ、および１ｍの単位の計測値）を第１サブダイヤル３１上の短針４１１および長針４１２、ならびにメインダイヤル３０上のクロノグラフ秒針４０３にそれぞれ対応付ける。
【００９１】
また、図示された例では、図７に示した例と同様に、電池残量を示すアノテーション画像１２２−３が表示される。本実施形態において、アノテーション画像１２２−３は、電子時計１において設定されている指示モードに関わらず、ディスプレイ１２０の左下の領域に他のアノテーション画像１２２が表示されていない場合に表示される（以下の例では図示されたアノテーション画像１２２−３について特に説明しない）。
【００９２】
上記のような第３の画面表示例では、第２の画面表示例と同様に、電子時計１において標高モードを指示する指針（第２サブダイヤル３２上の短針４２１）に関連付けてアノテーション画像１２２−１３が表示されるため、指針が標高モードを指示することをユーザーが認識することが容易になる。また、上記の例では、第２の画面表示例と同様に、電子時計１において標高の計測値を複数の要素に分解して指示する指針（第１サブダイヤル３１上の短針４１１および長針４１２、ならびにクロノグラフ秒針４０３）のそれぞれに関連付けてアノテーション画像１２２−１５〜１２２−１７が表示されるため、それらの指針が標高の計測値のどの要素を指示しているかをユーザーが認識することが容易になる。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、標高モードが設定されていること、および標高モードにおいて指示されている標高の計測値を容易に認識することができるようになる。
【００９３】
図１０は、本発明の一実施形態における第４の画面表示例を示す図である。図示された例では、電子時計１において方位モードが設定されている。電子時計１では、例えば標高モードが設定されている間にＡボタン６が押下および解放された場合に方位モードが設定される。電子時計１では、方位モードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＣＯＭ」という文字が表記された部分を指し、長針４２２が「ＭＥＡＳ」という文字が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（方位モード）を示すデータと、方位モードにおいて指示されている方位角の計測値を示すデータとをスマートフォン１００に送信する。
【００９４】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（方位モード）を示すアノテーション画像１２２−１８を生成し、表示制御部１６５はアノテーション画像１２２−１８を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−１８は、図７に示した例におけるアノテーション画像１２２−１と同様に、ディスプレイ１２０の左上の領域に配置される。
【００９５】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（方位モード）に関する別のアノテーション画像１２２−１９を生成する。アノテーション画像１２２−１９は、方位モードでは第２サブダイヤル３２上の短針４２１が「ＣＯＭ」という文字が表記された部分を指し、長針４２２が「ＭＥＡＳ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１および長針４２２に関連付けて表示される。
【００９６】
一方、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている方位角の計測値（図示された例では１３８°）を示すアノテーション画像１２２−２０を生成する。アノテーション画像１２２−２０は、方位角の計測値に対応する角度（つまり１３８°分）の弧と、方位角の計測値を示す数字とを含む。表示制御部１６５は、アノテーション画像１２２−２０を、画像１２１に被写体として含まれるメインダイヤル３０の第１目盛３０１の０の位置（１２時）から、第１目盛３０１に沿ってクロノグラフ秒針４０３の先端までの区間に重ね合わせて表示させる。
【００９７】
上記の例において、電子時計１の値設定部６２は、電子時計１において地磁気センサー５６２の計測結果に基づいて方位角の計測値を算出する。方位角は、ダイヤル３を略水平方向に保持し、北になる方向を０°とした場合の、メインダイヤル３０の平面中心から見た１２時方向の角度である。図示された例において、方位角は、１２時方向が東であれば９０°になり、１２時方向が南であれば１８０°になり、１２時方向が西であれば２７０°になる。メインダイヤル３０の外周を６０分割する第１目盛３０１の１目盛は、６°の方位角に対応する。
【００９８】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている方位角の計測値に関する他のアノテーション画像１２２−２１，１２２−２２を生成する。アノテーション画像１２２−２１は、クロノグラフ秒針４０３が指す方向が方位角の計測値に基づいて特定される北の方向であることを示す。表示制御部１６５は、クロノグラフ秒針４０３の延長線上にアノテーション画像１２２−２１を表示させる。同様に、アノテーション画像１２２−２２は、アノテーション画像１２２−２０によって示されるのが１２時方向の方位角であることを示し、アノテーション画像１２２−２０の方位角の測定値を示す数字の部分に関連付けて表示される。
【００９９】
上記のアノテーション画像１２２−１９〜１２２−２１を表示するために、解析部１６３は、図７に示した例と同様に電子時計１の仕様情報を参照する。上記の例において、解析部１６３は、方位モードと第２サブダイヤル３２上の短針４２１および長針４２２とを関連付け、また方位角の計測値をメインダイヤル３０上のクロノグラフ秒針４０３に対応付ける。
【０１００】
上記のような第４の画面表示例では、第２および第３の画面表示例と同様に、電子時計１において方位モードを指示する指針（第２サブダイヤル３２上の短針４２１）に関連付けてアノテーション画像１２２−１９が表示されるため、指針が方位モードを指示することをユーザーが認識することが容易になる。また、上記の例では、電子時計１において方位角の計測値を指示する指針（クロノグラフ秒針４０３）に関連付けてアノテーション画像１２２−２０〜１２２−２２が表示されるため、指針がどのようにして方位角の計測値を指示しているかをユーザーが認識することが容易になる。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、方位モードが設定されていること、および方位モードにおいて指示されている方位角の計測値を容易に認識することができるようになる。
【０１０１】
図１１は、本発明の一実施形態における第５の画面表示例を示す図である。図示された例では、電子時計１において気圧モードが設定されている。電子時計１では、例えば方位モードが設定されている間にＡボタン６が押下および解放された場合に気圧モードが設定される。電子時計１では、気圧モードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＢＡＲ」という文字が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（気圧モード）を示すデータと、気圧モードにおいて指示されている気圧の計測値を示すデータとをスマートフォン１００に送信する。
【０１０２】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（気圧モード）を示すアノテーション画像１２２−２３を生成し、表示制御部１６５はアノテーション画像１２２−２３を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−２３は、図７に示した例におけるアノテーション画像１２２−１と同様に、ディスプレイ１２０の左上の領域に配置される。
【０１０３】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（気圧モード）に関する別のアノテーション画像１２２−２４を生成する。アノテーション画像１２２−２４は、標高モードでは第２サブダイヤル３２上の短針４２１が「ＢＡＲ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１に関連付けて表示される。
【０１０４】
一方、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている気圧の計測値（図示された例では９３２ｈＰａ）を示すアノテーション画像１２２−２５を生成し、表示制御部１６５はアノテーション画像１２２−２５を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−２５は、図７に示した例におけるアノテーション画像１２２−２ａと同様に、ディスプレイ１２０の右下の領域に配置される。
【０１０５】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている気圧の計測値に関する他のアノテーション画像１２２−２６〜１２２−２８を生成する。アノテーション画像１２２−２６は、第１サブダイヤル３１上の短針４１１が指す目盛３１１の値（この時点で１よりも小さい、すなわち０）が１０００ｈＰａの単位の気圧の計測値であることを示す。表示制御部１６５は、アノテーション画像１２２−２６を、画像１２１に被写体として含まれる短針４１１に関連付けて表示させる。同様に、アノテーション画像１２２−２７は、第１サブダイヤル３１上の長針４１２が示す目盛３１１の値（この時点で９）が１００ｈＰａの単位の気圧の計測値であることを示し、画像１２１に被写体として含まれる長針４１２に関連付けて表示される。また、アノテーション画像１２２−２８は、メインダイヤル３０上のクロノグラフ秒針４０３が指す第２目盛３０２の値（この時点で３２）が１ｈＰａの単位の気圧の計測値であることを示し、画像１２１に被写体として含まれるクロノグラフ秒針４０３に関連付けて表示される。
【０１０６】
上記のアノテーション画像１２２−２４、１２２−２６〜１２２−２８を表示するために、解析部１６３は、図７に示した例と同様に電子時計１の仕様情報を参照する。上記の例において、解析部１６３は、気圧モードと第２サブダイヤル３２上の短針４２１とを対応付け、また気圧の計測値の複数の要素（１０００ｈＰａ、１００ｈＰａ、および１ｈＰａの単位の計測値）を第１サブダイヤル３１上の短針４１１および長針４１２、ならびにメインダイヤル３０上のクロノグラフ秒針４０３にそれぞれ対応付ける。
【０１０７】
上記のような第５の画面表示例では、第２〜第４の画面表示例と同様に、電子時計１において気圧モードを指示する指針（第２サブダイヤル３２上の短針４２１）に関連付けてアノテーション画像１２２−２４が表示されるため、指針が気圧モードを指示することをユーザーが認識することが容易になる。また、上記の例では、第２および第３の画面表示例と同様に、電子時計１において気圧の計測値を複数の要素に分解して指示する指針（第１サブダイヤル３１上の短針４１１および長針４１２、ならびにクロノグラフ秒針４０３）のそれぞれに関連付けてアノテーション画像１２２−２６〜１２２−２８が表示されるため、それらの指針が気圧の計測値のどの要素を指示しているかをユーザーが認識することが容易になる。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、気圧モードが設定されていること、および気圧モードにおいて指示されている気圧の計測値を容易に認識することができるようになる。
【０１０８】
図１２は、本発明の一実施形態における第６の画面表示例を示す図である。図示された例では、電子時計１において歩数モードが設定されている。電子時計１では、例えば気圧モードが設定されている間にＡボタン６が押下および解放された場合に歩数モードが設定される。電子時計１では、歩数モードが設定されている間、第２サブダイヤル３２上の短針４２１が「ＯＰ」という文字が表記された部分を指す。電子時計１は、データ要求に応じて、設定されている指示モード（歩数モード）を示すデータと、歩数モードにおいて指示されている歩数の計測値を示すデータとをスマートフォン１００に送信する。
【０１０９】
図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（歩数モード）を示すアノテーション画像１２２−２９を生成し、表示制御部１６５はアノテーション画像１２２−２９を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−２９は、図７に示した例におけるアノテーション画像１２２−１と同様に、ディスプレイ１２０の左上の領域に配置される。
【０１１０】
加えて、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において設定されている指示モード（歩数モード）に関する別のアノテーション画像１２２−３０を生成する。アノテーション画像１２２−３０は、歩数モードでは第２サブダイヤル３２上の短針４２１が「ＯＰ」という文字が表記された部分を指すことを示し、画像１２１に被写体として含まれる短針４２１に関連付けて表示される。
【０１１１】
一方、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている歩数の計測値（図示された例では１０１４歩）を示すアノテーション画像１２２−３１を生成し、表示制御部１６５はアノテーション画像１２２−３１を画像１２１とともにディスプレイ１２０において表示させる。アノテーション画像１２２−３１は、図７に示した例におけるアノテーション画像１２２−２ａと同様に、ディスプレイ１２０の右下の領域に配置される。
【０１１２】
なお、上記のような歩数モードにおいて、電子時計１は、外部装置（例えば、電子時計１とは別体のセンサー装置）に含まれるセンサーの計測値を受信し、受信された計測値に基づく値を歩数の計測値として指示してもよい。具体的には、電子時計１とは別体のセンサー装置において、加速度センサーの計測値に基づく歩数の計数が継続的に実行され、電子時計１では、指示モード設定部６１が歩数モードを設定したときに、通信制御部６４がセンサー装置から歩数の計測値を受信してもよい。
【０１１３】
さらに、図示された例において、画像生成部１６４は、通信制御部１６２が受信したデータに基づいて、電子時計１において指示されている歩数に関する他のアノテーション画像１２２−３２〜１２２−３４を生成する。アノテーション画像１２２−３２は、第１サブダイヤル３１上の短針４１１が指す目盛３１１の値（この時点で１）が１０００単位の歩数であることを示す。表示制御部１６５は、アノテーション画像１２２−３２を、画像１２１に被写体として含まれる短針４１１に関連付けて表示させる。同様に、アノテーション画像１２２−３３は、第１サブダイヤル３１上の長針４１２が示す目盛３１１の値（この時点で０）が１００単位の歩数であることを示し、画像１２１に被写体として含まれる長針４１２に関連付けて表示される。また、アノテーション画像１２２−３４は、メインダイヤル３０上のクロノグラフ秒針４０３が指す第２目盛３０２の値（この時点で１４）が１単位の歩数であることを示し、画像１２１に被写体として含まれるクロノグラフ秒針４０３に関連付けて表示される。
【０１１４】
上記のアノテーション画像１２２−３０、１２２−３２〜１２２−３４を表示するために、解析部１６３は、図７に示した例と同様に電子時計１の仕様情報を参照する。上記の例において、解析部１６３は、歩数モードと第２サブダイヤル３２上の短針４２１とを対応付け、また歩数の計測値の複数の要素（１０００単位、１００単位、および１単位の歩数）を第１サブダイヤル３１上の短針４１１および長針４１２、ならびにメインダイヤル３０上のクロノグラフ秒針４０３にそれぞれ対応付ける。
【０１１５】
上記のような第６の画面表示例では、第２〜第５の画面表示例と同様に、電子時計１において歩数モードを指示する指針（第２サブダイヤル３２上の短針４２１）に関連付けてアノテーション画像１２２−３０が表示されるため、指針が歩数モードを指示することをユーザーが認識することが容易になる。また、上記の例では、第２、第３および第５の画面表示例と同様に、電子時計１において歩数の計測値を複数の要素に分解して指示する指針（第１サブダイヤル３１上の短針４１１および長針４１２、ならびにクロノグラフ秒針４０３）のそれぞれに関連付けてアノテーション画像１２２−３２〜１２２−３４が表示されるため、それらの指針が歩数のどの要素を指示しているかをユーザーが認識することが容易になる。これによって、ユーザーは、例えばスマートフォン１００なしで直接的に電子時計１を見た場合にも、歩数モードが設定されていること、および歩数モードにおいて指示されている歩数を容易に認識することができるようになる。
【０１１６】
以上、本発明の一実施形態について説明した。なお、本発明の実施形態は上記の例には限られず、本発明の属する技術の分野における通常の知識を有する者に明らかな範囲でさまざまに変形された実施形態が可能であり、これらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１７】
例えば、上記の実施形態では情報表示装置としてスマートフォン１００を例示したが、他にもパーソナルコンピューターやタブレット、ウェアラブル装置など、様々な装置をスマートフォン１００と同様に情報表示装置として動作させることが可能である。また、カメラ１１０およびディスプレイ１２０を備えるスマートフォン１００のような装置とネットワークを介して通信するネットワーク上のサーバーが上記の制御部１６０（画像認識部１６１、通信制御部１６２、解析部１６３、画像生成部１６４、および表示制御部１６５）の少なくとも一部の機能を提供する場合、当該サーバーが本発明の実施形態に係る情報表示装置になる。
【０１１８】
また、例えば、上記の実施形態では、スマートフォン１００の画像認識部１６１が実行する画像認識処理のための画像辞書が記憶部１４０に記憶されているものとして説明したが、画像辞書の一部または全部はネットワーク上のストレージに記憶され、スマートフォン１００は必要に応じて通信部１５０を用いてストレージから必要とされる画像辞書をダウンロードしてもよい。同様に、解析部１６３が参照する電子時計１の仕様情報の一部または全部がネットワーク上のストレージに記憶され、スマートフォン１００は必要に応じてストレージから必要とされる仕様情報をダウンロードしてもよい。
【０１１９】
また、例えば、上記の実施形態では、電子時計１がダイヤル３にメインダイヤル３０と第１サブダイヤル３１〜第３サブダイヤル３３を含むものとして説明したが、電子時計１はダイヤル３にサブダイヤルを含まなくてもよいし、あるいはダイヤル３に２つまたは４つ以上のサブダイヤルを含んでもよい。また、電子時計１におけるセンサー計測値などの値の指示の方法についても、上記の実施形態における例示に関わらず様々な方法が可能である。
【０１２０】
また、例えば、上記の実施形態では、電子時計１において第１の指示要素（指示要素は、例えばダイヤル３、指針４または日表示部４４）が指示モードを指示し、第１の指示要素とは異なる第２の指示要素が値を指示していたが、他の実施形態では電子時計１の単一の指示要素が指示モードおよび値の両方を指示してもよい。この場合、スマートフォン１００では、表示制御部１６５が、指示モードに関するアノテーション画像１２２と値に関するアノテーション画像１２２の両方を電子時計１の同じ指示要素に関連付けて表示してもよい。
【０１２１】
本発明の実施形態は、例えば、上記で説明したような情報表示装置、情報表示方法、電子時計と情報表示装置とを含むシステム、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
【符号の説明】
【０１２２】
１…電子時計、３…ダイヤル、３０…メインダイヤル、３１…第１サブダイヤル、３２…第２サブダイヤル、３３…第３サブダイヤル、４…指針、４０…センター針、４０１…時針、４０２…分針、４０３…クロノグラフ秒針、４１…第１サブ指針、４２…第２サブ指針、４３…小秒針、５７…通信部、６０…制御部、６１…指示モード設定部、６２…値設定部、６３…駆動制御部、６４…通信制御部、１０…システム、１００…スマートフォン、１１０…カメラ、１２０…ディスプレイ、１２１…画像、１２２…アノテーション画像、１３１…タッチセンサー、１３２…ボタン、１４０…記憶部、１５０…通信部、１６０…制御部、１６１…画像認識部、１６２…通信制御部、１６３…解析部、１６４…画像生成部、１６５…表示制御部。
【図１】
2018159678.tif 000003
【図２】
2018159678.tif 000004
【図３】
2018159678.tif 000005
【図４】
2018159678.tif 000006
【図５】
2018159678.tif 000007
【図６】
2018159678.tif 000008
【図７】
2018159678.tif 000009
【図８】
2018159678.tif 000010
【図９】
2018159678.tif 000011
【図１０】
2018159678.tif 000012
【図１１】
2018159678.tif 000013
【図１２】
2018159678.tif 000014