(57)【要約】【課題】通信遅延の影響を抑えるように画像を表示することができるウェアラブル機器の制御装置等を提供すること。【解決手段】制御装置は、通知部と、表示制御部と、受信部とを具備する。前記通知部は、入力される操作情報に基づくコマンドを発行してこれを外部機器へ通知するように構成される。前記表示制御部は、前記コマンドの発行後、前記外部機器が前記コマンドに基づき画像を生成している時またはこれを送信している時に、ウェアラブル機器の表示部に表示された第１の画像にアニメーション処理を適用するように構成される。前記受信部は、前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成される。【選択図】図７
2015158748.tif 000002
【特許請求の範囲】
【請求項１】
入力される操作イベントを外部機器へ通知するように構成された通知部と、
前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、ウェアラブル機器の表示部に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成された受信部と
を具備する制御装置。
【請求項２】
請求項１に記載の制御装置であって、
前記表示制御部は、前記受信部により受信された前記第２の画像を前記表示部に表示させるように構成される
制御装置。
【請求項３】
請求項２に記載の制御装置であって、
前記表示制御部は、前記第２の画像にアニメーション処理を適用するように構成される
制御装置。
【請求項４】
請求項１に記載の制御装置であって、
前記表示制御部は、前記第１の画像にフェードアウト処理を実行するように構成される
制御装置。
【請求項５】
請求項４に記載の制御装置であって、
前記表示制御部は、前記フェードアウト処理の後、前記受信された第２の画像にフェードイン処理を実行するように構成される
制御装置。
【請求項６】
請求項２に記載の制御装置であって、
前記表示制御部は、前記第１の画像の表示と前記第２の画像の表示との間に、第３の画像を前記表示部に表示させるように構成される
制御装置。
【請求項７】
請求項１に記載の制御装置であって、
前記外部機器により前記操作イベントに基づき第２の画像が生成された後に前記第２の画像を表現する複数のオブジェクトが生成されて送信される場合、前記表示制御部は、前記複数のオブジェクトが生成されている時またはこれが送信されている時に、前記第２の画像にアニメーション処理を適用するように構成される
制御装置。
【請求項８】
請求項１に記載の制御装置であって、
前記表示制御部は、アプリケーションソフトウェア上の第１の画像を前記第１の画像として前記表示部に表示させ、前記アプリケーションソフトウェア上の、前記第１の画像とは異なる第２の画像を前記第２の画像として前記表示部に表示させるように構成される
制御装置。
【請求項９】
請求項１に記載の制御装置であって、
前記表示制御部は、第１のアプリケーションソフトウェア上の画像を前記第１の画像として前記表示部に表示させ、前記第１のアプリケーションソフトウェアとは異なる第２のアプリケーション上の画像を前記第２の画像として前記表示部に表示させるように構成される
制御装置。
【請求項１０】
請求項１に記載の制御装置であって、
前記外部機器は、携帯端末、または、クラウドシステムのサーバコンピュータである
制御装置。
【請求項１１】
請求項１に記載の制御装置であって、
前記表示制御部は、前記アニメーション処理として、前記第１の画像の方向性を表現するように構成される
制御装置。
【請求項１２】
請求項３に記載の制御装置であって、
前記表示制御部は、前記アニメーション処理として、前記第２の画像の方向性を表現するように構成される
制御装置。
【請求項１３】
画像を表示可能なウェアラブル機器の制御装置と通信するように構成された機器内の情報処理装置であって、
前記制御装置から通知される操作イベントを受信するように構成された受信部と、
前記操作イベントに基づき画像を生成するように構成された生成部と、
前記生成された画像を前記制御装置に送信するように構成された送信部と、
前記制御装置が、前記操作イベントの発行後、前記ウェアラブル機器に表示される画像にアニメーション処理を適用している時に、前記生成部による画像の生成または前記送信部による前記生成された画像の送信を実行するように構成された実行部と
を具備する情報処理装置。
【請求項１４】
ウェアラブル機器の表示部に第１の画像を表示し、
入力される操作イベントを外部機器へ通知し、
前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき第２の画像を生成している時またはこれを送信している時に、前記表示部に表示された前記第１の画像にアニメーション処理を適用し、
前記外部機器により生成され送信された前記第２の画像を受信する
制御方法。
【請求項１５】
画像を表示可能なウェアラブル機器の制御装置から通知される操作イベントを受信し、
前記制御装置が、前記操作イベントの通知後、前記ウェアラブル機器に表示される第１の画像にアニメーション処理を適用している時に、通知された前記操作イベントに基づき第２の画像を生成しまたはこれを送信し、
前記生成された第２の画像を前記制御装置に送信する
情報処理方法。
【請求項１６】
画像を表示可能なウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備し、
前記外部機器は、
前記制御装置から通知される操作イベントを受信するように構成された受信部と、
前記受信された操作イベントに基づき画像を生成するように構成された生成部と、
前記生成された画像を前記制御装置に送信するように構成された送信部とを含み、
前記制御装置は、
入力された前記操作イベントを前記外部機器へ通知するように構成された通知部と、
前記操作イベントの通知後、前記生成部が前記操作イベントに基づき前記画像を生成している時または前記送信部が前記生成された画像を送信している時に、前記ウェアラブル機器に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記送信部から送信された、前記生成された画像である第２の画像を受信可能に構成された受信部とを含む
情報処理システム。
【請求項１７】
操作イベントが入力されるように構成された操作部と、
画像を表示するように構成された表示部と、
前記操作イベントを外部機器へ通知するように構成された通知部と、
前記操作イベントの発行後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、前記表示部に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成された受信部と
を具備するウェアラブル機器。
【請求項１８】
入力される操作イベントを外部機器へ通知するように構成された通知部と、
前記外部機器から送信された画像を受信するように構成された受信部と、
前記受信された画像を格納するように構成された格納部と、
複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち１つの画像をウェアラブル機器に表示させるように構成された表示制御部と、
前記操作イベントの通知に基づき前記外部機器から送信された第１の画像を前記受信部で受信した場合、これを前記表示制御部で表示し、かつ、前記外部機器から送信された、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を受信してこれを前記格納部に格納するように構成された制御部と
を具備する制御装置。
【請求項１９】
画像を表示可能なウェアラブル機器の制御装置と通信するように構成された機器内の情報処理装置であって、
複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち少なくとも１つの画像を前記ウェアラブル機器に表示させるように構成された前記制御装置から通知される操作イベントを受信するように構成された受信部と、
画像を生成してこれを前記制御装置へ送信するように構成された送信部と、
前記受信された操作イベントに基づき第１の画像を生成して前記送信部によりこれを前記制御装置に送信し、かつ、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を、前記送信部により前記制御装置に送信するように構成された制御部と
を具備する情報処理装置。
【請求項２０】
請求項１９に記載の情報処理装置であって、
前記情報処理装置は、ＡＰＩ（Application Programming Interface）として機能する
を具備する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ウェアラブル機器を制御する制御装置、情報処理装置、情報処理システム、制御方法、情報処理方法、およびウェアラブル機器に関する。
【背景技術】
【０００２】
ユーザの頭部に装着され、眼前に配置されたディスプレイによってユーザに画像を提示することが可能な、ヘッドマウントディスプレイ（ＨＭＤ）が知られている。
【０００３】
特許文献１に記載されたヘッドマウントディスプレイ（撮像表示装置）は、外部機器と通信可能に構成され、外部機器から送信されてきた画像を表示するようになっている（例えば、特許文献１の明細書段落［００２３］参照）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１４１２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ウェアラブル機器が外部機器と通信する場合に、通信遅延が発生すると、画像の表示が遅れるという問題がある。
【０００６】
本技術の目的は、通信遅延の影響を抑えるように画像を表示することができるウェアラブル機器、またこの制御装置等を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術に係る制御装置は、通知部と、表示制御部と、受信部とを具備する。
前記通知部は、入力される操作イベントを外部機器へ通知するように構成される。
前記表示制御部は、前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、ウェアラブル機器の表示部に表示された第１の画像にアニメーション処理を適用するように構成される。
前記受信部は、前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成される。
【０００８】
表示制御部は、操作イベントの通知後、外部機器がその操作イベントに基づき画像を生成している時またはこれを送信している時に、現在表示されている第１の画像にアニメーション処理を適用するように構成される。したがって、制御装置は、通信遅延による表示画像の遅延をカバーし、ユーザにストレスのない見やすい画像を提供することができる。
【０００９】
前記表示制御部は、前記受信部により受信された前記第２の画像を前記表示部に表示させるように構成されてもよい。また、前記表示制御部は、前記第２の画像にアニメーション処理を適用するように構成されてもよい。
【００１０】
前記表示制御部は、前記第１の画像にフェードアウト処理を実行するように構成されてもよい。前記表示制御部は、前記フェードアウト処理の後、前記受信された第２の画像にフェードイン処理を実行するように構成されてもよい。
制御装置は、フェードアウトおよびフェードイン処理により、ユーザにシームレスな画像の切り替えを提供することができる。
【００１１】
前記表示制御部は、前記第１の画像の表示と前記第２の画像の表示との間に、第３の画像を前記表示部に表示させるように構成されてもよい。
制御装置は、第１の画像および第２の画像の表示の間に第３の画像を挿入することにより通信遅延をカバーすることができる。この第３の画像の表示期間が可変であってもよい。この場合、表示時間は通信の遅延時間に応じて変化してもよい。
【００１２】
前記外部機器により前記操作イベントに基づき第２の画像が生成された後に前記第２の画像を表現する複数のオブジェクトが生成されて送信される場合、前記表示制御部は、前記複数のオブジェクトが生成されている時またはこれが送信されている時に、前記第２の画像にアニメーション処理を適用するように構成されていてもよい。
すなわち、ユーザにアニメーションを提示している時に、外部機器は複数のオブジェクトを制御装置に送信するので、制御装置は、ユーザにストレスを感じさせる表示を提示することなく、比較的容量の大きい複数のオブジェクトを取得することができる。
また、制御装置は、複数のオブジェクトの受信によりその後のそれらオブジェクトにそれぞれ処理を実行することができ、多様なアプリケーションソフトウェアに対応することができる。
【００１３】
前記表示制御部は、アプリケーションソフトウェア上の第１の画像を前記第１の画像として前記表示部に表示させ、前記アプリケーションソフトウェア上の、前記第１の画像とは異なる第２の画像を前記第２の画像として前記表示部に表示させるように構成されてもよい。
【００１４】
前記表示制御部は、第１のアプリケーションソフトウェア上の画像を前記第１の画像として前記表示部に表示させ、前記第１のアプリケーションソフトウェアとは異なる第２のアプリケーション上の画像を前記第２の画像として前記表示部に表示させるように構成されてもよい。
【００１５】
前記表示制御部は、前記アニメーション処理として、前記第１の画像および第２の画像のうち少なくとも一方の方向性を表現するように構成されてもよい。
【００１６】
本技術に係る情報処理装置は、画像を表示可能なウェアラブル機器の制御装置と通信するように構成される機器内の情報処理装置であって、受信部と、生成部と、送信部と、実行部とを具備する。
前記受信部は、前記制御装置から通知される操作イベントを受信するように構成される。
前記生成部は、前記操作イベントに基づき画像を生成するように構成される。
前記送信部は、前記生成された画像を前記制御装置に送信するように構成される。
前記実行部は、前記制御装置が、前記操作イベントの発行後、前記ウェアラブル機器に表示される画像にアニメーション処理を適用している時に、前記生成部による画像の生成または前記送信部による前記生成された画像の送信を実行するように構成される。
【００１７】
本技術に係る制御方法は、ウェアラブル機器の表示部に第１の画像を表示することを含む。
入力される操作イベントが外部機器へ通知される。
前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき第２の画像を生成している時またはこれを送信している時に、前記表示部に表示された前記第１の画像にアニメーション処理が適用される。
前記外部機器により生成され送信された前記第２の画像が受信される。
【００１８】
本技術に係る情報処理方法は、画像を表示可能なウェアラブル機器の制御装置から通知される操作イベントを受信することを含む。
前記制御装置が、前記操作イベントの通知後、前記ウェアラブル機器に表示される第１の画像にアニメーション処理を適用している時に、前記通知された操作イベントに基づき第２の画像が生成され、またはこれが送信される。
前記生成された第２の画像が前記制御装置に送信される。
【００１９】
本技術に係る情報処理システムは、画像を表示可能なウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備する。
前記外部機器は、前記制御装置から通知される操作イベントを受信するように構成された受信部と、前記受信された操作イベントに基づき画像を生成するように構成された生成部と、前記生成された画像を前記制御装置に送信するように構成された送信部とを含む。
前記制御装置は、入力された前記操作イベントを前記外部機器へ通知するように構成された通知部と、前記操作イベントの通知後、前記生成部が前記操作イベントに基づき前記画像を生成している時または前記送信部が前記生成された画像を送信している時に、前記ウェアラブル機器に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、前記送信部から送信された、前記生成部により生成された画像である第２の画像を受信可能に構成された受信部とを含む。
【００２０】
本技術に係るウェアラブル機器は、操作部と、表示部と、通知部と、表示制御部と、受信部とを具備する。
前記操作部は、操作イベントが入力されるように構成される。
前記表示部は、画像を表示するように構成される。
前記通知部は、前記操作イベントを外部機器へ通知するように構成される。
前記表示制御部は、前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、前記表示部に表示された第１の画像にアニメーション処理を適用するように構成される。
前記受信部は、前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成される。
【００２１】
本技術に係る他の制御装置は、通知部と、受信部と、格納部と、表示制御部と、制御部とを具備する。
前記通知部は、入力される操作イベントを外部機器へ通知するように構成される。
前記受信部は、前記外部機器から送信された画像を受信するように構成される。
前記格納部は、前記受信された画像を格納するように構成される。
前記表示制御部は、複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち少なくとも１つの画像をウェアラブル機器に表示させるように構成される。
前記制御部は、前記操作イベントの通知に基づき前記外部機器から送信された第１の画像を前記受信部で受信した場合、以下の処理を実行するように構成される。すなわち、前記制御部は、前記第１の画像を前記表示制御部で表示し、かつ、前記外部機器から送信された、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を受信してこれを前記格納部に格納するように構成される。
【００２２】
本技術に係る他の情報処理装置は、画像を表示可能なウェアラブル機器の制御装置と通信するように構成された機器内の情報処理装置であって、受信部と、送信部と、制御部とを具備する。
前記受信部は、複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち少なくとも１つの画像を前記ウェアラブル機器に表示させるように構成された前記制御装置から通知される操作イベントを受信するように構成される。
前記送信部は、画像を生成してこれを前記制御装置へ送信するように構成される。
前記制御部は、前記受信された操作イベントに基づき第１の画像を生成して前記送信部によりこれを前記制御装置に送信し、かつ、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を、前記送信部により前記制御装置に送信するように構成される。
【００２３】
本技術に係る他の情報処理装置は、画像を表示可能なウェアラブル機器の制御装置と通信するように構成された外部機器と通信するように構成された機器内の情報処理装置である。この情報処理装置は、受信部と、送信部と、制御部とを具備する。
前記受信部は、複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち少なくとも１つの画像を前記ウェアラブル機器に表示させるように構成された前記制御装置から通知される操作イベントを、前記外部機器を介して受信するように構成される。
前記送信部は、画像を生成してこれを前記外部機器を介して前記制御装置へ送信するように構成される。
前記制御部は、前記受信された操作イベントに基づき第１の画像を生成して前記送信部によりこれを前記外部機器を介して前記制御装置に送信し、かつ、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を、前記送信部により前記外部機器を介して前記制御装置に送信するように構成される。
【発明の効果】
【００２４】
以上、本技術によれば、通信遅延の影響を抑えるように画像の表示を制御することができる。
【００２５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２６】
【図１】図１は、本技術に係る情報処理システムとして、第１の実施形態に係るシステムの構成を示す。
【図２】図２は、本システムの各機器の構成を示すブロック図である。
【図３】図３は、携帯端末およびコントロールボックスにそれぞれ搭載されるソフトウェアの構成を示す。
【図４】図４は、ウェアラブル機器の表示部に表示される画面の例を示す。
【図５】図５Ａ、Ｂは、カード画像やアプリ画像を配置させる場を表す座標系を示す。
【図６】図６は、アニメーション効果を用いて、カード階層からアプリ階層への画面の切替の様子を示す。
【図７】図７は、図６に示す切替処理におけるシステムのシーケンス図である。
【図８】図８は、図７に示したシーケンスにおけるパイプライン処理（並列処理）を示す図である。
【図９】図９は、アニメーション処理を用いて、上記とは逆に、アプリ階層からカード階層への画面の切替の様子を示す。
【図１０】図１０は、図９に示す切替処理におけるシステムのシーケンス図である。
【図１１】図１１は、アニメーション処理を用いて、右スワイプ操作によるカード階層内での画面の切替の様子を示す。
【図１２】図１２は、図１１に示す切替処理におけるシステムのシーケンス図である。
【図１３】図１３は、アニメーション処理を用いて、左スワイプ操作によるカード階層内での画面の切替の様子を示す。
【図１４】図１４は、図１３に示す切替処理におけるシステムのシーケンス図である。
【図１５】図１５は、カード階層内でのカード画面の切り替えの動作を説明するための図である。
【図１６】図１６は、カード階層内のカード画像、およびアプリ階層内の、任意の１つのアプリのアプリ画像の配置の例を示す。
【図１７】図１７は、スワイプ操作による、カード階層内における画像の切替処理を示すシーケンスである。
【図１８】図１８は、タップ操作を含む操作イベントによる画像の切替処理を示すシーケンスである。
【図１９】図１９は、図１７に示したシーケンスに対応する、開発者作成アプリを含むシステムのシーケンスを示す。
【図２０】図２０は、図１８に示したシーケンスに対応する、開発者作成アプリを含むシステムのシーケンスを示す。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本技術の実施形態を説明する。
【００２８】
１．第１の実施形態
【００２９】
１）ウェアラブル機器を用いた情報処理システムの全体構成
図１は、本技術に係る情報処理システムとして、第１の実施形態に係るシステム１００の構成を示す。
【００３０】
このシステム１００は、主に、携帯端末３０、ウェアラブル機器（ウェアラブルディスプレイ）７０、およびこのウェアラブル機器７０を制御する制御装置として機能するコントロールボックス５０を含む。
【００３１】
携帯端末３０は、情報処理装置として機能し、典型的にはスマートホン等の携帯電話機である。携帯端末３０は、タブレット機器、その他ＰＣ（Personal Computer）であってもよい。
【００３２】
ウェアラブル機器７０は、図に示すようにヘッドマウント型のものであるが、これに限られず、例えばリストバンド型やネックバンド型のものであってもよい。
【００３３】
携帯端末３０は、クラウドシステム１０に接続可能に構成されている。クラウドシステム１０は、例えばインターネット等の電気通信回線網に接続されたサーバコンピュータ等により構成される。
【００３４】
コントロールボックス５０は、典型的には、ウェアラブル機器７０に有線により接続されている。ユーザは、ウェアラブル機器７０を頭部に装着し、コントロールボックス５０を手指により操作することにより、ウェアラブル機器７０を操作することができる。
【００３５】
２）各機器の構成
図２は、本システム１００の各機器の構成を示すブロック図である。
【００３６】
２−１）携帯端末
携帯端末３０（例えばスマートホン）は、主に、ＣＰＵ（Central Processing Unit）３１、メモリ３２、タッチパネル／表示部３５、広域通信部３３、および局域通信部３４を有する。また、携帯端末３０は、その他、モーションセンサやカメラ等を含む各種センサ３７、ＧＰＳ（Global Positioning System）受信部３６、オーディオデバイス部３８、バッテリ３９等を有する。少なくとも携帯端末３０（または、携帯端末３０およびクラウドシステム１０）は、ウェアラブル機器７０の外部機器として機能する。
【００３７】
広域通信部３３は、例えば３Ｇ（Third Generation）やＬＴＥ（Long Term Evolution）等の通信システムにより通信可能に構成される。局域通信部３４は、例えばWiFi等の無線ＬＡＮ（Local Area Network）通信システム、および／または、Bluetooth（登録商標）、赤外線等の短距離無線通信システムにより通信可能に構成される。局域通信部３４は、コントロールボックス５０との間の「受信部」や「送信部」として機能する。
【００３８】
携帯端末３０は、局域通信部３４とは別に、例えばＲＦＩＤ（Radio Frequency IDentification）等の、いわゆる近距離無線通信システムを利用する個体識別デバイスを有していてもよい。
【００３９】
オーディオデバイス部３８は、マイクロフォンおよびスピーカを含む。
【００４０】
２−２）ウェアラブル機器
ウェアラブル機器７０は、表示部７１および各種のセンサ７２〜７５、カメラ７８を有する。表示部７１は、図１に示すように、例えばヘッドマウント型のウェアラブル機器７０のフレーム７６の左右に配置される小型のプロジェクタである。このヘッドマウント型のウェアラブル機器７０では、各プロジェクタから出射された同一または視差を持つ画像光が導光板７７でガイドされ、導光板７７の所定領域からユーザの眼球に向けて出射されるようになっている。
【００４１】
ウェアラブル機器７０の各種のセンサとしては、例えば、地磁気センサ７２、ジャイロセンサ７３、加速度センサ７４、照度センサ７５等がある。
【００４２】
なお、ウェアラブル機器７０では、左右のうち一方にのみ表示部７１が設けられていてもよい。ウェアラブル機器７０は、プロジェクタタイプのものに限られず、眼球に直接画像光を照射するタイプの表示部７１を備えていてもよい。
【００４３】
２−３）コントロールボックス
コントロールボックス５０は、ＣＰＵ５１、メモリ５２、局域通信部５４、入力キー５３、タッチパネル５５、オーディオデバイス部５８、バッテリ５９等を有する。
【００４４】
ＣＰＵ５１は、コントロールボックス５０内およびウェアラブル機器７０内の各部を統括的に制御する。コントロールボックス５０は、ＣＰＵ５１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）を備えていてもよい。
【００４５】
局域通信部５４は、携帯端末３０の局域通信部３４と、上記した通信システムにより通信可能に構成される。局域通信部５４は、携帯端末３０との間の「受信部」または「送信部」として機能する。
【００４６】
入力キー５３は、コントロールボックス５０に配置された、ユーザにより操作される１以上の物理キーである。入力キー５３は、例えば電源キー、バックキー、表示部７１のON/OFFキー等を含む。
【００４７】
タッチパネル５５は、コントロールボックス５０の表面に配置された（図１参照）、ユーザにより操作される操作デバイスである。入力キー５３およびタッチパネル５５は、ウェアラブル機器７０の「操作部」として機能する。
【００４８】
オーディオデバイス部５８は、マイクロフォンおよびスピーカを含む。
【００４９】
コントロールボックス５０は、局域通信部５４とは別に、例えば上述したＲＦＩＤ等の近距離無線通信システムを利用する通信デバイスを有していてもよい。これにより、ユーザは、携帯端末３０内の所定のアプリケーションソフトウェアを起動し、携帯端末３０をコントロールボックス５０に接近させることにより、ほぼ自動的にこれらの機器をペアリングすることができる。
【００５０】
また例えば、ユーザが携帯端末３０をコントロールボックス５０に接近させることにより、携帯端末３０は、これらをペアリングするためのアプリケーションソフトウェアを、ほぼ自動的にクラウドからダウンロードしてこれがインストールされるようにすることもできる。
【００５１】
もちろん、コントロールボックス５０は、このような近距離無線通信用のデバイスを有していない場合でも、局域通信部５４を用いて携帯端末３０とペアリングが可能である。
【００５２】
２−４）クラウドシステム
クラウドシステム１０内の例えばサーバコンピュータは、ＣＰＵ１１、メモリ１２、および携帯端末３０と通信可能に構成された広域通信部１３を有する。
【００５３】
３）ソフトウェアの構成
図３は、携帯端末３０およびコントロールボックス５０にそれぞれ搭載されるソフトウェアの構成を示す。
【００５４】
携帯端末３０は、一般のアプリケーションソフトウェア（以下、単に「アプリ」という。）２６およびコンパニオンアプリ２５をメモリ３２内に格納している。これらのアプリ２５、２６は、携帯端末３０にデフォルトでインストールされたＯＳ（Operating System）上で動作するように構成される。
【００５５】
一般のアプリ２６の種類としては、例えば、ミニブログや交流サイト等のＳＮＳ（Social Networking Service）アプリ、音声認識アプリ、カメラアプリ、メディア再生、ニュース、天気予報サービス等がある。
【００５６】
コンパニオンアプリ２５は、これらのアプリ２６上のデフォルトデータやユーザデータを、ウェアラブル機器７０の表示部７１に表示可能な形式のデータに変換する機能を有する。携帯端末３０は、例えば、コンパニオンアプリ２５をクラウドシステム１０からダウンロードすることにより、コンパニオンアプリ２５がこの携帯端末３０にインストールされる。
【００５７】
コントロールボックス５０は、ペアリング後にコンパニオンアプリ２５と協働するファームウェア４５をメモリ５２内に有する。ファームウェア４５には、カメラ７８を動作させるカメラアプリや、後述する設定画面での設定アプリ等がデフォルトでインストールされている。
【００５８】
４）ウェアラブル機器で表示される画面例および本システムの動作例
４−１）ウェアラブル機器に表示される画面例
図４は、ウェアラブル機器７０の表示部７１に表示される画面の例を示す。なお、以降では説明の便宜上、携帯端末３０の処理の主体をコンパニオンアプリ２５とし、コントロールボックス５０の処理の主体をファームウェア４５とする。
【００５９】
４−１ａ）カード階層の画面例
図４の上段に示す階層を「カード（Card）階層」という。カード階層２００は、例えばデフォルトでホーム画面２１１および設定画面２１２等を含む、各種のカード画面２１０を含む。また、カード階層２００は、その他、ユーザが登録したアプリ２６（図３参照）のカード画面２１０（２１３）を含む。
【００６０】
カード画面２１０は、カード画面全体の領域のうち、例えば概ね下半分の領域に配置される画像２１５を含む。１つのカード画面２１０（および後述するアプリ画面３１０）が占める領域が、表示部７１による表示領域である。以降の説明では、カード画面２１０が占める領域の画像を、カード画像という。ここでいうカード画像（ホーム画面２１１のカード画像を除く）とは、アイコンやウィジェットのようなものであり、アプリにアクセスするためのＧＵＩ（Graphical User Interface）である。１つのカード画面２１０につき１つのカード画像が備えられる。
【００６１】
ユーザは、登録によりカード画像、特に画像２１５を追加していくことができる。例えばユーザが携帯端末３０を用いてその携帯端末３０にインストールされたアプリ２６に登録操作を行うことにより、コンパニオンアプリ２５がそのアプリ２６に応じたカード画像を生成する。
【００６２】
アプリに応じたカード画像とは、例えばカード画像内にそのアプリとわかるマークや文字を含む画像である。後述するように、基本的にはコンパニオンアプリ２５が、自身で生成したカード画像をメモリ３２に格納し、また、ファームウェア４５もそれらのうち所定枚数のカード画像をメモリ５２に格納する。
【００６３】
コントロールボックス５０内のファームウェア４５は、これらのカード画面２１０を１つずつ表示部７１に表示するように構成される。同一階層内では、ユーザがタッチパネル５５を介して左右スワイプ操作を入力することにより、ファームウェア４５は、順にそれらのカード画面２１０を表示部７１に表示させる。
【００６４】
なお、カード画面２１０のうち設定画面２１２からアクセス可能な「設定」もアプリケーションソフトウェアの１つであり、このコントロールボックス５０に内蔵のデフォルトのアプリである。
【００６５】
４−１ｂ）アプリ階層の画面例
図４の下段に示す階層を「アプリ階層３００」という。アプリ階層３００は、基本的にはカード階層２００を介してアクセスされ得、各カード画面２１０のそれぞれのアプリが起動されたアプリ画面（でのアプリ画像）３１０を含む。
【００６６】
表示部７１は、これらのアプリ画像３１０を１つずつ表示する。ユーザは、カード階層２００を介してアプリ階層３００にアクセスすることができる。ユーザがアプリ階層３００にアクセスする場合、カード階層２００内で選択したカード画面２１０を表示部７１に表示させた状態で、タップ操作する。そうすると、ファームウェア４５は、そのカード画面２１０に対応するアプリ画像３１０を表示部７１に表示させる。
【００６７】
そのアプリ画像３１０からカード画面２１０に戻る場合、ユーザは、コントロールボックス５０の入力キー５３（図２参照）として設けられたバックキーを押す。
【００６８】
また、ユーザは、アプリ階層３００内において任意の１つのアプリ画像３１０が表示されている状態で、タッチパネル５５を左右にスワイプ操作することにより、その１つのアプリ内でアプリ画像３１０を切り替えることができる。例えば、１つのアプリ内の第１の機能と、そのアプリの第１の機能とは異なる機能を有する第２の機能とを切り替えることができる。その機能数（アプリ画像数）は、アプリにより異なる。
【００６９】
アプリがカメラアプリである場合、例えば、第１の機能が静止画撮影モードの画面を有し、第２の機能が動画撮影モードの画面である。なお、ファームウェア４５にデフォルトでインストールされているカメラアプリは、カメラ７８で得られている画像を表示部７１に表示する。
【００７０】
なお、ユーザによる指のスワイプ操作の方向と、画像の移動方向とが一致していてもよいし、逆方向であってもよい。これはユーザの設定により変更可能とされる。
【００７１】
４−１ｃ）画像配置の座標系
図５Ａ、Ｂは、カード画面２１０やアプリ画像３１０を配置させる場を表す座標系を示す。コントロールボックス５０は、このような座標系を、階層ごとにメモリ５２内に記憶しており、またこの座標系で表されるカード画面２１０（カード画像）やアプリ画像３１０の座標（位置情報）をメモリ５２に記憶する。ホーム画面２１１や設定画面２１２のカード画像、およびそれらの位置情報は、デフォルトで記憶されている。また、アプリ階層では、アプリが複数ある場合、アプリごとにこの座標系が記憶される。
【００７２】
図５Ａに示す例では、カード階層の座標系においてカード画面２１０の画像がＸ軸に沿って配列され、各画像の代表点である例えば左上端部の点（黒丸で示す）の座標位置がそれぞれメモリに格納される。アプリ階層の座標系においても同様である。これにより、ファームウェア４５は、ユーザにより、右スワイプまたは左スワイプの操作イベントが入力された場合、その操作イベントに応じて画像の座標を指定することにより、メモリ５２からその座標に対応する画像を抽出して、表示部７１に表示する。なお、図５Ａに示す例では、例えばホーム画面２１１の座標（x,y）が原点（0,0）に設定されている。
【００７３】
また、ファームウェア４５は、タップまたはバックキーによる操作イベントが入力された場合、その操作イベントに応じて、座標系に基づき指定された座標に対応するカード階層およびアプリ階層間を行き来する。また、ファームウェア４５は、指定された座標に対応するカード画面２１０（カード画像）またはアプリ画像３１０を表示する。
【００７４】
図５に示す例のアプリ階層の座標系では、アプリ（ａ）を示すカード画像（ａ）に対応するアプリ画像が、Ｘ軸に沿って配置される（アプリ画像（ａ−１）、アプリ画像（ａ−２）、アプリ画像（ａ−３）、・・・）。アプリ（ａ）を示すカード画像（ａ）の座標（x,y）を（x1,0）とすると、カード画像（ａ）の表示状態からタップ操作により最初に表示されるアプリ画像（ａ−１）の位置は例えば（x1,0）とされる。カード画像（ｂ）の場合、アプリ階層で最初に表示されるアプリ画像の位置は例えば（x2,0）とされる。
【００７５】
しかしながら、アプリ階層において、アプリごとに（0,0）が最初に表示されるアプリ画像の位置であってもよい。
【００７６】
後述するように、１つのカード画像が複数のオブジェクト２１０ａで構成される場合、図５Ｂに示すように、それらのオブジェクト２１０ａごとにそれらの座標位置がメモリ５２内に記憶される。図５Ｂでは、カード階層の座標系のみ示したが、アプリ階層でも同様である。
【００７７】
４−２）カード階層からアプリ階層への画面の切替処理
図６は、アニメーション処理を用いて、カード階層２００からアプリ階層３００への画面の切替の様子を示したものである。
【００７８】
カード階層２００の任意のカード画面２１０が表示されている状態で、ユーザによりタッチパネル５５を介してタップ操作が入力された場合、ファームウェア４５は、図６右に示すように、（１）〜（５）の順で、アニメーションを表示する。
【００７９】
（１）〜（２）では、ファームウェア４５は、それまで表示されていたカード画像（第１の画像）をフェードアウトさせる。ここでのフェードアウト処理は、時間順に段階的に低くなる表示輝度（または透明度、以下同じ）を持つ複数のカード画像を所定のフレームレートで表示する処理である。このフレームレートは、例えば１５fpsであるが、これはあくまで例示であり、これより小さくても大きくてもよい。また、ファームウェア４５は、このフェードアウト処理とともに、段階的にカード画像のサイズを拡大する処理も実行する。
【００８０】
（３）では、ファームウェア４５は、フェードアウト処理を終了すると、カード画像の表示を消す。このように画像（第１の画像）が消えた後の画面であって、無模様でかつその第１の画像の表示時の背景色が維持される画面の画像（第３の画像）を、以降では、「空白画像」という。
【００８１】
（４）〜（５）では、ファームウェア４５は、上記カード画像のアプリに対応するアプリ画面３１０上のアプリ画像（第２の画像）をフェードインさせる。ここでのフェードイン処理は、時間順に段階的に高くなる表示輝度を持つ複数のカード画像を所定のフレームレートで表示する処理である。このフレームレートは、例えば１５fpsであるが、これはあくまで例示であり、これより小さくても大きくてもよい。また、ファームウェア４５は、このフェードイン処理とともに、段階的にカード画像のサイズを拡大する処理（小さいサイズから元のサイズへ戻す処理）も実行する。
【００８２】
なお、上記ではカード画像を「第１の画像」と表現し、アプリ画像を「第２の画像」と表現したが、これは単に説明の便宜のためである。すなわち、２つの画像の切替時に、画像の表示順としてこれを「第１」、「第２」と表現したに過ぎない。
【００８３】
ファームウェア４５は、（３）において空白画像１５０を挿入したが、これは無くてもよい。すなわち、フェードアウト処理に続くようにフェードイン処理が行われてもよい。このような形態であっても、第１の画像および第２の画像の表示輝度によっては、ユーザには空白画像１５０が挿入されていると認識される場合もある。
【００８４】
また、これらフェードイン処理およびフェードアウト処理では、フレームごとの輝度の変更およびサイズの変更のうちいずれか一方が実行されるようにしてもよい。
【００８５】
図７は、図６に示す切替処理におけるシステム１００のシーケンス図である。なお、図７に示すように、コンパニオンアプリ２５およびファームウェア４５間の斜めで示す矢印は、それらの間に通信遅延が発生する可能性があることを示すものである。このことは、他のシーケンス図でも同様である。
【００８６】
カード階層２００でカード画面２１０が表示されている状態で、ユーザがタッチパネル５５を介してタップ操作を入力する（ステップ１）。そうすると、コントロールボックス５０のファームウェア４５は、その操作イベントを携帯端末３０に通知する（ステップ２）。この場合、ファームウェア４５（またはＣＰＵ５１）および局域通信部３４は、「通知部」として機能する。
【００８７】
携帯端末３０のコンパニオンアプリ２５は、その操作イベントの通知を受け、その操作イベントに基づき、そのカード画面２１０のカード画像に対応するアプリ画像３１０を生成する（ステップ４）。この場合、コンパニオンアプリ２５およびＣＰＵ３１は「生成部」として機能する。
【００８８】
このアプリ画像は１つのオブジェクトで生成される。そして、コンパニオンアプリ２５は、生成した１つのオブジェクトで構成されるアプリ画像３１０をコントロールボックス５０に送信する（ステップ５）。この場合、主に局域通信部３４は、「送信部」として機能する。
【００８９】
一方、ファームウェア４５は、操作イベントを通知した後、現在表示しているカード画像に、上記のアニメーション処理を適用する（ステップ３）。カード画像へのアニメーション処理は、ステップ４で携帯端末３０がアプリ画像を生成している時、またはこれをファームウェア４５に送信している時に行われる。
【００９０】
ステップ３のアニメーション処理は、ファームウェア４５は、上述したフェードアウト処理である。すなわちファームウェア４５は、サイズおよび輝度のそれぞれ異なる、アニメーションのための画像群を、上記したフレームレートで表示する。
【００９１】
ステップ３でのアニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、既にステップ５で送信されたアプリ画像３１０を受信している場合、受信したアプリ画像３１０にアニメーション処理、ここでは上述したフェードイン処理を適用する（ステップ６）。
【００９２】
一方、アニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ５で送信されたアプリ画像３１０を受信していない場合、その受信を待つ。受信後、上記同様に、受信したアプリ画像３１０にフェードイン処理が適用される（ステップ６）。
【００９３】
アニメーション処理を実行する場合、ファームウェア４５（またはＣＰＵ５１）は、「表示制御部」として機能する。
【００９４】
一方、コンパニオンアプリ２５は、ステップ５の後、コントロールボックス５０に送信したアプリ画像３１０と同一の画像であって、複数のオブジェクトで構成されるアプリ画像を生成し（ステップ７）、このアプリ画像をコントロールボックス５０に送信する（ステップ８）。ファームウェア４５は、ステップ７でコンパニオンアプリ２５が複数のオブジェクトで構成されるアプリ画像を生成している時（またはファームウェア４５に送信している時）に、上記アプリ画像のフェードイン処理を実行している（ステップ６）。
【００９５】
そして、ステップ６でのアニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ８で送信された複数オブジェクトで構成されるアプリ画像を受信している場合、次の処理を実行する。すなわちファームウェア４５は、現在表示している１つのオブジェクトで構成されるアプリ画像３１０を、受信した複数オブジェクトで構成されるアプリ画像に置き換える（ステップ９）。
【００９６】
一方、アニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ８で送信された複数のオブジェクトで構成されたアプリ画像を受信していない場合、その受信を待つ。受信後、上記同様に、ファームウェア４５は、現在表示している１つのオブジェクトで構成されるアプリ画像３１０を、受信した複数オブジェクトで構成されるアプリ画像に置き換える（ステップ９）。
【００９７】
図８は、図７に示したシーケンスにおけるパイプライン処理（並列処理）を示す図である。図に示すように、ステップ（２、４、５）の処理と、ステップ３の処理とについてパイプライン処理が実行される。また、ステップ（７、８）の処理と、ステップ６の処理とについてパイプライン処理が実行される。また、携帯端末３０のＣＰＵは、ステップ５およびステップ７の処理もパイプライン処理で実行することができる。
【００９８】
なお、図８では、説明を理解しやすくするため、パイプライン処理を模式的に示したものである。例えば、ステップ２および３のそれぞれの終了タイミング等が同じである必要もなく、また、ステップ５および７のそれぞれの開始タイミング等が同じである必要もない。
【００９９】
以上のように、コントロールボックス５０は、タップ操作による操作イベントの通知後、携帯端末３０がその操作イベントに基づき画像を生成またはこれを送信する処理と並行して、現在表示されている第１の画像にアニメーション処理を適用するように構成される。したがって、通信遅延が発生する場合でも、コントロールボックス５０は、タップ操作後のカード階層２００からアプリ階層３００への画面の切替時における、コマ落ちやぎくしゃくする状態の発生を抑えることができる。これにより、ユーザにストレスのない見やすい画像を提供することができる。
【０１００】
例えば、局域通信部３４の通信システムとしてBluetooth（登録商標）等の、WiFiに比べ通信速度が低いシステム１００が利用される場合であっても、本実施形態によれば十分にその遅延の影響を抑えることができる。これにより、WiFiを利用する場合に比べ、コントロールボックス５０の省電力を実現できる。
【０１０１】
特に、フェードアウト処理後フェードイン処理が実行されることにより、ユーザにシームレスな画像の切り替えを提供することができる。
本実施形態では、カード階層（上の階層）からアプリ階層（下の階層）への画像の切替では、カード階層の等倍画像が拡大して消えて、アプリ階層の画像が拡大して等倍になる。また、アプリ階層（下の階層）からカード階層（上の階層）への画像の切替では、アプリ階層の等倍画像が縮小して消えて、カード階層の画像が縮小して画像が等倍になる。
このように、上から下への移動は「拡大」、下から上への移動は「縮小」というアニメーション処理により、画像の移動の方向性が表現されるので、ユーザにとっての見え方の直感性が向上する。
【０１０２】
本実施形態では、フェードアウト処理とフェードイン処理との間に空白画像１５０が挿入されるので、これによっても通信遅延の影響を抑えることができる。例えばファームウェア４５は、通信遅延時間に応じて、空白画像１５０の表示時間を可変に制御することができる。例えばステップ５で通信遅延が発生したとしても、ファームウェア４５がアプリ画像３１０を受信するまで、その空白画像１５０を表示していればよい。したがって、ユーザによってはカード画像のフェードアウト処理後の時間が多少長いと感じる場合があるだけで、コマ落ちなどが発生する場合に比べ、ストレスを感じない。
【０１０３】
本実施形態では、ステップ６でユーザにアニメーションを提示している時に、携帯端末３０は複数のオブジェクトをコントロールボックス５０に送信する。したがって、コントロールボックス５０は、ユーザにストレスを感じさせる表示を提示することなく、比較的容量の大きい複数のオブジェクトを取得することができる。
【０１０４】
また、ステップ９では、ファームウェア４５は、ステップ５で受信した１つのオブジェクトで構成されるアプリ画像３１０を、それら複数のオブジェクトで構成されるアプリ画像に置き換える。したがって、ファームウェア４５は、複数のオブジェクトにそれぞれ処理を実行することができ、多様なアプリに対応することができる。例えば、複数のオブジェクトとして、ロゴマーク画像と、テキストを表す画像を分けることにより、ファームウェア４５は、ロゴマークをアプリ画面上の所定領域に表示したまま、テキストの画像のみをスクロール表示等する、といった処理を実行することができる。
【０１０５】
本実施形態では、ステップ８で通信遅延が発生したとしても、その後の操作受付が遅れるだけなので、画面の切替時のコマ落ちやぎくしゃく状態の発生を抑えることができる。
【０１０６】
４−４）アプリ階層からカード階層への画面の切替処理
図９は、アニメーション処理により、上記とは逆に、アプリ階層３００からカード階層２００への画面の切替の様子を示したものである。
【０１０７】
アプリ階層３００の任意のアプリ画面３１０が表示されている状態で、ユーザによりバックキーが押された場合、ファームウェア４５は、図９右に示すように、（１）〜（５）の順で、アニメーションを表示する。図１０は、図９に示す切替処理におけるシステム１００のシーケンス図である。
【０１０８】
この図９、１０に示した処理で、図６、７の処理と異なる点は、アプリ画像である第１の画像にフェードアウト処理が適用される時に、その画像サイズが縮小される点、また、カード階層２００のカード画像である第２の画像にフェードイン処理が適用される時に、その画像サイズ（拡大されたサイズ）が縮小される（元のサイズに戻る）点である。
【０１０９】
本フェードアウト処理時に、段階的に第１の画像の輝度が低くなる点、本フェードイン処理時に、段階的に第２の画像の輝度が高くなる点については、図６、７の処理と同様である。
【０１１０】
２．第２の実施形態
【０１１１】
次に、本技術の第２の実施形態に係る表示の制御について説明する。これ以降の説明では、上記第１の実施形態で説明した機器や機能等について同様のものは説明を簡略化または省略し、異なる点を中心に説明する。
【０１１２】
上記第１の実施形態では、カード階層２００からアプリ階層３００への画面の切替時にアニメーション効果が適用され、同じ階層内での画面の切替、つまり同じ階層内で左右スワイプ操作による画面の切替にはそれが適用されなかった。この第２の実施形態では、同じ階層内で左右スワイプ操作による画面の切替にもアニメーション効果が適用される。
【０１１３】
１）右スワイプ操作による画面の切替処理
図１１は、アニメーション処理を用いて、例えば右スワイプ操作によるカード階層２００内での画面の切替の様子を示したものである。カード階層２００内での画面の切替は、つまり、アプリの表示の切替や、ホーム画面２１１への切替である。例えば図１１左は、一のカード画像（第１の画像）から、ユーザの右スワイプ操作の入力により、他のカード画像（第２の画像）に切り替える様子を示す。具体的には、図１１右の（１）〜（５）に示すように画面が切り替わる。
【０１１４】
（１）〜（２）では、ファームウェア４５は、それまで表示されていた第１の画像をフェードアウトさせる。ここでのフェードアウト処理は、上記第１の実施形態と同様に、時間順に段階的に低くなる表示輝度を持つ複数のカード画像を所定のフレームレートで表示する処理である。また、ファームウェア４５は、このフェードアウト処理とともに、第１の画面が左側（右側でもよい）へフレームアウトして行くようにスライドさせる表示処理（スライドアウト）も実行する。
【０１１５】
（３）では、ファームウェア４５は、上記第１の実施形態と同様に空白画像１５０を表示する。
【０１１６】
（４）〜（５）では、ファームウェア４５は、第２の画像をフェードインさせる。ここでのフェードイン処理は、上記第１の実施形態と同様に、時間順に段階的に高くなる表示輝度を持つ複数のカード画像を所定のフレームレートで表示する処理である。また、ファームウェア４５は、このフェードイン処理とともに、第２の画面が右側（左側でもよい）からフレームインしてくるようにスライドさせる表示処理（スライドイン）も実行する。
【０１１７】
なお、これらフェードイン処理およびフェードアウト処理では、フレームごとの輝度の変更およびスライド処理のうちいずれか一方が実行されるようにしてもよい。
【０１１８】
図１２は、図１１に示す切替処理におけるシステム１００のシーケンス図である。
【０１１９】
このシーケンスにおいて、上記第１の実施形態におけるカード階層２００からアプリ階層３００への画面の切替シーケンス（図７）と異なる点は、画像サイズの拡大処理の代わりに、スライドアウト処理が実行される点である。
【０１２０】
２）左スワイプ操作による画面の切替処理
図１３は、同じカード階層２００内で左スワイプ操作による画面の切替の様子を示し、図１４はそのシステム１００のシーケンスを示す。この切替処理は、上記右スワイプ操作の処理に対して、画像の移動方向が左右異なるのみである。
【０１２１】
以上のように、ユーザの左右スワイプ操作の入力による画面の切替処理においても、上記第１の実施形態と同様に、通信遅延をカバーし、ユーザにストレスのない見やすい画像を提供することができる。
【０１２２】
以上、第２の実施形態では、カード階層２００内での左右スワイプ操作による画面の切替処理を説明したが、アプリ階層３００内での左右スワイプ操作による画面の切替処理にもアニメーション処理が適用されてもよい。
【０１２３】
３．第３の実施形態
【０１２４】
１）カード階層内のカード画像の切替処理
図４を参照して、典型的には、携帯端末３０のコンパニオンアプリ２５が、登録されたすべてのカード画像をメモリ３２に格納する。一方、ファームウェア４５は、それらのうち所定枚数（例えば登録された順に所定枚数に達するまで）のカード画像をコントロールボックス５０内のメモリ５２に格納する。
【０１２５】
そして上述のように、ファームウェア４５は、上述のようにユーザによりタッチパネル５５を介して指定されたカード画像を、座標系に基づきメモリ５２から抽出して表示部７１に表示する。また、ファームウェア４５は、必要に応じてコンパニオンアプリ２５を介して携帯端末３０のメモリ３２からカード画像の送信を要求し、これを受信して表示部７１に表示する。具体的には、ファームウェア４５およびコンパニオンアプリ２５は、以下のように動作する。
【０１２６】
図１５は、カード階層２００内でのカード画面２１０の切り替えの動作を説明するための図である。図１５上に示すように、例えば携帯端末３０のメモリ３２が９枚のカード画像（ａ）〜（ｉ）を格納しているとする。そして、これらのうちコントロールボックス５０のメモリ５２が例えば５枚のカード画像（ｃ）〜（ｇ）を格納しているとする（破線で囲まれた部分）。５枚のカード画像（ｃ）〜（ｇ）は連続するカード画像である。そして、現在、表示部７１には太枠で記載したカード画像（ｅ）が表示されている。なお、カード画像（ｃ）はホーム画面のカード画像である。
【０１２７】
図１５上に示す状態から、ユーザにより、カード画面２１０を左へ移動させるスワイプ操作が入力されたとする。そうすると、ファームウェア４５は、図１５下に示すように、現在表示されているカード画像（ｅ）をカード画像（ｄ）に切り替え、これまで格納していた端部（右端）のカード画像（ｇ）を破棄する。
【０１２８】
また、上記スワイプ操作の入力があった時、ファームウェア４５は、入力された操作イベントを携帯端末３０に通知する。コンパニオンアプリ２５は、新たに端部（左端）に位置したカード画像（ｂ）をメモリ３２から抽出してコントロールボックス５０に送信する。ファームウェア４５は、これを受信してメモリ５２に格納する。
【０１２９】
このようにして、ファームウェア４５は、所定枚数（例えば５枚）のカード画像がメモリ５２に格納されることを維持する。
【０１３０】
このような処理により、コントロールボックス５０内の必要なメモリ容量を削減しながら、あるいは、小容量のメモリを使用してコストを低減しながら、カード画面２１０の切替をスムーズに行うことができる。
【０１３１】
なお、コントロールボックス５０は、ホーム画面２１１のカード画像や、カメラアプリ等のデフォルトのアプリの画面のカード画像については、それらを破棄せずそのまま保持しておく。この場合、コントロールボックス５０は、それらホーム画面２１１以外およびデフォルトのアプリ以外のカード画像を、所定枚数以内でメモリ５２に格納するようにすればよい。
【０１３２】
２）画像の切替処理のシーケンス
次に、以上説明した画像の切替処理の具体的なシーケンスを説明する。
【０１３３】
図１６は、カード階層内のカード画像、およびアプリ階層内の、任意の１つのアプリのアプリ画像の配置の例を示す。ここでは、カード階層２００にはカード画像が５枚あり、そしてアプリ階層３００には、カード画像（ｃ）で表されたアプリ（ｃ）に対応するアプリ画像３１０が３枚ある例が示されている。
【０１３４】
以下、２−１）「スワイプ操作による画像の切替処理」では、カード画像（ａ）〜（ｃ）を順に表示部７１が表示する例について説明する。また、２−２）「タップ操作およびバックキー操作による画像の切替処理」では、アプリ（ｃ）のカード画像（ｃ）が表示部７１に表示された状態から、アプリ画像３１０（ｃ−１）〜（ｃ−３）を順に表示部７１が表示する例について説明する。また以下では、説明の簡単化のため、コントロールボックス５０が保持する画像枚数が２枚であり、かつ、スワイプ方向が一定（例えば右方向）である例を説明する。
【０１３５】
２−１）スワイプ操作による画像の切替処理
図１７は、スワイプ操作による、カード階層内における画像の切替処理を示すシーケンスである。
【０１３６】
ユーザの操作イベントとして「起動」操作（例えば電源ボタンをＯＮなど）が入力された場合（ステップ１０１）、ファームウェア４５は、この操作イベントをコンパニオンアプリ２５に通知する（ステップ１０２）。コンパニオンアプリ２５は、これに基づきカード画像（ａ）（例えばホーム画面）を生成し（ステップ１０３）、これをファームウェア４５に送る（ステップ１０４）。ファームウェア４５は、このカード画像（ａ）（第１の画像）を受信し、これを表示部７１に表示させる（表示制御部）（ステップ１０５）。
【０１３７】
コンパニオンアプリ２５は、ステップ１０４でカード画像（ａ）を送信した後（または送信している時）に、カード画像（ａ）の位置に、図５で示した座標上で隣接する位置のカード画像（ｂ）（第２の画像）を生成し（ステップ１０６）、これをファームウェア４５に送る（ステップ１０７）。ファームウェア４５は、これをメモリ内に格納（キャッシュ）する（ステップ１０８）。この場合、メモリは「格納部」として機能する。ここでのメモリは比較的高速に動作するものが用いられることが望ましい。
【０１３８】
その後、ユーザの操作イベントとして「右スワイプ」操作が入力された場合（ステップ１０９）、ファームウェア４５は、メモリ内に格納されたカード画像（ｂ）を抽出し、これを表示する。また、その操作イベントがコンパニオンアプリ２５に通知され（ステップ１１０）、コンパニオンアプリ２５はこの通知の受信に基づき、カード画像（ｂ）（第１の画像）に隣接するカード画像（ｃ）（第２の画像）を生成する（ステップ１１１）。コンパニオンアプリ２５は、生成したカード画像（ｃ）をファームウェア４５に送信する（ステップ１１２）。ファームウェア４５はこれをメモリに格納する（ステップ１１３）。
【０１３９】
ステップ１０９〜１１３の処理と同様に、ステップ１１４〜１１８が実行される。
【０１４０】
なお、ステップ１０９のイベント操作によるカード画像（ｂ）の表示処理、また、ステップ１１４のイベント操作によるカード画像（ｃ）の表示処理は、上記第２の実施形態で説明したようにアニメーション処理により実行されてもよい。
【０１４１】
以上のように、コンパニオンアプリ２５は、ユーザの操作イベントにより要求されたカード画像を送信すると、次の操作イベントがないにも関わらず、当該送信したカード画像に隣接するカード画像を送っておく。もちろん、図１５に示した５枚の画像をコントロールボックス５０が保持しておく場合、表示されたカード画像（例えば図１５に示したカード画像（ｅ））の位置から座標上で所定距離離れた位置にあるカード画像（例えば１図５に示したカード画像（ｂ））が生成されファームウェア４５に送信される。
【０１４２】
このような処理により、ファームウェア４５は、コンパニオンアプリ２５との間の通信遅延による影響を受けずに、操作イベントによる画面の切替をスムーズに行うことができる。また、例えばファームウェア４５は不要になったカード画像を破棄することで、必要なメモリ容量を削減しながら、あるいは、小容量のメモリを使用してコストを低減することができる。
【０１４３】
２−２）タップ操作（およびバックキー操作）による画像の切替処理
図１８は、タップ操作を含む操作イベントによる画像の切替処理を示すシーケンスである。
【０１４４】
図１７におけるステップ１１８の後、ユーザの操作イベントとして「タップ」操作が入力された場合（ステップ２０１）、ファームウェア４５は、この操作イベントをコンパニオンアプリ２５に通知する（ステップ２０２）。コンパニオンアプリ２５は、これに基づきアプリ画像３１０（ｃ−１）を生成する（ステップ２０３）。コンパニオンアプリ２５は、これをファームウェア４５に送り（ステップ２０４）。ファームウェア４５は、このアプリ画像３１０（ｃ−１）（第１の画像）を受信し、これを表示部７１に表示させる（表示制御部）。
【０１４５】
カード画像（ｃ）からアプリ画像３１０（ｃ−１）への切替処理は、例えば図７に示したステップ５、６、８、９と同様に、アニメーション処理である。また、ステップ２０４、２０６では、図７に示したものと同様に、コンパニオンアプリ２５は、１つのオブジェクトで表現される画像、および複数のオブジェクトで表現される画像をファームウェア４５に送信している。
【０１４６】
コンパニオンアプリ２５は、ステップ２０６の後、またはその途中で、アプリ画像３１０（ｃ−１）に隣接するアプリ画像３１０（ｃ−２）（第２の画像）を生成し（ステップ２０８）、これをファームウェア４５に送信する（ステップ２０９）。ファームウェア４５は、このアプリ画像３１０（ｃ−２）を受信してメモリに格納する（ステップ２１０）。
【０１４７】
その後、例えばユーザの操作イベントとして「右スワイプ」操作が入力された場合（ステップ２１１）、メモリに格納されたアプリ画像３１０（ｃ−２）を抽出してこれを表示する。また、その操作イベントが通知されると（ステップ２１２）、コンパニオンアプリ２５は、以前に送ったアプリ画像３１０（ｃ−２）（第１の画像）に隣接するアプリ画像３１０（ｃ−３）（第２の画像）を生成し（ステップ２１３）、これをファームウェア４５に送る（ステップ２１４）。ファームウェア４５はこれをメモリに格納する（ステップ２１５）。
【０１４８】
以上のように、コンパニオンアプリ２５は、ユーザの操作イベントにより要求されたカード画像を送信すると、次の操作イベントがないにも関わらず、当該送信したアプリ画像に隣接するアプリ画像を送っておく。もちろん、図１５に示した５枚の画像をコントロールボックス５０が保持しておく場合、表示されたアプリ画像の位置から座標上で所定距離離れた位置にあるアプリ画像が生成されファームウェア４５に送信される。
【０１４９】
本実施形態では、操作イベントとして右スワイプ操作のみを例に挙げたが、左スワイプ操作についても同様の処理が実行される。
【０１５０】
４．第４の実施形態
【０１５１】
次に、本技術の第４の実施形態に係るシステムについて説明する。本実施形態では、アプリ開発者が、ＡＰＩ（Application Programming Interface）を使用して、スワイプ操作による画面切替、およびタップ操作による画面切替を実行するアプリを作成することを想定する。このアプリは、携帯端末で実行されるものである。例えば上記第３の実施形態で示したシーケンスを実現する開発アプリの例について説明する。
【０１５２】
図１９は、図１７に示したシーケンスに対応し、図２０は、図１８に示したシーケンスに対応するシーケンスである。図１９、２０において、図１７、１８と異なる点は、携帯端末（外部機器）と通信可能に構成されたアプリ（開発者が作成するもの）が、本システム内に加えられている点である。
【０１５３】
図１９に示すシーケンスでは、図１７に示した、コンパニオンアプリ２５が実行するステップ１０３、１０６、１１１、１１６を、開発者作成アプリが実行する。すなわち、開発者作成アプリは、コンパニオンアプリ２５を介してファームウェア４５から操作イベントを受信し、また、コンパニオンアプリ２５を介してファームウェア４５に画像を送信する。
【０１５４】
図２０に示すシーケンスにおいても同様に、図１８に示した、コンパニオンアプリ２５が実行するステップ２０３、２０８、２１３を、開発者作成アプリが実行する。
【０１５５】
例えば、階層を上がる場合、つまりアプリ階層３００からカード階層２００へ移動する場合、ユーザによりバックキーが押された時に、開発者作成アプリには、onNeedPageBitmap(Exit)が要求される。
【０１５６】
また例えば、現在表示されている画像が座標上で左端の画像であり、それより左に画面がない場合、左スワイプによる操作イベントが入力された場合、開発者作成アプリは、面がない旨を、コンパニオンアプリ２５に通知する（showBitmapWithCardSwipe (NULL画像)）。
【０１５７】
５．他の各種の実施形態
【０１５８】
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１５９】
上記実施形態に係るウェアラブル機器７０は、有線により、つまり電気ケーブルによりコントロールボックス５０に接続されていた。しかし、ウェアラブル機器は、ウェアラブル機器とコントロールボックスが電気ケーブル無しに一体となることにより高機能化された機器であってもよい。
この場合、コントロールボックスは、ウェアラブル機器の制御装置として、ウェアラブル機器に内蔵されていてもよい。例えばこの場合、ユーザによりウェアラブル機器を操作される操作部（例えばタッチパネル）も、ウェアラブル機器に一体的に搭載されていてもよい。
【０１６０】
上記の実施形態では、情報処理装置として機能する機器は、携帯電話機など、携帯性を有する機器であったが、デスクトップ型のＰＣ等、携帯性を有しない機器であってもよい。
【０１６１】
上記実施形態では、コントロールボックス５０と携帯端末３０とが通信可能に構成された。しかし、携帯端末３０を介さず、コントロールボックス５０（つまり、ウェアラブル機器側）とクラウドシステム１０のサーバコンピュータとが、本技術に係る通信を行ってもよい。この場合、ウェアラブル機器の外部機器はサーバコンピュータとなる。
【０１６２】
上記第１の実施形態では、カード階層２００とアプリ階層３００との間の画面の切替にアニメーション処理が適用された。しかし、これらの階層２００、３００以外の階層がある場合、それらの階層間での画面の切替にアニメーション処理が適用されてもよい。
【０１６３】
上記実施形態において、アニメーション処理は、フェードアウト処理やフェードイン処理に限られない。画像を消失させるアニメーション処理として、例えば、画面上の任意の局所領域に画像が吸い込まれるような処理や、画像が２以上に分割されて移動するような処理であってもよい。例えば、画像を生成させるアニメーション処理として、画面上の任意の局所領域から画像が湧き出るような処理であってもよい。
【０１６４】
第１の実施形態では、カード階層からアプリ階層への階層間（つまり上下間）でのアニメーションによる画像の切替処理が示され、第２の実施形態では、同じ階層内（つまり左右間）でのアニメーションによる画像の切替処理が示された。例えば第２の実施形態で、同じ階層内での画像の切替が、左右の動きで表現されたように、階層間（上下間）の画像の切替が、画像が上下方向で移動するように表現されてもよい。これらのようなアニメーション処理では、画像の動きの方向が特定されるので、ユーザは、上下間で画像の切替、または、左右間の画像の切替であることを直感的に理解することができる。
【０１６５】
上記実施形態では、第１の画像および第２の画像の両方にアニメーション処理が適用されたが、例えば第１の画像および第２の画像のうちいずれか一方にそれが適用されてもよい。
【０１６６】
以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。
【０１６７】
本技術は以下のような構成もとることができる。
（１）
入力される操作イベントを外部機器へ通知するように構成された通知部と、
前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、ウェアラブル機器の表示部に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成された受信部と
を具備する制御装置。
（２）
（１）に記載の制御装置であって、
前記表示制御部は、前記受信部により受信された前記第２の画像を前記表示部に表示させるように構成される
制御装置。
（３）
前記（２）に記載の制御装置であって、
前記表示制御部は、前記第２の画像にアニメーション処理を適用するように構成される
制御装置。
（４）
前記（１）から（３）のうちいずれか１つに記載の制御装置であって、
前記表示制御部は、前記第１の画像にフェードアウト処理を実行するように構成される
制御装置。
（５）
前記（４）に記載の制御装置であって、
前記表示制御部は、前記フェードアウト処理の後、前記受信された第２の画像にフェードイン処理を実行するように構成される
制御装置。
（６）
前記（２）から（５）のうちいずれか１つに記載の制御装置であって、
前記表示制御部は、前記第１の画像の表示と前記第２の画像の表示との間に、第３の画像を前記表示部に表示させるように構成される
制御装置。
（７）
前記（１）に記載の制御装置であって、
前記外部機器により前記操作イベントに基づき第２の画像が生成された後に前記第２の画像を表現する複数のオブジェクトが生成されて送信される場合、前記表示制御部は、前記複数のオブジェクトが生成されている時またはこれを送信されている時に、前記第２の画像にアニメーション処理を適用するように構成される
制御装置。
（８）
前記（１）から（７）のうちいずれか１つに記載の制御装置であって、
前記表示制御部は、アプリケーションソフトウェア上の第１の画像を前記第１の画像として前記表示部に表示させ、前記アプリケーションソフトウェア上の、前記第１の画像とは異なる第２の画像を前記第２の画像として前記表示部に表示させるように構成される
制御装置。
（９）
前記（１）から（７）のうちいずれか１つに記載の制御装置であって、
前記表示制御部は、第１のアプリケーションソフトウェア上の画像を前記第１の画像として前記表示部に表示させ、前記第１のアプリケーションソフトウェアとは異なる第２のアプリケーション上の画像を前記第２の画像として前記表示部に表示させるように構成される
制御装置。
（１０）
前記（１）に記載の制御装置であって、
前記外部機器は、携帯端末、または、クラウドシステムのサーバコンピュータである
制御装置。
（１１）
前記（１）に記載の制御装置であって、
前記表示制御部は、前記アニメーション処理として、前記第１の画像の移動の方向性を表現するように構成される
制御装置。
（１２）
前記（３）に記載の制御装置であって、
前記表示制御部は、前記アニメーション処理として、前記第２の画像の方向性を表現するように構成される
（１３）
画像を表示可能なウェアラブル機器の制御装置と通信するように構成された機器内の情報処理装置であって、
前記制御装置から通知される操作イベントを受信するように構成された受信部と、
前記操作イベントに基づき画像を生成するように構成された生成部と、
前記生成された画像を前記制御装置に送信するように構成された送信部と、
前記制御装置が、前記操作イベントの発行後、前記ウェアラブル機器に表示される画像にアニメーション処理を適用している時に、前記生成部による画像の生成または前記送信部による前記生成された画像の送信を実行するように構成された実行部と
を具備する情報処理装置。
（１４）
ウェアラブル機器の表示部に第１の画像を表示し、
入力される操作イベントを外部機器へ通知し、
前記操作イベントの通知後、前記外部機器が前記操作イベントに基づき第２の画像を生成している時またはこれを送信している時に、前記表示部に表示された前記第１の画像にアニメーション処理を適用し、
前記外部機器により生成され送信された前記第２の画像を受信する
制御方法。
（１５）
画像を表示可能なウェアラブル機器の制御装置から通知される操作イベントを受信し、
前記制御装置が、前記操作イベントの通知後、前記ウェアラブル機器に表示される第１の画像にアニメーション処理を適用している時に、通知された前記操作イベントに基づき第２の画像を生成しまたはこれを送信し、
前記生成された第２の画像を前記制御装置に送信する
情報処理方法。
（１６）
画像を表示可能なウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備し、
前記外部機器は、
前記制御装置から通知される操作イベントを受信するように構成された受信部と、
前記受信された操作イベントに基づき画像を生成するように構成された生成部と、
前記生成された画像を前記制御装置に送信するように構成された送信部とを含み、
前記制御装置は、
入力された前記操作イベントを前記外部機器へ通知するように構成された通知部と、
前記操作イベントの通知後、前記生成部が前記操作イベントに基づき前記画像を生成している時または前記送信部が前記生成された画像を送信している時に、前記ウェアラブル機器に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記送信部から送信された、前記生成された画像である第２の画像を受信可能に構成された受信部とを含む
情報処理システム。
（１７）
操作イベントが入力されるように構成された操作部と、
画像を表示するように構成された表示部と、
前記操作イベントを外部機器へ通知するように構成された通知部と、
前記操作イベントの発行後、前記外部機器が前記操作イベントに基づき画像を生成している時またはこれを送信している時に、前記表示部に表示された第１の画像にアニメーション処理を適用するように構成された表示制御部と、
前記外部機器から送信された、前記外部機器により生成された画像である第２の画像を受信可能に構成された受信部と
を具備するウェアラブル機器。
（１８）
入力される操作イベントを外部機器へ通知するように構成された通知部と、
前記外部機器から送信された画像を受信するように構成された受信部と、
前記受信された画像を格納するように構成された格納部と、
複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち１つの画像をウェアラブル機器に表示させるように構成された表示制御部と、
前記操作イベントの通知に基づき前記外部機器から送信された第１の画像を前記受信部で受信した場合、これを前記表示制御部で表示し、かつ、前記外部機器から送信された、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を受信してこれを前記格納部に格納するように構成された制御部と
を具備する制御装置。
（１９）
画像を表示可能なウェアラブル機器の制御装置と通信するように構成された機器内の情報処理装置であって、
複数の画像を配置させる場を表す座標系に基づき、前記複数の画像のうち少なくとも１つの画像を前記ウェアラブル機器に表示させるように構成された前記制御装置から通知される操作イベントを受信するように構成された受信部と、
画像を生成してこれを前記制御装置へ送信するように構成された送信部と、
前記受信された操作イベントに基づき第１の画像を生成して前記送信部によりこれを前記制御装置に送信し、かつ、前記座標上で前記第１の画像の位置に隣接する、または前記第１の画像の位置から所定距離離れた位置の第２の画像を、前記送信部により前記制御装置に送信するように構成された制御部と
を具備する情報処理装置。
（２０）
前記（１９）に記載の情報処理装置であって、
前記情報処理装置は、ＡＰＩ（Application Programming Interface）として機能する
を具備する情報処理装置。
【符号の説明】
【０１６８】
２５…コンパニオンアプリ
２６…アプリケーションソフトウェア
３０…携帯端末
３１、５１…ＣＰＵ
３２、５２…メモリ
３４、５４…局域通信部
４５…ファームウェア
５０…コントロールボックス
５３…入力キー
５５…タッチパネル
７０…ウェアラブル機器
７１…表示部
１００…システム
２００…カード階層
２１０…カード画面
３００…アプリ階層
３１０…アプリ画像（アプリ画面）
【図１】
2015158748.tif 000003
【図２】
2015158748.tif 000004
【図３】
2015158748.tif 000005
【図４】
2015158748.tif 000006
【図５】
2015158748.tif 000007
【図７】
2015158748.tif 000008
【図８】
2015158748.tif 000009
【図１０】
2015158748.tif 000010
【図１２】
2015158748.tif 000011
【図１４】
2015158748.tif 000012
【図１５】
2015158748.tif 000013
【図１６】
2015158748.tif 000014
【図１７】
2015158748.tif 000015
【図１８】
2015158748.tif 000016
【図１９】
2015158748.tif 000017
【図２０】
2015158748.tif 000018
【図６】
2015158748.tif 000019
【図９】
2015158748.tif 000020
【図１１】
2015158748.tif 000021
【図１３】
2015158748.tif 000022