(57)【要約】【課題】携帯電子機器を用いて電子機器を遠隔操作する際に、携帯電子機器に複数の操作モードを設けることが望ましい。そこで、電子機器のリモコンとして使用可能な携帯電子機器であって、複数の操作モードを自動的に切り替える携帯電子機器を提供する。【解決手段】携帯電子機器は、筐体と、映像出力装置に映像信号を出力する電子機器と通信する通信部と、筐体の姿勢と、筐体と映像出力装置の位置関係と、に基づいて、電子機器を遠隔操作する際の操作モードを切り替える操作モード管理部と、を備える。【選択図】図１
2014135549.tif 000002
【特許請求の範囲】
【請求項１】
筐体と、
映像出力装置に映像信号を出力する電子機器と通信する通信部と、
前記筐体の姿勢と、前記筐体と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える操作モード管理部と、
を備えることを特徴とする携帯電子機器。
【請求項２】
重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記第２及び第３の座標軸により形成される平面における前記筐体と前記第２の座標軸とからなる第１の角度に関する情報を出力する姿勢検出部と、
前記第１の角度から、前記平面における前記第２の座標軸と、前記映像出力装置の表示面から延伸する法線と、からなる角度を機器設置角として算出する機器設置方向管理部と、
を備え、
前記操作モード管理部は、前記第１の角度と前記機器設置角に基づいて、前記操作モードを切り替える請求項１の携帯電子機器。
【請求項３】
前記姿勢検出部は、前記筐体と前記第１の座標軸からなる第２の角度と、前記筐体と前記第３の座標軸とからなる第３の角度と、に関する情報を出力し、
前記操作モード管理部は、前記姿勢検出部が出力する、前記第１乃至第３の角度に関する情報に基づいて、前記操作モードを切り替える請求項２の携帯電子機器。
【請求項４】
前記筐体に配置された表示デバイスと、
前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、
を備え、
前記機器設置方向管理部は、前記表示デバイスに前記撮像部が撮影する画像と矩形状の第１のガイドと、を表示させると共に、ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする請求項２又は３の携帯電子機器。
【請求項５】
前記筐体に配置された表示デバイスと、
前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、
を備え、
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置に矩形状の第２のガイドを表示させると共に、前記撮像部が撮影する画像を縮小して前記第２のガイドの内側に表示させ、
ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする請求項２又は３の携帯電子機器。
【請求項６】
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置に前記第２のガイドに加えて、前記第２のガイドの頂点を結ぶ対角線を表示させると共に、前記映像出力装置における前記対角線に相当する領域の透過率を、前記第２のガイドに相当する領域の透過率よりも高くさせる請求項５の携帯電子機器。
【請求項７】
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置を撮影した画像を解析させると共に、解析結果に応じて、前記第２のガイドの色彩を変更させる請求項６の携帯電子機器。
【請求項８】
前記機器設置方向管理部は、前記電子機器の遠隔操作を可能するアプリケーションを起動した際の前記第１の角度に基づいて、前記機器設置角を補正する請求項２乃至７のいずれか一項に記載の携帯電子機器。
【請求項９】
対象物が接触又は近接する位置を検出する操作入力デバイスを備え、
前記操作モード管理部は、
前記表示デバイスにスライドパッドを模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第１の操作モードと、
前記表示デバイスに、前記電子機器が表示する画面を模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第２の操作モードと、
前記筐体の移動量に応じた情報を前記電子機器に送る第３の操作モードと、を切り替える請求項４乃至８のいずれか一項に記載の携帯電子機器。
【請求項１０】
前記電子機器から、前記電子機器が文字の入力を受け付ける状態に遷移したことの通知を受け付けると、前記表示デバイスに、音声認識のアプリケーションを起動するための表示を行う請求項９の携帯電子機器。
【請求項１１】
前記電子機器から、ユーザが操作するカーソルが、前記電子機器が前記映像出力装置に出力させるボタンを起点とした予め定められた範囲に存在することの通知を受け付けると、前記筐体を振動させる請求項９又は１０の携帯電子機器。
【請求項１２】
撮影手段と前記撮影手段によって撮影された画像を表示する表示手段と方位を示す情報を取得する方位取得手段とを有する携帯電子機器であって、
前記撮影手段によって設置機器を撮影し、前記設置機器が前記表示手段の所定位置に表示された場合に前記方位取得手段によって取得された方位情報に基づき、
前記設置機器の設置方向を検出することを特徴とする携帯電子機器。
【請求項１３】
筐体と、
映像出力装置に映像信号を出力する電子機器と通信する通信部と、
重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記筐体と前記第１乃至第３の座標軸とからなる角度に関する情報を出力する姿勢検出部と、
を備える携帯電子機器の制御方法であって、
前記姿勢検出部が出力する情報に基づいて、前記筐体の姿勢を算出する工程と、
前記筐体の姿勢と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える工程と、
を含むことを特徴とする携帯電子機器の制御方法。
【請求項１４】
前記第２の座標軸と前記筐体とからなる第１の角度から、前記第２の座標軸と、前記映像出力装置の表示面から延伸する法線と、からなる角度を機器設置角として算出する工程を含み、
前記操作モードを切り替える工程は、前記第１の角度と前記機器設置角に基づいて、前記操作モードを切り替える請求項１３の携帯電子機器の制御方法。
【請求項１５】
前記携帯電子機器は、前記筐体に配置された表示デバイスと、前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、を備え、
前記表示デバイスに前記撮像部が撮影する画像と矩形状の第１のガイドと、を表示させる工程と、
ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする工程と、
を含む請求項１４の携帯電子機器の制御方法。
【請求項１６】
前記電子機器の遠隔操作を可能とするアプリケーションを起動した際の前記第１の角度に基づいて、前記機器設置角を補正する工程を含む請求項１４又は１５の携帯電子機器の制御方法。
【請求項１７】
前記携帯電子機器は、対象物が接触又は近接する位置を検出する操作入力デバイスを備え、
前記操作モードを切り替える工程は、
前記表示デバイスにスライドパッドを模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第１の操作モードと、
前記表示デバイスに、前記電子機器が表示する画面を模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第２の操作モードと、
前記筐体の移動量に応じた情報を前記電子機器に送る第３の操作モードと、を切り替える請求項１５又は１６の携帯電子機器の制御方法。
【請求項１８】
前記電子機器から、前記電子機器が文字の入力を受け付ける状態に遷移したことの通知を受け付ける工程と、
前記表示デバイスに、音声認識のアプリケーションを起動するための表示を行う工程と、
を含む請求項１７の携帯電子機器の制御方法。
【請求項１９】
前記電子機器から、ユーザが操作するカーソルが、前記電子機器が前記映像出力装置に出力させるボタンを起点とした予め定められた範囲に存在することの通知を受け付ける工程と、
前記筐体を振動させる工程と、
を含む請求項１７又は１８の携帯電子機器の制御方法。
【請求項２０】
筐体と、
映像出力装置に映像信号を出力する電子機器と通信する通信部と、
重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記筐体と前記第１乃至第３の座標軸とからなる角度に関する情報を出力する姿勢検出部と、
を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、
前記姿勢検出部が出力する情報に基づいて、前記筐体の姿勢を算出する処理と、
前記筐体の姿勢と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電子機器、その制御方法及びプログラムに関する。特に、電子機器を遠隔操作可能な携帯電子機器、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ＴＶ等に接続されるＳＴＢ（Set Top Box）が普及している。ＳＴＢは、例えば、ケーブルテレビ用チューナ、地上波デジタルテレビ、ＬＡＮ（Local Area Network）ポート、ＨＤＤ（Hard Disc Drive）等を備えている。ＳＴＢとテレビジョン装置（ＴＶ）は、所定のインターフェイス（例えばＨＤＭＩ（High Definition Multimedia Interface）等）により接続する。
【０００３】
また、液晶パネル等の表示デバイスと、タッチパネル等の操作入力デバイスと、を備える携帯電話、スマートフォン、タブレット端末等の携帯電子機器が広く普及している。このような携帯電子機器は、様々なアプリケーションをインストールすることにより、多種多様な機能を実現することができる。例えば、テレビジョン装置（ＴＶ）やＳＴＢ等を遠隔操作するためのリモコンとして、携帯電子機器を使用することができる。
【０００４】
ここで、特許文献１において、カメラが対象物を検出し、対象物とカメラの光軸との位置関係から、観測点から見た対象物の方位を測定する技術が開示されている。
【０００５】
さらに、特許文献２において、複数の面を有するリモコンにおいて、上方を向いている面を検出するセンサを利用し、上方を向いている面に応じて被制御対象機器が変化するリモコンが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−３０４４８０号公報
【特許文献２】特開２００９−２９０５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
【０００８】
上述したように、スマートフォン等の携帯電子機器を電子機器（例えば、ＳＴＢ）のリモコンとして用いることができる。例えば、スマートフォンをＳＴＢのスライドパッドのように機能させる操作モード（以下、スライドパッドモードと呼ぶ）や、タッチパネルのように機能させる操作モード（以下、タッチパネルモードと呼ぶ）が考えられる。あるいは、スマートフォンをＳＴＢのマウスのように機能させる操作モード（以下、マウスモードと呼ぶ）であってもよい。
【０００９】
スマートフォンの設定メニューにより、これらの操作モードの切り替えが実現できる。しかし、操作モードの切り替えを設定メニューで実現することは、ユーザに煩雑な操作を要求することに他ならない。そこで、本発明者により、操作モードの切り替えを、スマートフォンの姿勢に応じて、自動的に切り替えることが検討された。スマートフォンの姿勢に応じて、操作モードを自動的に切り替えることができれば、利便性のよい操作環境を提供できるためである。例えば、ユーザが、スマートフォンを縦長に把持していればスライドパッドモード、横長に把持していればタッチパネルモード、スマートフォンの天面がＴＶの表示面に向けられていればマウスモード、とすることが検討された。
【００１０】
地磁気センサ等を用いることにより、スマートフォンは、自らの姿勢を把握することができる。しかし、スマートフォンと、ユーザがＳＴＢを操作する際に視認するＴＶと、の位置関係が把握できなければ、操作モードを適切に切り替えることができない。例えば、上述のタッチパネルモードもマウスモードも、スマートフォン自身の姿勢は、横長に把持された状態であって、スマートフォンとＴＶとの位置関係に基づいて、いずれの操作モードであるかが定まるためである。
【００１１】
そのため、電子機器のリモコンとして使用可能な携帯電子機器であって、複数の操作モードを自動的に切り替える携帯電子機器、その制御方法及びプログラムが、望まれる。なお、スライドパッドモードを初めとした操作モードの詳細と、操作モードを切り替える際の問題点については後述する。
【００１２】
特許文献１が開示する技術は、観測地点を基準とした対象物の方位は測定するものであって、対象物の一面が向く方向を特定する技術ではない。また、特許文献２が開示する技術は、１台の被制御対象機器に対して、異なる操作方法（操作モード）を提供するものではない。このように、特許文献１及び２が開示する技術を適用したとしても、携帯電子機器を電子機器のリモコンとして使用する際の操作モードを自動的に切り替えることはできない。
【課題を解決するための手段】
【００１３】
本発明の第１の視点によれば、筐体と、映像出力装置に映像信号を出力する電子機器と通信する通信部と、前記筐体の姿勢と、前記筐体と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える操作モード管理部と、を備える携帯電子機器が提供される。
【００１４】
本発明の第２の視点によれば、撮影手段と前記撮影手段によって撮影された画像を表示する表示手段と方位を示す情報を取得する方位取得手段とを有する携帯電子機器であって、前記撮影手段によって設置機器を撮影し、前記設置機器が前記表示手段の所定位置に表示された場合に前記方位取得手段によって取得された方位情報に基づき、前記設置機器の設置方向を検出する携帯電子機器が提供される。
【００１５】
本発明の第３の視点によれば、筐体と、映像出力装置に映像信号を出力する電子機器と通信する通信部と、重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記筐体と前記第１乃至第３の座標軸とからなる角度に関する情報を出力する姿勢検出部と、を備える携帯電子機器の制御方法であって、前記姿勢検出部が出力する情報に基づいて、前記筐体の姿勢を算出する工程と、前記筐体の姿勢と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える工程と、を含む携帯電子機器の制御方法が提供される。
なお、本方法は、通信部と、姿勢位置検出部と、を備える携帯電子機器という、特定の機械に結びつけられている。
【００１６】
本発明の第４の視点によれば、筐体と、映像出力装置に映像信号を出力する電子機器と通信する通信部と、重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記筐体と前記第１乃至第３の座標軸とからなる角度に関する情報を出力する姿勢検出部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、前記姿勢検出部が出力する情報に基づいて、前記筐体の姿勢を算出する処理と、前記筐体の姿勢と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替える処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【００１７】
本発明の各視点によれば、電子機器のリモコンとして使用可能な携帯電子機器であって、複数の操作モードを自動的に切り替えることに貢献する携帯電子機器、その制御方法及びプログラムが、提供される。
【図面の簡単な説明】
【００１８】
【図１】一実施形態の概要を説明するための図である。
【図２】スマートフォン１の外観の一例を示す図である。
【図３】スマートフォン１をＳＴＢ２のリモコンとして使用する際のシステム構成の一例を示す図である。
【図４】スライドパッドモードを説明するための図である。
【図５】タッチパネルモードを説明するための図である。
【図６】マウスモードを説明するための図である。
【図７】第１の実施形態に係るスマートフォン５の内部構成の一例を示す図である。
【図８】スマートフォン５を含むシステムの座標系を説明するための図である。
【図９】３次元座標系におけるスマートフォン５の姿勢を規定する角度を説明するための図である。
【図１０】ＴＶ４の設置方向に関する角度を説明するための図である。
【図１１】スマートフォン５における操作モードを決定する動作の一例を示すフローチャートである。
【図１２】スマートフォン５における操作モード間の遷移の一例を示すフローチャートである。
【図１３】第１の機器設置角算出処理を説明するための図である。
【図１４】第１の機器設置角算出処理時の動作の一例を示す図である。
【図１５】機器設置角補正処理を説明するための図である。
【図１６】機器設置角補正処理時の動作の一例を示すフローチャートである。
【図１７】第２の機器設置角算出処理を説明するための図である。
【図１８】第２の機器設置角算出処理時の動作の一例を示すフローチャートである。
【図１９】第２の機器設置角算出処理の変形例１を説明するための図である。
【図２０】第３の機器設置角算出処理を説明するための図である。
【図２１】機器設置角算出処理の補正について説明するための図である。
【図２２】スライドパッドモードにおけるスマートフォン５ｂの画面表示の一例を示す図である。
【図２３】ＴＶ４の画面表示とスマートフォン５ｂの画面表示の一例を示す図である。
【図２４】スマートフォン５ｃをマウスモードで使用する際のＴＶ４の画面表示の一例を示す図である。
【発明を実施するための形態】
【００１９】
初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
【００２０】
携帯電子機器を用いて電子機器を遠隔操作する際に、携帯電子機器に複数の操作モードを設けることが望ましい。それぞれの操作モードには特徴があり、ユーザが携帯電子機器を使用する際の状況等に応じて、最適な操作モードは異なるためである。しかし、複数の操作モードを設定メニュー等により切り替えたのでは、ユーザに対して煩雑な操作を要求することになり、利便性の高い携帯電子機器を提供できない。そのため、電子機器のリモコンとして使用可能な携帯電子機器であって、複数の操作モードを自動的に切り替える携帯電子機器が、望まれる。
【００２１】
そこで、一例として図１に示す携帯電子機器１００を提供する。携帯電子機器１００は、筐体１０１と、映像出力装置に映像信号を出力する電子機器と通信する通信部１０２と、筐体１０１の姿勢と、筐体１０１と映像出力装置の位置関係と、に基づいて、電子機器を遠隔操作する際の操作モードを切り替える操作モード管理部１０３と、を備える。
【００２２】
携帯電子機器１００は、自らの姿勢（筐体１０１の姿勢）だけではなく、筐体１０１が、映像出力装置に対してどのような位置関係にあるかに応じて、操作モードを切り替える。例えば、筐体１０１（携帯電子機器１００）が縦長に把持されている場合には、第１の操作モードとする。また、筐体１０１が、映像出力装置の表示面と、携帯電子機器１００の表示面と、が平行になるように把持されている場合には、第２の操作モードとする。さらに、筐体１０１が、映像出力装置の表示面に対して向かって（映像出力装置の表示面に垂直に）把持されている場合には、第３の操作モードとする。第１〜第３の操作モードのなかで、第２の操作モードと第３の操作モードの区別に、筐体１０１と映像出力装置との位置関係を利用する。その結果、複数の操作モードを自動的に切り替える携帯電子機器１００を提供することができる。
【００２３】
次に、具体的な実施形態の説明に先立ち、携帯電子機器を電子機器のリモコンとして使用する際の操作モードについて説明する。なお、各実施形態を含めた以降の説明において、電子機器のリモコンとして使用可能な携帯電子機器としてスマートフォン用いて説明するが、電子機器のリモコンとして使用可能な携帯電子機器をスマートフォンに限定する趣旨ではない。例えば、携帯電話、タブレット端末等の携帯電子機器であってもよい。また、被制御対象となる電子機器としてＳＴＢを用いて説明するが、電子機器をＳＴＢに限定する趣旨ではない。ＴＶ等の映像出力装置に接続され、遠隔操作ができる電子機器であればよい。例えば、テレビジョン装置、ビデオ装置、情報処理装置等の電子機器であってもよい。
【００２４】
図２は、スマートフォン１の外観の一例を示す図である。
【００２５】
スマートフォン１は、筐体１０と、液晶パネル２０と、タッチパネル３０と、ボタン４０及び４１と、を含んで構成される。
【００２６】
液晶パネル２０は、ユーザの操作に必要な情報等を表示する表示デバイスである。なお、表示デバイスを液晶パネルに限定する趣旨ではない。有機ＥＬ（Organic Electro-Luminescence）等の表示デバイスであってもよい。
【００２７】
タッチパネル３０は、スマートフォン１に対するユーザの操作を受け付ける操作入力デバイスである。なお、タッチパネル３０は対象物の接触位置を検出する操作入力デバイスとして以降の説明を行うが、タッチパネル３０は対象物の近接を検出するデバイスであってもよいし、液晶パネル２０に表示されている情報に基づき操作入力ができるデバイス（具体的には、一例を挙げれば、カメラを用いたポインティングデバイスのような近接している状態でポインティングできるデバイスである）であっても良い。さらに、図２に示すスマートフォン１では、液晶パネル２０とタッチパネル３０は異なるデバイスとするが、両者が一体として構成されるデバイスであってもよい。
【００２８】
ボタン４０及び４１は、スマートフォン１の電源を切り替える機能や、メニューを表示する機能等に割り当てられる。なお、ボタン４０及び４１は物理的なスイッチである必要はなく、タッチパネル３０に表示されるものであっても良い。
【００２９】
なお、筐体１０における一面を天面１１と定め、以降の説明を行う。天面１１は、ユーザがスマートフォン１を把持した際に、通常であれば上方に向けられる面とする。
【００３０】
図３は、スマートフォン１をＳＴＢ２のリモコンとして使用する際のシステム構成の一例を示す図である。
【００３１】
図３に示すシステムには、スマートフォン１と、ＳＴＢ２と、無線ＬＡＮアクセスポイント３と、ＴＶ４と、が含まれている。
【００３２】
ＳＴＢ２とＴＶ４は、ＨＤＭＩケーブル等を用いて接続する。ＴＶ４は、ＳＴＢ２が出力する映像信号から画像を生成し、表示面に表示する。ＳＴＢ２を操作するユーザは、スマートフォン１をＳＴＢ２のリモコンとして使用する。その際、ユーザは、スマートフォン１をＳＴＢ２ではなく、ＴＶ４の表示面に向けて操作することが多い。スマートフォン１とＳＴＢ２は、無線ＬＡＮアクセスポイント３を介して相互に通信可能に構成されている。なお、スマートフォン１とＳＴＢ２は、無線ＬＡＮアクセスポイントを介さずに直接通信可能に構成されても良い。
【００３３】
ユーザの操作を受け付けたスマートフォン１は、当該操作を、ＳＴＢ２との間で予め定めたフォーマットに変換し、変換後のデータを、無線ＬＡＮアクセスポイント３を介してＳＴＢ２に送信する。ＳＴＢ２は、スマートフォン１が出力するデータに従って動作し、必要に応じてＴＶ４の表示面に映る画像を変更する（ＴＶ４に出力する映像信号を変更する）。例えば、ＴＶ４の表示面にカーソルが表示されており、カーソルを移動する操作がスマートフォン１に対して行われた場合、ＳＴＢ２はＴＶ４に表示されているカーソルを移動する。
【００３４】
また、カーソルの場所に、ＳＴＢ２にインストールされたアプリケーションを起動するためのアイコン等が表示され、スマートフォン１から当該アイコンを選択する操作（クリック操作等）に相当するデータを受け取った場合には、選択したアイコンに対応したアプリケーションを起動する。
【００３５】
このように、スマートフォン１をＳＴＢ２のリモコンとして使用する場合には、ユーザは、ＴＶ４の表示面を視認しつつ、スマートフォン１をＴＶ４に向けて操作する。
【００３６】
次に、スマートフォン１をＳＴＢ２のリモコンとして使用する際の操作モードについて説明する。スマートフォン１は、３つの操作モード（スライドパッドモード、タッチパネルモード、マウスモード）を備える。
【００３７】
スライドパッドモードは、スマートフォン１をＳＴＢ２のスライドパッドとして機能させる操作モードである。
【００３８】
図４は、スライドパッドモードを説明するための図である。図４（ａ）は、スマートフォン１の画面表示の一例を示す図である。
【００３９】
スライドパッドモード時には、スライドパッド領域１２とボタン領域１３が液晶パネル２０に表示される。例えば、図４（ｂ）に示すように、スマートフォン１のスライドパッドモードで使用するユーザは、スライドパッド領域１２の一部に触れ、接触を保ったまま指先を移動する。
【００４０】
ＳＴＢ２は、スマートフォン１から、ユーザがスライドパッド領域１２上の一部に触れ、接触点を移動させたことを示すデータを受け取る。ＳＴＢ２は、受け取ったデータに応じて、ＴＶ４に表示されているカーソルを移動する（図４（ｃ）参照）。また、ユーザが、ボタン領域１３に接触した場合には、スマートフォン１は、ボタン押下を示すデータをＳＴＢ２に送信する。ＳＴＢ２は、ボタン操作が無効であれば、操作を無視する、又は、ビープ音等を発する等の動作を行う。ＳＴＢ２は、ボタン操作が有効であれば、例えば、アプリケーションの起動等の動作を行う。なお、ボタン領域１３には所謂情報処理装置に接続されたマウスのクリックボタンに対応する機能が割り当てられても良いし、スライドパッド領域１２が短い時間接触して離された場合にクリックボタンに対応する機能が割り当てられていても良い。
【００４１】
スライドパッドモード使用する際には、天面１１が上方（重力方向の反対方向）に向けられユーザにより把持されている場合を、予定する。即ち、筐体１０（液晶パネル２０）の縦横比が異なる場合には、ユーザから見て縦長となるようにスマートフォン１を把持した状態をスライドパッドモードとする。
【００４２】
次に、タッチパネルモードについて説明する。
【００４３】
図５は、タッチパネルモードを説明するための図である。
【００４４】
タッチパネルモードでは、ＳＴＢ２がＴＶ４に表示する画面を模した画像を、液晶パネル２０に表示する。図５（ａ）は、ＴＶ４の画面表示の一例を示す図である。図５（ａ）は、ＳＴＢ２のアプリケーション選択画面の一例である。
【００４５】
図５（ａ）に示す各アイコンにはそれぞれアプリケーションが関連付けされており、アイコンを押下する（アイコンが表示されている場所を指またはペン等で接触させる）ことで、対応するアプリケーションを起動することができる。タッチパネルモードでは、ＳＴＢ２からスマートフォン１に対して、図５（ａ）と同等の内容をスマートフォン１の側で構成できる画面情報が送られる。スマートフォン１は、操作モードをタッチパネルモードに遷移させると、ＳＴＢ２に画面情報の送信を要求する。ＳＴＢ２は、要求に応じて、画面情報をスマートフォン１に応答する。
【００４６】
スマートフォン１がタッチパネルモードで動作している間は、ＳＴＢ２は、ＳＴＢ２の内部状態や画面に表示されている情報が変化したタイミング、あるいは、先の画面情報の送信から一定時間経過したタイミング等で画面情報をスマートフォン１に送信する。若しくは、スマートフォン１から画面情報に関する要求を、一定間隔でＳＴＢ２に送信してもよい。さらに、スマートフォン１の状態により必要になったタイミングでも良い。
【００４７】
画面情報の提供を受けたスマートフォン１は、当該画面情報を液晶パネル２０に表示する。図５（ｂ）は、スマートフォン１の画面表示の一例を示す図である。図５（ｂ）に示すような画面表示に接したユーザは、アイコンが表示された位置に触れることで、希望するアプリケーションを起動することができる。
【００４８】
その際、スマートフォン１からＳＴＢ２に対しては、ユーザがタッチパネル３０に触れた座標位置を送信する。ＳＴＢ２は、受信した座標位置に応じた動作を行う。
【００４９】
なお、ＴＶ４が備える表示デバイスのアスペクト比と、液晶パネル２０のアスペクト比と、が一致しない場合には、ＳＴＢ２は、両者のアスペクト比に基づいて受信した座標位置を変換する。ＳＴＢ２が、液晶パネル２０のアスペクト比を知る方法として、ＳＴＢ２にスマートフォン１の表示デバイスのアスペクト比を設定するメニューを設けることが考えられる。あるいは、スマートフォン１とＳＴＢ２の間で予め定める通信インターフェイスにアスペクト比の取得に関するコマンドを定義することで実現してもよい。
【００５０】
また、タッチパネルモードで使用する際には、天面１１が、重力方向と直交する方向に向けられユーザに把持されている場合、且つ、スマートフォン１の液晶パネル２０と、ＴＶ４の表示面が平行な位置関係にある場合を、予定する。即ち、筐体１０（液晶パネル２０）の縦横比が異なる場合には、ユーザから見て横長となるようにスマートフォン１を把持した状態をタッチパネルモードとする。
【００５１】
次に、マウスモードについて説明する。
【００５２】
図６は、マウスモードを説明するための図である。図６には、図３に示すシステムを上方から視認する際のスマートフォン１とＴＶ４の位置関係の一例を示す。
【００５３】
マウスモードは、スマートフォン１が空間を移動した際に、その移動量に従って、ＴＶ４に映るカーソルを操作する操作モードである。マウスモードでは、天面１１が、ＴＶ４の表示面に向けられユーザに把持されている場合を、予定する（図６（ａ）〜（ｃ）参照）。マウスモードでは、天面１１がＴＶ４の表示面に向けられていればよく、液晶パネル２０が向く方向とは無関係である。例えば、図６（ａ）のように、液晶パネル２０を上面にして操作してもよい。あるいは、図６（ｂ）や図６（ｃ）のように、液晶パネル２０を横にした状態で、スマートフォン１を把持してもよい。
【００５４】
また、タッチパネル３０をボタンとして機能させることができる。その場合、図６（ｂ）の姿勢は左手で操作する場合に適する。一方、図６（ｃ）の姿勢は、右手で操作する場合に適する。図６（ｂ）及び図６（ｃ）のいずれの場合も、スマートフォン１を片手で把持しつつ、親指でタッチパネル３０に接触することができる。なお、スマートフォン１が移動する方向と、ＴＶ４に映るカーソルの移動方向の制御は、図６（ａ）〜図６（ｃ）に示すスマートフォン１の各姿勢に応じて変更する。例えば、スマートフォン１が加速度センサを備えている場合を考える。この場合、図６（ａ）に示す姿勢で左方向にスマートフォン１移動する場合と、図６（ｂ）に示す姿勢で上方向（重力方向とは反対方向）に移動する場合とでは、スマートフォン１には同じ方向に加速度が生じることになる。しかし、図６（ａ）に示す姿勢では、ＴＶ４に映るカーソルは左方向に移動させるのがユーザの感覚に一致し、図６（ｂ）に示す姿勢では、ＴＶ４に映るカーソルは上方向に移動させるのがユーザの感覚に一致する。そこで、スマートフォン１は、角速度センサ等を用いて自らの姿勢を把握し、自らの移動方向と、ＴＶ４に映るカーソルの移動方向との関係を定めるのが望ましい。
【００５５】
以上のように、スマートフォン１をＳＴＢ２のリモコンとして使用する際の操作モードには、種々の形態が考えられる。これらの操作モードには、それぞれ長所があり、スマートフォンをリモコンして使用する状況等に応じて、最適な操作モードが異なる。
【００５６】
例えば、ＰＣ（Personal Computer）の扱いに慣れたユーザが容易に操作することができるのは、スライドパッドモードであると考えられる。ノートＰＣには、スライドパッドを備えている機種も多く、そのようなノートＰＣを操作した経験のあるユーザは、スライドパッドモードを違和感なく使用できる。
【００５７】
ＳＴＢ２において起動するアプリケーションの種類によっては、スライドパッドモードによる操作は不向きの場合もある。例えば、起動したアプリケーションが、一度の操作で、アクティブにしたアイコン等を所定の領域に移動することを要求する場合がある。そのような場合であっても、タッチパネルモードであれば、ＳＴＢ２のアプリケーションの要求を満たすことができる。しかし、スライドパッドモードでは、このような要求を満たすのは難しい。スライドパッドモードでは、選択したアイコンを一度の操作で移動できる距離には限界があるためである。
【００５８】
マウスモードでは、スマートフォン１を移動させる方向に、ＴＶ４に映し出されるカーソルが移動するため、直感的な操作が可能である。また、スライドパッドモードやタッチパネルモードでは、両手で操作することが必要（片手での操作は困難）であるが、マウスモードであれば片手で操作できる。そのため、ユーザの姿勢がどのようなものであっても、ＳＴＢ２を操作することができる。
【００５９】
このように、操作モードの長所はそれぞれ異なり、各操作モードを適宜切り替えて使用できることが求められる。
【００６０】
ここで、スマートフォンの設定メニュー等を用いて、これらの操作モードを手動で切り替えることができる。より具体的には、操作モードを切り替えるためのメニューや専用のボタンを利用する。しかし、操作モードの切り替えのたびに、メニューを選択することは、ユーザに対して煩雑な操作を要求することに他ならない。また、近年のスマートフォン等のデザインは、ハードウエアキーを排除する方向にあり、操作モードを切り替えるためのボタンをスマートフォン１の筐体に配置することは難しい。
【００６１】
そこで、複数の操作モードを、ユーザの使用態様（スマートフォン１が向いている方向や姿勢）に応じて、自動的に切り替えることができれば、スマートフォン１の利便性を高めることができる。
【００６２】
その際、内蔵するセンサ類（例えば、地磁気センサや角速度センサ等）を用いて、スマートフォン１自身の姿勢を検出することはできる。しかし、ＴＶ４の設置方向に関しては、スマートフォン１は把握できない。スマートフォン１の姿勢だけではなく、ＴＶ４の設置方向を把握できなければ、操作モードを一意に決定することができない。
【００６３】
例えば、図６（ｂ）におけるスマートフォン１とＴＶ４の位置関係は、マウスモード時の一例である。しかし、スマートフォン１の姿勢は図６（ｂ）とし、ＴＶ４の置かれている位置が、スマートフォン１を基準にして左に９０°回転した位置であれば、そのような位置関係は、タッチパネルモードと解すべき状態である。
【００６４】
このように、スマートフォン１をＳＴＢ２のリモコンとして使用する際に、複数の操作モードをユーザの使用態様の変化に応じて、自動的に切り替えることは困難である。その理由は、ＴＶ４の設置方向を、スマートフォン１が把握することが出来ないためである。
【００６５】
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
【００６６】
本実施形態に係るスマートフォン５の外観は、図２を用いて説明したスマートフォン１の外観と相違する点は存在しないので、さらなる説明を省略する。ただし、スマートフォン５は、液晶パネル２０と相対する面にレンズを備える。そのため、スマートフォン５は、液晶パネル２０（表示デバイス）が配置された面と対向する面の方向を撮影することができる。
【００６７】
図７は、本実施形態に係るスマートフォン５の内部構成の一例を示す図である。なお、図７において筐体１０の図示を省略している。また、図７において図２と同一構成要素には、同一の符号を表し、その説明を省略する。
【００６８】
スマートフォン５は、液晶パネル２０と、タッチパネル３０と、通信部５０と、姿勢検出部６０と、撮像部７０と、制御部８０と、記憶部９０と、を含んで構成される。
【００６９】
通信部５０は、ＳＴＢ２とスマートフォン５間の無線通信を実現するための手段である。その際、スマートフォン１と同様に、無線ＬＡＮアクセスポイント３を介して、ＳＴＢ２と相互通信を実現する。但し、無線ＬＡＮアクセスポイント３を介した通信に限定する趣旨ではなく、スマートフォン５とＳＴＢ２とが直接、通信してもよい。また、赤外線、ＲＦ（Radio Frequency）、ＮＦＣ（Near Field Communication）又はＢｌｕｅｔｏｏｔｈ（登録商標）等を用いた通信方式であってもよい。
【００７０】
姿勢検出部６０は、スマートフォン５（筐体１０）の姿勢を検出するための手段である。姿勢検出部６０は、少なくとも地磁気センサを含んで構成される。姿勢検出部６０に含まれる地磁気センサは、３軸方向の地磁気を検出可能とする。つまり、南北方向、東西方向だけではなく、上下方向（重力方向）の地磁気に関しても検出することができる。また、姿勢検出部６０が検出する姿勢について、スマートフォン５と筐体１０を区別する特段の理由がない場合には、スマートフォン５の姿勢を検出すると表記する。
【００７１】
撮像部７０は、レンズ、撮像素子、アクチュエータ等を含んで構成され、液晶パネル２０に対向する側の画像を取得する。撮像部７０が撮影した画像は、液晶パネル２０に表示させることができる。
【００７２】
制御部８０は、操作モード管理部２０１と機器設置方向管理部２０２とを含む。制御部８０は、図７に示す各部の制御だけではなく、スマートフォン５の全体を制御する。記憶部９０は、スマートフォン５の動作に必要な情報を一時的、又は、恒久的に記憶する。なお、制御部８０と、その内部の操作モード管理部２０１及び機器設置方向管理部２０２は、スマートフォン５に搭載されたコンピュータに、そのハードウェアを用いて、後に詳述する各処理を実行させるコンピュータプログラムにより実現することもできる。
【００７３】
ここで、スマートフォン５をＳＴＢ２のリモコンとして使用する際の操作モードの切り替えを説明するに先立ち、スマートフォン５を含むシステムの座標系を規定する。
【００７４】
図８は、スマートフォン５を含むシステムの座標系を説明するための図である。
【００７５】
スマートフォン５の重心を図８に示す座標系の原点と定める。原点を基準として、南北方向をＸ軸、東西方向をＹ軸、重力方向をＺ軸、と定める。姿勢検出部６０は、内部に含まれる地磁気センサ等を使用して、スマートフォン５の図８に示す３軸に対する傾きを算出し、制御部８０に通知する。スマートフォン５は、図８に示す座標系において、スマートフォン５の筐体１０とそれぞれの座標軸とが形成する角度に基づいて、その姿勢が規定される。
【００７６】
図９は、３次元座標系におけるスマートフォン５の姿勢を規定する角度を説明するための図である。
【００７７】
Ｘ軸とスマートフォン５が形成する角度を角度αと定める（図９（ａ）参照）。Ｚ軸とスマートフォン５が形成する角度を角度βと定める（図９（ｂ）参照）。Ｚ軸とスマートフォン５が形成する角度を角度γと定める（図９（ｃ）参照）。角度α〜γが取り得る値は、−１８０°＜α、β、γ＜１８０°である。姿勢検出部６０は、地磁気センサ等を用いて角度α〜γを計測し、これらの角度に関する情報を制御部８０に出力する。
【００７８】
次に、ＴＶ４の設置方向に関する角度について説明する。
【００７９】
図１０は、ＴＶ４の設置方向に関する角度を説明するための図である。ＴＶ４は、重力方向にほぼ平行に設置されていると考えることができるため、図８におけるＺ軸回りの回転（設置方向）を考慮すれば足りる。図１０に示すＸ軸と、ＴＶ４の表示面から延伸する法線と、から形成する角度を機器設置角θと定める。
【００８０】
制御部８０の操作モード管理部２０１は、角度α〜γと機器設置角θとに基づいて、３つの操作モードを切り替える。なお、操作モード管理部２０１は、角度α〜γを姿勢検出部６０から得ることができる。機器設置角θを得る方法については、後述する。
【００８１】
次に、操作モード管理部２０１が、角度α〜γ及び機器設置角θに基づいて、どのように操作モードを決定するかについて説明する。
【００８２】
操作モード管理部２０１は、スマートフォン５がユーザから見て縦長となる状態で把持されている場合に、操作モードをスライドパッドモードに設定する。操作モード管理部２０１は、角度β及び角度γのそれぞれが、予め定めた範囲内である場合に、スマートフォン５の操作モードをスライドパッドモードに設定する。より具体的には、角度βが下記の式（１）を満たし、角度γが式（２）を満たす場合に、スライドパッドモードに設定する。
β１＜β＜β２  ・・・（１）
γ１＜γ＜γ２  ・・・（２）
例えば、重力方向に対して±４５°の範囲を、スマートフォン５が縦長で把持されている状態であると定めるのであれば、β１＝−４５°、β２＝４５°、γ１＝−４５°、γ２＝４５°とする。
【００８３】
操作モード管理部２０１は、スマートフォン５がユーザから見て横長となる状態で把持されている場合に、操作モードをタッチパネルモードに設定する。操作モード管理部２０１は、角度α及びβのそれぞれが、予め定めた範囲にある場合に、スマートフォン５の操作モードをタッチパネルモードとする。なお、角度βについては、Ｚ軸を基準とした絶対的な範囲を操作モードの判定に使用する。しかし、角度αについては、機器設置角θを基準とした相対的な範囲を操作モードの判定に使用する。
【００８４】
タッチパネルモードの判定条件には、角度βが下記の式（３）を満たすことが必要である。
β３＜β＜β４、又は、β５＜β＜β６  ・・・（３）
例えば、重力方向に直交する方向に対して、±４５°の範囲を、スマートフォン５が横長で把持されている状態であると判断するのであれば、β３＝４５°、β４＝１３５°、β５＝−４５°、β６＝−１３５°とする。
【００８５】
さらに、タッチパネルモードの判定条件には、角度αが、下記の式（４）を満たすことが必要である。
θ＋α１＋９０°＜α＜θ＋α２＋９０°  ・・・（４）
式（４）では、機器設置角θに９０°を加算することにより、スマートフォン５がＴＶ４の表示面を基準とする法線に直交するか否かを判定している。さらに、α１及びα２により、スマートフォン５とＴＶ４の表示面とで形成する平行線における許容できるずれの範囲を規定する。例えば、θ＝４５°であれば、β＝１３５°（９０°＋４５°）の場合に、スマートフォン５はＴＶ４の表示面に向けられて把持されていると判断できる。この状態から、±１０°のずれを許容するのであれば、β１＝−１０°、β２＝１０°と定まる。
【００８６】
操作モード管理部２０１は、天面１１が、ＴＶ４の表示面に向けられ把持されている場合に、操作モードをマウスモードとする。マウスモードでは、スマートフォン５の天面１１がＴＶ４の表示面に向けられていることを要するので、角度βについて、上記の式（３）を満たすことが１つの条件となる。さらに、角度αが、下記の式（５）を満たすことがマウスモードの判定条件となる。
θ＋α３＜α＜θ＋α４  ・・・（５）
式（５）では、式（４）とは異なり、機器設置角θに９０°を加算しないので、スマートフォン５がＴＶ４の表示面を基準とする法線に平行しているか否かを判定している。なお、α３及びα４は、α１及びα２と同様に、天面１１がＴＶ４の表示面に向けられていると判断する際の許容できるずれの範囲を規定している。
【００８７】
ここで、マウスモードにおいて、ＴＶ４に表示されるカーソルを移動させる形態には、２通り考えられる。
【００８８】
第１の形態は、ユーザが把持しているスマートフォン５を水平又は垂直に移動させる形態である。この場合には、スマートフォン５の姿勢に変化はない（回転運動を伴わない）。例えば、ユーザが把持しているスマートフォン５を右に動かせば、ＴＶ４に表示されているカーソルも右に動く。その際、スマートフォン５からＳＴＢ２に対して、スマートフォン５の移動方向と移動量を送信する。
【００８９】
スマートフォン５の移動（水平方向の移動又は垂直方向の移動）を検出するためには、姿勢検出部６０に加速度センサが含まれていることが望ましい。姿勢検出部６０に加速度センサが含まれている場合には、姿勢検出部６０はスマートフォン５が移動する際の加速度と、その移動方向を制御部８０に通知する。制御部８０は、姿勢検出部６０が出力する加速度を積分することで、スマートフォン５の移動量を算出する。スマートフォン５は、算出した移動量をＳＴＢ２に送信する。
【００９０】
マウスモードの第２の形態は、ユーザが把持しているスマートフォン５の天面１１を上下左右に振る形態である。この場合には、スマートフォン５は、水平方向及び垂直方向に移動することはない。スマートフォン５は、ユーザが把持する点を起点として、回転する。例えば、ユーザが、把持しているスマートフォン５の天面１１を右に振れば、その際の振れ角の大きさに応じて、ＳＴＢ２に通知するカーソルの移動量を変更する。ＳＴＢ２は、スマートフォン５から通知されるデータに応じて、ＴＶ４に表示するカーソルを移動する。
【００９１】
スライドパッドモード及びタッチパネルモードでは、ＴＶ４に表示されたカーソルの移動と、ボタンの押下等（例えば、アイコン等の選択操作）を行うことができる。マウスモードでは、例えば、タッチパネル３０の全面をボタンに割り当てることで、アイコン等の選択動作を実現する。ユーザは、スマートフォン５を片手で握り、親指でタッチパネル３０に触れることで、クリック操作を実現する。
【００９２】
なお、マウスモードの第２の形態では、姿勢検出部６０に角速度センサが含まれていることが望ましい。制御部８０は、地磁気センサの出力からスマートフォン５の回転運動を検出することは可能であるが、姿勢検出部６０に角速度センサが含まれていれば、より高い精度でスマートフォン５の回転運動を把握することができる。
【００９３】
以上のように、操作モード管理部２０１は、姿勢検出部６０から得られる角度α〜γと、ＴＶ４の設置方向を規定する機器設置角θを用いて、スマートフォン５をＳＴＢ２のリモコンとして使用する場合の操作モードを決定する。
【００９４】
次に、スマートフォン５にインストールされたリモコンアプリケーションを起動した後、操作モードを決定するまでの動作について説明する。
【００９５】
図１１は、スマートフォン５における操作モードを決定する動作の一例を示すフローチャートである。
【００９６】
ステップＳ０１において、制御部８０は、ユーザの操作（例えば、リモコンアプリケーションに関連づけられたアイコンをダブルクリックする操作）に応じて、リモコンアプリケーションを起動する。
【００９７】
ステップＳ０２において、操作モード管理部２０１は、姿勢検出部６０から角度α〜γを取得する。さらに、操作モード管理部２０１は、記憶部９０に記憶されている機器設置角θを読み出す。
【００９８】
ステップＳ０３において、操作モード管理部２０１は、スマートフォン５の姿勢（角度α〜γ）が、スライドパッドモードの条件を満たすか否かを判定する。判定した結果、スライドパッドモードの条件を満たせば（ステップＳ０３、Ｙｅｓ分岐）、スマートフォン５の操作モードをスライドパッドモードに設定する（ステップＳ０４）。
【００９９】
ステップＳ０５及びＳ０７において、操作モード管理部２０１は、スマートフォン５の姿勢が、タッチパネルモード又はマウスモードの条件を満たすか判定し、条件を満たす場合には、操作モードをそれぞれ設定する（ステップＳ０６、Ｓ０９）。
【０１００】
操作モード管理部２０１は、スマートフォン５の姿勢からは、いずれの操作モードにも判定出来ない場合（ステップＳ０７、Ｎｏ分岐）には、予め定めたデフォルトモード（例えば、スライドパッドモード）に操作モードを設定する。
【０１０１】
なお、図１１に示す操作モードの決定順序は例示であって、図１１に示す順序に限定する趣旨ではない。３つのモードをどのような順序で判定してもよい。
【０１０２】
次に、操作モード間の切り替えについて説明する。
【０１０３】
スマートフォン５をＳＴＢ２のリモコンとして使用している際に、スマートフォン５の姿勢が変化すると、その姿勢の変化に応じて、操作モードを切り替える。
【０１０４】
図１２は、スマートフォン５における操作モード間の遷移の一例を示すフローチャートである。
【０１０５】
ステップＳ１１において、操作モード管理部２０１は、姿勢検出部６０から角度α〜γを取得する。操作モード管理部２０１は、ステップＳ１２〜Ｓ１７において、角度α〜γの変化からスマートフォン５の操作モードを切り替える。ステップＳ１２〜Ｓ１７における操作モード管理部２０１の動作は、図１１のステップＳ０３〜Ｓ０９における動作と相違する点は存在しないので、さらなる説明を省略する。但し、図１１のフローチャートでは、ステップＳ０８の処理（操作モードをデフォルトモードに設定する処理）が必要であったが、図１２のフローチャートには当該処理は必要ない。図１２のフローチャートに従い動作する場合には、既に操作モードは定まっているためである。
【０１０６】
さらに、操作モード間を切り替える際には、各操作モードを規定する閾値（例えば、β１〜β６等）を動的に変更しても良い。例えば、角度βについて検討すると、角度βが４５°を超えることで、スライドパッドモードからタッチパネルモードに遷移したとする。この場合、β２＝４５°である。一方、タッチパネルモードからスライドパッドモードに遷移する場合には、角度βが４５°よりさらに小さい値（例えば、３０°）を閾値に設定する。つまり、操作モードがスライドパッドモードからタッチパネルモードに切り替わった場合には、当初設定されているβ３＝４５°から、β３＝３０°に変更する。このように、操作モード間の切り替えに、エイリアスを設けてもよい。
【０１０７】
ステップＳ１８において、制御部８０は、リモコンアプリケーションが終了したか否かを判定する。制御部８０は、リモコンアプリケーションが終了していなければ（ステップＳ１８、Ｎｏ分岐）、ステップＳ１１に戻り処理を継続する。制御部８０は、リモコンアプリケーションの終了（ステップＳ１８、Ｙｅｓ分岐）に伴い、操作モードを切り替える処理を終了する。
【０１０８】
なお、図１１及び図１２におけるマウスモードの判定時には、ユーザがスマートフォン５を右手で把持しているか、左手で把持しているか確認するのが好ましい。その際の判定は、角度βの正負に応じて行う。
【０１０９】
次に、機器設置角θの決定方法について説明する。なお、以降の説明において、機器設置角θを決定する処理を機器設置角算出処理と表記する。
【０１１０】
［第１の機器設置角算出処理］
図１３は、第１の機器設置角算出処理を説明するための図である。図１４は、第１の機器設置角算出処理時の動作の一例を示す図である。
【０１１１】
ステップＳ２１において、ユーザは、スマートフォン５を機器設置角算出処理の実行状態に遷移させる。例えば、スマートフォン５の設定メニュー等からスマートフォン５に機器設置角算出処理を実行させるアプリケーションを起動する。なお、機器設置角算出処理を実行するアプリケーションは、リモコンアプリケーションの一機能としてもよい。機器設置角算出処理を実行する実体が、制御部８０の機器設置方向管理部２０２である。
【０１１２】
ステップＳ２２において、機器設置方向管理部２０２は、液晶パネル２０に撮像部７０から得られる画像を表示させる。合わせて、機器設置方向管理部２０２は、液晶パネル２０に矩形状のガイド１４を表示させる（図１３（ｂ）参照）
【０１１３】
ステップＳ２３において、ユーザは、スマートフォン５をＴＶ４から所定の距離以上離し、かつ、スマートフォン５とＴＶ４の表示面とが正対するようにスマートフォン５を移動する。スマートフォン５とＴＶ４は正対する位置関係となるため、液晶パネル２０にはＴＶ４の筐体の全部又は一部が表示される（図１３（ｂ）参照）。
【０１１４】
ステップＳ２４において、ユーザは、液晶パネル２０に表示されるＴＶ４の筐体の各辺と、ガイド１４の各辺とが、平行となるようにスマートフォン５の姿勢を微調整する。なお、液晶パネル２０に表示されるＴＶ４の筐体とガイド１４が一致するようにスマートフォン５の姿勢を微調整するのがより好ましい。
【０１１５】
ステップＳ２５において、ユーザは、液晶パネル２０に表示されるＴＶ４の筐体の各辺と、ガイド１４の各辺とが、平行となるポイント（又は、両者が一致するポイント）でタッチパネル３０に接触する。
【０１１６】
ステップＳ２６において、機器設置方向管理部２０２は、姿勢検出部６０が出力する角度αを、機器設置角θとして記憶部９０に格納する。
【０１１７】
なお、ステップＳ２３〜Ｓ２５におけるユーザの操作については、スマートフォン５の取扱説明書における機器設置角算出処理に関する説明に明記すると共に、音声や画像表示等を用いて、ユーザの操作を支援することが望ましい。さらに、スマートフォン５の取扱説明書には、ＴＶ４の設置方向を変更するたびに、機器設置角算出処理の実行を求める旨の記載をすることが望まれる。ＴＶ等の映像出力装置は、一度設置されるとそのまま固定された状態で使用されることが多いが、その設置が変更になってしまうと、変更前の機器設置角算出処理により取得した機器設置角θを用いてスマートフォン５の操作モードを切り替えても、正しく操作モードを切り替えることはできないためである。
【０１１８】
以上のように、スマートフォン５は、機器設置角算出処理を実施することで、機器設置角θを取得することができる。機器設置角θが取得できれば、角度α〜γは、姿勢検出部６０から取得できるので、操作モード管理部２０１は、操作モードをスマートフォン５の姿勢に応じて、自動的に切り替えることができる。
【０１１９】
しかし、角度α〜γ及び機器設置角θに関する情報だけで、操作モードを切り替えるには、制限が存在する。より具体的には、スマートフォン５をＳＴＢ２のリモコンとして使用する場合に、ユーザは、スマートフォン５をＴＶ４の表示面に正対させて把持しなければならない。換言するならば、機器設置角算出処理を実行した際にユーザがタッチパネル３０に接触したポイント（機器設置角θを取得したポイント）でスマートフォンを把持する必要がある。そのため、スマートフォン５の取扱説明書において、ユーザがスマートフォン５のリモコンアプリケーションを起動する際には、ＴＶ４に正対するように記載するのが望ましい。
【０１２０】
しかし、実際にスマートフォン５をＳＴＢ２のリモコンとして使用する際に、ユーザがＴＶ４に正対するとは限らず、ＴＶ４の表示面に対して多少の角度を持ちつつ操作することが多いと考える。このような場合、スマートフォン５とＴＶ４の位置関係にずれが生じ、正しく操作モードを切り替えることができない恐れが生じる。より具体的には、ユーザの意図に反したタッチパネルモードとマウスモード間の切り替えが起こる可能性がある。
【０１２１】
そこで、スマートフォン５をＳＴＢ２のリモコンとして使用する際、機器設置角θを補正する。このような補正を、機器設置角補正処理と呼び、以降の説明を行う。
【０１２２】
図１５は、機器設置角補正処理を説明するための図である。図１６は、機器設置角補正処理時の動作の一例を示すフローチャートである。なお、図１５において、機器設置角θ０は、機器設置角算出処理により得られる角度である。
【０１２３】
ステップＳ３１において、制御部８０は、ユーザの操作に応じて、リモコンアプリケーションを起動する。
【０１２４】
ステップＳ３２において、機器設置方向管理部２０２は、姿勢検出部６０から角度αを取得する。
【０１２５】
ステップＳ３３において、機器設置方向管理部２０２は、前ステップで取得した角度αを用いて、機器設置角算出処理を実行することで取得した機器設置角θ０を補正する。その際の補正の一例として、角度αと機器設置角θ０の平均値を新たな機器設置角θとする補正が考えられる。あるいは、それぞれの角度に予め重みを付与し、重み付け平均を算出した結果を新たな機器設置角θとする補正であってもよい。
【０１２６】
機器設置角補正処理は、機器設置角算出処理により得られた機器設置角θ０を補正するためのものである。そのため、機器設置方向管理部２０２が、機器設置角補正処理時に姿勢検出部６０から得た角度αと、既に取得済みの機器設置角θ０が大きく異なる場合には、機器設置角補正処理を実行しない対応も検討すべきである。例えば、機器設置角補正処理を実行するか否かについて、角度αと機器設置角θ０との差分が予め定めた範囲より外れる場合には、補正を行わないという対応が望ましい。
【０１２７】
なお、機器設置角補正処理の内容をこのような補正に限定する趣旨ではなく、機器設置角補正処理は、リモコンアプリケーションを起動した際に得られる角度αを用いて、機器設置角θを補正する処理であると理解すべきである。
【０１２８】
本実施形態に係るスマートフォン５は、３つの操作モードの切り替えが可能な場合について説明した。ただし、スマートフォン５が備える操作モードの数を３に限定する趣旨ではない。操作モードの数は２であってもよいし、４以上であってもよい。
【０１２９】
以上のように、本実施形態に係るスマートフォン５は、姿勢検出部６０を使用して、スマートフォン５の姿勢を規定する角度α〜γを取得する。さらに、機器設置角算出処理を実行することで、ＴＶ４の設置方向を規定する機器設置角θを取得する。スマートフォン５は、これらの情報を利用し、スマートフォン５の姿勢及びＴＶ４に対する角度（設置方向）に応じて、３つの操作モードを切り替える。その結果、スマートフォン５をＳＴＢ２のリモコンとして使用する場合において、複数の操作モードをユーザの使用態様の変化に応じて、自動的に切り替えることができる。
【０１３０】
［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。
【０１３１】
第１の実施形態では、機器設置角算出処理の一例として、液晶パネル２０に表示するガイド１４と、ＴＶ４の筐体と、が平行となるポイント（又は、一致するポイント）をユーザが決定する方法を説明した。しかし、機器設置角算出処理の方法は、上記に限定されず、種々の形態が考えられる。本実施形態においては、機器設置角算出処理の他の形態を説明する。
【０１３２】
［第２の機器設置角算出処理］
第２の機器設置角算出処理では、本実施形態に係るスマートフォン５ａとＳＴＢ２ａが連携し、ユーザが、より正確に機器設置角θを決定できるインターフェイスを提供する。
【０１３３】
図１７は、第２の機器設置角算出処理を説明するための図である。図１８は、第２の機器設置角算出処理時の動作の一例を示すフローチャートである。
【０１３４】
第２の機器設置角算出処理では、ＳＴＢ２ａが矩形状のガイド１５をＴＶ４に表示する。即ち、スマートフォン５ａは、ユーザによる機器設置角算出処理を実行させる操作（図１８、ステップＳ４１）を受け付けると、ＳＴＢ２ａに対して、スマートフォン５ａが機器設置角算出処理の実行中であることを通知する（図１８、ステップＳ４２）。
【０１３５】
ステップＳ４３において、通知を受けたＳＴＢ２ａは、ＴＶ４にガイド１５を表示する（図１７（ａ）参照）。ユーザは、第１の機器設置角算出処理と同様に、ステップＳ４４において、ＴＶ４から所定の距離以上離し、かつ、スマートフォン５ａとＴＶ４とが正対するようにスマートフォン５ａを移動する。
【０１３６】
スマートフォン５ａは、撮像部７０から取得した画像をＳＴＢ２ａに送信する（ステップＳ４５）。ＳＴＢ２ａは、スマートフォン５ａが送信する画像の大きさを縮小しつつ、ガイド１５の内側に表示し、ＴＶ４の表示を更新する（ステップＳ４６）。
【０１３７】
スマートフォン５ａとＳＴＢ２ａは、ユーザがタッチパネル３０に接触する操作（ステップＳ４８）が行われるまで、ステップＳ４５とステップＳ４６の処理を繰り返す。その結果、スマートフォン５ａの液晶パネル２０には、ＳＴＢ２ａがＴＶ４に表示するガイド１５の中にさらにガイドが表示される（図１７（ｂ）及び（ｃ）参照）。
【０１３８】
図１７（ｂ）の画面表示は、スマートフォン５ａとＴＶ４の表示面が正しく正対している場合の一例である。一方、図１７（ｃ）の画面表示は、スマートフォン５ａとＴＶ４の位置関係にずれが生じている場合の一例である。ユーザは、スマートフォン５ａの画面表示が図１７（ｂ）の表示となったポイントで、タッチパネル３０に接触する（ステップＳ４８）。
【０１３９】
スマートフォン５ａの機器設置方向管理部２０２は、角度αを取得し、機器設置角θとして記憶部９０に格納する（ステップＳ４９）。
【０１４０】
以上のように、第２の機器設置角算出処理では、スマートフォン５ａとＳＴＢ２ａが連携することにより、ユーザがより正確かつ容易に機器設置角θを決定することができるインターフェイスを提供する。
【０１４１】
［第２の機器設置角算出処理の変形例１］
図１９は、第２の機器設置角算出処理の変形例１を説明するための図である。
【０１４２】
第２の機器設置角算出処理において、ＳＴＢ２ａが表示するガイド１５に対角線１６を加えてもよい（図１９（ａ）参照）。ＳＴＢ２ａは、スマートフォン５ａから送られてくる画像を、ガイド１５の内側ではなく、ガイド１５と一致するように表示する。さらに、ＳＴＢ２ａは、対角線１６の透過率を上げて表示する。その結果、スマートフォン５ａの液晶パネル２０に表示される対角線の太さが、スマートフォン５ａとＴＶ４の位置関係に応じて変化する。
【０１４３】
スマートフォン５ａとＴＶ４が正しく正対していれば、図１９（ｂ）に示すように、対角線の太さに変化はない。一方、スマートフォン５ａとＴＶ４が正対していなければ、図１９（ｃ）に示すように、対角線が著しく太くなる。ユーザは、液晶パネル２０の画面表示が、図１９（ｂ）の表示となったポイントで、タッチパネル３０に接触する。
【０１４４】
［第２の機器設置角算出処理の変形例２］
第２の機器設置角算出処理において、ＳＴＢ２ａが表示するガイド１５の色を変更することで、より優れたインターフェイスを提供することができる。
【０１４５】
第２の機器設置角算出処理では、ＳＴＢ２ａが表示するガイド１５の色は、ＴＶ４の筐体とは異なる色であることが望ましい。例えば、ＴＶ４の筐体が白色であって、ガイド１５も白色であるとすれば、一見しただけでは両者の区別が困難であり、ユーザがスマートフォン５ａとＴＶ４が正対するポイントを見つけるが難しい。そこで、機器設置角算出処理を実行する際に、スマートフォン５ａはＴＶ４の全体像を撮影し、撮影した画像をＳＴＢ２ａに送信する。ＴＶ４の全体像を含む画像を受信したＳＴＢ２ａは、当該画像を解析し、ＴＶ４の筐体の色を判別する。そして、ＳＴＢ２ａは、判別した色とは異なる色を用いて、ガイド１５をＴＶ４に表示する。即ち、ＳＴＢ２ａは、画像を解析することで、ＴＶ４に表示するガイド１５の色彩を変更する。
【０１４６】
その結果、ＴＶ４の筐体とガイド１５の混同が生じることがなく、ユーザは、より正確かつ容易に、スマートフォン５ａとＳＴＢ２ａが正対するポイントを決定することができる。
【０１４７】
［第３の機器設置角算出処理］
図２０は、第３の機器設置角算出処理を説明するための図である。図２０（ａ）は、ＴＶ４を正面から視認する場合のスマートフォン５ａとＴＶ４の位置関係の一例である。図２０（ｂ）及び（ｃ）はＴＶ４の上方から視認する場合のスマートフォン５ａとＴＶ４の位置関係の一例である。
【０１４８】
第１及び第２の機器設置角算出処理では、ＳＴＢ２ａからガイド１５を表示させることで、スマートフォン５ａとＴＶ４が正対するポイントを決定する（機器設置角θを決定する）。第３の機器設置角算出処理では、スマートフォン５ａの動作だけで、機器設置角θを決定する。第３の機器設置角算出処理は、ＴＶ４の電源がオフの状態で実施する。ＴＶ４の電源をオフとする理由は、ＴＶ４が発する地磁気の影響を減少させるためである。
【０１４９】
ユーザは、スマートフォン５ａをＴＶ４の表示面に接触させ、スマートフォン５ａに機器設置角算出処理を実行させる。その際、ＴＶ４の表示面とスマートフォン５ａが、可能なかぎり平行となるように接触させる（図２０（ａ）及び（ｂ）参照）。ＴＶ４の台座が回転機構を備え、ＴＶ４の表示面が左右に振れる場合もあるので、スマートフォン５ａは極力、ＴＶ４の表示面の中央に接触させるのが望ましい。
【０１５０】
ユーザは、スマートフォン５ａをＴＶ４の表示面に接触させた状態から、スマートフォン５ａとＴＶ４の表示面の平行を維持したまま、ＴＶ４の表示面から延伸する法線の方向に、スマートフォン５ａを移動する（図２０（ｃ）参照）。その後、ユーザは、スマートフォン５ａをＴＶ４の表示面から所定の距離、遠ざけた状態で、タッチパネル３０に接触する。
【０１５１】
その際、スマートフォン５ａの機器設置方向管理部２０２は、角度αを姿勢検出部６０から取得し、機器設置角θを決定する。なお、ＴＶ４の表示面から５０ｃｍ程度離れれば、ＴＶ４から生じる地磁気から影響は受けないと考えられる。そこで、スマートフォン５ａの取扱説明書に、第３の機器設置角算出処理を実行する際には、スマートフォン５ａとＴＶ４の表示面を５０ｃｍ程度離した後、タッチパネル３０に接触する旨の記載をするのが望ましい。
【０１５２】
また、姿勢検出部６０に加速度センサが含まれており、スマートフォン５ａの移動量が計測できる場合は、機器設置角算出処理の実行開始の位置から、スマートフォン５ａが所定の距離、移動した場合にユーザにその旨を伝えてもよい。あるいは、制御部８０は、姿勢検出部６０に含まれる地磁気センサの出力を監視し、地磁気センサの出力における変動量が、所定の範囲内になった場合（地磁気センサの出力が安定した場合）に、姿勢検出部６０が出力する角度αを機器設置角θとしてもよい。
【０１５３】
［機器設置角の補正］
第１〜第３の機器設置角算出処理において決定された機器設置角θには、若干の誤差が含まれることがある。
【０１５４】
スマートフォン５ａは、そのような誤差を修正できるインターフェイスを持つことが、望ましい。
【０１５５】
図２１は、機器設置角算出処理の補正について説明するための図である。機器設置角算出処理の補正を行う場合には、ユーザに対し、液晶パネル２０を上面に向けた状態で水平な位置にスマートフォン５ａを置くように要求する。
【０１５６】
このような状態で、ユーザは、機器設置角算出処理の補正用アプリケーションを実行する。機器設置角算出処理を補正するアプリケーションを起動すると、スマートフォン５ａは図２１に示すようなコンパスを模した表示を行う。その際、第１〜第３の機器設置角算出処理において決定した機器設置角θに相当する方角を示す矢印を表示する。
【０１５７】
ユーザは、スマートフォン５ａに表示された矢印が、正しくＴＶ４の方向に向いていれば、機器設置角算出処理を補正するアプリケーションを終了する。矢印が、正しくＴＶ４の方向に向いていなければ、矢印の先端を指先で触れ、矢印がＴＶ４の方向に向くように、ドラッグ操作を行う。機器設置方向管理部２０２は、指先の移動量から機器設置角θを補正する。
【０１５８】
なお、機器設置角算出処理を補正するアプリケーションは、機器設置角θを決定する機器設置角算出処理として利用することもできる。その場合には、機器設置角算出処理を補正する前の機器設置角θに初期値（例えば、０°）を与え、ユーザのドラッグ操作により矢印が向けられた方角を機器設置角θとすればよい。
【０１５９】
以上のように、様々な機器設置角算出処理によって機器設置角θを得る事ができる。その結果、複数の操作モードをユーザの使用態様の変化に応じて、自動的に切り替えることが可能なスマートフォン５ａを提供することができる。
【０１６０】
［第３の実施形態］
続いて、第３の実施形態について図面を参照して詳細に説明する。
【０１６１】
本実施形態では、スライドパッドモードにおける種々のユーザインターフェイスについて説明する。本実施形態に係るスマートフォンをスマートフォン５ｂ、ＳＴＢをＳＴＢ２ｂとする。
【０１６２】
上述のスライドパッドモードに関する説明では、液晶パネル２０の表示領域をスライドパッド領域１２とボタン領域１３とに分ける態様について説明した（図４（ａ）参照）。しかし、スライドパッドモードにおける表示態様は、図４（ａ）に限定されない。
【０１６３】
図２２は、スライドパッドモードにおけるスマートフォン５ｂの画面表示の一例を示す図である。例えば、表示領域の全面をスライドパッド領域１２としてもよい（図２２（ａ）参照）。
【０１６４】
また、ボタン領域１３に配置するボタンについても種々考えられる。例えば、ボタン領域１３に、キーボードを模した表示を行いソフトウェアキーボードとして動作させたり、ダブルタップ相当のボタンや長いタップ相当のボタンを配置したりしてもよい。スライドパッドモードにおいて、スライドパッド領域１２を用いた操作に加え、ソフトウェアキーボードによるインターフェイスを提供することで、文字や数字を入力する際の利便性を高めることができる。
【０１６５】
また、ユーザが、スマートフォン５ｂをＳＴＢ２のリモコンとして使用する際に、文字の入力が必要になることがある。そのような場合、ユーザは、ＴＶ４に表示された（ＳＴＢ２が表示する）ソフトウェアキーボード（ＳＷＫ；Soft Ware Keyboard）をスライドパッドモードで操作する。あるいは、携帯電話等の搭載されている１２個のキーを持つ専用リモコンを使ったトグル入力が必要となる。いずれの場合であっても、ユーザからは、より操作性を向上させて欲しいという要望が存在する。
【０１６６】
そこで、スライドパッド領域１２及びボタン領域１３に加え、ソフトウェアキーボード領域１７を設けてもよい（図２２（ｂ）参照）。
【０１６７】
あるいは、音声認識手段を利用することが考えられる。近年のスマートフォンには、音声認識用のアプリケーションがインストールされていることが多い。そこで、スライドパッドモード時の表示領域に音声認識用のアプリケーションを起動するためのボタンを配置する。音声認識による文字の入力を望むユーザは、当該ボタンを押下することで、容易に文字を入力することができる。その結果、ユーザは、音声によりＳＴＢ２ｂを操作することが可能となり、入力した文字を検索ワードとして、検索エンジンを起動する等の操作が容易に行える。また、テキストを入力するアプリケーションにおいて、音声認識用のアプリケーションを使用する場合には、ユーザから音声認識を終了させる操作が入力されるまで、音声認識による文字入力モードを維持する。
【０１６８】
また、スマートフォン５ｂとＳＴＢ２ｂを連携させることで、ＳＴＢ２ｂの操作をより快適に行うこともできる。より具体的には、ＳＴＢ２ｂが文字入力待機状態に遷移したことに応じて、スマートフォン５ｂのスライドパッドモードにおけるボタン配置を変更する。
【０１６９】
図２３は、ＴＶ４の画面表示とスマートフォン５ｂの画面表示の一例を示す図である。ユーザがＳＴＢを操作している際に、文字の入力が必要な場合には、ＳＴＢは、ＴＶ４に文字入力領域１８とソフトウェアキーボード領域１７ａを表示することが多い（図２３（ａ）参照）。このような場合、スライドパッドモードでＳＴＢを操作するユーザは、図２３（ａ）に示す文字入力領域１８を選択し、ＳＴＢを文字入力状態に遷移させる。
【０１７０】
その後、ユーザは、スマートフォン５ｂにインストールされた音声認識用のアプリケーションを起動し、音声により文字を入力する。ユーザの音声から変換された文字は、ＳＴＢに送られる。スマートフォン５ｂから送られた文字を認識したＳＴＢでは、入力された文字をＴＶ４に表示する。つまり、このようなユーザインターフェイスは、以下の２つの操作を要求する。
・文字入力領域１８を選択する。
・音声認識用のアプリケーションを起動する。
しかし、このようなインターフェイスに接したユーザには、煩雑な操作が要求されていると認識される恐れがある。
【０１７１】
そこで、スマートフォン５ｂとＳＴＢ２ｂを連携し、上記の問題点を解消する。スマートフォン５ｂとの連携を想定していないＳＴＢであっても、文字入力状態に遷移すると、ソフトウェアキーボード領域１７ａを用いた文字の入力を受け付けるため、ＩＭＥ（Input Method Editor）を起動する。
【０１７２】
そこで、ＳＴＢ２ｂでは、このＩＭＥの機能を拡張する。より具体的には、ＳＴＢ２ｂは、ＩＭＥの起動をイベント発生と捉え、ＩＭＥの起動を行った旨をスマートフォン５ｂに通知する。当該通知を受けたスマートフォン５ｂは、それまでのボタン配置を変更し、音声認識用のアプリケーションを起動するためのボタンを用意する。例えば、ＳＴＢ２ｂからＩＭＥの起動通知を受ける前には、ボタン領域１３に限り表示しているとする（図２３（ｂ）参照）。その後、ＳＴＢ２ｂからＩＭＥの起動通知を受けると、スマートフォン５ｂは、ボタン領域１３に加え、ソフトウェアキーボード領域１７を表示する。さらに、ボタン領域１３の中に、音声認識用アプリケーションを起動するためのボタン１３ａを配置する（図２３（ｃ）参照）。
【０１７３】
スマートフォン５ｂとＳＴＢ２ｂが連携（ＩＭＥ起動通知の送受信）する場合には、ＳＴＢ２ｂはＴＶ４にソフトウェアキーボード領域１７ａを表示しないことが望ましい。スマートフォン５ｂにソフトウェアキーボード領域１７が表示されるため、冗長なインターフェイスとの印象をユーザに与える恐れがあるためである。
【０１７４】
スマートフォン５ｂが、ＳＴＢ２ｂからＩＭＥ起動通知を受け取った場合に、音声認識用のアプリケーションを自動的に起動することもできる。しかし、ユーザが、スマートフォン５ｂをＳＴＢ２ｂのリモコンとして使用している際に、必ずしも音声による文字入力を望むとは限らないため、音声認識による文字入力とソフトウェアキーボードによる文字入力とを選択可能とすることが望ましい。
【０１７５】
さらに、スマートフォン５ｂとＳＴＢ２ｂの連携には異なる態様も考えられる。例えば、スマートフォン５ｂの液晶パネル２０にソフトウェアキーボード領域１７を表示することに代えて、当該ソフトウェアキーボード領域をＴＶ４に表示させても良い。しかし、音声認識用アプリケーション起動ボタン１３ａは、スマートフォン５ｂの液晶パネル２０に表示するといった態様も考えられる。この場合、スマートフォン５ｂは、ソフトウェアキーボード領域１７を確保する必要がないため、より大きなスライドパッド領域１２やボタン領域１３を配置することができる。スライドパッド領域１２が大きければ、スマートフォン５ｃの利便性が向上し、ボタン領域１３が大きければ、数多くのボタンを配置することができる。
【０１７６】
あるいは、携帯電子機器の機種（種別）に応じて、ソフトウェアキーボード領域を携帯電子機器側に表示させるか、ＴＶ４側（ＳＴＢ側）に表示させるか決定してもよい。例えば、表示領域に限りがあるスマートフォン等では、ソフトウェアキーボード領域をＴＶ４側に表示させるのが好ましい。一方、タブレット端末等のように、表示領域に余裕がある場合には、タブレット端末側にソフトウェアキーボード領域を表示するのが好ましい。
【０１７７】
さらに、スマートフォン５ｂとＳＴＢ２ｂの連携は、音声認識による文字入力に留まらない。例えば、スマートフォン５ｂから自らの姿勢に関する情報（角度α〜γ）をＳＴＢ２ｂに送信し、ＳＴＢ２ｂではこれらの情報を利用したゲームを実現することができる。あるいは、スマートフォン５ｂが、マイクを備えていれば、スマートフォン５ｂから入力した音声を使用したアプリケーションの実現も可能である。
【０１７８】
以上のように、複数の操作モードをユーザの使用態様の変化に応じて、自動的に切り替えることが可能なスマートフォン５及び５ａのスライドパッドモードのユーザインターフェイスを工夫することで、より利便性の高いスマートフォンを提供することができる。
【０１７９】
［第４の実施形態］
続いて、第４の実施形態について図面を参照して詳細に説明する。
【０１８０】
本実施形態では、マウスモードにおける種々のユーザインターフェイスについて説明する。本実施形態に係るスマートフォンをスマートフォン５ｃ、ＳＴＢをＳＴＢ２ｃとする。
【０１８１】
マウスモードを用いてＳＴＢを操作する場合、ユーザは、ＴＶ４に映るカーソルがボタン位置の上であるか、ボタンから外れた位置であるのか、を知るためにＴＶ４の表示面を目視する必要がある。しかし、ＴＶ４の表示面に映るボタンの大きさが、ユーザが認識できる程度に十分大きいとは限らず、ＴＶ４の表示面を目視するだけではなく、他の方法によりカーソルとボタン位置との関係を把握することが望まれる。
【０１８２】
そこで、スマートフォン５ｃのバイブレーション機能を使用して、上記の問題を解決する。図２４は、スマートフォン５ｃをマウスモードで使用する際のＴＶ４の画面表示の一例を示す図である。ＳＴＢ２ｃは、ユーザの操作するカーソルが、ボタンの近接領域１９にある場合には、スマートフォンに対してその旨を通知する。ＳＴＢ２ｃから通知を受けたスマートフォン５ｃは、バイブレーション機能を使用して、筐体を振動する。カーソルを移動して最初の近接領域１９に差し掛かった時にスマートフォン５ｃを振動させ、その後、ボタンの上を通過し、再び近接領域１９から抜ける時にスマートフォン５ｃを振動させることができる。その結果、ユーザは、ＴＶ４の表示面を目視するだけではなく、触覚によってもカーソルとボタンの位置を把握することができる。
【０１８３】
あるいは、ＳＴＢ２ｃは、カーソルが近接領域１９にある場合と、カーソルがボタンの上にある場合と、でスマートフォン５ｃに対する通知を区別してもよい。ＳＴＢ２ｃから送信される通知が区別されていれば、スマートフォン５ｃは、カーソルがボタンの近接領域１９にある場合には強い振動をユーザに与え、カーソルが近接領域１９を抜けてボタンの上にある場合には弱い振動を継続してユーザに与えるといった制御が可能となる。その結果、マウスモードによりＳＴＢ２ｃを操作するユーザは、目視によるカーソル位置の確認だけでなく、スマートフォン５ｃが触覚に対して与える刺激によってもカーソルとボタン位置との関係を把握することができる。
【０１８４】
ユーザは、ＳＴＢを操作する際に、ドラッグ操作が必要となる場合がある。そこで、マウスモードによりＳＴＢを操作する場合に、スマートフォンのハードウエアキー（例えば、戻るボタン／メニューボタン等）をドラッグ操作のためのボタンとすることもできる。しかし、マウスモードでは、天面１１をＴＶ４の表示面に向けて把持しなければならず、ハードウエアキーが配置される位置の関係から、ハードウエアキーに触れるのは困難であることが多い。さらに、ユーザが、このようなハードウエアキーを実際に押下できたか（スマートフォンがボタン押下を認識したか）について不安を覚えることも考えられる。
【０１８５】
そこで、スマートフォン５ｃのタッチパネル３０の全体をマウスモード時におけるボタンとして利用する。さらに、マウスモードにおいて、タッチパネル３０に対する接触を検知した場合には、スマートフォン５ｃはバイブレーション機能を利用して、筐体を振動させる。ユーザが、スマートフォン５ｃを片手で把持している状態では、親指でタッチパネル３０に触れることは容易である。また、タッチパネル３０への接触に応じて、スマートフォン５ｃの筐体が振動するため、ユーザがボタン操作に関し不安を覚えることもない。
【０１８６】
また、マウスモードでは、タッチパネル３０の全体を単一のボタン（例えば、左クリック用のボタン）の機能に割り当てることが考えられる。さらに加えて、タッチパネル３０の領域を複数に分割し、それぞれ分割された領域に異なるボタン（機能）を割り当てることも可能である。例えば、タッチパネル３０の領域の８０％を左クリック用のボタンに割り当て、残りの２０％を右クリック用のボタンに割り当てるといった対応ができる。
【０１８７】
あるいは、マウスモードにおいて、タッチパネル３０に触れた指（例えば、親指）を上下に動かすことで、ホイールイベントの発生をＳＴＢ２ｃに通知することもできる。
【０１８８】
以上のように、複数の操作モードをユーザの使用態様の変化に応じて、自動的に切り替えることが可能なスマートフォン５及び５ａのマウスモードのユーザインターフェイスを工夫することで、より利便性の高いスマートフォンを提供することができる。
【０１８９】
上記の実施形態において、スマートフォン５でＴＶ４の角度を検出する例を説明したが、ＴＶ４は、例えば、デジタルサイネージの表示装置であっても良い。また、ＴＶ４の角度とは、ＴＶ４の表示面がどちらの方位を向いているかを示す情報を含むのも当然である。
【０１９０】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【０１９１】
［付記１］
上記第１の視点に係る携帯電子機器のとおりである。
［付記２］
重力方向に平行な第１の座標軸と、前記第１の座標軸に直行する第２の座標軸と、前記第１及び第２の座標軸に直行する第３の座標軸と、からなる座標系において、前記第２及び第３の座標軸により形成される平面における前記筐体と前記第２の座標軸とからなる第１の角度に関する情報を出力する姿勢検出部と、
前記第１の角度から、前記平面における前記第２の座標軸と、前記映像出力装置の表示面から延伸する法線と、からなる角度を機器設置角として算出する機器設置方向管理部と、
を備え、
前記操作モード管理部は、前記第１の角度と前記機器設置角に基づいて、前記操作モードを切り替える付記１の携帯電子機器。
［付記３］
前記姿勢検出部は、前記筐体と前記第１の座標軸からなる第２の角度と、前記筐体と前記第３の座標軸とからなる第３の角度と、に関する情報を出力し、
前記操作モード管理部は、前記姿勢検出部が出力する、前記第１乃至第３の角度に関する情報に基づいて、前記操作モードを切り替える付記２の携帯電子機器。
［付記４］
前記筐体に配置された表示デバイスと、
前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、
を備え、
前記機器設置方向管理部は、前記表示デバイスに前記撮像部が撮影する画像と矩形状の第１のガイドと、を表示させると共に、ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする付記２又は３の携帯電子機器。
［付記５］
前記筐体に配置された表示デバイスと、
前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、
を備え、
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置に矩形状の第２のガイドを表示させると共に、前記撮像部が撮影する画像を縮小して前記第２のガイドの内側に表示させ、
ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする付記２又は３の携帯電子機器。
［付記６］
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置に前記第２のガイドに加えて、前記第２のガイドの頂点を結ぶ対角線を表示させると共に、前記映像出力装置における前記対角線に相当する領域の透過率を、前記第２のガイドに相当する領域の透過率よりも高くさせる付記５の携帯電子機器。
［付記７］
前記機器設置方向管理部は、前記電子機器に、前記映像出力装置を撮影した画像を解析させると共に、解析結果に応じて、前記第２のガイドの色彩を変更させる付記６の携帯電子機器。
［付記８］
前記機器設置方向管理部は、前記電子機器の遠隔操作を可能するアプリケーションを起動した際の前記第１の角度に基づいて、前記機器設置角を補正する付記２乃至７のいずれか一に記載の携帯電子機器。
［付記９］
対象物が接触又は近接する位置を検出する操作入力デバイスを備え、
前記操作モード管理部は、
前記表示デバイスにスライドパッドを模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第１の操作モードと、
前記表示デバイスに、前記電子機器が表示する画面を模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第２の操作モードと、
前記筐体の移動量に応じた情報を前記電子機器に送る第３の操作モードと、を切り替える付記４乃至８のいずれか一に記載の携帯電子機器。
［付記１０］
前記電子機器から、前記電子機器が文字の入力を受け付ける状態に遷移したことの通知を受け付けると、前記表示デバイスに、音声認識のアプリケーションを起動するための表示を行う付記９の携帯電子機器。
［付記１１］
前記電子機器から、ユーザが操作するカーソルが、前記電子機器が前記映像出力装置に出力させるボタンを起点とした予め定められた範囲に存在することの通知を受け付けると、前記筐体を振動させる付記９又は１０の携帯電子機器。
［付記１２］
上記第２の視点に係る携帯電子機器のとおりである。
［付記１３］
上記第３の視点に係る携帯電子機器の制御方法のとおりである。
［付記１４］
前記第２の座標軸と前記筐体とからなる第１の角度から、前記第２の座標軸と、前記映像出力装置の表示面から延伸する法線と、からなる角度を機器設置角として算出する工程を含み、
前記操作モードを切り替える工程は、前記第１の角度と前記機器設置角に基づいて、前記操作モードを切り替える付記１３の携帯電子機器の制御方法。
［付記１５］
前記携帯電子機器は、前記筐体に配置された表示デバイスと、前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、を備え、
前記表示デバイスに前記撮像部が撮影する画像と矩形状の第１のガイドと、を表示させる工程と、
ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする工程と、
を含む付記１４の携帯電子機器の制御方法。
［付記１６］
前記電子機器の遠隔操作を可能とするアプリケーションを起動した際の前記第１の角度に基づいて、前記機器設置角を補正する工程を含む付記１４又は１５の携帯電子機器の制御方法。
［付記１７］
前記携帯電子機器は、対象物が接触又は近接する位置を検出する操作入力デバイスを備え、
前記操作モードを切り替える工程は、
前記表示デバイスにスライドパッドを模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第１の操作モードと、
前記表示デバイスに、前記電子機器が表示する画面を模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第２の操作モードと、
前記筐体の移動量に応じた情報を前記電子機器に送る第３の操作モードと、を切り替える付記１５又は１６の携帯電子機器の制御方法。
［付記１８］
前記電子機器から、前記電子機器が文字の入力を受け付ける状態に遷移したことの通知を受け付ける工程と、
前記表示デバイスに、音声認識のアプリケーションを起動するための表示を行う工程と、
を含む付記１７の携帯電子機器の制御方法。
［付記１９］
前記電子機器から、ユーザが操作するカーソルが、前記電子機器が前記映像出力装置に出力させるボタンを起点とした予め定められた範囲に存在することの通知を受け付ける工程と、
前記筐体を振動させる工程と、
を含む付記１７又は１８の携帯電子機器の制御方法。
［付記２０］
上記第４の視点に係るプログラムのとおりである。
［付記２１］
前記第２の座標軸と前記筐体とからなる第１の角度から、前記第２の座標軸と、前記映像出力装置の表示面から延伸する法線と、からなる角度を機器設置角として算出する処理を実行させ、
前記操作モードを切り替える処理は、前記第１の角度と前記機器設置角に基づいて、前記操作モードを切り替える付記２０のプログラム。
［付記２２］
前記携帯電子機器は、前記筐体に配置された表示デバイスと、前記表示デバイスが配置された面と対向する側の方向を撮影する撮像部と、を備え、
前記表示デバイスに前記撮像部が撮影する画像と矩形状の第１のガイドと、を表示させる処理と、
ユーザからの指示を受け付けた際の前記第１の角度を、前記機器設置角とする処理と、
を実行させる付記２１のプログラム。
［付記２３］
前記電子機器の遠隔操作を可能とするアプリケーションを起動した際の前記第１の角度に基づいて、前記機器設置角を補正する処理を実行させる付記２１又は２２のプログラム。
［付記２４］
前記携帯電子機器は、対象物が接触又は近接する位置を検出する操作入力デバイスを備え、
前記操作モードを切り替える処理は、
前記表示デバイスにスライドパッドを模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第１の操作モードと、
前記表示デバイスに、前記電子機器が表示する画面を模した表示を行わせると共に、前記操作入力デバイスが検出する入力位置に応じた情報を前記電子機器に送る第２の操作モードと、
前記筐体の移動量に応じた情報を前記電子機器に送る第３の操作モードと、のそれぞれを切り替える付記２３のプログラム。
［付記２５］
前記電子機器から、前記電子機器が文字の入力を受け付ける状態に遷移したことの通知を受け付ける処理と、
前記表示デバイスに、音声認識のアプリケーションを起動するための表示を行う処理と、
を実行させる付記２４のプログラム。
［付記２６］
前記電子機器から、ユーザが操作するカーソルが、前記電子機器が前記映像出力装置に出力させるボタンを起点とした予め定められた範囲に存在することの通知を受け付ける処理と、
前記筐体を振動させる処理と、
を実行させる付記２４又は２５のプログラム。
［付記２７］
携帯電子機器と通信する通信部と、
映像出力装置に映像信号を出力する出力部と、
を備え、
前記携帯電子機器の要求に応じて、前記映像出力装置に矩形状の第２のガイドを表示すると共に、前記携帯電子機器が撮影する画像を縮小して前記第２のガイドの内側に表示する電子機器。
［付記２８］
前記携帯電子機器の要求に応じて、前記映像出力装置に、前記第２のガイドに加えて、前記第２のガイドの頂点を結ぶ対角線を表示し、前記映像出力装置における前記対角線に相当する領域の透過率を、前記第２のガイドに相当する領域の透過率よりも高くする付記２７の電子機器。
［付記２９］
前記映像出力装置を撮影した画像を解析すると共に、解析結果に応じて、前記第２のガイドの色彩を変更する付記２８の電子機器。
［付記３０］
地磁気センサを含む携帯電子機器を、映像出力装置の表示面に接触させる工程と、
前記映像出力装置に接触させた前記携帯電子機器を、前記映像出力装置の表示面から所定の距離、移動させる工程と、
移動後の位置において、前記地磁気センサの出力から前記映像出力装置の設置方向を決定する工程と、
を含むことを特徴とする機器の設置方向決定方法。
［付記３１］
映像出力装置に映像信号を出力する電子機器と
前記電子機器を遠隔操作する携帯電子機器と、
を含み、
前記携帯電子機器は、
前記携帯電子機器の筐体の姿勢と、前記筐体と前記映像出力装置の位置関係と、に基づいて、前記電子機器を遠隔操作する際の操作モードを切り替えることを特徴とするシステム。
［付記３２］
前記携帯電子機器は、
重力方向と直交する２軸により形成される平面において、前記映像出力装置の表示面から延伸する法線の方向と、前記筐体と、の位置関係に基づいて前記操作モードを切り替える付記３１のシステム。
［付記３３］
前記携帯電子機器は、前記法線の方向の算出を開始する旨の通知と、前記映像出力装置を撮影した画像と、を前記電子機器に送信し、
前記電子機器は、矩形状のガイドと、前記画像を縮小した画像と、を前記映像出力装置に表示し、前記縮小した画像は前記ガイドの内側に表示する付記３２のシステム。
［付記３４］
前記電子機器は、前記ガイドに加え、前記ガイドの頂点を結ぶ対角線を表示し、前記映像出力装置における前記対角線に相当する領域の透過率を、前記ガイドに相当する領域の透過率よりも高くさせる付記３２又は３３のシステム。
［付記３５］
前記携帯電子機器は、前記映像出力装置を撮影した画像を前記電子機器に送信し、
前記電子機器は、前記映像出力装置を撮影した画像を解析することで、前記ガイドの色彩を変更する付記３３又は３４のシステム。
【０１９２】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【０１９３】
１、５、５ａ〜５ｃ  スマートフォン
２、２、２ａ〜２ｃ  ＳＴＢ（Set Top Box）
３  無線ＬＡＮアクセスポイント
４  ＴＶ（テレビジョン装置）
１０  筐体
１１  天面
１２  スライドパッド領域
１３  ボタン領域
１３ａ  音声認識用アプリケーション起動ボタン
１４、１５  ガイド
１６  対角線
１７、１７ａ  ソフトウェアキーボード領域
１８  文字入力領域
１９  近接領域
２０  液晶パネル
３０  タッチパネル
４０、４１  ボタン
５０、１０２  通信部
６０  姿勢検出部
７０  撮像部
８０  制御部
９０  記憶部
１００  携帯電子機器
１０１  筐体
１０３、２０１  操作モード管理部
２０２  機器設置方向管理部
【図１】
2014135549.tif 000003
【図２】
2014135549.tif 000004
【図３】
2014135549.tif 000005
【図４】
2014135549.tif 000006
【図５】
2014135549.tif 000007
【図６】
2014135549.tif 000008
【図７】
2014135549.tif 000009
【図８】
2014135549.tif 000010
【図９】
2014135549.tif 000011
【図１０】
2014135549.tif 000012
【図１１】
2014135549.tif 000013
【図１２】
2014135549.tif 000014
【図１３】
2014135549.tif 000015
【図１４】
2014135549.tif 000016
【図１５】
2014135549.tif 000017
【図１６】
2014135549.tif 000018
【図１７】
2014135549.tif 000019
【図１８】
2014135549.tif 000020
【図１９】
2014135549.tif 000021
【図２０】
2014135549.tif 000022
【図２１】
2014135549.tif 000023
【図２２】
2014135549.tif 000024
【図２３】
2014135549.tif 000025
【図２４】
2014135549.tif 000026