(57)【要約】      （修正有）【課題】携帯端末装置と、携帯端末装置と連携した動作を行う装置との間で、対になるアプリケーションプログラムの導入を容易に行う。【解決手段】携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムであって、操作対象物制御装置は、操作対象物を制御する対象物用アプリケーションプログラムを実行する手段と、対象物用アプリケーションプログラムを取得する手段と、操作メッセージを受信する手段とを有する。携帯端末装置は、携帯端末装置を操作対象物制御装置のコントローラとして機能させるコントローラ化プログラムと、対象物用アプリケーションプログラムとを記憶する手段と、コントローラ化プログラムを実行する手段と、操作対象物制御装置に対象物用アプリケーションプログラムを転送する手段と、入力された情報を操作メッセージとして操作対象物制御装置に送信する手段と、を有する。【選択図】図１
2016066837.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムであって、
前記操作対象物制御装置は、
前記操作対象物を制御する対象物用アプリケーションプログラムを実行する手段と、
前記携帯端末装置から前記対象物用アプリケーションプログラムを取得する手段と、
前記携帯端末装置から前記操作メッセージを受信する操作メッセージ受信手段と
を有し、
前記携帯端末装置は、
前記携帯端末装置を前記操作対象物制御装置のコントローラとして機能させるコントローラ化プログラムと、前記対象物用アプリケーションプログラムとを記憶する記憶手段と、
前記コントローラ化プログラムを実行する手段と、
前記操作対象物制御装置に前記対象物用アプリケーションプログラムを転送する手段と、
入力された情報を前記操作メッセージとして前記操作対象物制御装置に送信する操作メッセージ送信手段と
を有することを特徴とする制御システム。
【請求項２】
請求項１に記載の制御システムにおいて、
前記携帯端末装置は、
筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、
画像データを記憶する画像記憶手段と、
画像データを用いて画像を前記表示部に表示する画像表示手段と
を備え、
前記操作メッセージ送信手段は、通常モードにおいて、前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置と、前記画像表示手段による画像の表示位置とに基づき、前記操作対象物制御装置に前記操作メッセージを送信する
ことを特徴とする制御システム。
【請求項３】
請求項２に記載の制御システムにおいて、
前記操作対象物制御装置は、
認識領域となる画面を制御する情報処理装置であり、
認識領域を設定するマーカを画面に表示するマーカ表示手段を備え、
前記携帯端末装置は、
前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、
前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、
前記カメラの撮像画像に含まれる前記マーカに基づいて仮想３次元空間を構築し、前記撮像画像に操作対象物が含まれていることを検出して前記仮想３次元空間内での位置情報を算出する位置情報算出手段と、
前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと認識領域との交点を検出する交点検出手段と
を備え、
前記操作メッセージ送信手段は、ＡＲモードにおいて、検出した交点の位置に基づき、前記操作対象物制御装置に前記操作メッセージを送信する
ことを特徴とする制御システム。
【請求項４】
請求項３に記載の制御システムにおいて、
前記携帯端末装置は、
所定の切替操作に基づいて前記通常モードと前記ＡＲモードとを切り替える切替手段を備え、
前記操作メッセージ送信手段は、前記切替手段が前記ＡＲモードに切り替えた場合に切替操作メッセージを前記操作対象物制御装置に送信し、
前記マーカ表示手段は、前記切替操作メッセージを受信した場合に前記マーカを画面に表示する
ことを特徴とする制御システム。
【請求項５】
請求項４に記載の制御システムにおいて、
前記携帯端末装置は、当該携帯端末装置の姿勢を検出する手段を備え、
前記切替手段は、前記携帯端末装置の水平からの傾きが閾値を超えたことを検出した場合に前記ＡＲモードに切り替える
ことを特徴とする制御システム。
【請求項６】
請求項５に記載の制御システムにおいて、
前記切替手段は、前記ＡＲモードにおいて、前記携帯端末装置の傾きが閾値よりも水平に近くなったことを検出した場合に前記通常モードに切り替える
ことを特徴とする制御システム。
【請求項７】
携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムにおける前記携帯端末装置であって、
前記携帯端末装置を前記操作対象物制御装置のコントローラとして機能させるコントローラ化プログラムと、前記対象物用アプリケーションプログラムとを記憶する記憶手段と、
前記コントローラ化プログラムを実行する手段と、
前記操作対象物制御装置に前記対象物用アプリケーションプログラムを転送する手段と、
入力された情報を前記操作メッセージとして前記操作対象物制御装置に送信する操作メッセージ送信手段と
を有することを特徴とする携帯端末装置。
【請求項８】
携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムにおける前記操作対象物制御装置であって、
前記操作対象物を制御する対象物用アプリケーションプログラムを実行する手段と、
前記携帯端末装置から前記対象物用アプリケーションプログラムを取得する手段と、
前記携帯端末装置から前記操作メッセージを受信する操作メッセージ受信手段と
を有することを特徴とする操作対象物制御装置。
【請求項９】
携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムにおける前記携帯端末装置を構成するコンピュータを、
前記携帯端末装置を前記操作対象物制御装置のコントローラとして機能させるコントローラ化プログラムと、前記対象物用アプリケーションプログラムとを記憶する記憶手段、
前記コントローラ化プログラムを実行する手段、
前記操作対象物制御装置に前記対象物用アプリケーションプログラムを転送する手段、
入力された情報を前記操作メッセージとして前記操作対象物制御装置に送信する操作メッセージ送信手段
として機能させる携帯端末装置用プログラム。
【請求項１０】
携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムにおける前記操作対象物制御装置を構成するコンピュータを、
前記操作対象物を制御する対象物用アプリケーションプログラムを実行する手段、
前記携帯端末装置から前記対象物用アプリケーションプログラムを取得する手段、
前記携帯端末装置から前記操作メッセージを受信する操作メッセージ受信手段
として機能させる操作対象物制御装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置と他の装置とを連携させる技術に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット等の携帯端末装置が普及してきており、各種のアプリケーションプログラムから所望のものを選んで実行することで、広範な使い道が可能となっている。
【０００３】
一方、家庭への大画面デジタルテレビの普及も進んでおり、携帯端末装置に保存された写真やムービを大画面デジタルテレビで視聴するといった使われ方も増えてきている（例えば、特許文献１等を参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３６８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような、単に大画面デジタルテレビをモニタやスピーカとして用いるだけではなく、携帯端末装置と大画面デジタルテレビの両方で、対になるアプリケーションプログラムを実行し、携帯端末装置と大画面デジタルテレビの連携を図ることが考えられる。例えば、あるゲームタイトルのアプリケーションプログラムを携帯端末装置と大画面デジタルテレビの両方で実行し、両者の同期をとることで、それぞれの特性や処理能力に応じた適切な動作が実現できる。
【０００６】
しかし、このような方式をとる場合、携帯端末装置と大画面デジタルテレビのそれぞれで動作するアプリケーションプログラムは独立したものであるため、別々にダウンロードしなければならず、使用し始めるまでの作業が煩雑であるという問題があった。すなわち、ユーザは、携帯端末装置用のダウンロードサイトからアプリケーションプログラムをダウンロードするとともに、大画面デジタルテレビ用のダウンロードサイトから対応するアプリケーションプログラムをダウンロードしなければならず、煩雑であった。
【０００７】
なお、携帯端末装置と大画面デジタルテレビの関係について説明したが、携帯端末装置と、この携帯端末装置と連携した動作を行う他の装置との関係についても同様である。
【０００８】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、携帯端末装置と、この携帯端末装置と連携した動作を行う他の装置との間で、対になるアプリケーションプログラムの導入を容易に行えるようにすることにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明にあっては、携帯端末装置からの操作メッセージに基づいて操作対象物制御装置が操作対象物を制御する制御システムであって、前記操作対象物制御装置は、前記操作対象物を制御する対象物用アプリケーションプログラムを実行する手段と、前記携帯端末装置から前記対象物用アプリケーションプログラムを取得する手段と、前記携帯端末装置から前記操作メッセージを受信する操作メッセージ受信手段とを有し、前記携帯端末装置は、前記携帯端末装置を前記操作対象物制御装置のコントローラとして機能させるコントローラ化プログラムと、前記対象物用アプリケーションプログラムとを記憶する記憶手段と、前記コントローラ化プログラムを実行する手段と、前記操作対象物制御装置に前記対象物用アプリケーションプログラムを転送する手段と、入力された情報を前記操作メッセージとして前記操作対象物制御装置に送信する操作メッセージ送信手段とを有する。
【発明の効果】
【００１０】
本発明にあっては、携帯端末装置と、この携帯端末装置と連携した動作を行う他の装置との間で、対になるアプリケーションプログラムの導入を容易に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】ＡＲモードにかかる構成例を示す図である。
【図３】操作対象物として大画面モニタを用いた例を示す図である。
【図４】操作対象物の認識領域を設定するマーカの例を示す図である。
【図５】操作対象物として照明器具を用いた例を示す図である。
【図６】携帯端末装置の構成例を示す図である。
【図７】操作対象物制御装置の構成例を示す図である。
【図８】実施形態の処理例を示すシーケンス図である。
【図９】通常モードとＡＲモードの切替制御の処理例を示すフローチャートである。
【図１０】通常モードにおける画面例を示す図である。
【図１１】携帯端末装置の傾斜角度の例を示す図である。
【図１２】ＡＲモードにおける画面例を示す図である。
【図１３】ＡＲモードにおける処理例を示すフローチャートである。
【図１４】実空間における操作対象位置算出の概念を示す図である。
【図１５】携帯端末装置の画面／タッチパネルへの画像の重畳の例を示す図である。
【図１６】ＡＲモードにおける携帯端末装置の画面例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施形態につき説明する。
【００１３】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、携帯端末装置１はタブレット、スマートフォン等の情報処理装置である。また、操作対象物２は大画面デジタルテレビ等の操作対象となる機器であり、操作対象物制御装置３は操作対象物２を制御するコンピュータ等の情報処理装置である。昨今の大画面デジタルテレビには処理能力の高いコンピュータを内蔵したものも多く、そのような場合は操作対象物２の中に操作対象物制御装置３が存在することとなる。携帯端末装置１と操作対象物制御装置３は、WiFi、Bluetooth、赤外線等により通信を行えるようになっている。なお、携帯端末装置１、操作対象物２および操作対象物制御装置３は、単数に限らず複数でもよい。
【００１４】
携帯端末装置１は、ダウンロード部１５１と、記憶部１５２と、コントローラ化プログラム実行部１５６と、端末用アプリケーションプログラム実行部１５７と、端末用アプリケーション処理部１５８と、コントローラ部１５９とを備えている。
【００１５】
ダウンロード部１５１は、外部の携帯端末用のダウンロードサーバ４からコントローラ化プログラム１５３と端末用アプリケーションプログラム１５４と対象物用アプリケーションプログラム１５５をダウンロードし、記憶部１５２に保存する。コントローラ化プログラム１５３は、携帯端末装置１を操作対象物制御装置３ひいては操作対象物２に対するコントローラとして機能させるためのプログラムである。端末用アプリケーションプログラム１５４は、携帯端末装置１を例えばゲーム装置として機能させるためのプログラムである。対象物用アプリケーションプログラム１５５は、端末用アプリケーションプログラム１５４と対になるプログラムであり、操作対象物制御装置３を例えばゲーム装置として機能させるためのプログラムである。
【００１６】
コントローラ化プログラム実行部１５６は、記憶部１５２のコントローラ化プログラム１５３をＯＳ（Operating System）の機能により実行し、コントローラ部１５９を実現する。端末用アプリケーションプログラム実行部１５７は、記憶部１５２の端末用アプリケーションプログラム１５４をＯＳの機能により実行し、端末用アプリケーション処理部１５８を実現する。端末用アプリケーション処理部１５８は、例えば携帯端末装置１側でのゲームの制御を行う。
【００１７】
コントローラ部１５９は、プログラム転送部１６０と、ＡＲ制御部１６１と、操作メッセージ送受信部１６２と、コンテンツ送受信部１６３と、同期信号送受信部１６４とを備える。プログラム転送部１６０は、記憶部１５２から対象物用アプリケーションプログラム１５５を取得し、操作対象物制御装置３に対象物用アプリケーションプログラム１５５を転送する。
【００１８】
ＡＲ制御部１６１は、ＡＲ（Augmented Reality：拡張現実）モードにおいて、携帯端末装置１のカメラにより操作対象物２を撮影した画像を携帯端末装置１の表示部に表示し、表示画像上にユーザがタッチ操作することで操作指示を行えるようにするための制御を行う。操作メッセージ送受信部１６２は、端末用アプリケーション処理部１５８の制御のもと、通常モードにおいてはメニュー選択、ボタン選択、キー操作等に基づく操作メッセージを操作対象物制御装置３に送信し、ＡＲモードにおいてはＡＲ制御下による操作メッセージを操作対象物制御装置３に送信し、また、操作対象物制御装置３側からの操作メッセージを受信する。コンテンツ送受信部１６３は、端末用アプリケーション処理部１５８の制御のもと、操作対象物制御装置３との間でコンテンツデータを送受信する。同期信号送受信部１６４は、端末用アプリケーション処理部１５８の制御のもと、操作対象物制御装置３側との処理の同期をとるための同期信号を送受信する。
【００１９】
操作対象物制御装置３は、記憶部３０１と、連携用プログラム実行部３０４と、対象物用アプリケーションプログラム実行部３０５と、対象物用アプリケーション処理部３０６と、連携制御部３０７とを備えている。
【００２０】
記憶部３０１は、プリインストールされ、更新時には所定のサーバからダウンロードされる、携帯端末装置１との連携を行うための連携用プログラム３０２と、携帯端末装置１側から転送を受けた対象物用アプリケーションプログラム３０３を保存する。連携用プログラム実行部３０４は、記憶部３０１の連携用プログラム３０２をＯＳの機能により実行し、連携制御部３０７を実現する。対象物用アプリケーションプログラム実行部３０５は、記憶部３０１の対象物用アプリケーションプログラム３０３をＯＳの機能により実行し、対象物用アプリケーション処理部３０６を実現する。対象物用アプリケーション処理部３０６は、例えば操作対象物制御装置３側でのゲームの制御を行う。
【００２１】
連携制御部３０７は、プログラム取得部３０８と、操作メッセージ送受信部３０９と、コンテンツ送受信部３１０と、同期信号送受信部３１１とを備えている。
【００２２】
プログラム取得部３０８は、携帯端末装置１のコントローラ部１５９のプログラム転送部１６０からプログラムの転送を受ける。操作メッセージ送受信部３０９は、対象物用アプリケーション処理部３０６の制御のもと、携帯端末装置１のコントローラ部１５９の操作メッセージ送受信部１６２との間で操作メッセージを送受信する。コンテンツ送受信部３１０は、対象物用アプリケーション処理部３０６の制御のもと、携帯端末装置１のコントローラ部１５９のコンテンツ送受信部１６３との間でコンテンツデータを送受信する。同期信号送受信部３１１は、対象物用アプリケーション処理部３０６の制御のもと、携帯端末装置１のコントローラ部１５９の同期信号送受信部１６４との間で同期信号を送受信する。
【００２３】
図２はＡＲモードにかかる構成例を示す図である。図２において、携帯端末装置１は、前面に画面／タッチパネル１２が設けられ、背面にカメラ１１が設けられている。カメラ１１は、画面／タッチパネル１２の背面方向の法線方向に視野を持つように配置されている。携帯端末装置１のカメラ１１により操作対象物２を撮像し、撮像した内容がリアルタイムに画面／タッチパネル１２に表示され、画面／タッチパネル１２の表示画面上をユーザがタッチして操作（タップ、ドラッグアンドドロップ、フリック等）することにより、操作対象物制御装置３を介して操作対象物２を操作することができる。
【００２４】
図３は操作対象物２として大画面モニタ（画像表示装置）を用いた例を示す図である。この場合、大画面モニタに表示されたボタンやキャラクタを、携帯端末装置１の画面にタッチすることで操作することができる。
【００２５】
図４は操作対象物２の認識領域を設定するマーカ２１の例を示す図である。図４（ａ）は、カードもしくはステッカー等によりマーカ２１を画面の四隅に貼り付けることにより、４個のマーカ２１により形成される矩形領域を認識領域として設定したものである。マーカ２１には、所定の形式で図形や記号等が記載されており、これを携帯端末装置１のカメラ１１により撮像した画像から解析することで、個々のマーカ２１の３次元的な位置やマーカ２１の面する角度（方向）を認識することができる。
【００２６】
図４（ｂ）は、マーカ２１を画面表示により代用することで、カードやステッカー等を貼り付けるのを不要にしたものである。マーカ２１は常時表示する必要はなく、初回認識の際に表示されていればよい。また、可視光を用いない表示とすることで、違和感をなくすこともできる。
【００２７】
図４（ｃ）は、画面表示により枠状のマーカ２１を用いた例である。マーカ２１は常時表示する必要はなく、初回認識の際に表示されていればよい。また、可視光を用いない表示とすることで、違和感をなくすこともできる。
【００２８】
なお、図４（ａ）（ｂ）では複数のマーカ２１により認識領域を設定する場合について示したが、マーカ２１は１個でも認識領域を設定することができる場合がある。例えば、操作対象物２の形状が複雑でなく、マーカ２１と同じ程度の大きさであり、制御も大まかでよい場合は、マーカ２１を１個とし、その周辺の所定範囲を認識領域とすることができる。また、マーカ２１から読み取ることのできる情報に、認識領域の大きさや形状に関する情報を付加することにより、１個のマーカ２１を基準として、読み取った情報の示す大きさや形状の範囲を認識領域とすることができる。
【００２９】
図５は操作対象物２として照明器具を用いた例を示す図である。この場合、照明器具のＯＮ／ＯＦＦや光量や発光色等を携帯端末装置１の画面をタッチすることで操作することができる。例えば、操作対象物２の画像をタップすることでＯＮ／ＯＦＦを切り替えたり、画像上で上下にドラッグすることで光量を増減したり、左右にドラッグすることで発光色を変えたりすることができる。操作対象物２の外面には、図４と同様に、認識領域を設定するためにマーカ（２１）が設けられる。
【００３０】
図６は携帯端末装置１の構成例を示す図である。図６において、携帯端末装置１は、電源システム１０１と、プロセッサ１０３、メモリコントローラ１０４、周辺インタフェース１０５を含むメインシステム１０２と、記憶部１０６とを備えている。また、携帯端末装置１は、外部ポート１０７と、高周波回路１０８と、アンテナ１０９と、オーディオ回路１１０と、スピーカ１１１と、マイク１１２と、近接センサ１１３と、ＧＰＳ（Global Positioning System）回路１１４とを備えている。また、携帯端末装置１は、ディスプレイコントローラ１１６、光学センサコントローラ１１７、入力コントローラ１１８を含むＩ／Ｏ（Input/Output）サブシステム１１５と、タッチ反応型ディスプレイシステム１１９と、光学センサ１２０と、入力部１２１とを備えている。光学センサ１２０はカメラ１１に対応し、タッチ反応型ディスプレイシステム１１９は画面／タッチパネル１２に対応する。
【００３１】
図７は操作対象物制御装置３の構成例を示す図である。図７において、操作対象物制御装置３は、コンピュータ装置（ゲーム装置を含む）３１と、必要に応じてインタフェース装置３２とが含まれている。操作対象物２が図３に示した大画面モニタである場合には、インタフェース装置３２を設けることなく、コンピュータ装置３１から映像・音声信号を操作対象物２に直接に供給することで足りる。操作対象物２が大画面デジタルテレビでコンピュータ機能を有する場合は、操作対象物２に操作対象物制御装置３が含まれることは前述したとおりである。操作対象物２が図５に示した照明器具である場合には、操作対象物２とコンピュータ装置３１の間で状態信号や制御信号のやり取りを仲介するインタフェース装置３２が設けられる。
【００３２】
＜動作＞
図８は上記の実施形態の処理例を示すシーケンス図である。図８において、携帯端末装置１のダウンロード部１５１は、ユーザの操作等に基づき、ダウンロードサーバ４に対してプログラムのダウンロード要求を行い（ステップＳ１０１）、ダウンロードサーバ４からコントローラ化プログラム１５３、端末用アプリケーションプログラム１５４および対象物用アプリケーションプログラム１５５を取得し（ステップＳ１０２）、記憶部１５２に保存する（ステップＳ１０３）。
【００３３】
その後、携帯端末装置１においてコントローラ化プログラム実行部１５６により記憶部１５２のコントローラ化プログラム１５３が実行され（ステップＳ１０４）、操作対象物制御装置３において連携用プログラム実行部３０４により記憶部３０１の連携用プログラム３０２が実行されることで（ステップＳ１０５）、携帯端末装置１と操作対象物制御装置３の間で接続が確立する（ステップＳ１０６）。
【００３４】
接続が確立すると、携帯端末装置１のコントローラ部１５９のプログラム転送部１６０は、記憶部１５２の対象物用アプリケーションプログラム１５５を取得し、操作対象物制御装置３に転送する（ステップＳ１０７）。操作対象物制御装置３では、連携制御部３０７のプログラム取得部３０８が、転送された対象物用アプリケーションプログラム１５５を取得し、記憶部３０１に対象物用アプリケーションプログラム３０３として保存する（ステップＳ１０８）。
【００３５】
次いで、携帯端末装置１において端末用アプリケーションプログラム実行部１５７により記憶部１５２の端末用アプリケーションプログラム１５４が実行され（ステップＳ１０９）、操作対象物制御装置３において対象物用アプリケーションプログラム実行部３０５により記憶部３０１の対象物用アプリケーションプログラム３０３が実行されることで（ステップＳ１１０）、携帯端末装置１の端末用アプリケーション処理部１５８と操作対象物制御装置３の対象物用アプリケーション処理部３０６の間で連携動作が開始する（ステップＳ１１１）。すなわち、操作メッセージの送受信、コンテンツの送受信、および同期信号の送受信が行われる。
【００３６】
図９は、携帯端末装置１のコントローラ部１５９のＡＲ制御部１６１による、通常モードとＡＲモードの切替制御の処理例を示すフローチャートである。図９において、処理を開始すると、ＡＲ制御部１６１は、初期状態として通常モードとする（ステップＳ２０１）。通常モードにおいては、携帯端末装置１の画面／タッチパネル１２（図２）にタッチ入力があった際、画面／タッチパネル１２上のタッチ入力位置と、画像の表示位置とに基づき、操作対象物制御装置３に操作メッセージが送信される。図１０は通常モードにおける画面例を示す図であり、携帯端末装置１の画面にはゲームコントローラの画像が表示され、操作対象物２の画面にはゲーム進行の画像が表示されている。
【００３７】
次いで、図９に戻り、ＡＲ制御部１６１は、端末用アプリケーション処理部１５８がＡＲモードを利用可能な状態にあるか否かを判断する（ステップＳ２０２）。ＡＲモードが利用できない場合（ステップＳ２０２のＮｏ）、通常モード（ステップＳ２０１）を維持する。
【００３８】
ＡＲモードが利用できる場合（ステップＳ２０２のＹｅｓ）、ＡＲ制御部１６１は、携帯端末装置１の傾斜角度θが垂直に近い所定の閾値αを超えているか否か判断する（ステップＳ２０３）。図１１（ａ）は携帯端末装置１の傾斜角度θを示しており、図１１（ｂ）は傾斜角度θが垂直に近い所定の閾値αを超えている状態を示している。
【００３９】
次いで、図９に戻り、携帯端末装置１の傾斜角度θが垂直に近い所定の閾値αを超えていない場合（ステップＳ２０３のＮｏ）、通常モード（ステップＳ２０１）を維持する。
【００４０】
傾斜角度θが垂直に近い所定の閾値αを超えている場合（ステップＳ２０３のＹｅｓ）、ＡＲ制御部１６１は、ＡＲモードに切り替え（ステップＳ２０４）、操作対象物制御装置３に操作メッセージを送信しマーカ２１（図４（ｃ）等）を所定時間にわたり表示させる（ステップＳ２０５）。ＡＲモードにおいては、画面／タッチパネル１２（図２）上のタッチ入力位置を通る法線ベクトルと撮像画像内の対象物に相当する認識領域との交点を検出し、検出した交点の位置に基づき、操作対象物制御装置３に操作メッセージが送信される。図１２はＡＲモードにおける画面例を示す図であり、携帯端末装置１の画面には操作対象物２の画面を撮影した画像が表示され、操作対象物２の画面にはゲーム進行の画像が表示されている。
【００４１】
次いで、図９に戻り、ＡＲ制御部１６１は、携帯端末装置１の傾斜角度θが水平に近い所定の閾値βを下回るか否か判断する（ステップＳ２０６）。図１１（ｃ）は携帯端末装置１の傾斜角度θが水平に近い所定の閾値βを下回る状態を示している。
【００４２】
次いで、図９に戻り、携帯端末装置１の傾斜角度θが水平に近い所定の閾値βを下回らない場合（ステップＳ２０６のＮｏ）、ＡＲモードを利用可能な状態にあるか否かを判断する（ステップＳ２０７）。ＡＲモードが利用できる場合（ステップＳ２０７のＹｅｓ）、ＡＲモードを維持し、傾斜角度の判断（ステップＳ２０６）に戻る。
【００４３】
携帯端末装置１の傾斜角度θが水平に近い所定の閾値βを下回る場合（ステップＳ２０６のＹｅｓ）またはＡＲモードが利用できない場合（ステップＳ２０７のＮｏ）、通常モードに切り替える（ステップＳ２０１）。
【００４４】
次に、図１３はＡＲモードにおける処理例を示すフローチャートであり、携帯端末装置１の処理内容を示したものである。
【００４５】
図１３において、携帯端末装置１は、カメラ１１の映像信号をデータとして取り込み、プログラムから操作可能な状態にする（ステップＳ３０１）。例えば、このデータは、カメラ映像をＲＧＢ（Red, Green, Blue）の点（ピクセル）の集合体に変換したものである。このようなデータをプログラムからアクセス可能なメモリ上に展開することで、プログラムから操作可能な状態になる。
【００４６】
次いで、携帯端末装置１は、マーカ２１（図４）に基づいて複数の対象物（操作対象物２の認識領域に相当）を認識し、操作等に必要な基礎データを得る（ステップＳ３０２）。基礎データは、認識した対象物についてのマトリクス情報であり、対象物が３次元空間内で、どの位置に、どの角度で、どの大きさで存在しているかを示す。実装としては、例えば、ＱＵＡＬＣＯＭ社のＡＲライブラリを用いて処理を行うことができる。
【００４７】
次いで、携帯端末装置１は、基礎データを累積し、高速に繰り返す中での相互関係データを得る（ステップＳ３０３）。相互関係データは、認識する対象物同士や、認識する対象物とカメラ１１の相対的な位置データである。
【００４８】
次いで、携帯端末装置１は、相互関係データをもとに、対象物の移動等のリアルタイムな変化に追従し、また手ぶれ等の補正を行う（ステップＳ３０４）。補正としては、
・対象物を認識するためのマトリクス情報が複数ある場合、不正確らしきものを除外
・高速に繰り返す中で、ある瞬間だけ特異な値がある場合、それを除外
といった処理を行う。
【００４９】
映像の解析と相互の位置の認識を高速に再演算し続けることで（ステップＳ３０１〜Ｓ３０４）、手元の携帯端末装置１や操作対象物２の移動等の変化に追従することができる。
【００５０】
次いで、携帯端末装置１は、画面／タッチパネル１２がユーザによりタッチされている場合、以下の処理を行う。
【００５１】
先ず、タッチ位置と、累積した補正後の相互関係データとに基づき、携帯端末装置１の背面へタッチ位置から仮想的に法線（法線ベクトル）をのばし、その法線上に対象物が存在するかどうか判定し、存在する場合、操作対象物２の３次元的な表面との交点を求めることにより、対応する操作対象位置を求める（ステップＳ３０５）。図１４はその処理の概念を示している。操作対象物オブジェクト２ＯＢＪは操作対象物２の認識領域に対応するものである。複数の対象物と法線が交差する場合、この段階での操作対象位置は複数となる。
【００５２】
図１３に戻り、携帯端末装置１は、操作対象位置と対象物の有効範囲から、操作対象となるべき操作対象物２を特定する（ステップＳ３０６）。すなわち、複数の対象物がそれぞれに有効範囲（画面なら矩形）がある場合、どれが優先的に操作されるべきかを判定することで、操作対象物２を特定する。判定の基準は、標準として、近傍（携帯端末装置１により近いこと）を優先にしている。
【００５３】
次いで、携帯端末装置１は、操作対象位置を特定した操作対象物２の座標へ変換する（ステップＳ３０７）。すなわち、操作用の法線が、対象物が持つ固有の形状のどこの部分に交差するのかを求め、形状が複数の面を有する立体である場合は、閉じた面のそれぞれに対して交差の評価を行い、座標を変換する。立体形状では、複数の面に対して交差が成立する場合があるが近傍を優先にする。複数の交差する点から、どれを優先的に操作するか（原則近傍を優先）を決め、対象機器のローカルなマトリクス情報を生成する。
【００５４】
次いで、携帯端末装置１は、変換した座標に基づき、操作対象物２を制御するためのローカルデータを算出する（ステップＳ３０８）。
【００５５】
次に、タップ、ドラッグアンドドロップ、フリック等のイベントが成立した場合の処理を説明する。なお、イベントの成立は次のように判断する。
【００５６】
タップは、携帯端末装置１の画面／タッチパネル１２へのタッチおよび離間によって判断する。
【００５７】
ドラッグアンドドロップは、
・対象物と手元端末を固定したまま、指を動かしてドラッグ
・対象物と指を固定したまま、手元端末を動かしてドラッグ
・手元端末と指を固定したまま、対象物を動かしてドラッグ
の３つのパターンの発生によりドラッグとなり、それぞれ、指を離すとドロップの判定となる。
【００５８】
２つめのパターンによれば、タップ中の指先を動かすことがなくても、手元装置や対象装置の移動によってドラッグアンドドロップ等が実現できることを意味している。
【００５９】
また、関係する３種類の情報（対象物座標、手元端末座標、指の位置）が２つ以上同時に動く場合も成立する。
【００６０】
フリックは、手元装置のタッチパネル上でフリックに相当する操作が成立した場合を有効とする。これは、対象装置相当では距離や角度に影響を受け入力が困難であること、手元装置に触れる感覚で成立することが自然に受け入れられるためである。手元装置でフリックが成立したかどうかの判定そのものは、手元装置のＯＳやドライバの判定に任せる。これは、普段利用している条件と同じにすることで、違和感が生まれないようにするためである。
【００６１】
フリックの判定は、タッチパネル上のスライド距離が所定距離以上であり、かつ、スライドにかかった時間が所定時間以内であることを条件に、フリック入力（接触→接触位置を素早く所定距離スライド→離す、を所定時間内に行う入力操作）がタッチパネルに対して行われたと判定する。
【００６２】
図１３において、イベントが成立した場合、携帯端末装置１は、ローカルデータに自己の機器ＩＤを付加したメッセージを生成する（ステップＳ３０９）。
【００６３】
次いで、携帯端末装置１は、操作対象物２を制御する操作対象物制御装置３にメッセージを送信する（ステップＳ３１０）。メッセージとしては、マウス相当のデータとしてもよいが、手元端末で入力できるジェスチャパターンは増加すると見込まれるため、拡張可能な未定義領域を残す、汎用的なメッセージシステムとしている。
【００６４】
メッセージを受信した操作対象物制御装置３は、メッセージに対応した処理を行い、結果を操作対象物２に反映させる。操作対象物２が大画面モニタである場合（図３）、大画面モニタに表示されたボタンやアイコンやキャラクタに対するタップ、ドラッグアンドドロップ、フリック等の操作を適用し、操作過程および結果の画像を大画面モニタに表示する。操作対象物２が照明器具である場合（図５）、操作内容に応じて電源のＯＮ／ＯＦＦや光量や発光色等を制御する。
【００６５】
また、メッセージ送信（ステップＳ３１０）の後に操作対象物制御装置３から応答のメッセージを受信し、その受信メッセージに応じた処理を行うようにしてもよい。
【００６６】
なお、上記の実施形態ではタッチパネルへの入力操作について主に説明したが、タッチパネルに、認識した操作対象物や操作に連動した画像を重畳して表示することもできる。
【００６７】
本実施形態では、仮想３次元空間中の対象物の位置情報を利用できるので、例えば、タッチパネルへの操作に基づいて検出された認識領域との交点（対象機器の座標位置）に、タッチパネルから飛んでいくオブジェクト（矢やボール等）の画像を合成表示することで、ユーザが操作しようとしている対象機器の座標位置を示す場合に、あたかもオブジェクトが対象物の含まれる空間中を移動していくように表示することができる。これにより、ユーザは、より直観的に操作を行うことができる。
【００６８】
また、例えば、タッチパネルへの操作に基づいて対象物の周囲に入力結果を示すオブジェクト（当たりや外れ等を示すフキダシ等）の画像を合成表示する場合に、対象物の位置に合わせて表示することができる。図１５は携帯端末装置１の画面における操作対象物２の画像２０１の上端に沿ってタイトル等の画像２０２を表示し、左側にキャラクタの画像２０３を表示した例を示している。図１６はＡＲモードにおける携帯端末装置１の画面例を示す図であり、画面には操作対象物２の画面を撮影した画像が表示されるとともに、操作対象物２の画面の周囲にはゲーム進行の画像の一部（アイコン）が表示されている。このようにすることで、画面上の操作対象物２の画面を撮影した画像が小さい場合でも、アイコンやキャラクタに対するタップ等の操作をすることができる。
【００６９】
＜総括＞
以上説明したように、本実施形態によれば、携帯端末装置と、この携帯端末装置と連携した動作を行う他の装置との間で、対になるアプリケーションプログラムの導入を容易に行うことができる。
【００７０】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００７１】
１            携帯端末装置
１１          カメラ
１２          画面／タッチパネル
１５１        ダウンロード部
１５２        記憶部
１５３        コントローラ化プログラム
１５４        端末用アプリケーションプログラム
１５５        対象物用アプリケーションプログラム
１５６        コントローラ化プログラム実行部
１５７        端末用アプリケーションプログラム実行部
１５８        端末用アプリケーション処理部
１５９        コントローラ部
１６０        プログラム転送部
１６１        ＡＲ制御部
１６２        操作メッセージ送受信部
１６３        コンテンツ送受信部
１６４        同期信号送受信部
２            操作対象物
２１          マーカ
２ＯＢＪ      操作対象物オブジェクト
３            操作対象物制御装置
３１          コンピュータ装置
３２          インタフェース装置
３０１        記憶部
３０２        連携用プログラム
３０３        対象物用アプリケーションプログラム
３０４        連携用プログラム実行部
３０５        対象物用アプリケーションプログラム実行部
３０６        対象物用アプリケーション処理部
３０７        連携制御部
３０８        プログラム取得部
３０９        操作メッセージ送受信部
３１０        コンテンツ送受信部
３１１        同期信号送受信部
【図１】
2016066837.tif 000003
【図２】
2016066837.tif 000004
【図３】
2016066837.tif 000005
【図４】
2016066837.tif 000006
【図６】
2016066837.tif 000007
【図７】
2016066837.tif 000008
【図８】
2016066837.tif 000009
【図９】
2016066837.tif 000010
【図１３】
2016066837.tif 000011
【図１４】
2016066837.tif 000012
【図５】
2016066837.tif 000013
【図１０】
2016066837.tif 000014
【図１１】
2016066837.tif 000015
【図１２】
2016066837.tif 000016
【図１５】
2016066837.tif 000017
【図１６】
2016066837.tif 000018